Ten post jest Częścią 2 z serii czteroczęściowej. Koniecznie sprawdź pozostałe wpisy z tej serii, aby dokładniej poznać nasz generator planów biznesowych oparty na SI.
Część 1: Jak zbudowaliśmy generator planów biznesowych oparty na SI, używając LangGraph & LangChain
Część 2: Jak zoptymalizowaliśmy generowanie planów biznesowych SI: kompromis między szybkością a jakością
Część 3: Jak stworzyliśmy 273 testy jednostkowe w 3 dni, nie pisząc ani jednej linii kodu
Część 4: Ramka oceny SI — Jak zbudowaliśmy system do oceny i ulepszania planów biznesowych generowanych przez SI
Wprowadzenie: Dlaczego To Zajęło 30 Minut?
Nasz generator planów biznesowych napędzany przez SI został początkowo zaprojektowany, aby maksymalizować jakość treści poprzez wykonanie wielokrotnych procesów iteracyjnych, w tym tworzenie projektów, ocenę, cykle ulepszeń i strukturalną walidację. Celem było wytworzenie dobrze zorganizowanych, spójnych i przemyślanych planów biznesowych które są zgodne z naszymi kluczowymi cechami:
- Jasność i Prostota — Zapewnienie, że właściciele firm mogą łatwo zrozumieć i korzystać z ich planów.
- Strategiczne Wskazówki — Dostarczanie praktycznych wskazówek, a nie tylko tekstu.
- Dostosowanie i Świadomość Kontekstu — Dostosowywanie planów na podstawie odpowiedzi użytkowników.
- Możliwość Działania — Ułatwienie przedsiębiorcom realizacji planów.
Jednakże, to wysokiej jakości podejście wieloetapowe wiązało się z kosztami: generowanie pełnego planu zajmowało ponad 30 minut. Opóźnienie to uniemożliwiało interakcję w czasie rzeczywistym. Musieliśmy zmienić nasze podejście tak, aby priorytetem była szybkość, nie rezygnując całkowicie z jakości.
Po szczegółowej analizie wydajności zidentyfikowaliśmy kluczowe wąskie gardła i zoptymalizowaliśmy naszą infrastrukturę, ostatecznie redukując czas odpowiedzi SI z 30 minut do poniżej 1 minuty. Jednak wiązało się to z kompromisami: musieliśmy poświęcić wiele cykli wykonania na rzecz szybkości.
Główne Przyczyny Wolnego Działania
Po intensywnych testach zidentyfikowaliśmy następujące czynniki spowalniające generowanie planu biznesowego AI:
1. Nadwyżka API Asystentów OpenAI
- Opóźnienia w Tworzeniu Wątków i Uruchamiania: API Asystentów OpenAI wprowadziło znaczące opóźnienia podczas konfigurowania i zarządzania wątkami.
- Ograniczenia Wykonywania Równoległego: Równoczesne uruchamianie wielu sekcji w tym samym wątku było niemożliwe, wymuszając przetwarzanie sekwencyjne.
2. Opóźnienia w Wywoływaniu Narzędzi
- Dodatkowe Wiadomości W Wywołaniach Funkcji: Każde wywołanie funkcji dodawało dodatkową niesformatowaną wiadomość, niepotrzebnie wydłużając czas odpowiedzi.
- Nieefektywna Struktura Wywołań: Wywoływanie narzędzia tworzyło dodatkowe obciążenie związane z obsługą odpowiedzi, czyniąc strukturalne odpowiedzi bardziej efektywną alternatywą.
3. Złożoność Wykonania Wieloetapowego
- Wielokrotne Iteracje Na Sekcję: Oryginalny przepływ pracy obejmował tworzenie szkiców, ocenę, ulepszenia i ponowne oceny zanim uzyskano ostateczną sekcję.
- Wysoka Liczba Wywołań API: Iteracyjny charakter naszego początkowego procesu wymagał wielu wywołań API na sekcję, co potęgowało problemy z opóźnieniami.
Kluczowe Optymalizacje, Które Zaimplementowaliśmy
1. Przejście z OpenAI Assistants API na Chat API
- Strukturyzowane Odpowiedzi Zamiast Wywoływania Narzędzi: Zamiast polegania na wywoływaniu narzędzi, przeszliśmy na strukturyzowane odpowiedzi do generowania sekcji planu biznesowego.
- Natychmiastowe Strumieniowanie Odpowiedzi: API Czatu umożliwiło szybsze strumieniowanie odpowiedzi, skracając czas do pierwszego znaku i poprawiając interaktywność.
2. Redukcja Cykli Wykonania Dla Szybszego Generowania
- Usunięcie wieloetapowych iteracji: Usunęliśmy cykle doskonalenia po ocenie, wybierając podejście jednoprzebiegowej optymalizacji.
- Zmniejszona liczba kroków ponownej oceny: Wcześniej, sekcje były wielokrotnie oceniane pod kątem ulepszeń. Zintegrowaliśmy to w jeden krok oceny.
3. Zoptymalizowana integracja LangChain w celu redukcji nadmiernych wywołań API
- Domyślne Zachowanie Odpytywania: Domyślna implementacja LangChain Asystenta z Narzędziami używała odpytywania, aby sprawdzić, czy wykonanie zostało zakończone, prowadząc do zduplikowanych żądań.
- Zmodyfikowana Strategia Odpytywania: Zoptymalizowaliśmy naszą integrację, aby ograniczyć niepotrzebne odpytywanie, zmniejszając liczbę zbędnych żądań API.
Ostateczne wyniki: Kompromisy między szybkością a jakością
Implementując te optymalizacje, udało nam się skrócić czas odpowiedzi SI z 30 minut do mniej niż 1 minuty. Jednak wiązało się to z kosztami:
Co Zyskaliśmy:
- Drastyczna poprawa szybkości, umożliwiająca interakcje w czasie rzeczywistym.
- Bardziej elastyczna zmiana modeli, pozwalająca na płynne przejścia między modelami GPT-4o, GPT-4o-mini i Claude.
- Lepsza kompatybilność z LangChain, zapewniająca, że przyszłe ulepszenia mogą być łatwo integrowane.
Co Straciliśmy:
- Zmniejszone cykle samodoskonalenia, co oznacza, że SI nie iteruje wielokrotnie w celu udoskonalenia odpowiedzi.
- Mniej warstw oceny, co może obniżyć głębokość treści w niektórych sekcjach.
Chociaż ten kompromis był konieczny, aby poprawić doświadczenia użytkownika, przyszłe aktualizacje mogą przywrócić wybrane procesy iteracyjne jeśli prędkość na to pozwoli.
Nauczone Lekcje
1. LangChain & LangGraph Wymagają Głębokiej Personalizacji
- Rozwiązania gotowe do użycia wprowadzają nieefektywności, które wymagają niestandardowych rozszerzeń.
- Zrozumienie i modyfikacja wewnętrznych mechanizmów LangChain było kluczowe dla optymalizacji wydajności.
2. Szybkość a Jakość to Akt Równowagi
- Zmniejszenie liczby kroków generacji poprawiło szybkość, ale wymagało poświęcenia iteracyjnych udoskonaleń.
- Przyszłe prace mogą badać selektywne wprowadzanie na nowo kluczowych cykli zwiększających jakość.
3. Najpierw zoptymalizuj szybkość, a potem pracuj nad jakością
- Początkowe problemy z wydajnością uniemożliwiły praktyczne użytkowanie w czasie rzeczywistym.
- Priorytetyzacja szybkości wykonania na pierwszym miejscu pozwoliła nam później poprawić jakość wyników bez wpływu na użyteczność.
Wypróbuj Nasz Pakiet Biznesowy z AI
Zbudowaliśmy i zoptymalizowaliśmy nasz generator planów biznesowych sterowany przez SI w DreamHost, zapewniając wydajność i skalowalność na poziomie przedsiębiorstwa.
Klienci DreamHost mogą kliknąć tutaj aby rozpocząć i zapoznać się z naszym generatorem planów biznesowych zasilanym przez SI i innymi narzędziami SI już dziś!
Ten post jest częścią 2 z 4-częściowej serii. Upewnij się, że zapoznałeś się z innymi postami w serii, aby dokładniej zgłębić nasz generator biznesplanów zasilany SI.
Część 1: Jak zbudowaliśmy generator biznesplanów zasilany SI, używając LangGraph & LangChain
Część 2: Jak zoptymalizowaliśmy generowanie biznesplanów SI: kompromis między szybkością a jakością
Część 3: Jak stworzyliśmy 273 testy jednostkowe w 3 dni bez pisania ani jednej linii kodu
Część 4: Ramka oceny SI — jak zbudowaliśmy system do oceny i ulepszania generowanych przez SI biznesplanów