Цей пост є Частиною 2 з чотиричастинної серії. Обов’язково переглянь інші пости в серії для більш глибокого занурення у наш генератор бізнес-планів з ШІ.
Частина 1: Як ми створили генератор бізнес-планів з ШІ, використовуючи LangGraph & LangChain
Частина 2: Як ми оптимізували генерацію бізнес-планів з ШІ: компроміси швидкості проти якості
Частина 3: Як ми створили 273 юніт-тести за 3 дні без написання жодного рядка коду
Частина 4: Фреймворк оцінювання ШІ — Як ми створили систему для оцінювання та вдосконалення бізнес-планів, згенерованих ШІ
Вступ: Чому Це Зайняло 30 Хвилин?
Наш генератор бізнес-планів на основі ШІ спочатку був розроблений для максимізації якості контенту шляхом виконання кількох ітеративних процесів, включаючи складання чернеток, оцінку, цикли вдосконалення та структуровану валідацію. Метою було створення добре структурованих, зрозумілих та проникливих бізнес-планів, які відповідають нашим ключовим характеристикам:
- Чіткість та Простота — Забезпечення можливості легкого розуміння та використання планів для власників бізнесу.
- Стратегічна Підтримка — Надання дієвих порад, а не просто тексту.
- Кастомізація та Усвідомлення Контексту — Адаптація планів залежно від відповідей користувачів.
- Дієвість — Спрощення реалізації планів для підприємців.
Проте цей високоякісний багатоетапний підхід мав свою ціну: створення повного плану займало понад 30 хвилин. Така затримка робила не можливим реальний час взаємодії. Нам потрібно було реструктуризувати наш підхід щоб пріоритетом була швидкість без повного жертвування якістю.
Після ретельного аналізу продуктивності ми виявили ключові вузькі місця та оптимізували наш процес, в результаті чого час відповіді ШІ знизився з 30 хвилин до менше ніж 1 хвилина. Однак, це мало свої наслідки: ми були змушені жертвувати декількома циклами виконання на користь швидкості.
Основні Причини Затримок
Після ретельного тестування ми визначили наступні фактори, які сповільнюють створення бізнес-плану з ШІ:
1. Накладні Витрати API Асистентів OpenAI
- Затримка Створення Потоку та Запуску: API асистентів OpenAI вносило значні затримки під час налаштування та управління запусками на базі потоків.
- Обмеження Паралельного Виконання: Виконання кількох секцій паралельно в одному потоці було неможливим, що змушувало виконувати обробку послідовно.
2. Затримки Виклику Інструменту
- Зайві Повідомлення При Викликах Функцій: Кожен виклик функції додавав зайве невпорядковане повідомлення, непотрібно збільшуючи час відповіді.
- Неефективна Структура Викликів: Створення викликів інструментів збільшувало навантаження на обробку відповідей, роблячи структуровані відповіді більш ефективною альтернативою.
3. Складність Багатоетапного Виконання
- Багаторазові Ітерації На Секцію: Початковий робочий процес включав створення чернеток, оцінювання, вдосконалення та повторні оцінювання перед створенням остаточної секції.
- Високий Об’єм Викликів API: Ітеративна природа нашого початкового процесу вимагала багаторазових викликів API на секцію, що збільшувало проблеми з затримками.
Основні Оптимізації, Які Ми Запровадили
1. Перехід З API Помічників OpenAI На API Чату
- Структуровані Відповіді Замість Викликів Інструментів: Замість покладання на виклики інструментів, ми перейшли до структурованих відповідей для генерації розділів бізнес-плану.
- Миттєва Потокова Відповідь: Завдяки Chat API забезпечено швидшу потокову передачу відповідей, що скорочує час до першого токена і покращує взаємодію.
2. Зменшення Часу Виконання Для Швидшого Створення
- Видалено Багатокрокові Ітерації: Ми усунули цикли доопрацювання після оцінювання, вибравши підхід одноразової оптимізованої генерації.
- Зменшено Кроки Переоцінки: Раніше розділи переоцінювалися декілька разів для вдосконалення. Ми об’єднали це в один крок оцінювання.
3. Оптимізована Інтеграція LangChain Для Зменшення Зайвих API-викликів
- Стандартна Поведінка Опитувань: За замовчуванням Імплементація Assistant with Tools від LangChain використовувала опитування для перевірки завершеності процесу, що призводило до подвійних запитів.
- Модифікована Стратегія Опитувань: Ми оптимізували нашу інтеграцію, щоб зменшити непотрібне опитування, знижуючи кількість зайвих запитів до API.
Остаточні Результати: Компроміси Швидкості Проти Якості
Завдяки цим оптимізаціям, ми зменшили час відповіді ШІ з 30 хвилин до менше ніж 1 хвилина. Однак, це було зроблено не без витрат:
Що Ми Отримали:
- Різке покращення швидкості, що робить можливим реальну взаємодію в реальному часі.
- Більш гнучке перемикання моделей, що дозволяє здійснювати плавні переходи між моделями GPT-4o, GPT-4o-mini та Claude.
- Краща сумісність з LangChain, забезпечуючи можливість гладко інтегрувати майбутні вдосконалення.
Що Ми Втратили:
- Зменшені цикли самовдосконалення, що означає, що ШІ більше не повторює кілька разів для уточнення відповідей.
- Менше рівнів оцінки, потенційно знижує глибину контенту в деяких розділах.
Хоча цей компроміс був необхідний для покращення користувацького досвіду, майбутні оновлення можуть повторно ввести вибіркові ітераційні процеси там, де це дозволяє швидкість.
Отримані Уроки
1. LangChain & LangGraph Вимагають Глибокої Налаштування
- Готові рішення створюють неефективність що вимагають користувацьких розширень.
- Розуміння та модифікація внутрішніх компонентів LangChain були ключовими для оптимізації продуктивності.
2. Швидкість Проти Якості — Це Балансування
- Зменшення кількості кроків генерації підвищило швидкість, але потребувало жертвувати ітеративними удосконаленнями.
- У майбутньому можливе дослідження вибіркового повторного введення ключових циклів, що підвищують якість.
3. Спочатку Оптимізуй для Швидкості, Потім Покращуй Якість
- Початкові проблеми з продуктивністю зробили реальне використання непрактичним.
- Пріоритетність швидкості виконання спочатку дозволила нам згодом покращити якість результатів не впливаючи на зручність використання.
Спробуй Нашу Бізнес Сюїт На Основі ШІ
Ми створили та оптимізували наш генератор бізнес-планів на базі ШІ в DreamHost, гарантуючи рівень продуктивності та масштабованості підприємства.
Клієнти DreamHost можуть натиснути тут щоб розпочати і вивчати наш генератор бізнес-планів на базі ШІ та інші інструменти ШІ сьогодні!
Цей пост є Частиною 2 з 4-частинної серії. Обов’язково переглянь інші пости в серії, щоб глибше зануритись у наш генератор бізнес-планів на базі ШІ.
Частина 1: Як Ми Створили Генератор Бізнес-Планів на Базі ШІ, Використовуючи LangGraph & LangChain
Частина 2: Як Ми Оптимізували Генерацію Бізнес-Планів ШІ: Швидкість Проти Якості
Частина 3: Як Ми Створили 273 Модульних Тестів за 3 Дні Без Написання Жодного Рядка Коду
Частина 4: Оціночна Система ШІ — Як Ми Створили Систему для Оцінки та Вдосконалення Генерованих ШІ Бізнес-Планів