Этот пост является частью 2 из серии из 4-х частей. Обязательно ознакомьтесь с другими постами серии, чтобы глубже погрузиться в наш генератор бизнес-планов на основе ИИ.
Часть 1: Как мы создали генератор бизнес-планов на основе ИИ, используя LangGraph & LangChain
Часть 2: Как мы оптимизировали генерацию бизнес-планов на основе ИИ: скорость против качества
Часть 3: Как мы создали 273 модульных теста за 3 дня без написания единой строки кода
Часть 4: Фреймворк оценки ИИ — как мы создали систему для оценки и улучшения бизнес-планов, созданных ИИ
Введение: Почему Это Заняло 30 Минут?
Наш генератор бизнес-планов на базе ИИ изначально был разработан для максимизации качества контента путём выполнения множества итеративных процессов, включая создание черновиков, оценку, циклы улучшения и структурированную проверку. Целью было создание хорошо структурированных, согласованных и содержательных бизнес-планов в соответствии с нашими ключевыми характеристиками:
- Ясность и Простота — Мы помогаем владельцам бизнеса легко понимать и использовать их планы.
- Стратегическое Руководство — Мы предоставляем практические рекомендации, а не просто текст.
- Индивидуальный Подход и Осведомлённость о Контексте — Мы адаптируем планы исходя из ответов пользователей.
- Практичность — Мы делаем планы легкими в выполнении для предпринимателей.
Однако, этот многоэтапный подход высокого качества имел свою цену: создание полного плана занимало более 30 минут. Такая задержка делала практически невозможным взаимодействие в реальном времени. Нам нужно было перестроить наш подход с приоритетом на скорость, не полностью жертвуя качеством.
После тщательного анализа производительности мы выявили ключевые узкие места и оптимизировали нашу систему, в результате чего время ответа ИИ было сокращено с 30 минут до менее чем 1 минуты. Однако это привело к компромиссам: нам пришлось пожертвовать несколькими циклами выполнения в угоду скорости.
Основные причины медленной работы
После тщательного тестирования мы определили следующие факторы, замедляющие создание бизнес-планов с ИИ:
1. Накладные Расходы API Помощников OpenAI
- Задержка Создания Потока И Задач: API помощников OpenAI ввело значительные задержки при настройке и управлении задачами на основе потоков.
- Ограничения Параллельного Выполнения: Одновременное выполнение нескольких разделов в одном потоке было невозможно, что требовало последовательной обработки.
2. Задержки вызова инструмента
- Дополнительные Сообщения в Вызовах Функций: Каждый вызов функции добавлял дополнительное неструктурированное сообщение, ненужно увеличивая время ответа.
- Неэффективная Структура Вызова: Вызов инструмента создавал дополнительные накладные расходы на обработку ответа, делая структурированные ответы более эффективной альтернативой.
3. Сложность Многоэтапного Выполнения
- Несколько Итераций На Раздел: Исходный рабочий процесс включал создание черновиков, оценку, улучшения и повторные оценки перед созданием финального раздела.
- Высокий Объем Вызовов API: Итеративный характер нашего первоначального процесса требовал множественных вызовов API на раздел, что увеличивало задержки.
Ключевые Оптимизации, Которые Мы Реализовали
1. Переход с OpenAI Assistants API на Chat API
- Структурированные Ответы Вместо Вызова Инструментов: Вместо использования вызова инструментов мы перешли к структурированным ответам для генерации разделов бизнес-плана.
- Мгновенное Потоковое Отображение Ответов: Chat API обеспечил более быстрое потоковое отображение ответов, сократив время до первого токена и улучшив интерактивность.
2. Сокращение Циклов Выполнения для Более Быстрой Генерации
- Устранены Многоэтапные Итерации: Мы удалили циклы уточнения после оценки, выбрав подход однопроходной оптимизированной генерации.
- Сокращение Шагов Переоценки: Ранее разделы многократно оценивались для улучшений. Мы объединили это в один шаг оценки.
3. Оптимизированная Интеграция LangChain для Сокращения Избыточных API Вызовов
- Стандартное Поведение При Опросе: Стандартная реализация LangChain с помощью инструментов использовала опрос для проверки завершения выполнения, что приводило к повторным запросам.
- Измененная Стратегия Опроса: Мы оптимизировали нашу интеграцию для сокращения ненужных опросов, уменьшая количество избыточных запросов к API.
Итоговые Результаты: Скорость Против Качества
Применив эти оптимизации, мы сократили время ответа ИИ с 30 минут до менее чем 1 минуты. Однако это было сделано не без затрат:
Что мы получили:
- Значительное улучшение скорости, позволяющее реализовать возможность реального времени взаимодействия.
- Более гибкое переключение моделей, обеспечивающее бесперебойные переходы между моделями GPT-4o, GPT-4o-mini и Claude.
- Лучшая совместимость с LangChain, гарантирующая, что будущие улучшения можно будет интегрировать гладко.
Что Мы Потеряли:
- Сокращение циклов самосовершенствования, что означает, что ИИ больше не выполняет множество итераций для уточнения ответов.
- Меньше слоев оценки, потенциально снижая глубину содержания в некоторых разделах.
Хотя этот компромисс был необходим для улучшения пользовательского опыта, в будущих обновлениях может произойти возвращение избирательных итерационных процессов там, где это позволяет скорость.
Полученные Уроки
1. LangChain & LangGraph Требуют Глубокой Настройки
- Готовые решения создают неэффективность которая требует настраиваемых расширений.
- Понимание и изменение внутренностей LangChain было ключевым для оптимизации производительности.
2. Скорость против Качества — это Балансировка
- Уменьшение количества этапов генерации увеличило скорость, но потребовало жертвовать итеративными улучшениями.
- В будущих работах можно рассмотреть выборочное возвращение ключевых циклов, повышающих качество.
3. Сначала оптимизируй для скорости, затем улучшай качество
- Первоначальные проблемы с производительностью сделали использование в реальном времени нецелесообразным.
- Приоритет скорости выполнения позволил нам позже улучшить качество выходных данных без влияния на удобство использования.
Попробуй наш бизнес-набор на базе ИИ
Мы разработали и оптимизировали наш генератор бизнес-планов на базе ИИ в DreamHost, обеспечив уровень производительности и масштабируемости, соответствующий корпоративным стандартам.
Клиенты DreamHost могут перейти сюда чтобы начать и исследовать наш генератор бизнес-планов на базе ИИ и другие инструменты ИИ уже сегодня!
Этот пост является Частью 2 из серии из 4 частей. Обязательно ознакомься с другими постами в серии для более глубокого погружения в наш генератор бизнес-планов на базе ИИ.
Часть 1: Как мы создали генератор бизнес-планов на базе ИИ с использованием LangGraph & LangChain
Часть 2: Как мы оптимизировали создание бизнес-планов на ИИ: скорость против качества
Часть 3: Как мы создали 273 теста за 3 дня без написания кода
Часть 4: Рамки оценки ИИ — как мы создали систему для оценки и улучшения бизнес-планов, созданных ИИ