Dieser Beitrag ist Teil 2 einer 4-teiligen Serie. Stelle sicher, dass Du die anderen Beiträge in der Serie ansiehst, um tiefer in unseren AI-gesteuerten Geschäftsplan-Generator einzutauchen.
Teil 1: Wie wir einen AI-gesteuerten Geschäftsplan-Generator mit LangGraph & LangChain entwickelt haben
Teil 2: Wie wir die Erstellung von AI-Geschäftsplänen optimiert haben: Geschwindigkeit vs. Qualitätskompromisse
Teil 3: Wie wir in 3 Tagen 273 Unit-Tests erstellt haben, ohne eine einzige Zeile Code zu schreiben
Teil 4: AI-Bewertungsframework — Wie wir ein System entwickelt haben, um AI-erzeugte Geschäftspläne zu bewerten und zu verbessern
Einführung: Warum Hat Es 30 Minuten Gedauert?
Unser von KI angetriebener Geschäftsplan-Generator wurde ursprünglich entwickelt, um die Qualität der Inhalte zu maximieren, indem mehrere iterative Prozesse durchgeführt wurden, einschließlich Entwerfen, Bewertung, Verbesserungszyklen und strukturierter Validierung. Das Ziel war es, gut strukturierte, kohärente und aussagekräftige Geschäftspläne zu erstellen, die mit unseren Schlüsselmerkmalen übereinstimmen:
- Klarheit und Einfachheit — Sicherstellen, dass Geschäftsinhaber ihre Pläne leicht verstehen und nutzen können.
- Strategische Anleitung — Bereitstellung umsetzbarer Einsichten, nicht nur Text.
- Anpassung und Kontextbewusstsein — Anpassung der Pläne basierend auf Nutzerantworten.
- Umsetzbarkeit — Pläne für Unternehmer leicht ausführbar machen.
Allerdings kam dieser hochwertige mehrstufige Ansatz mit Kosten: das Erstellen eines vollständigen Plans dauerte über 30 Minuten. Diese Verzögerung machte eine Echtzeit-Interaktion impraktikabel. Wir mussten unseren Ansatz umstrukturieren, um Geschwindigkeit zu priorisieren, ohne dabei vollständig auf Qualität zu verzichten.
Nach umfangreicher Leistungsanalyse haben wir Schlüsselengpässe identifiziert und unsere Pipeline optimiert, wodurch die Antwortzeit der KI von 30 Minuten auf unter 1 Minute reduziert wurde. Dies hatte jedoch Kompromisse zur Folge: Wir mussten mehrere Ausführungszyklen zugunsten der Geschwindigkeit opfern.
Die Hauptursachen für Langsamkeit
Nach umfangreichen Tests haben wir die folgenden Faktoren identifiziert, die die Erstellung von AI-Geschäftsplänen verlangsamen:
1. OpenAI Assistants API Overhead
- Thread- & Ausführungslatenz Erstellen: Die Assistants API von OpenAI führte zu erheblichen Verzögerungen beim Einrichten und Verwalten von Thread-basierten Ausführungen.
- Parallel Ausführungsbegrenzungen: Das gleichzeitige Ausführen mehrerer Abschnitte im selben Thread war nicht möglich, was eine serielle Verarbeitung erzwang.
2. Verzögerungen Beim Aufruf Von Tools
- Zusätzliche Nachrichten Bei Funktionsaufrufen: Jeder Funktionsaufruf fügte eine zusätzliche unstrukturierte Nachricht hinzu, was die Antwortzeiten unnötig erhöhte.
- Ineffiziente Anrufstruktur: Das Aufrufen von Tools erzeugte zusätzlichen Aufwand bei der Antwortbearbeitung, wodurch strukturierte Antworten eine effizientere Alternative darstellten.
3. Komplexität Der Mehrschritt-Ausführung
- Mehrfache Durchläufe Pro Abschnitt: Der ursprüngliche Workflow umfasste Entwürfe, Bewertungen, Verbesserungen und erneute Bewertungen, bevor ein endgültiger Abschnitt erstellt wurde.
- Hohes API-Aufrufvolumen: Die iterative Natur unseres anfänglichen Prozesses erforderte mehrere API-Aufrufe pro Abschnitt, was die Latenzprobleme vervielfachte.
Wichtige Optimierungen, Die Wir Durchgeführt Haben
1. Wechsel von der OpenAI Assistants API zur Chat API
- Strukturierte Antworten Anstelle Von Tool-Aufrufen: Anstelle von Tool-Aufrufen sind wir zu strukturierten Antworten übergegangen, um Abschnitte des Geschäftsplans zu generieren.
- Sofortige Antwortübertragung: Die Chat-API ermöglichte schnelleres Streaming von Antworten, wodurch die Zeit bis zum ersten Token reduziert und die Interaktivität verbessert wurde.
2. Verringerung Der Ausführungszyklen Für Schnellere Generierung
- Mehrschrittige Iterationen Eliminiert: Wir haben die Post-Bewertungsverfeinerungszyklen entfernt und uns für einen einmaligen optimierten Generierungsansatz entschieden.
- Reduzierte Re-Evaluierungsschritte: Früher wurden Abschnitte mehrmals zur Verbesserung evaluiert. Wir haben dies in einen einzigen Bewertungsschritt konsolidiert.
3. Optimierter LangChain-Integration zur Reduzierung redundanter API-Aufrufe
- Standard-Abfrageverhalten: Die standardmäßige Umsetzung des Assistants mit Tools von LangChain verwendete Abfragen, um zu prüfen, ob ein Vorgang abgeschlossen war, was zu doppelten Anfragen führte.
- Modifizierte Abfragestrategie: Wir haben unsere Integration optimiert, um unnötige Abfragen zu reduzieren, was die Zahl redundanter API-Anfragen senkte.
Endergebnisse: Geschwindigkeit vs. Qualitätskompromisse
Durch die Implementierung dieser Optimierungen haben wir die AI-Antwortzeit von 30 Minuten auf unter eine Minute reduziert. Dies hatte jedoch einen Preis:
Was Wir Gewonnen Haben:
- Drastische Geschwindigkeitsverbesserungen, die Echtzeit-Interaktionen ermöglichen.
- Flexiblerer Modellwechsel, der nahtlose Übergänge zwischen GPT-4o, GPT-4o-mini und Claude-Modellen ermöglicht.
- Bessere Kompatibilität mit LangChain, die sicherstellt, dass zukünftige Verbesserungen reibungslos integriert werden können.
Was Wir Verloren Haben:
- Verkürzte Selbstverbesserungszyklen, was bedeutet, dass die KI nicht mehr mehrfach iteriert, um Antworten zu verfeinern.
- Weniger Bewertungsebenen, was potenziell die Tiefe des Inhalts in bestimmten Bereichen verringert.
Obwohl dieser Kompromiss notwendig war, um die Benutzererfahrung zu verbessern, könnten zukünftige Updates selektive iterative Prozesse wieder einführen, wo es die Geschwindigkeit erlaubt.
Gelernte Lektionen
1. LangChain & LangGraph Benötigen Tiefgreifende Anpassung
- Out-of-the-box-Lösungen führen zu Ineffizienzen , die benutzerdefinierte Erweiterungen erfordern.
- Das Verstehen und Modifizieren der Interna von LangChain war entscheidend für die Optimierung der Leistung.
2. Geschwindigkeit vs. Qualität Ist Ein Balanceakt
- Die Reduzierung der Generierungsschritte verbesserte die Geschwindigkeit, erforderte jedoch das Opfern iterativer Verbesserungen.
- Zukünftige Arbeiten könnten die selektive Wiedereinführung von Schlüsselzyklen zur Qualitätssteigerung untersuchen.
3. Zuerst Für Geschwindigkeit Optimieren, Dann Die Qualität Verbessern
- Anfängliche Leistungsprobleme machten die Echtzeitnutzung unpraktisch.
- Die Priorisierung der Ausführungsgeschwindigkeit ermöglichte es uns, später die Qualität der Ergebnisse zu verfeinern, ohne die Benutzbarkeit zu beeinträchtigen.
Probiere Unsere Von AI Angetriebene Geschäftssuite Aus
Wir haben unseren von AI angetriebenen Geschäftsplaner bei DreamHost gebaut und optimiert, um Leistung und Skalierbarkeit auf Unternehmensebene zu gewährleisten.
DreamHost-Kunden können hier klicken, um loszulegen und unseren AI-gesteuerten Geschäftsplaner und andere AI-Tools noch heute zu erkunden!
Dieser Beitrag ist Teil 2 einer vierteiligen Serie. Stelle sicher, dass Du die anderen Beiträge in der Serie liest, um tiefer in unseren von AI angetriebenen Geschäftsplan-Generator einzutauchen.
Teil 1: Wie wir einen von AI angetriebenen Geschäftsplan-Generator mit LangGraph & LangChain entwickelt haben
Teil 2: Wie wir die AI-Geschäftsplangenerierung optimierten: Geschwindigkeit vs. Qualitätsabwägungen
Teil 3: Wie wir in 3 Tagen 273 Unit-Tests erstellt haben, ohne eine einzige Zeile Code zu schreiben
Teil 4: AI-Bewertungsrahmen – Wie wir ein System entwickelt haben, um AI-generierte Geschäftspläne zu bewerten und zu verbessern