Deze post is Deel 1 van een 4-delige serie. Zorg ervoor dat je de andere posts in de serie bekijkt voor een diepere duik in onze AI-gedreven bedrijfsplannengenerator.
Deel 1: Hoe We Een AI-Gedreven Bedrijfsplannengenerator Hebben Gebouwd Met LangGraph & LangChain
Deel 2: Hoe We AI Bedrijfsplannengeneratie Hebben Geoptimaliseerd: Snelheid vs. Kwaliteit Afwegingen
Deel 3: Hoe We 273 Unit Tests Hebben Gecreëerd in 3 Dagen Zonder Ook Maar Één Regel Code te Schrijven
Deel 4: AI Evaluatiekader — Hoe We Een Systeem Hebben Gebouwd Om AI-gegenereerde Bedrijfsplannen te Beoordelen en te Verbeteren
Bij het bouwen van een AI-aangedreven bedrijfsplannengenerator, zijn we vanaf nul begonnen met het gebruik van LangChain en LangGraph, omdat we een agentic raamwerk nodig hadden dat complexe workflows aankan. In tegenstelling tot ons vorige project, Business Advisor — een chatgebaseerde agent die afhankelijk was van OpenAI’s SDK en pipeline-gebaseerde verwerking — vereiste dit nieuwe project een gestructureerde, meerstaps AI-workflow om dynamisch bedrijfsplannen te genereren en te verfijnen.
Ons productteam heeft de kernfunctionaliteit als volgt gedefinieerd:
- Gebruikers zouden een zakelijk interview doorlopen waarbij ze gestructureerde vragen beantwoorden.
- Elk vraag-antwoord paar zou gekoppeld worden aan specifieke secties in het ondernemingsplan.
- Gebruikers konden later antwoorden bijwerken, wat een regeneratie van de betreffende secties teweegbracht.
- Het systeem was ontworpen om toekomstige domeinspecifieke agenten te ondersteunen, zoals specialisten in financiële modellering of marktonderzoek.
Gezien de toenemende trend van multi-agent AI workflows in zakelijke toepassingen, hebben we ons systeem gestructureerd met modulaire, schaalbare AI-componenten die efficiënt kunnen samenwerken en tegelijkertijd nauwkeurigheid, consistentie en aanpasbaarheid waarborgen.
Waarom Wij Voor LangChain & LangGraph Hebben Gekozen
Het bouwen van een complexe AI-gedreven applicatie vereiste meer dan alleen eenvoudige LLM-query’s. We hadden nodig:
- Een modelagnostische architectuur: De mogelijkheid om te wisselen tussen OpenAI-modellen, Claude en zelfs lokale LLM’s zonder grote herschrijvingen.
- Grafiekgebaseerde uitvoering: Een manier om workflows dynamisch te structureren, starre pijpleidingen vermijdend.
- Staatvol geheugen: Het vermogen van het systeem om tussenliggende resultaten te behouden over stappen heen.
- Schaalbaarheid: De flexibiliteit om in de toekomst meer gespecialiseerde AI-agenten toe te voegen.
LangChain en LangGraph boden deze mogelijkheden via gerichte acyclische grafiek (DAG)-gebaseerde workflows, die complexe interacties tussen meerdere verwerkingsnodes mogelijk maakten.
Hoewel we niet meteen domeinspecifieke agenten hebben geïmplementeerd, hebben we het systeem ontworpen om toekomstige AI-modellen te ondersteunen die gespecialiseerd zijn in financiële prognoses, juridische naleving of marktanalyse, waarbij we ervoor zorgden dat het framework flexibel bleef.
Een belangrijke trend die we hebben geïdentificeerd, was de toenemende adoptie van multi-agent AI workflows in complexe zakelijke toepassingen. Bedrijven zoals LinkedIn en Uber hebben met succes agent-gebaseerde architecturen ingezet om de bedrijfsvoering en besluitvorming te verbeteren. Geïnspireerd hierdoor hebben we ons systeem zo ontworpen dat meerdere AI-nodes dynamisch kunnen samenwerken, waarbij elke verwerkingsstap onafhankelijk geoptimaliseerd kan worden terwijl een naadloze integratie behouden blijft.
De AI Workflow Implementeren
De kernarchitectuur bestond uit:
- Gebruikersreacties van het interview opgeslagen als gestructureerde gegevens.
- LangGraph-aangedreven workflow die taken dynamisch naar relevante AI-knooppunten leidde.
- Een hybride modelkeuzestrategie, waardoor verschillende taken door verschillende OpenAI-modellen behandeld kunnen worden (GPT-4o voor gedetailleerde secties, GPT-4o-mini voor algemene opzet).
- Een hybride generatiebenadering, waarbij sommige secties individueel voor nauwkeurigheid werden gegenereerd, terwijl andere in groepen voor efficiëntie werden verwerkt.
Stapsgewijze Uiteenzetting Van De Werkzaamheden
Onze bedrijfsplangeneratie workflow omvatte verschillende opeenvolgende stappen:
- Ontwerpknooppunt — Genereert een eerste ontwerp van het bedrijfsplan op basis van gebruikersreacties.
- Evaluatieknooppunt — Beoordeelt het ontwerp, identificeert lacunes en verbeterpunten.
- Naverfijning Evaluatie — Past het ontwerp aan op basis van feedback uit de evaluatie.
- Definitieve Generatie — Produceert de definitieve versie, waarbij volledigheid en samenhang worden verzekerd.
Deze meerstappenbenadering zorgde voor een geleidelijke verfijning van het bedrijfsplan, in plaats van te vertrouwen op een enkele AI-generatie. Vanwege prestatiebeperkingen hebben we dit later vereenvoudigd naar een eenstaps generatieproces om redenen van gebruiksvriendelijkheid, wat we in een toekomstig artikel zullen bespreken.
Voorbeeld Van Grafiekgebaseerde Verwerking
graph TD;
A[Gebruikersinterview] --> B[Conceptgeneratie];
B --> C[Evaluatie];
C --> D[Verfijning na Evaluatie];
D --> E[Definitief Bedrijfsplan];
Deze structuur illustreert hoe taken door verschillende fasen stromen, wat zorgt voor een modulaire en schaalbare uitvoering.
Voorbeeld: Gebruik van Tooloproep voor Gestuctureerde Generatie
Een van onze belangrijkste beslissingen was het gebruik van gereedschapsoproepen in de strikte modus van OpenAI. Dit stelde AI-modellen in staat om te interageren met gestructureerde functies en voorspelbare, geformatteerde reacties af te dwingen, waardoor hallucinaties werden verminderd.
Voorbeeld Van Aanroepen Tool: Genereren Van Bedrijfsplansecties
import { StructuredToolWithStrict } from 'langchain/tools';
import { z } from 'zod';
const sectionsSchema = z.object({
sections: z.array(
z.object({
id: z.string().describe('De ID van de sectie'),
slug: z.string().describe('De sjabloonslug voor deze sectie'),
content: z.string().describe('De gegenereerde inhoud voor deze sectie')
})
).describe('Een reeks bedrijfsplansecties')
}).strict();
export class GenerateBusinessPlanSections extends StructuredToolWithStrict {
name = 'generate_sections';
description = 'Genereer gestructureerde bedrijfsplansecties op basis van gebruikersinvoer.';
schema = sectionsSchema;
async _call(input) {
return { sections: input.sections }; // AI-gegenereerde inhoud geleverd als tool argumenten
}
}
Het gebruik van Zod voor schemavalidatie zorgde ervoor dat reacties altijd goed gevormd en typeveilig waren, waardoor parseerfouten werden verminderd en geautomatiseerde validatie van door AI gegenereerde inhoud mogelijk was.
Uitdagingen & LangChain Aanpassingen
Ondanks de voordelen van LangChain en LangGraph, zijn we op meerdere obstakels gestuit die aangepaste aanpassingen vereisten:
- Beperkingen Van LangChain → Ontbrekende strikte modus voor het aanroepen van tools en gebrek aan ondersteuning voor streaming van tooluitvoer. We hebben de ingebouwde functies van LangChain uitgebreid om strengere uitvoerbeperkingen af te dwingen en LangGraph aangepast om incrementele streaming van gestructureerde responsen mogelijk te maken.
- Onvoldoende LangChain Documentatie → We moesten vaak de broncode van LangChain lezen en analyseren vanwege onvoldoende documentatie, wat de implementatie vertraagde en het debuggen bemoeilijkte.
- Kwaliteitsproblemen Met De Code → Bepaalde delen van de implementatie van LangChain misten onderhoudbaarheid, wat ons noodzaakte om belangrijke componenten te herstructureren en te optimaliseren.
- Prestatieknelpunten Met OpenAI’s Assistants API → We gebruikten aanvankelijk Assistants API maar ontdekten dat het creëren van threads aanzienlijke latentie veroorzaakte, en extra ongestructureerde berichten in tooloproepen vertraagden de reactietijden. Uiteindelijk zijn we overgestapt op Chat API voor gestructureerde responsen en verbeterde efficiëntie.
Om deze aan te pakken, hebben we een aangepaste OpenAIAssistantRunnable ontwikkeld, een gespecialiseerd onderdeel gebaseerd op de bestaande implementatie van LangChain, maar verbeterd om streaming, strikte tooloproepen en meerstaps workflows te ondersteunen.
Definitieve Architectuuraanpassing
Terwijl de oorspronkelijke architectuur van de operaties intact bleef, hebben we het aantal verwerkingsstappen van meerdere iteraties naar een enkele generatiestap geminimaliseerd om de snelheid en gebruikerservaring in de uiteindelijke release te verbeteren.
Belangrijke Conclusies
- LangChain + LangGraph waren essentieel maar vereisten diepgaande aanpassingen voor gestructureerde antwoorden en het aanroepen van tools.
- Hybride generatiebenaderingen — het combineren van individuele en batchverwerking — stelden ons in staat om nauwkeurigheid en efficiëntie te balanceren.
- Gestructureerde antwoorden en schema-validatie verbeterden de kwaliteit en betrouwbaarheid van AI-uitvoer aanzienlijk.
- Een meerstapsverwerkingsaanpak werd aanvankelijk gebruikt, maar vanwege prestatiebeperkingen werd een vereenvoudigde eenstapsgeneratie geïmplementeerd.
- Optimaliseren van de AI-uitvoeringssnelheid door over te schakelen van de Assistants API naar de Chat API verminderde de generatietijd drastisch terwijl gestructureerde antwoorden behouden bleven.
Probeer Onze AI Aangedreven Bedrijfssuite
Ervaar de volledige mogelijkheden van onze door AI aangedreven bedrijfstools, gebouwd en gehost op DreamHost. Van bedrijfsplanning tot inhoudsgeneratie, onze suite van AI-tools is ontworpen om ondernemers en bedrijven te helpen hun operaties te stroomlijnen.
DreamHost klanten kunnen hier klikken om te beginnen en onze AI-gestuurde bedrijfsplangenerator en andere AI-tools te verkennen.
Dit bericht is Deel 1 van een 4-delige serie. Zorg ervoor dat je de andere berichten in de serie bekijkt voor een diepere duik in onze door AI aangedreven bedrijfsplangenerator.
Deel 1: Hoe We Een Door AI Aangedreven Bedrijfsplangenerator Hebben Gebouwd Met LangGraph & LangChain
Deel 2: Hoe We AI Bedrijfsplangeneratie Hebben Geoptimaliseerd: Snelheid versus Kwaliteit Afwegingen
Deel 3: Hoe We 273 Eenheden Tests Hebben Gecreëerd in 3 Dagen Zonder Een Enkele Regel Code te Schrijven
Deel 4: AI Evaluatieraamwerk — Hoe We Een Systeem Hebben Gebouwd om AI-gegenereerde Bedrijfsplannen te Beoordelen en te Verbeteren