Multi-Agent-Workflows im Mittelstand: Wann mehrere Agenten besser sind als ein großer - und wann definitiv nicht

Jeder IT-Verantwortliche im Mittelstand hat dieses Gespräch in den letzten sechs Monaten geführt. Ein Anbieter zeigt ein Multi-Agent-System. Fünf Agenten. Jeder mit eigener Persönlichkeit. Sie diskutieren. Sie reichen Aufgaben weiter. Sie produzieren ein Recherche-Briefing, für das ein Junior-Berater zwei Tage gebraucht hätte. Alle im Raum sind beeindruckt. Alle sind auch leise unsicher: Sollten wir das bauen? Und falls ja, wo?

Multi-Agent ist gerade das am stärksten gehypte Architektur-Muster in der Enterprise-KI - und eines der teuersten, wenn man es falsch macht. Anthropic, das Unternehmen, das das Orchestrator-Worker-Muster maßgeblich geprägt hat, schreibt ausdrücklich, dass Multi-Agent-Systeme das 15-Fache an Token von Chat-Interaktionen verbrauchen¹. Unabhängige akademische Forschung zeigt, dass Multi-Agent-Setups auf Benchmarks 97 Prozent Erfolg erreichen, während vergleichbare Single-Agent-Setups bei 99,5 Prozent liegen⁴. Cornell-Forschung wiederum zeigt, dass Multi-Agent Single-Agent bei komplexer Planung um den Faktor 15 schlägt - und Google-Forschung das genaue Gegenteil bei sequenziellen Aufgaben²⁰.

Die ehrliche Antwort für die meisten Mittelständler: In 80 Prozent Ihrer Workflows gewinnt ein gut entworfener einzelner Agent. In 20 Prozent ist Multi-Agent wirklich besser - und diese 20 Prozent lohnen sich ernsthaft. Dieser Leitfaden ist die Architektur, die Kostenrechnung, der Framework-Vergleich und der 90-Tage-Plan, mit denen Sie das richtige Muster für den richtigen Workflow wählen.

Die Multi-Agent-Welle ist im Mittelstand angekommen

Die Verschiebung läuft schnell und meist ungesteuert. Die meisten Mittelstands-IT-Teams haben Multi-Agent durch einen Anbieter-Pitch, einen LinkedIn-Beitrag oder einen internen Hackathon entdeckt - nicht durch eine bewusste Architektur-Entscheidung. So sieht die Faktenlage aus.

• Anthropics eigenes Multi-Agent-Recherche-System hat Single-Agent Claude Opus 4 in internen Evaluierungen um 90,2 Prozent geschlagen - das Orchestrator-Worker-Muster mit Opus als Lead und Sonnet als Subagenten reduzierte die Recherchezeit für komplexe Anfragen um bis zu 90 Prozent¹.
• Derselbe Anthropic-Beitrag schreibt jedoch klar, dass Multi-Agent das 15-Fache der Token von Chat-Interaktionen kostet - und sich nur lohnt, wenn der Wert der Aufgabe hoch genug ist¹.
• Unabhängige Reliability-Daten zeigen den Trade-off - Single-Agent erreicht 99,5 Prozent Erfolg auf komplexen Benchmark-Aufgaben, vergleichbare Multi-Agent-Implementierungen fallen wegen Koordinationsfehlern auf 97 Prozent⁴.
• Cornell-Forschung zur Planung zeigt koordinierte Multi-Agent-Systeme mit 42,68 Prozent Erfolg bei Aufgaben, bei denen ein Single-GPT-4-Setup nur auf 2,92 Prozent kam - ein fast 15-facher Vorsprung beim richtigen Aufgabentyp²⁰.
• Google-Forschung zeigt das Gegenteil bei sequenziellem Reasoning - Multi-Agent-Performance bricht bei Aufgaben, die strenge sequenzielle Logik verlangen, um 39 bis 70 Prozent gegenüber Single-Agent ein¹⁴.
• Produktions-Kostenrealität - der Aufbau einer voll autonomen Multi-Agent-Plattform mit Memory, Tool-Use, Orchestrierung, Human-in-the-Loop-Guardrails und Compliance-Kontrollen kostet 150.000 bis 1,5 Millionen US-Dollar plus, mit monatlichen Betriebskosten von 3.200 bis 13.000 US-Dollar bei mittlerer Last¹¹.
• Engineering-Aufwand 3- bis 5-fach gegenüber vergleichbaren Single-Agent-Systemen wegen State-Management, Fehlerbehandlung und Observability-Komplexität¹⁵.
• Frameworks haben sich auf vier Gewinner konsolidiert - LangGraph, CrewAI, AutoGen und OpenAI Agents SDK decken jetzt die meisten Produktions-Deployments ab⁹.

Was Multi-Agent wirklich heißt (und was nicht)

Der Begriff ist überfrachtet. Anbieter nennen fast alles mit zwei LLM-Calls ein Multi-Agent-System. Mittelstands-IT-Verantwortliche brauchen sauberere Definitionen vor jeder Architekturentscheidung.

Drei Dinge, die oft Multi-Agent genannt werden, aber keines sind

• Ein Workflow mit mehreren LLM-Schritten - Eine Pipeline, die ein LLM dreimal in fester Reihenfolge aufruft, ist Prompt Chaining, kein Multi-Agent. Es gibt keinen Agenten, der autonom entscheidet, wer als Nächstes dran ist.
• Ein LLM mit mehreren Tools - Ein einzelner Agent, der CRM, ERP und einen Kalender-API aufrufen kann, ist immer noch ein Agent. Tool-Use macht noch kein Multi-Agent-System.
• Mehrere Kopien desselben Agenten - Denselben Agenten fünfmal parallel laufen zu lassen und Outputs zu aggregieren, ist Parallelisierung. Nützlich, aber kein Multi-Agent im architektonischen Sinn.

Was Multi-Agent wirklich heißt

Ein Multi-Agent-System hat mindestens zwei verschiedene Agenten - also Agenten mit unterschiedlichen Rollen, Prompts, Tool-Sets oder Modellen - die sich abstimmen, um ein Ergebnis zu liefern. Die Koordinationslogik selbst ist dynamisch: Agenten entscheiden auf Basis von Zwischenergebnissen, was als Nächstes kommt - nicht aufgrund einer fest verdrahteten Sequenz.

• Unterschiedliche Rollen - Ein Planer-Agent und ein Ausführer-Agent haben unterschiedliche Aufgaben. Ein Drafter und ein Reviewer ebenso. Zwei austauschbare Kopien nicht.
• Koordinationsprotokoll - Ein expliziter Mechanismus für Übergaben: Tool-basierte Delegation, ein Orchestrator als Dispatcher, ein eventgetriebener Message-Bus, ein Graph mit konditionalen Kanten.
• Geteilter oder gescopter State - Eine Möglichkeit für Agenten, Kontext zu teilen - via Shared Memory, Message Passing oder explizite Handoff-Payloads.
• Autonome Entscheidungen über den Fluss - Ein Agent entscheidet „das geht jetzt zum Rechtsexperten“ statt einer festen if-else.

Wann Multi-Agent wirklich gewinnt

Drei Muster wiederholen sich in Mittelstands-Deployments, wo Multi-Agent die richtige Antwort ist. Wenn Ihr Workflow zu keinem davon sauber passt, liegt die Beweislast bei Multi-Agent.

Muster A: Wirklich parallelisierbare Recherche

Der Anthropic-Use-Case. Die Aufgabe verlangt 5 bis 20 gleichzeitige Blickwinkel, und niemand würde ernsthaft einen Agenten sequenziell durcharbeiten lassen.

• Marktscans - Ein Subagent pro Wettbewerber, einer pro Region, einer pro Regulierungsregime. Synthese durch einen Lead-Agenten.
• Lieferantenprüfung - Subagenten kümmern sich um Bonität, Sanktions-Screening, ESG-Signale, technische Referenzen, parallel.
• Rechtliche Due Diligence - Subagenten lesen unterschiedliche Dokument-Kategorien (NDAs, MSAs, IP) parallel.
• Customer Intelligence Briefs - Subagenten decken Unternehmensmeldungen, Nachrichten, Social Signals, interne CRM-Historie und Produktnutzung ab.
• Patent-Landschaftsanalyse - Subagenten durchsuchen Patentdatenbanken pro Gerichtsbarkeit.

Muster B: Strenge Trennung der Verantwortlichkeiten mit Quality Gates

Wenn der Workflow saubere Übergaben hat und jede Phase einen anderen Spezialisten verlangt.

• Entwurf zu Review zu Compliance zu Veröffentlichung - Marketingtext durchläuft Drafter, Tonality-Reviewer, Rechts-Compliance, Final-Publish. Jeder Agent mit eigenen Prompts, eigenen Bewertungskriterien, oft eigenen Modellen.
• Mehrstufige Angebotserstellung - Ein Agent extrahiert Anforderungen, einer entwirft die Lösung, einer baut den Business Case, einer styled.
• RFP-Antwort - Triage-Agent klassifiziert und routet. Spezialisten-Agenten erstellen Sektionen. Reviewer-Agent setzt zusammen und prüft Konsistenz.
• Audit-Befunde abarbeiten - Ein Agent klassifiziert Befunde, einer entwirft Maßnahmenpläne pro Kategorie, einer trackt Status gegen Fristen.

Muster C: Experten-Routing mit Domain-Spezialisten

Wenn die Anfragenmischung wirklich heterogen ist und das Routing zum richtigen Spezialisten den Wert ausmacht.

• Interner Helpdesk - Router klassifiziert Intent, dann spezialisierte SAP-, HR-, IT-Zugriff- oder Facility-Agenten.
• Kundenservice über mehrere Produktlinien - Ein Agent pro Produktlinie mit tiefem Produktkontext, Router davor.
• Multi-Jurisdiktions-Compliance-Q&A - Länderspezifische Spezialisten mit dem richtigen regulatorischen Kontext.
• Field-Service-Triage - Router klassifiziert Symptome, schickt an Diagnostik-Spezialisten je Maschinenfamilie.

Wann ein einzelner Agent Multi-Agent klar schlägt

Die meisten Mittelstands-Workflows fallen in diese Kategorie. Die Signale unten sind klare Hinweise auf Single-Agent. Bewahren Sie das Multi-Agent-Budget für die Workflows auf, die es wirklich brauchen.

• Strenges sequenzielles Reasoning - Aufgaben, in denen jeder Schritt eng vom vorherigen abhängt. Google-Forschung zeigt hier 39 bis 70 Prozent Multi-Agent-Performance-Verlust gegenüber Single-Agent¹⁴.
• Hochgradig voneinander abhängige Entscheidungen - Wenn Agenten ständig vollen Kontext teilen müssten, kostet die Übergabe mehr als die Arbeit.
• Latenzempfindliche interaktive Nutzung - Kunden-Chat, Voice-Agenten, Echtzeit-Entscheidungssupport. Jede Übergabe bringt 100 bis 500 ms; Nutzer merken das.
• Einfache Lookup- oder CRUD-Workflows - „Wie ist der Bestellstatus von Kunde X?“ braucht keine drei Agenten.
• Single-Domain-Q&A - Ein Kontextfenster, ein Spezialmodell, eine Retrieval-Schicht ist schneller, billiger und zuverlässiger.
• Workflows mit Wert pro Aufgabe unter 5 Euro - Token-Overhead zerlegt die Stückkosten-Rechnung. Multi-Agent für hochwertige Aufgaben aufheben.
• Workflows mit strikten Konsistenzanforderungen - Finanzberichte, Steuermeldungen, alles, wo derselbe Input immer denselben Output liefern muss. Multi-Agent-Varianz tötet Determinismus.
• Workflows mit Legacy-Writeback - SAP, DATEV, ERP-Writebacks brauchen üblicherweise Atomarität, Transaktionen und klare Verantwortung. Multi-Agent-Verantwortung ist diffus.

Die sechs Architekturmuster, die Sie kennen sollten

Anthropics viel zitierter Leitfaden „Building Effective Agents“² definiert eine saubere Taxonomie. Die sechs Muster unten decken praktisch jede produktive Multi-Agent-Architektur ab. Wählen Sie das einfachste, das Ihr Problem löst.

Muster 1: Prompt Chaining (sequenziell)

Mehrere LLM-Calls in fester Reihenfolge, jeder konsumiert den vorherigen Output. Formal oft kein Multi-Agent, aber eine nützliche Baseline.

• Geeignet wenn - Die Aufgabe zerfällt in saubere Phasen, jede profitiert von einem fokussierten Prompt und ggf. einem anderen Modell.
• Beispiel - Extrahieren → Klassifizieren → Zusammenfassen → Formatieren.
• Kostenprofil - Etwa N-fach eines Einzelaufrufs, N = Kettenlänge. Vorhersagbar.
• Fehlermuster - Fehler kumulieren; spätere Stufen können frühere nicht heilen.

Muster 2: Routing

Ein Klassifizierer leitet den Input an einen von mehreren Spezialisten-Agenten.

• Geeignet wenn - Inputs sind heterogen und ein Generalist ist deutlich schwächer als ein Spezialist.
• Beispiel - Kundenmail an Billing, Produkt oder Eskalation triagiert.
• Kostenprofil - 1 Router-Call + 1 Spezialisten-Call. Günstig.
• Fehlermuster - Falsches Routing kaskadiert. Gegenmaßnahme: Fallback-Pfad und Routing-Confidence-Schwelle.

Muster 3: Parallelisierung

Mehrere Agenten parallel auf denselben oder verwandten Inputs laufen lassen, dann aggregieren.

• Geeignet wenn - Verschiedene Blickwinkel summieren sich. Voting verbessert Robustheit.
• Beispiel - Drei unabhängige Agenten reviewen einen Vertrag. Disagreements eskalieren an einen Menschen.
• Kostenprofil - K-fach eines Einzelaufrufs, K = parallele Anzahl.
• Fehlermuster - Aggregationsstrategie ist der harte Teil. Naives Mittelwert-Voting schlägt oft Fancy-Synthese.

Muster 4: Orchestrator-Worker

Anthropics Lieblingsmuster. Ein Lead-Agent zerlegt die Aufgabe, dispatcht an Subagenten (oft parallel) und synthetisiert das Ergebnis.

• Geeignet wenn - Die Aufgabe ist offen, die Zerlegung ist selbst ein hartes Problem, der Wert rechtfertigt die Kosten.
• Beispiel - Recherche-Briefing, tiefer Marktscan, Multi-Source-Due-Diligence.
• Kostenprofil - 1 Lead-Orchestrator + N parallele Subagenten + 1 Synthese. Token-intensiv.
• Fehlermuster - Orchestrator zerlegt schlecht, Subagenten verbrennen Token.

Muster 5: Evaluator-Optimiser

Ein Generator-Agent erstellt einen Entwurf, ein Evaluator-Agent kritisiert, der Generator iteriert. Wiederholen, bis gut genug.

• Geeignet wenn - Qualität zählt, der Evaluator kann ein anderes (günstigeres oder strengeres) Modell sein, Iteration verbessert messbar.
• Beispiel - Code-Generierung, Marketingtext, technische Specs.
• Kostenprofil - 2 Calls pro Iteration. Iterationsanzahl ist die Variable.
• Fehlermuster - Endlosschleifen, Kostenexplosion. Gegenmaßnahme: harte Iterations-Cap.

Muster 6: Human-in-the-Loop-Checkpoint

Streng genommen kein Multi-Agent, aber das häufigste Produktionsmuster. Ein Agent erledigt die Arbeit, übergibt Schlüssel-Entscheidungen an einen Menschen und macht weiter.

• Geeignet wenn - Einsatz hoch, EU-KI-VO Artikel 14 Aufsicht greift oder der Workflow regulierte Entscheidungen berührt.
• Beispiel - Lieferantenvertrag-Review, Lohnabrechnungs-Ausnahmen, Kunden-Eskalationen.
• Kostenprofil - Wie Single-Agent + Mensch-Zeit an den Checkpoints.
• Fehlermuster - Menschen werden zum Stempel-Reviewer. Gegenmaßnahme: Checkpoint-Design variieren, Sample-Audits.

Sieben Fehlermuster, mit denen jedes Mittelstands-Team rechnen muss

Die akademische Übersicht zu Multi-Agent-Fehlern aus 2025⁴ hat 14 Muster katalogisiert. Hier die sieben, die Mittelstands-Teams in den ersten sechs Monaten in Produktion am häufigsten treffen.

Fehler 1: Koordinations-Bruch

Die Agenten erledigen ihren Job einzeln, aber das gemeinsame Ergebnis passt nicht. Subagent A liefert eine Stichpunkt-Zusammenfassung; der Synthese-Agent hatte Fließtext erwartet. Das Orchestrator-Worker-Muster ist besonders anfällig.

• Symptome - Outputs, die je Agent gut aussehen, aber End-to-End schlecht. Drift in Stil, Format oder Scope.
• Gegenmaßnahme - Strenge Output-Schemata (JSON / Pydantic / Zod) je Agent. End-to-End-Eval schlägt Per-Agent-Eval.

Fehler 2: Davonlaufende Token-Kosten

Eine Evaluator-Optimiser-Schleife iteriert 47-mal statt zu konvergieren. Ein Orchestrator startet 30 Subagenten, weil er „mehr Abdeckung“ will. Eine Debatte läuft 12 Runden.

• Symptome - Überraschende Cloud-Rechnung, einzelne Workflow-Läufe kosten 3 bis 15 Euro statt 30 Cent.
• Gegenmaßnahme - Harte Caps überall (max. Iterationen, max. Subagenten, max. Token je Agent), plus Budget-Alarme je Workflow.

Fehler 3: Latenz-Stapelung

Jede Übergabe bringt 100 bis 500 ms. Sequenzielle 8-Handoff-Workflows landen schnell bei 30 bis 90 Sekunden. Nutzer warten, brechen ab oder verlieren Vertrauen.

• Symptome - Beschwerden über Langsamkeit, Timeouts in API-Konsumenten, steigende Abbruchquote.
• Gegenmaßnahme - Wo möglich parallelisieren, Zwischenergebnisse streamen, Multi-Agent für asynchrone oder Batch-Workflows reservieren.

Fehler 4: Fehler-Propagation

Ein Subagent halluziniert, der nächste Agent behandelt die Halluzination als Wahrheit, bis zur Synthese ist der Ursprungsfehler vergraben.

• Symptome - Selbstbewusst falsche Outputs, post-hoc-„wie ist das passiert“-Untersuchungen über fünf Logs.
• Gegenmaßnahme - Quellen-Attribution in jedem Schritt, Evaluator-Agent vor Synthese, Stichproben-Mensch-Review.

Fehler 5: Emergente Verhaltensweisen

Agenten beginnen, Dinge zu tun, die niemand designed hat. Sie erfinden Pfade, rufen nicht existierende Tools auf, entwickeln „Vorlieben“. Manchmal nützlich, oft seltsam, gelegentlich gefährlich.

• Symptome - Verhalten, das in QA überrascht, Prompts, die in Dev anders laufen als in Prod, langsame Drift über die Zeit.
• Gegenmaßnahme - Eingefrorene Prompts unter Versionskontrolle, deterministische Evals bei jedem Release, Alarmierung bei Output-Form-Änderungen.

Fehler 6: Debugging-Hölle

Ein Issue tritt in Produktion auf. Um es zu reproduzieren, brauchen Sie exakte Prompts, exakte Tool-Resultate, exakte Modell-Temperaturen, exakte Zwischenstände für 5 Agenten. Sie haben Logs für 2.

• Symptome - Bugs, die Sie nicht reproduzieren können, Fixes, die Sie nicht verifizieren können, Regressionen, die Sie nicht erkennen.
• Gegenmaßnahme - Vollständige Konversations-Traces mit deterministischen Seeds, Replay-Infrastruktur, Observability-Tools (LangSmith, Phoenix Arize, Logfire, Weave).

Fehler 7: Compliance-Zuordnungs-Lücke

Die EU-KI-VO fragt, wer für die Entscheidung verantwortlich ist. In einem 5-Agent-System mit dynamischem Fluss ist diese Frage tatsächlich schwer zu beantworten. Juristen und Datenschutzbeauftragte merken das.

• Symptome - DPO verweigert die Freigabe, Betriebsrat hat Bedenken, Audit-Vorprüfung markiert Zuordnungs-Lücken.
• Gegenmaßnahme - Den Orchestrator als die verantwortliche Komponente designieren, jede Agent-Rolle und jeden Prompt als eigenen Punkt in der technischen Doku, Entscheidungs-Provenienz je Output loggen.

Die ehrliche Kostenrechnung: Was Multi-Agent den Mittelstand wirklich kostet

Die Token-Kosten sind der sichtbare Teil. Die echten Total Cost of Ownership liegen viel höher. Hier die ehrliche Aufschlüsselung für ein typisches Mittelstands-Multi-Agent-Deployment.

Token-Kosten pro Aufgabe

• Single-Agent-Baseline - 5.000 bis 20.000 Token pro Aufgabe. 0,05 bis 0,30 Euro bei aktuellen Preisen.
• Multi-Agent typisch (2 bis 4 Agenten) - 30.000 bis 100.000 Token pro Aufgabe. 0,30 bis 1,50 Euro.
• Multi-Agent Research-Stil (Anthropic-Muster) - 200.000 bis 800.000 Token pro Aufgabe. 2 bis 12 Euro. Anthropic schreibt explizit 15-fach Chat-Token¹.

Aufbau-Kosten (Jahr 1)

• Einfaches Multi-Agent (Routing oder Chaining) - 25.000 bis 60.000 Euro mit Partner.
• Standard-Orchestrator-Worker - 80.000 bis 200.000 Euro.
• Produktions-Recherche-System mit voller Eval, Observability, HITL - 150.000 bis 500.000 Euro.
• Mehrmandanten-Agentic-Plattform mit Memory, Tools, Governance - 500.000 bis 1,5 Millionen Euro plus¹¹.

Betriebs-Kosten (pro Monat, mittlere Last)

• Token-Spend - 800 bis 5.000 Euro pro Monat für typische Mittelstands-Lasten (5.000 bis 50.000 Aufgaben pro Monat).
• Observability und Tooling - 400 bis 1.500 Euro (LangSmith, Phoenix, Datadog AI).
• Hosting und Infra - 500 bis 2.000 Euro (Vercel / Azure / AWS, Vector-DBs, Queues).
• Betriebs-Support - 0,2 bis 0,5 VZÄ Engineering für Monitoring, Bugfixing, Tuning.
• Gesamt mittlere Last - 3.200 bis 13.000 Euro pro Monat pro Workflow-Familie¹¹.

Framework-Vergleich: LangGraph vs. CrewAI vs. AutoGen vs. OpenAI Agents SDK

Die vier Frameworks, die 2025 bis 2026 überlebt haben, decken praktisch jedes produktive Multi-Agent-Deployment ab. Wählen Sie eines, das zu Ihrer Workflow-Form passt, und bleiben Sie dabei. Der häufigste Mittelstands-Fehler ist das Wechseln des Frameworks mitten im Projekt.

LangGraph

• Sweet Spot - Stateful, audit-heavy-Workflows. Graphbasierte Logik mit explizitem State, Checkpoints, Rollbacks und Human-in-the-Loop.
• Stärken - Produktionsreif, exzellente Observability via LangSmith, durable Execution, komplexe Graph-Topologien, GitHub-Star-Leader Anfang 2026⁹.
• Schwächen - Steilere Lernkurve. Verbose für einfache Workflows. LangChain-Ökosystem-Abhängigkeit.
• Geeignet für - Compliance-Schwerpunkt, regulierte Branchen, langlaufende Workflows, überall wo durabler State zählt.

CrewAI

• Sweet Spot - Rollenbasierte Agent-Teams für Standard-Geschäftsabläufe.
• Stärken - Time-to-First-Prototyp etwa 40 Prozent schneller als LangGraph⁹. Intuitive Rollen-Definitionen. Wachsender Agent-zu-Agent-(A2A)-Protokoll-Support.
• Schwächen - Bei stateful-Workflows weniger reif. Observability-Story verbessert sich, hinkt aber LangGraph hinterher.
• Geeignet für - Mittelstands-Teams, die schnell zum Piloten wollen. Marketing, Vertrieb, Ops.

AutoGen (Microsoft)

• Sweet Spot - Konversationelle, asynchrone, eventgetriebene Multi-Agent-Setups. Starke Debate-Muster.
• Stärken - .NET-Support (selten und nützlich für Microsoft-Stack-Mittelstand). AutoGen Studio für Low-Code-Prototyping. Echtzeit-Interaktionsmuster.
• Schwächen - Weniger produktionsreif als LangGraph. Mehrere Framework-Iterationen haben die API umgekrempelt.
• Geeignet für - Microsoft-Stack-Häuser, Azure-Deploys, konversationelle Research-Stil-Muster.

OpenAI Agents SDK

• Sweet Spot - OpenAI-zentrierte Stacks, die die sauberste Handoff-Abstraktion wollen.
• Stärken - Veröffentlicht März 2025, ersetzte den experimentellen Swarm durch ein produktionsfähiges Design⁹. Sauberes Handoff-Modell, in dem Agenten Kontrolle mit explizitem Kontext übergeben. Gut dokumentiert.
• Schwächen - Enge OpenAI-Kopplung. Begrenzte Modell-Flexibilität. Weniger reife Observability.
• Geeignet für - Teams, die bereits auf GPT standardisiert sind. Workflows, die sauber ins Handoff-Modell passen.

Der 90-Tage-Multi-Agent-Plan

Der Plan unten ist die kleinste sinnvolle Arbeitseinheit, die einen Mittelständler von keiner Multi-Agent-Fähigkeit zu einem laufenden Produktions-Workflow mit Eval und Observability bringt. Wer ihm folgt, diszipliniert das Team weg vom häufigsten Fehler: zu viel zu schnell auf dem falschen Workflow zu bauen.

Phase 1: Tag 1-30 - Workflow-Auswahl und Single-Agent-Baseline

1. Kandidaten-Workflows inventarisieren - Ein Workshop mit Operations und IT. Listen Sie 10 bis 20 Workflows, in denen Multi-Agent gepitcht oder erwogen wurde. Bewerten Sie jeden auf Parallelisierung, Trennbarkeit, Experten-Routing, Wert pro Aufgabe, Latenz-Toleranz.
2. Top 1 bis 2 Workflows auswählen - Niedrigstes Risiko, höchster Wert, klarste Passung zu einem der drei Gewinn-Muster. Den Rest verwerfen.
3. Single-Agent-Baseline zuerst bauen - Immer. Die Baseline ist Ihr Benchmark und oft die endgültige Antwort. Zwei Wochen, ein Engineer, ein gut entworfener Agent mit den richtigen Tools und Kontext.
4. Eval-Set definieren - 50 bis 100 reproduzierbare Szenarien mit Erwartungs-Outputs oder Bewertungs-Rubrik. Ohne Eval-Set können Sie nicht messen, ob Multi-Agent wirklich gewinnt.
5. Ein Framework wählen - LangGraph, CrewAI, AutoGen oder OpenAI Agents SDK. Entscheidung dokumentieren. Wechsel-Versuchung widerstehen.

Phase 2: Tag 31-60 - Multi-Agent-Prototyp und Benchmark

1. Multi-Agent-Prototyp bauen - Selber Workflow, Multi-Agent-Architektur passend zum richtigen Muster. Zwei Wochen.
2. Eval laufen lassen - Single-Agent vs. Multi-Agent auf demselben Eval-Set. Qualität, Kosten, Latenz, Debugging-Aufwand messen.
3. Ehrlicher Decision-Review - Wenn Multi-Agent in Qualität um weniger als 30 Prozent gewinnt und über 2-fach kostet, shippen Sie den Single-Agent. Wenn Multi-Agent um über 50 Prozent gewinnt oder Fähigkeiten freischaltet, die Single-Agent nicht hat, weiter.
4. Observability einrichten - LangSmith, Phoenix, Logfire oder Weave. Jeden Agent-Aufruf, jeden Tool-Call, jeden Token-Verbrauch tracen. Ohne das ist Produktion ein Münzwurf.
5. Kosten-Guardrails bauen - Max. Iterationen, max. Subagenten, max. Token je Workflow, Budget-Alarme je Aufgabe.

Phase 3: Tag 61-90 - Produktion und Operating Model

1. Produktiv mit HITL-Checkpoints - Jedes Multi-Agent-System in Produktion braucht explizite Human-in-the-Loop-Gates für hochwertige Entscheidungen. Vor dem Live-Gang abbilden.
2. EU-KI-VO technische Doku - One-Pager je Agent-Rolle, Prompt, Tool-Oberfläche. Audit-Trail-Design. Artikel-14-Aufsicht.
3. Pilot mit 5 bis 10 Power-Usern - Nur intern, mit echten Workflow-Daten. Zwei Wochen Feedback, Fehler-Logging, Eval-Verfeinerung.
4. Erster voller Rollout - Begrenzter Scope (ein Team, eine Abteilung, ein Workflow). Operating Model steht vor der Verbreiterung.
5. Quartals-Review-Kadenz - Eval-Werte, Kostentrends, Incident-Logs, Nutzer-Feedback. Entscheiden, was ausgeweitet und was eingestellt wird.

EU-KI-VO, DSGVO, Betriebsrat: Die Multi-Agent-Compliance-Schicht

Multi-Agent ändert nicht die rechtliche Klassifizierung Ihres KI-Systems - die folgt dem Anwendungsfall. Aber es macht mehrere Compliance-Pflichten schwerer erfüllbar. Planen Sie sie ein, bevor Sie live gehen.

EU-KI-Verordnung

• Artikel 13 (Transparenz) - Nutzer müssen das System verstehen können. In Multi-Agent-Setups ist „das System hat das gemacht“ selten zufriedenstellend. Jede Agent-Rolle explizit dokumentieren.
• Artikel 14 (menschliche Aufsicht) - Bei Hochrisiko muss der Mensch sinnvoll eingreifen können. Multi-Agent-Fluss verschleiert Eingriffspunkte. Vor der Produktion explizite Checkpoints im Orchestrator designen.
• Artikel 15 (Genauigkeit, Robustheit, Cybersicherheit) - Multi-Agent-Systeme sind wegen der Koordinationskomplexität schwerer robust zu machen. Adversarial Testing und Failure Injection einplanen.
• Artikel 4 (KI-Kompetenz) - Das Team, das das Multi-Agent-System betreibt, braucht tiefere Kompetenz als bei Single-Agent. Schulungen die Architektur abdecken lassen, nicht nur den Use-Case.

DSGVO

• Datenminimierung je Agent - Jeder Agent sollte nur die Daten sehen, die er braucht. Geteilter Super-Kontext über alle Agenten ist die einfache Default-Lösung und die falsche.
• AVV je Anbieter - Multi-Agent läuft oft über mehrere KI-Anbieter (OpenAI fürs Routing, Anthropic für die Synthese, eine Vector-DB anderswo). Jeder braucht einen AVV.
• Recht auf Löschung - Lösch-Logik muss über Agent-Speicher und Traces propagieren. Mit einplanen.
• Drittlandtransfer - Multi-Provider-Stacks bedeuten meist mehrere Datenflüsse. Jeden mit SCCs und Transfer-Impact-Assessment dokumentieren.

Betriebsrat

• Mitbestimmung bei Mitarbeiter-Daten-Systemen - § 87 BetrVG greift, wenn das Multi-Agent-System Mitarbeiter-Leistungs-, Verhaltens- oder Bewertungsdaten verarbeitet. Multi-Agent-Architekturen überraschen Betriebsräte oft; das Architekturdiagramm zeigen, nicht überspringen.
• Transparenz bei autonomen Entscheidungen - Die meisten Betriebsräte wollen klare Antworten auf „wer entscheidet, wer reviewt, wer kann übersteuern“. Multi-Agent beantwortet das ohne designeden Orchestrator schlecht. Den Orchestrator als verantwortliche Komponente designen.
• Fairness- und Bias-Review - Multi-Agent-Systeme akkumulieren Bias aus mehreren Modellaufrufen. Fairness-Reviews als Teil des Operating Models einplanen, nicht einmalig.

Wo Superkind passt

Superkind baut maßgeschneiderte KI-Agenten für deutsche KMU und Konzerne. Multi-Agent ist ein Werkzeug in unserem Werkzeugkasten, keine Religion. Die meisten Mittelstands-Engagements liefern wir mit einem gut entworfenen Single-Agent zuerst aus; einige entwickeln sich zu Multi-Agent für spezifische hochwertige Workflows. So arbeiten wir konkret an Multi-Agent.

Was Superkind tut

• Workflow-Scoring-Engagement - 2-Wochen-Sprint, der Ihre Kandidaten-Workflows nach Parallelisierung, Trennbarkeit, Wert und Latenz scort. Output: priorisierte Liste mit Go/No-Go-Empfehlungen und Architektur-Skizzen.
• Single-Agent-Baseline vor Multi-Agent - Wir bauen den Single-Agent immer zuerst. Er ist der Benchmark. Oft ist er die endgültige Antwort.
• Eval-First-Entwicklung - Wir bauen das Eval-Set, bevor wir den Agent bauen. 50 bis 200 reproduzierbare Szenarien mit Bewertungs-Rubrik. Ohne sind Multi-Agent-Entscheidungen Vermutungen.
• Produktionsreife Orchestrierung - LangGraph oder AutoGen als Standard, mit voller Observability (LangSmith / Phoenix / Logfire), deterministischen Seeds, Replay-Infrastruktur.
• HITL-Checkpoints by Design - Jedes Multi-Agent-System, das wir ausliefern, hat explizite Human-in-the-Loop-Gates für die Entscheidungen, die zählen, gemappt auf EU-KI-VO Artikel 14.
• Kosten-Guardrails und Budget-Alarme - Harte Caps auf Iterationen, Subagenten, Token. Budget-Monitoring je Workflow mit Alarmierung.
• EU-KI-VO technische Doku - One-Page-pro-Agent-Doku. Audit-Trail-Design. BNetzA-fähig.
• Souveränitäts-Optionen - Für Mittelständler mit EU-only- oder souveränen Anforderungen: Deploy auf Mistral, Aleph Alpha oder Self-hosted-Open-Weights mit denselben Multi-Agent-Mustern.
• Operating-Model-Übergabe - Wir bleiben auf Retainer engagiert, fahren Quartals-Reviews und überführen die Multi-Agent-Fähigkeit ins interne Team.

Wo wir bewusst nicht antreten

• Framework-Lizenzen verkaufen - LangGraph, CrewAI, AutoGen, OpenAI Agents SDK sind offen oder vom Anbieter. Wir helfen, sie gut einzusetzen.
• Generische Chatbots - Single-Agent-Chatbots sind anderweitig gut bedient. Multi-Agent ist für FAQ überdimensioniert.
• Hype-getriebene Multi-Agent-Demos - Wir sagen Ihnen, wenn Single-Agent die richtige Antwort ist - auch wenn Sie mit Multi-Agent-Anfrage gekommen sind.

Entscheidungsrahmen: Sollte Ihr Workflow Multi-Agent sein?

Sechs Fragen. Drei oder mehr klare Ja-Antworten heißt: Multi-Agent lohnt einen Pilot. Zwei oder weniger heißt: bei einem gut entworfenen Single-Agent bleiben.

Häufig gestellte Fragen

Verwandte Artikel

• Vibe Coding im Mittelstand: Wenn die Fachabteilung plötzlich Software baut
• Human-in-the-Loop: Vertrauen in KI-Agenten aufbauen
• KI-Agenten-Sicherheit: Prompt Injection, Datenabfluss und die OWASP LLM Top 10 für den Mittelstand
• Welches LLM passt zum Mittelstand? GPT, Claude, Gemini und Mistral im Vergleich
• KI-Agenten vs. Microsoft Copilot: Wann sich die Eigenentwicklung im Mittelstand wirklich lohnt
• KI-Agenten auf Legacy-Systemen: Wie der Mittelstand modernisiert, ohne das ERP rauszureißen
• Was kosten KI-Agenten im Mittelstand wirklich? Der Budget-Leitfaden für Geschäftsführer und CFOs

Henri Jung

Co-Founder von Superkind. Henri hilft Mittelständlern und Konzernen, maßgeschneiderte KI-Agenten einzuführen, die wirklich zum Arbeitsalltag der Teams passen. Er ist überzeugt, dass der Mittelstand alles hat, um KI führend zu nutzen - es braucht nur den richtigen Ansatz.