Wie Sie einen KI-Agenten-Pilot durchführen, der wirklich die Produktion erreicht

Ein KI-Agenten-Pilot erreicht die Produktion, wenn er auf eine einzige Geschäftskennzahl ausgerichtet ist, auf Ihren echten Daten mit einem konkreten Enddatum läuft und nachprüfbare Ergebnisse hinterlässt: Run-Logs, ein Eval-Set und messbare Kosten pro abgeschlossener Aufgabe. Piloten, die ins Stocken geraten, scheitern fast nie am Modell. Sie scheitern daran, dass niemand aufgeschrieben hat, was „fertig" bedeutet, bevor die Demo beeindruckend aussah.

Wir haben Agenten für Vertrieb, Support, Dokumentenverarbeitung und interne Abläufe entwickelt und dabei immer wieder dasselbe Muster beobachtet. Der Pilot funktioniert im Raum. Dann vergehen drei Monate, und er wird noch immer „evaluiert". Dieser Leitfaden erklärt, wie Sie als Auftraggeber genau das vermeiden.

Warum die meisten Piloten die Pilotphase nie verlassen

Drei Versagensmuster decken den Großteil der Fälle ab, die wir beobachten, und jedes hat eine charakteristische Form:

• Der Pilot hat das Falsche gemessen. Teams messen „Hat der Agent eine plausible Antwort produziert?" statt „Wurde das Ticket geschlossen, hat der Lead geantwortet, hat der Arzt den Entwurf akzeptiert?". Wir haben diesen Fehler mit unserer eigenen Cold-E-Mail-Engine gemacht: Wochenlang wurde bewertet, wie gut der Agent den E-Mail-Text formulierte – während die entscheidende Kennzahl, Antworten, stagnierte. Plausible Ausgaben sind leicht zu erzeugen. Ergebnisse sind das Ziel.
• Der Pilot lief auf sauberen Daten. Zehn handverlesene Dokumente oder eine kuratierte Liste von Fragen. Die Produktion sind die anderen neunzig Prozent: gescannte PDFs, Arabisch gemischt mit Englisch in derselben Nachricht, Kunden, die drei Dinge gleichzeitig fragen. Ein Pilot, der diese Fälle nie sieht, kann Ihnen seine echte Fehlerrate nicht nennen – und seine „Accuracy"-Zahl ist eine Zahl über das Demo-Set, nicht über Ihr Unternehmen.
• Niemand war für die Go/No-Go-Entscheidung verantwortlich. Der Anbieter möchte verlängern, der interne Champion ist beschäftigt, und der Pilot driftet. Das Warnsignal ist ein Pilot mit Startdatum, aber ohne Enddatum. Das ist kein Pilot. Das ist ein Abonnement – und die „drei Monate Evaluierung", die wir immer wieder sehen, ist das, was es von innen aussieht.

Jedes dieser Probleme lässt sich in der Scoping-Phase beheben – dort hat der Auftraggeber den größten Handlungsspielraum. Der Rest dieses Leitfadens ist die entsprechende Checkliste.

Schritt 1: Eine Kennzahl und einen Workflow auswählen

Widerstehen Sie dem Drang, „einen KI-Assistenten für das Team" zu pilotieren. Wählen Sie einen einzigen Workflow mit einem messbaren Ergebnis, für das bereits ein Ausgangswert vorliegt. Beispiele, die sich gut für Piloten eignen:

• Entwürfe für Erstantworten in einer Support-Warteschlange, gemessen an der Akzeptanzrate des Agenten und der Zeit bis zur ersten Antwort.
• Lead-Qualifizierung über WhatsApp für eine Produktlinie, gemessen an der Weiterleitungsrate qualifizierter Leads.
• Extraktion von Rechnungs- oder Antragsdaten für einen Dokumenttyp, gemessen an der feldgenauen Genauigkeit im Vergleich zum aktuellen manuellen Prozess.

Die Kennzahl muss etwas sein, das Sie auch ohne KI interessieren würde. Wenn Sie den Ausgangswert heute nicht berechnen können, verbringen Sie die erste Woche des Piloten damit, ihn zu ermitteln – denn ohne Ausgangswert kann der Pilot nie etwas beweisen. Unser Leitfaden zur Berechnung des KI-Agenten-ROI erklärt, wie Sie diese Kennzahlen in eine Zahl umwandeln, die das Board versteht.

Eine Erkenntnis aus unserem eigenen Tooling: Bei der Cold-E-Mail-Engine, die wir für uns selbst betreiben, haben wir wochenlang optimiert, wie der Agent den E-Mail-Text formuliert – die Kennzahl bewegte sich kaum. Was sie bewegte, war die Änderung des Handlungsaufrufs am Ende. Der Ersatz eines Kalenderlinks durch ein sanftes „Antworten Sie mit JA" steigerte die Antwortrate konsistent, weil das Vereinbaren eines Meetings aus einer Cold-E-Mail heraus mehr Aufwand bedeutet, als ein interessierter Unbekannter bereit ist zu tolerieren. Der Agent war in Ordnung. Wir hatten den falschen Teil des Funnels gemessen und optimiert. Definieren Sie zuerst die Ergebniskennzahl – und lassen Sie sie Ihnen zeigen, wo Sie suchen müssen.

Schritt 2: Mit echten Daten und echtem Volumen arbeiten

Halten Sie schriftlich fest, wie der Pilot Zugang zu produktionsähnlichen Daten erhält. Das ist in der Regel der langsamste Teil – beginnen Sie daher das Gespräch mit Sicherheits- und Rechtsabteilung am ersten Tag, nicht in Woche drei. Praktische Optionen in der Reihenfolge der Bevorzugung:

1. Shadow Mode. Der Agent läuft auf dem Live-Traffic, aber seine Ausgabe wird nur protokolliert, nicht versendet. Ein Mensch erledigt die Aufgabe weiterhin. Sie vergleichen beide.
2. Assisted Mode. Der Agent erstellt Entwürfe, ein Mensch genehmigt oder bearbeitet sie, bevor etwas versendet wird. Die Bearbeitungsdistanz wird zu einem kostenlosen Qualitätssignal.
3. Eingegrenzter autonomer Modus. Der Agent handelt selbstständig für einen engen, risikoarmen Bereich, mit klaren Eskalationspfaden zurück zu einer Person.

Der Shadow Mode wird unterschätzt. Er beseitigt fast jeden Einwand der Compliance-Abteilung, generiert das Eval-Dataset kostenlos und zeigt die echte Fehlerrate, bevor ein einziger Kunde den Agenten sieht. Für Käufer aus dem Gesundheitswesen und dem öffentlichen Sektor am Golf umgeht er während des Piloten zudem den Großteil der Debatte über Datenspeicherorte – denn nichts verlässt den bestehenden Workflow.

Schritt 3: Die Nachweise vor dem Start definieren

Jedes „Fertig" in einem Pilot braucht einen Nachweis – etwas, das Sie im Nachhinein prüfen können. Legen Sie vor Beginn des Builds genau fest, welche Artefakte der Pilot produziert:

• Run-Logs für jede Aufgabe. Eingaben, Tool-Calls, Modellausgaben, Latenz, Token-Nutzung. Kein Dashboard-Screenshot. Strukturierte Logs, die Sie abfragen können. OpenTelemetry ist das naheliegende neutrale Format, wenn die Logs die Anbieterbeziehung überdauern sollen.
• Ein Eval-Dataset. Einige hundert echte Fälle mit dem erwarteten Ergebnis, automatisch bewertet. Das ist das Asset, das Ihnen erlaubt, Modelle zu upgraden, Anbieter zu wechseln oder Prompts später anzupassen, ohne raten zu müssen. Endet der Pilot ohne dieses Dataset, haben Sie eine Demo gekauft.
• Kosten pro abgeschlossener Aufgabe. Modellausgaben, Tool-Calls, Wiederholungsversuche und Zeit für menschliche Überprüfung, geteilt durch tatsächlich abgeschlossene Aufgaben. Nicht Kosten pro API-Call.
• Eine Fehler-Taxonomie. Die zehn häufigsten Fehlerarten mit ihrer Häufigkeit. Daraus wird das Produktions-Backlog.

Nehmen Sie diese Punkte als Deliverables in den Leistungsumfang auf. Wie Sie diese vertraglich verankern, erläutern wir in Evals in KI-Anbieterverträgen. Ein Anbieter, der sich gegen die Lieferung von Logs und Eval-Daten sperrt, sagt Ihnen damit etwas.

Schritt 4: Go/No-Go-Kriterien und Datum festlegen

Schreiben Sie drei Zahlen auf, bevor die erste Zeile Code geschrieben wird:

• Produktionsschwelle. Die Kennzahl, ab der Sie sich zur Produktion verpflichten – zum Beispiel „Agent-Entwürfe ohne Bearbeitung bei 60 Prozent der Tickets akzeptiert, null Policy-Verstöße in 500 Durchläufen".
• Abbruchschwelle. Der Wert, unterhalb dessen Sie stoppen – unabhängig davon, wie vielversprechend die Roadmap klingt.
• Entscheidungsdatum. Ein konkreter Kalendertag, an dem der Sponsor entscheidet – mit den Daten vor sich.

Der Bereich zwischen Produktions- und Abbruchschwelle ist der Raum, in dem die meisten Piloten verweilen – und dort brauchen Sie eine Regel. Unsere ist einfach: eine Verlängerung mit fester Länge und einer konkreten Hypothese darüber, was die Kennzahl bewegen wird. Wenn der zweite Durchlauf die Produktionsschwelle nicht überschreitet, stoppen Sie. Offene Verlängerungen sind der Weg, auf dem ein Pilot still und leise zu einem Jahr Ausgaben wird.

Schritt 5: Den Pilot so kalkulieren, dass er es wert ist, ihn abzuschließen

Ein kostenloser Pilot hat keine Deadline, weil der Anreiz des Anbieters darin besteht, Sie zu konvertieren – nicht den Pilot abzuschließen. Ein Pilot zum vollen Produktionspreis macht den Auftraggeber nervös beim Verpflichten. Die Struktur, die sich in unserer Erfahrung bewährt hat, ist ein Festpreis-Pilot, der das Eval-Framework und das Logging explizit einschließt, gefolgt von einer separat definierten Produktionsphase. Der Auftraggeber besitzt alles, was der Pilot produziert – unabhängig davon, wie die Entscheidung ausfällt. Die Abwägungen zwischen Festpreis und Zeit- und Materialabrechnung werden in Festpreis vs. Zeit und Material behandelt.

Stellen Sie sicher, dass der Pilot auch die Architekturfragen beantwortet, die die Produktionskosten beeinflussen. Bei unserer eigenen Outreach-Engine zeigte ein Vergleich auf Pilotniveau, dass ein einziger Model-Call – der die Fakten aus einer gescrapten Seite extrahierte und die E-Mail in einem Schritt entwarf – eine mehrstufige Chain sowohl bei Kosten als auch bei der Ausgabequalität übertraf. Hätten wir nur die Chain getestet, hätten wir deren Kosten in die Produktion mitgenommen. Nutzen Sie den Pilot, um mindestens einen solchen A/B-Test am Kerndesign durchzuführen, solange das Volumen klein genug ist, um ihn günstig zu machen.

Was das Production Hardening tatsächlich hinzufügt

Auftraggeber fragen häufig, warum der Produktions-Build ein Vielfaches des Piloten kostet, wenn „er doch schon funktioniert". Die ehrliche Liste – und woher jeder Punkt stammt, wenn der Pilot ordentliche Nachweise hinterlassen hat:

• Retries, Idempotenz und Dead-Letter-Handling für jeden Tool-Call des Agenten. Die Fehler-Taxonomie sagt Ihnen, welche Tools tatsächlich ausfallen und wie häufig – so können Sie zuerst den Anfang der Liste absichern, statt alles pauschal zu wrappen.
• Rate Limits und Budget-Caps, damit eine Endlosschleife keine Rechnung über Nacht in die Höhe treiben kann. Die Kosten pro abgeschlossener Aufgabe aus dem Pilot sind die Zahl, gegen die der Cap gesetzt wird. Ohne sie ist der Cap eine Schätzung.
• Permission Scoping, damit der Agent nur sieht, was der aktuelle Benutzer sehen darf. Im Shadow Mode sah der Agent alles, was der Mensch sah. In der Produktion muss das eingeschränkt werden – und die Run-Logs zeigen, welche Daten er tatsächlich genutzt hat.
• Monitoring für stille Fehler, nicht nur für offensichtliche Fehler. Ein Agent, der aufgehört hat zu laufen, gibt dennoch eine 200 zurück. Das Eval-Set, das planmäßig wiederholt wird, ist der günstigste Alarm für ein Modell oder einen Prompt, der sich still verschlechtert hat.
• Human-Review-Queues und Audit-Trails, die regulierte Auftraggeber vor der Freigabe benötigen. Wenn der Pilot im Assisted Mode lief, verrät Ihnen die Bearbeitungsdistanz bereits, wie groß diese Queue sein muss und welche Fälle darin landen sollten.

Nichts davon ist in einer Demo sichtbar – und all das ist das, was einen Pilot, der funktioniert hat, von einem System unterscheidet, das Sie vor Kunden stellen können. Ein Pilot, der echte Logs, ein echtes Eval-Set und eine echte Fehler-Taxonomie produziert hat, macht diese Liste kürzer und die Angebotsstellung deutlich berechenbarer. Ein Pilot, der nur eine Demo produziert hat, bedeutet, dass das Produktionsteam damit beginnt, den Pilot neu zu bauen, um herauszufinden, was er hätte messen sollen.

Eine einseitige Pilot-Charter

Wenn Sie eine Sache aus diesem Artikel mitnehmen: Schreiben Sie vor dem Kickoff eine einzige Seite mit dem Workflow, der Ergebniskennzahl und ihrem Ausgangswert, dem Datenzugriffsmodus, den vier Nachweisen, der Produktions- und Abbruchschwelle, dem Entscheidungsdatum und dem Verantwortlichen für die Entscheidung. Teilen Sie sie mit dem Anbieter und dem Sponsor. Ein Pilot, der gegen diese Seite geführt wird, geht entweder in die Produktion oder lehrt Sie etwas Konkretes. Beide Ergebnisse sind es wert, dafür zu bezahlen.

Wenn Sie einen KI-Agenten-Pilot planen und einen Partner suchen, der diese Schwellenwerte in den Vertrag aufnimmt, anstatt sie später zu diskutieren, sprechen Sie uns an.