Zum Inhalt springen
Blog

AI

Wie Sie einen KI-Agent-Pilot durchführen, der wirklich in die Produktion gelangt

Die meisten KI-Agent-Piloten scheitern nach der Demo. Hier erfahren Sie, wie Gründer und CTOs einen Pilot so definieren, messen und vertraglich absichern, dass er einen klaren Weg in die Produktion findet.

Von Pykero Agency · Engineering team5. Okt. 20269 Min. Lesezeit

TL;DR

Ein KI-Agent-Pilot erreicht die Produktion, wenn er auf eine einzige Geschäftskennzahl ausgerichtet ist, mit echten Daten und einem klaren Abbruchkriterium läuft und verwertbare Nachweise hinterlässt: Logs, Evals und Kosten pro Aufgabe. Behandeln Sie ihn als kontrolliertes Experiment mit einem festen Entscheidungstermin – nicht als Demo.

Kontrollraum-Monitore Dashboard, Wie Sie einen KI-Agent-Pilot durchführen, der wirklich in die Produktion gelangt

Ein KI-Agent-Pilot erreicht die Produktion, wenn er auf eine einzige Geschäftskennzahl ausgerichtet ist, mit Ihren echten Daten und einem festen Enddatum läuft und verwertbare Nachweise hinterlässt: Run-Logs, einen Eval-Datensatz und gemessene Kosten pro abgeschlossener Aufgabe. Piloten, die ins Stocken geraten, scheitern fast nie am Modell. Sie scheitern daran, dass niemand vor der beeindruckenden Demo aufgeschrieben hat, was „fertig" bedeutet.

Wir haben Agents für Vertrieb, Support, Dokumentenverarbeitung und interne Abläufe entwickelt und dabei immer wieder dasselbe Muster beobachtet. Der Pilot funktioniert im Raum. Dann vergehen drei Monate, und er wird noch immer „evaluiert". Dieser Leitfaden erklärt, wie Sie das als Auftraggeber vermeiden.

Warum die meisten Piloten nie die Pilotphase verlassen

Drei Fehlermuster decken den Großteil der Fälle ab, die wir sehen – und jedes hat eine spezifische Ausprägung:

  • Der Pilot hat die falsche Kennzahl gemessen. Teams messen „Hat der Agent eine plausible Antwort produziert?" statt „Hat das Ticket geschlossen, hat der Lead geantwortet, hat die Ärztin den Entwurf übernommen?". Wir haben diesen Fehler mit unserer eigenen Cold-Email-Engine gemacht: Wochenlang haben wir bewertet, wie gut der Agent den E-Mail-Text formuliert hat – während die entscheidende Kennzahl, Antworten, flach blieb. Plausible Ausgaben sind wertlos. Ergebnisse sind der Maßstab.
  • Der Pilot lief auf sauberen Daten. Zehn handverlesene Dokumente oder eine kuratierte Liste von Fragen. Die Produktion besteht aus den anderen neunzig Prozent: gescannte PDFs, Arabisch gemischt mit Englisch in derselben Nachricht, Kunden, die drei Dinge gleichzeitig fragen. Ein Pilot, der diese Fälle nie sieht, kann Ihnen seine echte Fehlerquote nicht nennen – sein „Genauigkeitswert" beschreibt den Demo-Datensatz, nicht Ihr Unternehmen.
  • Niemand hat die Entscheidung zum Weitermachen oder Abbrechen verantwortet. Der Anbieter möchte verlängern, der interne Champion ist beschäftigt, und der Pilot driftet. Das Erkennungszeichen: ein Pilot mit Startdatum, aber ohne Enddatum. Das ist kein Pilot. Das ist ein Abonnement – und die „drei Monate Evaluation", die wir immer wieder sehen, ist genau das, was es von innen aussieht.

Jedes dieser Probleme lässt sich in der Scoping-Phase beheben, in der der Auftraggeber den größten Gestaltungsspielraum hat. Der Rest dieses Leitfadens ist die Scoping-Checkliste.

Schritt 1: Eine Kennzahl und einen Workflow wählen

Widerstehen Sie dem Drang, „einen KI-Assistenten für das Team" zu pilotieren. Wählen Sie einen einzigen Workflow mit einem messbaren Ergebnis, für das bereits ein Ausgangswert vorliegt. Beispiele, die sich gut für Piloten eignen:

  • Erstentwürfe für eine Support-Queue, gemessen an der Akzeptanzrate durch Agents und der Zeit bis zur ersten Antwort.
  • Lead-Qualifizierung über WhatsApp für eine Produktlinie, gemessen an der Rate weitergeleiteter qualifizierter Leads.
  • Datenextraktion aus Rechnungen oder Ansprüchen für einen Dokumenttyp, gemessen an der feldgenauen Genauigkeit gegenüber dem aktuellen manuellen Prozess.

Die Kennzahl muss etwas sein, das Sie auch ohne KI relevant fänden. Wenn Sie den Ausgangswert heute nicht berechnen können, verbringen Sie die erste Pilotwoche damit, ihn zu ermitteln – denn ohne Ausgangswert kann der Pilot nie etwas beweisen. Unser Leitfaden zur Berechnung des ROI von KI-Agents erklärt, wie Sie diese Kennzahlen in eine Zahl übersetzen, die ein Board versteht.

Eine Lektion aus unserem eigenen Tooling: Bei der Cold-Email-Engine, die wir intern einsetzen, haben wir wochenlang daran gefeilt, wie der Agent den E-Mail-Text formuliert – die Kennzahl hat sich kaum bewegt. Was sie bewegt hat, war eine Änderung am Ende der E-Mail. Einen Kalenderlink durch ein simples „Antworten Sie mit JA" zu ersetzen, hat die Antwortrate konstant gesteigert, weil das Vereinbaren eines Termins aus einer Cold Email mehr Aufwand erfordert, als ein interessierter Fremder bereit ist zu tolerieren. Der Agent war in Ordnung. Wir hatten den falschen Teil des Funnels gemessen und optimiert. Definieren Sie zuerst die Ergebnis-Kennzahl – sie zeigt Ihnen, wo Sie hinschauen müssen.

Schritt 2: Mit echten Daten und echtem Volumen arbeiten

Legen Sie schriftlich fest, wie der Pilot Zugang zu produktionsähnlichen Daten erhält. Das ist in der Regel der langsamste Teil – beginnen Sie das Gespräch mit Security und Legal daher am ersten Tag, nicht in Woche drei. Praktische Optionen in der Reihenfolge unserer Präferenz:

  1. Shadow-Modus. Der Agent läuft auf dem Live-Traffic, seine Ausgaben werden aber nur protokolliert, nicht versendet. Ein Mensch erledigt die Aufgabe weiterhin. Sie vergleichen beide Ergebnisse.
  2. Unterstützter Modus. Der Agent erstellt Entwürfe, ein Mensch genehmigt oder überarbeitet sie, bevor etwas versendet wird. Die Bearbeitungsdistanz wird zum kostenlosen Qualitätssignal.
  3. Eingeschränkter autonomer Modus. Der Agent handelt eigenständig für einen schmalen, risikoarmen Bereich, mit klaren Eskalationspfaden zurück zu einer Person.

Der Shadow-Modus ist unterschätzt. Er beseitigt fast jeden Einwand seitens Compliance, er generiert den Eval-Datensatz kostenlos und zeigt Ihnen die echte Fehlerquote, bevor ein einziger Kunde den Agent zu Gesicht bekommt. Für Auftraggeber aus dem Gesundheitswesen und dem öffentlichen Sektor in der Golfregion umgeht er zudem den größten Teil der Datensouveränitätsdebatte während des Pilots – denn nichts verlässt den bestehenden Workflow.

Schritt 3: Die Nachweise vor dem Start definieren

Jedes „Fertig" in einem Pilot braucht einen Nachweis – etwas, das Sie im Nachhinein prüfen können. Vereinbaren Sie vor Beginn des Builds, welche Artefakte der Pilot produziert:

  • Run-Logs für jede Aufgabe. Eingaben, Tool-Aufrufe, Modellausgaben, Latenz, Token-Nutzung. Kein Dashboard-Screenshot. Strukturierte Logs, die Sie abfragen können. OpenTelemetry ist das naheliegende neutrale Format, wenn die Logs die Anbieterbeziehung überdauern sollen.
  • Ein Eval-Datensatz. Einige hundert reale Fälle mit dem erwarteten Ergebnis, automatisch bewertet. Das ist der Vermögenswert, der es Ihnen ermöglicht, später Modelle zu aktualisieren, Anbieter zu wechseln oder Prompts anzupassen – ohne zu raten. Endet der Pilot ohne diesen Datensatz, haben Sie eine Demo gekauft.
  • Kosten pro abgeschlossener Aufgabe. Modellkosten, Tool-Aufrufe, Wiederholungsversuche und Zeit für manuelle Überprüfung, dividiert durch tatsächlich abgeschlossene Aufgaben. Nicht Kosten pro API-Aufruf.
  • Eine Fehlertaxonomie. Die zehn häufigsten Arten, wie es schief gelaufen ist, mit Häufigkeiten. Das wird der Produktions-Backlog.

Nehmen Sie diese Punkte als Liefergegenstände in den Statement of Work auf. Wie Sie sie vertraglich verankern, beschreiben wir in Evals in KI-Anbieterverträgen. Ein Anbieter, der sich gegen die Lieferung von Logs und Eval-Daten sperrt, sagt Ihnen damit etwas.

Schritt 4: Entscheidungskriterien und -datum festlegen

Schreiben Sie drei Zahlen auf, bevor die erste Zeile Code geschrieben wird:

  • Produktionsschwelle. Die Kennzahl, bei der Sie sich zur Produktion verpflichten – zum Beispiel: „Agent-Entwürfe werden in 60 Prozent der Tickets ohne Bearbeitung übernommen, keine Richtlinienverstöße in 500 Durchläufen".
  • Abbruchschwelle. Das Niveau, unterhalb dessen Sie aufhören – unabhängig davon, wie vielversprechend die Roadmap klingt.
  • Entscheidungsdatum. Ein konkreter Kalendertag, an dem der Sponsor auf Basis der vorliegenden Daten entscheidet.

Der Bereich zwischen Produktions- und Abbruchschwelle ist, wo die meisten Piloten verharren – und hier brauchen Sie eine Regel. Unsere ist einfach: eine Verlängerung mit fester Dauer und einer konkreten Hypothese darüber, was die Kennzahl verbessern wird. Wenn der zweite Durchlauf die Produktionsschwelle nicht erreicht, hören Sie auf. Offene Verlängerungen sind der Weg, wie ein Pilot still und leise zu einem Jahr Ausgaben wird.

Schritt 5: Den Pilot so kalkulieren, dass es sich lohnt, ihn zu beenden

Ein kostenloser Pilot hat keine Deadline, weil der Anreiz des Anbieters darin besteht, Sie zu konvertieren – nicht den Pilot abzuschließen. Ein Pilot, der zum vollen Produktionspreis angeboten wird, macht den Auftraggeber nervös. Die Struktur, die unserer Erfahrung nach funktioniert, ist ein Festpreispilot, der das Eval-Framework und das Logging explizit einschließt, gefolgt von einer separat definierten Produktionsphase. Der Auftraggeber behält alle Artefakte des Pilots – unabhängig vom Ergebnis. Die Abwägungen zwischen Festpreis und Zeit- und Materialbasis werden in Festpreis vs. Zeit und Material behandelt.

Stellen Sie außerdem sicher, dass der Pilot die Architektur­fragen beantwortet, die die Produktionskosten beeinflussen. Bei unserer eigenen Outreach-Engine zeigte ein Vergleich im Pilotmaßstab, dass ein einziger Modellaufruf, der Fakten von einer gescrapten Seite extrahiert und die E-Mail in einem Schritt verfasst, eine mehrstufige Chain sowohl bei Kosten als auch bei Ausgabequalität übertraf. Hätten wir nur die Chain getestet, hätten wir deren Kosten in die Produktion mitgenommen. Nutzen Sie den Pilot, um mindestens einen solchen A/B-Test am Kerndesign durchzuführen – während das Volumen noch klein genug ist, um ihn günstig zu machen.

Was die Produktionshärtung tatsächlich umfasst

Auftraggeber fragen oft, warum der Produktions-Build ein Vielfaches des Pilots kostet, wenn „es doch schon funktioniert". Die ehrliche Liste – und woher jeder Punkt kommt, wenn der Pilot ordentliche Nachweise hinterlassen hat:

  • Retries, Idempotenz und Dead-Letter-Handling für jeden Tool-Aufruf des Agents. Die Fehlertaxonomie zeigt Ihnen, welche Tools tatsächlich ausfallen und wie oft – sodass Sie zuerst die obersten Einträge absichern, anstatt alles zu kapseln.
  • Rate Limits und Budget-Caps, damit eine Endlosschleife nicht über Nacht eine hohe Rechnung produzieren kann. Die Kosten pro abgeschlossener Aufgabe aus dem Pilot sind die Zahl, gegen die der Cap gesetzt wird. Ohne sie ist der Cap eine Schätzung.
  • Berechtigungs-Scoping, sodass der Agent nur sieht, was der aktuelle Nutzer sehen darf. Im Shadow-Modus hat der Agent alles gesehen, was der Mensch gesehen hat. Die Produktion muss das einschränken – und die Run-Logs zeigen, welche Daten er tatsächlich verwendet hat.
  • Monitoring auf stille Fehler, nicht nur auf Errors. Ein Agent, der aufgehört hat zu arbeiten, liefert trotzdem einen 200er-Status zurück. Der Eval-Datensatz, regelmäßig im Zeitplan wiedergegeben, ist der günstigste Alarm für ein Modell oder einen Prompt, der still degradiert ist.
  • Warteschlangen für manuelle Überprüfung und Audit-Trails, die regulierte Auftraggeber vor der Freigabe benötigen. Wenn der Pilot im unterstützten Modus lief, zeigen die Bearbeitungsdistanz-Daten bereits, wie groß diese Warteschlange sein muss und welche Fälle in ihr landen sollten.

All das ist in einer Demo nicht sichtbar – und genau das trennt einen Pilot, der funktioniert hat, von einem System, das Sie Kunden zumuten können. Ein Pilot, der echte Logs, einen echten Eval-Datensatz und eine echte Fehlertaxonomie produziert hat, macht diese Liste kürzer und deutlich kalkulierbarer. Ein Pilot, der nur eine Demo produziert hat, bedeutet, dass das Produktionsteam zunächst den Pilot nachbaut, um herauszufinden, was er hätte messen sollen.

Eine einseitige Pilot-Charta

Verfassen Sie vor dem Kickoff eine einzige Seite mit: dem Workflow, der Ergebnis-Kennzahl und ihrem Ausgangswert, dem Datenzugangs-Modus, den vier Nachweisen, den Produktions- und Abbruchschwellen, dem Entscheidungsdatum und der Person, die die Entscheidung verantwortet. Teilen Sie sie mit dem Anbieter und dem Sponsor. Ein Pilot, der gegen dieses Dokument geführt wird, geht entweder in die Produktion oder lehrt Sie etwas Konkretes. Beides ist den Einsatz wert.

Wenn Sie einen KI-Agent-Pilot planen und einen Partner suchen, der diese Schwellenwerte in den Vertrag schreibt statt sie später zu diskutieren, sprechen Sie mit uns.

ai agent pilotai agent pilot to productionai agent proof of conceptai agent go/no-go criteriahow to evaluate ai agentsai agent roi measurement

Häufig gestellte Fragen

Wie lange sollte ein KI-Agent-Pilot dauern?

Vier bis acht Wochen sind in der Regel ausreichend: zwei Wochen für den schlanksten funktionierenden Aufbau, anschließend vier bis sechs Wochen Betrieb mit realem Volumen. Längere Piloten sind meist ein Zeichen dafür, dass niemand definiert hat, wie Erfolg aussieht.

Was sollte ein KI-Agent-Pilot kosten?

Das hängt vom Umfang ab, aber ein Pilot sollte einen Bruchteil des Produktions-Builds kosten – und das Eval-Framework sowie das Logging einschließen, denn das sind die Artefakte, die Sie behalten. Seien Sie skeptisch gegenüber einem kostenlosen Pilot: Dabei handelt es sich in der Regel um eine Sales-Demo unter anderem Namen.

Sollten wir den Pilot mit synthetischen oder echten Daten durchführen?

Mit echten Daten, so früh wie rechtlich und sicherheitstechnisch möglich. Agents scheitern an den unordentlichen Randfällen in Ihren tatsächlichen Tickets, Dokumenten und Gesprächen – und synthetische Daten verbergen genau diese Schwachstellen.

Was sollten wir am Ende eines Pilots besitzen?

Mindestens: die Prompts und Tool-Definitionen, den Eval-Datensatz mit erwarteten Ausgaben, die Run-Logs und eine schriftlich festgehaltene Kostenkalkulation pro abgeschlossener Aufgabe. Wenn der Anbieter abspringt, sollten Sie dieses Paket einem anderen Team übergeben können.

So kann Pykero helfen

Leistungen passend zu diesem Artikel.

Sie planen etwas Ähnliches?

Pykero Agency entwirft und liefert produktionsreife Web-, Mobile-, SaaS- und KI-Produkte.

Sprechen Sie mit uns

Discussion

Be the first to comment.

Weiterlesen