Wie Sie eine KI-Agenturdemo prüfen, bevor Sie unterschreiben

Eine KI-Agenturdemo beweist genau eine Sache: dass das System mit den Eingaben funktioniert, die die Agentur Ihnen zeigen wollte. Sie beweist nicht, dass es mit Ihren Daten, Ihren Grenzfällen oder Ihren Nutzern um 2 Uhr morgens funktioniert. Bevor Sie unterschreiben, müssen Sie ihre Eingaben durch Ihre eigenen ersetzen, auf die Fehler statt auf die Erfolge schauen und den Testdatensatz in den Vertrag aufnehmen.

Bei KI-Projekten ist das wichtiger als bei gewöhnlicher Software. Eine CRUD-Applikation speichert den Datensatz entweder oder nicht. Ein LLM-gestützter Agent kann bei fünfzig sorgfältig ausgewählten Beispielen perfekt wirken und beim einundfünfzigsten selbstsicher Unsinn produzieren. Ein Gründer, der eine manipulierte Demo nicht von einem robusten System unterscheiden kann, kauft auf Basis von Vertrauen.

Warum KI-Demos so leicht zu fälschen sind – selbst unbeabsichtigt

Niemand muss unehrlich sein, damit eine Demo Sie in die Irre führt. Drei Dinge passieren ganz von selbst:

• Die Beispiele sind handverlesen. Das Team hat den Prototyp anhand einer Handvoll Eingaben entwickelt – und genau diese funktionieren. Sie zeigen Ihnen, was sie getestet haben. Wenn der Demo-Datensatz zehn saubere, gut formatierte Datensätze umfasst und Ihr echter Posteingang Support-Tickets in zwei Sprachen ohne Interpunktion enthält, sehen Sie ein anderes Produkt als das, für das Sie bezahlen werden.
• Fehler werden herausgefiltert, bevor Sie sie sehen. Ein kürzlich kursierender Beitrag beschrieb einen Benchmark, der einem Modell eine perfekte Bewertung von 1,00 gab, weil das Test-Framework die drei Fragen, bei denen das Modell scheiterte, stillschweigend übersprungen hatte. Dasselbe passiert bei Demos: Eine Wiederholungsschleife, ein Fallback auf eine vorgefertigte Antwort oder eine still verworfene Zeile verbirgt die Misserfolge. Eine Bewertung von „98 Prozent" ohne Nenner und ohne Liste der Fehler ist derselbe Trick in einer hübscheren Schriftart.
• Das System ist für die Demo optimiert, nicht für den Produktivbetrieb. Niedrige Temperatur, ein riesiges Kontextfenster vollgestopft mit Ihren genauen Dokumenten, ein Mensch, der die Eingaben vorab bereinigt. Nichts davon übersteht den Kontakt mit echtem Traffic und echten Kosten. Der vollgestopfte Kontext ist dabei besonders aufschlussreich: Er lässt jede Antwort fundiert wirken und multipliziert gleichzeitig still die Token-Kosten pro Eingabe, nach denen Sie später fragen werden.

Nichts davon ist böswillig. Aber es liegt an Ihnen, es zu durchschauen.

Bringen Sie Ihre eigenen Eingaben mit

Das Nützlichste, was Sie tun können, ist, mit Ihren eigenen Daten zu erscheinen. Nicht eine Beschreibung Ihrer Daten – die tatsächlichen Datensätze.

Holen Sie 20 bis 50 echte Beispiele aus dem Workflow, den der Agent verarbeiten soll. Schließen Sie absichtlich die schwierigen ein:

• Ein Support-Ticket in zwei Sprachen ohne Interpunktion
• Ein eingescanntes PDF, bei dem die Tabelle leicht gedreht ist
• Ein Lead-Formular, bei dem das Unternehmensfeld „n/a" enthält und die Telefonnummer im E-Mail-Feld steht
• Zwei Datensätze, die wie Duplikate aussehen, es aber nicht sind
• Eine Nachricht, die nach etwas fragt, das der Agent ablehnen oder eskalieren sollte

Bitten Sie die Agentur dann, diese live vor Ihnen auszuführen und Ihnen jeden Output zu zeigen. Keine Genauigkeitsprozentsätze. Die Rohausgaben, nebeneinander mit den Eingaben.

Wenn sie eine Woche bitten, zunächst die „Umgebung vorzubereiten", ist das ebenfalls nützliche Information. Ein System, das eine Woche Vorbereitung benötigt, um 30 Ihrer Datensätze zu verarbeiten, wird für jedes neue Kundensegment, das Sie hinzufügen, eine Woche Vorbereitung brauchen.

Lassen Sie sich die Fehler zeigen

Drehen Sie das übliche Demo-Skript um. Statt „zeigen Sie mir, wie es funktioniert", fragen Sie:

• „Zeigen Sie mir die letzten fünf Eingaben, bei denen die Antwort falsch war." Ein ernsthaftes Team hat diese. Sie führen ein Fehlerprotokoll, weil man so ein LLM-System verbessert. Ein Team, das keine Fehler vorweisen kann, hat entweder nicht getestet oder verschweigt Ihnen etwas.
• „Was tut das System, wenn das Modell falsch liegt?" Die ehrliche Antwort umfasst Validierung, Konfidenz-Schwellenwerte und einen Weg zu einem Menschen. Die beunruhigende Antwort ist „das kommt selten vor". Jedes Modell liegt einen gewissen Prozentsatz der Zeit falsch; die Designfrage ist, was dann passiert. Wir haben die Muster in deterministische Leitplanken für KI-Features beschrieben.
• „Woher wissen Sie, dass keine Regression eingetreten ist, nachdem Sie einen Prompt geändert haben?" Sie hören auf das Wort Evals: ein fester Satz von Eingaben mit erwarteten Ausgaben, der bei jeder Änderung ausgeführt wird. Wenn sie keinen haben, werden Sie der Eval-Set sein – im Produktivbetrieb.

Fragen Sie, was tatsächlich läuft

Eine Demo verbirgt die Architektur – und die Architektur ist das, wofür Sie in den nächsten zwei Jahren bezahlen. Bitten Sie sie, den Request-Pfad für eine Eingabe von Anfang bis Ende durchzugehen:

1. Was ist das Modell, und handelt es sich um eine Provider-API oder Self-Hosted?
2. Wie viele Modellaufrufe pro Eingabe, und wie lange dauert der langsamste?
3. Welches Retrieval findet statt, über welche Dokumente, wie oft aktualisiert?
4. Was ist deterministischer Code und was wird dem Modell überlassen?
5. Was kostet eine Eingabe in Tokens, und wie sieht das bei Ihrem erwarteten monatlichen Volumen aus?

Seien Sie besonders wachsam gegenüber Komplexitätstheater. Agenturen präsentieren manchmal eine Fünf-Agenten-Pipeline mit Planern, Kritikern und Orchestratoren, weil das auf einer Folie sophisticated wirkt. In unserem eigenen Outreach-Tooling, bei dem wir die Website jedes potenziellen Kunden scrapen und ein lokales Modell eine maßgeschneiderte E-Mail entwerfen lassen, schlug die Version, die Fakten extrahierte und den Entwurf in einem einzigen Aufruf schrieb, die mehrstufige Kette sowohl bei den Kosten als auch bei der Ausgabequalität. Jeder zusätzliche Schritt war ein weiterer Punkt, an dem die Pipeline Kontext verlieren oder zwischen den Schritten halluzinieren konnte. Wir haben die Abwägungen in Single Call vs. Agent Chains beschrieben.

Einfach ist nicht automatisch besser, aber ein Team, das erklären kann, warum jede Komponente existiert, versteht das System. Ein Team, das das nicht kann, wartet etwas, das es von einem Tutorial geerbt hat.

Prüfen Sie die Produktionsstrategie, nicht nur den Prototyp

Die Lücke zwischen einer Demo und einem eingesetzten System ist der Punkt, an dem die meisten KI-Projekte scheitern. Die gute Nachricht ist, dass die 30 Datensätze, die Sie mitgebracht haben, und der Request-Walkthrough, den Sie gerade erlebt haben, Ihnen alles geben, um diese Fragen konkret statt hypothetisch zu stellen:

• Wer besitzt die Prompts und den Eval-Set nach dem Launch? Sie sollten es. Der Eval-Set sind Ihre 30 Datensätze plus alle Fehler, die man Ihnen gezeigt hat, mit vereinbarten korrekten Outputs. Stellen Sie sicher, dass er in den Lieferobjekten namentlich erwähnt wird, nicht als „Dokumentation" beschrieben.
• Was passiert, wenn der Modellanbieter die Version, auf der Sie getestet haben, depreciert? Anbieter ziehen Modelle planmäßig zurück. Die Antwort, die Sie hören möchten, lautet: „Wir tauschen das Modell aus, führen den Acceptance-Set erneut aus und zeigen Ihnen das Diff." Wenn die erneute Ausführung des Sets kein Ein-Befehls-Vorgang ist, fragen Sie warum.
• Wie werden die Kosten begrenzt? Nehmen Sie die Token-Kosten pro Eingabe aus dem Walkthrough, multiplizieren Sie sie mit Ihrem monatlichen Volumen und fragen Sie, was verhindert, dass die Rechnung zehnmal so hoch ist. Eine unkontrollierte Wiederholungsschleife oder ein Spam-Burst gegen einen ungeschützten Endpoint wird das für Sie herausfinden. Rate Limits und Budgets pro Nutzer gehören in das Build, nicht in eine spätere Phase.
• Was wird überwacht? Mindestens: Latenz, Fehlerrate, Fallback-Rate und stichprobenartige Qualitätsprüfungen. Die Fallback-Rate ist die entscheidende. Sie ist die Produktionsversion von „was passiert, wenn das Modell falsch liegt", und wenn sie nach einer Prompt-Änderung von 5 Prozent auf 20 Prozent steigt, ist das Ihr Regressionsalarm. Wenn die Antwort lautet „wir fügen Logging hinzu", haben sie noch keines dieser Systeme in Produktion gebracht.
• Wie sieht Monat drei aus? Neue Grenzfälle tauchen auf, der Eval-Set wächst, ein Prompt wird angepasst, ein Modell wird aktualisiert. Wer führt den Set jedes Mal erneut aus, und was kostet das pro Monat?

Ein Team, das Agenten vom Pilotbetrieb in die Produktion gebracht hat, beantwortet diese Fragen ohne Zögern, weil es an jedem einzelnen Punkt gescheitert ist. Unser Leitfaden vom Pilot zur Produktion listet die spezifischen Fehlerarten auf, die wir am häufigsten sehen.

Schreiben Sie den Testdatensatz in den Vertrag

Das ist der Schritt, der ein hoffnungsvolles Engagement von einem sicheren trennt. Nehmen Sie die Eingaben, die Sie zur Demo mitgebracht haben, einigen Sie sich darauf, wie ein korrekter Output für jeden aussieht, und schreiben Sie das als Abnahmetest in das Statement of Work.

Das bewirkt drei Dinge gleichzeitig. Es zwingt beide Seiten, „funktionierend" in konkreten Begriffen zu definieren, bevor Geld fließt. Es gibt der Agentur ein Ziel, das sie tatsächlich erreichen kann – was gute Agenturen schätzen. Und es gibt Ihnen eine Regressionssuite, die Sie für die gesamte Lebensdauer des Produkts weiter ausführen werden.

Einigen Sie sich auf einen Schwellenwert, nicht auf Perfektion. Etwas wie „mindestens 90 Prozent des Acceptance-Sets korrekt, keine Ausgaben in der unsicheren Kategorie und jeder fehlerhafte Output wird zur Prüfung weitergeleitet" ist für die meisten Dokument- und Vertriebs-Workflows realistisch. Hundert Prozent ist ein Zeichen dafür, dass niemand über den Fehlerfall nachgedacht hat.

Eine kurze Checkliste für das Meeting

Gehen Sie damit ins Meeting und Sie werden in einer Stunde mehr erfahren als in drei polierten Pitches:

• Führen Sie meine 30 echten Eingaben live aus und zeigen Sie mir jeden Output
• Zeigen Sie mir fünf aktuelle Fehler und was Sie deshalb geändert haben
• Führen Sie mich durch einen Request von Anfang bis Ende: Modelle, Aufrufe, Retrieval, Kosten
• Was passiert, wenn das Modell falsch liegt?
• Wer besitzt Prompts, Evals und Monitoring nach dem Launch, und was kostet Monat drei?
• Werden Sie den Acceptance-Set und den Schwellenwert in den Vertrag aufnehmen?

Eine Agentur, die diese Fragen begrüßt, ist eine, mit der Sie arbeiten können. Eine, die sie als feindlich betrachtet, sagt Ihnen, wie das Projekt verlaufen wird.

Wenn Sie gerade KI-Partner evaluieren und eine zweite Meinung zu einem Angebot wünschen oder sehen möchten, wie wir Ihre 30 schwierigsten Datensätze verarbeiten würden, sprechen Sie mit uns.