AI
So überprüfen Sie eine AI Agency Demo, bevor Sie unterschreiben
Eine AI Agency Demo zeigt nur den idealen Ablauf. Bevor Sie unterschreiben: Testen Sie mit Ihren eigenen Daten, lassen Sie sich die Fehler zeigen, und lassen Sie das Acceptance-Set in den Vertrag aufnehmen.
TL;DR
Eine AI Agency Demo beweist nur, dass das System mit den Eingaben funktioniert, die die Agency ausgewählt hat. Bevor Sie unterschreiben: Bringen Sie Ihre eigenen, unbereinigten Daten mit, lassen Sie sich die Fehler zeigen, und sorgen Sie dafür, dass das Eval-Set im Vertrag festgehalten wird.

Eine AI Agency Demo beweist genau eine Sache: Das System funktioniert mit den Eingaben, die die Agency Ihnen zeigen wollte. Es ist kein Beweis dafür, dass es mit Ihren Daten, Ihren Edge Cases oder Ihren Nutzern um 2 Uhr morgens funktioniert. Bevor Sie unterschreiben: Ersetzen Sie deren Eingaben durch Ihre eigenen, sehen Sie sich die Fehler an, und lassen Sie das Test-Set in den Vertrag aufnehmen.
Das ist bei AI-Projekten wichtiger als bei gewöhnlicher Software. Eine CRUD-App speichert einen Datensatz entweder oder nicht. Ein LLM-gesteuerter Agent kann bei fünfzig sorgfältig ausgewählten Beispielen perfekt wirken und beim einundfünfzigsten mit Überzeugung Unsinn produzieren. Ein Gründer, der eine manipulierte Demo nicht von einem soliden System unterscheiden kann, kauft auf Vertrauensbasis.
Warum AI Agency Demos so leicht zu fälschen sind (auch unbeabsichtigt)
Es braucht keine Unehrlichkeit, damit eine Demo Sie in die Irre führt. Drei Dinge passieren ganz natürlich.
Die Beispiele sind gezielt ausgewählt. Das Team hat den Prototypen anhand einer Handvoll Eingaben entwickelt – und genau diese funktionieren. Sie zeigen Ihnen, was sie getestet haben. Wenn das Demo-Set aus zehn sauberen, gut formatierten Datensätzen besteht und Ihr echtes Postfach aus Support-Tickets in zwei Sprachen ohne Interpunktion, sehen Sie ein anderes Produkt als das, für das Sie bezahlen werden.
Fehler werden herausgefiltert, bevor Sie sie sehen. Denken Sie an einen Benchmark, der einem Modell eine perfekte 1,00 vergab, weil das Evaluierungsskript stillschweigend die drei Fragen übersprang, bei denen es scheiterte. Dasselbe passiert in Demos: Eine Retry-Schleife, ein Fallback auf eine vorgefertigte Antwort oder ein still verworfener Datensatz verbirgt die Fehler. Ein Wert von „98 Prozent" ohne Nenner und ohne Liste der Fehler ist derselbe Trick in einer schöneren Schrift.
Das System ist auf die Demo optimiert, nicht auf den Produktivbetrieb. Niedrige Temperature, ein riesiges Context Window vollgestopft mit Ihren genauen Dokumenten, ein Mensch, der die Eingabe vorher bereinigt. Nichts davon überlebt den Kontakt mit echtem Traffic und echten Kosten. Das vollgestopfte Context Window ist besonders verräterisch: Es lässt jede Antwort fundiert wirken und vervielfacht dabei still die Token-Kosten pro Eingabe, nach denen Sie später fragen werden.
Nichts davon ist böswillig. Es liegt an Ihnen, diesen Schein zu durchschauen.
Bringen Sie Ihre eigenen Eingaben mit
Das Nützlichste, was Sie tun können, ist mit Ihren eigenen Daten zu erscheinen. Nicht eine Beschreibung Ihrer Daten – die tatsächlichen Datensätze.
Ziehen Sie 20 bis 50 echte Beispiele aus dem Workflow, den der Agent übernehmen soll. Nehmen Sie auch die schwierigen mit:
- Ein Support-Ticket auf zwei Sprachen ohne Interpunktion
- Ein eingescanntes PDF, bei dem die Tabelle leicht gedreht ist
- Ein Lead-Formular, bei dem das Unternehmensfeld „n/a" enthält und die Telefonnummer im E-Mail-Feld steht
- Zwei Datensätze, die wie Duplikate aussehen, es aber nicht sind
- Eine Nachricht, die etwas verlangt, das der Agent ablehnen oder eskalieren sollte
Bitten Sie die Agency, diese live vor Ihnen auszuführen und Ihnen jeden Output zu zeigen. Keine Genauigkeitsprozente. Die rohen Outputs, nebeneinander mit den Eingaben.
Wenn sie eine Woche zur „Vorbereitung der Umgebung" benötigen, ist das bereits eine aufschlussreiche Information. Ein System, das eine Woche Vorbereitung braucht, um 30 Ihrer Datensätze zu verarbeiten, wird für jedes neue Kundensegment, das Sie hinzufügen, eine Woche Vorbereitung benötigen.
Lassen Sie sich die Fehler zeigen
Kehren Sie das übliche Demo-Skript um. Statt „Zeigen Sie mir, dass es funktioniert", fragen Sie:
- „Zeigen Sie mir die letzten fünf Eingaben, bei denen das System die falsche Antwort gegeben hat." Ein seriöses Team hat diese. Es führt ein Fehlerprotokoll, weil man ein LLM-System so verbessert. Ein Team, das keine Fehler vorweisen kann, hat entweder nicht ausreichend getestet oder ist nicht ehrlich mit Ihnen.
- „Was macht das System, wenn das Modell falsch liegt?" Die ehrliche Antwort beinhaltet Validierung, Confidence-Schwellenwerte und einen Eskalationspfad zu einem Menschen. Die beunruhigende Antwort ist: „Das passiert selten." Jedes Modell liegt einen gewissen Prozentsatz der Zeit falsch; die Designfrage ist, was dann passiert. Wir haben die Muster in deterministischen Leitplanken für AI-Features behandelt.
- „Woher wissen Sie, dass das System nach einer Prompt-Änderung nicht schlechter geworden ist?" Achten Sie auf das Wort Evals: ein fester Satz von Eingaben mit erwarteten Outputs, der bei jeder Änderung ausgeführt wird. Wenn sie keinen haben, werden Sie das Eval-Set sein – im Produktivbetrieb.
Fragen Sie, was tatsächlich läuft
Eine Demo verbirgt die Architektur – und die Architektur ist das, wofür Sie in den nächsten zwei Jahren bezahlen. Bitten Sie sie, den Request-Pfad für eine Eingabe von Anfang bis Ende durchzugehen:
- Welches Modell wird verwendet, und handelt es sich um eine Provider API oder ein selbst gehostetes System?
- Wie viele Model-Calls gibt es pro Eingabe, und wie lange dauert der langsamste?
- Welches Retrieval findet statt, über welche Dokumente, wie oft aktualisiert?
- Was ist deterministischer Code und was wird dem Modell überlassen?
- Was kostet eine Eingabe in Token, und wie sieht das bei Ihrem erwarteten monatlichen Volumen aus?
Seien Sie besonders aufmerksam bei Komplexitätstheater. Agencies präsentieren manchmal eine Fünf-Agenten-Pipeline mit Plannern, Critics und Orchestratoren, weil das auf einer Folie sophisticated wirkt. In unserem eigenen Outreach-Tool, bei dem wir die Website jedes Prospects scrapen und ein lokales Modell eine individuell zugeschnittene E-Mail entwirft, schlug die Version, die Fakten extrahierte und den Entwurf in einem einzigen Call erstellte, die mehrstufige Chain sowohl in Kosten als auch in Ausgabequalität. Jeder zusätzliche Schritt war eine weitere Stelle, an der die Pipeline Kontext verlieren oder zwischen den Schritten halluzinieren konnte. Die Trade-offs haben wir in Single Call vs. Agent Chains beschrieben.
Einfach ist nicht automatisch besser, aber ein Team, das erklären kann, warum jede Komponente existiert, versteht, was es gebaut hat. Ein Team, das das nicht kann, wartet etwas, das es von einem Tutorial geerbt hat.
Prüfen Sie die Produktionsstory, nicht nur den Prototypen
Die Lücke zwischen einer Demo und einem eingesetzten System ist der Ort, an dem die meisten AI-Projekte scheitern. Die 30 Datensätze, die Sie mitgebracht haben, und der Request-Walkthrough, dem Sie gerade beigewohnt haben, geben Ihnen alles, was Sie brauchen, um die folgenden Fragen konkret statt hypothetisch zu stellen.
Wer besitzt die Prompts und das Eval-Set nach dem Launch? Sie sollten es sein. Das Eval-Set sind Ihre 30 Datensätze plus alle Fehler, die sie Ihnen gezeigt haben, mit vereinbarten korrekten Outputs. Stellen Sie sicher, dass es in der Liste der Liefergegenstände erscheint – nicht versteckt in einem vagen Verweis auf „Dokumentation".
Was passiert, wenn der Modell-Provider die getestete Version einstellt? Provider stellen Modelle nach einem festen Zeitplan ein. Die Antwort, die Sie hören möchten, ist: „Wir tauschen das Modell aus, führen das Acceptance-Set erneut aus und zeigen Ihnen den Diff." Wenn das erneute Ausführen des Sets kein Ein-Befehl-Vorgang ist, fragen Sie warum.
Wie werden die Kosten begrenzt? Nehmen Sie die Token-Kosten pro Eingabe aus dem Walkthrough, multiplizieren Sie sie mit Ihrem monatlichen Volumen, und fragen Sie, was verhindert, dass die Rechnung das Zehnfache davon beträgt. Eine unkontrollierte Retry-Schleife oder ein Spam-Burst gegen einen ungeschützten Endpoint wird das für Sie herausfinden. Rate Limits und nutzerbezogene Budgets gehören in den Build, nicht in eine spätere Phase.
Was wird überwacht? Mindestens: Latenz, Fehlerrate, Fallback-Rate und eine stichprobenartige Qualitätsprüfung. Die Fallback-Rate ist die entscheidende. Sie ist die Produktionsversion von „was passiert, wenn das Modell falsch liegt" – und wenn sie nach einer Prompt-Änderung von 5 Prozent auf 20 Prozent steigt, ist das Ihr Regressionsalarm. Wenn die Antwort lautet „Wir fügen Logging hinzu", haben sie noch keines dieser Systeme in Produktion gebracht.
Wie sieht Monat drei aus? Neue Edge Cases kommen hinzu, das Eval-Set wächst, ein Prompt wird angepasst, ein Modell wird aktualisiert. Wer führt das Set jedes Mal erneut aus, und was kostet das pro Monat?
Ein Team, das Agents von Pilot bis Produktion gebracht hat, wird diese Fragen ohne Zögern beantworten – weil es von jedem dieser Punkte schon einmal getroffen wurde. Unser Leitfaden von Pilot bis Produktion listet die spezifischen Fehlerquellen auf, die wir am häufigsten beobachten.
Verankern Sie das Test-Set im Vertrag
Nehmen Sie die Eingaben, die Sie zur Demo mitgebracht haben, einigen Sie sich darauf, wie ein korrekter Output für jede davon aussieht, und schreiben Sie das als Abnahmetest in die Leistungsbeschreibung. Das zwingt beide Seiten dazu, „funktioniert" in konkreten Begriffen zu definieren, bevor Geld den Besitzer wechselt, gibt der Agency ein erreichbares Ziel und gibt Ihnen eine Regressionssuite, die Sie für die gesamte Lebensdauer des Produkts weiterführen werden.
Einigen Sie sich auf einen Schwellenwert, nicht auf Perfektion. Etwas wie „mindestens 90 Prozent des Acceptance-Sets korrekt, null Outputs in der unsicheren Kategorie, und jeder falsche Output wird zur Prüfung weitergeleitet" ist für die meisten Dokument- und Vertriebsworkflows realistisch. Ein Hundert-Prozent-Ziel ist ein Zeichen dafür, dass niemand über den Fehlerfall nachgedacht hat.
Eine kurze Checkliste für das Meeting
Kommen Sie mit diesen Punkten, und Sie werden in einer Stunde mehr erfahren als in drei ausgefeilten Pitches:
- Führen Sie meine 30 echten Eingaben live aus und zeigen Sie jeden Output
- Zeigen Sie mir fünf aktuelle Fehler und was Sie daraufhin geändert haben
- Gehen Sie eine Anfrage von Anfang bis Ende durch: Modelle, Calls, Retrieval, Kosten
- Was passiert, wenn das Modell falsch liegt?
- Wer besitzt Prompts, Evals und Monitoring nach dem Launch, und was kostet Monat drei?
- Werden Sie das Acceptance-Set und den Schwellenwert in den Vertrag aufnehmen?
Eine Agency, die diese Fragen begrüßt, ist eine, mit der Sie arbeiten können. Eine, die sie als feindselig betrachtet, zeigt Ihnen bereits, wie das Projekt verlaufen wird.
Wenn Sie gerade AI-Partner evaluieren und eine Zweitmeinung zu einem Angebot wünschen oder sehen möchten, wie wir Ihre 30 problematischsten Datensätze verarbeiten würden, sprechen wir miteinander.
Häufig gestellte Fragen
Warum kann ich einer ausgefeilten AI Agency Demo nicht vertrauen?
Weil die Agency die Eingaben ausgewählt hat. LLM-Systeme wirken bei sorgfältig ausgewählten Beispielen makellos und scheitern an Edge Cases. Eine Demo zeigt Ihnen, dass der ideale Ablauf funktioniert – nicht, dass das Produkt Ihren echten Nutzern standhält.
Was sollte ich zu einer AI Agency Demo mitbringen?
Zwanzig bis fünfzig echte Beispiele aus Ihrem Unternehmen – auch die problematischen: halb ausgefüllte Formulare, Nachrichten in mehreren Sprachen, doppelte Datensätze, eingescannte PDFs. Bitten Sie die Agency, diese live auszuführen und Ihnen jeden einzelnen Output zu zeigen – nicht nur eine zusammengefasste Punktzahl.
Wie vergleiche ich zwei AI Agencies nach den Demos?
Führen Sie beide mit demselben Satz Ihrer echten Eingaben aus und vergleichen Sie die Fehler – nicht die Erfolge. Fragen Sie dann jede Agency, wie sie diese Fehler im Produktivbetrieb erkennen und handhaben würde und wie die laufenden Kosten aussehen.
Ist eine einfachere Architektur ein Warnsignal bei einer AI Agency?
Meist das Gegenteil. Ein einzelner, gut formulierter Model-Call mit strikter Validierung schlägt eine Multi-Agent-Chain oft in Kosten und Genauigkeit. Seien Sie misstrauischer gegenüber Komplexität, die Sie nicht erklären können, als gegenüber Einfachheit, die Sie testen können.
So kann Pykero helfen
Leistungen passend zu diesem Artikel.
Sie planen etwas Ähnliches?
Pykero Agency entwirft und liefert produktionsreife Web-, Mobile-, SaaS- und KI-Produkte.
Sprechen Sie mit uns


