Zum Inhalt springen
Blog

AI

Kosten für AI-Agent-Testing: Was Evals Ihr Build-Budget zusätzlich kosten

Die Kosten für AI-Agent-Testing erklärt für Gründer: Was eine Eval-Suite umfasst, welchen Anteil sie am Build-Budget einnehmen sollte und was passiert, wenn man sie weglässt.

Von Pykero Agency · Engineering team15. Nov. 20267 Min. Lesezeit

TL;DR

Rechnen Sie für Evals mit etwa einem Zehntel bis einem Fünftel des Budgets für einen AI-Agent-Build: ein gelabeltes Golden Set, automatisiertes Scoring und ein Regressionslauf bei jeder Änderung an Prompt oder Modell. Wer das weglässt, spart kein Geld, sondern verlagert das Testen auf die eigenen Kunden.

Qualitätskontrolle im Prüflabor, Kosten für AI-Agent-Testing: Was Evals Ihr Build-Budget zusätzlich kosten

Die Kosten für AI-Agent-Testing liegen meist zwischen einem Zehntel und einem Fünftel des gesamten Builds, und dieses Geld kauft drei Dinge: ein gelabeltes Set echter Inputs mit bekannten guten Outputs, eine Möglichkeit, den Agenten automatisiert daran zu messen, und die Gewohnheit, diese Messung vor jedem Deployment erneut laufen zu lassen. Ein Angebot ohne Posten dafür hat das Testen schlicht auf Ihre Kunden verlagert, die es im Produktivbetrieb für Sie übernehmen, Beschwerde für Beschwerde.

Was die Kosten für AI-Agent-Testing tatsächlich abdecken

Eine normale Web-Feature zu testen bedeutet zu prüfen, ob ein gegebener Input einen gegebenen Output erzeugt, und die Antwort ist Ja oder Nein. Ein auf einem Sprachmodell aufgebauter Agent gibt jedes Mal eine leicht andere Antwort, ruft Tools auf, die man nicht vorhergesehen hat, und degradiert still und leise, wenn der Modellanbieter etwas aktualisiert. Die Testarbeit ist daher anders strukturiert, und jeder der drei Bausteine verursacht eigene Kosten.

Das Golden Set

Das Golden Set ist eine Sammlung echter oder realistischer Inputs, gepaart mit einer korrekten Antwort. Für einen Support-Agenten sind das einige Hundert echte Tickets mit der Antwort, die ein erfahrener Mitarbeiter geben würde. Für einen Dokumentenassistenten sind es Fragen, gepaart mit der Textstelle, die die Antwort enthält. Für einen Outreach-Writer sind es Prospect-Seiten, gepaart mit den Fakten, die ein Mensch daraus gezogen hätte.

Der Aufbau dieses Sets ist der teuerste und wertvollste Teil der Arbeit. Dafür braucht man Leute, die sich mit dem Fachgebiet auskennen, also meist Ihr eigenes Team und nicht die Agentur. Eine gute Agentur strukturiert die Übung, baut die Labeling-Oberfläche und drängt Sie dazu, auch die unschönen Fälle einzubeziehen: das mehrdeutige Ticket, die Seite ohne Preisangabe, den Kunden, der zwei Dinge gleichzeitig fragt. Rechnen Sie damit, dass das echte Arbeitsstunden eines Product Owners oder erfahrenen Operators auf Ihrer Seite kostet. Geht ein Angebot davon aus, dass die Agentur einige Hundert Ihrer Tickets allein labeln kann, ist das ein Zeichen, dass sie das noch nie gemacht hat.

Scoring

Sobald das Golden Set steht, muss etwas entscheiden, ob jeder Agent-Output akzeptabel ist. Es gibt drei Wege dafür, und die meisten Suiten nutzen alle drei:

  • Harte Assertions. Der Agent hat das Refund-Tool mit der richtigen Bestell-ID aufgerufen. Der Output lässt sich als valides JSON parsen. Die Antwort hält das Längenlimit ein. Diese Checks sind billig, deterministisch und fangen die peinlichen Fehler ab.
  • Modellbasierte Checks. Ein zweites Modell vergleicht den Output mit der Referenzantwort und bewertet ihn anhand einer Rubrik. So prüft man Ton, Vollständigkeit und Faktentreue im großen Maßstab. Das kostet bei jedem Durchlauf Tokens und braucht eine eigene Kalibrierung gegen menschliches Urteil, sonst driftet der Grader genauso leise ab wie der Agent.
  • Menschliche Prüfung einer Stichprobe. Jemand liest in jedem Zyklus einen Ausschnitt der Outputs. Nur so fängt man die Fehlermodi ab, an die niemand eine Assertion gedacht hat.

Open-Source-Tools wie promptfoo decken die Mechanik ab, Fälle laufen zu lassen und zu bewerten. Die teure Arbeit passiert davor: Fall für Fall festzulegen, wie eine gute Antwort für Ihr Geschäft aussieht.

Regression bei jeder Änderung

Der dritte Baustein hat keine Datei, auf die man zeigen könnte, weshalb er in Angeboten oft fehlt. Jede Änderung am Prompt, am Modell oder an den Tools des Agenten wird vor dem Deployment gegen das Golden Set bewertet. Sinkt der Score, wartet die Änderung. In unserer eigenen Outreach-Engine ist der Regressionslauf dasselbe Set von Prospect-Seiten und dieselbe Rubrik, mit der wir weiter unten den Architektur-Streit entschieden haben. Eine Prompt-Anpassung, die sich für einen Menschen besser liest, aber auf diesem Set schlechter abschneidet, geht nicht live. Diese Regel macht aus einem AI-Feature mehr als eine einmalige Demo: etwas, das man ohne Angst weiter verbessern kann.

Welchen Anteil es am Build-Budget einnehmen sollte

Richtwerte aus unseren eigenen Angeboten, als Meinung und nicht als Umfragedaten:

  • Ein wenig kritischer interner Agent (Zusammenfassen von Meeting-Notizen, Entwürfe erster Antworten, die ein Mensch immer prüft) kommt mit einem kleinen Golden Set und überwiegend harten Assertions aus. Rechnen Sie mit rund einem Zehntel des Builds.
  • Ein kundenseitiger Agent ohne Mensch im Loop (ein WhatsApp-Sales-Agent, ein Self-Serve-Support-Bot) braucht modellbasiertes Scoring und eine menschliche Review-Stichprobe. Rechnen Sie eher mit einem Fünftel.
  • Ein Agent, der Geld-, Gesundheits- oder rechtliche Folgen berührt, sollte seine Eval-Suite als eigenständiges Deliverable mit festgeschriebener Akzeptanzschwelle im Vertrag haben. Wie man diese Klausel formuliert, haben wir in Evals in AI-Vendor-Verträgen beschrieben.

Zusätzlich zum Build entstehen laufende Kosten: Tokens für jeden Regressionslauf und ein paar Stunden pro Monat, in denen jemand die menschliche Review-Stichprobe liest und neue Fehlerfälle ins Set aufnimmt. Für die meisten Agenten ist das klein im Vergleich zu den laufenden Kosten des Agenten selbst, die wir in Was ein AI-Agent pro Aufgabe kostet aufgeschlüsselt haben.

Evals zahlen sich schon während des Builds aus, nicht erst danach

Die übliche Einordnung ist, dass Evals eine Versicherung gegen Regressionen sind. Das stimmt, aber der erste Nutzen zeigt sich meist schon vor dem Launch, wenn die Suite Architektur-Streitigkeiten mit Zahlen statt mit Meinungen klärt.

Das haben wir in unserer eigenen Outreach-Engine erlebt. Sie crawlt die Website jedes Prospects mit einem selbst gehosteten Crawler, lässt ein lokales Modell über das Ergebnis laufen und schreibt eine individuelle E-Mail pro Unternehmen. Das naheliegende Design war eine Kette: ein Schritt, um Fakten über das Unternehmen zu extrahieren, ein weiterer, um einen Ansatz zu wählen, ein dritter zum Verfassen. Wir haben außerdem die einfachere Version gebaut, bei der ein einzelner Aufruf die Seite liest und die E-Mail direkt schreibt, und beide gegen dasselbe Set von Prospect-Seiten mit derselben Rubrik bewertet. Der einzelne Aufruf gewann sowohl bei der Qualität als auch bei den Kosten. Ohne das Eval-Set wäre die Kette ausgeliefert worden, weil sie gründlicher wirkte und das Team sie grundsätzlich bevorzugte. Mehr zu diesem Vergleich steht in Single Call vs. Agent Chains.

Das ist das zu erwartende Muster. Die Eval-Suite macht aus „ich glaube, die mehrstufige Version ist besser" eine Tabelle, und die Tabelle überrascht oft.

Was es tatsächlich kostet, Evals weglassen

Evals weglassen führt selten zu einem Ausfall am Launch-Tag. Der Schaden entsteht über Monate und zeigt sich am Personalbedarf.

Der Agent wird nach einer Woche manuellem Herumprobieren ausgeliefert und wirkt in Ordnung. Drei Wochen später passt jemand den System-Prompt an, um eine Beschwerde zu beheben, und ein anderes Verhalten bricht still und leise. Einen Monat lang merkt es niemand, weil niemand misst. Der Modellanbieter veröffentlicht ein Update, und die Antwortqualität verschiebt sich. Ihr Team beginnt, dem Agenten zu misstrauen, fügt einen eigentlich nur vorübergehend gedachten menschlichen Review-Schritt ein, und die Wirtschaftlichkeit, die das Projekt gerechtfertigt hat, verschwindet. Irgendwann schlägt jemand einen Neubau vor.

Unsere Outreach-Engine wäre einem Teil dieses Weges gefolgt. Die dreistufige Kette wäre auf Basis einiger handverlesener Beispiele ausgeliefert worden, hätte pro E-Mail mehr gekostet als der einzelne Aufruf, und niemand hätte gewusst, dass das einfachere Design besser ist, bis jemand zufällig den Vergleich ausprobiert hätte. Jeder dieser Schritte ist eine Kostenposition, die im ursprünglichen Angebot nie auftaucht, weshalb die Version ohne Evals günstiger wirkt. Der Weg vom Pilotprojekt zur Produktion, den wir in Von Pilot zu Produktion mit einem AI-Agenten beschrieben haben, besteht größtenteils aus der Arbeit, Änderungen sicher zu machen, und Evals machen den Großteil dieser Arbeit aus.

Was Sie in einem Angebot abfragen sollten

Beim Vergleich von Angeboten für einen AI-Agenten unterscheiden diese Fragen Agenturen, die Agenten im Produktivbetrieb geführt haben, von Agenturen, die nur Demos gebaut haben:

  1. Wie groß wird das Golden Set sein, und wer labelt es? Eine ehrliche Antwort nennt eine konkrete Fallzahl und einen Labeling-Prozess, der Ihr Team einbindet.
  2. Wie lautet die Akzeptanzschwelle, und wie wird sie gemessen? Sie wollen einen Score, eine Rubrik und eine klare Aussage dazu, was passiert, wenn die Schwelle nicht erreicht wird.
  3. Was wird erneut getestet, wenn sich Prompt oder Modell ändern? Die Antwort sollte „alles, automatisch" sein, und Sie sollten sich das Skript zeigen lassen, das das erledigt.
  4. Wo fließen neue Fehlerfälle ein? Fehler aus dem Produktivbetrieb sollten zurück ins Golden Set einfließen. Fehlt dafür ein Weg, verfällt die Suite.
  5. Wie sehen die laufenden Kosten aus? Token-Ausgaben pro Regressionslauf und Stunden pro Monat für die menschliche Review.

Eine Agentur, die diese Fragen souverän beantwortet, ist wahrscheinlich schon einmal von einem ungetesteten Agenten auf dem falschen Fuß erwischt worden, und genau diese Erfahrung bezahlen Sie mit. Sind die Antworten vage, lesen Sie unseren Leitfaden Wie man eine AI-Agentur-Demo prüft, bevor Sie etwas unterschreiben.

Wenn Sie einen Agenten scopen und die Eval-Arbeit ehrlich neben dem Build ausgepreist haben wollen, sprechen Sie mit uns.

ai agent testing costllm evaluation costhow to test an ai agent before launchai agent qa budgetllm evals for foundersai agent regression testing

Häufig gestellte Fragen

Wie hoch sollten die Kosten für AI-Agent-Testing im Vergleich zum Build sein?

Für einen typischen produktiven Agenten sollten Sie 10 bis 20 Prozent des Build-Budgets für Evals einplanen, plus geringe laufende Kosten für Regressionsläufe. Agenten, deren Entscheidungen Geld- oder Gesundheitsfolgen haben, liegen am oberen Ende dieser Spanne oder darüber.

Können wir Evals weglassen und den Agenten vor dem Launch einfach manuell testen?

Manuelles Testen fängt die offensichtlichen Fehler einmalig ab. Es sagt Ihnen nicht, ob die nächste Prompt-Anpassung oder das nächste Modell-Upgrade etwas kaputt gemacht hat, und genau daher stammen die meisten Vorfälle im Produktivbetrieb. Eine Eval-Suite ist das, was Änderungen nach dem Launch sicher macht.

Wer baut das Golden Set, die Agentur oder wir?

Beide. Die Agentur strukturiert und bewertet es, aber die Beispiele und die Definition einer korrekten Antwort müssen von Ihrem Team kommen, denn nur Sie wissen, wie eine gute Antwort an Ihre Kunden aussieht.

Brauchen wir ein separates Eval-Tool oder eine Plattform?

Anfangs meist nicht. Ein Ordner mit Testfällen, ein Skript, das sie gegen den Agenten laufen lässt, und ein Scoring-Schritt reichen für die meisten Teams aus. Eine Plattform lohnt sich erst, wenn mehrere Personen die Ergebnisse lesen und bearbeiten müssen.

So kann Pykero helfen

Leistungen passend zu diesem Artikel.

Sie planen etwas Ähnliches?

Pykero Agency entwirft und liefert produktionsreife Web-, Mobile-, SaaS- und KI-Produkte.

Sprechen Sie mit uns

Discussion

Be the first to comment.

Weiterlesen