So bewerten Sie einen KI-Agenten-Anbieter, bevor Sie unterschreiben

Bewerten Sie KI-Agenten-Anbieter danach, wie sie mit Fehlern umgehen – nicht nach ihrer Demo. Eine polierte Demo zeigt Ihnen, dass der Agent die fünf Eingaben bewältigt, die das Vertriebsteam eingeübt hat. Sie sagt Ihnen nichts darüber, was bei Eingabe Nummer sechs passiert – wenn ein Kunde etwas Unerwartetes tippt, eine fehlerhafte Datei hochlädt oder den Agenten um etwas bittet, das nie im Scope war. Die Anbieter, die es wert sind, beauftragt zu werden, können diese Frage detailliert beantworten. Diejenigen, die es nicht können, werden Ihnen später eine Wartungsrechnung präsentieren.

Hier ist die Checkliste, die wir verwenden würden, wenn wir auf der Käuferseite wären.

Architektur und Design

1. Warum haben Sie sich für einen Agenten statt für einen einfacheren Workflow entschieden? Agentische Schleifen mit mehreren LLM-Aufrufen und Tool-Calling-Ketten sind langsamer, teurer und schwerer zu debuggen als ein einziger gut formulierter Aufruf. Wir haben das beim Aufbau unseres eigenen Outreach-Tools auf die harte Tour gelernt: Unser erster Ansatz kettete vier Schritte aneinander (planen, extrahieren, entwerfen, überarbeiten), und das kostete mehr pro E-Mail als die Single-Call-Version, die wir stattdessen ausgeliefert haben – bei schlechteren Texten. Ein Anbieter sollte Ihnen dieselbe Art von Vorher/Nachher-Begründung für seine eigene Architektur liefern können, anstatt standardmäßig auf mehr Agenten zu setzen, weil „Agent" besser klingt als „Skript". Lesen Sie sich den Kompromiss in KI-Agenten vs. Workflows durch, bevor Sie das erste Gespräch führen, damit Sie nachhaken können, wenn die Antwort vage bleibt.

2. Können Sie mir die einfachste Version zeigen, die funktionieren würde? In unserem eigenen Outreach-Tooling scrapen wir die Website jedes Interessenten mit einer selbst gehosteten Firecrawl-Instanz und einem lokalen Modell und entwerfen die E-Mail dann in einem einzigen Aufruf, der gleichzeitig die relevanten Fakten extrahiert und den Pitch schreibt. Wir haben zuerst eine mehrstufige Kette ausprobiert – planen, dann extrahieren, dann entwerfen, dann überarbeiten – und das kostete mehr pro E-Mail und produzierte schlechtere Texte, weil jeder Schritt seine eigene Möglichkeit einführte, vom Ausgangsmaterial abzuweichen. Wenn die Standardantwort eines Anbieters auf jedes Problem „mehr Agenten, mehr Schritte" lautet, ist das ein Signal dafür, dass er auf abrechenbare Komplexität optimiert – nicht auf Ihr Ergebnis. Vergleichen Sie dazu Single-Call vs. Agent-Ketten.

3. Auf welche Tools und Daten hat der Agent Zugriff, und warum? Jedes Tool, das der Agent aufrufen kann, ist ein potenzieller Schadenbereich. Ein Support-Agent, der Rückerstattungen ausstellen kann, braucht deutlich engere Leitplanken als einer, der nur einen Entwurf zur menschlichen Freigabe erstellen kann. Bitten Sie den Anbieter, das Berechtigungsmodell zu erläutern – nicht nur die Featureliste.

Qualität und Evaluierung

4. Wie messen Sie, ob der Agent tatsächlich funktioniert? „Wir testen vor dem Launch" ist keine Antwort. Sie wollen ein reproduzierbares Eval-Set: eine feste Sammlung echter (oder realistischer) Eingaben, die der Anbieter gegen den Agenten laufen lässt, mit Bestehen/Nichtbestehen-Kriterien, auf die Sie sich gemeinsam einigen. Ohne das vertrauen Sie auf ein Bauchgefühl – und das hält nicht stand, wenn der Modellanbieter ein stilles Update einspielt. Dies sollte ein Vertragspunkt sein, keine mündliche Zusage, wie in Evals in KI-Anbieterverträgen beschrieben.

5. Was passiert, wenn der Agent zuversichtlich und falsch liegt? Jedes LLM-basierte System produziert manchmal zuversichtliche, flüssige, falsche Antworten. Fragen Sie konkret, wie das Design des Anbieters dies auffängt – ob das ein Konfidenz-Schwellenwert ist, der an einen Menschen weiterleitet, ein zweites Modell, das das erste überprüft, oder fest kodierte Leitplanken für risikoreiche Aktionen. Wenn die Antwort lautet „das Modell ist ziemlich genau", fragen Sie weiter.

6. Kann ich es absichtlich scheitern sehen? Bitten Sie den Anbieter, drei Eingaben Ihrer Wahl live und spontan auszuführen – darunter mindestens eine, die abgelehnt oder eskaliert werden sollte, anstatt beantwortet zu werden. Das dauert zehn Minuten und sagt Ihnen mehr als eine Woche Angebote lesen.

Kosten und Eigentümerschaft

7. Was sind die Stückkosten pro Interaktion, und wie skalieren sie? Token-Kosten, Tool-Aufrufe und etwaige Drittanbieter-API-Gebühren (Sprache-zu-Text, Suche, Embeddings) sollten sich zu einer Zahl pro Gespräch oder Aufgabe aufaddieren, aufgeschlüsselt nach Schritt – nicht nur als gemischter Durchschnitt. Genau diese Aufschlüsselung hat das Problem in unserem eigenen Outreach-Tool sichtbar gemacht: Als wir die Kette Schritt für Schritt bepreist haben, wurden die zusätzlichen Plan/Extrahieren/Überarbeiten-Schritte sichtbar teurer, ohne die Qualität zu verbessern – was uns zurück zum Single-Call gebracht hat. Ein Anbieter, der Ihnen diese schrittweise Aufschlüsselung nicht liefern kann, hat sein eigenes System schlicht nicht einem Belastungstest unterzogen.

8. Wem gehören Code, Prompts und Evals nach Ende des Engagements? Das sollte im Vertrag explizit geregelt sein. Wenn der Anbieter die Prompts, das Eval-Set oder die feinabgestimmten Gewichte behält, sind Sie darauf angewiesen, für jede zukünftige Änderung zu zahlen – egal wie sich die Beziehung entwickelt.

9. Wie sieht Monat zwei aus, nach dem Launch? Modelle werden aktualisiert, Randfälle tauchen auf, und Prompts geraten aus dem Takt mit Ihrem Produkt. Fragen Sie, was die laufende Wartung kostet, wer dafür zuständig ist und was inbegriffen ist gegenüber was separat abgerechnet wird. Wir haben eine vollständige Aufschlüsselung in was KI-Agenten-Wartung wirklich kostet geschrieben, wenn Sie die Details vor den Verhandlungen kennen möchten.

10. Festpreis oder Zeit-und-Material – und warum für dieses Projekt? Keines ist universell sicherer. Festpreis funktioniert, wenn die Aufgabe klar definiert ist und die Fehlermodi bekannt sind. Zeit-und-Material passt besser, wenn Sie noch herausfinden, was „funktionierend" bedeutet. Ein Anbieter, der unabhängig von der Projektform auf ein Modell besteht, optimiert sein eigenes Risiko – nicht Ihres. Mehr zum Kompromiss in Festpreis vs. Zeit-und-Material.

Sicherheit und Datenverarbeitung

11. Wohin gehen Kundendaten, und wer kann sie einsehen? Wenn der Agent eine Drittanbieter-Modell-API aufruft, fragen Sie genau, was übermittelt wird, ob es für das Training verwendet wird und wo es protokolliert wird. Das ist besonders wichtig bei allem, was Gesundheitsdaten, Finanzdaten oder personenbezogene Daten berührt. Gehen Sie die vollständige Liste in der KI-Agenten-Sicherheitscheckliste durch.

12. Was ist der Rollback-Plan, wenn etwas im Produktivbetrieb schiefläuft? Ein Kill-Switch, eine Möglichkeit, alles an einen Menschen weiterzuleiten, eine versionierte Prompt-Historie, zu der Sie zurückkehren können. Wenn der Anbieter darüber nicht nachgedacht hat, werden Sie derjenige sein, der das während eines Vorfalls improvisiert.

Das Angebot selbst lesen

Achten Sie auf dieselben Warnsignale, die in jedem Softwareprojekt auftauchen: vager Scope, keine Angabe dazu, wer was testet, Zeitpläne, die keine Iteration berücksichtigen. KI-Agenten-Projekte verstärken diese Risiken, weil die Ausgabe probabilistisch ist – Unklarheiten im Vertrag werden zu Unklarheiten im Produktivverhalten.

Drei Angebote reichen in der Regel aus, um Architekturentscheidungen und Preisphilosophie zu vergleichen, ohne die Beschaffung zu einem Halbtagsjob zu machen. Stellen Sie jedem Anbieter dieselben zwölf Fragen, und schenken Sie dem Anbieter mehr Aufmerksamkeit, der „es kommt darauf an" sagt und erklärt warum – nicht dem mit dem glattesten Deck.

Wenn Sie Anbieter für einen KI-Agenten-Aufbau evaluieren und eine zweite Meinung zu einem Angebot möchten, sprechen Sie uns an.