AI
KI-Agent-Latenz: Was Sie messen sollten und warum
Die durchschnittliche Antwortzeit verdeckt die KI-Agent-Fehler, die wirklich zählen. Erfahren Sie, welche Latenz-Metriken Gründer und CTOs verfolgen und von Anbietern einfordern sollten.
TL;DR
Die durchschnittliche Antwortzeit verbirgt die langsamen, kostspieligen Anfragen, die Ihrem Produkt tatsächlich schaden. Verfolgen Sie p95/p99-Latenz pro Schritt – nicht pro Anfrage – und fordern Sie dasselbe von Anbietern, bevor Sie irgendetwas unterschreiben.

Die durchschnittliche Antwortzeit ist die falsche Kennzahl für KI-Agenten, weil sie genau die Anfragen verbirgt, die das Nutzervertrauen zerstören: den langsamen Tool-Aufruf, den wiederholten LLM-Schritt, die Anfrage, die das Timeout überschritten hat und lautlos zurückgefallen ist. Verfolgen Sie stattdessen p95- und p99-Latenz pro Schritt – und fordern Sie dasselbe von jedem Anbieter, bevor Sie einen Vertrag unterzeichnen.
Das Problem mit dem Durchschnitt
Angenommen, Ihr Agent antwortet im Durchschnitt in 800 ms. Das klingt akzeptabel. Doch wenn 90 % der Anfragen in 400 ms abgeschlossen werden und die verbleibenden 10 % sechs Sekunden benötigen, weil sie auf einen Wiederholungsversuch, ein Rate Limit oder eine langsame nachgelagerte API stoßen, dann begraben die Durchschnittswerte genau den Teil der Verteilung, den Ihre Nutzer tatsächlich spüren. Niemand erlebt den Durchschnitt. Jeder Nutzer erlebt seine eigene Anfrage – und für jeden zehnten Nutzer ist diese Anfrage 15-mal langsamer, als Ihr Dashboard vermuten lässt.
Das ist keine neue Erkenntnis. Deshalb behandelt das Google SRE-Buch Perzentil-Latenz als Standard für das Monitoring verteilter Systeme – nicht den Mittelwert. KI-Agenten verschärfen das Problem gegenüber typischen Web-Services, weil der Tail breiter ist: LLM-Inferenzzeiten variieren stark, Tool-Aufrufe können hängen, und Agenten verketten häufig mehrere Aufrufe, bei denen ein langsamer Schritt die gesamte Anfrage blockiert.
Woher der Tail in Agentensystemen kommt
Ein einzelner, klar abgegrenzter LLM-Aufruf hat eine Hauptquelle der Varianz: Inferenzzeit plus Netzwerk. Ein Agent, der Schritte verkettet, multipliziert diese Varianz bei jedem Übergang. Jeder Schritt trägt zudem seine eigene Fehler- und Wiederholungswahrscheinlichkeit. Wiederholungsversuche addieren nicht nur Latenz – sie tun es ungleichmäßig. Eine Anfrage, die im dritten Schritt einen Wiederholungsversuch benötigt, kann doppelt so lange dauern wie eine, die reibungslos durchläuft. Und genau diese Ungleichmäßigkeit ist es, die Durchschnittswerte verwischen.
Ein konkretes Beispiel: ein Outreach-Tool, das die Website eines Interessenten analysiert und eine individuell zugeschnittene E-Mail entwirft. Eine frühe dreistufige Kette extrahierte Fakten von der Seite, entwarf die E-Mail und verfeinerte sie anschließend. Der Extraktionsschritt war von Drittanbieter-Servern abhängig. Manche Websites luden schnell, andere waren langsam oder überladen mit Tracking-Skripten – und wie lange das Laden und Parsen dieser Seite dauerte, bestimmte die Mindestdauer für alles Folgende, da der Entwurf erst beginnen konnte, wenn die Extraktion abgeschlossen war. Der Durchschnitt sah gut aus, weil die meisten Seiten schnell sind. Der Tail war problematisch, weil langsame Seiten nicht selten waren – nur ungleichmäßig verteilt –, und jede einzelne einen vollständigen Stau erzeugte. Extraktion und Entwurf in einen einzigen, gut konzipierten Aufruf zusammenzufassen machte keine Seite schneller, entfernte aber die sequenzielle Abhängigkeit und verringerte die Fehleranfälligkeit. Wenn Sie für Ihr eigenes Produkt zwischen einer Agentenkette und einem einzelnen Aufruf abwägen, finden Sie eine detaillierte Gegenüberstellung unter Single-Call vs. Agent Chains.
Was Sie stattdessen messen sollten
Für jeden KI-Agenten – ob Sie ihn selbst entwickeln oder das Angebot eines Anbieters evaluieren – fragen Sie nach diesen Werten, aufgeschlüsselt nach Schritt und nicht nur für die Gesamtanfrage:
- p50 (Median): Wie sich eine typische Anfrage anfühlt.
- p95: Was einer von zwanzig Nutzern erlebt. Hier beginnen in der Regel die echten Produktbeschwerden.
- p99: Ihr Worst-Case-Tail. Für einen Support-Bot, der täglich tausende Gespräche führt, ist p99 kein Randfall. Er steht täglich für Dutzende echter Gespräche.
- Time to First Token vs. Gesamtdauer: Wenn der Agent Ausgaben streamt, tolerieren Nutzer eine langsamere Gesamtzeit deutlich besser als einen langsamen Start. Messen Sie beides getrennt.
- Wiederholungsrate pro Schritt: Eine Wiederholungsrate von 2 % klingt gering, bis sie auf den einen Schritt angewendet wird, von dem jede Anfrage abhängt.
OpenTelemetry existiert genau dafür, damit Sie die Latenz durch jeden Schritt eines verteilten Aufrufs nachverfolgen können – einschließlich Agentenketten –, anstatt nur den aggregierten Gesamtwert zu sehen. Wenn Ihr aktueller Stack oder der eines Anbieters Ihnen keine schrittweisen Traces liefern kann, ist das selbst ein aussagekräftiger Hinweis darauf, wie viel operative Reife tatsächlich vorhanden ist.
Wie sich das in Anbietergesprächen zeigt
Latenz-Aussagen sind eine der einfachsten Stellen, an denen ein Anbieter-Pitch die Realität übertreiben kann. „Antworten unter einer Sekunde" ist fast immer eine Aussage über den Durchschnitt – und genau die Art von Zahl, die ernstes Tail-Verhalten verbergen kann. Die richtigen Nachfragen sind:
- Wie lauten Ihre p95- und p99-Werte unter realistischer gleichzeitiger Last – nicht bei einer einzelnen vorbereiteten Anfrage in einer Demo?
- Welcher Schritt in der Pipeline ist am langsamsten, und wie verändert sich das mit steigender Last?
- Was passiert, wenn ein nachgelagerter Aufruf langsam ist oder fehlschlägt? Degradiert der Agent kontrolliert oder hängt er sich auf?
Diese Fragen gehören in dasselbe Gespräch wie Preisgestaltung und Support-Konditionen. Die übrige Evaluation – einschließlich Fragen, die nichts mit Geschwindigkeit zu tun haben – finden Sie in der Checkliste zur Evaluation von KI-Agent-Anbietern.
Latenz und Kosten sind dasselbe Gespräch
Dieselbe Kette, die ein schlechtes p99 produziert, erzeugt in der Regel auch eine hohe Rechnung. Mehr Schritte bedeuten mehr Tokens, Wiederholungsversuche bedeuten, dieselbe Arbeit doppelt zu bezahlen, und zusätzliche Modellaufrufe bedeuten, für Koordinationsaufwand zu zahlen, der der Ausgabe nichts hinzufügt. Wenn Sie ohnehin die Latenz analysieren, prüfen Sie gleichzeitig die Kosten. Der Leitfaden zur LLM-Kostenoptimierung behandelt dieselbe Optimierungsübung aus der Kostenperspektive – und in der Praxis überschneiden sich die Maßnahmen: weniger, besser abgegrenzte Aufrufe gewinnen auf beiden Dimensionen.
Das praktische Fazit
Lassen Sie nicht zu, dass „es fühlt sich in der Demo schnell an" oder „durchschnittliche Antwortzeit: 800 ms" echte Messungen ersetzen. Bevor Sie einen Agenten in Produktion bringen – oder bevor Sie einem absegnen, den jemand anderes gebaut hat –, fordern Sie p95- und p99-Werte unter Last an, aufgeschlüsselt nach Schritt. Wenn niemand diese Zahlen liefern kann, sagt Ihnen das, wie viel Testen tatsächlich stattgefunden hat.
Wenn Sie einen KI-Agenten entwickeln und eine zweite Meinung zur Architektur wünschen, bevor Latenz zum Produktionsproblem wird, sprechen Sie uns an.
Häufig gestellte Fragen
Welche Latenz-Metrik sollte ich bei einem KI-Agent-Anbieter anfragen?
Fragen Sie nach p95- und p99-Antwortzeiten unter realer gleichzeitiger Last – nicht nach Durchschnittswerten aus einer vorbereiteten Demo. Der Durchschnitt verbirgt die langsamen Anfragen, die Nutzer frustrieren und das Vertrauen untergraben.
Warum zeigt mein KI-Agent-Dashboard gute Zahlen, während Nutzer sich dennoch beschweren?
Dashboards berichten typischerweise über serverseitige Verarbeitungszeit, gemittelt über alle Anfragen. Nutzer erleben den vollständigen Roundtrip – einschließlich Netzwerkzeit, Wiederholungsversuchen und dem langsamsten Schritt in der Kette –, was ein Durchschnittswert vollständig nivelliert.
Erhöht das Hinzufügen weiterer LLM-Aufrufe zu einem Agenten immer das Latenzrisiko?
Ja. Jeder sequenzielle Aufruf hat seine eigene Latenzverteilung und seine eigene Wahrscheinlichkeit für eine langsame oder fehlgeschlagene Antwort. Eine fünfstufige Kette potenziert diese Varianz auf eine Weise, die ein einzelner, klar abgegrenzter Aufruf nicht tut.
Wie viele Anfragen brauche ich, bevor p95/p99-Werte aussagekräftig sind?
Streben Sie mindestens einige hundert Anfragen im Messzeitraum an. Darunter schwanken Tail-Perzentile stark, und ein einzelner langsamer Ausreißer kann den Wert unbrauchbar machen.
So kann Pykero helfen
Leistungen passend zu diesem Artikel.
Sie planen etwas Ähnliches?
Pykero Agency entwirft und liefert produktionsreife Web-, Mobile-, SaaS- und KI-Produkte.
Sprechen Sie mit uns


