RAG erklärt für Gründer

Wenn Sie ein KI-Feature wollen, das Fragen über Ihre Daten beantwortet – Ihre Dokumentation, Ihr Produkt, Ihre Wissensdatenbank –, werden Sie zwei Optionen hören: ein Modell fine-tunen oder RAG einsetzen. Für fast jeden Gründer ist RAG die richtige erste Antwort. Zu verstehen, warum, erspart Ihnen viel Geld und Ärger.

Was RAG wirklich ist

Retrieval-augmented Generation ist einfacher, als das Akronym vermuten lässt. Anstatt darauf zu hoffen, dass das Modell Ihre Informationen bereits kennt, holen Sie die relevanten Teile Ihres Inhalts zum Zeitpunkt der Frage und übergeben sie dem Modell als Kontext. Das Modell antwortet dann auf Basis dessen, was Sie ihm gegeben haben.

Der Ablauf besteht aus drei Schritten:

1. Retrieve – die für die Frage des Nutzers relevantesten Abschnitte Ihres Inhalts finden.
2. Augment – diese Abschnitte zusammen mit der Frage in den Prompt einfügen.
3. Generate – das Modell antwortet, verankert im abgerufenen Material.

Das Modell erinnert sich nicht an Ihre Daten; es liest sie jedes Mal neu – wie eine Open-Book-Prüfung.

Warum RAG in den meisten Fällen das Fine-Tuning schlägt

Fine-Tuning bäckt Wissen in die Gewichte des Modells ein. Das klingt verlockend, bis Sie auf die praktischen Probleme stoßen: Es ist teuer, langsam zu aktualisieren, und es lehrt Stil weitaus besser als Fakten. Sobald sich Ihre Inhalte ändern – und das tun sie immer –, müssten Sie neu trainieren.

RAG umgeht das alles:

• Standardmäßig aktuell. Aktualisieren Sie ein Dokument, und die nächste Antwort spiegelt es wider – kein Retraining.
• Günstiger. Keine Trainingsläufe; Sie zahlen für Retrieval und einen Inference-Aufruf.
• Belegbar. Da Antworten aus konkreten Abschnitten stammen, können Sie Quellen ausweisen und Vertrauen aufbauen.
• Weniger Halluzinationen. Das Verankern des Modells in echtem Text reduziert erfundene Antworten deutlich.

Greifen Sie auf Fine-Tuning zurück, wenn Sie ändern möchten, wie sich das Modell verhält – Tonalität, Format, eine spezifische Fähigkeit. Setzen Sie RAG ein, wenn es das wissen soll, was Ihr Unternehmen weiß.

Wie das Retrieval funktioniert

Um relevante Abschnitte zu finden, wandeln Sie Text in Embeddings um – numerische Vektoren, die Bedeutung erfassen – und speichern sie. Zur Fragezeit betten Sie die Anfrage ein und suchen die ähnlichsten gespeicherten Vektoren. Sie brauchen keine aufwändige Infrastruktur für den Start: pgvector, eine Extension für PostgreSQL (auch verfügbar in Supabase), übernimmt die Ähnlichkeitssuche in der Datenbank, die Sie bereits betreiben. Eine dedizierte Vektordatenbank lohnt sich erst, wenn die Skalierung es erfordert.

RAG in der Praxis richtig umsetzen

Ein einfacher RAG-Prototyp funktioniert; ein zuverlässiges RAG-Feature erfordert Sorgfalt:

• Durchdacht chunken. Zu groß, und Sie begraben die Antwort; zu klein, und Sie verlieren den Kontext. Chunken Sie nach semantischen Grenzen, nicht nach beliebigen Zeichenzahlen.
• Genug abrufen, dann re-ranken. Ziehen Sie eine Handvoll Kandidaten und ordnen Sie sie so, dass der beste Kontext an erster Stelle steht.
• „Keine Antwort" behandeln. Wenn nichts Relevantes gefunden wird, sollte das Modell das sagen – und nicht improvisieren.
• Kontinuierlich evaluieren. Pflegen Sie einen Satz echter Fragen mit bekannten Antworten und testen Sie die Retrieval-Qualität, während Ihre Inhalte wachsen.

Der häufigste Fehler liegt nicht beim Modell, sondern darin, dass das Retrieval die falschen Abschnitte liefert. Investieren Sie Ihren Aufwand dort.

Wenn Sie ein Feature bauen, das Fragen über Ihre eigenen Inhalte beantwortet – präzise, belastbar und kostengünstig –, sprechen Sie mit uns.