Retrieval Augmented Generation

Ein Sprachmodell weiß nur, was es im Training gesehen hat. Fragt man es nach dem Stand von heute oder nach dem Inhalt Ihres internen Handbuchs, muss es raten. Retrieval Augmented Generation, kurz RAG, löst das mit einem einfachen Gedanken: erst nachschlagen, dann antworten. Das System sucht passende Textstellen heraus und legt sie dem Modell zusammen mit der Frage vor.

Für Unternehmen hat das Verfahren zwei Gesichter. In der KI-Suche ist Ihre Website eine der Wissensquellen, aus denen nachgeschlagen wird. Im eigenen Haus ist RAG die gängigste Methode, einen KI-Assistenten mit Ihren Dokumenten arbeiten zu lassen.

Vom Forschungspapier zum Industriestandard

Im Mai 2020 veröffentlichte ein Team um Patrick Lewis von Facebook AI Research, dem University College London und der New York University das Paper, das dem Verfahren seinen Namen gab. Die Ausgangsfrage: Sprachmodelle speichern Wissen in ihren Parametern, können es aber nur ungenau abrufen, nicht belegen und nicht ohne neues Training aktualisieren. Die Lösung der Autoren war, das Modell mit einem durchsuchbaren Index zu koppeln, im Experiment mit der Wikipedia.

Bekannt wurde RAG erst mit ChatGPT. Unternehmen wollten Chatbots auf eigene Daten setzen, und RAG war der schnellste Weg dorthin. Die Google-Ads-Daten zeigen den Schub deutlich: In Deutschland wurde „retrieval augmented generation“ im Januar 2023 rund 40 Mal gesucht, im November 2023 bereits 3.710 Mal. Der Höchstwert lag im Juni 2024 bei 6.120 Suchen, 2026 pendelt die Nachfrage zwischen 2.900 und 4.900.

Inzwischen bestätigt auch Google offiziell, dass seine KI-Funktionen so arbeiten. Im Leitfaden zur Optimierung für generative KI beschreibt Google RAG, „auch als Fundierung bezeichnet“, als Technik, bei der die zentralen Ranking-Systeme relevante, aktuelle Seiten aus dem Suchindex abrufen, auf deren Grundlage die Antwort entsteht (Google Search Central: Website für generative KI-Funktionen optimieren).

Nachschlagen statt erinnern: das Prinzip

Ein RAG-System besteht aus zwei Teilen. Der Retriever sucht zur Frage die passendsten Textstellen aus einer Wissensbasis, häufig über Embeddings, die in einer Vektordatenbank liegen, oft ergänzt um klassische Stichwortsuche und eine zweite Sortierung per Reranking. Der Generator ist das Sprachmodell: Es bekommt Frage und Fundstellen in sein Kontextfenster und formuliert daraus die Antwort, im besten Fall mit Verweis auf die Quelle.

Der Vorteil liegt auf der Hand: Die Wissensbasis lässt sich jederzeit austauschen, ohne das Modell neu zu trainieren, und jede Aussage kann auf eine Fundstelle zeigen. Die Bindung der Antwort an diese Fundstellen heißt Grounding.

RAG in der KI-Suche: Ihre Website als Wissensbasis

Bei ChatGPT-Suche, Perplexity oder dem Google-KI-Modus ist das Web die Wissensbasis. Damit verschiebt sich die Frage, wie ein Unternehmen in KI-Antworten kommt. Entscheidend ist weniger, was das Modell irgendwann gelernt hat, als ob Ihre Seite im Moment der Anfrage gefunden und als passende Fundstelle ausgewählt wird.

Daraus folgt eine nüchterne Arbeitsteilung: Ohne Indexierung kein Abruf. Google nennt als Voraussetzung für KI-Übersichten und KI-Modus, dass eine Seite indexiert ist und mit Snippet angezeigt werden darf (Google Search Central: KI-Funktionen und deine Website). Bei ChatGPT hängt die Auffindbarkeit am Crawler OAI-SearchBot. Klassische SEO ist damit die Eintrittskarte; was darüber hinaus zählt, beschreibt der Beitrag Google AI Mode und AI Overviews: So wird Ihre Website zitiert.

RAG im eigenen Haus: wann es sich lohnt

Wer einen KI-Assistenten für Vertrieb, Service oder interne Fragen plant, landet fast immer bei der Frage, wie das Firmenwissen ins Modell kommt. Drei Wege stehen zur Wahl:

Ein Beispiel aus dem Kundenservice

Zur Veranschaulichung, kein echter Fall: Ein Maschinenhersteller gibt seinem Service-Team einen Assistenten, der auf Bedienungsanleitungen, Garantiebedingungen und Ersatzteillisten zugreift. Fragt ein Mitarbeiter nach der Gewährleistung auf Ersatzteile, findet der Retriever den passenden Abschnitt der Garantiebedingungen, und die Antwort nennt Frist und Fundstelle. Liegt im Archiv noch die Fassung von 2022, kann der Assistent genauso sicher die alte Frist nennen. Die eigentliche Arbeit steckt deshalb in der Dokumentenpflege, nicht in der Technik.