RAG (Retrieval-Augmented Generation)
RAG (Retrieval-Augmented Generation) ist ein Architekturmuster, das ein LLM zur Antwortzeit mit Inhalten aus externen Wissensquellen versorgt: Erst werden zur Anfrage passende Dokumente gesucht (Retrieval), dann erzeugt das Modell die Antwort auf dieser Grundlage (Generation).
Wie funktioniert RAG?
Ein RAG-System arbeitet in zwei Phasen. In der Vorbereitung wird die Wissensbasis aufbereitet: Dokumente werden in handhabbare Abschnitte zerlegt (Chunking) und so indexiert, dass sie sich inhaltlich durchsuchen lassen — meist über Vektor-Embeddings, die semantische Ähnlichkeit abbilden, oft kombiniert mit klassischer Volltextsuche.
Zur Antwortzeit läuft dann jede Anfrage durch drei Schritte:
- Retrieval: Zur Nutzerfrage werden die inhaltlich passendsten Abschnitte aus der Wissensbasis gesucht.
- Augmentation: Die gefundenen Abschnitte werden zusammen mit der Frage in die Eingabe an das LLM eingefügt.
- Generation: Das Modell formuliert die Antwort auf Grundlage der mitgelieferten Inhalte — und kann die verwendeten Quellen benennen.
Der entscheidende Effekt: Das Modell antwortet nicht mehr nur aus seinem Trainingswissen, sondern aus den aktuellen, kontrollierten Inhalten des Unternehmens.
Wann ist RAG sinnvoll?
RAG spielt seine Stärken aus, wenn das benötigte Wissen aktuell, unternehmensintern oder nachweispflichtig ist. Typische Gründe für RAG:
- Aktualität: Inhalte ändern sich laufend — die Wissensbasis wird einfach aktualisiert, ohne das Modell neu zu trainieren.
- Nachvollziehbarkeit: Antworten lassen sich mit Quellenangaben belegen, was Prüfung und Vertrauen erheblich erleichtert.
- Zugriffskontrolle: Wer welche Inhalte sehen darf, lässt sich auf Ebene der Wissensbasis steuern — das Modell bekommt nur, was der Anfragende sehen darf.
- Halluzinationsreduktion: Die Verankerung in mitgelieferten Dokumenten senkt das Risiko frei erfundener Aussagen spürbar — ersetzt aber keine Prüfung bei kritischen Aussagen.
RAG oder Fine-Tuning?
Die beiden Ansätze lösen unterschiedliche Probleme und werden oft verwechselt:
| RAG | Fine-Tuning | |
|---|---|---|
| Verändert | das verfügbare Wissen zur Antwortzeit | das Verhalten des Modells selbst |
| Geeignet für | Fakten, Dokumente, aktuelles Unternehmenswissen | Tonalität, Format, Fachsprache, Spezialaufgaben |
| Aktualisierung | Wissensbasis pflegen genügt | erneutes Training nötig |
| Quellenangabe | möglich, Antworten belegbar | nicht möglich, Wissen ist im Modell „verbacken" |
Als Faustregel gilt: Geht es um Wissen, ist RAG die erste Wahl. Geht es um Verhalten, ist Fine-Tuning (oder das Training von Adaptern) das passende Mittel. In der Praxis werden beide häufig kombiniert.
Grenzen von RAG
RAG ist kein Selbstläufer. Die Antwortqualität steht und fällt mit dem Retrieval: Werden die falschen Abschnitte gefunden — weil die Dokumente ungünstig zerlegt wurden, die Suche die Fachsprache nicht trifft oder die Wissensbasis veraltet ist —, erzeugt das Modell aus schlechtem Material eine dennoch flüssig klingende Antwort. Auch mehrdeutige oder über viele Dokumente verteilte Fragen bleiben anspruchsvoll. Und RAG lehrt das Modell keine neuen Fähigkeiten: Es liefert Inhalte, keine Kompetenz.
RAG in der Praxis: die Datenqualität entscheidet
In realen Projekten entfällt der größte Teil der Arbeit erfahrungsgemäß nicht auf das Modell, sondern auf die Wissensbasis: Inhalte sichten, Verantwortlichkeiten für ihre Pflege klären, Zugriffsrechte abbilden und das Retrieval an den tatsächlichen Fragen der Nutzer messen. Ein RAG-System, das auf einer ungepflegten Dokumentenablage aufsetzt, macht deren Widersprüche nur schneller sichtbar — die eigentliche Investition ist eine Wissensbasis, der man vertrauen kann.