RAG legt dem Modell die richtige Seite auf den Tisch.
Bei der RAG-Methode sucht ein Baustein passende Abschnitte aus deinen Firmendaten und legt sie der Frage bei. Was das leistet und wo es aufhört.
Oliver Leifken
InhaltWie funktioniert RAG im Alltag?Worin unterscheidet sich RAG von einem Nachtraining?Wo stößt die Methode an ihre Grenzen?Was heißt das für deinen Betrieb?Womit fängst du an?Häufige FragenQuellen
Die RAG-Methode, englisch Retrieval Augmented Generation, ist die Verbindung eines Sprachmodells mit einer eigenen Datenbasis1. Die Datenschutzkonferenz hat dazu im Oktober 2025 eine eigene Orientierungshilfe veröffentlicht1. Vor der Antwort sucht ein Baustein die passenden Abschnitte aus deinen Firmendaten heraus und legt sie der Frage bei, ohne dass das Modell selbst verändert wird1.
Wenn in deinem Betrieb jemand sagt, wir müssten die KI mit unseren Daten trainieren, ist fast immer diese Methode gemeint. Der Unterschied zwischen beidem entscheidet über Aufwand, Kosten und Nachvollziehbarkeit.
Wie funktioniert RAG im Alltag?
Über einen zusätzlichen Suchschritt. Die Datenschutzkonferenz beschreibt die Methode so, dass ein Sprachmodell mit einer Datenbasis kombiniert wird, um Informationen zugänglich zu machen, die nur dem Verantwortlichen vorliegen und nicht Teil der Trainingsdaten waren1. Anthropic beschreibt dasselbe Verfahren als Verbindung von Informationssuche und Texterzeugung2.
Stell dir einen neuen Mitarbeiter vor, der hervorragend formulieren kann, aber deinen Betrieb nicht kennt. Du hast zwei Möglichkeiten. Entweder du schickst ihn ein halbes Jahr in eine Schulung, damit er alles auswendig lernt. Oder du legst ihm bei jeder Frage die passende Seite aus dem Ordner auf den Tisch.
Die zweite Variante ist RAG. Sie ist billiger, schneller aktualisiert, und hinterher lässt sich nachsehen, aus welcher Seite die Antwort stammt. Genau diese Rückverfolgbarkeit ist der eigentliche Gewinn, nicht die Geschwindigkeit.
Kernaussage
Bei RAG bleibt das Modell unverändert, es bekommt die passenden Abschnitte nur mitgeliefert1. Die Datenschutzkonferenz hält in ihrer Orientierungshilfe Version 1.0 vom Oktober 2025 fest, dass antrainiertes Wissen dadurch nicht verändert werden kann, anders als bei einem Nachtraining1.
Worin unterscheidet sich RAG von einem Nachtraining?
Im Eingriff ins Modell. Die Datenschutzkonferenz schreibt, ein RAG-System ändere insbesondere nichts daran, wie ein Modell trainiert wurde, und ein rechtswidrig trainiertes Modell bleibe auch in einem RAG-System rechtswidrig trainiert1. Der Unterbau bleibt also, wie er ist. Das ist der ganze Unterschied.
Für die Praxis zählt vor allem der Aufwand. Ein Nachtraining muss bei jeder inhaltlichen Änderung wiederholt werden und lässt sich hinterher kaum prüfen. Eine Datenbasis tauschst du aus, indem du ein Dokument ersetzt. Das ist der Unterschied zwischen einem Vorhaben über Monate und einem über Wochen.
Die Bausteine dieser Suche haben feste Namen. Ein Chunk ist ein Textabschnitt mit vordefinierter Maximallänge, ein Embedding die Abbildungsvorschrift in einen Vektorraum1. Die erweiterte Anfrage besteht aus dem Eingabeprompt, also der Anweisung an das System, plus den gefundenen Abschnitten1.
Wo stößt die Methode an ihre Grenzen?
An langen Zusammenhängen, und das ist nur die erste von drei belegten Grenzen. Die Datenschutzkonferenz nennt das Beispiel komplexer Wenn-Dann-Gedankenketten über lange Textpassagen: Sie liegen unter Umständen nicht im selben Abschnitt und werden der erweiterten Anfrage deshalb nur unvollständig hinzugefügt1. Verträge und Regelwerke sind genau solche Texte.
Die zweite Grenze ist die Erwartung an die Richtigkeit. Die Orientierungshilfe spricht von möglichen positiven Effekten auf Richtigkeit und Nachvollziehbarkeit der Ausgaben, nicht von Sicherheit1. Wer verspricht, RAG verhindere falsche Antworten, geht über die Quelle hinaus.
Die dritte Grenze ist der Zuschnitt der Orientierungshilfe selbst. Sie behandelt ausdrücklich nur RAG-Systeme mit Embeddings und Vektordatenbanken, andere technische Umsetzungen bleiben außen vor1. Das gilt es vorab zu klären.
Frag deinen Anbieter also, ob er mit Embeddings und einem Vektorspeicher arbeitet. Lass dir dazu sagen, wo das Einbettungsmodell läuft und wo der Vektorspeicher liegt. Erst mit diesen zwei Antworten lässt sich beurteilen, ob die Orientierungshilfe greift.
Was heißt das für deinen Betrieb?
Die Qualität hängt an deinen Dokumenten, nicht am Modell. Wenn im Ordner drei Fassungen derselben Preisliste liegen, liefert auch das beste Modell die falsche. Die eigentliche Vorarbeit ist Aufräumen, und daran scheitern die meisten Vorhaben, nicht an der Technik. Drei Schritte helfen sofort.
- Räume vor dem Einlesen auf. Eine gültige Fassung je Dokument, ein Datum darauf, und alles Veraltete kommt in ein anderes Verzeichnis.
- Kläre vorher, welche personenbezogenen Daten in den Unterlagen stehen. Das gehört ins Verarbeitungsverzeichnis, bevor der erste Ordner eingelesen wird1.
- Fang mit einem abgegrenzten Bestand an, etwa den technischen Datenblättern einer Produktgruppe. Ein Ordner mit allem darin ist kein Anfang, sondern ein Endzustand.
Welche Einträge dabei fällig werden, steht im Beitrag Verarbeitungsverzeichnis für KI nach Artikel 30. Beim Zuschnitt des ersten Bestands unterstütze ich in meiner Beratung und Umsetzung.
Meine Empfehlung aus Erfahrung
Meine Einschätzung: Ich würde kein RAG-Vorhaben starten, bevor jemand im Haus benennen kann, welches Dokument im Zweifel gilt. Diese Frage klingt banal, und sie hält in der Praxis fast jeden Betrieb zwei Wochen auf. Danach geht es schnell. Ich fange am liebsten mit einem Bestand an, den eine einzelne Abteilung täglich braucht und selbst pflegt, weil dann auch jemand merkt, wenn etwas fehlt.
Womit fängst du an?
Such dir die Frage, die bei euch am häufigsten gestellt und am langsamsten beantwortet wird. Meistens ist das eine Frage nach einer technischen Angabe, einer Frist oder einem Preis. Notiere, in welchem Dokument die Antwort steht und wer dieses Dokument pflegt.
Wenn diese drei Angaben zusammenkommen, hast du den ersten Anwendungsfall. Wenn nicht, ist die Vorarbeit noch nicht fertig, und kein Anbieter der Welt kann das für dich lösen.
Häufige Fragen
Heißt RAG, dass wir die KI mit unseren Daten trainieren?
Nein, und das ist der wichtigste Unterschied. Die Datenschutzkonferenz schreibt, antrainiertes Wissen des Modells könne dadurch nicht verändert werden, anders als bei einem Nachtraining[1]. Deine Dokumente werden gesucht und der Frage beigelegt, das Modell selbst bleibt unverändert.
Verhindert RAG, dass die KI etwas erfindet?
Nein. Die Datenschutzkonferenz spricht ausdrücklich nur von möglichen positiven Effekten auf Richtigkeit und Nachvollziehbarkeit der Ausgaben[1]. Das ist etwas anderes als eine Garantie. Ergebnisse müssen weiterhin geprüft werden, der Vorteil liegt darin, dass die Quelle sichtbar wird.
Was ist ein Chunk und was ein Embedding?
Der Chunk ist nach dem Glossar der Datenschutzkonferenz ein Textabschnitt mit vordefinierter Maximallänge[1]. Das Embedding beschreibt die mathematische Abbildungsvorschrift, mit der eine Textsequenz in einen Vektorraum abgebildet wird[1]. Beides sind Bausteine der Suche, nicht des Modells.
Gilt der Datenschutz auch, wenn die Daten nur beigelegt werden?
Ja. Wenn in den Referenzdokumenten personenbezogene Daten stehen, werden sie verarbeitet. Die Datenschutzkonferenz hat dafür eine eigene Orientierungshilfe veröffentlicht[1] und eine weitere zu technischen und organisatorischen Maßnahmen[3]. Das gehört ins Verarbeitungsverzeichnis, bevor der erste Ordner eingelesen wird.
Quellen
- Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0 (2025), abgerufen am 11. September 2026
- Anthropic: Glossary, Abschnitt RAG (Retrieval augmented generation), abgerufen am 11. September 2026
- Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder: Orientierungshilfe zu technischen und organisatorischen Maßnahmen bei Entwicklung und Betrieb von KI-Systemen, Version 1.0 (2025), abgerufen am 11. September 2026
Stand 5. August 2026 · geprüft am 12. September 2026
Oliver LeifkenZertifizierter KI-Strategieberater. Über zehn Jahre Projekte in der Banken-IT, heute Beratung und Umsetzung für den Mittelstand.Über mich
Weiterlesen
Drei Beiträge, die dazu passen
Und bei dir?
Bevor Dokumente eingelesen werden, lohnt ein Blick auf den Stand.
Daten und Ablage sind zwei von sieben Bereichen im Reifegradmodell. Der Check zeigt dir, ob eure Unterlagen dafür bereit sind.
Jetzt deinen KI-Reifegrad prüfen Kostenfrei, ohne Termin. Ergebnis sofort, auf Wunsch per E-Mail.