Was ist RAG (Retrieval-Augmented Generation)?
Ein Sprachmodell wie ChatGPT weiß nur, was in seinen Trainingsdaten stand. Ihre Angebote, Wartungsprotokolle und Rahmenverträge gehören nicht dazu. Fragt man es trotzdem danach, rät es und formuliert die Vermutung so überzeugend, dass sie wie ein Fakt klingt.
RAG löst das mit einem Zwischenschritt. Bevor das Modell antwortet, sucht ein Suchsystem in Ihrem Dokumentenbestand die Textstellen heraus, die zur Frage passen. Nur diese Stellen bekommt das Modell zu sehen, zusammen mit der Anweisung, sich daran zu halten. Die Antwort verweist auf die Dokumente, aus denen sie stammt.
Der Begriff „rag ki“ meint dasselbe: eine KI, die mit Retrieval-Augmented Generation arbeitet. Ebenso gebräuchlich sind die Bezeichnungen RAG-System, KI-Wissenssystem oder KI-Wissensdatenbank.
Wie funktioniert ein RAG-System?
Einmal vorab werden Ihre Dokumente aufbereitet: in Text umgewandelt (auch Scans), in sinnvolle Abschnitte zerlegt (Chunking) und als Vektoren in einer Vektordatenbank gespeichert. Ein Vektor bildet die Bedeutung eines Abschnitts in Zahlen ab. Deshalb findet das System passende Stellen auch dann, wenn die Frage andere Wörter verwendet. Danach läuft jede Anfrage in vier Schritten:
- Prompt: Eine Mitarbeiterin fragt zum Beispiel: „Welche Gewährleistungsfrist haben wir mit Kunde X für die Steuerungstechnik vereinbart?“
- Retrieval: Das System sucht in den freigegebenen Dokumenten nach passenden Stellen, nach Bedeutung und nach exakten Begriffen wie Vertragsnummern.
- Context Augmentation: Die besten Treffer werden zusammen mit der Frage an das Sprachmodell übergeben.
- Generation: Das Modell formuliert die Antwort aus diesen Stellen und nennt die Quelle, etwa Vertrag, Abschnitt und Datum.
Findet das System keine passende Stelle, soll es genau das sagen, statt eine Antwort zu erfinden. Dieses Verhalten wird vor dem Start mit echten Fragen getestet.
Wie die einzelnen Bausteine technisch zusammenspielen, erklärt unser Ratgeber KI-Wissensmanagement ausführlicher.
RAG vs. Fine-Tuning: warum RAG meist die bessere Wahl ist
Beim Fine-Tuning wird ein Sprachmodell mit eigenen Daten nachtrainiert. Das klingt nach dem direkteren Weg, hat im Unternehmensalltag aber Nachteile:
| Merkmal | RAG | Fine-Tuning |
|---|---|---|
| Neues Dokument | ist nach dem Einlesen sofort abfragbar | erfordert neues Training |
| Quellenangabe | ja, jede Antwort verweist auf die Fundstelle | nein, das Wissen steckt im Modell |
| Zugriffsrechte | pro Dokument und Rolle steuerbar | kaum steuerbar, das Modell kennt alles |
| Daten löschen | Dokument entfernen, fertig | Modell muss neu trainiert werden |
| Stärke | Fakten und aktuelles Wissen | Tonfall, Format, Fachsprache |
Für Wissensfragen ist RAG deshalb fast immer die bessere Grundlage. Fine-Tuning kann ergänzen, wenn ein Modell zum Beispiel einen bestimmten Berichtsstil einhalten soll.
Vorteile: weniger Halluzinationen, aktuelle Daten, Quellenangaben
Weniger Halluzinationen: Das Modell antwortet aus Ihren Dokumenten statt aus Allgemeinwissen. Das Risiko erfundener Antworten sinkt deutlich. Ganz ausschließen lässt es sich nicht, deshalb gehört die Quelle zu jeder Antwort.
Aktuelle Daten: Ein neues Angebot oder eine geänderte Richtlinie ist abfragbar, sobald sie eingelesen ist. Es gibt keinen Wissensstand, der mit dem Trainingsdatum endet.
Quellenangaben: Wer eine Antwort bekommt, sieht, woher sie stammt, und kann im Original nachlesen. Das schafft Vertrauen und macht Fehler sichtbar, bevor sie Folgen haben.
Rechte bleiben erhalten: Wer ein Dokument bisher nicht öffnen durfte, bekommt auch über das Wissenssystem keine Antwort daraus.
DSGVO-konforme Umsetzung: Firmendaten sicher einbinden
Ein Wissenssystem ist nur so vertrauenswürdig wie seine Datenhaltung. Bei der Planung klären wir:
- Sprachmodell: Das Modell sieht pro Frage nur die wenigen passenden Textstellen, nie den Gesamtbestand. Ihre Daten werden nicht zum Training fremder Modelle genutzt.
- Berechtigungen: Wir legen fest, wie Rollen und Rechte aus Ihren bestehenden Systemen ins Wissenssystem übernommen werden.
- Löschung: Wird ein Dokument entfernt, verschwindet es auch aus dem Suchindex.
- Vertrag: Wir schließen mit Ihnen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO.
Wer auch das Sprachmodell selbst unter eigener Kontrolle betreiben will, kombiniert RAG mit einem Corporate LLM.
Anwendungsfälle für größere Unternehmen (Support, Vertrieb, interne Wissensdatenbank)
Support und Service: Servicetechniker und Support-Teams fragen einen RAG-Chatbot im Intranet oder im Ticketsystem nach Fehlercodes, Wartungsintervallen oder früheren Lösungen für dasselbe Problem. Die Antwort kommt aus Handbüchern und alten Serviceberichten.
Vertrieb und Angebote: Wer ein Angebot schreibt, findet ähnliche Vorprojekte, frühere Preispositionen und vereinbarte Sonderkonditionen, ohne drei Kollegen zu fragen.
Ausschreibungen: Das System prüft Anforderungen aus einer Ausschreibung gegen Produktdokumentation und Zertifikate und zeigt, welche Punkte belegt sind und welche nicht.
Interne Wissensdatenbank: Richtlinien, Prozessbeschreibungen und Projektwissen sind per Frage abrufbar. Neue Mitarbeitende finden sich schneller zurecht, erfahrene Kollegen werden seltener unterbrochen.
Verträge und Recht: Klauseln, Fristen und Haftungsregeln lassen sich über viele Verträge hinweg suchen und vergleichen.
Ablauf einer RAG-Implementierung
- Erstgespräch (30 Minuten per Video, kostenlos): Welche Fragen kosten heute am meisten Zeit, und wo liegen die Antworten?
- Bestandsaufnahme: Welche Dokumente, welche Systeme, welche Rechte? Wir klären auch, welche Bestände veraltet sind und nicht hineingehören.
- Testfragen festlegen: Gemeinsam mit Ihren Fachleuten entsteht eine Liste echter Fragen mit richtigen Antworten. Daran wird das System gemessen.
- Pilot: Ein Wissensbereich geht mit einer Nutzergruppe in Betrieb.
- Ausbau und Betreuung: Weitere Bereiche und Datenquellen kommen dazu. Wir beobachten die Antwortqualität und passen das System an.
Soll das gefundene Wissen direkt in Abläufe fließen, etwa in Angebote oder Tickets, schließt die KI-Prozessautomatisierung an.