Definition
Eine Technik, die ein KI-Modell mit den Dokumenten des Unternehmens verbindet: Die KI ruft vor der Antwort die relevanten Passagen ab und gibt die Quellen an.
RAG (Retrieval-Augmented Generation) löst die größte Schwäche von LLMs: Sie kennen Ihre internen Daten nicht. Das Prinzip: Ihre Dokumente (Verträge, Prozesse, Wikis, E-Mails) werden in einer Vektordatenbank indexiert; zu jeder Frage ruft das System die relevantesten Passagen ab und übergibt sie dem Modell, das mit Quellenangaben antwortet.
RAG reduziert Halluzinationen deutlich und macht KI im Unternehmen wirklich nützlich. Worauf es bei der Souveränität ankommt: Der Index enthält eine verdichtete Kopie Ihrer sensibelsten Dokumente, er muss daher innerhalb Ihres eigenen Rahmens gehostet werden, nicht in der Cloud eines Dritten.
Eine Steuer- und Buchhaltungskanzlei verbindet ihren Assistenten mit ihren 4.000 Mandantenakten. Ein Mitarbeiter fragt nach dem Bilanzstichtag eines Unternehmens: Der Assistent findet die Antwort in der richtigen Akte und zeigt das Quelldokument an.
Sobald die Antworten aus Ihren eigenen Dokumenten stammen müssen: interne Verfahren, Verträge, Wissensdatenbank, Kundenhistorie.
Schickt RAG meine Dokumente nach außen?
Nein, sofern es innerhalb Ihrer eigenen Umgebung installiert ist. Die Dokumente und ihr Index bleiben auf Ihren Servern oder bei einem souveränen Hoster, und das Modell läuft am selben Ort.
Alle KI-Modelle, auf Ihrer Infrastruktur bereitgestellt, mit Ihren Dokumenten verbunden.