Enterprise Search

RAG und KI-Wissenssuche testen: Ein Praxisplan für verlässliche Antworten

So prüfen Teams Quellenfund, Antworttreue, Berechtigungen und Prüfaufwand einer KI-gestützten Unternehmenssuche.

Von Hendrik Muth Veröffentlicht 09. November 2026 10 Minuten
Illustration von Dokumenten, Suche und menschlicher Prüfung einer KI-Antwort
Bild: KI-generiert mit OpenAI ImageGen; redaktionell ausgewählt und für die Website optimiert.

Was bei RAG tatsächlich geprüft werden muss

Retrieval-Augmented Generation, kurz RAG, verbindet die Suche nach passenden Informationen mit einer daraus erzeugten Antwort. Der Ablauf kann an verschiedenen Stellen scheitern: Ein Dokument fehlt im Index, die Suche findet die falsche Version oder die Antwort ergänzt eine Aussage, die in den Fundstellen nicht steht. Eine flüssige Antwort allein sagt deshalb wenig über die Zuverlässigkeit.

Trennen Sie im Test den Quellenfund von der Antwortqualität. Das erleichtert die Fehlersuche: Wenn die richtige Stelle gar nicht gefunden wurde, hilft eine andere Formulierung der Antwort häufig nicht. Wenn die Fundstelle korrekt ist, die Antwort aber einen wichtigen Vorbehalt unterschlägt, muss die Generierung oder Prüfung verbessert werden.

Ein kleines, repräsentatives Testset aufbauen

Sammeln Sie typische Fragen aus dem realen Arbeitsalltag und ordnen Sie für jede Frage eine fachlich bestätigte Fundstelle oder ausdrücklich „keine Antwort vorhanden“ zu. Als Pilot können beispielsweise 50 Fragen dienen. Die Zahl ist ein redaktionelles Beispiel und keine allgemeingültige statistische Mindestgröße.

Das Testset sollte einfache und schwierige Fälle enthalten: gleichnamige Produkte, aktuelle und alte Richtlinien, mehrere notwendige Dokumente sowie fehlende Informationen. Nutzen Sie freigegebene Inhalte und passende Testkonten. Bewahren Sie eine separate Kontrollmenge auf, die nicht für laufende Anpassungen verwendet wird.

Quellenfund und Antworttreue messen

Für jede Frage protokollieren Sie, ob unter den ersten fünf Treffern mindestens eine fachlich relevante und aktuelle Quelle erscheint. Diese Trefferquote ist der Anteil erfolgreicher Fragen; sie sagt noch nicht, ob alle relevanten Quellen gefunden wurden. Erfassen Sie zusätzlich, ob die zitierte Stelle die konkrete Aussage tatsächlich trägt.

Eine einfache Bewertung trennt beispielsweise „korrekt und belegt“, „teilweise richtig“, „nicht belegt“ und „keine Antwort trotz vorhandener Quelle“. Legen Sie fest, wie widersprüchliche Quellen und notwendige Vorbehalte bewertet werden. Zwei fachkundige Personen können strittige Fälle gemeinsam klären; protokollieren Sie abweichende Bewertungen.

Berechtigungen als eigene Testdimension

Richten Sie mindestens zwei Testrollen mit unterschiedlichen Rechten ein. Eine Person ohne Zugriff auf ein vertrauliches Dokument darf dessen Inhalt weder als Treffer noch indirekt in einer Antwort erhalten. Prüfen Sie außerdem, was nach einem Rechteentzug geschieht und wann die Änderung in Suche, Cache und verbundenem Dienst ankommt.

Messen Sie Rechtefehler getrennt von der fachlichen Qualität. Ein guter Antwortwert gleicht einen unzulässigen Datenzugriff nicht aus. Für Produktivsetzung und Eskalation sollten vorab klare Kriterien für solche Fehler festgelegt sein.

Zeit und Kosten bis zur Freigabe erfassen

Stoppen Sie die gesamte Bearbeitungszeit: Frage stellen, Antwort lesen, Quelle öffnen, Widersprüche auflösen und Ergebnis freigeben. Erfassen Sie Modell- und Suchkosten sowie die Zeit für Datenpflege und Administration. Vergleichen Sie den Ablauf mit der bisherigen Suche anhand derselben Aufgaben.

Ein Pilot mit wenigen Fällen zeigt häufige Probleme, beweist aber keine allgemeine Fehlerfreiheit. Dokumentieren Sie Datenstand, Modellversion, Suchkonfiguration und Änderungen. Wiederholen Sie die Tests nach wichtigen Änderungen an Quellen, Zugriffsrechten, Konnektoren oder Modell.

Vom Test zum laufenden Betrieb

Legen Sie fest, wer neue Dokumente freigibt, veraltete Inhalte entfernt und Fehler meldet. Eine Stichprobe sollte regelmäßig anhand aktueller Fragen wiederholt werden; kritische Bereiche benötigen gegebenenfalls häufigere Prüfungen. Ein Rückfall auf die ursprünglichen Quellen muss möglich bleiben.

NIST empfiehlt, KI-Systeme vor der Bereitstellung und wiederholt im Betrieb zu testen und Ergebnisse nachvollziehbar zu dokumentieren. Welche Schwellenwerte für den eigenen Einsatz angemessen sind, legt das verantwortliche Team anhand der Risiken und Aufgaben fest.

FAQ

Häufige Fragen

Ist eine zitierte Quelle automatisch ein Beweis für eine richtige Antwort?

Nein. Die zitierte Stelle muss aktuell, für die fragende Person zugänglich und für die konkrete Aussage tatsächlich einschlägig sein.

Reichen 50 Testfragen aus?

50 Fragen können ein praktischer Start sein. Umfang und Aussagekraft hängen von Vielfalt, Risiken und Qualität des Testsets ab; eine feste universelle Mindestzahl ist damit nicht verbunden.

Quellen und Herstellerseiten

Weiterführende Quellen