Eigene Wissensdatenbank für KI: Was nötig ist, damit die Antworten stimmen

Die Anfrage kommt inzwischen regelmäßig: Ein Assistent soll Fragen zu den eigenen Unterlagen beantworten – zu Angeboten, Handbüchern, internen Richtlinien. Die Erwartung ist meist, dass dafür ein Modell „auf den eigenen Daten trainiert“ werden muss.

Das ist fast nie der Weg. Der übliche Aufbau ist ein anderer, und er verschiebt die Arbeit an eine Stelle, die die wenigsten erwarten.

Wie es tatsächlich funktioniert

Das verbreitete Verfahren heißt Retrieval-Augmented Generation. Der Ablauf bei jeder Frage:

1. Die Frage wird gegen einen durchsuchbaren Bestand der eigenen Dokumente gestellt.
2. Die passendsten Ausschnitte werden herausgesucht.
3. Diese Ausschnitte werden dem Modell zusammen mit der Frage übergeben.
4. Das Modell formuliert daraus die Antwort.

Das Modell „weiß“ also nichts über das Unternehmen. Es bekommt bei jeder Frage das Material mitgeliefert und formuliert daraus.

Die Konsequenz ist der entscheidende Punkt: Wenn Schritt 2 das Falsche findet, hilft kein besseres Modell. Die Dokumentation formuliert es direkt – die Qualität hängt davon ab, wie die Inhalte für den Abruf vorbereitet werden.

Was das für die Vorbereitung heißt

Abschnitte statt ganzer Dokumente

Große Dokumente werden beim Aufbau des Index in Abschnitte zerlegt, damit einzelne Teile unabhängig voneinander gefunden werden können. Der Grund ist praktischer Natur: Ein Modell kann nur eine begrenzte Menge Text auf einmal verarbeiten – ein Handbuch mit tausend Seiten passt nicht in eine Anfrage.

Daraus folgt eine Anforderung an die Dokumente selbst: Ein Abschnitt muss für sich verständlich sein. Ein Absatz, der mit „Dieser Wert gilt auch hier“ beginnt, ist herausgelöst wertlos. Das ist dieselbe Anforderung, die auch für Webinhalte gilt, die in generativen Suchsystemen zitierbar sein sollen – und ein gutes Argument für saubere Überschriften und Textstruktur auch in internen Unterlagen.

Berechtigungen müssen mitwandern

Die Dokumentation ist an dieser Stelle unmissverständlich: Wer private Inhalte für Sprachmodelle öffnet, braucht eine feingliedrige Zugriffssteuerung – Nutzer und Agenten dürfen nur abrufen, wofür sie berechtigt sind.

Das ist der Punkt, an dem solche Projekte am häufigsten schiefgehen. Ein Bestand, der Personalakten, Gehaltsunterlagen und Vertragsentwürfe enthält, wird durch einen Assistenten für jeden im Haus durchsuchbar – auch für die, die vorher keinen Zugriff auf den Ordner hatten. Die Berechtigungen des Quellsystems müssen in die Suche übernommen und bei jeder Anfrage angewendet werden, sonst entsteht genau dieser Effekt. Die datenschutzrechtliche Seite steht in KI und Datenschutz.

Aktualität

Der Bestand muss fortlaufend nachgeführt werden. Ein Assistent, der die Preisliste von vorletztem Jahr zitiert, ist schlimmer als keiner – weil die Antwort richtig klingt.

Was vorher zu klären ist

Die letzte Zeile hat eine praktische Folge: Jede Antwort sollte die verwendeten Dokumente nennen. Das kostet nichts, macht Fehler überprüfbar und verschiebt die Nutzung von „der Assistent sagt“ zu „im Dokument X steht“ – der Unterschied zwischen einer Auskunft und einem Fundstellenhinweis. Warum das nötig bleibt, zeigt falsche KI-Antworten.

Der realistische Einstieg

1. Einen Anwendungsfall wählen, bei dem heute regelmäßig dieselben Fragen gestellt werden – interner Support, Produktauskünfte, Prozessfragen.
2. Zwanzig bis fünfzig geprüfte Dokumente einspeisen, nicht das gesamte Laufwerk.
3. Dreißig echte Fragen sammeln und die Antworten gegen die Dokumente prüfen. Diese Liste ist die Messlatte und bleibt es.
4. Nachbessern, wo die Suche danebenliegt – meist durch bessere Abschnittsbildung oder durch Ergänzen fehlender Dokumente.
5. Erst dann erweitern.

Schritt drei ist der, der über Erfolg oder Misserfolg entscheidet, und der am häufigsten übersprungen wird. Ohne einen festen Fragenkatalog lässt sich nicht beurteilen, ob eine Änderung etwas verbessert hat – man hat nur den Eindruck, dass es besser geworden ist.

Was daneben zu regeln ist – Nutzungsregeln, Zuständigkeit und die Pflicht aus Artikel 4 des EU AI Act, für ausreichende KI-Kompetenz zu sorgen – steht in ChatGPT im Unternehmen einführen. Systeme, die auf dieser Grundlage eigenständig Arbeitsschritte ausführen, behandelt KI-Agenten.