KI auf den eigenen Dokumenten: was technisch dahintersteckt

Ein Aufbau, der in vielen Häusern gleich aussieht: Die Vertragsablage wird eingelesen, ein Sprachmodell davorgeschaltet, die erste Testfrage lautet „Wie lange läuft der Rahmenvertrag mit Lieferant X?”. Die Antwort kommt in zwei Sekunden, klingt souverän, nennt eine Laufzeit von 24 Monaten — und ist falsch. Im Vertrag stehen 24 Monate als Kündigungsfrist des Wartungsanhangs, die Laufzeit selbst steht drei Absätze weiter oben.

Der Fehler liegt nicht beim Modell, sondern an einer Stelle, die in Projektplänen selten eine eigene Zeile bekommt: an der Frage, wo die Dokumente vor dem Einlesen zerschnitten wurden. Das Modell hat den Vertrag nie gesehen. Es hat einen Ausschnitt gesehen, in dem „24 Monate” stand und der Bezug fehlte.

Was beim Einlesen eigener Dokumente tatsächlich passiert

Das Verfahren heißt Retrieval-Augmented Generation und wurde 2020 von Patrick Lewis und Kollegen bei Facebook AI Research auf der NeurIPS vorgestellt. Die Idee: Ein Sprachmodell bringt Sprachfähigkeit mit, aber keine verlässliche Faktenkenntnis; es bekommt deshalb einen zweiten, nicht-parametrischen Speicher zur Seite — einen durchsuchbaren Vektorindex, aus dem passende Passagen zur Laufzeit in die Eingabe wandern.

Praktisch besteht die Strecke aus sechs Stufen. Extraktion holt Text aus PDF, DOCX oder Scan. Die Zerlegung schneidet den Text in Abschnitte. Ein Einbettungsmodell wandelt jeden Abschnitt in einen Vektor mit mehreren hundert bis mehreren tausend Zahlen. Diese Vektoren landen in einem Index. Zur Laufzeit wird die Frage ebenfalls eingebettet, die nächstliegenden Vektoren werden gesucht, und die zugehörigen Textabschnitte gehen als Kontext an das Modell.

Entscheidend ist die Konsequenz aus Stufe zwei: Die Abrufeinheit ist der Abschnitt, nicht das Dokument. Was dort getrennt wurde, kommt in Stufe sechs nicht wieder zusammen. Ein Schnitt, der eine Bedingung von ihrem Gegenstand trennt, ist kein Formatierungsdetail, sondern ein Datenfehler mit Bestand.

Der Schnitt ist die eigentliche Entscheidung, nicht das Modell

Die Modellwahl ist austauschbar geworden; die Zerlegungsregeln sind es nicht. Ein Wechsel des Sprachmodells kostet eine Konfigurationsänderung, ein Wechsel der Chunking-Strategie den vollständigen Neuaufbau des Index, weil sich sämtliche Vektoren ändern — und damit die Einbettungskosten des gesamten Bestands ein zweites Mal.

Warum ein kontextloser Abschnitt so gefährlich ist, zeigt ein Beispiel aus Anthropics Untersuchung zu Contextual Retrieval vom 19. September 2024. Ein Abschnitt aus einem Geschäftsbericht lautet: „Der Umsatz des Unternehmens wuchs gegenüber dem Vorquartal um 3 Prozent.” Der Satz ist sprachlich vollständig und für sich genommen unbrauchbar — er nennt weder das Unternehmen noch den Zeitraum. Ein Modell, das ihn als Beleg bekommt, füllt die Lücke aus der Frage und ordnet die drei Prozent dem Unternehmen zu, nach dem gefragt wurde.

Embeddings: was Ähnlichkeit im Vektorraum bedeutet — und was nicht

Ein Einbettungsmodell bildet Text auf einen Punkt in einem hochdimensionalen Raum ab. Die Vektoren zweier Abschnitte stehen nahe beieinander, wenn diese in ähnlichen Zusammenhängen vorkommen; gemessen wird über den Kosinus des Winkels zwischen ihnen. Mehr Bedeutungsverständnis steckt nicht darin.

Daraus folgen zwei Eigenschaften, die im Betrieb regelmäßig überraschen. Erstens ist Ähnlichkeit nicht Wahrheit: Ein Absatz, der beschreibt, warum eine Regelung gerade nicht gilt, liegt im Vektorraum dicht neben dem Absatz, der sie festlegt. Zweitens sind exakte Zeichenketten die Schwäche des Verfahrens. Anthropic führt dafür die Suche nach einem Fehlercode an: Ein Einbettungsmodell findet Texte über Fehlercodes im Allgemeinen, aber nicht zuverlässig genau „TS-999″.

Belastbare Aufbauten kombinieren die Vektorsuche deshalb mit einem lexikalischen Verfahren wie BM25 und führen beide Trefferlisten zusammen. Für Artikelnummern, Aktenzeichen und Vertragskennungen ist das kein Beiwerk, sondern die einzige Suchart, die trifft.

Drei Verfahren, ein Dokument zu zerlegen

Es stehen drei Familien zur Wahl. Feste Größe schneidet nach einer Token-Zahl, ohne den Text anzusehen. Semantisches Chunking sucht Stellen, an denen sich die Einbettung benachbarter Sätze stark ändert. Strukturbasiertes Chunking wertet aus, was das Dokument über sich selbst sagt: Überschriften, Paragrafenzähler, Listen, Tabellen.

Die mittlere Zeile ist dabei die teuerste ohne belegten Gegenwert. Eine Untersuchung von Renyi Qu und Kollegen, 2025 in den Findings der NAACL veröffentlicht, prüfte semantisches Chunking über drei Aufgabentypen — Dokumentabruf, Belegabruf und belegbasierte Antworterzeugung. Ergebnis: Der Rechenaufwand ist durch die Leistungsgewinne nicht gedeckt, sie treten nicht durchgängig auf.

Overlap: was er repariert und was er nur verdeckt

Der übliche Notbehelf gegen schlechte Schnitte ist Overlap: Benachbarte Abschnitte teilen sich einen Randbereich, damit ein zerrissener Satz mindestens in einem von beiden vollständig steht. Das hilft gegen Trennungen mitten im Satz und kostet Indexvolumen, weil derselbe Text mehrfach eingebettet wird.

Was Overlap nicht repariert, ist der fehlende Bezug über größere Entfernungen. Wenn die Klausel auf Seite eins definiert, was „Leistungszeitraum” bedeutet, und die Frist auf Seite neun steht, hilft kein Randbereich von 100 Token. Genau diese Distanz ist in Verträgen, Handbüchern und Prüfberichten der Regelfall.

Dass Voreinstellungen keine Empfehlung sind, zeigt die LlamaIndex-Dokumentation: Die Seite zu den Basisstrategien nennt eine Standard-Chunkgröße von 1.024 Token bei 20 Token Overlap, die API-Referenz desselben Splitters führt 200 Token. Beide Angaben standen am 4. September 2026 nebeneinander im Netz — zwei Prozent Überlappung oder zwanzig.

Was gemessen wurde: Kontext am Abschnitt schlägt cleveres Schneiden

Statt den perfekten Schnittpunkt zu suchen, lässt sich der fehlende Bezug auch nachtragen. Anthropic stellte jedem Abschnitt vor dem Einbetten 50 bis 100 Token generierten Kontext voran, die ihn im Gesamtdokument verorten — aus „Der Umsatz wuchs um 3 Prozent” wird ein Satz, der Unternehmen, Quartal und Vorquartalsumsatz benennt. Gemessen wurde, wie oft die richtige Passage nicht unter den ersten 20 Treffern war.

Kontextualisierte Einbettungen senkten die Fehlerquote von 5,7 auf 3,7 Prozent, also um 35 Prozent. Zusammen mit einem BM25-Index auf demselben kontextualisierten Text fiel sie auf 2,9 Prozent — minus 49 Prozent; mit nachgeschaltetem Reranking auf 1,9 Prozent, minus 67 Prozent. Die Aufbereitung beziffert Anthropic bei 800-Token-Abschnitten mit 1,02 US-Dollar je Million Dokument-Token.

In dieselbe Richtung weist eine Arbeit von Antonio Jimeno Yepes und Kollegen zu Finanzberichten (2024): Wird nach Strukturelementen geschnitten statt nach Absätzen, verbessern sich die Ergebnisse deutlich — und die passende Abschnittsgröße ergibt sich, ohne dass jemand an einem Token-Parameter dreht.

Der Ausweg über lange Kontextfenster trägt nicht

Der naheliegende Einwand: Mit wachsenden Kontextfenstern erledige sich das Problem von selbst — wer eine Million Token in den Prompt legen kann, muss nichts zerschneiden. Für kleine Bestände stimmt das; Anthropic nennt 200.000 Token, rund 500 Seiten, als Grenze, unterhalb derer sich ein Index oft nicht lohnt. Für gewachsene Ablagen gilt es nicht.

Nelson Liu und Kollegen von der Stanford University haben 2023 gemessen, wie gut Modelle lange Eingaben ausnutzen. Das Ergebnis ist eine U-förmige Kurve: Die Trefferquote ist am höchsten, wenn die relevante Information ganz am Anfang oder ganz am Ende steht, und fällt in der Mitte deutlich ab — auch bei Modellen, die ausdrücklich für lange Kontexte gebaut sind. Bei 20 und 30 mitgelieferten Dokumenten lag sie im Extremfall unter der desselben Modells ganz ohne Dokumente.

Die Spanne zwischen 56,1 und 88,3 Prozent ist der eigentliche Befund: Alles, was die Auswahl auf wenige richtige Abschnitte verengt, wirkt stärker als jede Vergrößerung des Fensters.

Wie ein sauberer Schnitt in der Praxis aussieht

Aus den Messungen folgt eine Reihenfolge, die ohne exotische Werkzeuge auskommt und sich an der Dokumentart orientiert statt an einer allgemeinen Token-Zahl.

1. Dokumentarten trennen, bevor eine Zeile Code entsteht Verträge, Rechnungen, Handbücher und Mailverläufe haben unterschiedliche Struktur und brauchen unterschiedliche Regeln. Ein gemeinsamer Splitter für alles ist die häufigste Fehlerquelle.
2. An der Struktur schneiden, nicht am Zeichenzähler Paragraf, Abschnitt, Listenpunkt und Tabelle sind natürliche Einheiten. Eine Tabelle bleibt ein Abschnitt, samt Kopfzeile — sonst stehen Zahlen ohne Spaltenbezeichnung im Index.
3. Den Überschriftenpfad an jeden Abschnitt hängen „Vertrag 4711 › § 7 Laufzeit und Kündigung” kostet wenige Token und klärt, worauf sich der Text bezieht.
4. Metadaten mitführen und filterbar machen Quelle, Dateiname, Version, Gültigkeitsdatum, Freigabekreis. Damit lässt sich vor der Vektorsuche einschränken — und in der Antwort die Fundstelle nennen.
5. Gegen eine feste Fragenliste messen Fünfzig Fragen aus dem Tagesgeschäft mit bekannter Fundstelle. Jede Änderung an der Zerlegung wird dagegen geprüft, sonst bleibt jede Verbesserung eine Behauptung.

Der Index ist eine Kopie — Berechtigungen und Datenschutz

Mit dem Vektorindex entsteht eine zweite Fassung des Dokumentenbestands. Datenschutzrechtlich ist das eine eigenständige Verarbeitung: Die Abschnitte enthalten dieselben personenbezogenen Daten wie das Original, nur zerlegt und um Vektoren ergänzt. Löschansprüche nach Artikel 17 DSGVO und Auskunftsansprüche nach Artikel 15 müssen deshalb bis in den Index reichen. Wer eine Datei löscht, ihre Abschnitte im Index aber stehen lässt, hat sie nicht gelöscht.

Der zweite Punkt betrifft Berechtigungen. Weil der Abschnitt die kleinste ausgelieferte Einheit ist, muss die Rechteprüfung auf Abschnittsebene greifen — vor der Vektorsuche, nicht als Filter auf der fertigen Antwort. Ein Index, der Personalakten und Angebotskalkulationen ungetrennt hält, gibt beides an jeden weiter, der die passende Frage stellt. Das Bundesamt für Sicherheit in der Informationstechnik verlangt für solche Anwendungen eine eigene Risikoanalyse.

Dazu kommen die Pflichten beim Einsatz externer Modellanbieter: Auftragsverarbeitungsvertrag, dokumentierte Übermittlungswege, Klarheit darüber, welche Inhalte den eigenen Rechtsraum verlassen. Der Europäische Datenschutzausschuss hat mit der Stellungnahme 28/2024 präzisiert, wann KI-Modelle als anonym gelten können — für den Index davor gilt diese Diskussion nicht: Er ist personenbezogen, sobald es die Dokumente sind.

Wann sich der Aufwand lohnt und was er nicht leistet

Die Zerlegungsarbeit rechnet sich nicht überall. Sie lohnt sich, wo viele gleichartige Dokumente mit fester Struktur liegen und die gesuchte Information regelmäßig gebraucht wird — nicht bei 200 Seiten, die komplett in ein Kontextfenster passen, und nicht dort, wo jede Frage ohnehin eine Einzelprüfung nach sich zieht.

Einbettungsmodell, Vektorindex, Rechteprüfung und Auswertungsliste gibt es als Standardkomponenten; die eigentliche Arbeit steckt in den Zerlegungsregeln für die eigenen Dokumentarten, und die kennt niemand außerhalb des Hauses. Unternehmen, die KI auf eigene Dokumente ansetzen wollen, ohne die Strecke selbst zu betreiben, können solche KI-Anwendungen für den Mittelstand bauen lassen — Kaido Studios UG (haftungsbeschränkt) i. Gr. aus Hamburg etwa baut und betreibt Anwendungen dieser Art angebunden an ERP, CRM und die vorhandene Dokumentenablage, abgerechnet über eine monatliche Pauschale mit festem Entwicklungskontingent. Nicht Teil des Verfahrens ist die Entscheidung selbst: Ein System, das aus Dokumenten Beträge freigibt oder Fristen zusagt, ohne dass jemand gegenzeichnet, tauscht Aufwand gegen Haftung.

Häufige Fragen

Wie groß sollte ein Chunk sein?

Es gibt keine allgemeingültige Zahl. Übliche Werte liegen zwischen 256 und 1.024 Token; Anthropic rechnet in seiner Kostenbetrachtung von 2024 mit 800 Token. Aussagekräftiger als die Zahl ist das Kriterium: Ein Abschnitt sollte eine abgeschlossene Aussage enthalten. Wird nach Strukturelementen geschnitten — Paragraf, Tabelle, Listenpunkt — ergibt sich die Größe von selbst und muss nicht nachjustiert werden.

Warum antwortet die KI falsch, obwohl die richtige Information im Dokument steht?

Weil das Modell das Dokument nicht sieht, sondern nur die Abschnitte, die die Vektorsuche als ähnlich eingestuft hat. Steht die Information in einem Abschnitt, dem der Bezug fehlt, oder wurde sie beim Schneiden von ihrer Bedingung getrennt, fehlt sie im Kontext. Das Modell füllt die Lücke dann aus dem Wortlaut der Frage — die Antwort wirkt schlüssig und ist falsch.

Löst ein größeres Kontextfenster das Problem?

Nur bei kleinen Beständen. Liu und Kollegen zeigten 2023, dass Modelle Informationen in der Mitte langer Eingaben deutlich schlechter nutzen als am Anfang oder Ende. Bei 20 und 30 mitgelieferten Dokumenten fiel die Trefferquote im ungünstigsten Fall unter den Wert desselben Modells ohne jedes Dokument. Ein größeres Fenster ersetzt die Auswahl nicht, es verschiebt das Problem.

Ist semantisches Chunking den Aufwand wert?

Nach der derzeitigen Datenlage nicht zuverlässig. Eine 2025 in den NAACL-Findings veröffentlichte Untersuchung prüfte semantisches Chunking über drei Aufgabentypen und fand keine durchgängigen Verbesserungen, die den zusätzlichen Rechenaufwand rechtfertigen. Wirksamer sind zwei einfachere Maßnahmen: an Strukturelementen schneiden und jedem Abschnitt seinen Bezug voranstellen.

Was ist beim Datenschutz zu beachten, wenn eigene Dokumente indexiert werden?

Der Vektorindex ist eine Kopie der Dokumente und damit eine eigenständige Verarbeitung. Löschungen nach Artikel 17 DSGVO und Auskünfte nach Artikel 15 müssen ihn erreichen. Die Rechteprüfung muss auf Abschnittsebene vor der Suche greifen, nicht erst auf der fertigen Antwort. Für externe Modellanbieter gelten Auftragsverarbeitungsvertrag und dokumentierte Übermittlungswege.