KI-Dokumentenextraktion: was klappt, was scheitert

Was KI-Dokumentenextraktion heute wirklich leisten kann

Wenn man einem Sprachmodell tausend Rechnungen vorlegt und es bittet, Betrag, Datum und IBAN zu extrahieren, bekommt man in vielen Fällen eine erschreckend gute Trefferquote. Bei homogenen Vorlagen — gleicher Absender, gleiches Layout, gute Scanqualität — liegen Fehlerquoten unter einem Prozent. Das ist kein Zufall und keine Magie. Es ist Mustererkennung auf sauberem, konsistentem Material.

Für Teams, die routinemäßig große Dokumentenmengen verarbeiten, kann das tatsächlich entlasten. Eingangsrechnungen, standardisierte Formulare, Vertragsköpfe, Nachweise in einheitlichen Formaten — überall dort, wo Struktur und Kontext vorhersehbar sind, liefern aktuelle Modelle brauchbare Ergebnisse. Die relevante Frage ist längst nicht mehr, ob KI extrahieren kann, sondern unter welchen Bedingungen sie das zuverlässig tut — und was passiert, wenn diese Bedingungen nicht erfüllt sind.

Aufgaben, bei denen Qualität stabil bleibt

Homogene Dokumententypen: Gleiches Layout, gleicher Absender, gleiche Feldpositionen. Je konsistenter das Material, desto stabiler und skalierbarer die Extraktion.
Maschinenlesbare PDFs: Digitale PDFs ohne OCR-Zwischenschritt haben deutlich niedrigere Fehlerraten als Scans — oft um den Faktor drei bis fünf.
Klar definierte Felder mit begrenztem Werteraum: Datum, Betrag, IBAN, Postleitzahl. Eindeutige Feldtypen, bei denen Konfidenzwerte verlässlich sind und Fehler erkennbar bleiben.
Textentwurf auf Datenbasis: Wenn vorhandene Stammdaten zu lesbarem Fließtext formuliert werden sollen — etwa ein Beschreibungsabsatz aus strukturierten Objektdaten — ist KI ein echter Zeitgewinn, sofern das Ergebnis vor Veröffentlichung gelesen wird.
Klassifizierung bei klaren Kategorien: Dokumenttypen erkennen, Eingangspost vorsortieren, E-Mails grob kategorisieren — das funktioniert gut, wenn die Kategorien trennscharf definiert sind.

Wo KI-Systeme nachweislich scheitern

Hier liegt der eigentliche Mehrwert einer nüchternen Bestandsaufnahme: Die Grenzen moderner KI-Extraktionssysteme sind nicht zufällig. Sie folgen Mustern, die man kennen — und vorher prüfen — kann. Wer das tut, trifft bessere Entscheidungen als wer sich auf Anbieter-Demos verlässt.

Tabellen mit Ausnahmelogik

Tabellen sind für Sprachmodelle strukturell anspruchsvoll — nicht weil sie die Zellen nicht lesen können, sondern weil Bedeutung im Kontext liegt. Ist diese Zeile eine Summenzeile oder eine Position? Gilt dieser Wert inklusive oder exklusive Mehrwertsteuer? Handelt es sich um eine Zwischensumme oder den Gesamtbetrag? Verbundene Zellen, mehrzeilige Kopfzeilen, verschachtelte Strukturen, Fußnotenverweise — das sind Szenarien, in denen selbst gute Modelle regelmäßig falsch zuordnen. Und falsch zugeordnete Werte sehen richtig aus. Das ist das eigentliche Problem: Das Modell gibt keine Unsicherheit aus, obwohl es geraten hat.

Handschrift und Scans mit schlechter Qualität

OCR-Vorverarbeitung hat sich in den letzten Jahren deutlich verbessert, aber Handschrift bleibt ein Problemfeld. Persönliche Handschriften, individuelle Abkürzungen, durchgestrichene Korrekturen, eng beschriebene Formulare — Modelle interpolieren hier, und ihre Interpolationen sind nicht als unsicher markiert. Ein unleserlicher Name wird nicht als „nicht erkennbar" ausgegeben, sondern als der wahrscheinlichste Name. Bei einem Eigennamen in einem Vertrag oder einer Kunden-ID ist das keine Kleinigkeit.

Kontextabhängige und domänenspezifische Werte

Fachbegriffe, die in einem Kontext eindeutig sind und in einem anderen das Gegenteil bedeuten können — das ist Terrain, auf dem allgemeine Sprachmodelle schwächeln. In der Immobilienwirtschaft etwa kann „Nutzfläche" je nach Bundesland, Berechnungsverordnung und Dokumenttyp Unterschiedliches meinen. Modelle, die auf allgemeinen Texten trainiert wurden, kennen diese Feinheiten nicht zuverlässig. Sie extrahieren einen Wert, aber nicht unbedingt den richtigen — und signalisieren dabei Konfidenz, die nicht gerechtfertigt ist.

Bewertung und fachliche Einschätzung

Besonders riskant ist der Einsatz von KI dort, wo eine Einschätzung gefragt ist, nicht nur eine Extraktion. „Ist dieses Dokument vollständig?" „Widersprechen sich diese beiden Klauseln?" „Entspricht dieser Nachweis den Anforderungen?" — hier gibt KI oft eine Antwort, aber keine zuverlässige. Sie kann offensichtliche Lücken erkennen und häufige Muster reproduzieren. Subtile Widersprüche, fehlende Kontextinformationen, juristische Feinheiten und branchenspezifische Auslegungen übersteigen aktuelle Systemgrenzen regelmäßig. Ein System, das auf solche Fragen plausibel klingende Antworten gibt, ist gefährlicher als eines, das sie ablehnt.

Bildaufbereitung und visuelle Inhalte

Grundrisse, Fotos, technische Zeichnungen — multimodale Modelle können Beschriftungen lesen und grobe räumliche Strukturen beschreiben. Flächenangaben aus Grundrissen berechnen, Mängel auf Fotos klassifizieren, Bauzustand aus einer Bildreihe einschätzen: Das klingt verlockend und scheitert in der Praxis regelmäßig an Präzision und Konsistenz. Fehler häufen sich bei unklarer Bildqualität, fehlenden Maßstäben, ungewöhnlichen Perspektiven und mehrdeutigen Darstellungen. Häufig gibt das Modell dabei keine Unsicherheit aus — es rät, ohne es zu melden.

Schwachstellen vorher erkennen: ein pragmatischer Ansatz

Die gute Nachricht: Ob ein KI-System für einen bestimmten Dokumententyp taugt, lässt sich relativ früh feststellen — ohne Vollintegration und ohne große Budgets. Der Schlüssel ist ein ehrlicher Vortest mit echtem, eigenem Material.

Schritt 1: Dokumenten-Audit vor dem Projektstart

Bevor ein KI-System ausgewählt oder integriert wird, lohnt sich ein systematischer Blick auf das tatsächliche Dokumentenaufkommen. Konkret:

Wie homogen ist das Material wirklich? Gibt es abweichende Vorlagen, Ausreißer, historische Altbestände?
Welcher Anteil liegt als Scan vor, welcher als maschinenlesbares PDF?
Welche Felder erfordern domänenspezifisches Wissen zur korrekten Interpretation?
Wie hoch ist die Fehlertoleranz — und wer bemerkt einen Fehler, wenn er auftritt?
Gibt es Felder, deren Fehler juristische, finanzielle oder operative Konsequenzen haben?

Diese Fragen klingen trivial, werden aber überraschend selten gestellt — schon gar nicht, bevor der erste Anbieter präsentiert. Wer sie vorab beantwortet, trifft strukturell bessere Entscheidungen.

Schritt 2: Testsets mit echtem Material

Ein Testset von 50 bis 200 repräsentativen Dokumenten — inklusive Grenzfälle, Ausreißer und alte Vorlagen — ist das zuverlässigste Instrument zur Vorab-Bewertung. Nicht Demomaterial des Anbieters. Eigene Dokumente, eigene Varianz, eigene Fehlerquellen.

Was gemessen werden sollte:

Feldgenauigkeit: Wie viele Felder werden exakt richtig extrahiert — nicht ungefähr, sondern zeichengenau?
Fehlerverteilung: Häufen sich Fehler bei bestimmten Vorlagentypen, Absendern oder Zeiträumen?
Konfidenzkorrelation: Korrelieren die ausgegebenen Konfidenzwerte mit tatsächlicher Richtigkeit? Ein Modell, das falsche Werte mit hoher Konfidenz ausgibt, ist gefährlicher als eines, das bei Unsicherheit niedrige Werte signalisiert.
Fehlercharakter: Sind die Fehler zufällig oder systematisch? Systematische Fehler lassen sich durch Nachverarbeitung adressieren. Zufällige nicht.

Schritt 3: Kosten des Restfehlers einpreisen

Kein System liefert 100 % Genauigkeit auf heterogenem Material — das ist keine Einschränkung spezifischer Anbieter, sondern ein strukturelles Merkmal des Feldes. Die relevante Frage ist deshalb: Was kostet ein Fehler in diesem spezifischen Kontext? Bei einer Adresse in einem internen Routing-Dokument ist das tolerierbar. Bei einem Betrag in einer Ausgangsrechnung oder einem Nachnamen in einem Vertrag nicht. Der Break-even-Punkt zwischen manuellem Aufwand und KI-unterstütztem Aufwand — inklusive Nachkontrolle — muss vor der Entscheidung durchgerechnet werden, nicht danach.

Was ein Mensch in jedem Fall prüfen muss

Diese Liste ist keine Kritik an KI-Systemen — sie beschreibt den aktuellen Stand. Wer sie ignoriert, baut auf einer falschen Grundlage. Wer sie ernst nimmt, kann KI sinnvoll einsetzen.

Alle Werte mit Rechtswirkung: Vertragsbeträge, Fristen, Parteinamen, relevante Klauseln. KI-Extraktion kann einen ersten Entwurf liefern; die Freigabe kommt danach — nicht ohne Sichtprüfung.
Domänenspezifische Berechnungen: Betriebskosten, Flächenberechnungen, steuerliche Zuordnungen. Felder, deren Bedeutung von Kontext, Verordnung oder individueller Vereinbarung abhängt, brauchen menschliche Einordnung.
Dokumente mit schlechter Vorqualität: Wenn der Rohtext aus der OCR bereits fehlerhaft ist, multipliziert KI-Extraktion diesen Fehler weiter. Solche Dokumente müssen erkannt und separat behandelt werden — idealerweise automatisch markiert, aber zuverlässig nur durch Sichtprüfung bestätigt.
Niedrige Konfidenzwerte: Systeme, die Konfidenzwerte ausgeben, sollten so konfiguriert sein, dass niedrige Werte automatisch zur menschlichen Prüfung eskaliert werden. Das ist keine Schwäche des Systems — das ist korrekte Architektur.
Neue oder unbekannte Dokumententypen: Sobald ein Dokumententyp auftaucht, der nicht im ursprünglichen Testset vertreten war, ist manuelle Prüfung obligatorisch — bis genug Stichproben vorliegen, um die Fehlerquote verlässlich einzuschätzen.
Generierte Texte vor Außenwirkung: KI-entworfene Texte — Exposés, Produktbeschreibungen, Anschreiben — müssen vor Veröffentlichung oder Versand gelesen werden. Nicht weil Grammatik zwingend falsch wäre, sondern weil inhaltliche Fehler, Tonalität und faktische Korrektheit Augen brauchen, die die Konsequenzen kennen.

Der pragmatische Rahmen: KI als Werkzeug mit bekannten Grenzen

KI-Extraktion und KI-Textentwurf sind heute nützliche Werkzeuge — für bestimmte Aufgaben, unter bestimmten Bedingungen, mit definiertem Kontrollrahmen. Wer das akzeptiert, kann sinnvoll damit arbeiten. Wer erwartet, dass ein Modell Fachurteil ersetzt, wird Fehler produzieren, die schwer zurückzuverfolgen sind — und die oft erst auffallen, wenn sie Schaden angerichtet haben.

Die Entscheidungslogik für den Einsatz in Fachsoftware lautet deshalb: klare Aufgabe, bekanntes Material, messbare Qualität, definierter Eskalationsweg. Fehlt eine dieser vier Komponenten, ist das System noch nicht bereit für den produktiven Einsatz — unabhängig davon, was eine Demo gezeigt hat oder was der Anbieter verspricht.

Wer Fachsoftware für komplexe Geschäftsprozesse baut oder verantwortet, tut gut daran, KI-Komponenten wie jedes andere Modul zu behandeln: mit Anforderungen, Testszenarien, Abnahmekriterien und Fehlerprotokollen. Die Technologie ist inzwischen gut genug, um seriös damit umzugehen — und das bedeutet auch, ihre Grenzen zu benennen, bevor sie zum Problem werden.