Mehr als nur Extraktionsgenauigkeit: Was eine Dokumenten-Pipeline in der Produktion benötigt

Ausnahmen sind Teil des Designs

Der Großteil dieser Arbeit betrifft alles rund um das Modell. Zu den realen Eingaben zählen schlechte Scans, PDFs mit mehreren Dokumenten, fehlende Felder und Zielsysteme, die vorübergehend nicht verfügbar sind. Eine Pipeline zur Dokumentenverarbeitung benötigt einen festgelegten Ansatz, um jede Situation zu bewältigen. Ungewisse Ergebnisse werden an einen Prüfer weitergeleitet, und die Korrekturen des Prüfers müssen gespeichert werden, damit sie zur Verbesserung des Prozesses beitragen können. Monate später fragt möglicherweise ein Auditor nach, wie ein bestimmter Wert zustande gekommen ist. Der Aufbau dieser Fähigkeiten macht einen wesentlichen Teil der meisten Projekte aus.

Die Bausteine

Der Cegeka Document AI Accelerator bildet diese Grundlage. Jeder seiner Bestandteile befasst sich mit einem Problem, das auftritt, sobald echte Dokumente eintreffen.

Eingehende Dokumente trennen und klassifizieren

Dokumente kommen selten einzeln an. Eine einzige gescannte PDF-Datei kann einen Vertrag, zwei Anhänge und eine Kopie eines Personalausweises enthalten. Der erste Schritt besteht darin, diese zu trennen und festzustellen, um welche Art von Dokument es sich jeweils handelt. Der Dokumenttyp bestimmt, welche Felder extrahiert werden und welche Regeln gelten. Ist der Typ falsch, sind auch alle nachfolgenden Schritte falsch; daher wird eine Klassifizierung, bei der das Modell unsicher ist, markiert, anstatt weitergeleitet zu werden.

Ergebnisse validieren und bei Bedarf Prüfer hinzuziehen

Ein extrahierter Wert kann korrekt aussehen und dennoch falsch sein. Das Modell liest möglicherweise den Rechnungsbetrag mit hoher Sicherheit aus, obwohl dieser nicht mit der Summe der Einzelposten übereinstimmt. Die Ergebnisse werden anhand von Geschäftsregeln überprüft, bevor sie ein Zielsystem erreichen. Werte, die eine Prüfung nicht bestehen oder bei denen das Modell unsicher ist, werden an einen Prüfer weitergeleitet. Jede Korrektur wird gespeichert, sodass Sie im Laufe der Zeit erkennen können, wo die Modelle Fehler machen und welche Dokumenttypen besondere Aufmerksamkeit erfordern.

Zuverlässige Weiterverarbeitung auch bei Systemausfällen

Auch Systeme fallen mal aus. Ein ERP-System wird zum Monatsende gewartet, oder die Netzwerkverbindung bricht mitten in der Verarbeitung eines Stapels von zweitausend Rechnungen ab. In vielen Pipelines gehen die in Bearbeitung befindlichen Dokumente verloren oder werden doppelt verarbeitet, wenn jemand den Stapel neu startet. Der Accelerator zeichnet den Fortschritt jedes Dokuments Schritt für Schritt auf. Wenn das System wieder verfügbar ist, wird die Verarbeitung an der Stelle fortgesetzt, an der sie unterbrochen wurde, ohne dass Dokumente erneut verarbeitet werden müssen. Das Betriebsteam muss nicht rekonstruieren, was passiert ist, und die Finanzabteilung erhält dieselbe Rechnung nicht zweimal.

Jeder Ergebnis nachverfolgbar machen

Jedes Ergebnis lässt sich bis zu seinem Quelldokument, dem Modell und der Eingabeaufforderung, die es erzeugt haben, der Konfidenz pro Feld und, falls zutreffend, der Person, die es überprüft hat, zurückverfolgen. Wenn ein Kunde einen Wert beanstandet oder ein Prüfer fragt, wie eine Entscheidung getroffen wurde, liegt die Antwort innerhalb weniger Minuten vor. Regulierte Organisationen benötigen dies, bevor sie KI in einem Geschäftsprozess einsetzen, und es bietet die Nachweispflicht, die Regulierungsbehörden – auch im Rahmen des EU-KI-Gesetzes – zunehmend erwarten.

Performance überwachen und Veränderungen erkennen

Die Rückverfolgbarkeit liefert Erklärungen für einzelne Ergebnisse, während die Überwachung zeigt, wie der Prozess insgesamt funktioniert. Der Accelerator erfasst die Daten, die für die Berichterstattung über Volumen und Durchsatz, den Anteil der ohne menschliches Eingreifen verarbeiteten Dokumente, die Größe der Überprüfungswarteschlange, Fehler nach Verarbeitungsschritt und angeschlossenem System sowie die Kosten pro Dokument benötigt werden. In jedem Projekt richten wir die Dashboards ein, die zum jeweiligen Prozess passen. Veränderungen bei diesen Kennzahlen sind oft das erste Anzeichen für ein Problem. Wenn ein großer Lieferant das Layout seiner Rechnungen ändert, kann die Zuverlässigkeit für diesen Dokumenttyp sinken und die Überprüfungswarteschlange anwachsen. Wenn ein neuer Dokumenttyp in großen Mengen eintrifft, können die Kosten pro Dokument steigen. Durch die Überwachung kann das Team diese Veränderungen innerhalb weniger Tage erkennen und die Regeln, Aufforderungen oder die Modellauswahl anpassen, bevor sich ein Rückstand bildet.

Der Accelerator basiert auf von uns bereitgestellten Produktionssystemen, darunter eines für eine Organisation im Gesundheitswesen, die mehr als 370 Dokumenttypen verarbeitet, und eines für eine europäische Bank. Sein Design spiegelt die Erkenntnisse wider, die wir bei diesen Projekten gewonnen haben.

Entwurfsentscheidungen für die Produktion

Sie entscheiden, wo der Accelerator ausgeführt wird: in Ihrer Azure-Umgebung, auf Ihrer eigenen Infrastruktur oder in einer souveränen Cloud. Außerdem wählen Sie die Modelle für jeden Schritt aus, beispielsweise für OCR, Klassifizierung und Extraktion. Dabei kann es sich um Clouddienste wie Azure OpenAI und Azure Document Intelligence handeln oder um offene Modelle, die vollständig in Ihrer Umgebung gehostet werden. Im Gesundheitswesen setzen wir bereits selbst gehostete Modelle auf „Confidential Compute“ ein, sodass Dokumente innerhalb der kontrollierten Umgebung verbleiben. Für viele europäische Organisationen ist dies eine Voraussetzung für den Einsatz von KI bei sensiblen Dokumenten.

Die Wahl eines Modells ist auch eine Kostenentscheidung. Der richtige Ansatz unterscheidet sich je nach Dokumenttyp und Schritt. Ein standardisiertes Formular mit hohem Durchsatz lässt sich oft mit OCR und einem kleinen, schnellen Modell verarbeiten, während ein komplexer Vertrag möglicherweise ein großes Sprachmodell erfordert. Ergebnisse mit geringer Konfidenz können an ein leistungsfähigeres Modell oder an einen Prüfer weitergeleitet werden. Für jeden Anwendungsfall wägen wir Genauigkeit, Kosten pro Dokument und Zuverlässigkeit ab und passen das Gleichgewicht an, wenn sich Volumina und Dokumenttypen ändern.

Cegeka stellt den Accelerator im Rahmen eines Projekts bereit, ohne SaaS-Abonnement. Die Lösung wird in Ihrer Umgebung bereitgestellt, auf Ihre Dokumente und Prozesse zugeschnitten und steht Ihnen zum Betrieb, zur Erweiterung und zur Verwaltung zur Verfügung.

Ein guter Ausgangspunkt ist ein dokumentenintensiver Prozess, bei dem eine Demo vielversprechend aussah, der Weg zur Produktreife jedoch noch unklar ist. Wir können diesen Prozess gemeinsam bewerten, die Voraussetzungen für einen zuverlässigen Betrieb ermitteln und die Architektur besprechen. Besuchen Sie unsere Seite zu Dokumentenverarbeitung mit KI, um mit uns Kontakt aufzunehmen.