{"id":29813,"date":"2021-11-17T18:17:30","date_gmt":"2021-11-17T17:17:30","guid":{"rendered":"https:\/\/www.inovex.de\/de\/blog\/automatisch-gespeicherter-entwurf\/"},"modified":"2022-11-21T09:03:05","modified_gmt":"2022-11-21T08:03:05","slug":"inhaltsextraktion-strukturerkennung-pdf-dokumente","status":"publish","type":"post","link":"https:\/\/www.inovex.de\/de\/blog\/inhaltsextraktion-strukturerkennung-pdf-dokumente\/","title":{"rendered":"Inhaltsextraktion und logische Strukturerkennung in PDF-Dokumenten"},"content":{"rendered":"
Dieser Artikel erkl\u00e4rt, wie im Rahmen des \u201eService-Meister“ Forschungsprojekt\u00a0relevante Informationen aus Serviceberichten, Handb\u00fcchern, Anleitungen und allgemeine Ger\u00e4teinformationen gezielt durchsuchbar gemacht wurden, um sie in einer KI-Applikation abrufbar zu machen. <\/p>\n
Das Portable Document Format (PDF) ist das meistgenutzte Austauschformat f\u00fcr Dokumente. Im Gegensatz zu Dokumenten im strukturierten Extensible Markup Language Format (XML) oder im JavaScript Object Notation Format (JSON) weisen PDF-Dokumente keine maschinellelesbaren Strukturmarker auf, die beispielsweise definieren, wo ein neuer Abschnitt anfa\u0308ngt oder ob es sich bei einer bestimmten Textfolge um eine Tabelle handelt. PDF-Dokumente enthalten lediglich Anweisungen, wie die Seite geschrieben wird. S\u00e4tze, Paragraphen und Kapitel werden als eine Menge von Zeichen repr\u00e4sentiert, deren Reihenfolge im Dokument nicht mit der Ordnung in der grafischen Ausgabe \u00fcbereinstimmen muss.<\/p>\n
Bei der Extraktion von Inhalten aus Dokumenten kommt es daher oft zu Problemen. Das Erkennen von W\u00f6rtern und Paragraphen muss \u00fcber Heuristiken durchgef\u00fchrt werden und erfolgt meist basierend auf Abst\u00e4nden zwischen den Zeichen, was jedoch Fehler mit sich bringt. H\u00e4ufig gibt es Zeichen, die zwar nicht sichtbar sind, aber extrahiert werden, z. B. weil der Text in letzter Minute noch angepasst wurde. Au\u00dferdem treten, beispielsweise in \u00dcberschriften, zus\u00e4tzliche Leerzeichen zwischen Zeichen auf. Diese dienen zur besseren Darstellung aber sorgen f\u00fcr eine verf\u00e4lschte Extraktion. Andersherum fehlen oft Leerzeichen zwischen W\u00f6rtern. Auch Sonderzeichen werden h\u00e4ufig nicht richtig codiert und falsch extrahiert. Hinterlegte Metadaten, beispielsweise \u00fcber den Autor, das Erstelldatum und die vorhandenen Kapitel, sind oftmals fehlerhaft oder \u00fcberhaupt nicht vorhanden. Da PDF-Dokumente zur Darstellung konzipiert sind, werden Tabellen und Bilder nicht gesondert gespeichert. Deswegen ist es schwierig Bilder und Tabellen korrekt zu extrahieren und deren Position im Gesamtkontext zu bestimmen.<\/p>\n
Im Service-Meister Forschungsprojekt erstellt inovex gemeinsam mit Krohne, einem f\u00fchrenden Anbieter f\u00fcr Prozessmesstechnik, in einem geschlossenen Teilvorhaben KI-Applikationen f\u00fcr die Wasser- und Abwasserwirtschaft. In diesem Teilvorhaben sollen u. a. Servicetechniker bei Wartungs- und Reparaturarbeiten unterst\u00fctzt werden. Hierf\u00fcr sollen relevante Informationen aus Serviceberichten, Handb\u00fcchern, Anleitungen und allgemeine Ger\u00e4teinformationen gezielt durchsuchbar gemacht werden.<\/p>\n
Daf\u00fcr ist es notwendig, relevante Textabschnitte, Tabellen und Bilder aus den Dokumenten zu extrahieren, mit externen Informationen anzureichern und effizient durchsuchbar zu machen. Alle relevanten Dokumente liegen in unserem Use Case ausschlie\u00dflich als PDF-Dokumente vor und beinhalten die oben aufgelisteten Probleme.<\/p>\n
Python-Bibliotheken f\u00fcr die Extraktion von PDF-Inhalten<\/h2>\n
F\u00fcr die Extraktion von Inhalten aus PDF-Dokumenten stehen viele frei benutzbare Python-Bibliotheken zur Verf\u00fcgung. Im Detail haben wir uns die folgenden PDF-Bibliotheken f\u00fcr die Extraktion von Text, Bildern, Inhaltsverzeichnissen und Tabellen angeschaut: PDFMiner, Apache Tika, PyPDF, PyMuPDF, Camelot, tabula-py und PDFPlumber. In Tabelle 1 befindet sich eine \u00dcbersicht der Bibliotheken mit ihren f\u00fcr uns relevanten Funktionsumf\u00e4ngen.<\/p>\n
\n
Tabelle 1: \u00dcbersicht der getesteten Python Bibliotheken zur Extraktion von PDF-Inhalten.<\/caption>\n
Bibliotheken f\u00fcr die Text- und Bildextraktion<\/h3>\n
Zur Extraktion von Text und Bildern wurden die Python-Bibliotheken PDFMiner, Apache Tika, PyPDF, PyMuPDF und PDFPlumber miteinander verglichen. Mit allen Bibliotheken konnte der Text erfolgreich extrahiert werden. Mit PDFMiner konnten wir bereits mit Standardparametern in unserem konkreten Anwendungsfall die beste Textextraktion erzielen. Au\u00dferdem wurde die Reihenfolge mit Ausnahme von Kopf- und Fu\u00dfzeile meist in der richtigen Reihenfolge extrahiert. Durch eine Vielzahl von Parametern ist es zudem m\u00f6glich, die Extraktion weiter anzupassen und zu verbessern. Hinzu kommt, dass es viele Quellen zur Nutzung von PDFMiner im Internet gibt.<\/p>\n
Bilder k\u00f6nnen als Rastergrafik oder als Vektorgrafik im PDF-Dokument hinterlegt werden. Vektorgrafiken konnten weder mit den oben genannten Bibliotheken, noch mit webbasierten Tools wie beispielsweise PDFCandy, PDFaid, ExtractPDF und pdf-online erkannt und extrahiert werden. Rastergrafiken konnten wir in unseren Dokumenten mit PDFMiner, Apache Tika, PyPDF, PyMuPDF und PDFPlumber erfolgreich extrahieren. Aufgrund der guten Ergebnisse bei der Textextraktion, der ausf\u00fchrlichen Dokumenten und der aktiven Community haben wir uns entschieden, PDFMiner f\u00fcr die Bild und Textextraktion zu verwenden.<\/p>\n
Bibliotheken f\u00fcr die Tabellenextraktion<\/h3>\n
F\u00fcr die Tabellenextraktion eignen sich Camelot, tabula-py und PDFPlumber, da es mit ihnen m\u00f6glich ist, Tabellen explizit z. B. als pandas DataFrame zu extrahieren. Die Extraktionsqualit\u00e4t mit Camelot ist dabei bereits mit Standardparametern besser als bei tabula-py und PDFPlumber. Au\u00dferdem k\u00f6nnen viele hilfreiche Parameter angepasst werden. Aus diesen Gr\u00fcnden haben wir uns f\u00fcr Camelot zur Tabellenextraktion entschieden. Besonders n\u00fctzliche Parameter bei Camelot sind der Accuracy Parameter, \u00a0der die Korrektheit der Extraktion approximiert, und der Whitespace Parameter, der angibt, wieviel Prozent der Tabelle leer sind. Mithilfe dieser Parameter k\u00f6nnen viele inkorrekt extrahierte Tabellen erkannt und entfernt werden. Ein Nachteil von Camelot ist allerdings die schlechte Performance beim Extrahieren von Tabellen- und Spaltennamen. Falls keine gesonderte Textextraktion zur Bestimmung der Namen erfolgt, k\u00f6nnte PDFPlumber die bessere Wahl sein.<\/p>\n
Bibliotheken f\u00fcr die Extraktion des Inhaltsverzeichnisses<\/h3>\n
Da PDFMiner und PyMuPDF bereits f\u00fcr die Text- und Bildextraktion sehr gute Ergebnisse geliefert haben und die Dokumentation bei PyPDF nicht sehr umfassend ist, konzentrierte sich der Vergleich bei der Inhaltsverzeichnisextraktion auf PDFMiner und PyMuPDF. Da alle g\u00e4ngigen Python-Bibliotheken das Inhaltsverzeichnis basierend auf den Metadaten extrahieren, funktioniert die Extraktion nur dann, wenn diese Daten korrekt hinterlegt sind. Obwohl die Extraktionsqualit\u00e4t bei beiden Bibliotheken sehr \u00e4hnlich war, entschieden wir uns f\u00fcr PyMuPDF, da es hier sehr einfach ist die Seitenzahlen der Kapitel auszulesen und generell weniger Code ben\u00f6tigt wird.<\/p>\n
Informationsextraktion aus PDF-Dokumenten im Service-Meister-Forschungsprojekt<\/h2>\n
Die PDF-Dokumente bestehen aus Kapiteln, welche wiederum aus Unterkapiteln bestehen. Diese beinhalten Textelemente, Tabellen und Bilder, welche mithilfe der unterschiedlichen Bibliotheken extrahiert werden m\u00fcssen. Ein Ausschnitt aus dem PDF-Dokument befindet sich auf Abbildung 1.<\/p>\nAbbildung 1: Ausschnitt einer Seite aus dem Krohne-Handbuch im PDF-Format. (Seite 30, Optiflux 1000).<\/figcaption><\/figure>\n
Die extrahierten Elemente \u00fcberf\u00fchren wir in ein strukturiertes JSON-Format und speichern sie dann in Elasticsearch, um eine effiziente Suche zu erm\u00f6glichen.<\/p>\n
Extraktion von Texten<\/h3>\n
Als Ausgabe erhalten wir durch PDFMiner einen zusammenh\u00e4ngenden String einer Seite oder des gesamten PDF-Dokuments. Wir iterieren \u00fcber jede Seite einzeln und zerlegen den Textblock mithilfe der spaCy Bibliothek in S\u00e4tze. Daraufhin trennen wir S\u00e4tze mit doppeltem Zeilenumbruch (\\n\\n) und S\u00e4tze mit einfachem Zeilenumbruch, die mit keinem g\u00e4ngigen Satzende wie Punkt oder Ausrufezeichen enden. Au\u00dferdem entfernen wir \u00fcberfl\u00fcssige Leerzeichen. Schlussendlich entfernen wir alle verbleibenden Zeilenumbr\u00fcche in S\u00e4tzen, da diese in der finalen Ausgabe nicht mehr ben\u00f6tigt werden.<\/p>\n
Beispiel:<\/strong> Abbildung 2 zeigt einen Ausschnitt aus dem Krohne-Handbuch, dessen Text extrahiert werden soll.<\/p>\nAbbildung 2: Zu extrahierender Text aus dem Krohne-Handbuch (Seite 8, Optiflux 1000).<\/figcaption><\/figure>\n
Nach der Extraktion durch PDFMiner erhalten wir den folgenden zusammenh\u00e4ngenden Textblock:<\/p>\n
\u201e1 SAFETY INSTRUCTIONS \\n\\nOPTIFLUX 1000\\n\\n1.3.5 Warnings and symbols used\\n\\nSafety warnings are indicated by the following symbols.\\n\\nDANGER!\\nThis information refers to the immediate danger when working with electricity.\u201c<\/p>\n
Nach der zus\u00e4tzliche Verarbeitung wird der Text in einzelne Eintr\u00e4ge aufgeteilt und sieht wie folgt aus:<\/p>\n
‚1 SAFETY INSTRUCTIONS‘ \n‚OPTIFLUX 1000‘ \n‚1.3.5 Warnings and symbols used‘ \n‚Safety warnings are indicated by the following symbols.‘ \n‚DANGER!‘ \n‚This information refers to the immediate danger when working with electricity.‘<\/p>\n
Extraktion von Bildern<\/h3>\n
Um das Problem von kleinen Bildern, die wir nicht extrahieren wollen, zu l\u00f6sen, filtern wir basierend auf der Bild- und Dateigr\u00f6\u00dfe. Die extrahierten Rastergrafiken speichern wir als Base64-String und als Bild-Embeddings (hochdimensionale numerische Bilddarstellungen), um so in Zukunft einen \u00c4hnlichkeitsvergleich zwischen den Bildern zu erm\u00f6glichen.<\/p>\n
Extraktion von Tabellen<\/h3>\n
Nach der Extraktion durch Camelot filtern wir die Tabellen basierend auf dem Accuracy Parameter und dem Whitespace Parameter. Wir behalten nur Tabellen, die eine Accuracy > 75 und maximal 90% Whitespace haben. Au\u00dferdem entfernen wir Tabellen, die aus einer einzigen Spalten bestehen, da es sich hierbei um Fehler in der Extraktion handelt. Alle verbleibenden Tabellen werden als CSV-Dateien gespeichert.<\/p>\n
Extraktion von Inhaltsverzeichnissen<\/h3>\n
Zur Extraktion von Inhaltsverzeichnissen (IHV) verwenden wir die Python-Bibliothek PyMuPDF, falls die Kapitelinformationen in den Metadaten gespeichert sind. Dies ist jedoch leider nur bei wenigen PDF-Dokumenten der Fall. Au\u00dferdem sind die gespeicherten Kapitelinformationen oft falsch und beziehen sich auf einzelne Textabschnitte mit falschen Seitenzahlen statt auf Kapitel. PyMuPDF verwenden wir deswegen nur dann, wenn Kapitelinformationen existieren und jeder Eintrag eine sinnvolle dazugeh\u00f6rige Seitenzahl (ungleich -1) beinhaltet. Ist dies nicht der Fall, verwenden wir einen eigenen Ansatz, der auf dem bereits extrahierten Text basiert:<\/p>\n
Daf\u00fcr m\u00fcssen wir als Erstes herausfinden, welche Seiten zum IHV geh\u00f6ren. Falls bereits ein Teil des IHV identifiziert wurde, ignorieren wir Seiten, deren vorherige Seite nicht bereits Teil des IHV war, da das IHV ein zusammenh\u00e4nges Kapitel ist. Wir bezeichnen eine Seite nur als Teil des IHV wenn mindestens 30% der Zeilen typische Kriterien eines Inhaltsverzeichniseintrags erf\u00fcllen. Dazu geh\u00f6rt beispielsweise dass der Eintrag am Ende eine Zahl hat, welche die Startseite des Kapitels angibt. Au\u00dferdem muss sich die Startseite innerhalb des Dokuments befinden und gr\u00f6\u00dfer als die des vorherigens Kapiteleintrags sein, da ein IHV den chronologischen Aufbau des Dokuments beschreibt.<\/p>\n
Beispielsweise erf\u00fcllen Eintr\u00e4ge wie \u201eIntroduction 5\u201c oder \u201e1. Introduction…5\u201c alle Kriterien. Im Gegensatz dazu erf\u00fcllt weder die \u00dcberschrift \u201e1. Introduction\u201c aufgrund fehlender Seitenzahl noch der Produktname \u201eOptiflux 1000\u201c aufgrund der hohen Zahl au\u00dferhalb des PDFs alle Kriterien. Auch ein Eintrag wie \u201e1. Optiflux 10\u201c, der wie ein typischer IHV-Eintrag aussieht, wird nicht als solcher erkannt, wenn er beispielsweise auf den Eintrag \u201e2. Instructions…11\u201c mit einer h\u00f6heren Seitenzahl folgt.<\/p>\n
Zuordnung von Text zu Kapiteln<\/h3>\n
Um Servicetechnikern die passenden Textabschnitte zur\u00fcckgeben zu k\u00f6nnen, ist es essentiell, dass jeder Textabschnitt im Gesamtkontext des PDF-Dokuments eingeordnet werden kann. Um dies zu erm\u00f6glichen, m\u00fcssen wir f\u00fcr jeden extrahierten Texteintrag das dazugeh\u00f6rige Kapitel bestimmen.<\/p>\n
Alle Textelemente, die vor dem Inhaltsverzeichnis (IHV) sind, weisen wir dem Kapitel \u201eEinleitung\u201c zu. Eintr\u00e4ge im IHV und zwischen dem IHV und dem ersten weiteren Kapitel weisen wir das Kapitel \u201eInhaltsverzeichnis\u201c zu. Falls das Textelement weder zur Einleitung noch zum IHV geh\u00f6rt, wird zun\u00e4chst eine Liste aller Kapitel erstellt, die auf der derzeitigen Seite beginnen. Dann berechnen wir die Bigram-\u00c4hnlichkeit zwischen dem Textelement und den Kapitelnamen und verwenden den chronologisch ersten Kapitelnamen mit einer \u00c4hnlichkeit >= 0.6. Die Bigram-\u00c4hnlichkeit gibt in unserem Fall an, wie viele Bigramme (Sequenzen von zwei W\u00f6rtern) \u00fcbereinstimmen. Falls die \u00c4hnlichkeit hoch ist, ist die Wahrscheinlichkeit sehr hoch, dass es sich bei dem Textelement um den Kapitelnamen und somit den Beginn eines neuen Kapitels handelt. Wenn ein Textelement im sp\u00e4teren Teil des PDFs nicht selbst eine Kapitel\u00fcberschrift ist, wird das zuletzt gefundene Kapitel verwendet, da sich das Textelement in diesem befindet. Eine \u00dcbersicht befindet sich in Abbildung 3.<\/p>\nAbbildung 3: Workflow zur Zuordnung von Text zu Kapiteln<\/figcaption><\/figure>\n
Repr\u00e4sentation der PDF-Dokumente im JSON-Format<\/h3>\n
Nach der Extraktion werden die Elemente als JSON-Objekt gespeichert, transformiert und in Elasticsearch importiert. Ein Textelement beinhaltet dabei immer den Text eines ganzes Kapitels. Ein beispielhaftes JSON-Objekt sieht wie folgt aus:<\/p>\n
[\r\n {\r\n \"section\": \"Introduction\",\r\n \"content\": \"1 SAFETY INSTRUCTIONS OPTIFLUX 1000 1.3.5 Warnings and symbols used Safety warnings are indicated by the following symbols. DANGER! This information refers to the immediate danger when working with electricity\",\r\n \"uri\": \"...\",\r\n \"file_name\": \"OPTIFLUX_1000_Handbook_en.pdf\",\r\n \"type\": \"Handbook\",\r\n \"language\": \"en\",\r\n \"device\": \"OPTIFLUX 1000\",\r\n \"pages\": [\r\n 8\r\n ],\r\n \"images\": [\r\n {\r\n \"base64\": \"iVBORw0KG...\",\r\n \"embedding\": [\r\n 5.934669494628906,\r\n 20.147275924682617,\r\n 7.831840515136719,\r\n ...\r\n ],\r\n \"page\": 8\r\n }\r\n ]\r\n }\r\n]<\/pre>\n
Evaluation der Ergebnisse<\/h2>\n
Bei der Evaluierung der Ergebnisse ist es wichtig, sowohl die inhaltliche Korrektheit als auch die Reihenfolge der extrahierten Elemente zu \u00fcberpr\u00fcfen.<\/p>\n
Um die Performance unserer Extraktion einsch\u00e4tzen zu k\u00f6nnen, ist es notwendig zu wissen, wie eine komplett korrekte Extraktion aussehen w\u00fcrde. Hierf\u00fcr haben wir sowohl f\u00fcr die reine Textextraktion als auch f\u00fcr die Inhaltsverzeichnisextraktion einige Seiten manuell aus den PDF-Dokumenten kopiert. Um die Eintr\u00e4ge miteinander vergleichen zu k\u00f6nnen, weisen wir jedem mithilfe unseres Codes extrahierten Eintrag einen manuell extrahierten, korrekten Eintrag zu.<\/p>\n
Dies machen wir erneut unter Verwendung der Bigram-\u00c4hnlichkeit. Dazu weisen wir jedem extrahierten Eintrag den \u00e4hnlichsten korrekten zu, wobei darauf geachtet wird, dass kein Eintrag doppelt zugewiesen wird. Zur Evaluation der inhaltlichen Korrektheit iterieren wir \u00fcber alle extrahierten S\u00e4tze und berechnen den Durchschnitt aller Bigram-\u00c4hnlichkeitswerte. Dadurch erhalten wir einen Wert zwischen 0 und 1 der angibt, wie viele der Bigramme im Durchschnitt \u00fcbereinstimmen.<\/p>\n
Zur Evaluation der Reihenfolge iterieren wir \u00fcber alle extrahierten S\u00e4tze und vergleichen den Satz mit allen anderen extrahierten S\u00e4tzen. Hierbei k\u00f6nnen folgende zwei Fehler auftreten:<\/p>\n
1. Fehler: Der Index eines extrahierter Satz ist niedriger als der jetzige aber der Index des zugeh\u00f6rigen korrekten Satzes ist h\u00f6her. \n2. Fehler: Der Index eines extrahierter Satz ist h\u00f6her als der jetzige aber der Index des dazugeh\u00f6rigen korrekten Satzes ist niedriger.<\/p>\n
Nun berechnen wir, in wie vielen unserer Vergleiche kein Fehler auftrat und bekommen ebenso einen Wert zwischen 0 und 1, der uns ein Ma\u00df f\u00fcr die Korrektheit der Reihenfolge gibt. Diese etwas komplexere Fehlerberechnung basierend auf Vergleichen ist notwendig, da ein Vergleich basierend auf der absoluten Indexposition in diesem Fall nicht aussagekr\u00e4ftig ist. Der Grund hierf\u00fcr ist, dass die Anzahl der extrahierten und tats\u00e4chlich existierenden Elemente meist ungleich ist. Bei einer Verschiebung der Elemente um eine Position w\u00fcrde hier bereits kein Index mehr \u00fcbereinstimmen. \nBei unseren Experimenten ergaben sich f\u00fcr Text- und Inhaltsverzeichnisextraktion sowohl bei der Korrektheit des Inhalts als auch der Reihenfolge jeweils Werte zwischen 0.8 und 0.9.<\/p>\n
Fazit<\/h3>\n
Die Extraktion von Text, Bildern und Tabellen war aufgrund der Schwierigkeiten, die das Portable Document Format mit sich bringt, alles andere als einfach und funktionierte auch mit geeigneten Bibliotheken nicht komplett fehlerfrei. Mithilfe einiger eigener Ans\u00e4tze gelang es dennoch, s\u00e4mtliche relevante Inhalte aus den PDF-Dokumenten zu extrahieren und deren logische Struktur zu erkennen.<\/p>\n
In der Zukunft wollen wir die extrahierten Tabellen ebenfalls in einem geeigneten JSON-Schema ablegen und in Elasticsearch importieren. Hierf\u00fcr m\u00fcssen die Tabellen genauso wie Text und Bilder ihrem jeweiligen Kapiteln zugeordnet werden. Zur Erkennung von Vektorgrafiken wollen wir einen eigenen Ansatz implementieren, der die einzelnen PDF-Seiten zun\u00e4chst zu SVG konvertiert, um daraufhin die gesuchten Bilder identifizieren und extrahieren zu k\u00f6nnen.<\/p>\n
Au\u00dferdem wollen wir die extrahierten Bilder und Bild-Embeddings zur Produktidentifikation nutzen. Wir erlauben es Servicetechnikern, Produktbilder von ihrem Einsatz hochzuladen, woraufhin in Elasticsearch basierend auf den Bild-Embeddings das \u00e4hnlichste Bild identifiziert wird. Funktioniert die Suche, handelt es sich bei dem \u00e4hnlichsten Bild um dasselbe Produkt. Nach der Identifikation k\u00f6nnen zus\u00e4tzliche relevante Daten aus den PDF-Dokumenten zur Unterst\u00fctzung des Servicetechnikers zur\u00fcckgegeben werden.<\/p>\n
![\"Ausschnitt](\"https:\/\/www.inovex.de\/wp-content\/uploads\/PDF-Beispiel.png\")
![\"Zu](\"https:\/\/www.inovex.de\/wp-content\/uploads\/Abbildung_2.png\")
![\"Abb.](\"https:\/\/www.inovex.de\/wp-content\/uploads\/updated_workflow.png\")