TL;DR:
Das Kernproblem. Tabellarische Daten aus der Praxis liegen selten in Form übersichtlicher Zahlenspalten vor. Sie enthalten neben numerischen Werten auch Freitext, wie beispielsweise Stellenbeschreibungen. Jüngste Forschungsergebnisse zeigen, dass die Kodierung dieser Textspalten die Leistung von Tabular Foundation Models (TFMs) bei überwachten Aufgaben verbessert. Ob dieser Vorteil auch bei der unüberwachten Anomalieerkennung bestehen bleibt, bei der kein Label das Modell auf den relevanten Teil der Darstellung hinweist, ist eine offene Frage.
Methodik und Aufbau. Als Detektoren dienen drei TFMs, nämlich TabPFN Unsupervised, FoMo-0D und AnoLLM. Sie treten gegen vier klassische Baseline-Detektoren an, die mittels Rastersuche optimiert wurden, während die TFMs in ihrer Standardkonfiguration liefen, sodass die Chancen bewusst gegen die Hypothese gesteckt wurden. Als Testumgebung dienen zwei Datensätze mit sehr unterschiedlichen Anteilen an Freitext: „Fake Job Postings“ und „Airbnb Paris“. Um herauszufinden, welchen Beitrag der Text tatsächlich leistet, werden externe Einbettungen (FastText und ein Sentence Transformer) sowie TFM-interne Darstellungen mit einer textfreien Referenz verglichen.
Wichtigste Ergebnisse
- Der Text ist nicht das Problem. Eine SHAP-Attribution bestätigt diese Prämisse von vornherein. Freitext enthält echte Vorhersagesignale und dominiert die einflussreichsten Attribute im textreichen Datensatz.
- Kein Vorteil durch unüberwachte Methoden. Keine TFM-Methode übertrifft konsistent die optimierten Basismodelle wie ECOD und Isolation Forest, und die beiden rechenintensivsten Methoden verbrauchen um Größenordnungen mehr Rechenleistung, ohne dafür einen Mehrwert zu bieten.
- Einbettungen zahlen sich nur dort aus, wo der Text dicht ist. FastText, reduziert auf 30 Komponenten, verbessert die Erkennung im textreichen Datensatz, aber der Gewinn überträgt sich nicht auf den eher numerischen Datensatz. Keine Repräsentationsstrategie funktioniert für beide gleichermaßen.
- Der Engpass ist der Transfer, nicht die Modelle. Gibt man denselben Modellen und Repräsentationen ein Label, zeigen sie brillante Leistungen. Das Hindernis ist daher nicht die Qualität der Einbettungen, sondern deren intakte Einbindung in ein unüberwachtes Erkennungsverfahren.
Dieser Artikel wurde automatisch übersetzt. Original Artikel.
Data Scientists kennen dieses Problem nur zu gut. Tabellarische Daten aus der Praxis bestehen selten nur aus ordentlichen Zahlenreihen. Sie sind unübersichtlich, heterogen und oft vollgepackt mit Freitext-Spalten wie Stellenbeschreibungen, Kundenkommentaren oder klinischen Notizen. In traditionellen Workflows des maschinellen Lernens sind diese Textspalten in der Regel die ersten Opfer der Vorverarbeitung und werden komplett verworfen, da sie zu komplex sind, um sie zusammen mit numerischen Merkmalen zu verarbeiten.
Doch Text birgt einen enormen semantischen Wert. In Bereichen wie Betrugserkennung, Cybersicherheit oder vorausschauender Wartung verbergen sich Anomalien oft genau dort im Text. In jüngster Zeit haben Tabular Foundation Models (TFMs) für große Begeisterung gesorgt. Andere Studien haben gezeigt, dass die Umwandlung dieser Textspalten in dichte Vektor-Einbettungen die Leistung eines Modells erheblich steigern kann.
Es gibt nur einen Haken. Fast alle diese Erkenntnisse stammen aus dem überwachten Lernen. Doch was passiert bei der unüberwachten Anomalieerkennung, bei der wir keine Labels haben, um das Modell anzuleiten?
Die Modelle
Im Mittelpunkt dieser Arbeit stehen fünf Grundmodelle. Was sie voneinander unterscheidet, ist nicht ihre Größe, sondern die Art und Weise, wie sie mit Zahlen und Text umgehen.
TabPFN-3 und TabPFN Unsupervised sind Netzwerke, die anhand von A-priori-Daten angepasst wurden. Sie werden mit synthetischen Daten trainiert, die aus statistischen A-priori-Verteilungen stammen, und geben ihre Vorhersagen durch kontextbasiertes Lernen in einem einzigen Vorwärtsdurchlauf ab. TabPFN-3 dient als überwachtes Kontrollmodell und liefert die internen Repräsentationen, die wir später anstelle der Rohspalten an die klassischen Detektoren weiterleiten – ein Ansatz, den wir als „erweiterte Baselines“ bezeichnen. Die unüberwachte Variante benötigt keine Labels und fungiert direkt als Detektor.
FoMo-0D ist der Außenseiter – im positiven Sinne. Es ist das einzige Modell hier, das von Grund auf für die Erkennung tabellarischer Ausreißer konzipiert wurde und nicht aus einem Klassifikator umfunktioniert wurde. Es läuft im Zero-Shot-Modus und ist mit Abstand das schnellste Modell im Vergleich, was es zum natürlichen direkten Konkurrenten im unüberwachten Benchmark macht.
AnoLLM kehrt den gesamten Ansatz um. Es serialisiert jede Zeile in Text und übergibt sie an ein Sprachmodell. Freitext bleibt dabei unverändert, Zahlen verlieren auf dem Weg ihre mathematische Präzision, und die Rechenkosten steigen stark an.
ConTextTab liegt dazwischen. Es kombiniert die PFN-Architektur mit Embeddings des Sentence Transformer und wurde an realen Tabellen statt an synthetischen Prioren trainiert. Da es keine Anomalien erkennen kann, greift es auf die SHAP-Attribution und eine zweite überwachte Kontrolle zurück.
Warum diese fünf?
Jedes Modell repräsentiert eines der drei Paradigmen im tabellarischen Raum, und jedes Paradigma setzt auf eine andere Annahme darüber, wo das Signal zu finden ist. PFNs setzen auf Verteilungen und ignorieren, was eine Spalte tatsächlich bedeutet. LLM-basierte Modelle setzen auf Semantik und zahlen dafür mit numerischer Genauigkeit. Hybride Modelle versuchen, beides zu vereinen. Wenn man nur ein Paradigma testet, sagt ein negatives Ergebnis nichts über die anderen aus.
Der zweite Grund ist für das Fachgebiet weniger schmeichelhaft. Der Pool an Kandidaten ist dünn. Die meisten tabellarischen Grundmodelle sind entweder nicht für die Anomalieerkennung ausgelegt oder können Freitext nicht nativ verarbeiten, und diese Arbeit benötigt Modelle, die mindestens eines von beiden leisten. Was wie eine kuratierte Auswahl aussieht, ist zum Teil einfach die Menge der Modelle, die für die Aufgabe geeignet sind.
Zusammen decken die fünf Modelle das Spektrum zwischen statistischer Genauigkeit und semantischer Dichte ab. Diese Spannung soll durch die Experimente aufgezeigt werden.
Die zwei Datensets
Alles basiert auf zwei Tabellen, die ausgewählt wurden, weil sie sich darin unterscheiden, wie viel der Inhalt im Text enthalten ist.
„Fake Job Postings“ ist die textreiche Tabelle. Sie enthält Stellenanzeigen mit fünf Freitext-Spalten, verfügt über eine integrierte Betrugsmarkierung, und etwa 4,84 Prozent ihrer Zeilen sind Anomalien.
„Airbnb Paris“ ist der eher zahlenorientierte Datensatz. Er umfasst im September 2025 gesammelte Inserate, die auf eine einzige Stadt beschränkt sind, damit Sprache und Spaltenstruktur einheitlich bleiben, und enthält unter 43 Attributen vier Freitext-Spalten. Da er keine native Anomalie-Kennzeichnung enthält, haben wir eine anhand der Nutzerbewertungen erstellt, indem wir eine 5,0 als normal und alles bei oder unter 3,0 als anomal behandelt und den mittleren Bereich weggelassen haben. Das ist eine bewusste, aber willkürliche Operationalisierung, die sich, wie sich herausstellt, auf die Ergebnisse auswirkt.
Eine Zahl sollten Sie für alles, was nun folgt, im Hinterkopf behalten: Bei Anomalieraten unter fünf Prozent erreicht bereits eine zufällige Rangfolge einen AUPRC-Wert von etwa 0,05. Jeder darunter liegende Wert wird an dieser Untergrenze gemessen, nicht an 1,0.
Das Dilemma der unüberwachten Erkennung
Bei einer überwachten Klassifizierungsaufgabe fungiert die Klassifizierung wie ein Kompass. Sie teilt dem Modell genau mit, welcher Teil einer hochkomplexen Text-Einbettung für die Vorhersage des Ziels relevant ist.
Bei der unüberwachten Anomalieerkennung nehmen wir diesen Kompass weg. Der Detektor muss allein anhand der Geometrie des Eingaberaums herausfinden, was normal und was anomal ist. Wir wollten herausfinden, ob die viel gepriesenen Tabular Foundation Models und fortschrittlichen Text-Embeddings auch dann noch bestehen können, wenn sie „blind fliegen“.
Die Auswertung erfolgt in drei Schritten. Zunächst vergleichen wir die reine, unüberwachte Leistung von TabPFN Unsupervised, FoMo-0D und AnoLLM mit klassischen Detektoren wie Isolation Forest, ECOD, LODA und einem Autoencoder. Anschließend testen wir, ob die Umwandlung von Freitext in Vektor-Embeddings diesen klassischen Algorithmen einen semantischen Schub verleiht. Schließlich führen wir eine überwachte Kontrolluntersuchung durch, um herauszufinden, ob etwaige Mängel auf die Modelle oder auf das fehlende Label zurückzuführen sind.
Ein Detail zur Fairness sollte vorab erwähnt werden. Die Baseline-Detektoren wurden durch eine umfassende Rastersuche optimiert, während die TFMs in ihren Standardkonfigurationen liefen. Diese Asymmetrie spricht gegen unsere eigene Hypothese, und wir haben sie bewusst beibehalten, damit niemand die Ergebnisse als Artefakt der Optimierung abtun kann.
Die Ergebnisse: Hype vs. Realität
Die Ergebnisse zeigen klar den aktuellen Stand der Foundation-Modelle bei der Anomalieerkennung.
1. David gegen Goliath: Die „Shallow“-Modelle gewinnen weiterhin
Es herrscht die weit verbreitete Erwartung, dass der Einsatz eines großen, vortrainierten Modells bei einem schwierigen Problem naturgemäß zu überlegenen Ergebnissen führt. Bei der unüberwachten Anomalieerkennung hat sich diese Erwartung im Vergleich mit den Daten nicht bestätigt. Kein TFM erzielte über beide Datensätze hinweg einen konsistenten Vorteil gegenüber den optimierten Basismodellen.
Auf dem eher numerischen Airbnb-Datensatz lagen die beiden besten Modelle, ECOD und Isolation Forest, vor allen Foundation-Modellen. Das schwächste Modell war FoMo-0D, das im Grunde genommen den Zufallswert darstellt, obwohl es das einzige Modell war, das speziell für diese Aufgabe entwickelt wurde. Im textreichen Datensatz „Fake Job Postings“ erzielte AnoLLM die höchste Punktschätzung, obwohl der Abstand zu den optimierten Basismodellen innerhalb einer Standardabweichung blieb. Dieser Wert unterliegt zudem anderen Regeln, da AnoLLM das einzige Modell in diesem Experiment ist, das die Zeile selbst serialisiert und somit die Freitext-Spalten sieht, während alle anderen mit der textfreien numerischen Tabelle arbeiten.
Über die Genauigkeit hinaus ist der Rechenaufwand der entscheidende Faktor für den produktiven Einsatz. Die statistischen Detektoren waren in deutlich weniger als drei Sekunden fertig. Während der Autoencoder etwa zweieinhalb Minuten benötigte, brauchte TabPFN Unsupervised mehrere Minuten und AnoLLM etwa eineinhalb Stunden pro Durchlauf bei beiden Datensätzen. Die Ironie dabei ist, dass das schnellste Modell im gesamten Vergleich ein gefundenes
Abgesehen von der Genauigkeit ist die Rechenleistung der entscheidende Faktor für die Produktion. Die statistischen Detektoren waren in deutlich weniger als drei Sekunden fertig. Während der Autoencoder etwa zweieinhalb Minuten benötigte, brauchte TabPFN Unsupervised mehrere Minuten, und AnoLLM benötigte bei beiden Datensätzen etwa eineinhalb Stunden pro Durchlauf. Die Ironie dabei ist, dass das schnellste Modell im gesamten Vergleich ein Foundation-Modell ist, da FoMo-0D die Ergebnisse in etwa 0,2 Sekunden liefert. Die Geschwindigkeit ist nicht das Problem bei TFMs, sondern die Erkennungsqualität, die die langsamen Modelle rechtfertigen würde.
2. Die Embedding-Falle und was ihr tatsächlich entgeht
Bevor wir Text kodierten, haben wir die Prämisse überprüft. Eine SHAP-Attribution auf ConTextTab, bei der jede Freitext-Spalte als einzelnes Attribut behandelt wird, bestätigte, dass der Text einen echten Vorhersagewert besitzt. Bei den gefälschten Stellenanzeigen landeten alle fünf Textspalten unter den zehn einflussreichsten Attributen, wobei das Unternehmensprofil weit vor dem stärksten numerischen Attribut lag. Bei Airbnb ist das Bild ausgewogener, doch die Textspalten rangieren trotz ihres geringen Anteils an der Tabelle immer noch unter den Top-Attributen.
Die Informationen sind also vorhanden. Die Frage ist, ob ein unüberwachter Detektor darauf zugreifen kann. Wir haben drei Repräsentations-Pipelines entwickelt, nämlich FastText als effiziente Wortvektor-Baseline, den Sentence Transformer „all-mpnet-base-v2“ für einen tieferen Kontext auf Satzebene und interne TabPFN-Repräsentationen als diagnostische Kontrolle. Da hochdimensionale Einbettungen distanz- und dichtebasierte Detektoren beeinträchtigen, haben wir jede Variante mit einer unüberwachten PCA reduziert, bevor wir sie mit den numerischen Attributen verkettet haben. Die resultierende Pipeline ist unten dargestellt:
Die Ergebnisse
Das Ergebnis hängt von der semantischen Dichte des Datensatzes ab. Bei den textreichen „Fake Job Postings“ hebt FastText mit einer aggressiven PCA jeden einzelnen der vier Detektoren über die textfreie Referenz, und bei „Isolation Forest“ ist der Gewinn groß genug, um das Rauschen zwischen den Durchläufen zu überstehen. Beim eher zahlenlastigen Datensatz „Airbnb Paris“ zieht genau dasselbe Verfahren jeden Detektor nach unten. Der „Sentence Transformer“ hilft so gut wie nirgendwo. Und in fast jedem Vergleich, den wir durchgeführt haben, war eine stärkere Reduzierung der Einbettung einer sanften Reduzierung überlegen – was verdeutlicht, wie viel von diesem Vektorraum diese Detektoren als reines Rauschen wahrnehmen.
Es gibt also keine Darstellungsstrategie, die bei beiden Datensätzen funktioniert, und diejenige, die hilft, lässt sich nicht übertragen. Genau hier unterscheiden sich unsere unüberwachten Ergebnisse von den überwachten Befunden anderer Arbeiten, in denen Text-Einbettungen die Leistung auf dem Benchmark insgesamt verbessert haben.
Die semi-überwachten TabPFN-Darstellungen, die auf das tatsächliche Label angepasst wurden, schärfen die Diagnose. Bei den gefälschten Stellenanzeigen schlugen sie im Vergleich alle anderen Methoden, was beweist, dass die Detektoren durchaus in der Lage sind, eine angereicherte Darstellung zu nutzen, sobald die Informationen in einer zugänglichen Form vorliegen. Bei Airbnb Paris versagt sogar diese labelbasierte Darstellung bei drei der vier Detektoren. Das fehlende Label ist daher nicht das einzige Hindernis, und das zweite Hindernis erweist sich als das Label selbst.
3. Es liegt nicht am Modell, sondern an der fehlenden Klassifizierung
Sind TFMs und Text-Embeddings also von Natur aus schlecht darin? Keineswegs. Wir haben denselben Modellen dieselben Daten mit einer zugehörigen Zielklassifizierung vorgelegt und die Aufgabe in eine überwachte Klassifizierung umgewandelt.
Bei gefälschten Stellenanzeigen stieg die Leistung sprunghaft an. ConTextTab erreichte fast eine perfekte Punktzahl, und TabPFN lag nicht weit dahinter. Die Darstellungen, die im Dunkeln nutzlos schienen, erweisen sich als äußerst informativ, sobald etwas auf das Wesentliche hinweist. Das ist das zentrale Ergebnis dieser Arbeit. Der Engpass liegt nicht in der Qualität der Darstellung, sondern in der Übertragung auf ein unüberwachtes Verfahren.
Airbnb Paris erzählt die andere Hälfte der Geschichte. Selbst bei vollständiger Überwachung stoßen die Modelle an ihre Grenzen. Sie ordnen die Inserate zwar gut ein, können aber die seltenen Fälle nicht mit Präzision herausfiltern. Ein aus Sternebewertungen erstelltes Label trennt die Klassen in einer Rangliste, ohne sie in der Geometrie des Eingaberaums zu trennen – und die Geometrie ist das Einzige, womit ein unüberwachtes Erkennungssystem arbeiten kann. Wo Ihr Label unscharf ist, hilft Ihnen keine Darstellung weiter.
Diskussion: Der Weg in die Zukunft
Auch wenn unsere Ergebnisse wie ein Rückschlag für TFMs bei der Anomalieerkennung erscheinen mögen, zeigen sie doch recht genau auf, in welche Richtung sich das Forschungsgebiet entwickeln muss.
Native Textintegration. Anstatt externe Einbettungen nachträglich auf tabellarische Daten aufzupflastern, müssen zukünftige Architekturen Freitext nativ verarbeiten. Modelle, die diese Darstellungen während des Trainings durchgängig erlernen, können den semantischen Kontext einer Tabelle weitaus besser erfassen als alles, was nachträglich angefügt wird. ConTextTab, das auf echten Tabellen trainiert wurde und die Spaltensemantik beibehält, ist ein plausibler Ausgangspunkt.
Für Ausreißer konzipierte Zielfunktionen. Die Anomalieerkennung ist mit einem extremen Klassenungleichgewicht konfrontiert, und die Umnutzung eines Klassifikationsmodells für diesen Zweck ist eher eine Notlösung als ein durchdachtes Design. Unsere Ergebnisse deuten darauf hin, dass die Ableitung selbst das Problem ist, da die Darstellungen gut sind und nur ihre unüberwachte Verwendung versagt. Was fehlt, ist eine Möglichkeit, semantische Darstellungen ohne Label zu extrahieren.
Die Diskrepanz bei den Datensätzen. In der Open-Source-Forschung sind tabellarische Datensätze mit aussagekräftigen Freitext-Spalten und einer nativen Anomalie-Kennzeichnung so gut wie nicht vorhanden. In der Unternehmenspraxis sind sie hingegen allgegenwärtig. Diese Knappheit ist der Grund dafür, dass diese Studie auf zwei Datensätzen basiert und dass für einen davon eine konstruierte Kennzeichnung erforderlich war – und sie stellt einen Engpass für das gesamte Forschungsgebiet dar und ist nicht nur eine Besonderheit unseres Aufbaus.
Der Mangel an unüberwachten Grundmodellen. Betrachtet man die aktuelle Landschaft, wird die Lücke deutlich. Fast alles zielt auf überwachte Aufgaben ab, was genau dort eine Lücke hinterlässt, wo die industrielle Anomalieerkennung angesiedelt ist.
Erkenntnisse für Ihr nächstes Projekt
- Übertreiben Sie es nicht mit der Komplexität. Bei der unüberwachten Anomalieerkennung sind die klassischen Methoden nach wie vor die pragmatische Wahl. ECOD und Isolation Forest sind schnell, kostengünstig und kaum zu übertreffen, und nichts, was wir getestet haben, rechtfertigte es, eine Stunde GPU-Zeit für eine Alternative aufzuwenden.
- Einbettungen lohnen sich nur, wenn der Text informationsreich ist. Das Anhängen von Textvektoren ist kein Allheilmittel, aber auch nicht nutzlos. Bei einer Tabelle, in der Freitext einen großen Anteil des Signals ausmacht, verbesserte FastText mit einer aggressiven PCA die Erkennung. Bei einer überwiegend numerischen Tabelle verschlechterte dasselbe Vorgehen die Ergebnisse. Überprüfen Sie die semantische Dichte Ihrer Daten, bevor Sie in eine Pipeline investieren.
- Überprüfen Sie Ihre Labels, bevor Sie Ihrem Modell die Schuld geben. Wenn eine überwachte Kontrolle die Klassen nicht sauber trennen kann, hatte Ihr unüberwachter Detektor von vornherein keine Chance. Diese Überprüfung kostet einen Nachmittag und erspart Ihnen wochenlange Feinarbeit am falschen Ansatz.
- Warten Sie auf spezielle Architekturen. Die Zukunft für tabellarische Grundmodelle ist vielversprechend, aber es werden Modelle benötigt, die für unüberwachte Aufgaben vortrainiert sind, anstatt Klassifikationsmodelle, die zur Erkennung von Ausreißern zweckentfremdet werden.
