In diesem Beitrag beleuchten wir, wie das ConvNeXt-Modell, ein fortschrittliches Vision Foundation Model, in Kombination mit einem Random-Forest-Klassifikator zur Klassifikation von Mammographien eingesetzt werden kann.
Die Brustkrebsdiagnose ist eine der größten Herausforderungen in der modernen Medizin. Mit über 70.000 neuen Fällen jährlich in Deutschland ist die Notwendigkeit präziser und effizienter Diagnosemethoden unerlässlich.
Traditionelle Verfahren wie Mammographien und Biopsien sind zwar effektiv bei der Erkennung von Brustkrebs, jedoch erfordern sie eine manuelle Auswertung, die Expertise in Anspruch nimmt. Obwohl diese Verfahren relativ sicher sind und eine geringe Fehleranfälligkeit aufweisen, ist der Zeitaufwand erheblich.
Die Integration moderner Technologien könnte die Frühdiagnose und Behandlung beschleunigen. Durch den Einsatz innovativer Ansätze, wie z. B. künstlicher Intelligenz oder Computer Vision, könnten wir die Effizienz der Diagnoseprozesse erhöhen, ohne die bewährten Methoden zu ersetzen. Foundation Models, insbesondere im Bereich der Bildverarbeitung, bieten hier vielversprechende Ansätze.
Brustkrebs
Brustkrebs, auch als Mammakarzinom bekannt, ist die häufigste Krebserkrankung bei Frauen. Im Jahr 2018 wurden in Deutschland etwa 70.000 neue Fälle diagnostiziert. Brustkrebs macht etwa ein Drittel aller Krebserkrankungen bei Frauen aus, wobei das durchschnittliche Erkrankungsalter bei 64 Jahren liegt. Das Risiko, im Laufe des Lebens an Brustkrebs zu erkranken, liegt bei etwa 12,5 %. Die Letalitätsrate beträgt 23 %.
Wie bei vielen Erkrankungen ist auch bei Brustkrebs eine frühzeitige Diagnose entscheidend, da die Heilungschancen bei frühzeitigem Erkennen deutlich besser sind. In den letzten Jahren haben medizinische Fortschritte die Heilungsraten verbessert. Die 5-Jahres-Überlebensrate in Deutschland liegt mittlerweile bei 88 %.
Diagnostik
Die Diagnostik von Brustkrebs in Deutschland folgt einem strukturierten Verfahren. Der erste Schritt ist oft das Screening mittels Mammographie, einer speziellen Röntgenuntersuchung, die Frauen zwischen 50 und 69 Jahren alle zwei Jahre kostenfrei angeboten wird. Diese Untersuchung hilft, kleine Tumore frühzeitig zu erkennen.
Obwohl die Falsch-positiv-Rate bei Mammographien als gering eingeschätzt wird, zeigen Studien, dass nach zehn Jahren mit jährlichen Screenings oder 20 Jahren mit zweijährlichen Untersuchungen etwa 50-60 % der Frauen mindestens einmal einen falsch-positiven Befund erhalten. Dies kann zu unnötigen Ängsten und weiteren invasiven Verfahren führen, wie z. B. Biopsien. Daher ist es wichtig, die bestehenden Diagnosemethoden zu verbessern, um die Genauigkeit zu erhöhen und die Belastung für die Patientinnen zu reduzieren.
Hier bieten KI-Modelle eine vielversprechende Chance, die Falsch-positiv-Rate zu verringern und die Diagnosesicherheit zu erhöhen. Durch den Einsatz moderner Technologien könnten wir die Effizienz der Diagnoseprozesse steigern und gleichzeitig das Screening-Erlebnis für die Patientinnen optimieren.
Bildgebung bei Brustkrebs: Mammographie
Die Mammographie ist eine zentrale Methode zur Früherkennung von Brustkrebs. Sie zeigt die Brust in zwei verschiedenen Ansichten, die mediolaterale oblique (MLO) und die craniocaudale (CC) Projektion, um eine detaillierte Darstellung der Strukturen zu ermöglichen.
- MLO ist eine Schrägaufnahme, die eine umfassende Darstellung der Brust einschließlich des oberen Brustgewebes ermöglicht.
- CC ist eine Horizontalaufnahme von oben nach unten, die primär die zentrale und untere Brust darstellt.
Verkalkungen und Massen
Verkalkungen sind kleine Kalziumablagerungen in der Brust, die auf einer Mammographie sichtbar sind. Sie können harmlos sein, aber es gibt auch Arten, die auf Brustkrebs hinweisen können.
Massen in der Brust bezeichnen feste oder flüssigkeitsgefüllte Klumpen, die verschiedene Ursachen haben können. Gutartige Massen wie Zysten oder Fibroadenome sind häufig und normalerweise harmlos. Bösartige Massen hingegen deuten auf Brustkrebs hin und müssen weiter untersucht werden.
Bei auffälligen Befunden wird oft eine Ultraschalluntersuchung durchgeführt, um den Befund zu überprüfen. Wenn nötig, kann eine Biopsie erfolgen, bei der Gewebeproben entnommen werden, um sicherzustellen, ob es sich um Krebs handelt.
Zusätzlich können bildgebende Verfahren wie die Magnetresonanztomographie (MRT) eingesetzt werden, um das Ausmaß der Erkrankung genauer zu bestimmen, insbesondere bei Hochrisikopatientinnen.
Foundation Models: Die Zukunft der KI
Foundation Models sind ein Durchbruch in der künstlichen Intelligenz. Sie werden auf umfangreichen Datenmengen vortrainiert und können eine Vielzahl von Aufgaben unterstützen, für die sie nicht explizit trainiert wurden. Mit nur minimalen Anpassungen können Foundation Models für sehr spezifische Aufgaben genutzt werden. Ein bekanntes Beispiel ist GPT-3, das für Sprachverarbeitungsaufgaben entwickelt wurde und als Basis für ChatGPT dient.
Vision Foundation Models: Das visuelle Pendant
Vision Foundation Models sind das Äquivalent zu Sprachmodellen, speziell für Bildverarbeitung. Sie werden auf großen Bilddatensätzen wie ImageNet vortrainiert und eignen sich für Aufgaben wie Bildklassifikation, Bildsegmentierung und Objekterkennung. Diese breite Einsatzmöglichkeit ist der große Vorteil gegenüber spezialisierten Modellen wie Inception, das auf Bildklassifikation beschränkt ist.
Aufbau von Vision Foundation Models
Diese Modelle bestehen typischerweise aus:
- Backbone-Netzwerk: Ein tiefes neuronales Netzwerk, das als Feature-Extractor dient.
- Attention-Mechanismen: Diese helfen dem Modell, relevante Bereiche in den Bilddaten zu identifizieren.
- Anpassungsschichten: Spezielle Schichten, die für spezifische Aufgaben hinzugefügt werden können.
ConvNeXt: Eine neue Ära der CNNs
ConvNeXt ist eine Weiterentwicklung traditioneller Convolutional Neural Networks (CNNs) und zielt darauf ab, deren Leistungsfähigkeit zu steigern. Diese Modelle sind einfach zu implementieren und effizient, mit weniger Bedarf an Hyperparameter-Tuning.
Merkmale von ConvNeXt
ConvNeXt-Modelle sind tiefer und breiter als herkömmliche CNNs, mit mehr Schichten und Filtern, um komplexe Muster zu erfassen und bedienen sich der Vorteile von CNNs und integrieren sie in das Schema von Foundation-Modellen. Moderne Trainingstechniken wie der AdamW-Optimierer stabilisieren und beschleunigen das Training. Datenanreicherungstechniken wie Mixup und Cutmix erweitern den Trainingsdatensatz künstlich und erhöhen die Robustheit der Modelle.
Ein herausragendes Merkmal von ConvNeXt ist das invertierte Bottleneck-Design, das von Vision Transformers inspiriert ist. Dieses Design erhöht die Dimensionen durch erweiterte Layer, die eine größere Anzahl von Kanälen bereitstellen, um mehr Informationen zu verarbeiten, bevor sie in einer nachfolgenden Schicht wieder reduziert werden. Dadurch wird eine effizientere Verarbeitung ermöglicht, da die Modelle in der Lage sind, komplexere Merkmale zu lernen.
Darüber hinaus werden spezifische Aktivierungs- und Normalisierungstechniken angewendet:
- Die GELU-Aktivierungsfunktion (Gaussian Error Linear Unit) ersetzt die herkömmliche ReLU-Funktion. GELU bietet eine sanftere Aktivierung, die dazu beiträgt, die Verteilung der Aktivierungen zu verbessern und die Lernfähigkeit des Modells zu erhöhen, indem sie eine probabilistische Aktivierung anwendet, die sowohl positive als auch negative Werte berücksichtigt.
- Layer Normalization wird anstelle von Batch Normalization verwendet. Der Vorteil von Layer Normalization liegt darin, dass es die Normalisierung auf der Ebene der einzelnen Schichten anwendet, was insbesondere bei variierenden Batch-Größen und in Situationen mit sequenziellen Daten vorteilhaft ist. Dies trägt zur Stabilität des Trainings bei und ermöglicht eine schnellere Konvergenz.
Datensätze
Für die automatisierte Klassifizierung von Mammographieaufnahmen wurden die DDSM-Patches-Datensätze (Digital Database for Screening Mammography) und MIAS-Patches-Datensätze (Mammographic Image Analysis Society) verwendet. Beide Datensätze bestehen aus Ausschnitten von Mammographien, die Brustgewebe enthalten.
Ein Teil des DDSM-Patches-Datensatzes wurde verwendet, um das Foundation-Modell nachzutrainieren. Der andere Teil des DDSM-Patches-Datensatzes sowie der MIAS-Patches-Datensatz wurden zum Testen und Validieren des Modells eingesetzt.
Der MIAS-Patches-Datensatz wurde ausschließlich zum Testen und Validieren verwendet, um die Generalisierbarkeit des Modells zu überprüfen. Dies bedeutet, dass untersucht wurde, ob das Modell nicht nur auf dem Datensatz, auf dem es trainiert wurde, gut abschneidet, sondern auch auf anderen Datensätzen zuverlässig funktioniert.
DDSM-Patches
Für das Experiment wird der von Eric A. Scuccimarra erstellte Datensatz verwendet. Die Bilddaten stammen aus den Datenbanken DDSM und CBIS-DDSM und wurden in 299×299 Pixel große Patches geschnitten. Diese Patches zeigen verschiedene Gewebearten, darunter gesundes und ungesundes Brustgewebe. Die Daten sind in mehreren TFRecords gespeichert, die für eine effiziente Nutzung in TensorFlow optimiert sind.
Datensatzdetails
- Anzahl der Trainingsbilder: 55.885
- Negative Bilder: 48.596 (gesundes Brustgewebe)
- Positive Bilder: 7.289 (ungesundes Brustgewebe)
Abbildung 2 + 3: DDSM – ungesundes Brustgewebe (links) – gesundes Brustgewebe (rechts)
MIAS-Patches
Der MIAS-Datensatz wird verwendet, um eine Generalisierbarkeit zu untersuchen. Dazu ist eine sorgfältige Vorverarbeitung notwendig, um den Datensatz in die gleiche Form wie den DDSM-Patches-Datensatz zu bringen.
Die Vorverarbeitung basiert auf einem angepassten Notebook von Eric A. Scuccimarra, das die wichtigen Schritte enthält, um auf die vergleichbare Form zu kommen. Die Patches werden ebenfalls in TFRecords gespeichert.
Datensatzdetails
- Anzahl der Trainingsbilder: 429
- Negative Bilder: 72 (gesundes Brustgewebe)
- Positive Bilder: 356 (ungesundes Brustgewebe)
Abbildung 4 + 5: MIAS – ungesundes Brustgewebe (links) – gesundes Brustgewebe (rechts)
Feature Map von ConvNeXt in einem Random Forest
Mit dem Verständnis unserer Daten können wir nun in den praktischen Teil unserer Analyse eintauchen.
In unseren Experimenten haben wir die Feature-Map des vortrainierten ConvNeXt-Modells extrahiert und zur Klassifikation verwendet. Dieser Ansatz umfasst die folgenden Schritte:
Extraktion der Feature-Map: Wir schneiden die letzte Schicht des ConvNeXt-Modells ab, um die Feature-Map der Eingabebilder zu erhalten, die die abstrahierten Merkmale enthält.
Training des Random Forest-Klassifikators: Auf Basis der extrahierten Features trainieren wir einen Random Forest-Klassifikator unter Verwendung von Standard-Hyperparametern.
Codebeispiel:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
from tensorflow.keras.models import Model from tensorflow.keras.layers import Flatten from tensorflow.keras.applications import ConvNeXtSmall from sklearn.ensemble import RandomForestClassifier import numpy as np # PARAMETER img_size = 224 # ConvNeXt Modell initialisieren input_shape = (img_size, img_size, 3) base_model = ConvNeXtSmall(include_top=False, weights="imagenet", input_shape=input_shape) x = Flatten()(base_model.output) model = Model(inputs=base_model.input, outputs=x) # Extrahieren von Features Berechne Features mit dem Modell und erstelle zwei Listen features_train, labels_train) # Random Forest Klassifikator trainieren rf_classifier = RandomForestClassifier(random_state=42, n_estimators = 150, max_features = 'log2', max_depth = None, min_samples_split = 2 und min_samples_leaf = 6) rf_classifier.fit(features_train, labels_train) |
In dieser Analyse wurde ein Random Forest-Modell auf einem ausgewogenen Datensatz von 500 Patches des DDSM-Patches-Datensatz trainiert. Der Datensatz umfasste 250 Patches mit gesundem Gewebe und 250 Patches mit ungesundem Gewebe. Die Klassifikation beschränkte sich auf eine binäre Entscheidung, um die Unterscheidung zwischen gesundem und ungesundem Gewebe zu ermöglichen.
Für die Evaluierung des Modells wurden insgesamt 512 Patches aus dem DDSM-Datensatz verwendet, wobei darauf geachtet wurde, dass die Labels ausgewogen sind. Zusätzlich kam der Mias-Patch-Datensatz vollständig zum Einsatz, um die Robustheit des Modells zu testen.
Die Hauptmetrik zur Bewertung der Modellleistung war der F1-Score, der eine harmonische Mittelung von Präzision und Recall darstellt. Darüber hinaus wurde die Konfusionsmatrix analysiert, um ein detailliertes Verständnis der Klassifikationsleistung zu gewinnen.
Kommen wir zu den Ergebnissen:
Die Analyse des DDSM-Datensatzes zeigt, dass der F1-Score für die Klasse „normal“ bei 0,80 liegt, während die Klasse „abnormal“ einen F1-Score von 0,84 erreicht. Der durchschnittliche F1-Score für das Modell beträgt somit 0,82.
Die Konfusionsmatrix liefert folgende Ergebnisse:
- 185 korrekt klassifizierte „normal“ Patches
- 71 falsch klassifizierte „anomaly“ Patches
- 20 falsch klassifizierte „normal“ Patches
- 236 korrekt klassifizierte „anomaly“ Patches
Im MIAS-Patches-Datensatz wurde ein F1-Score von 0,71 für die Klasse „normal“ und ein F1-Score von 0,94 für die Klasse „anomaly“ ermittelt. Der durchschnittliche F1-Score beträgt hier 0,83.
Die Konfusionsmatrix zeigt die folgenden Ergebnisse:
- 53 korrekt klassifizierte „normal“ Patches
- 19 falsch klassifizierte „anomaly“ Patches
- 14 falsch klassifizierte „normal“ Patches
- 346 korrekt klassifizierte „anomaly“ Patches
Diese Ergebnisse deuten auf eine höhere Effektivität des Modells bei der Erkennung der Klasse „anomaly“ hin. Außerdem generalisiert es gut, da es auch auf den MIAS Datensatz performt.
Die Ergebnisse unserer Experimente zeigen, dass die Kombination von ConvNeXt mit einem Random Forest-Klassifikator vielversprechende Fortschritte in der Brustkrebsklassifikation ermöglicht, um Ärzt:innen bei der Erkennung zu unterstützen. Diese Ergebnisse verdeutlichen das Potenzial von Foundation Models in der medizinischen Bildverarbeitung und eröffnen neue Möglichkeiten für die Zukunft der Brustkrebsdiagnostik. Mit weiteren Optimierungen und Anpassungen könnten solche Ansätze die Grundlage für präzisere und schnellere Diagnosen bilden, was letztlich zu besseren Behandlungsergebnissen für Patientinnen führen könnte.
Zusammenfassung
Zusammenfassend wurde die vielversprechende Rolle von Foundation Models, insbesondere des ConvNeXt-Modells, in der Brustkrebsdiagnose beleuchtet. Die Kombination moderner KI-Technologien mit traditionellen Diagnosemethoden zeigt erhebliches Potenzial zur Verbesserung der Genauigkeit und Effizienz, um zukünftig Ärz:innen bei der Diagnose zu unterstützen. Zukünftige Forschungen sollten sich auf die Integration dieser Tools in klinische Abläufe, die Anwendung auf andere Krebsarten sowie die Optimierung der Modelle konzentrieren.
Quellen
Bartl, „Häufigkeit und Prognose des Brustkrebses“, in Brustkrebs und Knochenprobleme, in essentials. , Berlin, Heidelberg: Springer, 2022. Zugegriffen: 15. Mai 2024. [Online]. Verfügbar unter: https://link.springer.com/book/10.1007/978-3-662-65465-1
L. Siegel, K. D. Miller, und A. Jemal, „Cancer statistics, 2020“,CA. CancerJ. Clin., Bd. 70, Nr. 1, S. 7–30, 2020, doi: 10.3322/caac.21590.
Leitlinienprogramm Onkologie (Deutsche Krebsgesellschaft, Deutsche Krebshilfe,AWMF), Hrsg., „Interdisziplinäre S3-Leitlinie für die Früherkennung, Diagnostik, Therapie und Nachsorge des Mammakarzinoms“, Nr.Version 4.4, Juni 2021
Erdoğan, „ConvNeXt—Next Generation of Convolutional Networks“, Medium. Zugegriffen: 31. Juli 2024. [Online]. Verfügbar unter: https://medium.com/@atakanerdogan305/convnext-next-generation-of-convolutional-networks-325607a08c46
Liuetal., „A ConvNet for the 2020s“. arXiv, 2. März 2022. Zugegriffen: 3.Mai 2024. [Online]. Verfügbar unter: http://arxiv.org/abs/2201.03545
Sawyer Leeet al., „CBIS-DDSM“, Dataset Ninja. Zugegriffen: 24. Juli2024. [Online]. Verfügbar unter: https://datasetninja.com/cbis-ddsm
E. A. Scuccimarra, „DDSM Mammography“, kaggle. Zugegriffen: 22. Mai2024. [Online]. Verfügbar unter: https://www.kaggle.com/datasets/skooch/ddsm-mammography
Suckling, „The mini-MIAS database of mammograms“. Zugegriffen: 22. Mai 2024. [Online]. Verfügbar unter: http://peipa.essex.ac.uk/info/mias.html
E. A. Scuccimarra, „mias-mammography/crop_mias_images_9.ipynb“, GitHub. Zugegriffen: 12. September2024. [Online]. Verfügbar unter: https://github.com/escuccim/mias-mammography/blob/master/crop_mias_images_9.ipynb
E. A. Scuccimarra, „escuccim/mias-mammography“. 15. Mai 2024. Zugegriffen: 10. Juni 2024. [Online]. Verfügbar unter: https://github.com/escuccim/mias-mammography
