AI for Health
Thema: Developing Generalist Foundation Models from a Multimodal Dataset for 3D Computed Tomography
DozentIn(en): Prof. Roland Eils, Benjamin Wild, Sören Lukassen, Georg von Arnim, Tillmann Rheude
Maximale Teilnehmerzahl: 10
Zeitraum/Vorbesprechungstermin: nach Absprache; Das Projekt ist zeitlich flexibel und kann an die individuellen Bedürfnisse der Teilnehmer:innen angepasst werden.
Ort: Digital (A), BIH, Kapelle-Ufer 2 (B)
Kurze inhaltliche Beschreibung:
In diesem Softwareprojekt widmen wir uns der Entwicklung von Foundation Models für die Analyse von 3D-Computertomographie (CT)-Daten, basierend auf dem öffentlich zugänglichen CT-RATE-Datensatz. Ziel ist es, KI-Modelle zu entwickeln, die die Grundlagen für die Früherkennung von COPD (Chronic Obstructive Pulmonary Disease) legen und für eine geplante Studie genutzt werden können.
Der CT-RATE-Datensatz umfasst mehr als 50.000 rekonstruierte CT-Volumina von über 21.000 Patient:innen, gekoppelt mit Radiologieberichten, multi-abnormality labels und weiteren Metadaten. Aufbauend auf diesem Datensatz werden wir die Methoden von CT-CLIP, einem selbstüberwachten Framework für multimodales Pre-Training, und CT-CHAT, einem vision-language Modell für 3D-CT-Daten, erkunden und weiterentwickeln. (Weitere Informationen zu den Daten: https://huggingface.co/datasets/ibrahimhamamci/CT-RATE)
Inhalte und Lernziele:
- Einführung in multimodale Datenanalyse mit Bild- und Textdaten in der Medizin
- Entwicklung, Training und Evaluierung von Foundation Models für 3D-CT-Daten
- Vertiefung in selbstüberwachtes Pre-Training und Vision-Language-Modellierung
- Anwendung moderner ML-Frameworks wie PyTorch für die Modellentwicklung
- Integration und Optimierung der entwickelten Modelle für klinische Anwendungen
Zusätzlich besteht die Möglichkeit, sich mit spezifischen Interessen oder Ideen einzubringen, die in einem initialen Meeting besprochen und in das Projekt integriert werden können.
Quantitative Aufteilung: (in %)
Praktische Programmierarbeit: 80%
Soft Skills: 20%
Verwendete Programmiersprache(n): Python (>90%), ggf. Javascript für Web-Apps
Schwierigkeitsgrad (Acht Sterne verteilt auf drei Bereiche):
A Programmieren ****
B Biologie/Chemie **
C Projektmanagement **
Erforderliche Vorkenntnisse:
Wichtiger Hinweis: Vorkenntnisse in den folgenden Bereichen sind zwingend erforderlich. Teilnehmer:innen ohne diese Qualifikationen können nicht berücksichtigt werden. Bewerber:innen mit praktischer Erfahrung werden bei der Auswahl bevorzugt.- Erfahrung mit Python-Programmierung
- Grundverständnis von maschinellem Lernen
- Idealerweise Erfahrung mit PyTorch oder anderen DL-Bibliotheken
- Kenntnisse über neuronale Netze und praktische Erfahrung mit Deep Learning
Kontaktadresse, Webseite/Link:
Bei Fragen können Sie uns gerne per E-Mail erreichen:
