Deep-Tech-Diagnostik: wie Künstliche Intelligenz die Medizindiagnostik transformiert

Sie haben Ihre Doktorarbeit zum Thema Identifikation nicht-kontrastmittelanreichernder Hirntumorregionen mittels eines Upscaling-Pre-Activation-U-Net-Modells mit Tiefenregularisierung geschrieben. Welche konkreten Nachweise würden Sie in der Praxis davon überzeugen, einem diagnostischen Modell zu vertrauen?

Prof. Dr. Schaffer: Der allgemeine Trend, sowohl in der Industrie als auch im Gesundheitswesen, geht zu erklärbaren KI-Modellen, die neben der reinen Ausgabe eines Ergebnisses oder einer Diagnose auch begründen und aufzeigen, wie dieses Ergebnis zustande kam. Solche Systeme sind besonders wertvoll für die kritische Analyse von Grenzfällen, in denen Ergebnisse medizinisch unsicher oder noch nicht vollständig geklärt sind. In vielen Diagnosefällen gibt es kein absolut „wahr“ oder „falsch“, sondern Unsicherheitsbereiche, die selbst erfahrene Medizinerinnen und Mediziner weiter ausloten. In diesem Kontext kann eine zuversichtliche und konstruktive Nutzung von KI-Systemen, nicht nur zur Entscheidungsfindung, sondern auch um das Verständnis für komplexe, weniger definierte Bereiche der Medizin zu erweitern, aus meiner Sicht nur von Vorteil sein. Was es künftig für die eher typischen Diagnosefälle braucht, um erklärbare Modelle zu wirklich vertrauenswürdigen diagnostischen Modellen zu machen, ist ein formales Zertifizierungsverfahren durch medizinische Expertinnen und Experten - so, wie es jede medizinische Fachkraft durchlaufen muss. 

Für KI-Modelle in der medizinischen Diagnostik werden häufig echte medizinische Daten, sogenannte Real Word Data (RWD), verwendet. Um RWD schneller erheben zu können, gibt es die Möglichkeit Multi-Site-Studien durchzuführen, das heißt es werden an mehreren Standorten gleichzeitig dieselben Forschungsmethoden angewendet. Wie schlank könnte eine EU-konforme Multi-Site-Studie Ihrer Meinung nach ausfallen, damit Sie diese als Beleg für den klinischen Nutzen akzeptieren würden?

Prof. Dr. Schaffer: Als realistischen Ausgangspunkt könnte ich mir eine 6 bis 12-monatige Beobachtungsstudie in zwei bis drei mittelgroßen europäischen Krankenhäusern vorstellen, mit standardisierten Patientengruppen, um die diagnostische Vielfalt im klinischen Alltag abzubilden. Der primäre Fokus sollte eine Verbesserung der Diagnosegenauigkeit und eine schnellere Diagnosestellung, im Vergleich zu herkömmlichen diagnostischen Arbeitsabläufen sein.
Die Studie sollte DSGVO - sowie EU-AI-Act-konform sein und transparente Datenverarbeitung und unabhängiges Monitoring sicherstellen. Dies würde bereits zu einer hohen klinischen Glaubwürdigkeit führen, ohne dass zunächst umfassende randomisierte Studien erforderlich wären. 

Welche Prüfungen oder Sicherheitsmaßnahmen gibt es, um Fehler oder Risiken beim Einsatz von KI-Systemen zu vermeiden?

Prof. Dr. Schaffer: Bei diagnostischen KI-Systemen, insbesondere bei Multi-Agent-Architekturen, also Systemen, bei denen mehrere KI-Module zusammenarbeiten, sollten vor der Markteinführung verschiedene Sicherheitsprüfungen durchgeführt werden. Dazu zählen in meinen Augen redundante Validierungspipelines, isolierte Ausführungsumgebungen und Laufzeit-Monitoring, inspiriert von anderen rechnergestützten Verfahren. Solche Mechanismen erkennen Anomalien, gewähren Prozessisolation und verhindern unkontrollierte Tool-Aktionen, wodurch effektiv eine „Watchdog-Ebene“ für die KI-gestützte klinische Argumentation geschaffen wird. Sollen darüber hinaus diagnostische Systeme in robotischen Plattformen integriert werden, die physisch mit Patientinnen und Patienten oder medizinischen Geräten interagieren, werden zusätzliche Sicherheitsebenen zwingend erforderlich. Selbst kollaborative Roboter, die für die Mensch-Roboter-Interaktion ausgelegt sind, müssen bei der Führung diagnostischer Tools zusätzliche strenge funktionale und mechanische Sicherheitszertifizierungen durchlaufen (ISO/TS 15066, ISO 13849 usw.).
In diesem Kontext ist Sicherheit nicht nur ein Softwarethema: Sie hängt auch von redundanten Hardware-Schaltkreisen, Selbstdiagnose-Routinen und ausfallsicheren Steuerungsmechanismen ab, um unbeabsichtigte Bewegungen oder Aktionen zu vermeiden. Solche domänenübergreifenden Sicherheitskonzepte sind unerlässlich, um die Patientensicherheit zu gewährleisten und Vertrauen in zukünftige Gesundheitsanwendungen von KI und Robotik aufzubauen. 

Was würden Sie sagen, wo greifen MDR und EU AI Act technisch am härtesten, und welche Dokumentationen müssen vor dem ersten Patienteneinsatz vorliegen?

Prof. Dr. Schaffer: Die anspruchsvollsten technischen Aspekte unter dem EU AI Act sind Datenrückverfolgbarkeit, Risikoklassifizierung und Dokumentation der Erklärbarkeit. Vor dem ersten Patienteneinsatz muss eine transparente Modelldokumentation vorliegen, einschließlich Datenherkunft und Leistungskennzahlen.
Meiner Meinung nach ist der technisch schwierigste Teil die Sicherstellung einer kontinuierlichen Compliance, mit Modellen, die auch nach der Implementierung auditierbar und erklärbar bleiben müssen, selbst wenn sie neu trainiert oder aktualisiert werden. Das ist eine nicht triviale Anforderung. Sie bedingt, dass KI-Systeme einen robusten Lifecycle-Management-Prozess haben, wie es auch bei anderen zertifizierten Medizinprodukten der Fall ist. 

Wie würden Sie vorgehen, um von retrospektiven Ergebnissen zu einer belastbaren multizentrischen Studie zu kommen?

Prof. Dr. Schaffer: Am Anfang steht die kritische Analyse der retrospektiven Daten, um daraus eine klare und praxisrelevante Forschungsfrage zu formulieren. Anschließend wird ein durchführbares Studienkonzept mit definierten Zielen und standardisierten Abläufen entwickelt. Ein zentraler Schritt ist die frühzeitige Kontaktaufnahme mit Kliniken oder Zentren, die ähnliche Fälle behandeln, um Kooperationen aufzubauen und eine breite, aussagekräftige Datenbasis zu schaffen. Wir haben in Bayern hochkarätige Universitätskliniken wie zum Beispiel das Universitätsklinikum Regensburg, das Universitätsklinikum Erlangen oder das Klinikum der Universität München, die mit ihrer klinischen Forschungsinfrastruktur, der ausgeprägten Expertise in der medizinischen Bildgebung und den bewährten Data-Governance-Frameworks die optimalen Rahmenbedingungen für solche Studien erfüllen. 

Vielen Dank Herr Prof. Dr. Schaffer für diese Einsichten und das Gespräch.
________________________________________
Als Bayern Innovativ unterstützen wir den Transfer von KI und anderen komplexen Technologien. Dafür vernetzen wir Unternehmen, Politik, Wissenschaft und Praxis, setzen uns für Wissensvermittlung und neue Innovationen ein, die unsere Gesundheitsversorgung von morgen gestalten.