Wie gut lösen Algorithmen, die in der KI-gestützten Auswertung medizinischer Bilder genutzt werden, ihre Aufgaben? Das hängt auch davon ab, mit welchen Metriken ihre Leistung bewertet wird. Lest hier mehr dazu.
Ein internationales Konsortium unter Federführung von Wissenschaftlern des Deutschen Krebsforschungszentrums (DKFZ) und Nationalen Centrums für Tumorerkrankungen Heidelberg (NCT) hat das weltweit verfügbare Wissen über die spezifischen Stärken und Schwächen verschiedener Validierungs-Metriken für Algorithmen zusammengetragen. Mit „Metrics Reloaded“ stellen die Forscher nun ein Online-Tool zur Verfügung, das Nutzer bei der Auswahl des für ihre Aufgabenstellung geeigneten Algorithmus unterstützt.
Immer mehr Bereiche der Medizin setzen auf Unterstützung durch künstliche Intelligenz (KI). Das gilt besonders für das breite Spektrum an Fragestellungen, die auf der Auswertung von Bilddaten beruhen: So suchen Ärzte in Mammographien nach kleinsten Krebsherden oder berechnen das Volumen eines Hirntumors anhand der Schichtbilder aus dem MRT. Mit endoskopischen Aufnahmen des Darms spüren sie Polypen auf, bei der Auswertung von mikroskopischen Gewebeschnitten müssen subtile Änderungen einzelner Zellen erfasst werden. Doch sind die Algorithmen, die für diese verschiedenartigen Bildanalysen eingesetzt werden, tatsächlich immer für die jeweilige Aufgabe geeignet? Das hängt in hohem Maße davon ab, welche Metriken sie erfassen – und ob diese tatsächlich zur jeweiligen Aufgabe passen.
„Wir bemerken oft, dass für bestimmte Aufgaben Validierungs-Metriken genutzt werden, die aus klinischer Perspektive für die Aufgabenstellung gar nicht relevant sind“, sagt Lena Maier-Hein vom DKFZ. Sie nennt ein Beispiel dafür: „Bei der Suche nach Metastasen im Gehirn ist es zunächst wichtiger, dass der Algorithmus auch kleinste Läsionen erfasst, als dass er hochpräzise die Konturen jeder einzelnen Metastase definieren kann.“ Maier-Hein und ihre Kollegen befürchten, dass die Verwendung ungeeigneter Validierungs-Metriken den wissenschaftlichen Fortschritt hemmen und die Einführung wichtiger Bildanalyseverfahren in die klinische Praxis verzögern kann.
Doch welche Metriken eignen sich unter Einbeziehung aller Stärken und Schwächen für eine gegebene klinische Fragestellung? Dazu befragten die Heidelberger Datenwissenschaftler in einem mehrstufigen, strukturierten Verfahren Meinungsführer aus Wissenschaft und Industrie aus über 70 Forschungsinstitutionen weltweit. Mit der Befragung trugen sie Informationen zusammen, die bisher nur weltweit verstreut vorlagen.
Als strukturiertes Informationswerk, auf das Forscher aller Fachrichtungen zugreifen können, soll die Arbeit das Verständnis eines Schlüsselproblems bei der KI-assistierten Bildauswertung steigern. „Mit dieser Arbeit machen wir der Fachwelt erstmals zuverlässige und umfassende Informationen über Probleme und Fallstricke im Zusammenhang mit Validierungs-Metriken in der Bildanalyse zugänglich“, sagt Annika Reinke, eine der Autoren. Auch wenn der Schwerpunkt auf der Analyse medizinischer Bilder liegt, lassen sich die Informationen auch auf andere Gebiete der Bildauswertung übertragen.
In einer zweiten Arbeit beschreibt das Expertenkonsortium unter der Federführung der Heidelberger Forscher nun „Metrics Reloaded“: Ein umfassendes Rahmenwerk, das Ärzten und Wissenschaftlern bei der problemgerechten Auswahl von Metriken hilft. „Die Anwender werden durch einen umfangreichen Fragenkatalog geführt, damit erstellen sie sozusagen einen präzisen Fingerabdruck ihres Bildanalyse-Problems. Das Tool macht außerdem auf spezifische Probleme aufmerksam, die bei bestimmten biomedizinischen Fragestellungen auftreten“, erklärt Paul Jäger, der ebenfalls beteiligt war.
„Metrics Reloaded“ ist für alle verschiedenen Problemkategorien der Bildanalyse geeignet, das heißt, für die Klassifizierung der Bilder, die Objektdetektion oder die Zuordnung einzelner Pixel (semantische Segmentation). Das Tool funktioniert völlig unabhängig von der Bildquelle, lässt sich also für CT- oder MRT-Aufnahmen ebenso gut einsetzen wie für mikroskopische Bilder. Auch für Bildanalysen jenseits biomedizinscher Fragestellungen können Forscher sich anleiten lassen.
„Mit ‚Metrics Reloaded‘ liefern wir erstmals eine systematische Anleitung, die den Nutzern von KI-basierten Bildanalysen den Weg zum passenden Algorithmus weist. Wir hoffen, dass ‚Metrics Reloaded‘ möglichst rasch möglichst weite Verbreitung findet, denn dadurch könnte sich die Qualität und Verlässlichkeit der Ergebnisse KI-gestützter Bildanalysen erheblich verbessern lassen. Das würde auch das Vertrauen in KI-gestützte Bildanalysen in der klinischen Routine fördern“, sagt Minu Tizabi, eine der Erstautoren.
Dieser Text basiert auf einer Pressemitteilung des Deutschen Krebsforschungszentrums. Die Originalpublikation haben wir euch hier verlinkt.
Bildquelle: Markus Spiske, Unsplash
