Senior-Ärzte (noch) treffsicherer als KI
Das hepatozelluläre Karzinom (HCC) ist eine aggressive Krebsart, bei der bisher nur wenige Biomarker das Ansprechen auf Immuntherapien vorhersagen können. In einer aktuellen Studie im Journal of Medical Systems wurde geprüft, wie gut große Sprachmodelle (LLMs) wie GPT-4o und Gemini im Vergleich zu Radiologen und Onkologen das Ansprechen auf Immuntherapien bei nicht resektablem HCC vorhersagen. Dabei kamen multimodale Patientendaten (klinische Angaben und CT-Bilder) von 186 Patienten zum Einsatz. Die LLMs wurden mit Zero-Shot-Prompting getestet. Das bedeutet, dass die Modelle zuvor nicht speziell mit Daten zu Leberkrebs trainiert wurden. Die Genauigkeit der LLMs wurde mit zwei Befragungsmethoden überprüft.- Strategie 1: Bei der Voting-Methode wird die LLM mehrfach befragt – meist mit leicht variierenden Prompts oder mehreren Durchläufen desselben Prompts. Jede Antwort zählt als eine „Stimme“.
- Strategie 2: Bei der OR-Methode wird die LLM ebenfalls mehrfach befragt, wertet einen Patienten aber bereits bei einer positiven Übereinstimmung als Fall. Dadurch steigt die Sensitivität, es werden aber mehr Fehlalarme in Kauf genommen.
| Die Ergebnisse zeigen: Während GPT-4o mit der OR-Methode ähnliche Werte wie Ärzte mittlerer Erfahrung erreichte, blieb es hinter Senior-Ärzten zurück. Das Hybridmodell Gemini-GPT hingegen erzielte eine Genauigkeit und AUC, die mit der erfahrener Ärzte vergleichbar war – und übertraf weniger erfahrene Kollegen. Die künstlichen Intelligenzen zeigten zudem eine größere Übereinstimmung untereinander als die Ärzte, vor allem im Vergleich zu Junior-Ärzten.
KI als Werkzeug, nicht ErsatzProf. Li Hai vom Hefei Institute of Physical Science der Chinesischen Akademie der Wissenschaften kommentiert: „Diese Forschung zeigt, wie KI Ärzten helfen kann, bessere Entscheidungen zu treffen und Krebspatienten individuellere Therapien zu ermöglichen.“ Mit stabilen Ergebnissen über verschiedene Therapieformen hinweg und verbesserter Identifikation therapieansprechender Patienten könnten KI-Modelle künftig die personalisierte Krebstherapie unterstützen. |