TOOLS IM TEST | Du kannst dich voll auf den Patienten konzentrieren, während Heidi das Gespräch erfasst und dir direkt die nächsten To-Dos ausgibt. Läuft so zukünftig das Arztgespräch? Wir haben für euch gecheckt, was die Software kann.
Man kommt auch in der Medizin mittlerweile nicht mehr an KI-Lösungen vorbei. Sie sollen den Arbeitsalltag erleichtern und Ärzten Zeit sparen. In der Sprechstunde etwa können auf sprachbasierten Modellen beruhende Anwendungen die Dokumentation von Patientengesprächen übernehmen – und mittlerweile dem Behandler auch Hinweise und Empfehlungen zur weiteren Diagnostik und Therapie geben. Doch funktioniert das wirklich?
Damit ihr das nicht im stressigen Praxisalltag ausprobieren müsst, testen wir für euch ein paar der gängigen Programme. Willkommen im DocCheck KI-Lab!
In einer Umfrage habt ihr abgestimmt, welche Tools wir für euch unter die Lupe nehmen sollen. Die am häufigsten genannte Anwendung ist das KI-Tool Heidi, ein Transkriptionsprogramm für die Arztpraxis. Wir starten unsere Versuchsreihe also mit diesem Programm und lassen zum Vergleich das Transkriptionsprogramm HiNotes über ein USB-Diktiergerät mitlaufen.
Im Video seht ihr den Versuchsaufbau, den wir in Zukunft mit anderen Programmen wiederholen werden. Ein fiktiver Arzt sitzt der virtuellen Patientin Gisela im Sprechzimmer gegenüber. Am Computer laufen nebenher die Programme und transkribieren das Gespräch – genau, wie es in der Praxis auch wäre. Um aber auch den chaotischen Sprechstundenalltag abzubilden, gibt es mehrere Aufzeichnungen. So werden die Anwendungen auch unter erschwerten Bedingungen geprüft und evaluiert.
Wir wollen also testen: Wie gut funktioniert die Transkription unter optimalen Bedingungen – und wie gut, wenn mehrere Personen beteiligt sind, vielleicht zwischendurch noch laute Störgeräusche und Unterbrechungen dazukommen? Erkennt die Software alle Sprecher und versteht sie die Fachbegriffe? Wie schneidet sie im Vergleich zu einer nicht-medizinischen Software ab?
Vom Interface sind beide Programme anwenderfreundlich und schnell zu verstehen. Bei HiNotes (dem Standard-Diktiergerät mit smarten Funktionen) muss ein Gerät zusätzlich per USB angeschlossen werden. Die Steuerung läuft aber über den Browser nach dem Anlegen eines Accounts. Genauso muss man sich bei Heidi zuerst einen Account anlegen – und kann erstmal kostenfrei loslegen. Im Basis-Zugang kann man Transkriptionen durchführen und Gespräche zusammenfassen lassen und im Nachhinein begrenzt auch Fragen zum Inhalt stellen. Zusätzlich gibt es mehrere erweiterte kostenpflichtige Optionen, bei denen man Zugriff auf weitere Fach-Quellen und auch Möglichkeiten zur Personalisierung hat.
Los ging es mit unseren Test-Dialogen. Im ersten Durchlauf haben wir geprüft, wie gut die Software den Patienten-Arzt-Dialog transkribiert, das Gesagte richtig zu- und einordnet. Die nicht-medizinische Vergleichssoftware HiNotes erfasste den Dialog solide, machte aber kleine Schreibfehler („Candesatan“ statt „Candesartan“) und erfasste einzelne Worte wie „ja“ oder „nein“ am Satzanfang nicht. In Stufe 2 mehrten sich die sprachlichen Ungenauigkeiten und das Programm fing an, Aussagen zu halluzinieren – ergänzte z. B. die Aussage „aber meine Zähne sind nicht so gut“ und legte diese Patientin Gisela in den Mund. In Stufe 3 wurde die Unterbrechung der MFA nicht richtig erkannt und festgehalten, auch wurden Sprecher verwechselt und Aussagen umgeändert. Das ganze mehrte sich in Stufe 4 und in Stufe 5 kam es zur Erfassung von komplett falschen Aussagen (aus „in den Füßen kribbelt es“ machte die Software „in den Augen wird es“). Auch bei Störgeräuschen und überlappenden Sprechern kam es zur instabilen Verarbeitung.
Heidi kam mit Stufe 1 unseres Test-Gesprächs etwas besser zurecht als die Vergleichssoftware – der Gesamteindruck des Transkripts war nahezu fehlerfrei. Auch als Akzente und Unterbrechungen dazukamen, waren nur vereinzelt Formatierungs-, jedoch keine Inhaltlichen Fehler erkennbar. Auch in Stufe 3 scheint Heidi Hintergrundgeräusche besser herauszufiltern. Die von der Tür hereingerufene Aussage der MFA wurde aber nicht fehlerfrei transkribiert (aus „Draußen ist ein Patient, der Sie dringend sprechen möchte.“ wurde „Dr. Asen ist ein Patient, der sie dringend sprechen möchte“). Auf Stufe 4 hatte Heidi Probleme, die Aussagen der Tochter einer dritten Person zuzuordnen. Es kam jedoch nicht zu inhaltlichen Verfälschungen oder Halluzinationen – ebenso in Stufe 5.
Neben der reinen Transkription des Patienten-Arzt-Gesprächs bieten beide Softwares auch eine inhaltliche Zusammenfassung an. Mit HiNotes kann man ergänzend den Dialog (auch live) übersetzen lassen – was wir in unserem Test aber nicht ausprobiert haben. Am Ende gibt das Programm neben der Zusammenfassung auch eine Auflistung der anstehenden und aus dem Gespräch resultierenden To-Dos aus, den einzelnen beteiligten Personen zugeordnet und mit einer Option zur Terminierung bzw. Erinnerung.
Screenshot HiNotes. Quelle: DocCheck
Bei der Software Heidi kann der Anwender mit einem Chatbot zu klinischen Aspekten des Gesprächs diskutieren. Die Antworten werden laut Hersteller aus evidenzbasierten Quellen generiert. Man kann auch eigene Quellen, wie Leitlinien, hinterlegen. Auch Heidi erstellt eine Aufgabenliste für die beteiligten Personen.
Screenshot Heidi. Bildquelle DocCheck
Unser Dialog stellte ein realistisches Anamnese- und Beratungsgespräch zwischen Arzt und Patientin dar. Gisela Lorenz hat einen Diabetes mellitus Typ 2 mit den bekannten Vorerkrankungen arterielle Hypertonie und Hypercholesterinämie. Wir haben im Vorhinein natürlich unsere Erwartungen an die Software festgelegt. Sie sollte korrekte Symptome erfassen, ebenso wie die aktuelle Medikation und Arbeitsdiagnosen aus dem Gespräch stellen, den Laborbefund richtig interpretieren und relevante Komorbiditäten erkennen. Außerdem sollte sie leitliniennahe Therapievorschläge geben und die Aufklärung des Arztes über Nebenwirkungen dokumentieren, sowie auf weitere mögliche Nebenwirkungen hinweisen.
Und wie gut konnten die Softwares unsere Ansprüche erfüllen? Beide Programme liefern To-Do-Listen, die sehr hilfreich sein können. Diese sind bei beiden inhaltlich größtenteils korrekt, aber auch unvollständig. Es fehlen z. B. Hinweise auf DMPs oder Procedere für ein Follow-Up wie das Anfertigen eines Labors. Durch die Selbstauskunft der Patientin (Arzt: „Sind Ihnen Probleme mit den Nieren bekannt?“ Gisela: „Nicht, dass ich wüsste.“) haben beide Softwares eine mögliche eingeschränkte Nierenfunktion nicht in Betracht gezogen, obwohl das bei einem bekannten Diabetes und neuer Medikation medizinisch relevant gewesen wäre. Außerdem scheiterten beide Modelle daran, die Vorerkrankungen anhand der Medikation korrekt zu erkennen. Insbesondere Hypertonie hätte anhand des Medikaments Candesartan erkannt werden müssen. Heidi notiert sogar „keine kardiovaskulären Vorerkrankungen“ – aus unserer Sicht ein grober Fehler! HiNote ist etwas zurückhaltender mit der Formulierung „kein kardiovaskuläres Ereignis (Schlaganfall/Infarkt)“. Das ist auch in der Mensch-zu-Mensch-Kommunikation eine klassische, bekannte Hürde im Gespräch – die einem menschlichen Arzt aber im besten Fall bekannt ist und richtig eingeordnet wird (Patient sagt, er habe keine Vorerkrankungen, nimmt aber 10 Medikamente, von denen man eindeutige Diagnosen ableiten kann).
Die Software Heidi ist leicht einzurichten und steht in der Basis-Version kostenlos zur Verfügung. Wer bisher seine Patientengespräche noch selbst abtippt, kann sie durchaus mal testen. Die Transkription kann hilfreich sein und auch die Zusammenfassung und To-Do-Listen sind praktisch. Unser Versuch zeigt: Die Ergebnisse sind schon ganz ordentlich – auch bei Störgeräuschen oder Unterbrechungen. Wer aber denkt, dass er nun getrost den eigenen Kopf ausschalten kann, den müssen wir leider enttäuschen. Klinische Implikationen, weitere Schritte und eine vollumfängliche Analyse der Situation des Patienten sollte weiterhin der Arzt übernehmen. Wer etwas Geld in die Hand nehmen möchte, kann neben der Transkription und Zusammenfassung die evidenzbasierte Beratung mit dem Chatbot einmal ausprobieren. Vielleicht wären dort noch Hinweise auf eventuelle Vorerkrankungen oder nötige Untersuchungen gekommen.
Wir werden in den nächsten Wochen weitere Programme für euch testen – im gleichen Versuchsaufbau. So könnt ihr eure eigenen Schlüsse ziehen, welche Tools sich für eure Praxis eignen könnten. Stay tuned!
Bildquelle: Nano Banana 2
