Zweifel an Diagnosen von ChatGPT

Für besonders relevant hält der Wissenschaftler Transparenz: »Das bedeutet zum Beispiel, dass eine KI nicht nur eine Diagnose stellt, sondern auch nachvollziehbar erklärt, welche Informationen zu diesem Ergebnis geführt haben.« Die Qualität dieser Ergebnisse wird bereits seit längerem wissenschaftlich untersucht – mit unterschiedlichen Erfolgen. So attestierte etwa eine 2023 im »Journal of Medical Internet Research« veröffentlichte Studie ChatGPT eine hohe Diagnosegenauigkeit: Getestet mit 36 Fallbeispielen stellte der Chatbot in fast 77 Prozent der Fälle die korrekte endgültige Diagnose. In Notaufnahmen reichte die Diagnosekompetenz einer niederländischen Studie zufolge gar an die von Ärzten heran. Ausgestattet mit den anonymisierten Daten von 30 Patienten, die in einer niederländischen Erste-Hilfe-Stelle behandelt worden waren, stellte ChatGPT in 97 Prozent der Fälle die richtige Diagnose (Annals of Emergency Medicine, 2023).

Im Gegensatz dazu stellte eine 2023 im Fachblatt »Jama« veröffentlichte Studie fest, dass der Chatbot bei 70 medizinischen Fallbeispielen nur 27 Fälle richtig diagnostizierte. Das sind gerade einmal 39 Prozent. Eine im Journal »Jama Pediatrics« präsentierte Studie kam zu dem Schluss, dass diese Trefferquote bei Krankheiten, die in erster Linie Kinder betreffen, noch schlechter ist.

Eine aktuelle im Fachblatt »Plos One« veröffentlichte Studie hat untersucht, ob ChatGPT in der medizinischen Ausbildung von Nutzen sein könnte. Schließlich greife der Chatbot nicht nur auf eine riesige Wissensbasis zurück, sondern sei auch in der Lage, dieses Wissen interaktiv und verständlich zu vermitteln, so das Forschungsteam des kanadischen London Health Sciences Centre.

Die Gruppe fütterte ChatGPT mit 150 sogenannten Fallherausforderungen aus einer Datenbank mit medizinischen Fallgeschichten, in denen Symptome und Krankheitsverlauf beschrieben werden. Sowohl angehende als auch bereits im Beruf stehende Medizinerinnen und Mediziner sind aufgefordert, in einem Antwort-Wahl-Verfahren eine Diagnose zu stellen und einen Behandlungsplan zu entwickeln. ChatGPT lag bei diesem Test in gerade einmal knapp der Hälfte der Fälle (74 von 150) richtig.

Die Studie stellte fest, dass ChatGPT Schwierigkeiten bei der Interpretation von Laborwerten und bildgebenden Verfahren hat und wichtige Informationen übersehe. Entsprechend kommen die Autoren zu dem Schluss, dass ChatGPT in seiner derzeitigen Form als Diagnoseinstrument nicht genau sei und bei der Verwendung des Chatbots als Diagnosewerkzeug wie auch als Lehrmittel unbedingt Vorsicht geboten sei.

»Die Kombination aus hoher Relevanz und relativ geringer Genauigkeit spricht dagegen, sich bei der medizinischen Beratung auf ChatGPT zu verlassen, da es wichtige Informationen präsentieren kann, die möglicherweise irreführend sind«, heißt es dazu in der Studie – eine Warnung, die höchstwahrscheinlich ebenso für medizinische Laien gilt, die den Chatbot für digitale Selbstdiagnosen nutzen.