KI-Skills, Medical-Modi und Volltexte: Was beim KI-Workshop für Mediziner wirklich überraschte.
Ich habe vor ein paar Tagen auf einem Ärztekongress einen Vortrag zum Thema "Recherchieren und Schreiben mit KI für Mediziner" gehalten. Es war eine sehr intensive Erfahrung.
Halluzinationen in der Medizin
Zuerst habe ich über Halluzinationen gesprochen und Daten von Maxim Topaz, aus "The Lancet" gezeigt. Die gute Nachricht: In der Medizin kommen Halluzinationen nicht häufiger vor als in anderen Disziplinen. Die schlechte Nachricht: Es sind trotzdem zu viele - und ihre Zahl wächst rasant. Zudem: Wenn halluzinierte Daten in der Medizin durchrutschen, wird's für Leib und Leben viel gefährlicher als wenn ich - sagen wir - Historiker bin und die KI Daten über die Heringsfischerei in Posemuckel anno 1723 halluziniert. Gleiches Problem, andere Fallhöhe.
Skills, Google Scholar und Recherche-Tools im Test
Dann haben wir über Skills gesprochen. Nicht über die der Ärzte, sondern über die von Claude und ChatGPT. Genauer gesagt über jene Arbeitsanweisungen, die festlegen, wie eine KI recherchiert: welche Datenbanken sie abfragt, welche Ein- und Ausschlusskriterien es gibt, wie dedupliziert werden soll usw.
Danach ging's zu Google Scholar. Das kannten natürlich alle, nicht aber die KI-Version namens Google Scholar Labs. Ich habe die "Quick Read"-Funktion gezeigt, die wunderbare Einblicke in Volltexte erlaubt. Allerdings nur, wenn man den Prompt auf Englisch eingibt. Fragt man auf Deutsch, erscheint die Funktion gar nicht erst.
Dann haben wir uns den KI-Recherche-Tools zugewandt. Einige, wie Consensus, haben eigene Medical-Modi. Beim Testen zeigte sich aber: Man muss trotzdem den allgemeinen Korpus durchsuchen, weil der Medical-Modus oft zu eng gewählt ist und Paper übersieht.
KI-Halluzinationen in der Medizin: Gleiches Problem, deutlich mehr Fallhöhe
Einen Deep Dive gab's am Beispiel von Scite. Für medizinische Recherche ist das meiner Meinung nach aktuell das stärkste KI-Tool, denn Scite hat neben einer großen Datenbank auch Partnerschaften mit der American Medical Association, der BMJ Group, Thieme International und anderen medizinischen Fachorganisationen und -verlagen geschlossen. Die Trefferliste war jedenfalls beeindruckend, auch, weil wir fundierte Prompts genutzt haben.
Tools allein reichen nicht: Partnerschaften zählen
Die Erkenntnis ist zwar nicht neu, überrascht mich aber trotzdem immer wieder: Modelle und Tools sind schön und gut, aber für die Recherche mindestens ebenso wichtig sind Partnerschaftsverträge und Kooperationen, denn dann werden aus flüchtigen Abstract-Lektüren tiefgreifende Volltext-Analysen.
Die vielleicht wichtigste Erkenntnis aber war: KI ist auch in der Medizin angekommen, doch fundierte KI-Kenntnisse werden an den Hochschulen und in der Ausbildung noch immer zu wenig vermittelt. Entsprechend groß war das Interesse und die Zahl der Fragen während des Vortrages und danach.
Es war mir eine Freude, sie zu beantworten und die Teilnehmer - und mich selbst - glücklich und zufrieden in einen spätsommerlichen Tag zu entlassen. Für mich ging's zum nächsten Job direkt in den Park. Aber das ist eine andere, ganz und gar KI-freie Geschichte...
