KI-Texte nur schwer zu enttarnen

Es ist wohl die Spitze des Eisbergs, die da zu Tage getreten ist: Im vergangenen Jahr sind in einzelnen wissenschaftlichen Arbeiten deutliche Hinweise auf den Einsatz von Textgeneratoren auf der Basis von Künstlicher Intelligenz (KI) gefunden worden. Zum Beispiel vermeintliche Quellenangaben, die bei genauerem Hinsehen nicht existierten, weil sie wohl von der KI erfunden worden waren.

Oder Begriffe aus der ChatGPT-Benutzeroberfläche, die von den Verfassern offensichtlich versehentlich in ihre Arbeit hineinkopiert wurden. Etwa die frühere Schaltfläche »Regenerate Response« (»Antwort erneuern«) – deshalb wurde eine Mathe-Studie sogar zurückgezogen, wie im September 2023 in einem »Nature«-Nachrichtenbeitrag zu lesen war.

Als Problem gilt KI-Text-Nutzung insbesondere dann, wenn sie nicht transparent gemacht wird. Wenn also womöglich Leistungen vorgetäuscht werden. Was es nicht einfacher macht: ChatGPT und Co. können auf Befehle hin Texte auf dem Sprachniveau von Menschen formulieren und beispielsweise Informationen zusammenfassen. Von menschlicher Intelligenz sind sie laut Fachleuten bisher aber weit entfernt.

Inzwischen gibt es Programme, mit denen man KI-Texten auf die Schliche kommen können soll. Doch Schluss mit Schummeln bedeutet das nicht. »Die Hoffnung, dass es eine einfache Softwarelösung zum Enttarnen von KI-Texten gibt, wird sich nicht erfüllen«, sagte die Berliner Plagiatsforscherin Debora Weber-Wulff von der Hochschule für Technik und Wirtschaft. »Es gibt zwar sehr viel angebliche Detektoren-Software, aber sie tut nicht das, was sie soll.« Manche der Hersteller wiesen auch selbst auf Mängel und Grenzen hin.

An einer Studie, für die 14 angebliche KI-Detektoren getestet wurden, hat Weber-Wulff mitgearbeitet. Demnach lieferten diese Tools keine verlässlichen Ergebnisse, wenn es um die Frage ging, ob ein Mensch oder eine Maschine einen Text verfasst hat. Davon berichtete das Forschungsteam Ende Dezember im »International Journal for Educational Integrity«. »In unsicheren Fällen neigen die Systeme dazu, menschliche Verfasser anzunehmen«, erklärte Weber-Wulff. »Denn es ist natürlich nicht gewollt, dass Leute zu Unrecht beschuldigt werden. Das wäre im Bildungsbereich auch katastrophal.«

Rund jeder fünfte mit KI erzeugte Text wurde von den Detektoren nicht als solcher erkannt. Die Rate nicht erkannter KI-Nutzung steigt laut der Studie weiter an, wenn der KI-Text vom Menschen noch überarbeitet wurde. Auch die Ergebnisse seien nicht einfach zu interpretieren: Manche Programme lieferten eine Prozentangabe zur Wahrscheinlichkeit, dass der Text von einem KI-Tool produziert worden sei. Konkrete Belege fehlten – so dass es Hochschulen sehr schwer haben dürften, auf der Grundlage Fehlverhalten nachzuweisen. »Anders als bei Plagiaten ist ja keine Gegenüberstellung mit dem Original möglich«, sagte Weber-Wulff.

Die Expertin kennt nach eigenen Angaben aber Fälle, in denen Lehrende Verdacht schöpften und Studierende die KI-Verwendung einräumten. Dass diese die KI-Textgeneratoren »auf breiter Front« nutzten und wohl auch häufig kein Unrechtsbewusstsein hätten – davon sei auszugehen. »Es ist ein großes Problem, dass die Universitäten dazu bisher schweigen. Wir müssten klarstellen: Was wollen wir, was erlauben wir und was nicht?«

In der Studie über Detektoren halten die Fachleute fest, dass höhere Bildungseinrichtungen nicht darauf vorbereitet gewesen seien, wie schnell und radikal sich frei zugängliche KI-Tools verbessert hätten. Die Anwendung sei nicht zwangsläufig immer unethisch.

»Wir müssen sehr stark überdenken, wie wir Leistung messen«, forderte Weber-Wulff. Das kann heißen, dass Aufgaben künftig ganz anders als bisher gestellt werden sollten. Zum Beispiel, dass es darum geht, Fehler in Antworten von KI-Tools zu finden. Weber-Wulff nennt sie »Papageien«: Sie plapperten nur nach, was sie einmal gehört hätten.

Wichtig sei daher, Studierenden die Standards akademischen Schreibens zu vermitteln, etwa den Sinn von Fußnoten. Wenn KI-Systeme genutzt würden, sei ein transparenter Umgang damit geboten. »Und man muss die volle Verantwortung für allen Mist übernehmen, der vom System produziert wurde. Keine Ausreden.«