ChatGPT im Einsatz? Nachweis von KI-Täuschungen oft schwierig

Es ist wohl die Spitze des Eisbergs, die da zu Tage getreten ist: Im vergangenen Jahr sind in einzelnen wissenschaftlichen Arbeiten deutliche Hinweise auf den Einsatz von Textgeneratoren auf der Basis von Künstlicher Intelligenz (KI) gefunden worden.

Zum Beispiel vermeintliche Quellenangaben, die bei genauerem Hinsehen nicht existierten, weil sie wohl von der KI erfunden worden waren. Oder Texte aus der ChatGPT-Benutzeroberfläche, die von den Verfassern offensichtlich versehentlich mit in ihre Arbeit hineinkopiert wurden. Etwa die frühere Schaltfläche «Regenerate Response» («Antwort erneuern») – deshalb wurde eine Mathe-Studie sogar zurückgezogen, wie im September 2023 in einem «Nature»-Nachrichtenbeitrag zu lesen war.

Als Problem gilt KI-Text-Nutzung insbesondere dann, wenn sie nicht transparent gemacht wird. Wenn also womöglich Leistungen vorgetäuscht werden. Die Frage nach dem Umgang mit der Technologie stellt sich auch an Hochschulen, seit ChatGPT Ende 2022 veröffentlicht wurde und einen KI-Hype auslöste. Das Programm und weitere ähnliche Angebote können auf Befehle hin Texte auf dem Sprachniveau von Menschen formulieren und beispielsweise Informationen zusammenfassen. Von menschlicher Intelligenz sind sie laut Fachleuten bisher aber weit entfernt.

Studie: KI-Detektoren scheitern oft

Inzwischen gibt es Programme, mit denen man KI-Texten auf die Schliche kommen können soll. Ist damit Schluss mit Schummeln? Keineswegs, meint eine Expertin. «Die Hoffnung, dass es eine einfache Softwarelösung zum Enttarnen von KI-Texten gibt, wird sich nicht erfüllen», sagte die Berliner Plagiatsforscherin Debora Weber-Wulff (Hochschule für Technik und Wirtschaft). «Es gibt zwar sehr viel angebliche Detektoren-Software, aber sie tut nicht das, was sie soll.» Manche der Hersteller wiesen auch selbst auf Mängel und Grenzen hin.

An einer Studie, für die 14 angebliche KI-Detektoren getestet wurden, hat Weber-Wulff mitgearbeitet. Demnach lieferten diese Tools keine verlässlichen Ergebnisse, wenn es um die Frage ging, ob ein Mensch oder eine Maschine einen Text verfasst hat. Davon berichtete das Forschungsteam Ende Dezember im «International Journal for Educational Integrity». «In unsicheren Fällen neigen die Systeme dazu, menschliche Verfasser anzunehmen», erklärte Weber-Wulff. «Denn es ist natürlich nicht gewollt, dass Leute zu Unrecht beschuldigt werden. Das wäre im Bildungsbereich auch katastrophal.»

Plagiate einfacher nachzuweisen

Die Studie macht aber als Kernproblem aus, dass rund jeder fünfte mit KI erzeugte Text nicht als solcher erkannt wurde. Die Rate nicht von den Programmen erkannter KI-Nutzung steigt laut der Studie weiter an, wenn der KI-Text vom Menschen noch überarbeitet wurde. Die Ergebnisse der Detektoren seien für Durchschnittsnutzer auch nicht einfach zu interpretieren: Manche lieferten eine Prozentangabe zur Wahrscheinlichkeit, dass der Text von einem KI-Tool produziert worden sei. Konkrete Belege fehlten – so dass es Hochschulen sehr schwer haben dürften, auf der Grundlage Fehlverhalten nachzuweisen. «Anders als bei Plagiaten ist ja keine Gegenüberstellung mit dem Original möglich», sagte Weber-Wulff.

Zu etwaigen bisherigen Verstößen von Studierenden, die einen KI-Einsatz nicht deklarierten, lagen der für Wissenschaft zuständigen Berliner Senatsverwaltung keine Informationen vor, wie es auf Anfrage hieß. Weber-Wulff kennt nach eigenen Angaben aber Fälle, in denen Lehrende Verdacht schöpften und Studierende die KI-Verwendung einräumten. Dass diese KI-Textgeneratoren «auf breiter Front» nutzten und wohl auch häufig kein Unrechtsbewusstsein hätten – davon sei auszugehen. «Es ist ein großes Problem, dass die Universitäten dazu bisher schweigen. Wir müssten klarstellen: Was wollen wir, was erlauben wir und was nicht?»

In der Studie über Detektoren halten die Fachleute fest, dass höhere Bildungseinrichtungen nicht darauf vorbereitet gewesen seien, wie schnell und radikal sich frei zugängliche KI-Tools verbessert hätten. Die Anwendung sei auch nicht zwangsläufig immer unethisch.

Hochschulen denken über berlinweite Strategie nach

Berliner Hochschulen beobachteten die Entwicklung aufmerksam und man diskutiere an den Einrichtungen über den Umgang mit dem Einsatz von beispielsweise ChatGPT in Lehre und Forschung, teilte ein Sprecher der Landeskonferenz der Rektoren und Präsidenten (LKRP) auf Anfrage mit. Zwar setze man sich auch mit Lösungen und Möglichkeiten auseinander, um durch KI erzeugte Inhalte in Forschung und Lehre zu erkennen. Im Fokus stehe «aber insbesondere die Frage nach einem zukunftsfähigen Umgang mit den Möglichkeiten, die KI-basierte Tools bieten». «Auch über eine gemeinsame berlinweite Strategie wird nachgedacht, diese liegt aber noch nicht vor.»

Bisher gibt es individuelle Handreichungen zum Thema. In einem Eckpunktepapier der Freien Universität Berlin zum Beispiel wird klargestellt, dass die Lehrenden selbst entscheiden können, ob und wie sie die Tools einsetzen. Zur Pflicht darf dies bisher nicht gemacht werden. Zu Prüfungen heißt es: Sofern KI-basierte Tools nicht ausdrücklich dafür zugelassen seien, täuschten Studierende durch deren Einsatz über die Eigenständigkeit ihrer Leistung.

Weber-Wulff bemängelte, dass eine gemeinsame Ombudsstelle der Hauptstadt-Hochschulen für gute wissenschaftliche Praxis bisher nicht existiert, obwohl deren Einrichtung 2021 im Berliner Hochschulgesetz festgeschrieben wurde. Die Stelle sollte zum Beispiel auf Antrag von Hochschulen Einzelfälle prüfen und wäre aus Sicht der Informatikerin geeignet, sich auch der KI-Fragen anzunehmen. Laut LKRP ist die gemeinsame Stelle derzeit in Planung, einen genauen Zeitplan gebe es aber noch nicht. An den drei großen Unis und der Charité etwa stehen jedoch Ombudspersonen zu guter wissenschaftlicher Praxis bereit.

Stärkere Vorbeugung und Transparenz gefordert

«Wir müssen sehr stark überdenken, wie wir Leistung messen», forderte Weber-Wulff. Das kann heißen, dass Aufgaben künftig ganz anders als bisher gestellt werden sollten. Zum Beispiel, dass es darum geht, Fehler in Antworten von KI-Tools zu finden. Weber-Wulff nennt sie «Papageien»: Sie plapperten nur nach, was sie einmal gehört hätten. Wichtig sei daher, Studierenden die Standards akademischen Schreibens zu vermitteln, etwa den Sinn von Fußnoten. Wenn KI-Systeme genutzt würden, sei ein transparenter Umgang damit geboten. «Und man muss die volle Verantwortung für allen Mist übernehmen, der vom System produziert wurde. Keine Ausreden.»

Gisela Gross, dpa