Bis zu fünf Prozent der Fachartikel könnten Textteile enthalten, die von künstlicher Intelligenz stammen – und auch Fake-Bilder sind im Umlauf. Fälschungsjäger, die verdächtige Wissenschafts-Papers aufspüren, können mit den neusten technischen Entwicklungen nicht mehr mithalten.
Die Ratte steht auf ihren Hinterpfoten, ihre schwarzen Knopfaugen blicken in die Weite. Vor ihrem Körper sind mehrere grosse Zellklumpen zu sehen – vielleicht Hoden – und etwas, das wie ein gigantischer Penis aussieht. Auf den ersten Blick ist klar: Diese Illustration ist absurd. Auf den zweiten Blick fallen die unsinnigen Begriffe auf, mit denen verschiedene Körperteile beschriftet sind. Allein das Tier selbst ist korrekt angeschrieben: «Rat» steht da.
Forscher liessen das Bild vom Tool Midjourney erstellen, das auf künstlicher Intelligenz (KI) beruht. Die Darstellung ist offensichtlich anatomisch nicht korrekt – und trotzdem wurde sie im Februar als Teil einer Studie im wissenschaftlichen Journal «Frontiers in Cell and Development Biology» veröffentlicht. Der Artikel, der noch weitere sinnfreie Grafiken enthält, wurde auf X (ehemals Twitter) von der Forschergemeinschaft zerpflückt, woraufhin ihn der Verlag zurückzog.
«Es ist unglaublich, dass dieses Paper die Qualitätsprüfung überstanden hat und publiziert wurde», sagt die Mikrobiologin Elisabeth Bik. Doch was ihr viel mehr Sorgen bereitet: «Wenn es solch stümperhafte Darstellungen in Fachmagazine schaffen, haben realistischer aussehende KI-Bilder wohl längst die wissenschaftliche Literatur infiltriert.»
Bik ist die wohl bekannteste Fälschungsjägerin im Wissenschaftsbetrieb, doch KI könnte ihre Arbeit bald verunmöglichen. Die in den USA lebende Niederländerin hat sich vor einigen Jahren darauf spezialisiert, manipulierte Bilder in Publikationen aufzuspüren. Lange war sie an der Stanford University angestellt, inzwischen ist sie freischaffend und finanziert sich über Spenden. Mehrere tausend problematische Papers hat sie bereits gefunden. Fast täglich erhält sie auf X oder über E-Mail Hinweise, denen sie nachgeht.
Mit ihrem geschulten Auge und mit Software sucht sie nach Bildfehlern. Bestätigt sich der Verdacht, dass getrickst wurde, stellt Bik die Arbeit auf «Pubpeer» – eine Online-Plattform, die über Ungereimtheiten in Studien berichtet. «Damit möchte ich die Leute vor problematischen Publikationen warnen», sagt sie. Im Idealfall würden die Papers zurückgezogen oder korrigiert.
Acht Prozent haben schon getrickst
Manipulationen in Fachartikeln sind gar nicht so selten. Bei einer anonymen Umfrage in den Niederlanden gaben acht Prozent der Forscherinnen und Forscher zu, schon mindestens einmal Daten gefälscht oder erfunden zu haben. Wollen Wissenschafter Karriere machen, müssen sie Studien veröffentlichen. Um sich um Fördergelder oder neue Stellen zu bewerben, brauchen sie Publikationen für ihren Lebenslauf.
Dieser Druck ist mancherorts so gross geworden, dass eine wahre Fälschungsindustrie entstanden ist. So müssen in China auch Spitalärzte, denen es an Zeit oder Kompetenz für Forschung mangelt, immer wieder Artikel in Fachzeitschriften vorweisen. Sogenannte «Paper Mills» bieten dafür eine einfache Lösung an: Sie verkaufen gefälschte Artikel.
Anfang 2020 stiessen Elisabeth Bik und andere Gleichgesinnte auf Bildfälschungen in Hunderten von Artikeln die alle von einer solchen Publikationsfabrik stammten. Dabei ging es um sogenannte «Western Blots», die Muster von Proteinen auf einem Trägermedium darstellen.
Bildmanipulationen von «Western Blots» gehören zum Alltag von Bik. In diesem Fall waren für einmal aber nicht die Proteinflecken selbst verdächtig. «Diese hatten die Fälscher mit einer Software gut hinbekommen», erklärt Bik. «Die Manipulationen waren nur zu entdecken, weil in den Bildern immer der genau gleiche Hintergrund vorkam.»
Dieser Betrugsfall kam vor der Ära der KI-Tools zustande. Das spielte den Fälschungsdetektiven in die Hände. Bei neueren Fachartikeln ist es laut Bik deutlich schwieriger geworden, Ungereimtheiten zu erkennen. «Weniger manipuliert wird nicht», sagt sie. «Vielmehr macht es KI inzwischen fast unmöglich, Fälschungen von echten Abbildungen zu unterscheiden.» Bei Artikeln, die in den letzten zwei Jahren erschienen sind, kann Bik mit ihrer Methode kaum mehr etwas ausrichten.
Dass das Problem nicht nur auf Bilder beschränkt ist, zeigt das Wirken von Guillaume Cabanac. Er spürt wie Elisabeth Bik Fälschungen in Fachartikeln auf, nur hat sich der Computerwissenschafter von der Universität Toulouse auf Merkwürdigkeiten in Texten spezialisiert.
Vor einigen Wochen ging ein Tweet von ihm viral, in dem er auf ein Paper aufmerksam machte, das mit folgendem Satz beginnt: «Certainly, here is a possible introduction for your topic.» Es ist die typische Antwort eines KI-Chatbots auf die Bitte, die Einführung des Fachartikels zu schreiben. Die Autoren nahmen sich nicht einmal die Mühe, diesen ersten Satz zu löschen – und offenbar fiel er später auch den Reviewern, die den Artikel begutachtet haben, nicht auf.
🤖 So #ChatGPT wrote the first sentence of this @ElsevierConnect article. Any other parts of the article too? How come none of the coauthors, Editor-in-Chief, reviewers, typesetters noticed? How can this happen with regular peer-review? https://t.co/C4vX317zYV pic.twitter.com/K5IgZKcLz9
— Guillaume Cabanac ⟨here and elsewhere⟩ (@gcabanac) March 12, 2024
Der Satz sei nur eine von vielen unverkennbaren Floskeln einer KI, die er immer wieder in Artikeln finde, erzählt Cabanac. Der Franzose durchkämmt die wissenschaftliche Literatur systematisch danach und stellt – genau wie Bik – verdächtige Publikationen auf «Pubpeer». «Diese Sätze sind wie die Fingerabdrücke an einem Tatort», sagt er. Mit seinem Vorgehen spürt er nur die plumpsten Betrugsversuche auf, bei denen die Forscher die Spuren der KI nicht verwischt haben. Laut Cabanac sind sie jedoch ein deutliches Zeichen dafür, dass Forscher Systeme wie Chat-GPT für wissenschaftliches Fehlverhalten nutzen. «Leider sind die Fälle, die ich finde, nur die Spitze des Eisbergs.»
Mit anderen Methoden lassen sich dagegen grobe Schätzungen über das wahre Ausmass des Problems anstellen: So weisen Studien, bei denen die Häufigkeit von KI-typischen Wörtern geprüft wurde, darauf hin, dass mittlerweile bis zu fünf Prozent der Papers KI-generierte Textstellen enthalten.
Cabanac ist keineswegs der Ansicht, dass man beim Verfassen eines Artikels gänzlich auf KI verzichten muss. Für Forscher, denen es schwerfalle, auf Englisch zu schreiben, seien solche Systeme äusserst nützlich, um ihre Texte zu verbessern. «Doch die Autoren müssen darlegen, wenn sie ein KI-Tool verwenden», sagt er.
Inakzeptabel sei es, wenn Wissenschafter von KI generierte Inhalte als ihre eigenen ausgäben oder es falsche Angaben eines Chatbots in die Publikation schafften. Denn die KI-Tools sind bekannt dafür, zu halluzinieren, also Inhalte ganz einfach zu erfinden. So hat Cabanac in Fachartikeln auch schon täuschend echt wirkende Referenzen zu Studien entdeckt, die es gar nicht gibt.
Müll in der wissenschaftlichen Literatur
Leider dauere es meist sehr lange, bis Verlage oder Autoren problematische Artikel zurückzögen, sagt Cabanac. Und viel zu häufig geschehe das überhaupt nicht. «Dabei ist dies wie das Reinigen der wissenschaftlichen Literatur von Müll», so der Forscher. «Es ist wichtig, dass Studenten, Fachleute, Patienten, aber auch künstliche Intelligenz selbst keinerlei Wissen aus diesen Fake-Papers beziehen.»
Wie langwierig solche Putzaktionen sind, zeigt eine Statistik, die Bik führt. Von 800 problematischen Fachartikeln, die sie 2015 entdeckt hat, waren fünf Jahre später dreissig Prozent zurückgezogen oder korrigiert. Bis heute ist die Quote erst auf fünfzig Prozent gestiegen.
Allerdings wäre es sowieso besser, wenn Fälschungen gar nicht erst veröffentlicht würden. Bik ist der Meinung, dass hier die wissenschaftlichen Verlage gefordert sind: «Eine funktionierende Qualitätskontrolle wäre eine gute Investition für die Gewinne, die sie erzielen», sagt sie.
Doch wie könnten die Verlage ausgeklügelte KI-Fälschungen von echten Inhalten unterscheiden? Zumal selbst Detektoren, die mit riesigen Mengen von KI-generierten Texten oder Bildern trainiert wurden, künstliche Inhalte nicht zweifelsfrei erkennen können – Forschende wurden so auch schon zu Unrecht verdächtigt, KI verwendet zu haben.
Ein grosses Potenzial sieht Bik bei den Metadaten der Dateien, die Wissenschafter den Verlagen übergeben: «Es wäre möglich, zum Beispiel Mikroskopbilder mit elektronischen Zusatzinformationen zu versehen, die auf die Echtheit der Abbildungen schliessen lassen», sagt sie.
Auch der umgekehrte Weg steht derzeit zur Diskussion: KI-Tools sollen die von ihnen generierten Inhalte mit digitalen Wasserzeichen versehen, um auf die maschinelle Herkunft hinzuweisen. Das Problem: Solche in die Bilder integrierten Markierungen lassen sich mit den richtigen Software-Werkzeugen auch wieder entfernen.
Einheitliche Leitlinien
Was es laut Cabanac aber erst einmal braucht, sind verbindliche und allgemeingültige Richtlinien der Verlage für die Handhabung von KI. Noch seien diesbezüglich sehr unterschiedliche Ansätze auszumachen. Anfang Jahr zeigte eine Studie, dass bis jetzt nur gerade 24 Prozent von den 100 wichtigsten Verlagen den Forschern überhaupt Regeln zur Verfügung stellen, wie sie bei ihren Veröffentlichungen mit KI umgehen sollen.
Damit es hier vorwärtsgeht, haben verschiedene Wissenschafter nun das Projekt Cangaru gegründet – auch Cabanac gehört zum Team. Ihr Ziel ist es, in Zusammenarbeit mit anderen Forschern, Verlegern und Journal-Editoren einheitliche KI-Leitlinien zu erarbeiten. Dabei soll ein disziplinenübergreifender Konsens zur ethisch vertretbaren Nutzung und zur korrekten Offenlegung von KI-Tools erreicht werden. Tausende Forscher weltweit und auch einige grosse Verlage wie Elsevier, Springer Nature oder Wiley haben ihre Mitarbeit bereits angekündigt. Noch in diesem Jahr sollen die «Cangaru-Guidelines» erscheinen.
Ein Artikel aus der «»
