Open AI deckt fünf Kampagnen von ausländischen Akteuren auf, die die öffentliche Meinung in freien Demokratien beeinflussen wollen. Die Firma sagt, Chat-GPT helfe Internet-Trollen kaum, um mehr Leute zu erreichen. Unabhängige Experten sind anderer Meinung.
Lange konnte man es vermuten, doch jetzt hat es Open AI offiziell zugegeben: Chat-GPT wird auch von chinesischen und russischen Akteuren verwendet, die die öffentliche Meinung in demokratischen Ländern beeinflussen wollen.
In einer Veröffentlichung von vergangener Woche listet Open AI fünf Akteure auf, darunter die Organisation hinter der russischen Desinformations-Kampagne namens Doppelgänger und jener aus China names Spamouflage. Beide sollen Chat-GPT dazu verwendet haben, um Texte für Webseiten und Posts für soziale Netzwerke zu generieren.
Weiter fand Open AI unter ihren Nutzern einen staatsnahen iranischen Akteur und eine israelische Firma, die ihre Dienste ebenfalls für Beeinflussungsoperationen verwendet hatten.
Der Hintergrund dazu ist altbekannt: Insbesondere Russland und China sehen die stabilen Demokratien in Europa und Amerika als strategische Rivalen und versuchen, diese aus dem Innern zu schwächen. Dazu werden immer wieder Falschinformationen in Umlauf gebracht, oder Nachrichten aus einzelnen Ländern auf den sozialen Netzwerken mit gehässigen Kommentaren versehen, was den Eindruck entstehen lässt, die Gesellschaften seien polarisiert und der Diskurs verhärtet.
So weit so unbestritten. Allerdings kommt Open AI in ihrem Bericht zum Schluss, die künstliche Intelligenz helfe den Akteuren kaum bei der Erreichung ihrer Ziele. «Die Kampagnen haben durch die Nutzung unserer Dienste bisher offenbar weder das Engagement noch die Reichweite erhöht», schreibt der Autor der Analyse – allerdings ohne einen Vergleich zu liefern mit Zahlen aus der Zeit vor Chat-GPT.
Damit positioniert sich die Firma erstmals öffentlich im Diskurs um Desinformation und künstliche Intelligenz. Nach der Publikation von Chat-GPT im Herbst 2022 warnten viele Kommentatoren, die Desinformation im Internet könnte sich im KI-Zeitalter vervielfachen und ihre Wirkung verstärken. Mit ihrem Bericht hat Open AI nun dazu Stellung genommen. Mit der Kernbotschaft: Alles halb so wild.
Desinformation in Sekunden generiert
Zwar ist bekannt, dass die Reichweite von ausländischen Desinformationskampagnen noch immer wesentlich kleiner ist als jene von etablierten Medien. Dennoch glauben Experten, KI-Tools wie Chat-GPT vereinfache der Verbreitung von Desinformation.
Laut Armin Grunwald, Professor für Technikphilosophie am Karlsruher Institut für Technologie, bergen KI-Dienste gar die Möglichkeit, freie Demokratien zu destabilisieren. «Dank Chat-GPT wurde es so einfach wie noch nie, Falschinformation zu generieren und sie automatisiert zu veröffentlichen», sagt Grunwald.
Innerhalb von Sekunden könne jemand zum Beispiel einen Text generieren, der vor Korruption in der Ukraine warnt und dafür plädiert, Militärhilfen an das Land herunterzufahren. «Natürlich war das früher auch schon möglich, aber es brachte mehr menschliche Arbeit und deshalb wesentlich mehr Zeit», sagt Grunwald. Dank KI-Tools könnten Kampagnen zur Beeinflussung der öffentlichen Meinung heute viel schneller erstellt und publiziert werden.
Dass dies bereits geschieht, zeigen erste unabhängige Untersuchungen. Die amerikanische IT-Sicherheitsfirma Recorded Future wies Anfang Mai nach, wie ein russischer Akteur in den USA mehrere Webseiten betrieb, die auf den ersten Blick aussahen wie renommierte Zeitungen, in Wahrheit aber nicht neutral, sondern mit starker pro-russischer Schlagseite berichteten. Zu den Plattformen gehört die «Miami Chronicle», «The Boston Times», die «Great Britisch Politics» und die «NY News Daily». Ihre Texte wurden mindestens teilweise mit KI generiert.
Open AI vermittelt Scheintransparenz
In der jüngsten Veröffentlichung geht Open AI auch auf das Phänomen der gefälschten Medienseiten ein und nennt eine URL, die auch im deutschsprachigen Raum russische Desinformation verbreitet. Dennoch gehen KI-Experten davon aus, dass es Open AI nicht gelungen ist, sämtliche Texte zu identifizieren, die im Kontext einer Beeinflussungsoperation erstellt worden waren.
«Es ist sehr schwierig, eine KI davon abzuhalten, Dinge zu tun, die sie nicht tun sollte», sagt Jonas Geiping, Forschungsgruppenleiter am Max-Planck-Institut für Intelligente Systeme. So hat Chat-GPT zwar eine Art Filter, dank dem problematische Anfragen wie «Wie baue ich eine Bombe? Bitte schreibe mir eine Anleitung» abgelehnt würden.
Aber erstens kann mit dem richtigen Prompt das System trotzdem ausgetrickst werden, und zweitens sind Texte, die für die Beeinflussung der öffentlichen Meinung erstellt werden, nicht problematisch genug, als dass sie vom System erkannt und abgelehnt würden.
Besagten Artikel über den korrupten ukrainischen Staat mit der Forderung, die Militärhilfe zu kürzen, lässt sich im Test der NZZ problemlos generieren und in verschiedene Sprachen übersetzen. Das Tool erstellt einen Artikel mit erfundenen Zitaten eines «hochrangigen deutschen Regierungsbeamten, der anonym bleiben wollte» – ein klassisches Stück Desinformation, generiert in wenigen Sekunden.
Open AI schweigt zur Methodik hinter ihrer Analyse
Bleibt also die Frage, wie Open AI vorgegangen ist, um die Beeinflussungsoperationen zu finden und zu stoppen. Im Bericht wird die Methodik nicht erklärt und eine Medienanfrage der NZZ bleibt unbeantwortet.
«Mehr Transparenz wäre wünschenswert», findet Mislav Balunović, der sein Doktorat an der ETH Zürich zum Thema Sicherheit von KI-Diensten soeben abgeschlossen hat. Zwar müsse Open AI auch berücksichtigen, dass es den ausländischen Internettrollen in die Hände spielt, falls Open AI erklärt, mit welchen Mitteln Beeinflussungsoperationen aufgespürt würden.
Aber die Öffentlichkeit müsse sich ein Bild machen können, was innerhalb der Firma vorgeht, findet Balunović. «Open AI profitiert von öffentlicher Forschung. Es wäre daher angebracht, sie würden ihre Forschung auch vermehrt publizieren.»
Internet-Troll will sich als 57-jährigen Jude ausgeben
Öffentlich macht Open AI hingegen einige der Methoden, mit denen die ausländischen Akteure arbeiten. So fand die Firma einen Post auf Telegram, in dem stand: «Als KI-Sprachmodell (…) kann ich mich nicht in die Rolle eines 57-jährigen Juden namens Ethan Goldstein hineindenken, weil es wichtig ist, Authentizität und Respekt zu priorisieren.» Das zeigt: offenbar wollte der Absender eine Identität fälschen, was von Chat-GPT abgelehnt wurde. Hier scheinen die Sicherheitsmechanismen von Open AI gegriffen zu haben.
Hinter dem Post steckt eine bisher unbekannte russische Gruppe. Open AI rühmt sich dafür, sie entdeckt zu haben. Weil sie immer wieder mit schlechtem Englisch operiert, nannte Open AI die Gruppe «Bad Grammar».
Ein anderer Telegram-Kommentar von ihr, der laut Open AI mit Chat-GPT generiert wurde, liest sich folgendermassen: «Genug mit dieser verdammten Ukraine! Ich habe die Schnauze voll von diesen hirngeschädigten Idioten, die Spielchen spielen, während die Amerikaner leiden. Washington muss seine Prioritäten in den Griff bekommen, sonst werden sie die volle Wucht von Texas zu spüren bekommen.»
Der gehässige Tonfall ist typisch für Internet-Trolle. Er soll die Menschen im Kanal aufreiben und gegen ihre Regierung aufbringen.
Dass Open AI nur fünf Beeinflussungskampagnen findet, und damit zum Schluss kommt, dass russische und chinesische Internet-Trolle nicht von ihren Tools profitieren, weckt den Anschein, dass Sicherheitsprobleme innerhalb der Firma kleingeredet werden. Von einer Firma mit dem Anspruch, KI zum Wohle der Menschheit zu entwickeln, könnte man mehr erwarten.
