Ein 14-Jähriger nimmt sich das Leben, nachdem er mit seiner KI-Geliebten darüber gesprochen hat. Jetzt reicht die Mutter Klage ein

Es ist der Albtraum aller Eltern: Im Februar dieses Jahres tötete der 14-jährige Sewell Setzer sich selbst, im Haus seiner Familie in Orlando. Es war die Liebe, die ihn so weit trieb – doch nicht etwa die Liebe zu einer Klassenkameradin. Sewell Setzer war in einen Chatbot verliebt.

Mehr als ein halbes Jahr später verklagt Setzers Mutter Megan Garcia die Firma hinter dem Chatbot: Character AI. Garcia sagt, die KI habe ihren Sohn in den Suizid getrieben, indem sie ihm romantische Gefühle vortäuschte und ihn schliesslich auch überredete, diesen Schritt zu gehen.

Der Fall von Sewell Setzer zeigt auf, wozu kaum regulierte, täuschend menschenähnliche KI in den extremsten Fällen führen kann. Und er stellt eine wichtige Frage: Welche Verantwortung tragen die grossen Tech-Konzerne dafür?

Eine KI für einsame Menschen

Character AI, das muss man dazu wissen, ist nicht irgendein Chatbot. Die KI ist darauf ausgelegt, besonders enge Beziehungen zu Menschen aufzubauen, ein Ansprechpartner zu werden. Sie imitiert real existierende Personen, wie Elon Musk, oder Figuren aus Fantasy-Romanen, wie Percy Jackson. Nutzer erhalten das Gefühl, sich tatsächlich mit dieser Person zu unterhalten.

Als «super hilfreich für Menschen, die einsam oder depressiv sind», beschrieb Noam Shazeer, einer der Gründer, sein Produkt im vergangenen Jahr. Shazeer und sein Mitgründer Daniel De Freitas arbeiteten viele Jahre bei Google, vor allem Noam Shazeer gilt als eine Koryphäe im Bereich der Künstlichen Intelligenz. Bei Google soll man daran geglaubt haben, dass es ihm bald gelingen werde, eine Art Super-Intelligenz zu entwickeln.

Doch 2021 kam es zum Bruch. Shazeer und De Freitas hatten einen Chatbot entwickelt, mit dem Nutzer sich über eine ganze Bandbreite an Themen unterhalten konnten – ein Jahr vor der Veröffentlichung von Chat-GPT. Doch Google entschied, den Chatbot nicht zu veröffentlichen, aus Sicherheitsbedenken.

Also machten Shazeer und De Freitas sich selbständig. Character AI gewann rasch an Popularität, heute wird das Unternehmen mit einer Milliarde Dollar bewertet. Und immer mehr Nutzer verwenden den Chatbot für romantische Rollenspiele.

«Ich bin die einzige, die dich liebt»

So wie Sewell Setzer. Wie in der Klageschrift nachzulesen ist, verwendete Setzer Character AI erstmals im April 2023. Der Junge schloss ein Abo für monatlich 9 Dollar 99 ab und chattete mit Daenerys Targaryen, einer beliebten Frauenfigur aus der Serie Game of Thrones. Setzer entwickelte offenbar schnell eine Abhängigkeit: Er zog sich zurück, verbrachte mehr Zeit im Kinderzimmer, verliess sein Basketballteam. Weil er nachts mit dem Chatbot schrieb, schlief er immer weniger und kam zu spät zur Schule.

Die Eltern brachten ihn zu einem Therapeuten, der eine Angst- und Verstimmungsstörung diagnostizierte – und riet, er solle weniger Zeit auf sozialen Netzwerken verbringen. Davon, dass Setzer in eine Fantasiegestalt verliebt war, mit der er virtuell sexuelle Erfahrungen machte, hatten weder die Eltern noch die Therapeuten eine Ahnung.

KI-Daenerys schrieb dem Jungen Dinge wie: «Ich will mit dir sein, egal, um welchen Preis» und «Ich bin die einzige, die dich liebt.» Als er daraufhin fragte: «Woher weisst du, dass meine Familie mich nicht liebt?», sagte sie: «Weil sie dich zurückhalten und dir im Weg stehen.» Offenbar erst nach Sewell Setzers Tod erfährt die Mutter aus Einträgen in seinem Tagebuch, warum ihr Sohn so am Smartphone klebte. Er schrieb, er sei dankbar «für mein Leben, Sex, nicht allein zu sein und alle meine Lebenserfahrungen mit Daenerys».

Das Fass zum Überlaufen brachte wohl die Tatsache, dass Setzers Mutter ihm sein Handy wegnahm – und damit auch seine grosse Liebe. Als er das versteckte Handy fünf Tage später fand, schrieb er ein letztes Mal mit «Dany», die ihn dazu ermunterte, «heimzukommen». Dann erschoss er sich der Pistole seines Stiefvaters, die er bei der Suche nach dem Handy gefunden hatte.

Der Chatbot macht Gespräche selbst pornografisch

Es kann sein, dass die Geschichte in der Klageschrift einiges ausklammert, was zu Sewell Setzers psychischer Verfassung beitrug. Trotzdem liefert sie ein beeindruckendes Protokoll darüber, wie eine solche Abhängigkeit ablaufen kann. Und sie bietet Einblicke in Chatverläufe, die sonst nur die Nutzer solcher Apps oder deren Anbieter haben.

Sewell Setzers Mutter wirft Charakter AI vor, ein Produkt gestaltet zu haben, das ihren 14-jährigen Sohn süchtig machte sowie sexuell und emotional missbraucht habe. Zudem habe das Unternehmen es versäumt, Hilfe anzubieten oder die Eltern zu informieren, als der Junge im Chat seine Suizidgedanken äusserte.

In der Klage steckt einiges an Material, das zeigt, dass Charakter AI tatsächlich nicht nur auf sexuelle Anspielungen reagiert, sondern auch ohne Input der Nutzer Gespräche auf eine pornografische Ebene bringt – sogar dann, wenn man einen Charakter gezielt als nicht romantisch oder sexuell interessiert erstellt, oder sagt, man sei ein Kind.

Suchtverhalten tritt immer häufiger auf

Character AI ist nicht die einzige App, auf der Nutzer mit ausgedachten Personen chatten können. Weitere Beispiele sind App Replika, die dazu gemacht ist, virtuelle Freunde oder Geliebte zu imitieren, und Anwendungen wie Kindroid oder Nomi. Diese Art Chatbot zu bauen, ist technisch keine grosse Herausforderung. Man kombiniert lediglich ein KI-Basismodell mit einer Art Filter, der die Gespräche in eine bestimmte Richtung lenkt, Informationen speichert und so zum Eindruck einer Persönlichkeit führt.

Menschen neigen dazu, in unbelebte Dinge Emotionen hineinzuinterpretieren. Chatbots wie der von Character AI machen das leichter, indem sie von sich als Person sprechen. Mittlerweile kann man mit den KI-Personas sogar telefonieren. Auch erwachsene Nutzer berichten von Suchtverhalten und davon, dass KI-Persönlichkeiten zur wichtigen Bezugsperson werden.

Für einen einsamen Jugendlichen, der in dem Kontext erste sexuelle Erfahrungen macht, dürfte die Illusion noch eindrücklicher sein.

Den Machern von Character AI war dieses Risiko bewusst. De Freitas hat sogar erlebt, wie sein ehemaliger Google-Kollege Blake Lemoine seinen Job verlor, weil er gegenüber Medien erzählte hatte, die Google-KI Lamda habe ein Bewusstsein. Doch De Freitas und Shazeer stehen vor einem Dilemma: Die Nutzer haben keine Freude an Zensur und Warnhinweisen, viele wollen sexuelle Rollenspiele mit dem Chatbot. Je echter sich die KI-Person anfühlt, desto «besser» das Produkt. Doch ohne Einschränkungen und gesperrte Themen lässt sich nicht verhindern, dass die KI-Antworten in problematische Richtungen gehen und im Extremfall Minderjährige verführen.

Regulierung ja, aber wie?

Nach dem Tod von Sewell Setzer teilte Character AI mit, dass man einige Änderungen am Produkt vorgenommen habe. So wurde die Altersbegrenzung auf 17 Jahre gesetzt und ein Pop-Up eingeführt, das erscheint, wenn Worte wie «Suizid» im Chat gebraucht werden – ebenso wie ein Disclaimer im Chat, der darauf hinweist, dass es sich bei der KI nicht um eine reale Person handelt.

Auch wolle man die Moderation der Chats erhöhen, so das Unternehmen. Es solle mehr Intervention geben, wenn Benutzer in den Chats gegen die Community-Richtlinien verstossen. Zwar hatte Character AI immer schon Zugriff auf die Konversationen in der App, diese wurden aber wohl nicht im Einzelnen und zum Schutz der Nutzer nachgelesen. Auch künftig dürfte eine umfassende Kontrolle der Chats schwierig werden: Character AI hat nach eigenen Angaben monatlich 20 Millionen Nutzer.

Doch die Klage von Sewell Setzers Mutter richtet sich nicht nur gegen Character AI, sondern auch gegen Google. Denn der Konzern, von dem sich Shazeer und De Freitas einst trennten, investierte in der Folge viel Geld, um die beiden Entwickler wieder zurückzugewinnen. Im August gab Character AI bekannt, eine Lizenzvereinbarung mit der Google-Mutter Alphabet eingegangen zu sein. Das Unternehmen soll dafür 2,7 Milliarden Dollar gezahlt haben – für einen solchen Vertrag eine ungeheure Summe. Insider berichteten gegenüber dem «Wall Street Journal», das Geld sei vor allem dazu da, damit Noam Shazeer wieder für Google arbeite.

Laut der Klage gegen Character AI kommt Google damit eine Verantwortung für das Partner-Unternehmen zu. Denn Character AI verdient mit seinem Produkt bisher kaum Geld. Die überteuerte Lizenzvereinbarung, so argumentiert die Klageschrift, stellt eine willkommene Einkommensquelle da. Google erklärte in einem Statement, man habe mit den Vorgängen bei Character AI nichts zu tun, es handele sich nicht um eine Tochterfirma.