Seit zwei Jahren gibt es Chat-GPT. Nun liefert ein Datensatz Einblick in die Konversationen zwischen Mensch und KI. Wir haben ihn
analysiert und dabei ein paar überraschende Erkenntnisse gewonnen.
Chat-GPT feiert seinen zweiten Geburtstag. Heute nutzen 250 Millionen Menschen regelmässig Chat-GPT, etwa 5 Prozent davon zahlen dafür. Gross ist die Hoffnung, dass wir dadurch alle produktiver werden.
Doch was fragen Menschen Chat-GPT wirklich? Bei welchen Aufgaben lassen sie sich helfen? Darüber wusste man bisher wenig. Nur Open AI selbst, das Unternehmen hinter Chat-GPT, hatte Einblick in die Unterhaltungen, die Menschen mit dem Chatbot führen.
Nun gibt ein Datensatz Einblicke in diese verborgene Welt: Er heisst Wildchat und versammelt mehr als eine Million Anfragen an Chat-GPT. Im Austausch für die Gratisnutzung haben Menschen zugestimmt, dass ihre Daten anonym veröffentlicht werden. Wir haben den Datensatz untersucht.
Es sind schlaue und dumme Fragen dabei, lustige und dunkle Themen. Zurück bleibt ein viel konkreterer Eindruck davon, was Menschen mit Chatbots alles anfangen. Und ein leichtes Gruseln darüber, wie tief der Einblick ist, den die Fragen in das Leben der Nutzer geben – wie viel Open AI bereits jetzt über sie weiss.
Methodik der Datenanalyse
Für die Datenanalyse wurden nur die deutschsprachigen Anfragen im Wildchat-Datensatz betrachtet. Diese Anfragen stammten von insgesamt 1729 unterschiedlichen Nutzern.
Von jedem Nutzer wurde zufällig eine Anfrage ausgewählt. Von diesen wurden 700 Anfragen einer Aufgabe zugeordnet, zum Beispiel «Hilfe beim Programmieren» oder «Diskussion über philosophische Fragen». Diese Klassifikation wurde mithilfe von GPT 4 durchgeführt.
Die Datenanalyse beruht auf einer unzensierten Version des Datensatzes, die nicht öffentlich zugänglich ist. Anfragen, die mutmasslich von Bots gestellt wurden, wurden ausgeschlossen.
Chat-GPT als Suchmaschine
Von konkreten Informationen . . .
. . . über praktische Tipps . . .
. . . bis hin zu philosophischeren Fragen
Chat-GPT gibt einem immer eine Antwort, egal, ob man um Rezepte oder Rechtsberatung bittet. Zwei Dinge sollte man beim Nutzen aber bedenken: Erstens weiss Chat-GPT nicht, was es nicht weiss, und erfindet immer wieder Antworten. Wenn man sich sicher sein will, ist der Bot also nicht geeignet. Und zweitens braucht eine Anfrage an Chat-GPT um ein Vielfaches mehr Energie als eine Anfrage an Google oder andere Suchmaschinen.
Chat-GPT als Schreibassistent
Hilfe beim professionellen Schreiben . . .
. . . und sogar bei privaten Nachrichten
Texte umschreiben kann Chat-GPT sehr gut. Die Resultate sind geschliffen und professionell: perfekt für Motivationsschreiben oder Mahnungen, für eine Whatsapp-Nachricht an einen Bruder aber ziemlich hölzern. Erschreckend war bei dieser Kategorie, wie viele persönliche Informationen Menschen in ihren Anfragen preisgeben – obwohl sie gewarnt wurden, dass diese Daten geteilt werden. Oft wird anhand von Namen, Adressen oder Websites klar, wer hier wem ein Zeugnis schreibt oder eine Kündigung ausspricht.
Chat-GPT als Spielerei
Für unschuldigen Spass . . .
. . . und ungewöhnliche Erotika
Chat-GPT kann ziemlich witzig sein. Und mit dem richtigen Prompt kann man es ganze Bücher schreiben lassen. Manchmal verschwimmen hier die Grenzen zwischen Spass und professioneller Nutzung: Ein Nutzer verwendete seinen freien Chat-GPT-Zugang jedenfalls dazu, mehrere erotische Bücher zu verfassen, die heute auf Amazon zu kaufen sind.
Solche sexuell expliziten Inhalte darf Chat-GPT eigentlich nicht erstellen. Dafür sollen eingebaute Schutzmechanismen von Open AI sorgen. Doch diese sind leicht zu umgehen. In den meisten Fällen bekommen die Nutzer den Chatbot mit ein bisschen Manipulation doch dazu, die von ihnen gewünschten Inhalte zu erstellen – egal, wie abgründig oder absurd. Hin und wieder entschuldigt sich der Chatbot dann sogar dafür, dass er seine ethischen Richtlinien nicht befolgt hat.
Hinter dem Datensatz: Wildchat entstand durch Zufall
Yuntian Deng wollte eigentlich nur seinen Eltern zeigen, woran er arbeitet. Er forschte als Doktorand an der Universität Harvard zu KI und fand es schwierig, seiner Familie zu erklären, was man alles damit machen kann.
Als er einen Vorabzugriff auf die Version GPT 4 von Chat-GPT bekam, beschloss er deshalb, diesen mit seinen Eltern zu teilen. Um ihnen den Zugang zu Chat-GPT zu ermöglichen, baute er eine einfache Website, über die sie sich direkt mit GPT 4 unterhalten konnten. Ohne Passwort und gratis, die Rechnung bezahlte Deng.
Doch nur wenige Tage nachdem er die Seite aufgesetzt hatte, bemerkte er, dass sich die Zugriffe auf die Seite häuften. «Plötzlich zahlte ich Hunderte Dollar am Tag», sagt Deng. Die Website hatte sich als Geheimtipp verbreitet, um GPT 4 gratis ausprobieren zu können.
Das war nicht nur teuer, sondern auch interessant. Yuntian Deng bekam einen Einblick, der sonst Tech-Konzernen vorbehalten bleibt: Er erfuhr, was Leute KI fragen. In jener Zeit trat er eine neue Stelle an, als Postdoktorand am Allen Institute for AI in Seattle in den USA bei der Professorin Yejin Choi. Sie erklärte sich bereit, daraus ein Forschungsprojekt zu machen und die steigenden Rechnungen zu übernehmen. In einem Jahr entstand so Wildchat, ein Datensatz mit mehr als einer Million Gesprächen zwischen Nutzern und KI.
Yuntian Deng hat ein Warnfenster programmiert, das Nutzer bei jeder Anfrage darauf hinweist, dass ihre Daten mit der Allgemeinheit geteilt werden. Umso erstaunlicher scheint, dass viele Anfragen an den Bot gestellt wurden, die gegen dessen Regeln verstossen, beispielsweise weil sie auf rassistische oder pornografische Antworten abzielen. Doch Deng hat eine Erklärung: «Die Daten werden zwar geteilt, aber unser Chatbot ist anonym. Ich denke, manche Nutzer setzen ihn genau für jene Anfragen ein, die sie nicht direkt an Chat-GPT stellen wollen, weil sie dort mit ihrer E-Mail-Adresse verknüpft sind.»
Er geht davon aus, dass problematische Anfragen im Wildchat-Datensatz häufiger sind als sonst. Und auch aus anderen Gründen sind die Daten nicht repräsentativ. Deng hat keine ausgewogenen Nutzergruppen rekrutiert. Wildchat hat sich per Zufall verbreitet, über die Programmiererplattform Huggingface und später auch über Reddit. Softwareentwickler dürften also überrepräsentiert sein.
Auch Deng fände einen repräsentativeren Datensatz spannend. Das stärkste Gegenargument sind die Kosten. Schon ohne den Bot aktiv zu bewerben, gibt seine Betreuerin Yejin Choi monatlich 10 000 Dollar dafür aus. Die ganze Wahrheit darüber, was Leute Chat-GPT wirklich fragen, bleibt also auch weiterhin bei Open AI.
