Yoel Roth leitete jene Abteilung, die Tweets von Donald Trump als irreführend markierte. Heute kämpft er mit Morddrohungen, auch wegen Elon Musk. Im Interview fragt er sich, ob er bei Twitter genug getan hat, um Gewalt zu verhindern.
Yoel Roth, als Elon Musk Twitter übernahm, entliess er fast alle Angestellten, die mit der Moderation von Inhalten zu tun hatten. Sie nicht. Warum?
Ich war auch überrascht. Meine Chefin und ihr Chef wurden fast unmittelbar nach der Übernahme entlassen. Nachdem sie weg waren, arbeitete ich etwa drei Wochen lang direkt mit Elon Musk zusammen.
Wie war das?
Damals dachte ich, Elon gehe ähnlich vor wie andere Führungskräfte. Wenn ich ihm evidenzbasierte Empfehlungen vorlegte, entschied er in ihrem Sinne. Erst dachte ich daher, Musks öffentliches Bild sei eine Art Karikatur seiner selbst, extremer, als ich ihn empfand. Aber was nach meiner Kündigung kam, veränderte meine Sicht auf ihn.
Was ist passiert?
Kurz nach meinem Rücktritt im November 2022 veröffentlichte ich einen Text in der «New York Times», in dem es indirekt um die Zusammenarbeit mit Elon ging. Danach griff er mich öffentlich an. Er nahm einen Absatz aus meiner Doktorarbeit und behauptete, ich sei ein Pädophiler, obwohl ich mich in der Arbeit dafür aussprach, dass Online-Plattformen Minderjährige schützen müssen. Unmittelbar danach brach eine Welle von Drohungen über mich herein. Eine britische Zeitung veröffentlichte meine Adresse. Anschliessend mussten mein Mann und ich unser Zuhause verlassen. Inzwischen haben wir das Haus verkauft und sind umgezogen.
Yoel Roth
Yoel Roth, geboren 1988, arbeitete während acht Jahren für Twitter, zuletzt als Chef der Abteilung «Trust and Safety». Roth verantwortete die Moderation der Inhalte auf der Plattform, sein Team entschied also darüber, welche Tweets in ihrer Reichweite beschränkt, mit Warnhinweisen versehen oder komplett gelöscht wurden. In dieser Rolle war Roth massgeblich an der Entscheidung beteiligt, Tweets von Donald Trump mit Warnhinweisen zu versehen. Heute ist Roth einer der wenigen, die X, wie Twitter nach der Umbenennung durch Elon Musk nun heisst, von innen kennen und auch öffentlich darüber sprechen.
Was waren das für Drohungen?
Zunächst müssen Sie wissen: Nachdem mein Team bei Twitter begonnen hatte, den Account von Donald Trump zu moderieren, fanden einige seiner Unterstützer meine alten Tweets über Politik, in denen ich meine linksliberale Einstellung zeigte. Die Trump-Fans werfen mir vor, voreingenommen zu sein, und beschimpfen mich seit Jahren. Das hat mich nie gross gestört. Aber nach der Pädophilen-Verleumdung von Elon eskalierte die Situation, und ich erhielt Morddrohungen. Viele Kommentare zielten darauf ab, dass ich schwul und jüdisch bin. Es gab aber auch viele Drohungen, die auf ein Meme zurückgehen, bei der Männer lebendig in einen Holzhacker geworfen werden.
Morddrohungen und Verleumdung: Beides ist eine Straftat.
Möglicherweise ja. Nachdem meine Adresse veröffentlicht worden war, patrouillierte die Polizei vor meinem Haus. Aber ich erwarte nicht, dass die Polizei die Leute findet und bestraft, die mich bedroht haben. Solche Fälle dauern Jahre und bringen meist wenig. Auch kann ich Elon wohl nicht dafür belangen, die Gewalt gegen mich ausgelöst zu haben. Das zeigen frühere Gerichtsurteile mit ähnlichen Konstellationen.
Sie haben nun den Hass erlebt, den Sie während Ihrer gesamten Karriere zu stoppen versucht haben.
Ja. Ich habe wahrscheinlich das Schlimmste erlebt, wie Menschen online bedroht und belästigt werden. Besonders schlimm war, dass Twitter nichts gegen die Drohungen unternommen hat. Dies verstösst gegen interne Richtlinien. Ich weiss das sehr genau, denn in vielen Fällen habe ich diese Richtlinien geschrieben. Wenn ein Sturm von Hass und Drohungen über einen Twitter-Nutzer hereinbrach, haben wir jahrelang Massnahmen ergriffen, um den betroffenen Menschen zu schützen. In meinem Fall hat Twitter nichts unternommen. Posts, die mich und meine Familie bedrohen, sind immer noch online.
Twitter sagte, es habe an den Praktiken zur Inhaltsmoderation nichts geändert.
Meine Erfahrung zeigt, dass das nicht stimmt. Twitter hat die Durchsetzung seiner Richtlinien eingestellt. Das ist gefährlich. Musk versprach einmal, einen «Content Moderation Council» einzurichten, also einen Rat für die Moderation von Inhalten. Dazu kam es nie. Stattdessen sperrte er Konten ohne Angabe von Gründen. Einige Journalisten, die über Elon und seine Unternehmen berichteten, wurden von Twitter ausgeschlossen.
Musk sagte, er wolle mehr freie Meinungsäusserung im Internet.
Bevor Musk Twitter kaufte, warf er dem Unternehmen Willkür vor. Es störte ihn, dass Leute wie ich entscheiden können, wer zu Wort kommt und was online gesagt werden darf. Aber als ich noch im Unternehmen war, folgte Twitter klaren Regeln, die öffentlich waren und debattiert werden konnten. Jetzt werden Profile gesperrt, weil Elon es gesagt hat.
Aber führt es nicht zu einer grösseren Meinungsvielfalt, wenn weniger Tweets gelöscht werden?
Nein. Wird der Online-Diskurs nicht moderiert, breiten sich Beleidigungen und Hassbotschaften auf der Plattform aus. Dann ziehen sich jene Menschen zurück, die beleidigt werden. Es drücken sich nur noch jene Personen aus, die innerhalb einer Gesellschaft mächtig und etabliert sind und sich sicher fühlen, ihren Standpunkt zu teilen. Wer eine grössere Meinungsvielfalt wünscht, muss schauen, dass niemand angefeindet wird – also moderieren.
Würden Sie also sagen, dass Elon Musk nicht verstanden hat, wie freie Meinungsäusserung im Internet funktioniert?
Elon geht davon aus, dass weniger Moderation zu mehr Meinungsvielfalt führt. Das ist naiv, weil es aus der Perspektive des reichsten Mannes der Welt kommt. Wenn Sie einer der mächtigsten und am besten vernetzten Menschen der Welt sind, getrauen Sie sich wohl jederzeit, Ihre Meinung zu sagen. Aber das ist eine sehr privilegierte Position.
Aber Musks grundlegender Vorwurf, dass Twitter von überwiegend linksliberalen Leuten gegründet und geführt wurde, ist wahr – zumindest in Ihrem Fall. Hat Twitter den öffentlichen Diskurs verzerrt?
Entgegen der öffentlichen Wahrnehmung zeigte die akademische Forschung immer wieder, dass Twitter konservative Meinungen stärker verbreitete als liberale. Das zeigte auch eine Twitter-interne Studie des Ethikteams – und zwar für mehrere Länder inklusive Deutschland, Grossbritannien und den USA. Wenn der Twitter-Algorithmus also voreingenommen war, dann zum Vorteil der Rechten.
Auch das ist eine Verzerrung. Wurde etwas unternommen, um das zu beheben?
Bevor Elon Twitter kaufte, gab es ein Team, das herausfinden sollte, warum es zu dieser Ungleichheit kam. Doch Elon entliess die meisten dieser Mitarbeiter.
Es bleibt stossend, dass ein privates Unternehmen den demokratischen Diskurs verzerrt. Liegt da nicht zu viel Macht in den Händen einiger weniger?
Ja, die Macht von Social Media ist erschreckend gross. Ich denke, private Unternehmen wie Twitter müssen sich die Kritik gefallen lassen, dass sie nicht gewählte und damit demokratisch nicht legitimierte Gatekeeper sind. Es ist nicht ideal, dass Leute wie ich oder meine Chefin – oder jetzt Elon Musk – so weitreichende Entscheidungen treffen darüber, was im Online-Diskurs gesagt werden kann und was nicht. Aber jemand muss diese Entscheidungen treffen. Es gibt Nachteile, egal wo Sie die Verantwortung über die Inhaltsmoderation platzieren.
Was wären denn die Alternativen?
Stellen Sie sich vor, Sie würden die Entscheidungsbefugnis darüber, was online gesagt werden darf und was nicht, innerhalb der Regierung ansiedeln. Mindestens in Demokratien, in denen es gewählte Volksvertreter gibt, ist dies einen Gedanken wert. Allerdings würde das bedeuten, dass Regierungen Aufrufe zu regimekritischen Protesten zensieren könnten. Ich finde das noch schlimmer als nicht gewählte Gatekeeper in privaten Unternehmen.
Sie und eine kleine Gruppe von Menschen haben im Mai 2020 beschlossen, einen Tweet von Donald Trump als irreführend zu markieren und später sein Profil ganz zu sperren.
Wir hatten eine erschreckend grosse Macht darüber, inwieweit sich ein gewählter, amtierender Präsident am öffentlichen Diskurs beteiligen kann. Aber so unangenehm es uns auch war, Donald Trump zu moderieren: Es war notwendig. Wir haben uns lange darauf konzentriert, seine Tweets mit Warnhinweisen zu versehen, anstatt sie zu löschen. Damit konnten die Wählerinnen und Wähler seine Rhetorik sehen. Es war keine Zensur. Es war ein Mehr an Information. Nun kann man sich fragen, ob diese Bemühungen ausreichend waren. Hätten wir den Sturm auf das Capitol verhindern können, wenn wir früher und härter eingeschritten wären? Haben wir genug getan, um das Vertrauen der Menschen in die Legitimität demokratischer Prozesse zu bewahren?
Haben Sie?
Ich denke, wir haben eine ausgewogene Lösung gefunden. Im Rückblick auf das Jahr 2020 hätte ich mir jedoch gewünscht, dass Twitter mehr moderiert hätte.
Was hat Elon Musk bisher bei Twitter verändert?
Das ist schwer zu sagen. Twitter ist heute ein Privatunternehmen und hat im Jahr 2021 aufgehört, Transparenzberichte zu veröffentlichen. Wir wissen einzig, dass Tausende Angestellte entlassen wurden. Einst hatte Twitter etwa 8000 Mitarbeitende. Mittlerweile sind es offenbar 1500, wenn nicht sogar noch weniger.
Ausserdem sperrt Twitter den Zugriff auf Daten für unabhängige Forscher, die den Diskurs auf Twitter analysieren.
Ja. Der Zugang zu Daten, der bis vor kurzem kostenlos war, kostet jetzt 42 000 Dollar monatlich. Forschende, beziehungsweise ihre Institute, können dies nicht bezahlen. Meiner Meinung nach ist das ein Problem für Twitter. Es war die Offenheit für externe Überprüfungen, die Twitter zu dem machte, was es war. In fast jedem Land gibt es unabhängige Forschende, die analysierten, was auf der Plattform geschah. Wenn Twitter Inhalte falsch moderierte, veröffentlichten sie ihre Kritik, und wir konnten darauf reagieren. Dadurch wurde Twitter sicherer und besser für alle. Durch die Einschränkung des Zugriffs auf Daten verliert Twitter ein grossartiges Netzwerk.
Twitter hat also Kosten gespart, indem es externe Forscher seine Sicherheitsarbeit durchführen liess?
Twitter hat einen angemessenen Teil seiner Ressourcen für «Trust and Safety» ausgegeben. Wir müssen jedoch anerkennen, dass Twitter nie gross genug war, um seiner Rolle in der Welt gerecht zu werden. Twitter hatte einen enormen Einfluss, da fast jeder Politiker und fast jeder Journalist auf dem Dienst aktiv war. Aber Twitter war immer eine relativ kleine Plattform und ein relativ kleines Unternehmen. Zu seiner besten Zeit hatte Twitter 400 Millionen Nutzer und 8000 Mitarbeitende. Facebook hat fast 3 Milliarden Nutzer und über 80 000 Angestellte.
Für eine qualitativ hochwertige Content-Moderation braucht es aber viele Mitarbeiter.
Ja. Auch für die Moderation in verschiedenen Ländern arbeitet Twitter mit externen Dienstleistern zusammen.
Sie filtern traumatisierende Videos von Gewalt und Hass aus der Plattform.
Ja. Zu meiner Zeit stellte Twitter sicher, dass die Moderatoren Zugang zu Einzel- und Gruppencoachings hatten, um das Gesehene zu verarbeiten. Weiter haben wir mit Technologie ihre Arbeit weniger traumatisch gemacht. Wir zeigten Videos mit Gewalt in Schwarz-Weiss, ohne Ton, oder auf dem Kopf. Diese Methoden verringern nachweislich den Stress, den Menschen empfinden, wenn sie jeden Tag schreckliche Inhalte sehen.
Man könnte meinen, Algorithmen könnten diese Aufgaben erledigen. Warum braucht es noch menschliche Moderatoren?
KI-Systeme scheitern am Kontext und an verzerrten Trainingsdaten. Die gleichen Worte können Scherze unter Freunden oder beleidigende Aussagen sein, es hängt von der Absicht der Person ab, die sie schreibt. Maschinen können den Kontext nicht gleich gut interpretieren wie Menschen. Aber auch Menschen befinden sich in der Zwickmühle, ob sie das Schlimmste annehmen und zu viel moderieren oder das Beste annehmen und zu wenig moderieren. Als Plattform werden Sie bei der Moderation von Inhalten unweigerlich Fehler machen.
Und die verzerrten Trainingsdaten?
Moderations-Algorithmen werden mit grossen Mengen an Onlinedaten trainiert. Diese Daten weisen normalerweise eine Verzerrung auf. Zum Beispiel die Wörter schwul und jüdisch: Das sind keine beleidigenden Begriffe. Online-Quellen bringen sie jedoch mit beleidigenden Begriffen in Verbindung, so dass möglicherweise Beiträge gelöscht werden, falls sie die Begriffe enthalten.
Wurden diese Fehler nie behoben?
Die Wörter jüdisch oder schwul sind zwei offensichtliche Beispiele, mit denen viele Sprachmodelle inzwischen gut umgehen können. Aber es gibt Tausende solcher Wörter in verschiedenen Sprachen und Subkulturen.
Trotz Content-Moderation gibt es auf sozialen Netzwerken viele extreme Inhalte. Je extremer der Inhalt, desto länger bleiben die Leute auf der Plattform. Glauben Sie, dass Social-Media-Unternehmen ihrer Mission, der Öffentlichkeit zu dienen, gerecht geworden sind?
Soziale Netzwerke können dazu führen, dass extremistische Inhalte priorisiert werden. Aber sie zeigen uns Nutzerinnen und Nutzern vor allem mehr von dem, was wir sehen möchten. Im schlimmsten Fall kann dies dazu führen, dass Menschen zu radikalisierender Gewalt verleitet werden. Aber es ist zu einfach, die Schuld für extreme Inhalte allein den Algorithmen zuzuschieben. Weil es Menschen sind, die die Inhalte erstellen, die sie suchen und sie konsumieren.
Das Ergebnis sind jedoch stärker polarisierte Gesellschaften, während Social-Media-Unternehmen vom höheren Engagement ihrer Nutzer profitieren. Private Unternehmen nehmen das Geld. Die Gesellschaft zahlt den Preis.
Das ist richtig. Aus diesem Grund glaube ich, dass Plattformen in «Trust and Safety» investieren müssen. Es liegt in ihrer gesellschaftlichen Verantwortung, den von ihnen verursachten Schaden auszugleichen.
Tun Unternehmen genug?
Wenn Sie mich vor einem Jahr gefragt hätten, hätte ich gesagt: Es gibt immer Raum für Verbesserungen, aber Unternehmen treffen im Grossen und Ganzen die richtigen Entscheidungen. Vor kurzem haben wir eine bedeutende Veränderung gesehen. Die wirtschaftlichen Aussichten haben sich eingetrübt, die Zinssätze sind gestiegen, Unternehmen hatten Massenentlassungen. Gerade in Social-Media-Unternehmen wurden viele «Trust and Safety»-Angestellte entlassen. Meta hat mehrere Mitarbeiter entlassen, die für die Sicherheit der Wahlen verantwortlich waren. Youtube und Google auch. Ich mache mir Sorgen, dass andere Unternehmen sich Twitter als Beispiel nehmen und sagen: Wenn Twitter ohne ein glaubwürdiges «Trust and Safety»-Team weitermachen kann, können wir das auch.
Was wird jetzt passieren?
Ich befürchte, es muss erst etwas Schlimmes passieren, damit die Plattformen ihre Bemühungen wieder verstärken. Das haben wir schon einmal gesehen. Plattformen erhöhten ihre Ausgaben für «Trust and Safety», nachdem klargeworden war, dass sich russische Propaganda während der Wahlen in den USA 2016 und während des Brexit-Referendums online verbreiten konnte. Nächstes Jahr wird es in den USA, in Indien und in Europa Wahlen geben. Es ist ein unangenehmes Szenario, dass ausländische Mächte Einfluss auf demokratische Wahlen nehmen. Aber ich glaube, es ist das wahrscheinlichste. Die Digital Services Act (DSA) der Europäischen Union verändert jedoch die Lage. Sogar Twitter hat Leute eingestellt, die dafür sorgen, dass die Plattform die neuen Regeln respektiert. In der DSA gibt es einige wichtige Punkte: Sie fördern beispielsweise Transparenz und den Zugang von Forschern zu Daten. Dies wird dazu beitragen, potenzielle Schäden zu reduzieren.
Was wird Ihrer Meinung nach jetzt mit Twitter geschehen?
Ich denke, wir werden sehen, wie Twitter für Politiker und Journalisten immer weniger relevant wird. Die Menschen wenden sich Alternativen zu.
Wie finden Sie das? Twitter war ein grosser Teil Ihrer Karriere.
Ich verspüre einen enormen persönlichen Verlust. Twitter war die Plattform, um mit allen über aktuelle Ereignisse zu diskutieren. Ich denke, die Welt braucht eine solche Plattform. Es wird interessant sein zu sehen, welches Unternehmen diese Lücke füllen wird.
