Greifen Teenager zur Waffe, werden schnell die sozialen Netzwerke dafür verantwortlich gemacht. Ein Jugendpsychologe und zwei Tech-Experten ordnen ein und nennen ihre Ideen für bessere Plattformen.
Er ist erst 15. Ein Jugendlicher, der theoretisch auch mit Freunden hätte Fussball spielen können, oder Schlagzeug oder ein Computerspiel. Stattdessen geht er am Abend des 3. März in Zürich auf die Strasse und sticht einen jüdischen Mann nieder.
Das ist ein krasser Fall, einzigartig, möchte man meinen. Doch leider werden solche Taten immer wieder versucht. Etwa im Juli, als die Taylor-Swift-Konzerte in Wien wegen Terrorplänen abgesagt werden mussten. Auch dahinter steckten Jugendliche, die sich zum Islamismus bekannt haben und aus dieser Ideologie heraus Menschen töten wollten.
Was muss mit einem Jugendlichen geschehen, damit er eine solche Tat plant? Was muss er gelesen, gehört, gefühlt haben? Vermeintliche Antworten gaben die Tageszeitungen jüngst wieder nach dem Attentat in Solingen. Die Rede war von «Tiktok-Terroristen» und «Islamismus-Influencern». Die Annahme dahinter: Soziale Netzwerke radikalisieren junge Leute. Ziehen sie in einen Sog gewaltvoller Videos, bis sie selbst zur Waffe greifen. Aber stimmt das tatsächlich? Und was könnte die Plattformen ändern, um ihre Nutzer besser vor Radikalisierung zu schützen?
Aus dem Gamer wurde ein Attentäter
Leonardo Vertone, Chefpsychologe und Co-Leiter des Zentrums für Kinder- und Jugendforensik an der Psychiatrischen Universitätsklinik Zürich, begutachtet und therapiert Jugendliche, nachdem sie straffällig geworden sind. Manche haben ein Terrorsymbol wie die IS-Flagge gelikt oder Geld in Kryptowährungen an eine Terrororganisation geschickt. Andere begannen ein terroristisches Gewaltverbrechen.
Vertone darf keinen konkreten Einzelfall schildern. Er zeichnet für die NZZ aber den Prozess der Radikalisierung nach, den Jugendliche typischerweise durchlaufen. Für ihn ist offensichtlich, dass die sozialen Netzwerke gerade zu Beginn des Prozesses eine wichtige Rolle spielen. Dennoch beginnt Radikalisierung, lange bevor sich ein Jugendlicher den ersten IS-Post auf Telegram anschaut.
«Meistens erlebt der Jugendliche eine grosse Instabilität oder einen abrupten Wendepunkt im Leben, der ihn über lange Zeit belastet», sagt Vertone. Das kann ein Todesfall im nahen Umfeld sein, Gewalt in der Familie, Ablehnung in der Schule. «Insbesondere, wenn mehrere belastende Ereignisse zusammenkommen und es über eine längere Zeit nicht gelingt, den emotionalen Stress daraus abzubauen, droht die psychologische Destabilisierung», sagt Vertone.
Dazu kommt, dass die Jugend eine Zeit der Identitätsentwicklung ist. Viele Teenager fragen sich: Wo gehöre ich hin? An wem kann ich mich orientieren? Stehen die Eltern nicht zur Verfügung, orientieren sich die Jugendlichen typischerweise an Gleichaltrigen oder an anderen Vorbildern, zum Beispiel aus Religionsgemeinschaften.
Diese Vorbilder finden die Jugendlichen heute oft online. Auch der 15-jährige Attentäter aus Zürich folgte auf Instagram einer Moschee. Über sein Online-Verhalten ist bekannt, dass er zeitweise das Computerspiel «Minecraft» spielte und Gaming-Videos auf Youtube veröffentlichte. Irgendwann legt er im Internet seinen bürgerlichen Namen ab und nimmt den Alias-Namen «Ahmed al-Dabbah» an, übersetzt «Ahmed das Biest».
Wie aus einem Gamer der Zürcher Attentäter geworden ist, weiss niemand genau. Es gibt aber zahlreiche Berichte davon, wie Nutzer auf Plattformen wie Tiktok anfangs harmlose Inhalte konsumieren und nach und nach problematischere Inhalte zu sehen bekommen.
Dieser Effekt, auf Englisch nennt man ihn «rabbit hole», ist unbestritten: Empfehlungsalgorithmen reagieren unmittelbar auf die Interessen der Nutzer und setzen ihnen immer mehr ähnliche Beiträge vor. Die einen sehen nur noch Schminktipps, die anderen nur noch muslimische Prediger, manche nur noch Hass.
Viele problematische Inhalte sind legal
Von den Inhalten ist nur ein Teil illegal, etwa Terrorsymbole und Aufrufe zu Gewalt. Diese werden von Plattformen meist recht schnell gelöscht, allerdings nicht immer. So zirkuliert auf Tiktok folgendes Video, auf dem ein IS-Banner zu sehen ist.
Beim Beginn der Radikalisierung sind legale Inhalte aber viel wichtiger. Etwa Beiträge, die Wut und Empörung auslösen. Videos von hungernden Kindern oder toten Babys im Gazastreifen, beispielsweise. Je mehr solche Inhalte ein Nutzer anschaut, desto mehr davon empfiehlt ihm der Algorithmus.
Der Therapeut Vertone bestätigt das. Jugendliche, die nach Zugehörigkeit und Bedeutung suchten, informierten sich oft nicht über Google, sondern suchten auf Tiktok oder Instagram nach Begriffen. Die Algorithmen liefern danach mehr vom Gleichen. «Sie kommen in ein Recherche-High», getrieben aus Interesse, Empörung und einer Faszination für das Extreme, sagt Vertone.
Typisch für den Prozess der Radikalisierung sei, dass das Ungerechtigkeitsempfinden einseitig befeuert werde. «Mit einseitigen Informationen kann man sich schnell in eine grosse Wut reinsteigern», sagt Vertone. Das geschah etwa nach dem Ausbruch des jüngsten Nahostkriegs: Damals bot Tiktok überwiegend propalästinensische Videos an.
Wir gegen die anderen: Abgrenzung schafft Identität
Vertone sagt, bei manchen Teenagern folge auf den einseitigen Empörungskonsum weitere Abgrenzung, meist in geschlossenen Gruppen, zum Beispiel auf Telegram. Den Link zur Gruppe postet vielleicht ein ultrakonservativer Prediger mit islamistischem Gedankengut in die Kommentare eines Online-Videos.
In der geschlossenen Gruppe beginnt eine neue Phase der Radikalisierung. Dort tauscht sich der Teenager mit bereits radikalisierten Menschen aus. Die vermitteln das Gefühl: Wir sind gut, die anderen sind böse. Wir glauben das Richtige. Die Ungläubigen schaden der Welt. Das gibt den Jungen ein Gefühl von Identität, Zugehörigkeit, Stärke.
In solchen Gruppen werden illegale Inhalte geteilt. Videos, in denen Terroristen als Helden dargestellt werden, radikalislamische Hetzbotschaften gegen Andersgläubige, Bilder von Exekutionen.
Viele der radikalisierten Jugendlichen bauten sich zusätzlich zur Online-Präsenz auch in der echten Welt ein Netzwerk auf, sagt Vertone. Typischerweise agiert jemand aus dem Bekanntenkreis als Vorbild. Diese Person nimmt den Jugendlichen etwa mit zu einem extremistischen Prediger oder zu einem Treffpunkt, wo sich bereits Radikalisierte austauschen.
So kommt der Teenager Stück für Stück in eine extremere Umgebung. Wird dort Verständnis gezeigt für seine ursprünglichen Probleme, steigt die Chance, dass er sich immer stärker mit dem neuen Netzwerk identifiziert.
Es braucht viel mehr als einen Algorithmus
Ein Algorithmus allein bringt also keinen Terroristen hervor. Doch es gibt eine Verantwortung der Plattformen für die Spirale der Empörung in ihren Netzwerken. In der EU gilt seit vergangenem Jahr die Digital Service Act (DSA). Diese verpflichtet grosse Plattformen wie Tiktok, Instagram, Facebook und Youtube dazu, systemische Risiken ihrer Algorithmen zu minimieren. Grassierende Desinformation und Nutzer, die immer wieder in Radikalisierungsschleifen landen, zählen zu diesen gesellschaftlichen Risiken.
Das Gesetz lässt jedoch offen, wie Plattformen im Detail vorzugehen haben. Das sei durchaus gewollt, sagt Ben Wagner, Associate Professor für Menschenrechte und Technologie an der Technischen Universität Delft in den Niederlanden: «Die EU will eine Vielfalt von Plattformen mit unterschiedlichen Moderationspraktiken ermöglichen.» Vorgegeben sind Transparenzberichte, in denen die Plattformen über Risiken und getroffene Massnahmen berichten sollen.
Im Moment schaffen diese Berichte aber noch kaum Transparenz. «Sie sind meist von minderwertiger Qualität und schlecht vergleichbar», sagt Wagner. Die Tech-Firmen wüssten viel mehr über die Probleme ihrer Plattformen, als sie nach aussen hin mitteilten.
Das hat auch damit zu tun, dass es einen Zielkonflikt gibt zwischen Schutz und Gewinn: Schon 2018 schrieb der Facebook-Gründer Mark Zuckerberg in einem Blog-Post, er sehe, dass problematische Inhalte länger angeschaut würden als andere. Das bedeutet: Würden problematische Inhalte vermehrt gelöscht, würden die Plattformen weniger profitabel.
Dazu kommt: Wenn Plattformen ganze Themen blockieren, um Radikalisierung vorzubeugen, schränkt das die Freiheit der Nutzer ein. Joe Whittaker forscht an der Universität Swansea in Wales unter anderem zu extremen Inhalten in den sozialen Netzwerken. Er sagt, Plattformen löschten legale, aber problematische Inhalte oft vorsorglich, um das Risiko einer Busse zu minimieren. «Doch so riskieren wir, dass die Rede- und Meinungsfreiheit eingeschränkt wird.»
Und dies, obwohl Whittaker zusammen mit anderen Forschern aufzeigt, dass wir den Effekt von problematischen Inhalten noch kaum verstehen: «Bis jetzt weiss man kaum etwas über die Wirkung, die die Inhalte auf die Nutzer haben.» Hierzu sei die Forschung noch dünn.
Der Weg hinaus: Transparenz, Notfallknopf, Digitalbildung
Was sind also mögliche Lösungen? Für Wagner sind die Transparenzberichte der Plattformen ein geeigneter Hebel, um die Schäden der Algorithmen nach und nach einzudämmen. Nur müsste die Qualität der Berichte gesteigert werden. Er schlägt vor, dass Tech-Firmen die Berichte extern evaluieren lassen, wie es Banken bei ihren Bilanzen tun müssen. «Wir sollten die Berichte gleich ernst nehmen wie Finanzberichte. Dann hätten die Tech-Firmen einen echten Anreiz, den Schaden zu minimieren, den ihre Plattformen anrichten.»
Der Jugendpsychologe Vertone fordert von den Netzwerken, dass sie mehr Warnhinweise für einseitige oder gewaltvolle Inhalte anbringen. Und dass die algorithmischen Empfehlungen dahingehend angepasst werden, dass in der Summe der Inhalte möglichst neutral, also nicht einseitig informiert wird. Denkbar wäre für ihn weiter eine Art Notfallknopf: Sind die Jugendlichen im Sog der Netzwerke gefangen, wissen sie manchmal nicht, an wen sie sich wenden können. Ein Notfallknopf direkt im Feed wäre ein niederschwelliges Hilfsangebot, das die Teenager aus ihrer Misere holen könnte, sagt Vertone.
Whittaker sieht digitale Kompetenz als bestes Mittel gegen Radikalisierung im Internet. Nutzer, die dafür sensibilisiert seien, Informationen kritisch zu begegnen, Quellen zu hinterfragen, seien weniger empfänglich für problematische Inhalte. Und dazu «eine frühestmögliche Intervention bei einer Person, die sich auffällig verhält».
Insgesamt gilt: Die Radikalisierung von Jugendlichen ist komplexer, als dies mit Schlagzeilen zu «Tiktok-Terroristen» suggeriert wird. Soziale Netzwerke tragen zwar ihren Teil zur Radikalisierung von jungen Menschen bei. Aber durch technische Lösungen allein bekommt man die Radikalisierung nicht in den Griff.
Daher appelliert Vertone an die Gesellschaft: «Wer einen Jugendlichen beobachtet, der in eine extreme Ideologie abdriftet, sollte ihn ansprechen.» Viele liessen sich von extremem Gedankengut abbringen, wenn man sie richtig aufkläre, zum Reflektieren auffordere und für ihre sonstigen Probleme Verständnis zeige. Das zeigt: Für viele Jugendliche ist der Extremismus auch ein Hilferuf.
