Maßnahmen gegen Hass im Netz: Das Wichtigste aus dem Winter 2023

Der winterliche Jahresbeginn 2023 brachte diverse Verschiebungen im Bereich der digitalen Kommunikation, die auch langfristig Auswirkungen auf die Verbreitung von Hass im Netz haben dürften. Nachdem Elon Musk Twitter im vergangenen Herbst übernommen hatte,¹ kürzten neben Twitter auch viele andere Tech-Konzerne ihre Personalausgaben.² Insbesondere im Bereich der Public Policy und dem Engagement mit zivilgesellschaftlichen Akteuren wurde gespart, was von letzterer Seite auch dementsprechend bemängelt wurde.³ In diesem Kontext begehrten nun auch Content-Moderator*innen auf und forderten bessere Arbeitsbedingungen,⁴ bis hin zur Klage gegen Subunternehmen wegen der Unterbindung gewerkschaftlicher Organisierung, wie in Kenia zu beobachten.⁵ Die schlechten Arbeitsbedingungen dieses Berufsstands sind der Preis für das Funktionieren der Plattformen – darauf weisen verschiedene Untersuchungen hin.⁶

Zugleich sehen wir einen Boom in der Entwicklung von AI-generierten Sprachmodellen und Chatbots. Google und Microsoft liefern sich einen Wettstreit um die Vorherrschaft in diesem Bereich, wobei Google nun ins Hintertreffen geraten zu sein scheint.⁷ Denn mit der Veröffentlichung des multimodalen KI-Modells GPT-4 im März hat sich das Unternehmen OpenAI, das von Microsoft ko-finanziert wird, einen Vorsprung verschafft. Das Programm ermöglicht es, viele Prozesse des alltäglichen Lebens an Maschinen auszulagern und Wissensbestände automatisiert aufzubereiten: von Rezeptideen, Hausarbeiten und Werbetexten bis hin zur Programmierung von Bots und Apps.⁸ Die Macher*innen versicherten, besonders viele Sicherheitsschlaufen durchlaufen zu haben. Doch zeigen nicht nur KI-generierte Bildkreationen bereits das Missbrauchspotenzial, das in solchen Anwendungen steckt.⁹ In einem Appell äußerten verschiedene Wissenschaftler*innen und Tech-Größen sodann auch ihre Skepsis und setzten sich für ein sechsmonatiges KI-Moratorium ein, um einen besseren Umgang mit der Technik zu finden.¹⁰ Einige Länder wie Italien verboten den Zugang gleich komplett.¹¹ Zugleich ist in ChatGPT-Debatten weit seltener die Rede von der Auslagerung von Arbeitsprozesse in den globalen Süden, die unmenschliche Arbeitsbedingungen zeitigt.¹²

Ruhiger wurde es in den letzten Monaten um das Metaverse, dessen Mutterkonzern Meta bereits präventiv die gesellschaftlichen Auswirkungen seiner immersiven Technologien  erforschen lassen will.¹³ Weiterhin war von dem Unternehmen zu hören, dass es sich einer dezentralen Twitter-Variante widmet und damit in das Microblogging-Geschäft einsteigen möchte.¹⁴ Nachdem Twitter immer mehr von finanziellen und technischen Problemen sowie Image-Schäden geplagt ist, sehen mehrere Kontrahent*innen ihre Chance. Die Idee, dass sich ein Großkonzern dezentral aufstellen will und so eventuell auch Nutzer*innendaten von anderen Instanzen abgreift, fordert den basisdemokratischen Anspruch des Fediverse heraus.¹⁵ Ganz neu ist die Idee nicht. So finanziert der Twitter-Gründer Jack Dorsey mit Bluesky bereits eine dezentralisierte Twitter-Alternative.¹⁶ Dezentralisierung bringt stets auch eine Verantwortungsdiffusion mit sich, die Entscheidungsprozesse undurchsichtig und Kontrolle schwer umsetzbar macht. Wie auch immer die Entwicklungen rund um ChatGPT und Dezentralisierung weitergehen: Das bislang kaum reguliertes Wettrüsten bedarf eine kritische Begleitung von Forschung und Zivilgesellschaft.

Strategische Interaktion: Aus der Praxis der Zivilgesellschaft

Antisemitismus-Tracker gelauncht: Im Kontext des Kriegs in der Ukraine erhalten auch antisemitische Botschaften sowie Deutungen seiner Ursachen und Konsequenzen Aufwind. Der Thinktank Polisphere widmet sich vor diesem Hintergrund der empirischen Erfassung von antisemitischen Inhalten im deutschsprachigen Raum, die sich auf den Krieg beziehen. Ein laufend aktualisiertes Dashboard bietet, flankiert von Analysen, einen Überblick zu antisemitischen und verschwörungsnahen Äußerungen, Narrativen und Akteuren in den sozialen Medien.¹⁷ Über 50 Akteure werden über zehn verschiedene Plattformen getrackt; bis April fand das Projekt bereits über 500 antisemitische Äußerungen. Aus den exemplarischen Inhalten werden wiederum Beobachtungen gewonnen und in erste Erkenntnisse übersetzt. Aufgemacht in einem benutzerfreundlichen Design, lässt sich so ein Eindruck von einem Teil antisemitischer Diskurse im digitalen Raum gewinnen. Das Projekt wird gefördert von der Stiftung Erinnerung, Verantwortung und Zukunft.

Projekt zur Einordnung von Verschwörungsmythen gestartet: Der Fabulant ist nicht nur der Name eines neuen Aufklärungsprojekts zu Verschwörungsmythen, das von dem Thinktank modus|zad verantwortet wird.¹⁸ Es ist auch der Name eines fiktiven Experten, der Besucher*innen der Webseite spielerisch durch die Themen leitet. Hierzu ordnet er Verschwörungsmythen nach Fantasie, Wahrheitspotential und Gefährlichkeit ein. 15 solcher Mythen – von QAnon über Reptiloiden bis hin zu Flat Earth und Insekten-Zwang – werden angeteasert, kontextualisiert und mit weiterführender Literatur verbunden. Das vom Hessischen Landesprogramm »Aktiv für Demokratie und Gegen Extremismus« geförderte Projekt wartet neben einem Archiv mit einer News-Sektion für relevante Meldungen und einer Exit-Sektion auf, die Informationen für Verschwörungsgläubige und zum Umgang mit ihnen gibt. Als BAG unterstützen wir dieses Projekt mit Datenanalysen und Hintergrundgesprächen.

Projekt zur Erkennung von Rechtsextremismus online beginnt: Das Institut für Medienpädagogik JFF begann im März mit der Ausspielung eines multimedialen Projektformats, das rechtsextreme Phänomene im Internet besser erkennen und einordnen soll. Der Elefant im Raum sensibilisiert für Themen, die Rechtsextreme in sozialen Medien ansprechen und informiert über deren Hintergründe. Anhand von zehn verschiedenen Themen werden monatsweise zwei Formate präsentiert, deren Aufmachung auf junge Nutzer*innen von digitalen Plattformen zugeschnitten ist. Unter dem Titel Nach den Rechten geschaut werden zum einen Instagram-Bilderserien zu abgrenzbaren Themen gepostet.¹⁹ Zum anderen rahmt ein Podcast im Gespräch mit eine*r Expert*in die jeweilige Mikro-Kampagne.²⁰ Erste Themen waren Rechtsrock und bedrohte Männlichkeit. Als BAG unterstützen wir auch dieses Projekt mit Datenanalysen und Hintergrundgesprächen.

Technische Kuration: Entwicklungen bei den Plattformen

Deutsche Prebunking-Kampagne auf YouTube gestartet: Bereits im vergangenen Jahr führte der zu Google gehörige Thinktank Jigsaw zwei Prebunking-Kampagnen durch. Im Gegensatz zum Fact-Checking (Debunking) verfolgt Prebunking das Ziel, durch kurze Aufklärungsvideos bei den Rezipient*innen eine Resilienz gegen Desinformationen auszubilden, indem sie auf die wesentlichen Funktionsweisen von Manipulationstechniken hingewiesen werden. Der Vorteil von dieser Präventionsmaßnahme ist, dass sie Desinformationen bereits im Vorfeld begegnet. Während die erste Kampagne zur Aufklärung über Manipulationstechniken in enger Zusammenarbeit mit der Universitäten von Bristol und Cambridge entstanden,²¹ legte die zweite Kampagne einen regionalen Fokus auf Osteuropa. Hier widmete sich das Prebunking explizit rassistischen Narrativen gegen Geflüchtete aus der Ukraine im Kontext des russischen Angriffskriegs. Mitte Februar kündigte Jigsaw an, eine ähnliche Maßnahme noch in dieser Jahreshälfte in Deutschland durchführen zu wollen.²²

Trump zurück auf Instagram, Facebook und YouTube: Zwei Jahre nach der Verbannung Donald Trumps aus dem digitalen Mainstream aufgrund des Vorwurfs der Anstiftung zur Gewalt sind die temporär gesperrten Accounts des Republikaners von Meta und Google/YouTube reaktiviert worden. Der Facebook-Konzern Meta rechtfertigte seine Entscheidung damit, dass die Gefahr, die zur Wahl 2021 von Trump ausging, heute nicht mehr gegeben sei. Die Öffentlichkeit solle hören können, was Politiker*innen sagen, damit sie an der Wahlurne eine fundierte Entscheidung treffen können, so Meta mit Blick auf die Möglichkeit, dass Trump wieder als Präsidentschaftskandidat aufgestellt werde.²³ YouTube argumentierte ähnlich.²⁴ Trump, der bereits zuvor von Twitter-CEO Musk replatformt wurde, nutzte bisher nur Facebook wieder intensiv (Stand: April 2023). Dass er sein einst präferiertes Medium Twitter (noch) nicht nutzt, dürfte mit seinem Exklusivvertrag mit dem floppenden Alternativmedium Truth Social zusammenhängen.²⁵

Twitter-Algorithmus offengelegt: Nachdem Twitter-CEO Musk schon lange angekündigt hatte, den Empfehlungsalgorithmus der Plattform offenzulegen, war es am 31. März endlich soweit: Der Quellcode für viele Teile von Twitter, einschließlich des Algorithmus, der die Sichtbarkeit der Tweets steuert, die in der Timeline angezeigt werden, wurde öffentlich zugänglich gemacht. In einer Pressemitteilung rief »Twitter 2.0« eine »Ära der Transparenz aus«.²⁶ Viele Überraschungen hielt diese vermeintliche Transparenzoffensive jedoch nicht bereit: Posts, die große Interaktion durch Kommentare auslösen, werden am stärksten belohnt; jene, die gemeldet werden, erhalten die stärksten Einschränkungen. Interessant für Hassdynamiken ist die Einteilung von Nutzer*innen in festgelegte Cluster. Dadurch werden die Inhalte personalisiert, die ein*e Nutzer*in angezeigt bekommt. Außerdem erfahren Inhalte Reichweite, wenn sie mit Interessen des Clusters korrelieren. Wenn allerdings Inhalte gepostet werden, die sich thematisch vom Clusterprofil unterscheiden – sogenannte »Out of Network«-Inhalte –, wird deren Reichweite beeinträchtigt.²⁷ Dass der Algorithmus außerdem auf bestimmte Themen anschlägt, zeigen Einschränkungen in Konversationen zum Ukraine-Krieg.²⁸

Politische Regulation: Maßnahmen von Staat und Behörden 

Erwägung von Sanktionen gegen TikTok auch in der EU: Die Aussicht auf regulative Einschränkungen chinesischer Technologien hat mit der Ballon-Affäre im Februar eine neue Dimension erreicht.²⁹ Während die Einschränkung des chinesischen Dienstes TikTok in den USA schon länger debattiert – und in Regierungskontexten bereits praktiziert – wird, steht dort auch ein Komplettverbot zur Debatte.³⁰ Dem Unternehmen wird vorgeworfen, es könne Nutzer*innendaten an die chinesische Regierung übermitteln³¹ und Einfluss auf politische Propaganda durch artifizielle Amplifizierung nehmen.³² Ähnliche Vorwürfe gibt es auch aus der EU-Kommission, die der Plattform Sanktionen androht, wenn sie den Jugendschutz nicht einhält.³³ Bereits jetzt dürfen Parlamentarier*innen der EU TikTok auf ihren Mobiltelefonen nicht mehr nutzen.³⁴ Das EU-Gesetz über digitale Dienste (DSA) vereinfacht eine Sperrung von Plattformen in Zukunft. Innenministerin Nancy Faeser warnte vor der Nutzung von TikTok, schloss ein Verbot aber vorerst aus.³⁵

Mit KI gegen jugendgefährendende Inhalte: Im vergangenen Jahr gingen die Landesmedienanstalten mit dem KI-Tool KIVI an den Start, das das Internet nach frei zugänglicher Pornografie und Extremismus durchforsten soll.³⁶ Das Tool sucht automatisch nach potenziellen Rechtsverstößen im Netz, welche dann von den Mitarbeiter*innen der Anstalten bearbeitet werden. Insbesondere die fehlende Altersbeschränkung bei vielen Plattformen ist der Grund, warum viele Nutzer*innen nun Anzeigen ins Haus bekommen. Allein in Berlin und Brandenburg geschah dies aufgrund pornografischer Inhalte 150 Mal.³⁷ Aber auch die Verwendung verfassungsfeindlicher Kennzeichen und volksverhetzende Inhalte fallen zu 37 Prozent der durch das Tool anvisierten Fälle ins Gewicht.³⁸ Während das Verfahren interne Prozesse optimiert, gibt es zugleich Kritik, weil die Stichwortlisten nicht offen gelegt werden und ohne Transparenz ein Überwachungstool geschaffen werden könnte, das keiner öffentlichen Kontrolle unterliegt.³⁹

BfJ strebt Bußgeldverfahren gegen Twitter an: Das Netzwerkdurchsetzungsgesetz (NetzDG) verpflichtet digitale Plattformen, die ihre Dienste in Deutschland anbieten, gegen volksverhetzende, verleumderische und (strafbare) herabwertende Beiträge vorzugehen, um Nutzer*innen vor Schaden zu schützen. Lassen Plattformen mit mehr als zwei Millionen Nutzer*innen illegale Inhalte 24 Stunden nach deren Meldung unbearbeitet oder legen die Unternehmen keine Transparenzberichte vor, droht ihnen ein Bußgeldverfahren. Mit der Musk-Übernahme von Twitter und der Streichung von Moderationspersonal und Public-Policy-Teams wurden Meldungen häufiger nicht mehr fristgerecht bearbeitet. Die Folge: Das Bundesamt für Justiz (BfJ) wirft dem Unternehmen einen fehlerhaften Umgang mit Nutzerbeschwerden sowie systemisches Versagen im Beschwerdemanagement vor.⁴⁰ Die Vorwürfe werden vom Amtsgericht Bonn geprüft. Sollte es der Lesart des BfJ folgen, droht Twitter als erstes Unternehmen eine massive Strafzahlung, was internationale Signalwirkung haben könnte.

Analytische Reflexion: Für die Praxis relevante Studien

Neue Studie zu Offline-Online-Dynamiken von digitalem Hass: In einer groß angelegten Studie an der George Washington University untersuchte ein Forschungsteam anhand eines überwachten Machine-Learning-Modells, wann sich Hassrede in extremistischen Communities intensiviert.⁴¹ Im Zentrum standen die Plattformen Facebook, Instagram und VKontakte sowie Gab, Telegram und 4Chan. Die Studie stellte fest, dass mit Offline-Ereignissen wie Protesten und Wahlen häufig ein Anstieg von digitalem Hass einhergeht. Das Besondere: Der Hass trifft auch Gruppen und Kontexte, die scheinbar wenig mit dem zugrunde liegenden Ereignis zu tun haben. Beispielsweise stiegen geschlechtsbasierte Abwertungen nach dem Tod von George Floyd an. In den Ausmaßen treten zwischen den Plattformen keine signifikanten Unterschiede auf, trotz Moderationsbemühungen der Mainstream-Plattformen. Die Studie zeigt, dass Hass gegen bestimmte Gruppen nicht unbedingt themenspezifisch ist, sondern in Aufmerksamkeitszyklen gestreuter Hass zu erwarten ist. Auch könne eine restriktivere Moderation nur wenig an den Dynamiken ändern.

Globale Studie zu Angriffen auf Journalistinnen: Das renommierte Reuters Institute for the Study of Journalism veröffentlichte Ende 2022 eine empirische Studie zu digitalen Angriffen auf Journalistinnen. Hierzu interviewte ein Forschungsteam um Julie Posetti knapp 1.100 Journalistinnen aus 15 Ländern über ihre Erfahrungen mit geschlechtsspezifischer Online-Gewalt und wertete 2,5 Millionen Social-Media-Posts mit Bezug auf spezifische Fallstudien aus.⁴² Die Studie stellt fest, dass geschlechtsspezifische Online-Gewalt besonders schwer an der Schnittstelle von Frauenfeindlichkeit und anderen Formen der Diskriminierung wie Rassismus, Antisemitismus, Homophobie und Transphobie wiegt. Weiterhin wird gezeigt, dass Hass auf Journalistinnen am häufigsten durch koordiniertes Handeln verstärkt wird und Plattformen Betroffene nicht angemessen schützen. Die Studie wurde im Auftrag der UNESCO über einen Zeitraum von drei Jahren durchgeführt und gilt als die umfassendste Bestandsaufnahme der globalen Bedrohung für Journalistinnen.

Neues Buch zu den Mechanismen von Desinformation: Im Februar erschien das Buch Foolproof des Sozialpsychologen Sander van der Linden.⁴³ Hierin vergleicht der Cambridge-Professor mit Schwerpunkt auf Persuasionsforschung Falschinformationen mit einem Virus, der die kognitiven Verzerrungen der Menschen ausnutzt. Anschließend an bestehende Forschung zum Confirmation Bias bekräftigt er das Argument, dass Menschen dazu neigen, Informationen zu akzeptieren, die mit vorhandenen Überzeugungen übereinstimmen und Informationen ablehnen, die das nicht tun. Dies sei auch der Grund, warum Medienkompetenz kein Allheilmittel sei. Denn nur etwa vier Prozent der Teilnehmenden an seinen Tests konnten alle ihnen vorgelegten Falschmeldungen richtig identifizieren. Van der Linden empfiehlt, durch gelegentliche Observation von desinformierenden Nachrichten sich dauerhaft stärker von ihnen zu immunisieren. Sich diese kleinen Dosen zu »impfen«, helfe am effektivsten für einen souveränen Umgang mit Informationen – weit mehr als das nachträgliche Entlarven. In anderen Worten: »Prebunking« geht vor »Debunking«.