Maßnahmen gegen Hass im Netz: Das Wichtigste aus dem Sommer 2024

Depolarisierung durch Algorithmen: reframe[Tech] ist ein Projekt der Bertelsmann Stiftung und widmet sich Ideen gemeinnütziger Algorithmen.¹⁵ In einer neuen Publikation¹⁶ von Felix Sieker und dem betterplace lab adressiert es das Problem ideologischer Polarisierung, da im Digitalen einerseits Meinungen aufeinandertreffen und andererseits Beiträge hohe Reichweiten erzielen, die die Gemüter in Streitthemen besonders erhitzen. Verantwortlich für diese Eskalation in Online-Diskussionen sei die algorithmische Kuratierung. Der Artikel diskutiert den sogenannten Bridging-Ansatz als Alternative. Er verfolgt das Ziel, dass konstruktive Kommentare automatisiert hervorgehoben werden. Durch die Publikation soll Aufmerksamkeit auf diese Möglichkeit gelenkt werden. In der Forschung werden ähnliche Ansätze bereits seit längerem untersucht. Im Oktober 2023 stellten Digitalforscher einen Chatbot vor, der für diese Zwecke trainiert wurde.¹⁷

Sammlung für die pädagogische Arbeit zu digitalem Hass: Mitte September hat die Gesellschaft für Medienpädagogik und Kommunikationskultur (GMK) im Rahmen des Kompetenznetzwerks gegen Hass im Netz eine umfangreiche Sammlung zivilgesellschaftlicher Angebote und Projekte veröffentlicht, die sich digital gegen Hass und Hetze engagieren.¹⁸ Die Zusammenstellung richtet sich in erster Linie an die konkrete Bildungsarbeit. Zugleich spricht sie durch ihre Filterfunktion verschiedene Zielgruppen an, die auf der Suche nach bestehenden Angeboten, Maßnahmen und Materialien sind. Die Datenbank umfasst derzeit über 100 Einträge und wird fortlaufend erweitert. Vertreten sind neben innovativen Projekten wie dem medienpädagogischen Gruppenspiel KryptoKids,¹⁹ auch Projekte wie Team-Kompass, die wir als Bundesarbeitsgemeinschaft »Gegen Hass im Netz« begleitet haben, sowie zahlreiche Mitglieder unseres zivilgesellschaftlichen Forums.

Medienpädagogik im Kurzvideo-Format: Im Rahmen des Projekts »re:set – Jugend gegen Hass im Netz« der Amadeu Antonio Stiftung wurde ein medienpädagogisches Online-Tool zur Vermittlung von Funktionslogiken rechtsalternativer Ansprachen vorgestellt. SwipeAway richtet sich insbesondere an Jugendliche und junge Erwachsene, also die sogenannte Generation TikTok.²⁰ Auch das Interface ist Kurzvideoplattformen nachempfunden und funktioniert interaktiv. Den Nutzer*innen werden beim Scrollen kurze Videosequenzen vorgespielt; danach werden sie zu ihrer Einschätzung befragt. Ein umfangreiches Glossar begleitet das Angebot. Auffällig ist, dass das Projektteam bei der Umsetzung insbesondere der Videos, die das rechtsalternative Lager imitieren, auf KI-basierte Video- und Sprachgeneratoren zurückgegriffen hat. Durch Beiträge unterstützt wurde das Angebot von verschiedenen Digitalprojekten wie beispielsweise @keine.erinnerungskultur.²¹

X verändert Blocking-Technik: Was X-CEO Elon Musk bereits im August 2023 ankündigte und im September 2024 bestätigte,²² bekamen die X-User*innen einen Monat später als Meldung beim Öffnen der App angezeigt: Die Blockierfunktion auf X wird sich bald ändern. Bisher wurde bei blockierten Profilen zwar noch die Präsenz des blockierenden Accounts angezeigt, jedoch waren alle direkten Interaktionsmöglichkeiten ausgeschlossen und Inhalte konnten nicht mehr angezeigt werden. Letzteres soll sich nun ändern. Ob dies auch bedeutet, dass man sehen kann, wem die Person folgt und wer ihr wiederum folgt, ist noch unklar, da X die Änderung noch nicht ausgerollt hat. Derzeit können Profile auch nicht eingesehen werden, wenn man nicht eingeloggt ist.²³ Bereits in der vergangenen Rundschau berichteten wir darüber, dass Likes auf X anonym sind. Ob sich die Kombination dieser Änderungen auch auf Mobbing- oder Belästigungsdynamiken auswirkt, bleibt abzuwarten.

KI-Bildgenerator made in Germany: Im August sorgte ein Freiburger Start-up für Schlagzeilen. Es stellte den Bildgenerator Flux vor, der die Konkurrenz von DALL-E, Midjourney und Co. in den Benchmarks überholt.²⁴ Einer der Gründer gehörte zum Team von Stable Diffusion.²⁵ Aufsehen erregte Flux aber nicht nur, weil es – anders als die Konkurrenz – Bilder von echten Menschen erstellt, sondern auch, weil es eine Kooperation mit xAI eingegangen ist,²⁶ einer im vergangenen Jahr von Elon Musk gegründeten Firma, die für die Entwicklung des hauseigenen Chatbots Grok verantwortlich ist.²⁷ Es wurde befürchtet, dass künstlich erzeugte Bilder Einfluss auf die US-Wahlen nehmen könnten.²⁸ Mitgründer Axel Sauer erklärte, man wolle es nicht verbieten, harmlose Memes zu erstellen, sei sich aber des Spannungsfelds bewusst.²⁹ Dass auch Memes beeinflussen können, wie politische Kandidat*innen wahrgenommen werden, zeigt sowohl ein Blick in Trumps Timeline als auch der von Charli XCX inspirierte Brat Summer von Kamala Harris.³⁰

Diskussion um Forschung mit Facebook-Daten: Im Herbst 2023 berichteten wir über Studien zur Polarisierung, für die Facebook Daten aus dem US-Wahlkampf 2020 zur Verfügung stellte.³¹ Eine davon untersuchte, inwiefern die algorithmische Kuratierung des Newsfeeds die Einstellungen der User*innen beeinflusst.³² Die Ergebnisse legten nahe, dass sich die Hypothese, wonach der Algorithmus für Lagerbildung verantwortlich sei, nicht halten lasse. Bei Meta zeigte man sich erfreut über die empirischen Befunde.³³ Im September 2024 wurde aber öffentlich, dass Facebook im betreffenden Zeitraum 63 temporäre Notfallmaßnahmen veranlasste; so wurden etwa mehr vertrauenswürdige Inhalte angezeigt als üblich.³⁴ Obwohl das Forschungsteam an der Belastbarkeit der Ergebnisse festhält, wirft der Fall die Frage auf, wie unabhängig Forschung sein kann, die auf die Gunst der Plattformen angewiesen ist.³⁵ Eine ausführliche Diskussion findet sich im Science-Journal.³⁶

Erster Trusted Flagger in Deutschland: Im Oktober gab der Digital Services Coordinator bei der Bundesnetzagentur bekannt,³⁷ dass die Meldestelle REspect! der erste Trusted Flagger in Deutschland ist. Im Rahmen des DSA werden darunter »vertrauenswürdige Hinweisgeber« verstanden,³⁸ deren Meldungen potenziell rechtswidriger Inhalte von den Plattformen bevorzugt zu behandeln sind. Es folgte eine öffentliche Kontroverse. Kritiker*innen problematisierten, dass Begriffe wie »Hass« unscharf seien und hier autoritäre Mittel Anwendung fänden.³⁹ Die BNetzA besserte nach und versah die Pressemitteilung mit einem Hinweis: es gehe ausschließlich um illegale Inhalte.⁴⁰ Betont wird auch, dass das Flagging nicht bindend sei und die Aufgabe mit hohen Sorgfalts- und Transparenzpflichten einhergehe.⁴¹ Der Kontroverse ist jedoch eine grundsätzliche Frage vorgelagert: Wer, abseits der Gerichte, besitzt die Legitimität, über Social-Media-Inhalte zu entscheiden?

X in Brasilien vorübergehend gesperrt: Im September trat Thierry Breton als EU-Kommissar zurück. Der beklagte in seiner Amtszeit mehrfach, die Plattform X würde zu wenig gegen Desinformationen unternehmen, beließ es aber bei Drohungen.⁴² In Brasilien hingegen ließ man ähnlichen Worten Taten folgen.⁴³ Nach einem monatelangen Streit mit Musk über freie Meinungsäußerung und die Zulässigkeit rechtsextremer Accounts hatte das Oberste Gericht Ende August eine Sperrung angeordnet. Dem Gericht zufolge war X nicht angemessen gegen die Verbreitung von Hassrede vorgegangen und hatte zudem gegen die Vorschrift verstoßen, einen rechtlichen Vertreter für das Land zu benennen.⁴⁴ Während Musk Richter Alexandre de Moraes beschimpfte,⁴⁵ freute man sich bei der Konkurrenz BlueSky über neuen Zulauf aus Brasilien.⁴⁶ Inzwischen hat das Oberste Gericht in Brasilien die Wiederherstellung von X nach Zahlung einer Strafe genehmigt.⁴⁷

Erste Streitbeilegungsstelle in Deutschland ernannt: Der Digital Services Coordinator bei der Bundesnetzagentur hat im August 2024 die erste außergerichtliche Streitbeilegungsstelle in Deutschland nach dem europäischen Digital Service Act zertifiziert. Die User Rights GmbH mit Sitz in Berlin war die erste Organisation, die einen entsprechenden Zulassungsantrag bei der Koordinierungsstelle für Digitale Dienste eingereicht hatte.⁴⁸ Als unabhängige Einrichtungen bieten sie eine alternative, billigere und schnellere Möglichkeit für User*innen, Rechtsmittel einzulegen, wenn über plattforminterne Melde- oder Beschwerdeverfahren keine Einigung erreicht werden konnte. Das können etwa Fälle sein, wo rechtmäßige Inhalte von der Plattform trotz interner Beschwerde gelöscht wurden, oder solche, wo auf Meldungen nicht reagiert wurde. Bisher fokussiert sich User Rights auf Beschwerden über TikTok, Instagram und LinkedIn.⁴⁹

KI-Chatbots gegen Verschwörungerzählungen: Hat man es im direkten Umfeld mit Verschwörungsglauben zu tun, hilft nur Beziehungsarbeit und Empathie; von Diskussionen ist abzuraten, weil geschlossene Weltbilder gegen Fakten immun sind. So eine häufige Darstellung. Eine neue Studie stellt diese Gewissheit in Frage.⁵⁰ Das durchführende Forschungsteam ließ über 1.000 Proband*innen mit einem Chatbot diskutieren. Das Ergebnis: Diskussionen haben durchaus Einfluss auf den Glauben an Verschwörungen, auch bei überzeugten Anhänger*innen. Expert*innen geben aber zu bedenken, dass ein solcher Effekt nur zur Reduktion beitrage, der Glaube aber in zwei von drei Fällen grundsätzlich noch vorherrsche. Zudem müsse berücksichtigt werden, dass Personen, die an einer Studie teilnehmen, offener für andere Sichtweisen sein könnten. Außerdem sei ungewiss, was genau die Teilnehmer*innen dazu veranlasst hat, ihre Überzeugung zu ändern.⁵¹

Sammelband zur Erkennung von (digitalem) Antisemitsmus: Im Oktober hat das europäische Verbundprojekt Decoding Antisemitsm einen Sammelband in Form eines Lexikons vorgelegt.⁵² Auf über 500 Seiten beschäftigt sich die Publikation mit verschiedenen Formen des Antisemitismus, die teils offen, teils verschlüsselt daherkommen. Als Basis dienten den Herausgeber*innen über 100.000 Social-Media-Beiträge aus verschiedenen europäischen Ländern. Insgesamt umfasst das Werk über 40 verschiedene Termini, die mit Beispielen untermauert und voneinander abgegrenzt werden. Dabei geht es sowohl um traditionelle Stereotype als auch um solche, die im Kontext des Nahostkonflikts aktuell Konjunktur erfahren. Die frei zugängliche Publikation richtet sich nicht nur an ein akademisches Publikum, sondern bietet auch eine Hilfestellung für Praktiker*innen, etwa um in der Content-Moderation Antisemitismus zu erkennen und informiert zu reagieren.

Special Issue zu Online-Hass: Das Journal Communications hatte im September das Thema Online-Hass als Schwerpunkt.⁵³ Die Ausgabe versammelt fünf Studien, die sich aus psychologischer und kommunikationswissenschaftlicher Sicht spezifischen Teilbereichen des Themas widmen. Sie adressieren unter anderem visuelle Hass-Kommunikation⁵⁴ oder gehen der Frage nach, wie Einstellungen und Persönlichkeitsmerkmale die Empfindung von Hass-Inhalten beeinflussen können.⁵⁵ Ein weitere Studie aus Dänemark analysiert die Motivation von User*innen in der Crowd-Moderation.⁵⁶ Die Ergebnisse deuten darauf hin, dass sie insbesondere dann, wenn sie selbst nicht betroffen sind, nur ungern aktive Gegenrede betreiben; stattdessen werden niedrigschwelligere Interventionen bevorzugt. Angenommen wird, dass die persönlichen Kosten (Zeit und psychischer Stress) einem aktiven Engagement gegen digitalen Hass entgegenstehen.