Maßnahmen gegen Hass im Netz: Das Wichtigste aus dem Sommer 2022
Aktuelle, kommentierte Ereignisse im Kampf gegen digitalen Hass. Diesmal im Rückblick auf das letzte Quartal: Zivilgesellschaftlicher Druck sorgt für Verbannung von Frauenfeind +++ Kampagne gegen Kiwifarms +++ Digitale Sprechstunde zum Umgang mit Shitstorms +++ Plattformpolitik in Zeiten des Krieges +++ Die Tiktokisierung sozialer Medien führt zu schwer vorhersehbaren Hassdynamiken +++ Moderationsprobleme nach US-Abtreibungsverbot +++ EU-Parlament stimmt DSA-Vorlage zu +++ Gesetzesentwurf gegen digitale Gewalt vor der Veröffentlichung +++ Telegram startet Umfrage unter User*innen zum Umgang mit Sicherheitsbehörden.
Der Sommer 2022 war geprägt von intensiven politischen Debatten auf digitalen Plattformen, die wiederholt in Hass und Hetze umschlugen und auch offline ihre Entsprechung fanden. Als tragisches Ereignis wird der Selbstmord von Dr. Lisa-Maria Kellermayer in Erinnerung bleiben. Die österreichische Landärztin kam in das Fadenkreuz von militanten Impfgegner*innen, Querdenker*innen und Rechtsextremen, nachdem sie sich kritisch zu Corona-Protesten geäußert hatte.1 Ihre Praxis wurde wiederholt angegriffen; sie und ihre Mitarbeitenden lebten in ständiger Angst. Ihr Suizid Ende Juli verdeutlichte, wie ausweglos die Situation manchen Menschen erscheinen kann, die von digitaler Gewalt betroffen sind – und wie wenig Polizei und Justiz Betroffene dagegen tun (können).2 Es war schließlich eine digitale Aktivistin, die herausfand, dass zentrale Hassakteure in dieser Dynamik aus Deutschland kamen.3
Fast zeitgleich und als Reaktion auf den Suizid zogen sich eine Reihe öffentlich sichtbarer Personen aus digitalen Räumen zurück, weil sie sich den Online-Bedrohungen nicht mehr aussetzen wollten. Eindrucksvoll begründete diese Entscheidung der Rechtsanwalt Chan-jo Jun, der zuvor auf Twitter juristische Anstrengungen von Querdenker*innen und Rechtsextremen dekonstruierte. Für Jun und viele andere war das Ereignis ein Moment, um innezuhalten und die antagonistische Lagerbildung auf den Plattformen zu hinterfragen. Selbstkritisch reflektierte er, dass er sich selbst – trotz bester Absichten – von aggressiven Dynamiken auf der Plattform Twitter verleiten ließ, indem er polemisierte und nicht den gebührenden Respekt in der Diskussion aufbrachte.4
In der Folge wurde viel über die Rolle von polarisierenden Plattformdynamiken für das Umsichgreifen von Hass debattiert,5 auch und insbesondere inwiefern zivilgesellschaftliches Handeln, das technische Design der Plattformen und staatliches Handeln zusammenhängen. In unserer Rubrik »Rundschau« möchten wir relevante Entwicklungen in diesen drei Bereichen dokumentieren. Hier sammeln wir ausgewählte Meldungen zu Erfolgen und Rückschlägen im Kampf gegen Hass im Netz – aus praktischer, privatwirtschaftlicher und regulierender Perspektive.
Strategische Interaktion: Aus der Praxis der Zivilgesellschaft
Civic.net bietet Sprechstunde zu Social-Media-Kommunikation an: Zivilgesellschaftliche Akteure haben oft das Problem, dass sie mit wenig Ressourcen viel Öffentlichkeitsarbeit stemmen müssen. Nicht selten geraten sie durch ihr Engagement unter Beschuss. Der Umgang mit Shitstorms und die Vorbereitung auf solche nehmen viel Zeit ein, die von der eigentlichen Arbeit ablenken. Seit kurzem bietet Civic.net, ein Projekt der Amadeu Antonio Stiftung, eine Sprechstunde an, in der Erfahrungen im öffentlichen Auftreten und dem Abwenden von Hasskampagnen geteilt werden. Immer montags von 15 bis 16 Uhr bieten die Mitarbeitenden des Projekts einen vertraulichen Rahmen, um Krisen vorzubeugen oder abzuwenden. Weitere Informationen finden sich hier.
Hope not Tate – das Deplatforming eines Frauenhassers: Der ehemalige Kickboxer Andrew Tate war ein bedeutender Influencer auf mehreren digitalen Plattformen, insbesondere auf TikTok. Er verbreitete Gewaltphantasien gegen Frauen und spornte junge Männer dazu an, Frauen wie Sklavinnen zu halten und ihnen keine Freiheiten zu geben. Hierzu entwickelte er ein Monetarisierungsmodell, das junge Menschen an dem Hass gegen Frauen mitverdienen ließ. Die britische NGO »HOPE not hate« initiierte eine Kampagne gegen den Social-Media-Influencer und übte Druck auf die Plattformen aus, um den Zugang zu einem Massenpublikum zu unterbinden.6 Bis zum 22. August löschten alle großen Plattformen die Accounts von Tate und sorgten somit für einen Erfolg innerhalb einer breiter angelegten Kampagne zur Reduzierung von frauenfeindlichen Inhalten im Netz. Twitter hatte Tates Account übrigens bereits 2017 gesperrt.
Cloudfare verweigert Kiwi Farms seine Dienste nach Kampagne: Kiwi Farms ist ein knapp zehn Jahre altes Online-Forum, das für seine Hasskampagnen gegen die LBGTQ-Community, Frauen und religiöse Gruppierungen berüchtigt ist. Es geriet in den Fokus der Öffentlichkeit, nachdem eine bekannte kanadische Streamerin Opfer von schrecklichen Drohungen und Gewalt wurde, die über dieses Forum organisiert wurden. Sie startete daraufhin die Kampagne »Drop Kiwi Farms« und forderte den Internetsicherheitsdienst Cloudfare auf, dem Forum seine Dienste zu verweigern. Anfang September 2022 wurde Kiwi Farms schließlich von Cloudflare aufgrund einer »unmittelbaren und dringenden Bedrohung für das menschliche Leben« blockiert.7 Danach wechselte die Website zu einem in Russland ansässigen Diensteanbieter, der seine Dienste kurz darauf wegen »Verstößen gegen die Nutzungsbedingungen« einstellte, woraufhin die Website offline ging. Ein ähnliches Schicksal erfuhren die Neonazi-Website Daily Stormer und das Imageboard 8Chan. Es unterstreicht die mächtige Rolle (und Verantwortung) von Infrastrukturanbieter*innen im Kontext von Hass im Netz.
Technische Kuration: Entwicklungen bei den Plattformen
Plattformpolitik im Kontext des russischen Angriffskriegs: Mit Beginn der russischen Invasion haben alle relevanten Tech-Unternehmen Maßnahmen ergriffen, die die Monetarisierung russischer Unternehmen, den Zugang russischer Medien zu ihren Plattformen sowie russische Kriegspropaganda einschränkten oder ganz unterbanden. Sie positionierten sich somit klar in diesem Krieg und unterstrichen, dass ihre Plattformen nicht zur Verherrlichung eines völkerrechtswidrigen Krieges genutzt werden dürften. Während die Tech-Unternehmen lange Zeit das Narrativ vertraten, lediglich eine neutrale Technologie zur Verfügung zu stellen, treffen sie heute – aufgrund öffentlichen und politischen Drucks – mehr werteorientierte Entscheidungen und setzen Maßnahmen um, die auch auf den Kriegsinformationsfluss einwirken. Dieser Umschwung wird auf kurz oder lang eine Positionierung in anderen Konfliktgeschehen nach sich ziehen. Wie diese in nicht so eindeutigen bewaffneten Konflikten aussehen wird, ist eine politische Frage, die bisher meist nur als eine technische diskutiert wird.
Die TikTokisierung digitaler Plattformen schreitet voran: TikTok ist neben YouTube die zentrale Plattform für Austausch und Informationen bei jungen Menschen. Eine Umfrage von Pew Research verdeutlicht die Vormacht der videobasierten Plattformen und dokumentiert den sinkenden Einfluss der etablierten sozialen Medien.8 Es ist daher nicht überraschend, dass insbesondere Facebook, Twitter und Instagram sich einiger Elemente von TikTok bedienen. Insbesondere stellt das die bisherige Funktionsweise des »sozialen Graphen« in Frage, der auf interpersoneller Vernetzung beruht und Inhalte nach eigenen Vorlieben und Relevanz – gemessen in Reichweite und Engagement – algorithmisch ordnet. TikTok (und YouTube) funktionieren hingegen nach anderen Standards: Im Zentrum steht die Unterhaltung der Nutzer*innen, was eine stärkere Varietät der Inhalte verlangt.9 Somit ist es schwer voraussehbar und steuerbar, welche Inhalte an Fahrt gewinnen. Für Hassbotschaften bedeutet dies, dass Accounts mit geringer Sichtbarkeit eine ungeahnte Reichweite genießen können. Dies macht es für Wissenschaft und Praxis fast unmöglich, mit dieser Dynamik mitzuhalten. Außerdem ist TikTok von einem komplexen System der Zensur und des Shadowbannings von zahlreichen Inhaltstypen geprägt.10
Urteil zu Abtreibungsverbot wird zum Minenfeld der Moderation: Die Entscheidung des Obersten Gerichtshofs in den USA, das Urteil Roe vs. Wade zu kippen, hat die reproduktiven Rechte von Frauen zum »neuesten Minenfeld der Inhaltsmoderation« gemacht.11 Informationen über Abtreibungskliniken, die auf Instagram gepostet werden, wurden bereits als sensibel eingestuft, während Hashtags, die sich auf Abtreibungspillen beziehen, eingeschränkt wurden. Dies deutet darauf hin, dass die Plattformen mehr oder minder versuchen, auf die Entscheidung zu reagieren. Insbesondere sorgte ein Fall für Aufmerksamkeit, wo Facebook der Polizei die privaten Chats einer Teenagerin über ihre Abtreibung weiterleitete. Die Polizei nutzte die Informationen aus den Chats dann, um ihr Telefon und ihren Computer zu beschlagnahmen. Der Fall zeigt: Wenn sich staatliche Machtverhältnisse ändern, geraten Plattformen in den Sog aufbrechender Normkonflikte zwischen Staat und Bevölkerung.
Politische Regulation: Maßnahmen von Staat und Behörden
Ja zum DSA. Europäisches Parlament stimmt Vorlage zu: Das Europäische Parlament hat das Gesetz über die digitalen Dienste (DSA) und das Gesetz für die digitalen Märkte (DMA) angenommen. Der Digital Service Act, so die paneuropäische Bezeichnung des DSA, richtet sich gegen die Verbreitung von Hassrede und Desinformation im digitalen Raum und verlangt nach einer stärkeren Transparenz der Tech-Unternehmen. Diese müssen nun nach vorgegebenen Fristen justiziable Inhalte löschen und teilweise melden. Andernfalls drohen ihnen Strafen. Je größer die Plattform, desto stärker die regulativen Eingriffe. Auskunftsregeln werden vereinheitlicht und auch das juristische Vorgehen länderübergreifend angepasst. Digitale Dienste müssen sich nun europäischen Standards anpassen, sonst droht ihnen ein Verbot, ihre Produkte in Ländern der Europäischen Union anzubieten.
Gesetzesentwurf gegen digitale Gewalt geplant: Jede vierte junge Frau hat bereits digitale Gewalterfahrungen gemacht, wie eine Online-Befragung der Gesellschaft für Freiheitsrechte zeigt. Welche Bedarfe Betroffene haben, ist im Umgang mit digitaler Gewalt aber häufig Nebensache. Die Politik setzt auf Strafverfolgung und Regulierung großer Plattformen. Die Marie-Munk-Initiative (MMI) will dagegen die Betroffenen selbst ermächtigen: Sie sollen digitaler Gewalt ein Ende setzen können, indem sie bei Gerichten Anträge auf Sperrung der Täter*innen-Accounts stellen dürfen – und so nicht mehr allein von der Entscheidung privater Unternehmen abhängig sind. Die MMI plant daher, bis Jahresende einen eigenen Entwurf für das im Koalitionsvertrag angekündigte Gesetz gegen digitale Gewalt zu veröffentlichen.12
Telegram führte Umfrage zu Kooperation mit BKA durch: Der Messengerdienst Telegram ist bekannt für seinen laxen Umgang mit Hass und Extremismus. Dies führte im Frühjahr 2022 zu der Forderung aus der Politik, die App für deutsche Nutzer*innen abzuschalten.13 Die Weigerung, mit Regierungen zu kooperieren, sorgte bereits 2014 für die Entscheidung des Telegram-CEOs Pavel Durov, ins Exil zu gehen und den Dienst aus dem Ausland aufzuziehen. Durch Medienberichte des Spiegel wurde im Juni 2022 bekannt, dass Telegram dennoch Daten mit dem BKA teile, wenn ein Gerichtsurteil vorliegt.14 Ende August überraschte der Dienst dann durch eine Umfrage für Nutzer*innen mit deutschen Telefonnummern, um deren Meinung zu dieser Praxis einzuholen. 39% der knapp 2,3 Millionen Befragten stimmten für die Herausgabe von IP-Adressen und Telefonnummern von Terrorverdächtigen. 37% gaben an, dass der Dienst gar keine Daten teilen solle.15 Die Umfrage signalisiert, dass eine stärkere Kooperation Telegrams mit den Sicherheitsbehörden und möglicherweise auch moderative Eingriffe zu erwarten sind.
Zitationsvorschlag: Forschungsstelle BAG »Gegen Hass im Netz«, »Maßnahmen gegen Hass im Netz: Das Wichtigste aus dem Sommer 2022«, in: Machine Against the Rage, Nr. 0, Herbst 2022, DOI: 10.58668/matr/00.3.
Verantwortlich: Maik Fielitz, Holger Marcks, Hendrik Bitzmann, Harald Sick.
- Michael Völker, »Der Tod einer Ärztin. Und was wir daraus lernen sollten«, in: Spiegel, 9. Aug. 2022, online hier.
- »Suizid von Ärztin Kellermayr: Was Hass im Netz anrichtet«, 5. Aug. 2022, auf: Hate Aid, online hier.
- Andreas Proschofsky & Mickey Manakas, »Drohungen gegen Ärztin: Wie eine ›Hacktivistin‹ die Polizei bloßstellte – und diese nun zurückschlägt«, 6. Juli 2022, online hier.
- Anwalt Jun, »Deshalb habe ich meinen Twitter Account deaktiviert«, auf: YouTube, 1. Aug. 2022, online hier.
- Michael Borgers, »Abmeldungen nach Bedrohungen: Der große Twitter-Koller«, auf: Deutschlandfunk, 3. Aug. 2022, online hier.
- »ACT NOW: Tech platforms must act against dangerous misogynist Andrew Tate«, auf: Hope not Hate, 19. Aug. 2022, online hier.
- Joseph Menn & Taylor Lorenz, »Under Pressure, Security Firm Cloudflare Drops Kiwi Farms Website«, in: Washington Post, 3. Sept. 2022, online hier.
- Siehe Emily A. Vogels, Risa Gelles-Watnick & Navid Massarat, »Teens, Social Media and Technology 2022«, auf: Pew Research Center, 10. Aug. 2022, online hier.
- Siehe Cal Newport, »TikTok and the Fall of the Social-Media Giants«, in: The New Yorker, 28. Juli 2022, online hier.
- Clare Duffy, »The Newest Content Moderation Minefield for Tech Platforms: Abortion Posts«, auf: CNN Business, 29. Juni 2022, online hier.
- Siehe dazu Abby Ohlheiser, »Welcome to TikTok’s Endless Cycle of Censorship and Mistakes«, in: MIT Technology Review, 13. Juli 2021, online hier.
- Siehe »Die Marie-Munik-Initiative – Mit Recht gegen Hass im Netz«, auf: Gesellschaft für Freiheitsrechte, o.D., online hier.
- Vgl. »Einfach abschalten ist nicht«, auf: Netzpolitik.org, 14. Jan. 2022, online hier.
- Max Hoppenstedt & Marcel Rosenbach, »Telegram hält sich neuerdings an Gesetze, zumindest ein bisschen«, in: Spiegel, 3. Juni 2022, online hier.
- »Ungewöhnlich: Telegram befragt all seine Nutzer nach anhaltender Kritik«, auf: Watson, 30. Aug. 2022, online hier.