Maßnahmen gegen Hass im Netz: Das Wichtigste aus dem Herbst 2023

Von Mittelkürzungen zur Ausgabensperre: Ende letzten Jahres hatte die Union gegen den Bundeshaushalt 2024 geklagt, der daraufhin für verfassungswidrig erklärt wurde. Das Urteil löste eine große Haushaltsdebatte aus, immerhin muss ein zweistelliger Milliardenbetrag eingespart werden. Eine Nachricht, die u.a. auch im Bereich der Zivilgesellschaft und Demokratieförderung Druck erzeugte, da sich Projektbewilligungen verzögerten. Erst im Sommer waren Kürzungen in diesem Bereich angekündigt worden.⁸ Entsprechend groß war das Echo auf die damit verbundene Ausgabensperre: Das Kompetenznetzwerk »Gegen Hass im Netz« sprach in einem offenen Brief von »dramatischen Folgen«;⁹ die Amadeu Antonio Stiftung befürchtete zahlreiche Entlassungen.¹⁰ Zwar stellte die Bundesregierung bereits ein Sparpaket vor, mit dem sich das Problem lösen könnte, doch treffen Sparmaßnahmen und Nachrichten über einen Finanzierungsstopp bereits zugesagter Förderungen diesen Bereich hart. Die Unsicherheit macht nicht zuletzt den kleinen Trägern das Leben schwer, da sie über wenig Ressourcen verfügen, um Übergangsperioden zu kompensieren.

Deepfake des Kanzlers propagiert AfD-Parteiverbot: Im Dezember 2023 wartete das Protestkollektiv Zentrum für politische Schönheit mit einem (umstrittenen) Stück in drei Akten auf. Für den Prolog verschickte es im Namen der AfD-Bundesgeschäftsstelle Briefe an deren Mitglieder mit der Bitte, einem möglichen Verbotsverfahren durch eine interne Vorabprüfung vorzubeugen.¹¹ Aufgerufen wird also zur Selbstdenunziation. Im Hauptteil dann eine Installation vor dem Bundeskanzleramt:¹² Sie zeigt die Parteispitze hinter Schloss und Riegel. Höhepunkt der Aufführung ist ein Deep-Fake Video mit Olaf Scholz,¹³ das die Einleitung eines Verbotsverfahrens gegen die AfD ankündigt. Obwohl Bild und Ton so asynchron verlaufen, dass der Fake offensichtlich erscheint, warnt der Regierungssprecher vor Manipulation.¹⁴ Die Aktion löste eine Diskussion darüber aus, wo die Grenze des legitimen Widerstands verlaufe, schließlich seien Manipulationen jeglicher Art abzulehnen, so Regierungssprecherin Christiane Hoffmann.¹⁵ Die Regierung reagierte prompt und ließ das Video vorübergehend aufgrund von Markenrechtsverletzung sperren.¹⁶ Im Abgang folgte schließlich noch eine Website, auf der sachdienliche Hinweise gemeldet werden können.¹⁷ Ein Aufruf zur Denunziation also.

Democ sendet zwei neue Folgen von Interferenzen: Im Dezember veröffentlichte Democ, ein Verein, der es sich zur Aufgabe macht, demokratiefeindliche Proteste zu dokumentieren und über sie zu berichten, gleich zwei neue Episoden seiner Reihe Interferenzen.¹⁸ Das Format wirft thematische Schlaglichter auf aktuelles Protestgeschehen – häufig mit Bezug auf den Online-Offline Nexus. Begleitet werden die dokumentarischen Beiträge durch Interviews mit Expert*innen aus Forschung wie auch Praxis,¹⁹ womit sie eine Möglichkeit zur inhaltlichen Vertiefung anbieten. Die letzte Folge der Reihe beschäftigt sich mit dem Rechtsextremismus im Fußball und zeigt, welche Rolle Telegram in der Vernetzung der Hooligan- und Fanszene spielt. Genau zwei Wochen zuvor startete bereits eine Episode, die die antisemitischen Ausschreitungen insbesondere auf Berliner Straßen im Kontext des 7. Oktober thematisiert. Sie weist nicht nur auf die Rolle von TikTok bei diesen Ereignissen hin, sondern adressiert auch erinnerungspolitische Aspekte der Debatte. Darüber hinaus verdeutlicht sie die ideologische Offenheit des Antisemitismus, indem sie ihn differenziert und phänomenübergreifend illustriert.

Launch von Threads in der EU: Seit Mitte Dezember ist Threads, der neueste Ableger von Meta, auch in der EU verfügbar. Zuvor entschied sich der Konzern, diesen Markt bewusst auszusparen. Es wird angenommen, dass dies an der Einführung des Digital Markets Act (DMA) lag, da dieser es verbietet, dass Nutzerdaten plattformübergreifend zur Personalisierung von Werbung genutzt werden.²⁰ Bereits 2019 wurde der Name für eine Instagram-Auskopplung in Form einer eigenständigen Messenger-App genutzt.²¹ Heute verbirgt sich hinter dem Namen ein Kurznachrichtendienst und damit vor allem eine Kampfansage an die Konkurrenz – insbesondere an X. Seit Musk das damalige Twitter übernommen hat, wird der Plattform der Untergang prophezeit und über die möglichen Erben spekuliert.²² Ob Threads jedoch ein adäquates Substitut für das alte Twitter sein kann, wird bezweifelt,²³ da die dort Stichwortgebenden bisher weniger aus dem Journalismus oder der Wissenschaft kommen. Viel mehr haben Influencer*innen, die sich auf Instagram bereits eine große Followerschaft aufgebaut haben, einen möglichen Startvorteil.

Massenexodus auf X hält weiter an: Bereits in der vergangenen Rundschau haben wir die Auswirkungen von Musks Verhalten auf digitale Migrationsbewegungen diskutiert.²⁴ Gegen Ende des Jahres 2023 fiel Musk unter anderem mehrfach durch Anspielungen auf Verschwörungserzählungen auf.²⁵ Namhafte Unternehmen sahen ihre Brand Safety in Gefahr und zogen sich zurück.²⁶ Ihnen folgten zahlreiche Verbände und Medienschaffende. Inzwischen ist sogar von einem regelrechten »X-Odus« die Rede.²⁷ In einem Interview auf dem DealBook Summit der New York Times zeigte Musk sich zwar reumütig, stellte den Ausstieg der Werbekunden aber als Erpressung dar und wurde ausfällig.²⁸ Vor Musks Übernahme war Werbung die zentrale Einnahmequelle der Plattform.²⁹ Damit nicht genug: Unter dem Verdacht der Verbreitung von illegalen Inhalten hat die EU-Kommission das Verfahren gegen X eröffnet.³⁰ Erst kürzlich ist ein deutsches Vorhaben gegen die Plattform gescheitert.³¹ Unterdessen ist der rechtsextreme Verschwörungsideologe und Betreiber von Infowars, Alex Jones, wieder zurück auf X.³² Sein Konto wurde 2018 gesperrt.³³ Wie bei Donald Trump ließ Musk die Nutzer*innen über seine Rückkehr abstimmen.³⁴

Konkurrenzkampf um Chatbots: Auch im Bereich der Chatbot-Hersteller gibt es viel Bewegung.³⁵ Im November machte der Aufsichtsrat von OpenAI – die Firma hinter ChatGPT und DALL-E – von sich reden, als sie kurzerhand CEO Sam Altman vor die Tür setzte.³⁶ Nach nur wenigen Tagen und nach Protesten der Belegschaft kehrte Altman zurück.³⁷ Grund für die Entscheidung sollen interne Streitigkeiten über Risikobereitschaft und Gemeinnützigkeit gewesen sein.³⁸ Ursprünglich war OpenAI als Non-Profit-Organisation angetreten und wird heute mit zweistelligen Milliardenbeträgen von Microsoft gesponsert.³⁹ Wenige Wochen nach dem Wirbel gab OpenAI eine Partnerschaft mit dem Axel-Springer-Konzern bekannt;⁴⁰ eine Klage wegen angeblicher Urheberrechtsverletzungen der New York Times folgte auf dem Fuße.⁴¹ Aber auch die Konkurrenz schläft nicht. Während Musk – seines Zeichens Gründungsmitglied von OpenAI – grok.x ins Rennen schickt, stellte Google im Dezember unter großem Trommelwirbel Gemini vor:⁴² ein multimodaler Chatbot, der in der Kampagne intelligenter dargestellt wird, als er aktuell ist.⁴³ Google korrigierte, man wolle lediglich auf das Potenzial hinweisen.⁴⁴

Mangelhafte Umsetzung des DSA: Laut einer Untersuchung des Verbraucherzentrale Bundesverband haben sehr große Online-Anbieter trotz des Inkrafttreten des EU-Gesetzes für VLOPs und VLOSEs die festgelegten Vorschriften noch nicht ausreichend umgesetzt.⁴⁵ So verwenden alle zwölf untersuchten Anbieter »Dark Patterns« (manipulative Design-Tricks) und machen ihre Werbekriterien nicht transparent. Kontaktstellen, AGB-Informationen und Optionen für Empfehlungssysteme sind oft auch schlecht auffindbar. Um zumindest national eine effiziente Aufsicht sicherzustellen, hat sich die deutsche Bundesregierung im Dezember auf ein Digitale-Dienste-Gesetz, die nationale Auslegung des DSA, mit der BNetzA als DSA-Aufsichtsbehörde geeinigt.⁴⁶ Damit auch in Zukunft effektiver zwischenbehördlich bei Regulierungsfragen zusammengearbeitet werden kann, wurde das sogenannte Digital Cluster Bonn gegründet.⁴⁷ Neben der BNetzA gehören dazu das Bundeskartellamt, die Datenschutzbehörde des Bundesbeauftragten für Datenschutz und Informationsfreiheit, das Bundesamt für Sicherheit in der Informationstechnik, die Bundesanstalt für Finanzdienstleistungsaufsicht und das Bundesamt für Justiz.

Pornowebseiten als Very Large Online Platforms: Die Liste der sehr großen Online-Plattformen, die seit Ende August 2023 unter der direkten Aufsicht der Europäischen Kommission stehen, wurde im Dezember um drei Pornoplattformen – Pornhub, Stripchat und XVideos – erweitert.⁴⁸ Die Webseiten erreichten mit ihren hohen Nutzer*innenzahlen den Schwellenwert, um unter die strengeren Regeln des europäischen Gesetzes für digitale Dienste zu fallen. Ein zivilgesellschaftliches Bündnis aus 30 Nichtregierungsorganisationen hatte die Europäische Kommission per offenen Brief bereits im Oktober gedrängt, große Pornoplattformen als Very Large Online Platforms (VLOPs) einzustufen: also in die Kategorie, wo für Plattformen strengere Regeln gelten.⁴⁹ Die auf die Liste gesetzten Plattformen müssen nun ab Mitte Februar per Gesetz zügiger gegen illegale, ohne Einverständnis hochgeladene und KI-generierte Inhalte vorgehen und Risikobewertungen durchführen.

EU bringt AI Act auf den Weg: Das Ziel des risikobasierten AI Act ist die Schaffung einer rechtlichen Grundlage, um mögliche Schäden durch Künstliche Intelligenz (AI oder auch KI) abzuwenden. Ende 2023 konnten sich die EU-Trilogpartner in Brüssel vorläufig auf einen Rechtsrahmen für KI einigen.⁵⁰ Technische Detailfragen und Standards müssen noch ausgestaltet werden. Ein formaler Beschluss der Nachverhandlungen ist einem Leak zufolge Anfang Februar angesetzt.⁵¹ Dann müssen Anbieter wohl künftig über Trainings- und Testverfahren informieren. Strittig ist allerdings die KI-Definition, auf der die Verordnung basiert. Geeinigt haben sich die Partner auf eine Fassung in Anlehnung an die OECD-Definition, ebenso auf eine europäische KI-Behörde sowie ein KI-Beratungsgremium für Feedback aus Wirtschaft und Zivilgesellschaft. Das Gesetz sieht auch vor, dass eine grundrechtliche Folgenabschätzung und öffentliche Transparenz beim Einsatz von Hochrisiko-KI durch Behörden verpflichtend sind. Streitpunkte bleiben die Nutzung biometrischer Daten und die Einsatzmöglichkeiten automatischer Gesichtserkennung.

Fachdiskussion über Desinformationen und persönlicher Überzeugung: In Wien untersucht das Projekt EMOMIS den Zusammenhang zwischen Emotionen und der Rezeption von (postfaktischen) Nachrichten.⁵² Erste Ergebnisse liegen nun in Form eines Pre-Prints vor.⁵³ Sie deuten darauf hin, dass emotionale Erregung nicht dazu beiträgt, dass Menschen Nachrichten für glaubwürdig halten. Vielmehr zeige sich, dass auch Desinformation bereitwilliger geglaubt wird, wenn sie im Einklang mit der eigenen Überzeugung steht – ein typischer confirmation bias.⁵⁴ Befunde wie dieser legen nahe, dass Interventionen entsprechend gestaltet werden müssen, um effektiv gegen Desinformation vorzugehen. Kritik an oberflächlichen Kriterien für die Qualifizierung von Desinformation, etwa anhand emotionaler Sprache als Fingerabdrücke von Desinformation, äußerte Dan Williams in seiner Rezension von Foolproof und weiterführend auf seinem Blog.⁵⁵ Williams hinterfragt die Virus- und Impf-Metaphorik im Desinformationskontext, da emotionale Sprache auch in herkömmlichen Nachrichten stattfinde und der Großteil der Nachrichten dennoch keine Desinformation sei.⁵⁶

Studie zum Zusammenhang von Kollektivität und Hass: Dass Gruppendynamiken und Netzwerkeffekte zentrale Elemente des digitalen Hasses sind, stellt eine Studie von Forschenden der University of California und Southern California unter empirischen Beweis.⁵⁷ Sie überprüften die forschungsleitenden Hypothesen, ob erstens der Hass eines*r User*in vom jeweiligen Netzwerk abhängt, und ob zweitens die Zustimmung von anderen die eigene Hass-Kommunikation befördert bzw. katalysiert. Aufbauend auf bereits bestehender Forschung,⁵⁸ erhoben sie rund 2,9 Millionen originäre Postings von Twitter (heute X), die dort zwischen 2020 und Januar 2023 veröffentlicht wurden. Zur maschinellen Detektion von Hassinhalten wurde Jigsaws Perspective API genutzt.⁵⁹ Sie stellten fest, dass User*innen weniger hasserfüllt kommunizieren, wenn die Reaktionen ausbleiben. So seien affirmative Retweets ein wesentlicher Einflussfaktor und stünden in einem positiven Zusammenhang mit Hasskommunikation.

Studien zu Persönlichkeitsmerkmalen und Maßnahmen gegen Desinformation: In der aktuellen Ausgabe der Fachzeitschrift Current Opinion in Psychology erschienen gleich drei Artikel zum Thema Desinformation, die für die Praxis von Relevanz sein dürften. Während eine Studie feststellt, dass in der Praxis zur Bekämpfung von Desinformationen vermehrt auf Gegenmaßnahmen zurückgegriffen werde, die am wenigsten erforscht sind oder nur geringen Erfolg versprechen,⁶⁰ stellt eine weitere Arbeit die Limitationen von Debunking erneut heraus.⁶¹ So wirke sich Fact Checking kaum auf tiefgreifende Facetten der Meinungsbildung und Einstellungsmuster aus; zudem erreiche es statistisch gesehen weniger die Menschen, die auf Desinformation stoßen. Eine dritte, psychologische Studie adressiert zudem den Zusammenhang zwischen Persönlichkeitsmerkmalen und der Anfälligkeit gegenüber desinformierenden Inhalten.⁶² Sie weist darauf hin, dass insbesondere extrovertierte und Menschen mit einem geringeren Verantwortungsbewusstsein vulnerabel gegenüber Desinformation sind und auch eher dazu tendieren, Desinformation intermediär zu verbreiten.