Attention Is All They Need: Eine Analyse der Nutzung generativer KI in rechtsalternativen Netzwerken
Künstliche Intelligenz der generativen Art wird immer mehr zur Verbreitung politischer Inhalte eingesetzt – auch in rechtsalternativen Kontexten. Dank frei zugänglicher Bildgeneratoren schwemmen Motive mit Schwarz-Weiß-Rot-Romantik, bösartige Deepfakes vom Bundeskanzler und visualisierte Abschiebefantasien den digitalen Bildermarkt. Dieser Eindruck kann zumindest entstehen, wenn Berichten über eine KI-Revolution im Politischen geglaubt werden darf. Mit unserer Empirie deckt sich diese Einschätzung allerdings weniger – zumindest nicht mit Blick auf das rechtsalternative Spektrum auf Telegram. Nicht einmal jedes 20. Bild basiert auf generativer KI. Auch zeigt unsere Studie einen differenzierten Gebrauch solcher Bilder. Allein eine Täuschungsabsicht zu unterstellen, greift hierbei zu kurz.
Im Vorfeld des sogenannten Superwahljahres 20241 wurde viel spekuliert, ob die mit der Veröffentlichung von ChatGPT rasant an Bedeutung gewinnende generative Künstliche Intelligenz (KI) nun eine neue Qualität der Anwendbarkeit erreicht habe. Damit einher geht die Befürchtung, dass das damit verbundene Missbrauchspotential entscheidenden Einfluss auf Wahlen und demokratische Prozesse ausüben könne.2 Erste Indizien, die diese These unterstützen, lieferten die argentinischen Präsidentschaftswahlen im Oktober 2023, die von der New York Times später als erste KI-Wahl eingestuft wurden,3 sowie die auf verwandten Technologien basierenden Deepfake-Vorfälle bei Wahlen in Moldau und der Slowakei.4 Viele Medien prognostizierten daraufhin eine Welle an KI-generierten Falschinformationen,5 während das Weltwirtschaftsforum »KI-generierte Fehl- und Desinformation« als zweitwahrscheinlichstes Risiko einstufte, im Jahr 2024 eine »Krise globalen Ausmaßes« auszulösen.6
Um die Diskussion über die Gefahren für Wahlen und demokratische Prozesse durch KI zu verstehen, ist es allerdings wichtig, den Gesamtkontext der KI-Debatte in Betracht zu ziehen, denn mit dystopischen Befürchtungen waren die Medien bei Weitem nicht alleine. Selbst Tech-Milliardäre wie Elon Musk und Steve Wozniak oder auch KI-Forschungskoryphäen wie Joshua Bengio warnten im März 2023 eindrücklich vor den potentiellen Konsequenzen unkontrollierter KI-Entwicklung und forderten in einem offenen Brief ein sechsmonatiges Entwicklungsmemorandum, um regulatorische Richtlinien und Sicherheitsstandards festlegen zu können.7 Das disruptive Potenzial sahen sie dabei vor allem auch im Zusammenkommen verschiedener Faktoren wie dem Verbreitungsgrad, der Fortschrittsgeschwindigkeit und dem Erreichen quasi-menschlichen Leistungsvermögens. So hatte ChatGPT in einer Rekordzeit von zwei Monaten die Schwelle von 100 Millionen App-Usern erreicht – und damit das gewaltige finanzielle und disruptive Potential der Technologie angedeutet.8
Der daraus resultierende Hype startete ein Wettrüsten von Investoren, Tech-Unternehmen, Startups und Nationen um Marktanteile und Dominanz auf diesem Gebiet, wodurch quasi wöchentlich Meldungen über neue Modelle und erreichte Benchmarks kursierten.9 In der Vergangenheit kamen Deepfakes und andere KI-gestützte Inhalte nur selten für politische Zwecke zum Einsatz. Sie waren aufwendig zu produzieren und im öffentlichen Diskurs schnell als solche entlarvt. Nun aber schmolzen die Produktionskosten in rasanter Geschwindigkeit, während gleichzeitig die Qualität stieg und viele Laien zunehmend Schwierigkeiten haben, reale Fotografien von KI-generierten Grafiken zu unterscheiden.10 Diese Situation, in der für Nutzer*innen nicht mehr klar ist, welche Inhalte realen Ursprungs sind und welche nicht,11 eröffnet böswilligen Akteur*innen die theoretische Möglichkeit, eine Menge Schaden anzurichten – zum Beispiel durch eine falsche, aber plausible Darstellung von Personen und Szenarien, die der Desinformation dient.
Better Safe than Sorry? Zwischen Apokalypse und Normalisierung
Frühzeitig gab es in der Debatte allerdings auch Stimmen, die darauf hinwiesen, dass viele der häufigst genannten Gefahrenpotentiale (Masse, Qualität, Personalisierung, Halluzinationen) eher spekulativer Natur oder, wenn überhaupt, nur moderate Effekte dieser Art nachweisbar seien.12 Hinzu kommt, dass wir uns nun, 18 Monate nach dem oben erwähnten offenen Brief, im politischen, rechtlichen und digitalen Bereich nicht mehr in einer komplett unregulierten Situation befinden. Viele Tech-Unternehmen haben sich mittlerweile freiwilligen Kennzeichnungsverpflichtungen angeschlossen13 und Guardrails gegen die größten Risiken in ihre Produkte aufgenommen.14 Mit dem AI Act der Europäischen Union wurde das erste große Regelwerk zu KI beschlossen, während sich die demokratischen Fraktionen im EU-Parlament einer freiwilligen Selbstverpflichtung angeschlossen haben, im Wahlkampf auf den Einsatz von unmarkierten KI-generierten Bildern zu verzichten.15
Angesichts einiger im Raum stehender apokalyptischer Szenarien liegt das Argument nahe, dass es riskant sei, neuen Technologien zu unvorsichtig gegenüber zu stehen. In diese Abwägung sollte allerdings eingepreist werden, dass durch den hohen Bekanntheitsgrad vieler Science-Fiction-Dystopien, bei gleichzeitiger Unwissenheit über technische Details, die Debatte sowieso schon eine assoziative Neigung in Richtung von Worst-Case-Szenarien besitzt. Es gilt daher auch zu bedenken, dass nicht nur eine Unterschätzung des Gefahrenpotentials von KI Risiken mit sich bringt. Auch eine Überschätzung der Gefahr kann für demokratische Prozesse und Wahlen negative Konsequenzen haben.16 So kann etwa die mediale Präsenz des Themas dazu führen, dass Menschen der sogenannten Verfügbarkeitsheuristik verfallen: Sie überschätzen dann die tatsächliche Wahrscheinlichkeit von KI-generierten Inhalten, wodurch indirekt die Glaubwürdigkeit verlässlicher Informationen insgesamt leiden kann. Ein ähnlicher Effekt wurde bereits im Kontext von Desinformation beobachtet und diskutiert.17
Diese Unsicherheit und Ambiguität hilft im Zweifelsfall vor allem denjenigen, welche glaubwürdige Informationen in Zweifel ziehen wollen: ein Phänomen, das unter dem Begriff der Dividende des Lügners (»the liar’s dividend«) bekannt geworden ist.18 Im Kontext von KI-generierten Inhalten bedeutet dies: Nicht nur die Qualität der generierten Inhalte macht sie zu einer gefährlichen Waffe zur Beeinflussung demokratischer Wahlen, sondern allein schon die Existenz der Technologie selbst – durch die damit einhergehende Wahrnehmung der Möglichkeiten. Korrekte Informationen, die nicht den eigenen Überzeugungen entsprechen, können so viel einfacher als fake oder KI-generiert deklariert werden. Dieser Mechanismus lässt sich auch zur Abwehr von Vorwürfen verwenden, weshalb Akteure Unsicherheit auch ausnutzen können, um KI-Fälschungen wiederum als reale Ereignisse darzustellen, da sie weniger negative Konsequenzen einer Aufdeckung fürchten müssen. Beim Verbreiten solcher plausiblen KI-Szenarien geht es allerdings nicht zwangsläufig um eine direkte Täuschungsabsicht; es kann auch dazu dienen, die Glaubwürdigkeit von Institutionen der Informationsproduktion nachhaltig zu untergraben, um entweder die eigenen Quellen als seriöse Alternative erscheinen zu lassen und/oder den Glauben an das demokratische System und seine Institutionen wie die Medien zu zerbröseln.19
Dass dies nicht nur theoretische Szenarien sind, zeigen Akteure wie Donald Trump schon heute. Sie teilen und verbreiten KI-generierte Inhalte,20 die teilweise als solche offensichtlich erkennbar sind und noch nicht mal etwas vortäuschen sollen. Ihre Zirkulation kurbelt aber die öffentliche KI-Debatte an, was wiederum dazu genutzt werden kann, Zweifel an den Inhalten von politischen Gegnern zu erzeugen. So warf Trump etwa Kamala Harris vor, dass die dargestellte Zuschauermenge bei einem ihrer Wahlkampfauftritte mit KI generiert worden sei.21 Ein weiterer Angriffsvektor in digitalen Kontexten ist, dass sich überhitzte Debatten hervorragend dazu eignen, die (sozial-)mediale Aufmerksamkeit zu hacken und mit einfachen Mitteln relativ viel Reichweite zu generieren. Zu diesen Mitteln zählt momentan die Nutzung von KI-Bildern an sich. Exemplarisch ließ sich dies im Brandenburger Landtagswahlkampf beobachten, als die Junge Alternative (JA) ein KI-generiertes Video veröffentlichte, das auch ohne KI hätte gemacht werden können. Inhaltlich war daran wenig überraschend; es zog seine Aufmerksamkeit vor allem aus dem Umstand, KI-generiert zu sein. Eine Dissonanz, die dabei ausgespielt werden kann, ist, dass für viele Menschen KI-basierte Bildmanipulation bereits zum Alltag gehört (etwa durch Smartphone-Kameras und App-Filter), während dies in der öffentlichen Debatte noch stark mit Täuschungsabsichten assoziiert wird.
Zugleich gibt es Indikatoren dafür, dass viele der Annahmen über die zukünftige Entwicklung der generativen KI aus dem Jahre 2023 jetzt schon als überholt bezeichnet werden müssen, da sie deren Dynamik überschätzten. Der ehemals auf Basis der vorherigen Entwicklungssprünge extrapolierte Fortschritt ist mittlerweile zumindest in Bezug auf die Fähigkeiten von State-of-the-Art-Modellen ins Stocken geraten, weil die Skalierung der vorhandenen Methoden mit mehr Daten und Rechenkraft immer mehr an ihre Grenzen stößt. Dies zeigt sich unter anderem auch daran, dass viele der führenden KI-Unternehmen die Releases der neuen Modellgenerationen mehrfach verschieben mussten.22 Hier liegen denn auch klar Parallelen zu den Hype-Zyklen um andere Tech-Themen wie das für 2018 angekündigte selbstfahrende Auto vor.23 Tatsächlich ist es fast schon eine Tradition bei Tech-Themen, dass auf die überbordenden Erwartungen in Hype-Zyklen ein Tal der Enttäuschung folgt. Mit »KI-Winter« gibt es dafür spezifisch für den Bereich der Künstlichen Intelligenz sogar einen historisch etablierten Begriff.
Gleichwohl spielen auch hier, wie in digitalen Kontexten üblich, Dynamiken des Hochschaukelns eine Rolle, die Aspekte einer selbsterfüllenden Prophezeiung aufweisen. So spricht etwa der Technologiewissenschaftler Lee Vinsel von einem Criti-Hype-Effekt, der beschreiben soll, wie oftmals auch die Mahner im Versuch, der Dringlichkeit ihres Anliegens Gehör zu verschaffen, den Hype durch Überzeichnung des Problems füttern. Auch um solche Fallstricke gesellschaftlicher Debatten zu vermeiden, sollte über neue Technologien nicht vorschnell geurteilt werden, etwa wenn – wie bei der Debatte um Filterblasen, Social Bots und algorithmischer Radikalisierung geschehen – gesellschaftliche auf technologische Faktoren reduziert werden. Daher haben wir verschiedene Facetten der Debatte um KI-generierte Bilder und das davon ausgehende Gefahrenpotential ganz praktisch beleuchtet, indem wir ihre Nutzung im rechtsalternativen Telegram-Kontext untersucht haben, insbesondere im Kontext der jüngsten Landtagswahlen. Durch die Analyse von Fallbeispielen und die Quantifizierung der tatsächlichen Anwendungsgebiete generativer Bilder, hoffen wir einen Beitrag leisten zu können, um die Debatte näher an den praktischen Alltag zu führen.
Pixel Perfect: KI-Bilder im Wandel
»Attention is all you need«: Das so betitelte Paper löste 2017 eine Revolution innerhalb der Forschung zum maschinellen Lernen aus.24 Lange Zeit konnten Forscher*innen trotz großer Fortschritte im Bereich Deep Learning keinen Weg finden, die inhaltlichen und semantischen Abhängigkeiten innerhalb verschiedener Textabschnitte abzubilden, ohne die Rechenkomplexität explodieren zu lassen. Der eingeführte Attention-Mechanismus und die darauf aufbauende Transformer-Architektur lösten das Problem. Die Skalierung dieser Idee auf mehr und mehr Daten bildet die Grundlage für den derzeitigen Boom sogenannter Large Language Models (LLM). Der breiten Öffentlichkeit wurde diese Technologie durch den ersten erfolgreichen Anwendungsfall in Form einer Chatbot-App (ChatGPT) im Jahre 2022 bekannt und zugänglich. In diesem Kontext etablierte sich dann auch der Begriff der generativen KI. Für die von uns betrachteten Bilder ist dies vor allem deshalb relevant, weil sich im Zeitverlauf herausstellte, dass der Attention-Mechanismus nicht nur für Abhängigkeiten innerhalb von Texten geeignet ist. Er kann auch die Modellierung von Abhängigkeiten zwischen Eingabeprompt und Bildern besser als bisherige Methoden abbilden, weswegen er heute die Grundlage vieler promptbasierter Bildgeneratoren darstellt.
Diese Entwicklung kam in Teilen überraschend. Die Veränderung und Generierung von Bildern mit Hilfe von KI war in den Jahren zuvor mit vollkommen anderen Ansätzen (insbesondere GANs) vorangeschritten. Zum Masseneinsatz kamen damit verbundene Methoden schon länger in Form von FaceSwap-Apps und KI-Filtern auf sozialen Plattformen. Diese ermöglichten es etwa, das Erscheinungsbild zu manipulieren, indem der eigene Kopf auf einen anderen Körper gesetzt oder Gesichtsmerkmale retuschiert wurden. Gerade in Bezug auf pornografische Deepfakes gab es auch schon eine Debatte über das Missbrauchspotential.25 Bei all diesen Methoden brauchte es aber bereits existierendes Bildmaterial. Was generative KI hingegen so besonders macht, ist die Möglichkeit, ein komplett neues, synthetisches Bild zu erschaffen – basierend auf Milliarden von online zugänglichen Bildern.
Der erste kleine Hype um KI-generierte Bilder begann mit dem frei zugänglichen Open-Source-Tool Craiyon, welches das Internet im Sturm eroberte. Seine einfache Formel: Ein Satz wird in eine Eingabemaske eingegeben und das Tool wandelt das Geschriebene in ein Bild um. Je konkreter die Eingabe, desto besser das Ergebnis. Als Vorbild für Craiyon – auch besser bekannt als DALL-E mini – diente das damals noch nicht frei zugängliche DALL-E, eines der ersten Programme zur Bildgenerierung auf Basis von Textprompts. Hinter dem Wortspiel, das auf Disney’s Pixar-Roboter Wall-e und den spanischen Künstler Salvador Dalí anspielt, steckt – wie bei ChatGPT – Open AI. Der Nachfolger DALL-E 2 und andere Tools der Konkurrenz wie Google’s Imagen und Parti folgten im selben Jahr auf den Hype und erzeugten noch fotorealistischere Bilder. Midjourney entwickelte durch die Qualität der prompt-basierten Bilder das Feld der KI-Bildgenerierung weiter. Was vor zwei Jahren noch verschwommen, verzerrt, verpixelt war, ist jetzt gestochen scharf. Was all diese Modelle vereint, ist das maschinelle Lernen, das hinter der Bildkomposition steckt. Hierbei wird ein künstliches neuronales Netz auf Bilder und deren Textbeschreibungen trainiert. Als Computersysteme, die vage von biologischen neuronalen Netzen inspiriert sind, lernen sie Aufgaben anhand von Beispielen.
Inzwischen hat OpenAI ein fortschrittlicheres Modell, DALL-E 3, herausgebracht, das seinen Vorgänger ersetzt – und direkt über die Eingabemaske in ChatGPT genutzt werden kann. Heute gibt es kaum noch Sprachmodelle, die nicht frei zugänglich sind und neben der Textausgabe nicht auch glaubwürdige Bilder erstellen: Google nutzt Imagen 3 in Gemini, Microsoft den Bing Image Creator in Copilot und Adobe hat Firefly. Quelltextoffene Software wie Stable Diffusion, die allein als Text-zu-Bild-Generator fungiert, ist eher eine Seltenheit.
Deutliche Abstufungen bei den Bildgeneratoren zeigen sich im Bereich der Einschränkungen und Sicherheitsvorkehrungen. Elon Musks, nur für X-Premiumnutzer*innen verfügbarer KI-Bildgenerator Grok steht so gut wie ohne Beschränkungen zur Verfügung,26 während die großen Player mittlerweile etliche Vorkehrungen eingebaut haben, um die Generierung von unangemessenen Inhalten oder Simulationen prominenten Personen zu reduzieren. Eine Möglichkeit, die Verbreitung von irreführendem, diskriminierendem oder urheberrechtlich bedenklichem Material zu verhindern, besteht darin, die KI-Bildgeneratoren mit In- und Output-Filtern auszustatten. Diese sorgen dafür, dass bestimmtes Bildmaterial gar nicht erst generiert und ausgegeben wird.27 Die Algorithmen der meisten aktuell gängigen, frei zugänglichen Bildgeneratoren – die Unternehmen dahinter waren sich dem Gefahrenpotenzial ihrer Modelle seit Beginn bewusst28 – filtern durch Classifier explizite (z.B. sexuelle oder gewalttätige Inhalte, Hasssymbole) und irreführende Inhalte (z.B. realistische Bilder von Personen, insbesondere des öffentlichen Lebens, oder Szenarien). OpenAI hat für Dall-E 3 zum Beispiel durch Red-Teaming eine strenge Inhaltspolitik entwickelt: Mobbing, Gewalt, Hassrede, sexuelle Darstellungen und Abbildung von sexuellem Kindesmissbrauch, Täuschungen oder Inhalte über Politik und Gesundheit zu generieren, ist verboten.29 Dasselbe gilt für Googles Imagen 3.30
Dieses Selbstregulierungssystem wurde als zusätzliche Sicherheitsebene implementiert, die durch Taktiken – z.B. fiktive Szenarien, visuelle Synonyme, leicht falsch geschriebene Namen von bekannten Personen, Schlüsselwörter, die Verwendung suggestiver Formulierungen – teilweise umgangen werden kann. Ein einfaches plastisches Beispiel: Eine Person kann statt in Blut in flüssigem Rot liegen. Nicht alle Generatoren arbeiten mit engmaschigen Sicherheitsmaßnahmen. So nutzt Stable Diffusion Ausgabefilter, diese sind aber nicht transparent und als Open-Source-Modell revidierbar. Midjourney appelliert mehr durch Community-Richtlinien und automatischen Detektoren an die Vernunft der Nutzer*innen, statt transparent systemeigene Eingabe- und Ausgabefilter zu kommunizieren.31 In der Vergangenheit wurden Text-zu-Bildgeneratoren oft für die Reproduktion von Vorurteilen kritisiert, vor allem, weil sie bereits bestehende Stereotype von Geschlechteridentitäten, Ethnien, Sexualität und Nationalitäten als Bildmaterial generieren und damit verstärken32 oder auch Frauen und Mädchen übersexualisieren.33
AI for Bad: KI und Rechtsextremismus
Speziell rechtsextreme Akteure waren stets Early Adopters von neuen Technologien, mit denen sie demokratische Gesellschaften herausfordern können.34 Dies hängt einerseits damit zusammen, dass neue Technologien weitgehend unreguliert sind und Potenzial zur Manipulation mit sich bringen, indem Realitäten anders abgebildet werden. Andererseits können Technologien wie generative KI dazu beitragen, neue Zielgruppen ohne viel Aufwand und kostengünstig mit politischen Inhalten zu erreichen. So ist diese Technologie durchaus ein Game Changer in der politischen Agitation, ermöglicht sie doch eine passgenaue Ansprache von Wählergruppen (Microtargeting).35 Tatsächlich lässt sich in gewaltaffinen Kreisen des Rechtsextremismus ein Trend zu generativem Material beobachten, das etwa neonazistische Symbole ästhetisch anhand von KI aufbereitet.36 Viele der über Telegram so agierenden Kanäle verstehen ihre Materialien als »KI-Kunst«.37
Im bundesdeutschen Kontext haben es einige KI-basierte Projekte des Rechtsextremismus bereits ins mediale Rampenlicht geschafft. Am prominentesten war der Fall des von der JA verbreiteten KI-Videos, das eine Abschiebe-Fluglinie zeigt und mit einem (ebenfalls KI-generierten) Songtext untermalt ist, in dem davon geträumt wird, alle Migrant*innen aus Deutschland abzuschieben.38 Das Video wurde auf YouTube zwar schnell wieder gelöscht, fand jedoch virale Verbreitung als Hymne. Sie avancierte in AfD-Kreisen sogar zum Theme-Song des Brandenburger Wahlabends.39 Über solche Provokationen sammeln sich im Umfeld der AfD immer mehr Accounts, die mit KI-generierten Bildern auf politische Entwicklungen reagieren. Dabei werden etwa konkrete Gruppen wie migrantisch gelesene Menschen negativ oder deutsche Politiker*innen als manipulativ dargestellt: eine visuelle Praxis, die auch im Kontext der Europawahl in Frankreich praktiziert wurde.
Wie bereits erwähnt, haben eigentlich alle öffentlich verfügbaren Chatbots und KI-betriebenen Bildgeneratoren diverse Einschränkungen und Sicherheitsvorkehrungen, um einen Missbrauch des jeweiligen Programms zu verhindern.40 Dabei ist wichtig zu wissen, dass die LLMs, die den jeweiligen Chatbots zugrunde liegen, durchaus mit diesen sensiblen Informationen gefüttert und trainiert wurden, da es viel zu aufwendig wäre, die riesige Masse an Trainingsdaten hundertprozentig vorzuselektieren. Stattdessen wird der Chatbot am Ende darauf trainiert, unethische Anfragen zu erkennen und entsprechend zu antworten. Diese Guardrails werden von rechtsalternativen Akteuren allerdings auf unterschiedliche Weise umgangen, um mit KI-basierten Chatbots und Bildgeneratoren extremistische Inhalte zu produzieren. Eine einfache Variante ist, nur Einzelteile des Bildmaterials anfertigen zu lassen und es danach mit herkömmlichen Programmen so zusammenzufügen, dass extremistische Inhalte erkennbar sind.
Auch relativ einfach und zugleich effektiver, wenn intelligente Prompts genutzt werden, ist es, die Sicherungen der jeweiligen KI-Tools zu umgehen, indem die eigentliche Anfrage, extremistischen Content zu erstellen, in eine Narration eingebettet wird, in der die Anfrage aus Sicht des Chatbots nicht mehr unethisch ist. Stellt man zum Beispiel der eigentlichen Anfrage den Prompt voran, dass ein Skript für ein Theaterstück geschrieben werden soll, in dem ein/e Protagonist*in den rassistischen Witz erzählen soll, leisten viele Chatbots dem trotz Inhaltsmoderation in der Regel Folge. Da dieses Role-Play-Prompting für den Bot ein unbedenkliches Szenario schafft, plaudert er unbefangen drauf los. Auf ähnliche Weise könnten dem Bot so detaillierte Anleitungen zum Hacking oder zur Herstellung von Sprengstoffen und Drogen entlockt werden. Dieses Vorgehen ist aus extremistischer Sicht für einzelne, kleine Anfragen nützlich, allerdings für den massenhaften Gebrauch zu aufwendig.
Technisch versiertere Nutzer*innen haben darüber hinaus die Möglichkeit, auf »unzensierte« Modelle wie beispielsweise Llama2-uncensored zurückzugreifen. Hierbei handelt es sich um ein Open-Source-Sprachmodell, das auf der Basis von Metas Llama-LLMs entwickelt wurde.41 Diese unzensierten Modelle können auch von Extremist*innen selbst installiert und für ihre Zwecke eingespannt werden. Zwar ist hier etwas Aufwand und eine geeignete Infrastruktur – in Form von Rechenpower oder einem geeigneten Server – von Nöten, allerdings kann das LLM dann in einen eigenen Chatbot eingebaut, weiter nachtrainiert oder in ein selbst geschriebenes Programm implementiert werden, das dann zum Beispiel Bots auf sozialen Medien steuert. Ein ähnliches Vorgehen wurde von Russland Anfang Juli 2024 bekannt, als das US-Justizministerium mit Partnern aus Kanada und den Niederlanden eine russische Botfarm enttarnte und lahmlegen konnte. Diese nutzte KI-Modelle, um automatisiert knapp tausend gefälschte, aber echt aussehende Social-Media-Profile auf X und anderen Plattformen zu erstellen. Die jeweiligen Kanäle wurden dann genutzt, um in großem Stil Desinformation zu verbreiten.42
Gefahr oder Hype? Ein Realitätscheck via Telegram
Wissend um die vielfältigen Möglichkeiten, wie mit generativen Materialien Schaden im Großen und Kleinen angerichtet werden kann, stellt sich für uns nun die Frage, welche Rolle KI-generierte Bilder in den von uns gemonitorten Milieus spielen. Über die Plattform Telegram haben wir dafür ein repräsentatives Datensample von geteilten Bildern rechtsextremer Akteure oder solcher mit regionalem Bezug in der Hochphase des Landtagswahlkampfes (15. Juli bis 31. August 2024) gezogen. Die Grundgesamtheit des Bildmaterials lag bei 78.973 unterschiedlichen Bilderposts und soll uns Rückschlüsse auf die generelle Nutzung dieser Art der Bilder im deutschen Wahlkampfkontext ermöglichen. Aus diesem Bildmaterial haben wir dann nach einem Samplingschritt noch algorithmisch Bilder ausgefiltert, welche eindeutig nicht KI-generiert sind. Schließlich wurden mittels drei Kodierungsrunden insgesamt 158 Bilder identifiziert, bei welchen mit hoher Wahrscheinlichkeit KI-generierte Bildgeneratoren Teil des Produktionsprozesses waren.43
Mit maximal fünf Prozent an KI-generiertem Bildmaterial haben wir in Bezug auf die Grundgesamtheit also bis zu 3.900 solcher Bilder im Betrachtungszeitraum zu verzeichnen.44 Ähnlich wie in einer Studie vom German Marshall Fund,45 die bei mehr als einem Drittel (39 Prozent) der seit Herbst 2023 abgehaltenen Wahlen eine Online-Verbreitung von synthethischen Inhalten attestierte, können auch wir damit bestätigen, dass generative KI-Technologien im Zeitraum des Landtagswahlkampfs zum Einsatz kamen. Allerdings gehen wir, wie auch andere Studien, von bisher eher marginalen Effekten auf Wahlkämpfe oder -ergebnisse aus.46 Mittels statistischer Modelle konnten wir sogar nachweisen, dass KI-generiertes Bildmaterial statistisch signifikant weniger oft innerhalb unseres Netzwerkes weitergeleitet wird als sonstiges Bildmaterial. Durchschnittlich stellen wir eine um 45 Prozent reduzierte Weiterleitungswahrscheinlichkeit fest. Anzumerken ist hierbei aber, dass der reduzierende Faktor zwar statistisch signifikant ist, aber die mögliche Spannbreite der Effektgröße aufgrund der geringen Anzahl KI-generierten Bildmaterials relativ groß ist.47
Neben der reinen Betrachtung der Häufigkeit des Einsatzes und der Verbreitung von KI-generierten und KI-gestützten Bildern – z.B. Fotomontagen mit KI-generiertem Hintergrund oder KI-Bilder, die durch In- und Outpainting verändert wurden – interessieren uns noch andere Facetten des Einflusses, den KI-generierte Bilder potentiell auf politische Prozesse haben. Hierfür haben wir die 158 verbleibenden Bilder mit Blick auf sechs weitere Kodierungsdimensionen untersucht. Während die Kodierungskategorien »Themen« und »visuelle Ansprachen« uns vor allem als Proxy für den Grund des Einsatzes von generativer Bild-KI dienen, haben wir zusätzlich auch Dimensionen dabei, die das Gefahrenpotential beleuchten sollen (Generik, bekannte Person, fotorealistisches Szenario) berücksichtigt. Über den regionalen Bezug bekommen wir Indizien zur ursprünglichen Herkunft des Bildmaterials.48
Thematische Vorlieben in der Bildproduktion
Zunächst haben wir zu verstehen versucht, was das Bild aus Sicht der rechtsalternativen Urheber*innen oder Verbreiter*innen darstellen soll.49 Immerhin geht es ihnen darum, Bilder in einen politischen Kontext zu setzen, womit sie wahrscheinlich auch bestimmte politische Absichten verfolgen. Unter diesem Gesichtspunkt ist es nicht verwunderlich, dass über ein Drittel der KI-generierten und -gestützten Bilder (35,4 Prozent) politische Themen behandelt – sei es als Referenz zu Politiker*innen, aktuellen Ereignissen oder politischen Tagesordnungspunkten. Sicherheitspolitische Themen wie militärische Konflikte, innere Sicherheit oder Terrorismus finden sich in unserem Datensatz mit knapp fünf Prozent nur wenig. Migration wurde hingegen dezidiert als eigenständige Kategorie mit 13,9 Prozent der KI-generierten und -gestützten Bilder erfasst. Hier wurde hauptsächlich mit dem diskriminierenden Bild der suggerierten Invasion, der Debatte um den Begriff »Remigration« und homogenen Menschenmassen gearbeitet. Mehr als jedes zehnte Bild enthält ein nationalistisches Topos. Das umfasst Bilder, die ein Nationalsymbol wie etwa eine Flagge oder eine Überhöhung der eigenen Nation – teils als weiße »Gegenkultur« – abbilden.
Ein Zusammenhang ist zwischen den Themen Migration und Kriminalität/Gewalt (13,2 Prozent) erkennbar. Die Bedrohung durch Migration ist hier das, was visuell mitschwingen soll. Ein wenig überraschend für das untersuchte Akteursspektrum setzen sich wenige KI-Bilder (9,5 Prozent) mit gesundheitspolitischen Themen wie COVID-19 oder Impfungen auseinander, obwohl dies bei textlichen Posts immer noch ein milieuübergreifender Dauerbrenner und die Szenen vereinender Brückenbauer ist. Naturmotive wiederum werden im absoluten Vergleich bei jedem fünften Bild genutzt, über die Hälfte im generischen Kontext: Ein generiertes KI-Bild, das beispielsweise eine unberührte Natur zeigt, hat nicht unbedingt einen strategischen oder ästhetischen Mehrwert, hätte hierfür doch auch auf ein Stock-Image zurückgegriffen werden können. Hier stellt sich die Frage, ob das Motiv der Nutzung schlichtweg ist, Lizenzkosten vermeiden zu wollen. Weit interessanter ist aber, inwieweit Themen und Formen der visuellen Ansprache miteinander zusammenhängen.
Visuelle Ansprache und Missbrauchspotenziale
Bei den Kombinationen von Themen und visueller Ansprache sticht ins Auge, dass »Vermeintliche Tatsachen« und »Empörung« die am häufigsten verwendeten Elemente sind; sie werden auch im Zusammenhang mit allen anderen Themen verwendet. Auch Humor ist ein wichtiges Anspracheelement, das bei allen Themen, außer dem Themenkomplex »Wirtschaft/Finanzen/Industrie« Anwendung findet. Humoristische Elemente finden sich hauptsächlich bei politischen Themen, wobei hier – wenig überraschend – viel mit Empörung, vermeintlichen Tatsachen und einem Gefühl von Überlegenheit/Stolz gearbeitet wird. Auch die Themen Migration und Kriminalität/Gewalt werden oft mit den gleichen Elementen adressiert. Mit Freude und Kollektivität werden nur die Themen Nationalismus und Natur bedacht. Ebenso, wenn nostalgische Gefühle geweckt werden sollen – nur dass hier noch das Thema Gesundheit dazukommt. Das restliche Themenrepertoire wird dagegen eher dystopisch belegt.
Ähnlich häufig in unserem Datensatz zu finden sind Darstellungen von bekannten bzw. ihnen merklich ähnelnden Personen (17,7 Prozent) und fotorealistischen Situationen (17,2 Prozent). Gerade die Darstellung einer bekannten Person in Kombination mit einem plausiblen Szenario birgt ein erhöhtes Missbrauchspotenzial. In unserem Datensatz ist diese Schnittmenge mit 1,9 Prozent allerdings sehr gering. Interessanterweise werden dabei nur westliche Politiker*innen fotorealistisch abgebildet – etwa US-Präsident Joe Biden vor einem Fenster. Hier ist nicht nur die Fotorealistik auffällig, sondern auch das Scheinkampagnenformat, das sein Täuschungspotenzial durch die Aufschrift »I’ve got Covid-19« direkt verliert.
Überhaupt machen sich häufige US-Bezüge im Datensatz bemerkbar, denn auffällig viele KI-Bilder, die bekannte Personen darstellen sollen, bilden Kamala Harris, Joe Biden und Donald Trump ab. Im deutschen Kontext wird mehr oder minder subtil – sei es durch Zeichenstile, für KI-Bilder typische Überbelichtung, Wortspiele oder versteckte Codes – auf Minister*innen der Ampelkoalition oder Angela Merkel abgezielt. Zeichnerisch nachempfundene Abbildungen der Person, Bildmontagen und unrealistische Szenarien, Handlungen oder Hintergründe entlarven die Bilder schnell als nicht realistisch und reduzieren ihren Täuschungseffekt. Trotzdem schließt das ein gewisses Missbrauchspotenzial nicht aus, kann die Bildsprache doch degradieren, vermeintliche Tatsachen darstellen oder diffamieren.
Weniger als jedes fünfte Bild stellt ein fotorealistisches Szenario dar. Einerseits wird hier viel mit generischen Natur- und Landschaftsbildern gearbeitet, die so auch bei Getty oder Shutterstock gesucht werden könnten, nun aber extra mit KI erstellt sind. Andererseits bilden einige KI-Bilder fiktive Szenarien ab, die visuelle Elemente von Gewalt, Bedrohung oder Gefahr beinhalten: eine verwüstete Stadt, brennende Autos oder eine mit Messern bewaffnete Männergruppe. Während generische Landschaftsbilder, für die in ästhetischer Hinsicht keine KI notwendig wäre, annehmen lassen, dass hier eher mit technischen Skills geprahlt oder Lizenzkosten gespart werden sollen, ist das bei anderen fotorealistischen Szenarien anders. Zwar gibt es auch hier Inhalte, die generisch wirken – vor allem, wenn Porträts von unbekannten, also fiktiven Personen abgebildet werden –, aber die meisten solcher KI-Bilder scheinen eine gewisse Täuschung bezwecken zu wollen. Interessanterweise sind hier hauptsächlich Szenen mit Gebäuden, Objekten oder Menschengruppen und kaum mit (bekannten) Einzelpersonen zu sehen. Vermutlich wäre dann leichter erkennbar, dass es KI ist. Die Gefahr bei solchen Bildern ist, dass Aussagen suggeriert werden, die nicht stimmen, und Empörung ausgelöst wird. Gleichzeitig könnte das abgebildete Szenario auch, losgelöst von der Frage nach Authentizität, als realistisch eingestuft werden, wenn es Annahmen über die Realität bestätigt.
KI und regionale Bezüge
Auffällig ist, dass den USA – nach dem Social-Media-Wahlkampf von Barack Obama und dem Microtargeting von Trump/Cambridge Analytica – auch in diesem Wahljahr wieder eine Vorreiterrolle beim Einsatz digitaler Wahlkampfmethoden zuzukommen scheint. Trotz unseres Fokus auf den deutschsprachigen rechtsalternativen Telegram-Kosmos und die Zeit der Wahlkampfhochphase in den ostdeutschen Bundesländern stellen Bilder mit US-Bezügen einen auffällig großen Anteil (14,6 Prozent) dar. Da zudem viele der Bilder ohne expliziten Regionalbezug (41,1 Prozent) mit englischem Text versehen sind (21,5 Prozent) und/oder auf Internetphänomene referenzieren, die aus dem amerikanischen Raum stammen, wie etwa Pepe, der Frosch, ist dieser Wert sogar als Minimalwert zu betrachten.
Dies deckt sich auch mit der medialen Berichterstattung und anekdotischen Fallbeispielen. Angefangen bei gefälschten Wahlanrufen im Vorwahlkampf50 und dem Twitter-Trend zu Trumps angeblicher Verhaftung,51 über Anti-Biden-Videos der Republican National Committees,52 bis hin zu etlichen Posts von KI-Inhalten auf Trumps Social-Media-Kanälen:53 Es gibt einige Hinweise, dass KI-generierte Bilder im aktuellen US-Wahlkampf eine deutlich größere Rolle als hierzulande spielen – in Menge, Reichweite und medialer Präsenz. Neben der höheren kulturellen Offenheit für technischen Neuerungen, kommt die schnellere Adaption der promptbasierten Bildgeneratoren im anglophonen Bereich auch deswegen nicht überraschend, weil ihre ersten Generationen englischsprachige Eingaben vielfach deutlich bevorteilten. Eine weitere Rolle dürfte dabei auch spielen, dass die rechtsalternative Szene international mittlerweile eng verknüpft ist, etwa durch globale Verschwörungsphänomene wie QAnon, und dass aus dem amerikanischen Kontext kommende Themen oft als internationale Brückenthemen fungieren.
Die Bilder mit französischem oder britischem Bezug referenzieren je Land jeweils genau ein Thema. Während in Frankreich das Thema Diversität im Rahmen der Olympischen Spiele zur Zielscheibe wurde, beschäftigen sich die Bilder im britischen Kontext vor allem mit den dortigen Unruhen dieses Sommers.54 Die monothematische Ausrichtung auf tagesaktuelle Themen legt nahe, dass der jeweilige Fokus kein statischer ist, sondern dass internationale (oder zumindest europäische) Aufregerthemen immer wieder flexibel in Akteursspektrum aufgegriffen werden. Die Frage der Herkunft vieler der Bilder lässt sich nicht beantworten, weil sowohl denkbar ist, dass deutsche Akteure diese Themen aufgreifen und bebildern als auch dass internationales Material übernommen wird.
Auch in der Abwesenheit mancher Motive lässt sich Information finden, da erstaunlicherweise, trotz großer Präsenz der Themen im Landtagswahlkampf und auch textuell in einigen Telegram-Channels, die kriegerischen Auseinandersetzungen in der Ukraine und Gaza bildlich fast vollständig ausgespart wurden. Wenn überhaupt Zerstörung und Krieg thematisiert wurden, dann immer in Form von dystopischen Zukunftsbildern in Deutschland, die auf links-grüne Politik zurückgeführt wurden (2,5 Prozent). Ein ähnliches Verhalten zeigte sich schon bei unserer Meme-Analyse zu Jahresbeginn.55 Dass man sich bei bestimmten Themen mit deutlichen Positionierungen zurückhält, lässt vermuten, dass hier ein strategisches Element enthalten ist: Womöglich möchte man keine Trigger auslösen, um keine Polarisierung in der eigenen Community zu riskieren.
Pionierarbeit: Die Methoden rechtsalternativer KI-Influencer
Das Erstellen von KI-generierten Bildern und Videos hat in rechtsalternativen Kreisen trotz der überschaubaren Gesamtzahl von Materialien an Popularität gewonnen. Das lässt sich auch daran beobachten, dass mehr und mehr Accounts sich der Produktion von KI-Materialien annehmen und sich dabei auch professionalisierten. Mit der Aneignung des KI-Bild-Genres können sich so verschiedene politische Akteure abheben in der Produktion von Inhalten, was im Aufmerksamkeitswettbewerb einen nicht zu unterschätzenden Vorteil bringen kann. Diverse Accounts bringen hier recht eigene ästhetische sowie bildkompositionelle Elemente ein, mit denen sie sich eine Art Marke aufbauen. Der Wiedererkennungswert der Urheber*innen der Bilder führt so zu einer crossmedialen Verbreitungsdynamik: So erscheinen viele der KI-generierten Bilder auch auf anderen Plattformen und sorgen für Wirbel.
Besonders viel Aufmerksamkeit erhielt in der Vergangenheit ein Social-Media-Account mit dem Namen »Wilhelm Kachel«, der seine KI-generierten Bilder über verschiedene Plattformen verbreitet, so auch Telegram.56 Die Account-Inhaber verstehen sich als ein dezidiert rechtes Projekt und als Vorreiter in der Nutzung von KI für nationalistische Zwecke.57 Über eine Kombination verschiedener Bildgeneratoren werden hier Bilder kreiert, die politischen Aktivismus, historische Persönlichkeiten und traditionelle Familien abbilden, aber auch für die AfD und rechtsextreme Aktivist*innen im Kontext aktueller politischer Debatten werben. Markant sind das Logo der Pickelhaube, ein Nostalgie-Filter und markante Schriftzüge, die sich zu einem eigenen Corporate Design zusammenfügen. Bewusst kokettiert der Kanal mit nationalsozialistischer Ästhetik. Auf verschiedenen Veranstaltungen bietet das dahinterstehende Kollektiv Workshops zum Skill-Sharing an.58 Zu jenen Skills gehört bei diesem Account auch, reale Persönlichkeiten wie etwa AfD-Politiker*innen artifiziell nachzubilden.59 Nach Eigenaussage will dieser Account mit seinen Bildern mehr Spaß in den politischen Aktivismus bringen.60
Einer recht ähnlichen Motivation folgt der Account der rechtsalternativen Netzpersönlichkeit SnickLink.61 Der Account nutzt KI-Bilder weitgehend satirisch und nimmt insbesondere Politiker*innen aus dem linken Lager aufs Korn. Im Vergleich zum vorherigen Beispiel bedient er sich gezielt der Methode des Deepfakes, zum Nachteil der Dargestellten. Der Accountinhaber, der auch eine Zeitschrift herausgibt, arbeitet mit Techniken der Meme-Kultur und sorgt für eine humoristische Aufladung von Aussagen, eine visuelle Ansprache, die in unserem Datenset besonders häufig vorkam. Dennoch sind viele der hier abgebildeten Bilder nicht prototypisch für das rechtsalternative Spektrum. Vielmehr sind sie das Ergebnis eines Experimentierens mit verschiedenen Bild- und Videogeneratoren. Best Practices für das Erstellen bestimmter Bilder oder Videos teilt der Accountinhaber via X mit seinen Follower*innen, was auch zur Imitation anleiten soll.
Der Hang zur Produktion von KI-generierten Memes ist noch stärker bei dem QAnon-nahen Account Memeswqrld zu beobachten. Hier werden insbesondere in US-amerikanischen Kontexten beliebte Meme-Charaktere anhand von KI überzeichnet dargestellt. Am populärsten ist sicherlich das schon genannte Alt-Right-Maskottchen Pepe der Frosch, der in den geteilten Bildern in vielfältiger Weise als zentraler Protagonist zu sehen ist. Die Schlagzahl des Accounts ist enorm: Teils werden über 20 Bilder pro Stunde von diesem Account geteilt, viele von ihnen KI-generiert. In diesem Sinne ist es wenig überraschend, dass viele Bilder generischen Charakter haben und kaum zielgerichtet erstellt wurden. Zugleich finden sich in diesem Account eine hohe Zahl antisemitischer sowie Trump-unterstützender Abbildungen. Im Vergleich zu den anderen Accounts zielt dieser weniger auf die Schaffung origineller KI-Bilder ab. Er folgt vielmehr einem Ansatz, der in rechten Online-Kreisen unter dem Motto »Flooding the Zone with Shit« firmiert.
Systemic Crisp: KI im rechtlichen Kontext
Unsere Analyse zeigt, dass die wenigsten KI-generierten Bilder eine strafrechtliche Relevanz haben und von der Meinungsfreiheit gedeckt sind. Allerdings stellen 17,2 Prozent der Bilder eine fotorealistische Situation dar und haben deshalb ein gewisses Missbrauchspotential zur Täuschung. Zugleich fallen viele Bilder, die Verschwörungsideologien reproduzieren und Ressentiments schüren, in die Grauzone des legalen, aber mitunter schädlichen Inhalts. Dieser kann aber nachteilige Auswirkungen auf gesellschaftliche Debatten haben – sei es durch eine Gefährdung der öffentlichen Gesundheit, gruppenbezogene Menschenfeindlichkeit oder das Skizzieren dystopischer Zukunftsszenarien. Wertet man diese negativen Effekte als systemisches Risiko im Sinne von Art. 34 Abs. 1 DSA, könnte es sich um einen Verstoß gegen den im Februar 2024 in Kraft getretenen Digital Services Act handeln – vorausgesetzt, Telegram fällt in den Anwendungsbereich der Art. 33 f. DSA. Allerdings gilt Telegram aktuell nicht als sehr große Online-Plattform im Sinne des DSA und muss daher lediglich gegen rechtswidrige Inhalte vorgehen, wenn sie gemeldet werden (»notice-and-take-down«).62 Zudem hat Telegram selbst keinerlei Richtlinien, wie es mit manipulativen, nicht-gekennzeichneten und KI-generierten Inhalten umgeht, die über den Messenger-Dienst geteilt und verbreitet werden.
Grundsätzlich können KI-generierte Bilder, wenn sie auf sehr großen Online-Plattformen verbreitet werden, »systemische Risiken« darstellen. Darunter fallen zum Beispiel Äußerungen, die »tatsächliche oder absehbare nachteilige Auswirkungen auf die gesellschaftliche Debatte und auf Wahlprozesse und die öffentliche Sicherheit« haben können. Solche Risiken auf Plattformen müssen jährlich von sehr großen Online-Plattformen (VLOPs) und -Suchmaschinen (VLOSEs) ermittelt, analysiert und bewertet werden.63 Im Zusammenhang mit KI-generierten und -unterstützten Bildern ist die gesetzliche Regelung im DSA zu Deepfakes von Bedeutung, die sich als Maßnahme zur Risikominderung auch auf das manipulative Risiko von Deepfakes und die Kennzeichnung von »erzeugten und manipulierten Bild[…]inhalt« durch VLOPs und VLOSEs bezieht. Manipulierter Inhalt ist gegeben, wenn er »bestehenden Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen merklich ähnelt und eine Person fälschlicherweise als echt oder wahrheitsgemäß erscheint.«64 Die klare Kennzeichnung KI-generierter Inhalte ist auch ein Element der Leitlinien für die Minderung systemischer Risiken für Wahlen für VLOPs.65
Risikominderungsmaßnahmen und eine klare Verantwortungspflicht des Messenger-Dienstes sind Teil der Lösung, aber ohne mehr Druck der EU-Kommission, Telegram als VLOP einzustufen, reine Zukunftsmusik. Solange gilt für solche unangenehmen, aber nicht offensichtlich rechtswidrigen Inhalte der Grundsatz »lawful but awful« und der Schutz von Art. 5 Abs. 1 GG. Auch nach dem EU-Gesetz zur künstlichen Intelligenz müssen Produkte von risikoreichen KI-Modellen, die für allgemeine Zwecke, unter anderem auch Bildgenerierung, genutzt werden können, klar als solche erkennbar sein. Dies wird am ehesten mit Wasserzeichen, Labels oder Disclaimern umgesetzt.66 Bis zum vollständigen Inkrafttreten wird es aber noch zwei Jahre dauern. Viele Bildgeneratoren nutzen schon eingebaute unsichtbare Wasserzeichen wie SynthID (z.B. Imagen 3) oder kryptografisch signierte Metadaten wie den C2PA-Standard (z.B. Dall-E 3, Firefly und Stable Diffusion). Für das bloße Auge sind diese zusätzlichen und weniger korrumpierbaren Sicherheitsmaßnahmen nicht erkennbar.
Eine klar sichtbare Kennzeichnung von KI-generierten und -gestützten Bildern, so wie sie im AI Act gefordert ist, sagt gleichzeitig nichts darüber aus, ob ein Inhalt irreführend oder manipulativ ist, sondern nur, dass er von einem KI-Bildgenerator erstellt wurde. Das zeigt auch, wie schwierig es im Moment noch ist, generative KI und deren Urheber*innen auf externen Plattformen adäquat zu regulieren. Die wenigsten User*innen und schon gar nicht extremistische Akteure halten sich an Kennzeichnungen. Zumindest sollte es in Anbetracht der vorstehenden Bundestagswahl einen Verhaltenskodex für Parteien für die Nutzung von KI-Bildern im Wahlkampf geben.
Ausblick: Auf dem Weg in eine Post-KI Welt?
KI oder Nicht-KI? Die Hinwendung zu dieser Frage kann als Zwischenstopp bei der steten Durchdringung aller Lebensbereiche durch Künstliche Intelligenz verstanden werden. Noch ist die Technologie für die breitere Öffentlichkeit vergleichsweise neu. Noch kann mit kreativen Prompts Aufmerksamkeit geschaffen werden; eine zentrale Motivation, sich dem Genre in rechtsalternativen Kreisen anzunehmen, wie unsere Studie zeigt. Und doch deutet die zunehmende Masse an Bildkreator*innen sowie der steigende Grad an Beliebigkeit in den geteilten Bildern darauf hin, dass der generative Bildermarkt überstimuliert wurde, ja nun bereits Bilder analog geschaffen werden, die den Anmut haben, KI-generiert worden zu sein.67
Ähnlich wie im Kontext der Debatte um Post-Digitalität stellt sich die Frage, ob und inwiefern generative KI langfristig auf ihren Hype bauen kann. Die neue Technologie verliert also langsam ihren disruptiven Charakter; sie wird immer selbstverständlicher im Alltag integriert. So ist es nicht verwunderlich, dass auf rechtsextremen Demonstrationen ganze Playlists mit KI-generierter Musik laufen. Für bestimmte Milieus ist der Ursprung bestimmter Bilder, Töne und Videos nicht mehr so bedeutend. Viel eher scheint hier wichtig zu sein, dass sie den richtigen politischen Ton treffen. Denn die (veröffentlichten) Materialien dienen im Endeffekt der Bestätigung der eigenen Wahrnehmung der Welt, unabhängig vom Wahrheitsgehalt des Bildes. Diese Tendenz der Gleichgültigkeit gegenüber dem Wahrheitsgehalt von Bildern zeigt sich insbesondere am Beispiel des US-amerikanischen Wahlkampfs.
Aber auch hierzulande trumpfen jenseits medienorientierter Kampagnen68 vor allem Akteure aus dem anti-demokratischen Lager mit KI-generierten Inhalten auf. Sie verschaffen sich im Wettbewerb einen Vorteil, da demokratische Akteure sich gezwungen sehen, an ethischen Grundsätzen festzuhalten, die Täuschungen verbieten. Daraus kann ein Vorteil für anti-demokratische Akteure resultieren. Und dennoch: Von einem wirklich strategischen Einsatz von generativer KI kann man allerdings kaum sprechen. Dass sich dies ändern wird, dafür sprechen erste Vorzeichen. Dass dies nicht im Sinne der Demokratie sein wird, ist erwartbar.
Zitationsvorschlag: Forschungsstelle BAG »Gegen Hass im Netz« feat. Rita Gsenger & Annett Heft, »Attention Is All They Need. Eine Analyse der Nutzung generativer KI in rechtsalternativen Netzwerken«, in: Machine Against the Rage, Nr. 7, Herbst 2024, DOI: 10.58668/matr/07.2.
Verantwortlich: Christian Donner, Lena-Maria Böswald, Maik Fielitz, Harald Sick, Holger Marcks.
- Für einen Überblick zu den anstehenden und vergangenen Wahlen 2024 siehe hier.
- Siehe dazu Leah Feiger, »Welcome to the AI Election Year«, in: Wired, 31. Mai 2024, online hier; sowie Henry Foy, »Why Big Tech and Deepfakes Keep EU Election Guardians Up at Night«, in: Financial Times, 28. Feb. 2024, online hier.
- Siehe Jack Nicas & Lucía Cholakian Herrera, »Is Argentina the First A.I. Election?«, in: New York Times, 15. Nov. 2023, online hier.
- Madalin Necsutu, »Moldova Dismisses Deepfake Video Targeting President Sandu«, in: Balkan Insight, 29. Dez. 2023, online hier; sowie Morgan Meaker, »Slovakia’s Election Deepfakes Show AI Is a Danger to Democracy«, in: Wired, 3. Okt. 2023, online hier.
- Siehe Cathleen Berger, »KI und Wahlen: Zwischen Meme-Kultur und politischer Werbung«, auf: Upgrade Democracy, 21. Dez. 2023, online hier.
- Siehe World Economic Forum, »The Global Risks Report 2024«, Genf 2024, S. 13, online abrufbar hier.
- Siehe Sebastian Schreiber, »Experten fordern Pause bei KI-Entwicklung«, auf: Tagesschau.de, 29. März 2023, online hier.
- Siehe Dan Milmo and Agency, »ChatGPT reaches 100 million users two months after launch«, auf: The Guardian, 2. Feb. 2023, online hier.
- Siehe Staphord Bengesi u.a., »Advancements in Generative AI: A Comprehensive Review of GANs, GPT, Autoencoders, Diffusion Model, and Transformers«, auf: ArXiv, 17. Nov. 2023, online hier.
- 40% der Proband*innen waren laut Studie der University of Waterloo nicht in der Lage, echte von KI-generierten Bildern zu unterscheiden, obwohl der Fokus explizit auf der Erkennung lag. Siehe Andreea Pocol u.a., »Seeing Is No Longer Believing: A Survey on the State of Deepfakes, AI-Generated Humans, and Other Nonveridical Media«, in: Bin Sheng u.a. (Hg.), Advances in Computer Graphics (Cham: Springer, 2023), S. 427–440.
- [1]Siehe Joel Frank u.a., »A Representative Study on Human Detection of Artificially Generated Media Across Countries«, auf: ArXiv, 10. Dez. 2023, online hier.
- Felix Simon, Sacha Altay & Hugo Mercier, »Misinformation Reloaded? Fears about the Impact of Generative AI on Misinformation Are Overblown«, in: Harvard Kennedy School Misinformation Review, Nr. 5, Jg. 4 (2023), online hier.
- Im »Tech-Abkommen zur Bekämpfung des betrügerischen Einsatzes von KI bei den Wahlen 2024« werden Standards festgelegt, wie die unterzeichnenden Unternehmen mit Risiken umgehen wollen, die sich aus betrügerischen KI-Wahlinhalten ergeben. Siehe A Tech Accord to Combat Deceptive Use of AI in 2024 Elections, online hier.
- Z.B. durch Responsible AI-Praktiken bei Open AI, Google oder Stability AI.
- Siehe Max Griera, »Desinformation im EU-Wahlkampf: EU-Kommission und Parteien vereinbaren Regeln«, auf: Euractiv. 9. Apr. 2024, online hier.
- Siehe Mateusz Łabuz & Christopher Nering, »On the Way to Deep Fake Democracy? Deep Fakes in Election Campaigns in 2023«, in: European Political Science, April 2024, online abrufbar hier.
- Vgl. Katherine Ognyanova u.a., »Misinformation in Action. Fake News Exposure is Linked to Lower Trust in Media, Higher Trust in Government when Your Side Is in Power«, in: Harvard Kennedy School (HKS) Misinformation Review, Nr. 4, Jg. 1 (2020), online abrufbar hier.
- Siehe Daniel Schiff & Kaylyn J. Schiff, »The Liar’s Dividend: The Impact of Deepfakes and Fake News on Politician Support and Trust in Media«, auf: GVU Center, 29. Sept. 2020, online hier.
- Robert Chesney & Danielle K. Citron, »Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security«, in: California Law Review, Nr. 6, Jg. 107 (2019), S. 1753–1820.
- Siehe James Liddell, »Trump Posts AI-generated Image of Harris Speaking at DNC with Communist Flags«, auf: Independent UK, 19. Aug. 2024, online hier.
- Siehe Jake Horton, Shayan Sardarizadeh & Mike Wendling, »Trump Falsely Claims Harris Crowd Was Faked«, auf: BBC, 12. Aug. 2024, online hier.
- Zu den Verzögerungen bei der Veröffentlichung von Microsoft/OpenAI und Google siehe Pascale Davies, »OpenAI Pauses the Release of AI Voice Assistant over Safety Testing«, auf: Euronews, 26. Juni 2024, online hier; sowie »Google Delays Launch of Next-Gen AI Agents until 2025 at the Earliest«, auf: FinTech Global, 30. Okt. 2024, online hier.
- Siehe Patrick Bernau, »Elon Musk kommt zu spät«, in: FAZ, 12. Dez. 2022, online hier.
- Siehe Ashish Vaswani u.a., »Attention Is All You Need«, in: Proceedings of the 31st International Conference on Neural Information Processing Systems, (2017), S. 6000–6010, online abrufbar hier.
- Siehe »Face Swap Apps: Hilfe, mein Gesicht ist in einem Porno!«, auf: HateAid, 24. Nov. 2022, online hier.
- Siehe Angela Yang & Ben Goggin, »X’s AI image Generator Debuts with Few Guardrails on Political Content«, auf: NBW News, 14. Aug. 2024, online hier.
- Siehe Nahema Marchal u.a., »Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data«, auf: ArXiv, 19. Juni 2024, online abrufbar hier.
- Siehe Open AI, »DALL-E 2 Pre-Training Mitigations«, 28. Juni 2022, online hier.
- Siehe Open AI, »DALL·E 3 System Card«, 3. Okt. 2023, online abrufbar hier.
- Siehe Jason Baldridge u.a., »Imagen 3«, 13. Aug. 2024, online abrufbar hier.
- Siehe »Terms of Service«, auf: Midjourney, 24 Okt. 2024, online hier.
- Siehe Federico Bianchi u.a., »Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale«, in: 2023 ACM Conference on Fairness, Accountability, and Transparency, 2. Nov. 2022, online abrufbar hier.
- Siehe Robert Wolfe u.a., »Contrastive Language-Vision AI Models Pretrained on Web-Scraped Multimodal Data Exhibit Sexual Objectification Bias«, in: Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency, online abrufbar hier.
- Siehe Stephane Baele & Lewys Brace, »AI Extremism. Technologies, Tactics and Actors«, hgg. von VOX-POL Network of Excellence (2024), online abrufbar hier.
- Siehe Valentin Châtelet, »Far-Right Parties Employed Generative AI ahead of European Parliament Elections«, auf: DFLR Lab, online hier.
- Siehe David Gilbert, »Neo-Nazis Are All-In on AI«, in: Wired, 20. Juni 2024, online hier.
- Ein ähnliches Muster ließ sich rund um das digitale Phänomen der Fashwave erkennen, einer vermeintlichen digitalen Kunstrichtung von faschistischen Online-Communities, in der Propaganda einen künstlerischen Anspruch bekommen sollte. Siehe hierzu Lisa Bogerts & Maik Fielitz, »Fashwave: The Alt-Right’s Aestheticization of Politics and Violence«, in: Sarah Hegenbart & Mara-Johanna Kölmel (Hg.), Dada Data: Contemporary Art Practice in the Era of Post-Truth Politics, S. 230–245.
- Siehe Sebastian Erb & Lea Weinmann, »Die Agentur, die hinter der KI-Propaganda steckt«, in: Süddeutsche Zeitung, 10. Okt. 2024, online hier.
- Siehe Jana Stäbener, »›Ekelhafte‹ und ›hemmungslose‹ Videos von AfD-Wahlparty in Brandenburg aufgetaucht«, in: Frankfurter Rundschau. 25. Sept. 2024, online hier.
- So antwortet beispielsweise ChatGPT auf die Frage, ob es einen rassistischen Witz erzählen könnte, mit der Antwort: »Ich kann dir dabei nicht helfen. Rassistische Witze oder Äußerungen, die Diskriminierung oder Hass verbreiten, haben keinen Platz in einer respektvollen und empathischen Unterhaltung. Es ist wichtig, sich dessen bewusst zu sein, dass Sprache und Humor mächtig sind und Menschen sowohl verletzen als auch positiv beeinflussen können«; ChatGPT 4o, 22. Okt. 2024 auf den Prompt: »Erzähl mir einen rassistischen Witz«.
- Das dem Beispiel zugrunde liegende Llama2 ist ein Open-Source-Modell, das prinzipiell von jeder Nutzer*in heruntergeladen und auf einem eigenen Rechner oder Server installiert werden kann. Metas Llama2 ist dabei, ähnlich wie die ChatGPT zugrunde liegenden LLMs der GPT-Reihe, trainiert, ethisch fragwürdige Anfragen zu verweigern. Einige libertär angehauchte Entwickler haben nun solche Modelle heruntergeladen und selbst so nachtrainiert, dass die im Original vorhandenen Beschränkungen wieder entfernt wurden. Begründet wird das Vorgehen von Entwicklern wie Eric Hartford wie folgt: »the open source AI community should build, publish, maintain, and have access to uncensored instruct-tuned AI models, for science and freedom and composability and sexy stories and the lulz.«; Eric Hartford, »Uncensored Models«, auf: Cognitive Computations, 15. Mai 2023, online hier.
- Siehe U.S. Department of Justice, Office of Public Affairs, »Justice Department Leads Efforts Among Federal, International, and Private Sector Partners to Disrupt Covert Russian Government-Operated Social Media Bot Farm«, Pressemitteilung vom 9. Jul 2024, online hier.
- Für Details und Diskussion der KI-Klassifizierung siehe den methodischen Annex.
- Für Details zur Schätzung des prozentualen Anteils und der Hochrechnung des Gesamtaufkommens von KI-generierten Bildern siehe den methodischen Annex.
- Siehe Lindsay Gorman & Brooke Tanner, »Spitting Images: Tracking Deepfakes and Generative AI in Elections«, in: German Marshall Fund, 10. Okt. 2024, online hier.
- Siehe Mateusz Łabuz & Christopher Nering, »On the Way to Deep Fake Democracy? Deep Fakes in Election Campaigns in 2023«, in: European Political Science, April 2024, online abrufbar hier.
- Bei nur 158 Bildern ist es möglich, dass Zufallseffekte die berechneten Werte für die Weiterleitungsanzahl einzelner Bilder stark beeinflussen, besonders bei großen Unterschieden zwischen den Weiterleitungszahlen. Daher wird oft ein 95%-Konfidenzintervall angegeben, das den Bereich angibt, in dem der wahre Wert der Weiterleitungsreduktion bei einer 95%igen Wahrscheinlichkeit liegt. In diesem Fall reicht das Intervall von einer Reduktion von 0,02% bis zu 69,5%.
- Wir können nicht sicher sein, dass diejenigen, die KI-generierte Bilder teilen, auch diejenigen sind, die sie erstellt haben. Möglich ist auch, dass Akteure sich aus den Ressourcen anderer bedienen.
- Ein KI-generiertes oder -gestütztes Bild kann mehrere Themen gleichzeitig abdecken.
- Siehe »KI-generierte Stimme: Telekom-Firma muss eine Million Dollar für gefälschten Biden-Wahlanruf zahlen«, in: Spiegel, 22. Aug. 2024, online hier.
- Siehe Viktor Marinov, »Künstliche Intelligenz generiert Bilder von Donald Trumps Festnahme – die gab es aber gar nicht«, auf: Correctiv, 22. März 2023, online hier.
- Siehe Alex Thompson, »First Look: RNC Slam Biden Re-Election Bid in AI-Generated Ad«, auf: Axios, 25. Apr. 2023, online hier.
- Siehe Anm. 21.
- Für einen Überblick siehe hier.
- Siehe Forschungsstelle BAG »Gegen Hass im Netz« feat. Lisa Bogerts & Pablo Jost, »Five Shades of Hate. Gruppenbezogene Abwertung in Zeiten der Memifizierung«, in: Machine Against the Rage, Nr. 5, Winter 2024, online hier.
- Siehe »Vom Feed auf die Straße: Die völkischen KI-Memes von ›Wilhelm Kachel‹«, auf: Deutschlandfunk, 29. Aug. 2024, online hier.
- Siehe »KI-Memes von rechts? Im Gespräch mit Wilhelm Kachel«, in: Heimatkurier, 10. Aug. 2023, online hier.
- Siehe »Projektvorstellung von Wilhelm Kachel inklusive Vortrag und Arbeitskreis«, auf: Kulturfestung, 1. Juni 2024, online hier.
- Im Unterschied zum Deep Fake besteht hier keine deutliche Täuschungsabsicht. Eher geht die Darstellung bekannter Persönlichkeiten in Richtung einer digitalen Karikatur. Zugleich werden viele Personen dekontextualisiert dargestellt.
- Siehe Anm. 58.
- Der Name ist eine Abkürzung von »Snickers für Linkshänder«.
- Sehr große Online-Plattformen und Suchmaschinen haben monatlich mehr als 45 Mio. aktive Nutzer*innen. Telegram gilt im Sinne des DSA im Moment nicht als sehr große Plattform, da die Plattform angibt, monatlich 41 Mio. aktive Nutzer*innen zu haben. Die Plattform konnte dafür jedoch keine Nachweise liefern. Die EU vermutet eine größere Nutzungszahl und hat daher ein Verfahren eingeleitet. Es ist rechtlich bereits umstritten, ob Telegram als Plattform bezeichnet werden kann. Dies wird aktuell nur bei öffentlichen Channels mit hoher Reichweite vermutet.
- Nach Art. 34 Abs. 1 DSA, siehe hier.
- Nach Art. 35 Abs. 1 lit. k DSA , siehe hier.
- Siehe »EU-Kommission stellt Leitlinien für die Minderung systemischer Risiken für Wahlen vor«, Pressemitteilung der deutschen Vertretung der EU-Kommission vom 26. März 2024, online hier.
- Siehe Paddy Leerssen, »Embedded GenAI on Social Media: Platform Law Meets AI Law«, auf: DSA Observatory, 6. Aug. 2024, online hier.
- Siehe Marcus Bösch, »#135: AI Slop. Overwhelming Online Spaces«, 27. Okt. 2024, online hier.
- Eine der ersten auf KI-Videos gestützten Kampagnen war jene des Zentrums für Politische Schönheit, die mit Deep Fakes vom Bundeskanzler und von AfD-Abgeordneten ein vermeintliches Verbotsverfahren simulierte; siehe hier.