Methodisches Vorgehen beim Monitoring (MATR Nr. 6)

1. Zur Genese der Telegram-Netzwerke

Das Monitoring der Forschungsstelle auf Telegram geht von einem akteursbasierten Ansatz aus. Das heißt, dass relevante digitale Sphären für demokratiefeindliche Kommunikation über eine Vorklassifizierung von identifizierbaren Akteuren eingegrenzt werden. Sie dienen als Startpunkte für die Sichtung breiterer Dynamiken und als Knotenpunkte für Protestmobilisierung. Ausgehend von einem Set von 269 qualitativ durch zwei Expert*innen klassifizierten Akteuren, die im öffentlichen Diskurs durch ihre Agitation Sichtbarkeit erhalten haben, wurden Charakteristika wie ideologische Ausrichtung auf Grundlage des Kommunikationsverhaltens und der bekannten Offline-Positionierungen der Akteure sowie Formen der Organisierung festgelegt, um das Feld zu sondieren. Zudem wurde die Verbindung zu breiteren Netzwerken markiert, bspw. im Falle von reichweitenstarken Accounts, die für breitere Bewegungen sprechen. Ausgehend von dieser manuellen Einordnung, die durch eine externe Expertise von Karolin Schwarz vorgenommen und von den Mitarbeitenden der Forschungsstelle geprüft worden ist, wurde ein automatisiertes, mehrstufiges Snowball-Sampling auf der Plattform Telegram durchgeführt.

1.a. Klassifizierung der Akteure

Aus dem Snowball-Sampling wurden für die Plattform Telegram 4.584 öffentlich kommunizierende Kanäle und Gruppen – im folgenden beides unter »Accounts« zusammengefasst – aufgenommen, die sich durch Weiterleitungen von plattforminternen Beiträgen in das Netzwerk einfügen. Bei Telegram haben Kanäle eine einseitige Richtung der Kommunikation (One-to-Many-Kommunikation), während in Gruppen sich jede mit jedem per Chat austauschen kann. Letztere sind in ihrer Ausrichtung divers, weswegen sie zur besseren Analyse ein weiteres Mal klassifiziert wurden, um eine Einordnung über die ideologische Ausrichtung und Verschiebung ihrer Positionierung im Diskurs treffen zu können. Hierzu wurden Accounts anhand ihrer Subscriber und Zentralität im Netzwerk sortiert und die ersten 1.400 auf ihr Kommunikationsverhalten geprüft. Hinzu kommen weitere Accounts, welche im journalistischen oder wissenschaftlichen Diskurs bereits behandelt wurden. Die qualitative Einordnung der Accounts in zuvor definierte Kategorien (s.u.) umfasste den Einblick in die letzten 20 Posts und die 20 zuletzt geteilten Links des Kanals und wurde durch das Fachwissen der Expert*innen der Forschungsstelle abgeglichen. Zudem wurden Kanäle, die sich in ihrer Selbstbeschreibung oder über die Nutzung einschlägiger Codes der Querdenken-Bewegung oder dem QAnon-Verschwörungskult zuordnen, in die jeweiligen Kategorien eingeordnet. Ähnliches gilt für Reichsbürger, die einen markanten Außenauftritt haben. Die Klassifizierung soll in der Zukunft weiter ausgebaut werden. Bezugnehmend auf bestehende Forschungsliteratur wurden in einer idealtypischen Klassifizierung die folgenden Ober- und Unterkategorien unterschieden:

Rechtsextremismus:

• Neonazismus: Dessen Anhänger*innen zeichnen sich durch einen positiven Bezug auf den Nationalsozialismus und ein rassistisch strukturiertes Weltbild aus. Viele Anhänger sind Teil von Subkulturen, in denen über Musik, Kampfsport und Hooliganismus ein Zugang zu neonazistischem Gedankengut geliefert wird.
• Reichsbürger: Eine Gruppe von Menschen, die davon ausgeht, dass das Deutsche Reich nie aufgelöst wurde und die immer noch bestehende legitime Herrschaftsform sei. Die bundesdeutsche Demokratie habe keine repräsentative Funktion, sei nicht souverän, sondern von fremden Mächten gesteuert.
• Extreme Rechte: Organisationaler Zusammenhang, der die liberale Demokratie abschaffen will. Ihre Ideologie beruht auf Ungleichwertigkeit und Autoritarismus.
• Neue Rechte: Ein strategisch denkender Kreis rechtsextremer Aktivist*innen, die über kulturelle Aktivitäten politische Macht aufbauen wollen. Ihre Wortführer*innen inszenieren sich als ideologische Vordenker*innen. Parteien und Bewegungen werden von ihren Vertreter*innen strategisch beraten.
• Populistische Rechte: Eine Sammelkategorie, in der islamfeindliche und rassistische Akteure mit einem rechten Weltbild eingeordnet werden. Es wird das ehrliche Volk gegen eine korrupte Elite gestellt. Das System soll aber demokratisch umgestürzt werden.

Konspirationismus:

• Verschwörungsideologie: Eine Oberkategorie für Akteure, die den Lauf der Geschichte durch eine Aneinanderreihung von Verschwörungen versteht, weshalb prinzipiell alles hinterfragt wird und ein schlichtes Freund-Feind Bild entsteht. Das Verschwörungsdenken übersetzt sich in politische Mobilisierung.
• Corona-Desinformation: Umfasst Akteure, die im Kontext der Corona Pandemie mit skeptischen oder leugnerischen Positionen in den öffentlichen Diskurs treten. Sie nutzen ihre öffentlichen Kanäle meist monothematisch.
• Esoterik: Eine weltanschauliche Strömung, die durch Heranziehung okkultistischer, anthroposophischer sowie metaphysischer Lehren und Praktiken auf die Selbsterkenntnis und Selbstverwirklichung des Menschen abzielt.
• QAnon: Meint einen verschwörungsideologischen Kult, der sich um falsche Behauptungen dreht, die von einer anonymen Person (bekannt als »Q«) aufgestellt wurden. Ihre Erzählung besagt, dass satanische, kannibalistische Eliten einen globalen Ring für systematischen Kindesmissbrauch betreiben. Entstanden während Trumps Präsidentschaft wird von einem tiefen Staat ausgegangen, der die Regierung kontrolliere.
• Querdenken: Mitglieder und Sympathisant*innen einer Bewegung, die sich im Kontext der Proteste gegen die Covid-19-Pandemie gegründet hat und Zweifel an der Rechtmäßigkeit der Maßnahmen zur Eindämmung mit einer radikalen Kritik an demokratischen Institutionen verbindet.
• Anti-Mainstream-Gruppen: Ohne klare Zielsetzung. Sie setzen ihre Akzente alternierend zu dem, was als stark grün geprägter Mainstream wahrgenommen wird, und haben sich oft aus Querdenken-Gruppen heraus entwickelt.

Sonstiges:

• Russischer Imperialismus: Insbesondere russische Akteure, die den Aufbau eines russischen Reichs propagieren und den Krieg in der Ukraine befürworten.
• Pro-russische Propaganda: Kanäle, die pro-russische Propaganda betreiben und einseitig über den Krieg in der Ukraine berichten.
• Prepper: Eine Gruppe Personen, die sich mittels individueller oder kollektiver Maßnahmen auf verschiedene Arten von Katastrophen vorbereiten und nicht selten Phantasien des Umsturzes pflegen.

Viele der identifizierten Kanäle lassen sich mehreren Kategorien zuordnen. So ist es nicht leicht, Verschwörungsideologien von rechtsextremen Netzwerken zu isolieren. Auch pflegen lokale Ausprägungen bestimmter Bewegungen unterschiedliche Bündnispolitiken oder nutzen bestimmte Affiliationen, um sich einem öffentlichen Stigma zu entziehen. Ausschlaggebend für die Klassifizierung war ein kumulatives Verfahren, wonach geprüft wurde, ob Akteure, die Verschwörungsmythen teilen, auch offensichtlich mit rechtsextremen Accounts verbunden sind. Ist dies der Fall, fällt die Entscheidung auf die extrem rechte Kategorie. Wenn allerdings bekannt ist, dass bspw. einzelne Influencer sich stärker ein eigenes verschwörungsideologisches Profil aufbauen, um sich von organisierten rechtsextremen Strukturen zu distanzieren oder eine bestimmte Verschwörungstheorie besonders prägnant ist, wird hier eine Unterkategorie des Konspirationismus gewählt. Um einen individuellen Bias zu reduzieren wurden die 269 Seed-Accounts von zwei Expert*innen gemeinsam kategorisiert. 145 Accounts wurden von der weiteren Auswertung ausgeschlossen, da sie nicht in das potenziell demokratiefeindliche Spektrum gehören.

Die Anzahl der Nachrichten pro Ideologie ist sehr heterogen. QAnon und andere Verschwörungsideologen senden sehr viel mehr Nachrichten als andere Ideologien.

Neben der Anzahl der Nachrichten ist es für die Interpretation der Datenauswertung interessant, welcher Anteil der Nachrichten sich auf wenige Kanäle konzentriert. Den Ideologien Prepper und Russischer Imperialismus sind nur wenige unserer Kanäle zuzuordnen, daher können auch nur begrenzt Aussagen für die Gruppen getroffen werden. Bei Reichsbürger, Neue Rechte, Pro-Russische Propaganda und Neonazismus werden über 80% der Nachrichten von den 10 Top-Kanälen gesendet. Die Dominanz dieser Akteure wird bei Datenauswertungen beachtet: zum Beispiel wird für ausgewählte Analysen der zusammengefasste Rechtsextremismusbereich betrachtet.

1.b. Analyse der Kommunikationsnetzwerke im Untersuchungszeitraum

Um die Kommunikationsnetzwerke auf Telegram im Untersuchungszeitraum, also von September 2023 bis November 2023, zu analysieren und die Interaktionen der jeweiligen Akteursgruppen darzustellen, haben wir ein cross-sektionales Chord-Diagram erstellt. Dieses zeigt das Weiterleitungsverhalten der oben genannten politische Milieus in absoluten Zahlen ohne Berücksichtigung endogener Effekte. Netzwerkknoten sind hier die jeweiligen Milieus aggregiert.

Darüber hinaus haben wir ein Netzwerkinstanz gebildet, um auch das Weiterleitungsverhalten auf Akteursebene darstellen und analysieren zu können. Die individuellen Akteure wurden nach ihrer Ideologie eingefärbt und Verbindungen stellen deren Weiterleitungen von Telegraminhalten dar. Akteure, die wir nicht klassifiziert haben, bzw. die für uns von nachgelagertem Interesse sind, sind anonymisiert und grau hinterlegt.

2. Zur Genese der Themenmodelle

2.a. Algorithmus

Zur Berechnung der Themen haben wir die latente Dirichlet-Zuordnung genutzt (LDA). Im Gegensatz zu komplexeren Methoden – wie in (5.) beschrieben – lässt sich diese Methode mit vertretbarem Aufwand für große Textmengen einsetzen und erhält daher den Vorzug für das allgemeine Themenmodell.

Der LDA berechnet zu einem gegeben Korpus und einer gewünschten Themenzahl k eine Wahrscheinlichkeitsverteilung für alle Wörter im Korpus für jedes der k Themen. Dafür wird jedes Dokument als eine Bag-of-Words betrachtet, bei dem ausschließlich das Vorkommen einzelner Wörter von Bedeutung ist, während die Wortreihenfolge und die Satzzusammenhänge für die Klassifikation von Themen keine Rolle spielen. Jedem Dokument wird die Eigenschaft zugeschrieben, aus mehreren latenten Themen zu bestehen. Ein Thema ist schließlich durch eine Wahrscheinlichkeitsverteilung von Wörtern definiert. 

Das prinzipielle Verfahren beginnt mit der zufälligen Zuweisung von jedem Wort im Korpus zu einem Thema. Danach folgt eine Schleife über alle Wörter in allen Dokumenten mit zwei Schritten: Mit der Annahme, dass alle anderen Wörter außer das aktuelle korrekt ihren Themen zugeordnet sind, wird die bedingte Wahrscheinlichkeit p(Thema t | Dokument d) berechnet: Welche Themen kommen im Dokument wahrscheinlich vor? Das zurzeit betrachtete Wort passt mit höherer Wahrscheinlichkeit zu diesen Themen. Also:

1. Berechnung der bedingten Wahrscheinlichkeit p(Wort w | Thema t): Wie stark ist die Zugehörigkeit des Wortes zu den Themen?
2. Aktualisieren der Wahrscheinlichkeit, dass ein Wort zu einem Thema gehört: p(Wort w ∩ Thema t) = p(Thema t | Dokument d) * p(Wort w | Thema t).

Durch mehrere Iterationen über alle Wörter im Dokument erreicht der Algorithmus eine stabile Konfiguration von Wortwahrscheinlichkeitsverteilungen für k Themen.

2.b. Datengrundlage und Preprocessing

In die Themenmodellberechnung sind alle Nachrichten der in Abschnitt 1.a genannten Kanäle eingegangen. Es erfolgte die Bearbeitung mit folgender Preprocessing-Pipeline:

1. Filtern der NA-Texte: Nachrichten, die nur aus Medien-Dateien bestehen, ohne weiteren Text zu enthalten, wurden in der Themenmodellierung nicht berücksichtigt.
2. Filterung auf den Zeitraum vom 1. März 2023 bis 31. Mai 2024.
3. Filter auf > 50 Zeichen: Eine erste Filterung auf die Mindestanzahl von Zeichen ist nötig, um eine Spracherkennung durchzuführen.
4. Filter auf deutschsprachige Nachrichten: Dafür wurde die Bibliothek Polyglot verwendet.¹
5. Preprocessing der Texte.
6. Entfernung der URLs mittels Regular Expressions.
7. Lemmatisierung, also die Reduktion der Wortform auf ihre Grundform, mit spaCy bei Verwendung der Pipeline de_core_news_lg.²
8. Entfernung von Stoppwort-Lemmata anhand verschiedener Stoppwortlisten.
9. Entfernung von Wörtern mit dem Vorkommen < 8.
10. Entfernung Sonderzeichen.
11. Filter auf 1-n Kanäle: Die Nachrichten innerhalb der Chatkanäle behandeln oft keine Themen im gewünschten Sinn und verschlechtern die Nutzbarkeit des Themenmodells. Die Texte werden dennoch später klassifiziert, um die Ergebnisse explorativ nutzen zu können.

2.c. Modellberechnung und Themenbestimmung

Für das Training des Modells haben wir das Python-Paket tomotopy genutzt.³ Der wichtigste Parameter beim Training des LDA ist die Anzahl der zu findenden Themen. Dieser Prozess ist mit einigen Freiheitsgraden behaftet, der schließlich auf einer Interpretationsleistung der Forschenden basiert. In der Regel werden Themenmodelle mit einer Reihe von verschiedenen Themenzahlen trainiert und für jedes Thema wird eine Themenkohärenz berechnet. Anhand dieser wird abgeschätzt, wie viele Themen in etwa genügen, um das Themenspektrum im Korpus abzudecken. In diesem Trendreport haben wir uns auf die gesammelte Erfahrung aus dem vorherigen Trendreport verlassen und erneut 120 Themen verwendet. Der vollständigkeitshalber wird die Herangehensweise im folgenden Paragraph erneut beschrieben.

Es wurden zwei gebräuchliche Metriken für die Modellkohärenz berechnet, welche im folgenden Graph zu sehen sind.⁴

Die Kurven der Koherence geben dem Anwender einen Anhaltspunkt für die Bestimmung der Modellgüte zur Hand, aus dem sich in diesem Fall keine eindeutige Empfehlung ableiten lässt.⁵ Prinzipiell ist es bei einer großen Menge von Daten möglich, die Anzahl der Themen relativ frei zu wählen, mit dem naheliegenden Trade-Off zwischen potentiell unspezifischen Themen bei einer kleinen Anzahl von k und spezifischen, aber teilweise redundanten Themen bei großer Anzahl von k. Wir haben uns für die große Themenanzahl k=120 entschieden, da somit eine große Anzahl der aus substantieller Sicht erwartbaren Themen Niederschlag im Modell finden.⁶

Allerdings benötigt die qualitative Einordnung der Themen dementsprechend viel Zeit. Für diese wurden im Vier-Augen-Prinzip die 25 Wörter mit höchster Wahrscheinlichkeit und die 25 Wörter mit auf gesamtwordhäufigkeit-normierter Wahrscheinlichkeit betrachtet. Erstere zeigen die generelle Beschaffenheit des Themas, wobei zweitere die spezifischen Wörter zeigen, welche die Abgrenzung zu anderen Themen deutlich machen.

Bei der Verwendung von einem LDA-Themenmodell gilt es zu beachten, dass der Algorithmus keine Möglichkeit hat, Dokumente oder Wörter auszuschließen. Das heißt, jedes Dokument bekommt Themen und jedes Wort wird Themen zugeordnet. Zwangsläufig entstehen auch Wortverteilungen, welche sich nicht einem Thema im herkömmlichen Sinne zuordnen lassen, wie beispielsweise das Thema Sprache_Zeitangaben (siehe Wordclouds). Eine weitere Schwierigkeit sind überlappende Themen wie die zehn Themen rund um den Ukraine-Russland-Konflikt. Hier ist es für eine aussagekräftige Interpretation essentiell, eine sinnvolle Einordnung der Themen vorzunehmen. Dafür haben wir in einem iterativen Prozess die Themen in acht Themenkomplexe und 32 Oberthemen aufgeteilt.

Die Entwicklung aller Themen wird in folgener Grafik gezeigt:

Für eine erste Einschätzung der Güte der Einteilung diente die Korrelationsmatrix zwischen den Wortwahrscheinlichkeiten der verschiedenen Themen. Die Achsen sind zur Übersichtlichkeit mit den Themenkomplexen gekennzeichnet. Jede Zeile zeigt die Korrelation für ein Thema mit allen anderen Themen. Ein weißer Punkt bedeutet vollständige Korrelation. Je dunkler der Punkt, umso weniger korrelieren die Themen. Es lassen sich Cluster von Themen erkennen, die uns bei der Einteilung als Stütze dienen können. Beispielsweise befindet sich etwa unten rechts auf der Diagonale das Thema Ukraine-Russland.

2.d. Validierung der Themen

Die Erkennung eines Themas in einem Dokument ist instabil für kürzere Dokumente.⁷ Zur Annäherung an eine Stabilitätseinschätzung in Abhängigkeit von der Dokumentenlänge führten wir folgende Untersuchung durch:

1. Auswahl eines zufälligen Samples von 25.000 Dokumenten mit einer Lemmata-Anzahl von über 100: Die Themenermittlung zu diesen Texten wird als korrekte Referenz gesehen, da der LDA für diese Textlänge sehr stabil ist.
2. Wir betrachten verschiedene Textlängen von n = 10 bis 100 in Zehnerschritten: Es werden für jedes Dokument n Lemmata aus der jeweiligen Ursprungsmenge gesampelt. Für die entstehende Wortmenge wird ein Thema inferiert, so dass eine neue Themenzuweisung für die 25.000 Dokumente entsteht. Für ein stabiles Themenmodell sollte diese Zuweisung möglichst nahe an der Referenz aus Schritt 1 liegen.
3. Zehnfache Wiederholung von Schritt 2 und Aggregation der Ergebnisse: Das resultierende Thema wird über den Modalwert ermittelt. Zusätzlich werden die Oberthemen und Themenkomplexe bestimmt, um zu sehen, ob das Thema in der weiter gefassten Definition noch erfasst wird. Schlussendlich wird die euklidische Distanz zwischen den Wortwahrscheinlichkeitsverteilungen des Referenzthemas und des gesampleten Themas ermittelt, welches als Abstandsmaß unabhängig von der Kategorisierung ist und daher verlässlicher.

Die Ellenbogenmethode legt nahe, dass die Anwendung des Modells für Texte ab der Lemmatalänge von 20 einen guten Trade-Off zwischen Dokumentenanzahl und dem zu erwartenden Fehler bei der Themenbestimmung kürzerer Texte darstellt. Bei den Themenkomplexen sind im Schnitt nur 16 Prozent Fehler bei dieser Dokumentenlänge zu erwarten. Vor dem Hintergrund, dass unsere Auswertung zumeist auf stark aggregierten Daten basiert, ist dieser Fehleranteil vertretbar.

Weiterhin interessant ist die Beobachtung, dass der Fehler selbst bei der gesampelten Dokumentenlänge von 100 bei zehn Prozent für die Hauptkategorien liegt. Dies verdeutlicht, dass selbst ausreichend lange Dokumente eine gewisse Unsicherheit in dem zugewiesenen Thema beinhalten. Indem die Anzahl der Fehlzuweisungen aggregiert und durch die Prävalenz geteilt wird, bekommen wir einen normierten Prozentfehler für die Kategorien.

Aggregiert ergeben sich für die Hauptkategorie folgende Fehlerprozente: Sonstiges 19,8%, Politik 11,5%, Weitere Themen 11,3%, Protestbewegung 10,5%, Weitere Themen 10,1%, Verschwörung 8,2%, Ukraine-Russland 6,9%, Corona 4,6% und Esoterik 3,3%. Der häufigste Fehler ist der Übergang von Sonstiges zu anderen oder umgekehrt. Dies ist ein nachvollziehbarer Fehler, da Sonstiges die Sprachmuster enthält und diese zu einem Teil in jedem Text vorzufinden sind. Insgesamt sind das gute Werte. Für die Interpretation sollte dennoch beachten werden, dass die Themen Politik und Protestbewegung im Vergleich zu inhaltlich klarer abgrenzbaren Themen eine höhere Fehlerquote mit sich tragen.

3. Zur Analyse im Fokus

3.a. Metadatenerhebung zur Sortierung der Links von Telegram auf YouTube

Für die Analyse der plattformübergreifenden Kommunikation zwischen Telegram und YouTube haben wir zunächst die kategorisierte Teilmenge unserer Telegram-Daten (1.876 Kanäle) mittels einer Regular Expression (REGEX) nach Domainnamen durchsucht. Unter anderem konnten wir so rund eine Million Telegram-Nachrichten herausfiltern, die nur auf YouTube verwiesen haben. In einem zweiten Schritt haben wir dann die Metadaten der rund 568.000 verlinkten Videos heruntergeladen. Diese Daten umfassten Video-Titel, URL und Video-Beschreibung. Ferner haben wir dann die Metadaten derjenigen Kanäle gesichert, die diese Videos produziert haben oder die direkt von Telegram aus verlinkt wurden. So kam eine Datenbank mit den Kanalnamen und den Kanal-Beschreibungen von rund 74.000 YouTube-Kanälen zustande. Die Videos und Kanäle deckten allerdings ein sehr breites Spektrum ab. So waren auch etliche Musikvideos und Inhalte verlinkt, die keinen genuin rechten oder verschwörungsideologischen Bezug hatten. Daher waren einige weitere Analyseschritte notwendig, um diejenigen Inhalte, die potentiellen Bezug auf unseren Untersuchungsgegenstand hatten, herauszufiltern.

3.b. Auflistung der einhundert meist geteilten YouTube-Videos auf Telegram

Um uns und den Leser*innen einen ersten Eindruck zu vermitteln, was für YouTube-Videos auf Telegram verlinkt werden, haben wir ein Netzwerk mit zwei Ebenen gebildet (eine enthält die verlinkenden Telegram-Kanäle, die andere die YouTube-Videos) und konnten so die 100 Videos herausrechnen, die von den meisten unterschiedlichen Telegram-Kanälen angesteuert wurden.

3.c. Identifikation von Parallelkanälen auf Telegram und YouTube

Da uns neben den Verlinkungsdynamiken zwischen den Plattformen auch die Agitation rechtsextremer und verschwörungsideologischer Akteure auf YouTube selbst interessiert, haben wir ein Sample an Parallelkanälen identifiziert. Das sind Kanäle, die von Akteuren betrieben werden, die sowohl Telegram als auch YouTube bespielen. Um diese ausfindig zu machen, haben wir ein weiteres bipartites Netzwerk gebildet (jetzt die verlinkenden Telegramkanäle auf der einen, die verlinkten YouTube-Kanäle auf der anderen Ebene). Die daraus resultierende Edge-Liste (also Liste mit Verbindungen) haben wir dann mit einem Similarity-Score augmentiert, der einen Wert für die Ähnlichkeit der Kanalnamen berechnet hat. Konkret haben wir dafür die sogenannte Jaro-Winkler-Distanz verwendet.⁸ Je ähnlicher die beiden Kanalnamen, desto höher der Score. Die rund 5.000 Verbindungen mit den höchsten Scores sowie diejenigen, die überproportional sind, sind wir manuell durchgegangen und konnten so rund 470 Parallelkanäle identifizieren. Praktischerweise konnten wir so gleich die Ideologie der daraus resultierenden YouTube-Kanäle bestimmen, da wir diese ja schon für die entsprechenden Telegram-Kanäle erarbeitet hatten.

Diese Parallelkanäle haben 77.770 Videos produziert, die gleichzeitig von unseren gemonitorten Akteuren auf Telegram verlinkt wurden. Von den entsprechenden Videos haben wir dann die Zeitstempel (also wann das Video auf YouTube hochgeladen wurde) sowie die, von YouTube generierten Transkripte heruntergeladen, um den Inhalt der Videos zu analysieren

Basierend auf den Transkripten war es uns möglich zu untersuchen, welche Themen innerhalb der YouTube-Videos besprochen werden. Dafür wurde das bestehende Themenmodell für Telegram-Nachrichten wiederverwendet (siehe Abschnitt 2 für Details). Auch wenn dies bedeutet, dass das Themenmodell nicht auf die Spezifika der YouTube-Transkripte optimiert ist, hat es den Vorteil, dass es neben der Ressourceneffizienz auch eine Vergleichbarkeit zwischen YouTube- und Telegram-Kommunikation herstellt. Neben der reinen Aufteilung nach Themen und Überthemen, haben wir entsprechend auch analysiert, welche Themen innerhalb der YouTube-Videos prozentual häufiger vorkommen als in den Telegram-Nachrichten.

In Bezug auf die YouTube-Transkripte sind noch zwei Spezifika für die Analyse von Relevanz. Erstens sind die Transkripte nur eine Approximation des Gesagten, weil Transkriptionsfehler gerade bei Eigennamen (aber nicht nur dort) regelmäßig vorkommen, so dass wir hier ein zusätzliches Rauschen in den Daten haben. Außerdem führt die unterschiedliche Kommunikationsform mit ihrer geringeren Kondensierung naturgemäß zu einem Mehr an Nutzung von Themen, welche nicht inhaltlicher Natur sind, sondern im Themenmodell unter der Kategorie »Sonstige« als sprachliche und rhetorische Themen subsummiert wurden. Das ist vor allem der unterschiedlichen Kommunikationsformen geschuldet: Während die Kommunikate auf Telegram relativ kurz sind und prägnant wenige Informationen enthalten, wird in den YouTube-Videos oft sehr lange über Themen gesprochen, weswegen bei letzterem sehr viel allgemeine Rhetorik als Beiwerk anfällt. Um wirklich eine inhaltsfokussierte Vergleichbarkeit herstellen zu können, haben wir uns daher entschieden, für den Vergleich zwischen YouTube und Telegram die Kategorie »Sonstige« rauszunehmen und die Frequenzen der anderen Kategorien entsprechend hochzunormieren.

3.d. Erfassen der dominanten Emotionalität der Videos

Da uns, neben den Themen der Video-Transkripte auch die Emotionalität, mit der diese vorgetragen wurden, interessiert hat, haben wir eine Sentimentanalyse über die Transkripte laufen lassen. Hierzu haben wir das »NRC Word-Emotion Association Lexicon« verwendet,⁹ da dieses, neben den generellen Sentiments, wie »positive« und »negative« auch weitere Emotionalitäten erfasst. Konkret sind das: »anger«, »anticipation«, »disgust«, »fear«, »joy«, »sadness«, »surprise« und »trust«.

Wie die beiden obigen Grafiken zeigen, sind »fear« und »sadness« die prädominanten Emotionalitäten – über alle Ideologien und den gesamten Zeitverlauf hinweg. Einschränkend muss hier allerdings erwähnt werden, dass eine Frequenzanalyse von Wörtern bei weitem nicht so präzise Resultate hervorbringt wie beispielsweise die Analyse mit einem Large Language Model (LLM), weil bei diesen der Satzkontext mit in die Analyse einfließt. Allerdings ist diese Herangehensweise wesentlich ressourcenschonender und weniger rechenintensiv und für eine kurze Einschätzung wie hier durchaus brauchbar.

3.e. Qualitatives Labelling der Videoformate

Um Einblicke in die verwendeten Videoformate zu bekommen, haben wir angelehnt an eine gängige Typologie des Video-Aktivismus in der Forschung¹⁰ weitere Formate für die von uns beobachteten Milieus abgeleitet und Charakteristika definiert. Hierbei sind wir induktiv vorgegangen und haben die Abgrenzbarkeiten der Formattypen stets anhand einer Test-Codierung weiterentwickelt.

In einem nächsten Schritt interessierte uns, auf welchen Kanälen welches Format dominant ausgestrahlt wird. Hierzu haben wir uns einen Überblick über alle 470 Kanäle verschafft, indem wir auf YouTube alle Videos aufriefen und durch die Vorschau bereits Einordnungen machen konnten. Zur Absicherung wurden dann repräsentative Videos kursorisch aufgerufen. Viele Accounts nutzen verschiedene der definierten Formate. Wir haben die dominanten, sekundären und tertiären Videoformate auf Grundlage der Häufigkeiten eingeordnet. Die Analyse haben wir auf die dominanten Formate beschränkt, um zu sehen, welche Ideologien mit welchen Formaten versuchen zu überzeugen.

3.f. Zur Genese der Kollaborationsnetzwerke

Wie kollaborieren die identifizierten 470 Akteure nun auf YouTube? Hierzu haben wir die Video-Podcasts und Interviews, die sie miteinander produzieren, näher beleuchtet. Um ihre 77.770 Videos dahingehend zu analysieren, haben wir das Large Language Model LLAMA 3 8b von Meta benutzt um anhand der Video-Titel und Video-Beschreibungen etwaige Podcast oder Interviewsituationen mit aktiver Partizipation der Kanalbetreiber*innen herauszufiltern. Da das LLM logischerweise nicht genug Kontext-Informationen zu diesem Untersuchungsgegenstand hat, haben wir es mit den Kanal-Beschreibungen der 74.000 Kanäle optimiert, die wir im ersten Schritt (siehe 3.a.) extrahiert haben. Mit dieser sogenannten Retrieval-Augmented-Generation konnten wir so einen eigenen Chatbot auf einem lokalen Rechner installieren, der sich in dem, für uns interessanten YouTube-Kosmos gut genug auskennt, um durch die Videos zu gehen und die besagten Interview- und Video-Podcast-Situationen zu erkennen und gleichzeitig deren Gäste sowie deren Affiliation mit eigenen YouTube-Kanälen herauszuarbeiten. Diese Informationen hat das LLM dann direkt in ein sauberes und maschinenlesbares Format, ohne den üblichen Erklärtext exportiert.

Die so vorgefilterten Kollaborationsdaten haben wir dann manuell überprüft und False-Positives herausgenommen. Aus der Datenbank mit 3.800 Video-Podcasts und Interviews, nebst Gästen, konnten wir dann ein Netzwerk generieren, das die Kollaboration der 470 Parallelkanäle mit externen Gästen und untereinander zeigt. Um die Kollaboration der 470 Parallelkanäle untereinander zu analysieren, haben wir ein zweites Netzwerk erstellt, aus dem wir alle externen Gäste entfernt haben.

3.g. Analyse des Moderationsverhaltens von YouTube

Schließlich war es für uns interessant, welchen Content wir nicht mehr auf YouTube auffinden konnten – also welche Videos auf die Telegram-Akteure verwiesen hatten, aber von YouTube gelöscht wurden. Beim Sichern der auf Telegram verlinkten YouTube-Videos fiel uns auf, dass der Scraper unterschiedliche Fehlermeldungen generierte, wenn das Video nicht mehr auf der Plattform verfügbar war. Zum einen waren das Videos, die offline waren oder YouTube aufgrund von Urheberrechtsverletzungen von der Plattform entfernt wurden, z.B. wenn Teile von Nachrichtensendungen in die Videos geschnitten wurden oder anderes urheberrechtlich geschütztes Material unrechtmäßig verwendet wurde. Das traf auf 108.000 Videos zu. 4.600 Videos wurden von YouTube wegen Verstößen gegen die Community Guidelines entfernt. Um einen ersten Eindruck über dieses Löschverhalten zu bekommen, haben wir die Zeitpunkte genommen, an denen von Telegram aus auf die Videos verlinkt wurde. So konnten wir sehen, dass Videos mit Verstößen gegen die Community Guidelines vor allem während der Corona-Proteste verlinkt wurden. Um abschätzen zu können, um was es in den Videos ging, haben wir zudem das Themenmodell, welches für den Radar trainiert wurde, zusätzlich über die Telegram-Nachrichten laufen lassen, die auf diese Videos verwiesen haben. Auf diese Weise konnten wir im Vergleich zu den Themen sonstiger Nachrichten auf Telegram feststellen, ob es einen gewissen Schwerpunkt bei den gelöschten Videos zu geben scheint. Letzteren Umweg mussten wir gehen, da wir auf YouTube logischerweise keine Informationen zu diesen gelöschten Inhalten bekommen konnten.

4. Zur Analyse im Blitzlicht

4.a. Die TikTok-Daten zu Sylt

Unter Nutzung der Research-API von Tiktok wurden die Metadaten von insgesamt 54.015 Videos heruntergeladen, welche ab September 2023 bis Juli 2024 unter den Hashtags #sylt (18.493 Videos), #lamourtoujours (2.116 Videos), sowie unter Verwendung der Musik-ID des Liedes L’amour toujours von Gigi D’Agostino und weiteren Remixes (42.848 Videos) veröffentlicht wurden. Einschränkend wurden nur die Daten von Videos mit dem Ländercode für Deutschland geladen. Insgesamt zeigte sich, dass ein Großteil der Videos (46.203) erst nach dem Vorfall auf Sylt veröffentlicht wurde. Diese Teilmenge wurde einer Netzwerkanalyse auf Grundlage der verwendeten Hashtags unterzogen.

4.b. Genese des Hashtag-Netzwerks

Den groben Inhalt des Hashtags #Sylt wiederzugeben, haben wir Top 100 Hashtags untersucht. Diese haben wir mit dem R-Paket quanteda¹¹ aus den Daten extrahiert und in Verbindung gesetzt, sobald sie unter dem gleichen TikTok-Video verwendet werden. Die Dicke der Verbindungen stellt die Häufigkeit dieser Kookkurrenz dar. Da auf TikTok viel mit algorithmischen Hashtags gearbeitet wird, haben wir diese manuell aus dem Netzwerk herausgefiltert. Beispielhaft seien hier folgende genannt: „#fyp“, „#foryou“, „#viral“, „#foryoupage“, „#parati“, „#tiktok“, „#capcut“, „#trending“, „#funny“,“#viraltiktok“, „#fyppppppppppppppppppppppp“. Daher verblieben schlussendlich noch 67 der 100 meistverwendeten Hashtags im Netzwerk. Über das verbleibende Hashtag-Netzwerk haben wir den Louvain Community Detection-Algorithmus laufen lassen,¹² um so in dem sehr dichten Netzwerk Hashtag-Cluster zu identifizieren. Diese Cluster haben wir nach qualitativer Prüfung der Daten manuell benannt.