Methodisches Vorgehen beim Monitoring (MATR Nr. 0)

1. Zur Genese der Netzwerke

Das Monitoring der Forschungsstelle geht von einem akteursbasierten Ansatz aus. Das heißt, dass relevante digitale Sphären für demokratiefeindliche Kommunikation über eine Vorklassifizierung von identifizierbaren Akteuren eingegrenzt werden. Sie gelten als Startpunkte für die Sichtung breiterer Dynamiken und als Knotenpunkte für Protestmobilisierungen. Ausgehend von einem Set von 269 qualitativ klassifizierten Akteuren, die im öffentlichen Diskurs durch ihre Agitation Sichtbarkeit erhalten haben, wurden Charakteristika wie ideologische Ausrichtung auf Grundlage des Kommunikationsverhaltens und der bekannten Offline-Positionierungen der Akteure sowie Formen der Organisierung festgelegt, um das Feld grob zu ordnen. Zudem wurde die Verbindung zu breiteren Netzwerken markiert, bspw. im Falle von reichweitenstarken Accounts, die für breitere Bewegungen sprechen. Ausgehend von dieser manuellen Einordnung, die durch eine externe Expertise von Karolin Schwarz vorgenommen und von den Mitarbeitenden der Forschungsstelle geprüft worden ist, wurde ein automatisiertes, mehrstufiges Snowball-Sampling auf der Plattform Telegram durchgeführt.

1.a. Klassifizierung der Akteure

Aus dem Snowball-Sampling wurden für die Plattform Telegram 2026 öffentlich kommunizierende Kanäle und Gruppen aufgenommen, die sich durch Weiterleitungen von plattforminternen Beiträgen in das Netzwerk einfügen. Kanäle bei Telegram haben eine einseitige Richtung der Kommunikation (One-to-Many-Kommunikation), während in Gruppen sich jede mit jedem per Chat austauschen kann. Diese sind in ihrer Ausrichtung divers, weswegen sie zur besseren Analyse ein weiteres Mal klassifiziert werden mussten, um eine Einordnung über die ideologische Ausrichtung und Verschiebung ihrer Positionierung im Diskurs treffen zu können. Hierzu wurden zunächst alle Accounts mit mehr als 15.000 Abonnent*innen (413) sowie weitere 87 kleinere, der Expertin bekannte Accounts auf ihr Kommunikationsverhalten geprüft. Die qualitative Einordnung der Accounts in zuvor definierte Kategorien (s.u.) umfasste den Einblick in die letzten 20 Posts und die 20 zuletzt geteilten Links des Kanals und wurde durch das Fachwissen der Experten der Forschungsstelle abgeglichen. Zudem wurden Kanäle, die sich in ihrer Selbstbeschreibung der Querdenken-Bewegung oder QAnon-Bewegung zuordnen, in die jeweiligen Kategorien eingeordnet. Die Klassifizierung wird in der Zukunft weiter ausgebaut.

Bezugnehmend auf Forschungsliteratur wurden in einer idealtypischen Klassifizierung die folgenden Ober- und Unterkategorien unterschieden:

Rechtsextremismus:

• Neonazismus: Dessen Anhänger*innen zeichnen sich durch einen positiven Bezug auf den Nationalsozialismus und ein rassistisch strukturiertes Weltbild aus. Viele Anhänger sind Teil von Subkulturen, in denen über Musik, Kampfsport und Hooliganismus ein Zugang zu neonazistischem Gedankengut geliefert wird.
• Reichsbürger: Eine Gruppe von Menschen, die davon ausgeht, dass das Deutsche Reich nie aufgelöst wurde und die immer noch bestehende legitime Herrschaftsform sei. Die bundesdeutsche Demokratie habe keine repräsentative Funktion, sei nicht souverän, sondern von fremden Mächten gesteuert.
• Extreme Rechte: Organisationaler Zusammenhang, der die liberale Demokratie abschaffen will. Ihre Ideologie beruht auf Ungleichwertigkeit und Autoritarismus.
• Neue Rechte: Ein strategisch denkender Kreis rechtsextremer Aktivist*innen, die über kulturelle Aktivitäten politische Macht aufbauen wollen. Ihre Wortführer*innen sind breit anerkannt als ideologische Vordenker*innen. Parteien und Bewegungen werden von ihren Vertreter*innen strategisch beraten.
• Populistische Rechte: Eine Sammelkategorie, in der islamfeindliche und rassistische Akteure mit einem rechten Weltbild eingeordnet werden. Es wird das ehrliche Volk gegen eine korrupte Elite gestellt. Das System solle aber demokratisch umgestürzt werden.

Konspizismus 

• Verschwörungsideologie: Eine Oberkategorie für Akteure, die den Lauf der Geschichte durch eine Aneinanderreihung von Verschwörungen versteht, weshalb prinzipiell alles hinterfragt wird und ein schlichtes Freund-Feind Bild entsteht. Das Verschwörungsdenken übersetzt sich in politische Mobilisierung.
• Corona-Desinformation: Umfasst Akteure, die im Kontext der Corona Pandemie mit skeptischen oder leugnerischen Positionen in den öffentlichen Diskurs treten. Sie nutzen ihre öffentlichen Kanäle meist monothematisch.
• Esoterik: Eine weltanschauliche Strömung, die durch Heranziehung okkultistischer, anthroposophischer sowie metaphysischer Lehren und Praktiken auf die Selbsterkenntnis und Selbstverwirklichung des Menschen abzielt.
• QAnon: Meint einen verschwörungsideologischen Kult, der sich um falsche Behauptungen dreht, die von einer anonymen Person (bekannt als „Q“) aufgestellt wurden. Ihre Erzählung besagt, dass eine Kabale satanischer, kannibalistischer sexueller Kinderschänder, die einen globalen Ring für Kindersexhandel betreiben, sich gegen den ehemaligen US-Präsidenten Donald Trump während seiner Amtszeit verschworen habe.
• Querdenken: Mitglieder und Sympathisant*innen einer Bewegung, die sich im Kontext der Proteste gegen die Covid-19-Pandemie gegründet hat und die Rechtmäßigkeit der Maßnahmen zur Eindämmung mit einer radikalen Kritik an demokratischen Institutionen verbindet.

Sonstiges

• Russischer Imperialismus: Insbesondere russische Akteure, die den Aufbau eines russischen Reichs propagieren und den Krieg in der Ukraine befürworten.
• Pro-russische Propaganda: Kanäle, die pro-russische Propaganda betreiben und einseitig über den Krieg in der Ukraine berichten.
• Prepper: Eine Gruppe Personen, die sich mittels individueller oder kollektiver Maßnahmen auf verschiedene Arten von Katastrophen vorbereiten und nicht selten Phantasien des Umsturzes pflegen.

Viele der identifizierten Kanäle lassen sich mehreren Kategorien zuordnen. So ist es nicht leicht, Verschwörungsideologien von rechtsextremen Netzwerken zu isolieren. Auch pflegen lokale Ausprägungen bestimmter Bewegungen unterschiedliche Bündnispolitiken oder nutzen bestimmte Affiliationen, um sich einem öffentlichen Stigma zu entziehen. Ausschlaggebend für die Klassifizierung war ein kumulatives Verfahren, wonach geprüft wurde, ob Akteure, die Verschwörungsmythen teilen, auch offensichtlich mit rechtsextremen Accounts verbunden sind. Ist dies der Fall, fällt die Entscheidung auf die rechtsextreme Kategorie. Wenn allerdings bekannt ist, dass bspw. einzelne Influencer sich stärker ein eigenes verschwörungsideologisches Profil aufbauen, um sich von organisierten rechtsextremen Strukturen zu distanzieren oder eine bestimmte Verschwörungstheorie besonders prägnant ist, wird hier die Unterkategorie des Konspizismus gewählt. Um einen individuellen Bias zu reduzieren wurden die 269 Seed-Accounts von zwei Expert*innen gemeinsam kategorisiert.

1.b. Analyse der Kommunikationsnetzwerke zu Beginn des Ukraine-Krieges

Um die Veränderung in den Kommunikationsnetzwerken zu Beginn des Ukraine-Krieges am 24. Februar 2022 zu analysieren und dessen Auswirkungen auf die Interaktionen der jeweiligen Akteursgruppen abzuschätzen, haben wir zwei Netzwerke verglichen. Das erste Netzwerk bildet den Querschnitt der Kommunikation, gemessen mittels Weiterleitungen von Nachrichten auf Telegram, im Februar (also vor Beginn des Krieges), das andere die Kommunikation im März ab. Da uns hier vor allem der Einfluss der Ideologie auf das Interaktionverhalten der jeweiligen Akteure interessiert, haben wir die Analyse auf die 663 Kanäle beschränkt, deren Ideologie wir klassifiziert haben. Von ihnen haben sich allerdings nicht alle an der Kommunikation beteiligt. Aktiv haben von ihnen im Februar/März letztendlich 589 Telegramkanäle Nachrichten untereinander geteilt. Um die schiere Anzahl an möglichen Kombinationen von Weiterleitungen zwischen den Ideologien zu reduzieren, haben wir für die Netzwerkstatistik Neonazis, die extreme Rechte, die populistische Rechte, die Neue Rechte sowie die populistische Rechte und Reichsbürger in die Kategorie »Rechtsextreme« subsummiert. Darüber hinaus haben wir pro-russische Propagandakanäle und russische Imperialist*innen zusammengefasst und QAnon-Kanäle den Verschwörungsideolog*innen zugeordnet.

Für die Analyse haben wir uns für den Ansatz der Separable Temporal Exponential Random Graph Models (STERGM) entschieden, da diese sehr gut Interaktionseffekte im Zeitverlauf modellieren und gleichzeitig endogene Effekte einbeziehen können. Sie sind im Prinzip zwei separate Exponential Random Graph Models (ERGM): Eines erklärt die Neuformierung von Netzwerkverbindungen in einem Zeitschritt, das andere das Bestehenbleiben bzw. die Auflösung von Verbindungen. Nachfolgend werden ERGM kurz erläutert.

ERGM modellieren die Wahrscheinlichkeit eines Netzwerks und die Maße von Netzwerkmerkmalen, wie Clustering, Homophilie oder die endogenen und exogenen Parameter, die wir später in diesem Abschnitt spezifizieren werden.¹ Sie sind auch in der Lage, die Auswirkungen von Kovariaten auf den Status von Beziehungen und gleichzeitig die Bedeutung und den Stellenwert struktureller Abhängigkeiten zu modellieren. Letzteres unterscheidet sie von der herkömmlichen Regression.²

ERGM modellieren ein Netzwerk, indem sie ihre Zusammensetzung aus endogenen lokalen Strukturen beschreiben, aber auch wie die Struktur zusätzlich durch exogene Kovariaten mitbestimmt wird. Bei den exogenen Kovariaten handelt es sich etwa um Knotenattribute, die die Bindungswahrscheinlichkeit einer verbundenen Dyade erhöhen oder verringern.³ In unserem Fall ist das die Ideologie der Akteure. Hier könnte z.B. davon ausgegangen werden, dass zwei Akteur*innen mit der gleichen Ideologie eher miteinander interagieren als zufällige Paare. Bevor die endogenen und exogenen Modellterme spezifiziert werden, wird die grundlegende Funktion einer ERGM kurz beschrieben. Die ERGM-Formel⁴ kann wie folgt ausgedrückt werden:

\(\)\[\Pr\left( \boldsymbol{Y} = \boldsymbol{y}\ |\ \boldsymbol{X} \right) = \ \frac{\exp\left\lbrack \mathbf{\boldsymbol{{\theta}}‘ \text{g}}\left( \boldsymbol{y},\ \boldsymbol{X} \right) \right\rbrack}{\kappa\left( \boldsymbol{\theta},\boldsymbol{X},\boldsymbol{\mathcal{Y}} \right)}\]

• \(\boldsymbol{Y} \subseteq {\lbrack 1,\ \ldots,\ n\rbrack}^{2}\) ist die Menge der potenziellen Dyaden zwischen \(n\)-Knoten. Knoten sind in diesem Fall, wie oben eingeführt, Telegram-Kanäle.

• Das Netzwerk \(y\) wird durch ein Set von Verknüpfungen dargestellt. Dabei handelt es sich um Weiterleitungen von Inhalten der Telegram-Kanäle. 

• Die Menge der möglichen Sets von Verbindungen, \(\boldsymbol{Y} \subseteq 2^{\boldsymbol{Y}}\), ist der Stichprobenraum, also \(\boldsymbol{y} \in \ \boldsymbol{Y}\). 

• \(\boldsymbol{X}\) ist ein Array von Kovariaten, das Attribute von Knoten und/oder Dyaden enthält. Dabei handelt es sich z.B. um die Ideologie des Akteurs, wie »Querdenken«, »Verschwörungsideologie« oder »Rechtsextremismus«. 

• \(\mathbf{g}(\boldsymbol{y},\ \boldsymbol{X})\) stellt einen Vektor der Netzwerkstatistiken mit einem Vektor von Koeffizienten, \(\boldsymbol{\theta}\), für diese Statistiken dar, und die Normalisierungskonstante \(\kappa\left( \boldsymbol{\theta},\boldsymbol{X},\boldsymbol{\mathcal{Y}} \right) = \ \sum_{\boldsymbol{y} \in \ \boldsymbol{\mathcal{Y}}}{exp\left\lbrack \mathbf{ \boldsymbol{\theta}‘ \text{g}}\left( \boldsymbol{y},\boldsymbol{X} \right) \right\rbrack}\) ist die Summe über den Raum der möglichen Netzwerke \((\boldsymbol{Y})\) auf n-Knoten.

Wie oben beschrieben, wurde das Kommunikationsnetzwerk in Zeitabschnitte bzw. wiederholte Netzwerkquerschnitte über die Zeit zerlegt. Dies ermöglicht es, das gesamte Netzwerk zu diesen Zeitpunkten zu betrachten und die dynamischen Netzwerkprozesse auf derselben Knotenmenge zu modellieren. Dazu werden die einzelnen Zeitscheiben mittels bedingter Maximum-Likelihood-Schätzung mit ihren Vorgängern verglichen.⁵ So können wir abschätzen, welche Verbindungen unter den Akteuren mit Beginn des Ukraine-Krieges bestehen bleiben, welche sich auflösen und welche sich mit einer bestimmten Wahrscheinlichkeit neu formen. Wir können somit untersuchen, ob sich die Kommunikationsbeziehungen zwischen Querdenker*innen, Verschwörungsideolog*innen und Rechtextremen neu ordnen. Diese temporale und durch getrennte Modelle für Neubildung und Bestehenbleiben von Verbindungen ausgerichtete Form der ERGMs sind die sog. Separable Temporal Exponential Random Graph Models (STERGM).

Um diese dynamischen Prozesse zu analysieren, schätzen wir die Auswirkungen endogener und exogener Modellterme auf die Bildung von Verbindungen zwischen den beiden oben beschriebenen Zeitabschnitten um den Beginn des Ukraine-Krieges. Für unseren Fall ist die Bildungsdynamik von Verbindungen interessant, da die Akteure im Zuge der neuen politischen und diskursiven Gemengelage sicher neue Verbindungen eingehen, indem sie Nachrichten von bestimmten Akteuren teilen.

Die Formel der Bildung von Verbindungen, bedingt durch das bloße Hinzufügen von Verbindungen, kann wie folgt ausgedrückt werden:

\[\Pr\left( \boldsymbol{Y}^{+} = \boldsymbol{y}^{+}\ |\ \boldsymbol{Y}^{t};\ \boldsymbol\theta^{+} \right) = \ \frac{\exp\left\lbrack \mathbf{\boldsymbol{\theta}‘}^{+}\mathbf{g}^{+}\left( \boldsymbol{y}^{+},\ \boldsymbol{X} \right) \right\rbrack}{\kappa\left( \mathbf{\boldsymbol{\theta}}^{+},\boldsymbol{X},\boldsymbol{\mathcal{Y}}^{+}\left( \boldsymbol{Y}^{t} \right) \right)}\]

• Bei gegebenem \(\boldsymbol{y}^{t}\) wird ein Bildungsnetzwerk \(\boldsymbol{Y}^{t}\) aus einem ERGM mit Bildungsparametern \(\boldsymbol{\theta}^{+}\) der Bildungsstatistik \(\mathbf{g}^{+}\left( \boldsymbol{y}^{+},\ \boldsymbol{X} \right)\) und \(\boldsymbol{y}^{+}{\in \boldsymbol{Y}}^{+}\left( \boldsymbol{y}^{t} \right)\) generiert.⁶

Hierzu analog die Formel für das Bestehenbleiben bzw. die Auflösung von Verbindungen, mit entsprechendem Vektor \(\boldsymbol{\theta}^{-}\) und Auflösungsstatistik \(\mathbf{g}^{-}\left( \boldsymbol{y}^{-},\ \boldsymbol{X} \right)\) und \(\boldsymbol{y}^{-}{\in \boldsymbol{Y}}^{-}\left( \boldsymbol{y}^{t} \right)\):

\[\Pr\left( \boldsymbol{Y}^{-} = \boldsymbol{y}^{-}\ |\ \boldsymbol{Y}^{t};\ \boldsymbol\theta^{-} \right) = \ \frac{\exp\left\lbrack \mathbf{\boldsymbol{\theta}‘}^{-}\mathbf{g}^{-}\left( \boldsymbol{y}^{-},\ \boldsymbol{X} \right) \right\rbrack}{\kappa\left( \mathbf{\boldsymbol{\theta}}^{-},\boldsymbol{X},\boldsymbol{\mathcal{Y}}^{-}\left( \boldsymbol{Y}^{t} \right) \right)}\]

Dieser zweite Schritt ist wichtig, um zu schätzen, welche bereits bestehenden Kommunikationsverbindungen zwischen den Akteuren bestehen bleiben und welche sich auflösen. Lösen sich also bspw. die Verbindungen zwischen Rechtsextremen und Querdenker*innen eher auf, da sie nun unterschiedliche Themenschwerpunkte setzen? Oder bleiben sie eher bestehen?

In der folgenden Tabelle werden die endogenen und exogenen Netzwerkkonfigurationen vorgestellt und erläutert, die zur Modellierung der STERGM verwendet wurden.

Wie oben beschrieben, simulieren die endogenen Modellterme die strukturellen Effekte des Netzwerks, während die exogenen Modellterme die Akteursbeziehungseffekte analysieren, die wir messen wollen. Zur Modellierung der endogenen Struktur des Kommunikationsnetzwerks und seiner Entwicklung wurden mehrere Struktureffekte einbezogen. Der Edges-Term berücksichtigt die Netzwerkdichte und die beiden Curved Geometrically Weighted Degree-Terme modellieren die Zentralisierung von Akteuren hinsichtlich ihres Outdegrees und ihres Indegrees, also wie oft sie als Quellen für Weiterleitungen herangezogen werden bzw. von wie vielen anderen Akteuren/Kanälen sie selbst weiterleiten.⁷ Isolates modellieren schlicht Akteure, die in einem der beiden Netzwerke inaktiv sind, sich also aus bestimmten Gründen nicht an der kollektiven Interaktion beteiligen und einfach nicht geteilt werden. Der Term für Reziprozität modelliert die Erwiderung einer Interaktion durch die gleiche Handlung, oder in unserem Fall das Teilen von Inhalten. Die Geometrically Weighted Edgewise Shared Partner Distribution modelliert das Verhalten, dass Knoten Nachrichten von Akteuren weiterleiten, wenn dies andere Akteure, mit denen sie bereits interagieren, auch tun.

Diese Studie verwendet lediglich eine exogene Konfiguration – den sog. Nodemix. Hierdurch wird Interaktionsverhalten aufgrund eines bestimmten Attributes (hier die Ideologie) gemessen. Dabei werden sowohl unterschiedliche Ideologien als auch dieselbe berücksichtigt, wodurch der Term gleichzeitig homophiles und heterophiles Verhalten misst; bspw. ob Verschwörungsideolog*innen von Rechtsextremen weiterleiten oder Rechtsextreme v.a. mit Rechtsextremen interagieren, also eher unter sich bleiben. Dadurch, dass das Netzwerk gerichtet ist, die Verbindungen demnach eine spezifische Richtung von Quelle zu Weiterleitendem haben, gibt es für jedes potentielle Ideologie-Paar zwei entsprechende Statistiken. Einige Kombinationen mussten aufgrund geringer Fallzahlen aus dem Modell entfernt werden. Das betraf bspw. einige Kombinationen mit Reichsbürgern, da hier nur fünf im Sample waren und nicht von allen anderen Ideologien geteilt wurden.

Für die Schätzung der statistischen Modelle wurde das tergm-Paket⁸ von statnet⁹ in R verwendet. Die signifikanten Ergebnisse in der obigen Tabelle werden im Radar dargelegt, weswegen für die Ergebnisdiskussion dorthin verwiesen sei. Um wiederum die Güte der einzelnen Modelle zu beurteilen, wurden verschiedene Diagnosen durchgeführt, um sicherzustellen, dass die endogenen Netzwerkeigenschaften der Modelle mit denen des beobachteten Kommunikationsnetzwerks übereinstimmen.

2. Zur Genese der Themenmodelle

2.a. Algorithmus

Zur Berechnung der Themen haben wir die latente Dirichlet-Zuordnung genutzt (LDA). Diese berechnet zu einem gegeben Korpus und einer gewünschten Themenzahl k eine Wahrscheinlichkeitsverteilung für alle Wörter im Korpus für jedes der k Themen. Dafür wird jedes Dokument als eine Bag-of-Words betrachtet, bei dem ausschließlich das Vorkommen einzelner Wörter von Bedeutung ist, während die Wortreihenfolge und die Satzzusammenhänge für die Klassifikation von Themen keine Rolle spielen. Jedem Dokument wird die Eigenschaft zugeschrieben, aus mehreren latenten Themen zu bestehen. Ein Thema ist schließlich durch eine Wahrscheinlichkeitsverteilung von Wörtern definiert.

Das prinzipielle Verfahren beginnt mit der zufälligen Zuweisung von jedem Wort im Korpus zu einem Thema. Danach folgt eine Schleife über alle Wörter in allen Dokumenten mit zwei Schritten:

1. Mit der Annahme, dass alle anderen Wörter außer das aktuelle korrekt ihren Themen zugeordnet sind, wird die bedingte Wahrscheinlichkeit p(Thema t | Dokument d) berechnet: Welche Themen kommen im Dokument wahrscheinlich vor? Das zurzeit betrachtete Wort passt mit höherer Wahrscheinlichkeit zu diesen Themen.
2. Berechnung der bedingten Wahrscheinlichkeit p(Wort w | Thema t): Wie stark ist die Zugehörigkeit des Wortes zu den Themen?
3. Aktualisieren der Wahrscheinlichkeit, dass ein Wort zu einem Thema gehört: p(Wort w ∩ Thema t) = p(Thema t | Dokument d) * p(Wort w | Thema t).

Durch mehrere Iterationen über alle Wörter im Dokument erreicht der Algorithmus eine stabile Konfiguration von Wortwahrscheinlichkeitsverteilungen für k Themen.

2.b. Datengrundlage und Preprocessing

In die Themenmodellberechnung sind alle Nachrichten der in Abschnitt 1.a genannten Kanäle im Zeitraum vom 1. Juli bis zum 22. August 2022 eingegangen. Es erfolgte die Bearbeitung mit folgender Preprocessing-Pipeline:

1. Filtern der NA-Texte: Nachrichten, die nur aus Medien-Dateien bestehen, ohne weiteren Text zu enthalten, wurden in der Themenmodellierung nicht berücksichtigt.
2. Filter auf > 50 Zeichen: Eine erste Filterung auf die Mindestanzahl von Zeichen ist nötig, um eine Spracherkennung durchzuführen.
3. Filter auf deutschsprachige Nachrichten: Dafür wurde die Bibliothek Polyglot verwendet.¹⁰
4. Filter auf 1-n Kanäle: Die Nachrichten innerhalb der Chatkanäle behandeln oft keine Themen im gewünschten Sinn und verschlechtern die Nutzbarkeit des Themenmodells.
5. Entfernung der URLs mittels Regular Expressions.
6. Lemmatisierung mit spaCy bei Verwendung der Pipeline de_core_news_lg.¹¹
7. Entfernung von Stoppwort-Lemmata anhand verschiedener Stoppwortlisten.
8. Entfernung von Wörtern mit dem Vorkommen = 1.¹²
9. Entfernung Sonderzeichen.

2.c. Modellberechnung und Themenbestimmung

Für das Training des Modells haben wir das Python-Paket tomotopy genutzt.¹³ Der wichtigste Parameter beim Training des LDA ist die Anzahl der zu findenden Themen. Dieser Prozess ist mit einigen Freiheitsgraden behaftet, der schließlich auf einer Interpretationsleitung der Forschenden basiert. In der Regel werden Themenmodelle mit verschiedenen Anzahlen von Themen trainiert und wird für jedes Thema eine Themenkohärenz berechnet. Anhand dieser wird abgeschätzt, wie viele Themen in etwa genügen, um das Themenspektrum im Korpus abzudecken. Beispielhaft sind zwei gebräuchliche Metriken für die Modellkohärenz abgebildet.¹⁴

Die Kurven der Koherence geben dem Anwender einen Anhaltspunkt für die Bestimmung der Modellgüte zur Hand, aus dem sich in diesem Fall keine eindeutige Empfehlung ableiten lässt.¹⁵ Prinzipiell ist es bei einer großen Menge von Daten möglich, die Anzahl der Themen relativ frei zu wählen, mit dem naheliegenden Trade-Off zwischen potentiell unspezifischen Themen bei einer kleinen Anzahl von k und spezifischen, aber teilweise redundanten Themen bei großer Anzahl von k. Wir haben uns für die Themenanzahl k=120 entschieden, da dann alle aus substantieller Sicht erwartbaren Themen Niederschlag im Modell gefunden haben.¹⁶

Allerdings benötigt die qualitative Einordnung der Themen dementsprechend viel Zeit. Für diese wurden im 4 Augen Prinzip die 25 Wörter mit höchster Wahrscheinlichkeit und die 25 Wörter mit auf gesamtwordhäufigkeit-normierter Wahrscheinlichkeit betrachtet. Erstere zeigen die generelle Beschaffenheit des Themas, wobei zweitere die spezifischen Wörter zeigen, welche die Abgrenzung zu anderen Themen deutlich machen.

Bei der Verwendung von einem LDA-Themenmodell gilt es zu beachten, dass der Algorithmus keine Möglichkeit hat, Dokumente oder Wörter auszuschließen. Das heißt, jedes Dokument bekommt Themen und jedes Wort wird Themen zugeordnet. Zwangsläufig entstehen auch Wortverteilungen, welche sich nicht einem Thema im herkömmlichen Sinne zuordnen lassen wie beispielsweise das Thema Sprache_Abwertung (siehe Wordclouds). Eine weitere Schwierigkeit sind überlappende Themen wie die 18 Themen rund um Corona. Hier ist es für eine aussagekräftige Interpretation essentiell, eine sinnvolle Einordnung der Themen vorzunehmen. Dafür haben wir in einem iterativen Prozess die Themen in acht Themenkomplexe und 48 Oberthemen aufgeteilt.

Zur Einschätzung der Güte der Einteilung diente die Korrelationsmatrix zwischen den Wortwahrscheinlichkeiten der verschiedenen Themen. Die Achsen sind zur Übersichtlichkeit mit den Themenkomplexen gekennzeichnet. Es lassen sich klare Cluster von Themen erkennen, die uns bei der Einteilung als Stütze dienen konnten.

2.d. Klassifizierung der Texte und Validierung der Themen

Die Erkennung eines Themas in einem Dokument ist instabil für kürzere Dokumente.¹⁷ Zur Annäherung an eine Stabilitätseinschätzung in Abhängigkeit von der Dokumentenlänge führten wir folgende Untersuchung durch:

1. Auswahl eines zufälligen Samples von 20.000 Dokumenten mit einer Lemmata-Anzahl von über 100: Die Themenermittlung zu diesen Texten wird als korrekte Referenz gesehen, da der LDA für diese Textlänge sehr stabil ist.
2. Wir betrachten verschiedene Textlängen von n = 10 bis 100 in Zehnerschritten: Es werden für jedes Dokument n Lemmata aus der jeweiligen Ursprungsmenge gesampelt. Für die entstehende Wortmenge wird ein Thema inferiert, so dass eine neue Themenzuweisung für die 20.000 Dokumente entsteht. Für ein stabiles Themenmodell sollte diese Zuweisung möglichst nahe an der Referenz aus Schritt 1 liegen.
3. Zehnfache Wiederholung von Schritt 2 und Aggregation der Ergebnisse: Das resultierende Thema wird über den Modalwert ermittelt. Zusätzlich werden die Oberthemen und Themenkomplexe bestimmt, um zu sehen, ob das Thema in der weiter gefassten Definition noch erfasst wird. Schlussendlich wird die euklidische Distanz zwischen den Wortwahrscheinlichkeitsverteilungen des Referenzthemas und des gesampleten Themas ermittelt, welches als Abstandsmaß unabhängig von der Kategorisierung ist und daher verlässlicher.

Die Ellenbogenmethode legt nahe, dass die Anwendung des Modells für Texte ab der Lemmatalänge von 20 einen guten Trade-Off zwischen Dokumentenanzahl und dem zu erwartenden Fehler bei der Themenbestimmung kürzerer Texte darstellt. Bei den Hauptthemen sind im Schnitt nur 15 Prozent Fehler bei dieser Dokumentenlänge zu erwarten. Vor dem Hintergrund, dass unsere Auswertung zumeist auf stark aggregierten Daten basiert, ist dieser Fehleranteil vertretbar.
Weiterhin interessant ist die Beobachtung, dass der Fehler selbst bei der gesampelten Dokumentenlänge von 100 bei zehn Prozent für die Hauptkategorien liegt. Dies verdeutlicht, dass selbst ausreichend lange Dokumente eine gewisse Unsicherheit in dem zugewiesenen Thema beinhalten. Indem die Anzahl der Fehlzuweisungen aggregiert und durch die Prävalenz geteilt wird, bekommen wir einen normierten Prozentfehler für die Kategorien.

Aggregiert ergeben sich für die Hauptkategorie folgende Fehlerprozente: Verschwörung 14.8%, Politik 12.6%, Sonstiges 10,1%, Esoterik 8.9%, Protestbewegung 8.8%, Energiekrise 6.3%, Ukraine-Russland 6.1% und Corona 4.9%. Der mit Abstand häufigste Fehler ist der Übergang von Sonstiges zu anderen oder umgekehrt. Dies ist ein nachvollziehbarer Fehler, da Sonstiges die Sprachmuster enthält und diese zu einem Teil in jedem Text vorzufinden sind. Insgesamt sind das gute Werte. Für die Interpretation der Themen aus dem Bereich Verschwörung oder Politik sollte dennoch die im Vergleich zu inhaltlich klarer abgrenzbaren Themen höhere Fehlerquote berücksichtigt werden.