Die Generierung von Codes mithilfe des AI Assist erfolgte auf verschiedenen Ebenen. Wir gingen im Seminar ›Qualitative Analyse mit und ohne KI‹ so vor, dass zunächst versucht wurde, für einzelne Pressemitteilungen KI-generierte Codes zu erstellen. Im Anschluss lag der Fokus auf KI-generierten Codes zu mehreren Pressemittleilungen. Ursprünglich war geplant, für das gesamte Material Codes zu generieren. Da dies aufgrund der maximalen Anzahl von 5.000 Zeichen nicht möglich war, konnten nur für fünf exemplarisch zusammengefügte Ausschnitte von Pressemitteilungen Codes erstellt werden. Weitere Herangehensweisen waren die Generierung von Codes mit AI Assist auf Grundlage einzelner Segmente eines Textes und die Entwicklung von Subkodes durch die KI, basierend auf den eigenen Codes.

Alle vier Varianten wurden im Anschluss mit eigenen Codes abgeglichen. Das gemeinsame Code- beziehungsweise Kategoriensystem wurde innerhalb von mehreren Seminarsitzungen erarbeitet, in denen alle Seminarteilnehmer*innen ihre „Lieblingscodes“ mitteilten. Wir konzentrierten uns bei der Definition der Codes und Subcodes auf Codes und Textstellen, die die Bundesregierung betreffen.

Im folgenden Vergleich liegt der Fokus zunächst auf der Generierung von thematischen Codes zu einem einzelnen Textsegment und Subcodes.

Die Funktionsweise des Vorschlagens von Codes durch AI Assist von MAXQDA wurde im Seminar ›Qualitative Analyse mit und ohne KI‹ gezielt untersucht und analysiert. Mit dieser Funktion werden zu einzelnen Textpassagen oder ganzen Texten potenzielle neue Codes von AI Assist erstellt. Dies erfolgt unter anderem, indem bestimmte Textstellen in MAXQDA markiert und mit einem Rechtsklick der Maustaste die AI Assist-Funktion aktiviert wird.

Code-Vorschläge zu einem markierten Textsegment aus dem Dokument 1, einem Social Media Beitrag von Bündnis Sahra Wagenknecht. Der ausgewählte Abschnitt lautet: „Schluss mit diesem Wahnsinn. Wir brauchen endlich wieder bezahlbare Energie!“²⁾

Vergleich mit eigenen Codes

Unsere eigenen Codes für das ausgewählte Textsegment lauteten: „Politik der Ampel als Chaos“, „Unverlässlichkeit/ Versprechen werden nicht eingelöst“, „Verbrecherisch“, „drohende Gefahr durch Handeln (auch Nicht-Handeln)“.

Interessant ist in diesem Fall, dass die thematischen Codes - sofern es für einen kurzen Abschnitt möglich ist - durchaus präzise sind und sich gut mit unseren eigenen Codes vergleichen lassen. Die Codes „Dringlichkeit“ und „Forderung nach Veränderung“ lassen sich beispielsweise gut mit unserem Code „drohende Gefahr durch Handeln (auch Nicht-Handeln)“ in Verbindung setzen. Der Code „Systemkritik“ hat mit Bezug auf die Wahrnehmung des Systems als Wahnsinn eine Parallele zu dem Code „Verbrecherisch“. Insgesamt wurde das Textsegment von der KI eher zusammengefasst, wir haben es mehr in den Kontext aller Texte gesetzt. Für thematische Codes lässt sich der AI Assist gut verwenden, inwieweit die interpretative Codes von AI Assist hilfreich für den Analyseprozess sind, wird in Kapitel 4.1 beschrieben.

Die Subcode-Vorschläge von AI Assist lauteten:

1. Mangelnde Durchsetzungsfähigkeit des Ministers
2. Leere Versprechungen und fehlende Umsetzung
3. Vernachlässigung des ländlichen Raums
4. Belastung der Bürger durch steigende Kosten
5. Fokus auf Aufrüstung statt Diplomatie
6. Umverteilung von unten nach oben
7. Blockade wichtiger Gesetzgebung
8. Fehlende Priorität für soziale und ökologische Themen

Vergleich mit den eigenen Subcodes

Unsere eigenen gemeinsamen Subcodes zum Code „Politik der Ampel als Chaos“ waren: „Unverlässlichkeit, Versprechen werden nicht eingehalten“ und „Ampel befindet sich ständig im Streit“.

Auffällig ist, dass der Code zu „leeren Versprechungen“ sehr mit dem zu „Unverlässlichkeit“ übereinstimmt. Die Anzahl der vorgeschlagenen Subcodes ist im Vergleich mit den eigenen Codes deutlich größer.

Der AI Assist hat in diesem Fall eine klare Tendenz, spezifische Aspekte aus den Daten zu betonen – dies zeigt sich beispielsweise bei den Subcodes „Mangelnde Durchsetzungsfähigkeit des Ministers“ und „Vernachlässigung des ländlichen Raums“. Diese Subcodes beziehen sich auf konkrete Inhalte des Materials. Wir haben in unserem eigenen Kodierungssystem ähnliche Codes gefunden: „drohende Gefahr durch Handeln (= auch Nicht-Handeln) / Klima der Gefahr (wird heraufbeschworen)“ und „Deutschland schaden“. Der Unterschied liegt hierbei bei unterschiedlichen Stufen der Abstraktion bezogen auf die wesentlichen Inhalte des Codes beziehungsweise Subcodes. Dementsprechend ist es nicht vollständig möglich, die von AI Assist generierten Subcodes auf die eigenen interpretativen Subcodes zurückzuführen.

Im Sinne der Grounded Theory ist ein Vorgehen sinnvoll, bei dem Codes zunächst wenig Inhalt reduzieren, sondern konkrete Abschnitte behandeln. Erst im weiteren Forschungsprozess werden Codes zunehmend abstrahiert.⁵⁾ Dementsprechend kann die große Anzahl an ‚Codeoptionen‘ bei den Subcodes eher hilfreich sein, wenn der nächste Schritt des Findens von Zusammenhängen einzelner Codes bei dem/der Forschenden liegt. Ein Risiko besteht darin, dass durch die Konzentration auf die von AI Assist generierten Codes der Blick weniger auf das konkrete Textmaterial fällt. Eine weitere Gefahr stellen Unwahrheiten und ein algorithmischer Bias dar, die mit den von AI Assist generierten Codes zusammenhängen. Darauf werden wir in Kapitel 4.2 genauer eingehen. In unserem Beispiel wirkten die AI-generierten Codes insgesamt zufriedenstellend, wenngleich eine nachträgliche Auswahl beziehungsweise Überprüfung durch Forschende unbedingt erforderlich ist. Die KI-Vorschläge sind verglichen mit unseren eigenen Ergebnissen weniger weitreichend und auf einem niedrigeren Abstraktionsniveau. Problematisch ist außerdem die fehlende Transparenz, welche Textabschnitte konkret für die Codegenerierung von der KI genutzt wurden. Es lässt sich anhand der Ergebnisse nur ungefähr vermuten – ob alle Textstellen einbezogen wurden, lässt sich allerdings nicht überprüfen.