Gemeinsamer Kriterienkatalog zum Umgang mit Forschungsprojekten, die mit Big Data arbeiten.

• Was ist Big Data/Wie wird Big Data in der Studie definiert?

• Welche soziologisch relevanten Fragen behandelt die Studie und wie werden diese beantwortet?

• Abstimmung mit Forschungsfrage: Eignen sich die Daten für „mein Thema“; welche Einschränkungen gelten?

• Hypothesengeleitet vs. Datengeleitet: Macht es Sinn, nur weil Daten vorhanden sind, mit diesen zu arbeiten?

• Welche Methode wurde genutzt?

• Nutzung traditioneller Methoden?

• Welche Methoden können genutzt werden? (vgl. Manovich 2011: 77 ff.)

• Wie gestaltet sich der Zusammenhang zwischen den Daten und der Methode?

• Sind die Medien Gegenstand der Forschung oder Mittel bzw. Instrument der Datenerhebung? (vgl. Welker/Kloß 2014: 31)

• Wer hat die Daten erhoben? Woher kommen sie? Wer produziert sie?

• Wer hat mit welcher Absicht Zugang zu den Datensätzen?

• Wie gestaltet sich die Informationslage zu den Daten? (z.B. Metadaten, Übersetzungen, Hintergrundinformationen)

• Wie werden bzw. können die Daten nutzbar gemacht werden?

• Wie ist die Zugänglichkeit der Daten? [müssen Nutzer_Innen informiert werden?](ebd.: 36)

• Welche Algorithmen / Tools werden benutzt? [kommerziell oder nicht kommerziell] (vgl. Manovich 2011: 70)

• Wer nutzt die sozialen Netzwerke und ist dementsprechend die Stichprobe der Daten?

• Welche Gruppen sind vom Datensatz ausgeschlossen? [z.B. China hat keinen Zugang zu Facebook, sind Randgruppen vertreten?]

• welche Auswahl?/ kann ein Algorithmus ein Sampling sein?

• Wie ist mit Missing Data umzugehen?

• Qualität des Samplings? [Geringe Varianz von Daten, die nur von einer einzigen Plattform stammen]

• Gibt es Zugriffsprobleme? [z.B. durch Social Media und mangelnde Herausgabe der vollständigen Daten] (vgl. Welker/Kloß 2014: 41 f.)

• Bei welchen Prozessen/ in welchen Kontexten werden also diese Daten generiert und was bedeutet das für die Aussagekraft der Daten?

• was sind es für Daten? (vgl. Boyd/Crawford 2011: 7)

• In welcher öffentlichen Sphäre werden die Daten generiert? [one-to-many/ one-to-one/ one-to-view]?(ebd.: 36)

• Netzwerke/Bindungen haben unterschiedliche Qualitäten, die aus den Daten selbst nicht unbedingt ersichtlich werden [nicht alle Freunde bei Facebook sind „gleich“; räumliche Nähe bedeutet nicht unbedingt emotionale Verbundenheit]. Um welche Form geht es?

• Welche Aussagekraft besitzen die Daten im Bezug auf Selbstdarstellung und soziale Erwünschtheit?

• Ist die Objektivität von Big Data fraglich und sollte dies auch immer in Frage gestellt werden? …?

• Gibt es ein Problem bei der Interpretatierbarkeit der Daten? „Was bedeutet eigentlich ein Link, ein Like oder die Äußerung eines Nutzers?“ (Welker/Kloß 2014: 42)

• Ist das Kriterium grundlegender ethischer Unbedenklichkeit gegeben? [persönliche Verantwortung, Informationspflicht, freiwillige Untersuchungsteilnahme, Vermeidung psychischer und körperlicher Beeinträchtigung, Anonymität der Ergebnisse, Abwägung von wissenschaftlichem Fortschritt und Menschenwürde] (vgl. Welker/Kloß 2014: 44)

• Können Daten einfach genutzt werden, nur weil sie schon da sind? (vgl. Boyd/Crawford 2011: 10)

• Wie transparent ist die Erhebung? (Welker/Kloß 2014; Roy et al. 2007: 9)

• Sind die Datenerhebungen gegen den Willen der Betroffenen? (vgl. Welker/Kloß 2014: 45)

• Werden die rechtlichen Rahmenbedingungen bei der Erhebung beachtet? [Bsp.: In der BRD ist Datenspeicherung zweckgebunden]

• Ist ein stetiger Prozess von Aushandlungen von Entscheidungen und Kriterien gegeben? [Stichprobe, Datenerhebung und Datenqualität müssen stets hinterfragt werden, da diese die Interpretierbarkeit beeinflussen]

• Was repräsentieren die Daten? [Reflektion der Methoden durch Philosophie im wissenschaftl. Und sozialwissenschaftl. Sinne, durch Sozialtheorie]

• Werden die Konsequenzen von methodischen Entscheidungen berücksichtigt?

• Ist es möglich die verwendeten Daten mit anderen Methoden auszuwerten und sind die Ergebnisse vergleichbar?

• Sind die Daten und Ergebnisse intersubjektiv Nachvollziehbar?

• Kann man die Daten ohne ihren Entstehungskontext verstehen?

• Werden „klassische Gütekriterien“ berücksichtigt?

Gütemaßstäbe: Kriterien, anhand derer Wissenschaftlichkeit, Geltung und das Vermeiden von Beliebigkeit erreicht werden können und empirische Arbeiten beurteilt werden können

a) „Klassische“ Gütekriterien (quantitativer Forschung):

- Validität

• „kennzeichnet, ob und inwieweit die wissenschaftliche, begrifflich-theoretische Konstruktion dem empirischen Sachverhalt, dem Phänomen, auf welches sich die Forschungsbemühungen richten, angemessen ist“ (Przyborski/Wohlrab-Sahr 20014: 22)
• es geht also darum, ob gemessen wurde, was gemessen werden sollte
• „inhaltliche Funktionstüchtigkeit“ (Häder 2015: 109)
• Bezug zum theoretischen Konzept ( dieses legt fest, was gemessen werden soll) (Problem bei Quali)
• Außerdem noch „externe Validität“ (→ auch Repräsentativität oder Generalisierbarkeit)

- Reliabilität

• Reliabilität/Zuverlässigkeit einer Methode bezeichnet die formale Genauigkeit wissenschaftlicher Untersuchungen
• Bei standardisierten Verfahren geht es um die genaue Reproduzierbarkeit einer empirischen Untersuchung

- Objektivität

• „als objektiv gelten Messinstrumente oder empirische Verfahren, wenn die damit erzielten Ergebnisse unabhängig sind von der Person, die die Messinstrumente anwendet“ (Przyborski/Wohlrab-Sahr 2014: 26)
• Erkenntnis soll unabhängig von subjektiven Einflüssen des Erkennenden und intersubjektiv nachprüfbar sein

- Repräsentativität (auch: „externe Validität“)

• Verallgemeinerung von Ergebnissen

b) Erweiterung der Kriterien für die qualitative Sozialforschung

• Konzept lässt sich nicht so auf qualitative Sozialforschung übertragen, aber teilweise Einbeziehung und Abwandlung der quantitativen Kriterien, deshalb Erweiterung:

- kommunikative Validierung

• Forschungsergebnisse werden mit untersuchten Objekten gemeinsam besprochen und so auf ihre Stimmigkeit hin überprüft (vgl. Kruse 2015: 57)

- Angemessenheit von Methode und Gegenstand - Offenheit

• Zentral ist, dass nicht vorgefertigte Ideen oder Hypothesen an das Material herangetragen werden, sondern, dass sich der Sinn bzw. die Relevanzsysteme der Befragten sowohl in der Erhebungssituation, als auch in der Analyse möglichst frei/offen entfalten können

- Reflexion

• Aufrichtigkeit, Berücksichtigung von Subjektivität und Theoriegeleitetheit, Zweifel

- Iterativität (?)

- Intersubjektivität

• Nachvollziehbarkeit, Vergleichbarkeit
• „d.h. der übereinstimmende Nachvollzug mehrerer Forscher/innen in Bezug auf einen Erkenntnisprozess. Intersubjektivität kann nur durch die Explikation und Dokumentation aller Forschungsschritte […] ermöglicht werden.“ (Kruse 2015: 55)
• besonders Interpretationen müssen intersubjektiv nachvollziehbar sein

- Triangulation

• Ansatz der Forschung wird erweitert und ein Gegenstand wird mit mehreren Methoden und/oder von mehreren Forscher*innen untersucht  Kohärenz
• „Kombination verschiedener Methoden, verschiedener Forscher[*innen], Untersuchungsgruppen, lokaler und zeitlicher Settings sowie unterschiedlicher theoretischer Perspektiven in der Auseinandersetzung mit einem Phänomen“ (Flick 2005: 330)

- Geltungsbereich

• Es geht bei Quali nicht um Repräsentativität, sondern um Repräsentation
• „Nicht die Verallgemeinerbarkeit eines Falles wird angestrebt, sondern die authentische bzw. umfassende Repräsentation eines Falltypus.“ (Kruse 2015: 57

- Konsistenzregel ( qualitatives Pendant zur Validität)

• „Eine Lesart eines Texts kann dann als ‚gültig’ betrachtet werden, wenn diese konsistent mit dem gesamten Text ist“ (Kruse 2015: 56)
• Bezug zur Reliabilität: Messung kann und soll auch nicht wiederholt werden, aber Deutungen müssen sich im Material an verschiedenen Stellen wieder finden lassen

So lassen sich nach Kruse die klassischen, quantitativen Gütekriterien in Gütekriterien für qualitative Forschung überführen:

- Boyd, Danah; Crawford, Kate (2011): Six Provocations for Big Data: 1-17.

- Flick, Uwe; von Kardorff, Ernst; Steinke, Ines (Hg.) (2007): Qualitative Forschung. Ein Handbuch. 5. Auflage, Reinbek bei Hamburg: Rowohlt Taschenbuchverlag.

- Häder, Michael (2015): Empirische Sozialforschung : Eine Einführung. Wiesbaden: Springer VS.

- Kruse, Jan (2015): Qualitative Interviewforschung. Ein integrativer Ansatz. 2. Auflage, Weinheim/Basel: Beltz Juventa.

- Manovich, Lev (2014) Trending. Verheißungen und Herausforderungen der Big Social Data: 65-83.

- Przyborski, Aglaja; Wohlrab-Sahr, Monika (2014): Qualitative Sozialforschung. Ein Arbeitsbuch, 4. Auflage, München: Oldenbourg Verlag.

- Roy, Stephannie C./Guy Faulkner/Sara-Jane Finlay (2007): Hard or Soft Searching? Electronic Database Versus Hand Searching in Media Research.

- Schirmer, Dominique (2009): Empirische Methoden der Sozialforschung. Grundlagen und Techniken. Paderborn: Fink UTB.

- Uprichard, Emma (2013): Big Data, Little Questions?

- Welker, Martin/Kloß, Andrea (2014): Soziale Medien als Gegenstand und Instrument sozialwissenschaftlicher Forschung: 29-51.