Mannheim

Verbesserung der Validität international vergleichender Umfragen - Einsatz von Probing-Techniken in Online-Umfragen

GESIS - Leibniz - Institut für Sozialwissenschaften (D)

Projektleitung

Prof. Dr. Michael Braun (Mannheim)
Dr. Wolfgang Bandilla (Mannheim)
Dr. Lars Kaczmirek (Mannheim)

Wissenschaftliche Mitarbeiterinnen und Mitarbeiter

Dr. Dorothée Behr (Mannheim)

Projektlaufzeit

2010 - 2012

Forschungsvorhaben

Um bei großen internationalen Umfrageprogrammen mögliche Unterschiede sowohl zwischen Ländern als auch im Zeitverlauf angemessen interpretieren zu können, sind Hilfsmittel erforderlich. Kognitive Interviews als ein mögliches Hilfsmittel werden in der Regel nur zur Überprüfung von Übersetzungen verwendet. Weiterhin werden kognitive Techniken meistens im Labor mit Hilfe von Interviewern durchgeführt. Dadurch kommen meist nur kleine Fallzahlen zustande und eine Quantifizierung der Ergebnisse ist nicht möglich. Demgegenüber wird das Projekt die Möglichkeit untersuchen, große Umfragen über das Internet als relativ kostengünstiges Mittel für die Evaluation und Verbesserung der interkulturellen Validität von Messinstrumenten zu nutzen. Dazu werden in Kanada, Dänemark, (West- und Ost-) Deutschland, Spanien, Ungarn und den USA Umfragen durchgeführt. Pro Land/Region werden Nettostichproben von 1000 Befragten angestrebt. Ziel des Projektes ist die Entwicklung von Prozeduren, um Probing-Techniken für die Benutzung in Internet-Umfragen zu adaptieren. Diese Prozeduren ließen sich dann auf einer Routine-Basis in ländervergleichenden Studien zur Verbesserung der Datenqualität anwenden. Damit würden die derzeitigen Schwächen bei der Anwendung kognitiver Verfahren im Pretestbereich überwunden und durch den hohen Standardisierungsgrad auch interkulturelle Vergleichbarkeit hergestellt.

Erste Ergebnisse

Zu Projektbeginn wurde ein Pretest in Deutschland durchgeführt. Ziel dieses Pretests war es, das Design von "Category-Selection-Probes", also von Nachfragen zur Wahl der Antwortkategorie/des Skalenwertes, zu optimieren und diejenigen Merkmale hinsichtlich Design und Implementierung zu identifizieren, die zu einer hohen Anzahl sinnvoller Antworten führen. So untersuchten wir den Einfluss unterschiedlicher Online-Access-Panels oder unterschiedlicher Probing-Varianten auf die Antwortqualität. Zudem betrachteten wir den Einfluss einer unterschiedlichen Anzahl von zuvor gestellten Probes auf die Antwortqualität.

Die Art des Panels per se hatte keinen starken Einfluss auf Antwortbereitschaft oder Wortanzahl. Zu diesem Schluss kamen wir nach dem Vergleich eines "Community-Panels", bei dem Befragte zusätzlich zu den normalen Umfrageteilnahmen ihre eigenen Abstimmungen aufsetzen oder ihre Meinungen zu bestimmten Themen schreiben können, mit einem "Nicht-Community-Panel", bei dem sich die Befragtenaktivität im Wesentlichen auf die normalen Umfrageteilnahmen beschränkt. Es stellte sich jedoch heraus, dass panelspezifische Verteilungen bei Einstellungsvariablen, die thematisch zu den Probes passten, das Antwortverhalten beeinflussten.

Des Weiteren fanden wir heraus, dass ein Probe-Design, bei dem das meiste der Informationen vom vorherigen Bildschirm wiederholt wurde, am besten geeignet war, um sinnvolle Antworten zu erhalten. Negativ auf das Antwortverhalten wirkte sich hingegen ein Category-Selection-Probe ohne jeden weiteren Kontext aus.

Die Wahrscheinlichkeit, eine sinnvolle Antwort auf einen Probe zu geben, nahm mit zunehmender Anzahl von vorhergehenden Probes ab. Der erhöhte "Response Burden", aber auch nachlassende Motivation unter den Befragten sind hier als wahrscheinliche Auslöser zu nennen. Die Wortanzahl derjenigen, die gewillt waren, mindestens einen Probe zu beantworten, nahm jedoch nicht ab.

Neben methodischen Gesichtspunkten stand die Brauchbarkeit von Antworten im analytischen Fokus. War die Antwortqualität ausreichend, um auf Basis der Probe-Antworten Rückschlüsse auf Validitätsprobleme ziehen oder inhaltliche Forschungsfragen beantworten zu können? In dieser Hinsicht untersuchten wir Antwortkombinationen, die nicht erwartet wurden oder die widersprüchlich schienen. Im Zentrum standen zwei geschlossene Items zu Geschlechterrolleneinstellungen und ein Category-Selection-Probe, das einem dieser Items folgte. Uns interessierten insbesondere die Gründe, die die Befragten angaben, um ihren Antwortwert für das eine Item zu erklären. Unter anderem konnten wir so aufzeigen, was Befragte, die eine traditionelle Geschlechterteilung (Mann arbeitet, Frau versorgt den Haushalt) ablehnen, davon abhält, Items zuzustimmen, die eine egalitäre, also nicht-traditionelle Sicht darstellen. Oft gibt es nicht nur eine egalitäre Sichtweise, die von nicht-traditionellen Befragten bevorzugt wird. So wird insbesondere auch die Notwendigkeit individueller Lösungen von nicht-traditionellen Befragten betont: "Das ist eine Frage die man nicht global beantworten kann, das kommt auf die jeweiligen Personen selbst an" oder "Es ist egal, wer zuhause bleibt und wer arbeitet, egal ob Mann oder Frau …. Da kann ruhig die Frau arbeiten und der Mann zuhause bleiben oder der Mann arbeiten und die Frau zuhause bleiben. Keiner muss beides machen oder irgendetwas teilen. Jeder sollte sich selbst aussuchen können, was er machen will, solange es in der Organisierung klappt." Egalitäre Items, die ein spezifisches nicht-traditionelles Modell abbilden, sind demnach nicht geeignet, einen egalitären Trend in der Gesellschaft zu messen.

Insgesamt kommen wir vorläufig zu den folgenden zwei Schlussfolgerungen: (1) Online-Probing ist einsetzbar und es kann eine Fülle an Informationen liefern. (2) Die Vielfalt und auch die Tiefe der Antworten sind ausreichend, um Rückschlüsse zu gewährleisten, die sowohl für Fragebogenentwicklung als auch Interpretation von Umfragedaten dienlich sein können.

Wir erwarten weitere interessante Ergebnisse von zwei internationalen Online-Umfragen, die beide 2011 durchgeführt wurden.

Kooperationen außerhalb des Schwerpunkts

Institute der am International Social Survey Program (ISSP) beteiligten Länder