Bremen - Utrecht - Tilburg

Access Panel und Mixed-Mode Internet Survey

Universitäten Bremen (D), Utrecht und Tilburg (NL)

Projektleitung

Prof. Dr. Uwe Engel (Bremen
Prof. Joop Hox, PhD (Utrecht)
Prof. Edith de Leeuw, PhD (Utrecht)
Annette Scherpenzeel, PhD (Tilburg)

Wissenschaftliche Mitarbeiterinnen

Dipl.-Soz. Christiane Schnabel (Bremen)
Dipl.-Soz. Helen Vehre (Bremen)
Dipl.-Soz. Simone Bartsch (Bremen)

Projektlaufzeit

2008 - 2009

Forschungsvorhaben

Access Panels (AP) haben in den letzten Jahren eine bemerkenswerte Verbreitung gefunden. Ein übergreifendes Projektziel besteht entsprechend darin, die Angemessenheit des AP-Ansatzes zur Survey Forschung zu untersuchen. Dies impliziert zu prüfen, ob Sample Surveys aus AP-Auswahlrahmen valide Schlussfolgerungen ermöglichen. Die Validität solcher Schlüsse ist in zweifacher Weise bedroht: a) durch Selbstselektionsprozesse und b) durch Modus-/Responseeffekte. Beides beeinträchtigt die Legitimität des AP-Ansatzes: Während Selbstselektion wahrscheinlich zu verzerrten Stichprobenschätzungen führt, schließen Modus-Effekte und modus-spezifische Responseeffekte jede Verallgemeinerung von Ergebnissen über Modi hinweg aus.

Da die meisten APs "Online" - Panel sind, sind Modus-/ Responseeffekte ernst zu nehmen, die mit diesem Modus assoziiert sind. Das Access Panel ist deshalb so aufgebaut, dass es systematische Vergleiche zwischen mehreren Umfragemodi ermöglicht. Neben ‚Online' stellt die Telefonbefragung via Festnetz und Mobilfunk weitere Modi dar.

Das Design der Studie beinhaltete insgesamt vier unabhängige zufällige Telefonstichproben. Die erste für die Realisierung von 4.000 zehn-minütigen Mobilfunk-Interviews und die zweite für 4.000 zehn-minütige Festnetztelefon Interviews. Es wurden diese beiden Stichproben gewählt, um anschließende zwischen Festnetz und Mobilfunk vergleichen und künftig Undercoverage-Fehler vermeiden zu können.

Eine dritte Zufallsstichprobe von 4.000 20-minütigen Festnetztelefon Interviews diente der Rekrutierung von Mitgliedern für das Access Panels und einer umfassenden Analyse von Nonresponse. Während die Feldphase der ersten drei Stichproben in einem Institut der Universität Duisburg-Essen durchgeführt wurde, fand die Feldarbeit für ein viertes Sample von circa 2.200 20-minütigen Festnetztelefon Interviews an der Universität Bremen statt.

Der Fragebogen für die 20-minütigen Interviews beinhaltete Elemente der Theorien des sozialen Austausches und der sozialen Integration, der persönlichen Einstellung gegenüber Forschungsumfragen, bereits gesammelten Erfahrungen mit Umfragen, Erfahrungen bezüglich des Missbrauchs von Telefonwerbung und die daraus resultierenden Kommunikationsgewohnheiten und Persönlichkeitsmerkmale (Big Five und Locus of Control). Ebenfalls wurden Items von vermeintlich sensiblen Thematiken wie Straffälligkeit, Alkoholkonsum und Einkommen integriert. Da es für eine eingehende Nonresponse-Analyse einer recht großen Menge an Umfrageelementen bedarf, beinhaltete der Fragebogen zudem Teile im Missing-By-Design, um die erforderliche Interviewzeit in einem angemessenen Rahmen zu halten.

In die Studie wurden eine Reihe von Random-Splits eingebaut, um mögliche Quellen verschiedener Responseeffekte zu untersuchen. Erstens wurde für zwei Arten von Skalen, und zwar für Zustimmungs- und Häufigkeitsskalen, die Skalenrichtung variiert. Praktisch bedeutet dies, die Reihenfolge zu variieren, in der die Ausprägungen der Skala vom Interviewer vorgelesen werden: Beginnend mit der Kategorie, in der der erfragte Gegenstand am vergleichsweise seltensten auftritt, in Richtung der Kategorie, die für das häufigste Auftreten steht, oder genau andersherum gefragt. Analog kann bei Zustimmungsskalen mit der Kategorie "stimme überhaupt nicht zu" oder mit der anderen Extremkategorie "stimme voll und ganz zu" begonnen werden. Zweitens wurde für einen Sachverhalt der Grad der Zustimmung zu einer Aussage abgefragt, die diesen Sachverhalt inhaltlich zum Ausdruck bringt, während derselbe Sachverhalt in der Vergleichsbedingung über eine Skala mit inhaltlich abgestuften Kategorien erfragt wurde. Drittens wird im vorliegenden Kapitel das Antwortverhalten im Vergleich von 5-stufigen und 7-stufigen Antwortskalen untersucht.

Diese Experimente wurden - nachgelagert zur Rekrutierung - im Rahmen des laufenden Access Panels durchgeführt, um eine Reihe anderer möglicher Variationsquellen zu untersuchen. Diese beinhalten unter anderem, ob a) bei 11-stufigen Skalen nur die Endpunkte der Skala oder auch die in der Mitte angesiedelte Kategorie benannt wird, ob b) ob 5-stufige vs. 7-stufige Skalen eingesetzt werden, ob c) bei 5-stufigen Skalen nur die Endpunkte einer Skala oder jede Antwortkategorie benannt wird und ob d) eine Skala entfaltet oder nicht entfaltet wird. Außerdem wurde e) bei einer Frageformulierung mit gegensätzlichen Adjektiven gearbeitet, in dem für ein Set von Items einerseits danach gefragt, wurde, wie sehr der jeweilige Sachverhalt "gerecht" sei, während in der anderen Zufallshälfte des Samples danach gefragt wurde, wie sehr derselbe Sachverhalt "ungerecht" sei. Schließlich wurde ein weiteres Experiment zu möglichen Fragereihenfolgeneffekten durchgeführt.

Ein weiteres Merkmal der Studie bestand in einem 2x2 experimentellen Design, welches die Sensibilität und den persönlichen Bezug der Umfragethemen variierte. Das Design wurde in den beiden 20-minütigen Stichproben durchgeführt. Weiterhin wurde das Design auf ein 2x2x2x2 experimentelles Schema in dem vierten Sample erweitert. Diese 2x2 Erweiterung verbindet verschiedene Interviewvarianten (zugelassene vs. nicht zugelassene Überzeugungsstrategien) mit dem Angebot von "Kern-Interviews", die nur über die halbe Länge der regulären Interviewzeit gehen und "Exit-Interviews", die aus nur zwei Fragen zu früherer Umfrageerfahrung bestehen und sich an Menschen richten, die im Begriff sind aufzulegen. Auf diese Weise wird zumindest eine geringe Menge an Interviewdaten von jenen gewonnen, die ansonsten nicht geantwortet hätten.

Daraus ergibt sich ein zusätzliches Merkmal der Studie: Der Gebrauch von Para- und Metadaten zur Vorhersage der Antwortneigung. Die verfügbaren Paradaten beinhalten Informationen über die Abfolge von Ereignissen, die während des Prozesses der wiederholten Kontaktaufnahme aufgetreten sind. Wir identifizierten alle diese Sequenzen und kodierten sie in eine Typologie von 22 Kontaktverläufen. Als weitere Information kann die Anzahl der Kontaktversuche abgerufen werden. Darüber hinaus wurde eine große Menge an Argumenten zu Überzeugungsstrategien gesammelt, um zögernde Personen umzustimmen. Schließlich ließen wir den Interviewer das Ausmaß der erforderlichen Überzeugungsstrategien und den Grad des befriedigenden Antwortverhaltens bewerten.

Außerdem führten wir ein Experiment mit dem Telefon und Online-Modus des Access-Panels durch, um oben genannte Antwortskalenvergleiche, eingebettet in eine vergleichende Umfragemethode, zu untersuchen. So wurde letztlich ein MTMM-Design verwirklicht.

Unter den circa 200 Interviewern wurde eine begleitende Umfrage durchgeführt, um mögliche Interviewereffekte zu analysieren. Wir fragten nach verschiedenen Interviewer-Einstellungen und Überzeugungen. Die Indikatoren beinhalteten Aussagen der Interviewer über die Möglichkeit und Notwendigkeit zögernde Zielpersonen zu überzeugen, die Akzeptanz von Verweigerung, die Betonung der Freiwilligkeit und die Notwendigkeit die Situation an die Zielperson anzupassen. All diese Informationen wurden vor dem Beginn der Feldphase erfasst.

Weiterhin wurde eine Studie durchgeführt, um die Stimmen der Interviewer als kommunikativen Aspekt der Erstkontaktsituation zu bewerten. Eingeschlossen wurden Skalen zur Beurteilung des Klangs der Stimme, eines leisen/lauten Tonfall, des flüssigen/stockenden Sprechens, die Wahrnehmung der Stimme als angenehm/unangenehm, persönliche/unpersönliche Anrede, die Konversation mit der Zielperson scheint frei gesprochen zu sein/von einem Papier abgelesen zu werden.

Erste Ergebnisse

Bislang wurde viel Aufwand für eine gründliche Analyse der Non-Response Effekte betrieben. Mit einer mehrstufigen logistischen Regression, latenten Variablen und einer "propensity score analysis" wurden drei Zielvariablen untersucht: Die Beteiligung an dem Erstinterview, die Bereitschaft nach Beendigung des Interwies Teil des Access Panels zu werden und die anschließende tatsächliche Panelbeteiligung. Dieser letzte Schritt analysierte sowohl kombiniert, als auch einzeln die beiden Kontakt-/Umfragemodi Telefon und Online.

Die Einstellungen gegenüber der Umfrageforschung und früheren Umfrageerfahrungen erwiesen sich als relevante Prädiktorvariablen. Das gleiche gilt für Paradaten, wie Kontaktverläufe, Überzeugungsstrategien des Interviewers und die begleitende Bewertung durch den Interviewer bezüglich der Wahrnehmung der Atmosphäre während des Interviews und der Zufriedenheit in Bezug auf das Antwortverhalten. Auch Metadaten erwiesen sich als relevante Prädiktorvariablen. Besonders nennenswert sind hier die genannten Gründe an dem Interview teilzunehmen, die Beurteilung des Fragebogens und verschiedenen Aspekte des Interviews, wie etwa die wahrgenommene Interviewatmosphäre, die Sensibilität oder die Schwierigkeit verschiedener Umfrageelemente und die gefühlte Länge des Interviews. Besonders erwähnenswert ist außerdem die Auswirkung der Gegebenheit, sich selbst als eine Person wahrzunehmen, die generell bereit ist, an Umfragen teilzunehmen.

Ein zweiter Fokus lag auf einer Analyse der Interviewereffekte. Es stellte sich heraus, dass die oben erwähnten stimmlichen/kommunikativen Eigenschaften sowie die Einstellung und Überzeugung der Interviewer erhebliche Vorhersagekraft besitzen.

Zeitplan

2008: Es wurden drei Pilotstudien zur Erprobung einzelner Elemente des Designs der Hauptstudie durchgeführt (zuvor war eine erste Pilotstudie in 2007 realisiert worden).

2009: Es wurde zufallsbasiert ein großes Access Panel aufgebaut.

Kooperationen innerhalb PPSM

Experimental Mobile Phone Panel
Prof. Dr. Dipl.-Soz.Marek Fuchs, Universität Darmstadt (D)
PD Dr. sc. math. Siegfried Gabler, GESIS-ZUMA (D)
Dr. oec. Sabine Häder, GESIS-ZUMA (D)