Gießen - Mannheim
Identifikation von Fälschungen in Erhebungsdaten
Justus-Liebig-Universität Gießen, Zentrum für Internationale Entwicklungs- und Umweltforschung (ZEU) (D), GESIS - Leibniz-Institut für Sozialwissenschaften, Survey Design & Methodology (D)
Projektleitung
Prof. Dr. Peter Winker (Gießen)
Dr. Natalja Menold (Mannheim)
Wissenschaftliche Mitarbeiter
Dipl.-Soz. Nina Storfinger (Gießen)
Dipl.-Vw. Sebastian Bredl (Gießen)
Dr. Christoph J. Kemper (Mannheim)
Dipl.-Soz. Rolf Porst (Mannheim)
Dipl.-Soz. Michael Blohm (Mannheim)
Projektlaufzeit
2010 - 2012
Forschungsvorhaben
Umfragedaten können aufgrund von Fälschungen durch den Interviewer verzerrt sein. Ausgehend von der Analyse der Motivation potentieller Fälscher sollen Methoden entwickelt werden, um das Risiko der Aufdeckung zu erhöhen. Dabei werden multivariate statistische Verfahren zur Identifikation der typischen Eigenschaften gefälschter Fragebögen weiterentwickelt und (auch experimentell) erprobt. Gleichzeitig wird untersucht, welche Aspekte des Fragebogendesigns (Länge, Art der Fragen etc.) die Aufdeckung von Fälschungen mittels der betrachteten Verfahren erleichtern.
Zur Analyse der vorliegenden Interviewdaten werden Cluster-Methoden angewandt, welche auf speziellen Indikatoren, d.h. Eigenschaften von gefälschten Daten, basieren. Dabei sollen klassische hierarchische, Clustermethoden, sowie auch heuristische Optimierungsverfahren eingesetzt werden, um die bestmöglichen Cluster für verschiedene Indikatoren zu erhalten. Um die Sensitivität der Methode in Abhängigkeit von der Stichprobengröße zu untersuchen, sollen Bootstrapping-Verfahren zum Einsatz kommen. Für den Fall, dass ex-ante-Informationen über Fälschungen zur Verfügung stehen, soll eine Diskriminanzanalyse durchgeführt werden, um typische Eigenschaften von gefälschten Interviews zu identifizieren.
Parallel zur Analyse der statistischen Methode entwickeln wir Design-Merkmale von Fragebögen, die die Chance der ex-post Aufdeckung von Fälschungen erhöht. Die Ausgangsbasis sind Theorien über den kognitiven Prozess der Beantwortung von Fragen in Fragebögen sowie das Satisficing Modell, das speziell die Motivation der Befragungsteilnehmer im Fokus hat. Die Indikatoren werden durch die Testung der Hypothesen zu Unterschieden im Antwortverhalten zwischen den realen Befragungsteilnehmern und denjenigen, die die Daten erzeugen (fälschen), gewonnen.
Erste Projektergebnisse
In einem ersten Schritt führten wir eine explorative Untersuchung durch, um Fragebogenattribute zu identifizieren, die es ermöglichen, gefälschte Daten zu erkennen. Dazu werden existierende Umfragedaten mit gefälschten Daten verglichen. Unsere ersten Ergebnisse zeigen, dass Fälscher u.a. die politischen Aktivität oder das politische Wissen der real Befragten überschätzen. Darüber hinaus produzieren die Fälscher eher konsistente Antworten in Itembatterien, sodass sich höhere Reliabilitäten, sowie höhere erklärte Varianzen in Faktorenanalysen ergeben. Schließlich unterscheiden sich die gefälschten und die realen Erhebungsdaten hinsichtlich des Antwortverhaltens, wie etwa extreme Antworten, Rundungen und Reihenfolgeeffekte. Aus diesen Ergebnissen bilden wir bestimmte Indikatoren, welche anschließend innerhalb der multivariaten statistischen Analysen helfen, gefälschte Erhebungsdaten zu identifizieren.
Die Ergebnisse der Clusteranalysen zeigen, dass es mit Hilfe der Indikatoren tatsächlich möglich ist, auf der Interviewerebene gefälschte Daten von den echten Daten zu trennen. Mit Bootstrapp-Analysen werden Voraussetzungen einer leistungsfähigen Anwendung von ex-post-Analysen überprüft. Wie erwartet führt eine größere Anzahl an Interviews zu einer besseren Clusterbildung, was bedeutet, dass die Einstufungsqualität deutlich verbessert wird. Weitere Cluster-Verfahren und zusätzliche Indikatoren sollen in zukünftigen empirischen Arbeiten berücksichtigt werden.
