Wissenschaftliche Umfragen können keine aussagekräftigen Ergebnisse liefern, wenn ihre Datenqualität durch fehlende oder verfälschte Antworten beeinträchtigt wird. Eine Herausforderung der Sozialforschung besteht darin, solche Fehlerquellen zu erkennen und zu kontrollieren. Der Band präsentiert Erkenntnisse und Methoden zur Behandlung von Unit Nonresponse, Missing Data und verschiedene Arten von Messfehlern im Kontext von Web und Mixed-Mode Panel, Mobile Web und Faceto-Face-Befragungen. Uwe Engel ist Professor für Soziologie mit dem Schwerpunkt Statistik und empirische Sozialforschung an der Universität Bremen.
Zugriffsoptionen:
Die folgenden Links führen aus den jeweiligen lokalen Bibliotheken zum Volltext:
Der Autor schlägt ein operationalisiertes sozialwissenschaftliches Konzept vor, das es erlaubt, eine gemeinsame Messung des Einkommens in vergleichbaren Ländern durchzuführen. Dabei werden die Einkommensverteilungen, deren Implikationen durch die jeweilige Steuer- und Sozialgesetzgebungen sowie die verschiedenen Bedeutungen der Zusammensetzung der Einkommen aus unterschiedlichen Quellen berücksichtigt. Der Autor stellt einleitend Probleme der Einkommenserhebung im internationalen Vergleich vor und beschreibt ökonomische, sozialwissenschaftliche und marktforschungsorientierte Einkommenskonzepte. Als harmonisierte Umfrage werden der European Social Survey (ESS) als Vertreter sozialwissenschaftlicher Surveys dem European Community Household Panel (ECHP) als Vertreter wirtschaftswissenschaftlicher Surveys gegenübergestellt und das Konzept erarbeitet, welches das Nettohaushaltseinkommen als soziodemografische Variable bereitstellt. Dieses Konzept wird auf seine Tauglichkeit geprüft, indem es auf die Daten der ECHP angewandt wird. (ICC2)
Der Beitrag beschäftigt sich mit der befragungsbasierten Messung von objektivem Wissen. Im Gegensatz zu subjektivem Wissen, welches dann vorliegt, wenn ein Individuum glaubt etwas zu wissen, unabhängig davon, ob es richtig oder falsch ist, wird objektives Wissen als faktisch zutreffendes Wissen definiert. Faktenwissen wird somit in Anlehnung an Delli-Carpini und Keeter (1996) von solchen Kognitionen abgegrenzt, die falsch sind oder nicht hinreichend getestet werden können. Mit objektivem Wissen sind darüber hinaus Kenntnisse gemeint, die im Langzeitgedächtnis gespeichert sind und sich von solchen unterscheiden, die nicht hinreichend verarbeitet oder lediglich im Kurzzeitgedächtnis gespeichert wurden. Exemplarisch liegt das Augenmerk in den Ausführungen auf dem Bereich des politischen Wissens. Es gibt einige Divergenzen darüber, wie Wissen methodisch adäquat zu messen ist. Kontrovers diskutiert wird die Instrumentenkonstruktion und dabei insbesondere die Frage, ob die Bekundung fehlenden Wissens er- oder entmutigt werden soll. Auf diese Kontroverse wird hier genauso eingegangen wie auf Operationalisierungsprobleme, die mit dem Schwierigkeitsgrad und der Trennschärfe von Fragen zu tun haben. Thematisiert werden überdies Probleme, die damit verbunden sind, dass herkömmliche Surveys nur unzureichend motivieren, Informationen abzurufen. Ziel des Artikels ist es somit, die Schwierigkeiten bei der Konstruktion geeigneter Instrumente zur Wissensmessung aufzuzeigen, die Auswirkungen divergierender Methoden darzulegen und den Sinn für zweckmäßige Wissensmessungen zu schärfen. Trotz der Vielzahl an Schwierigkeiten, die mit der befragungsbasierten Messung von Faktenwissen verbunden sind, können gewissenhaft entwickelte Instrumente wichtige Informationen liefern, so z.B. zur Beantwortung der Frage, wie Wissen in der Bevölkerung strukturiert ist oder wie Wissen Einstellungen beeinflusst. (ICG2)
In: Die Natur der Gesellschaft: Verhandlungen des 33. Kongresses der Deutschen Gesellschaft für Soziologie in Kassel 2006. Teilbd. 1 u. 2, S. 4006-4017
"In den letzten Jahren haben international vergleichende empirische Studien an Bedeutung gewonnen. Hier diskutieren die Verfasser die Stärken und Schwächen der Einkommensabfrage in Umfragen mit Hilfe eines über die teilnehmenden Länder harmonisierten Fragebogens. Sie zeigen den Einfluss von nationalen Besonderheiten der Sozialordnung, der Wirtschaftsordnung und der nationalen Steuergesetzgebungen auf das Antwortverhalten des Befragten und die Einkommensmessung. Der European Social Survey misst das gesamte Nettohaushaltseinkommen mit einem einfachen Umfrageinstrument. Sie vergleichen die Resultate dieser Umfrage mit der Einkommensmessung des European Community Household Panels, das ein umfangreiches und detailliertes Feldinstrument benutzt. Zur Erhebung international vergleichender Umfragedaten über das Nettohaushaltseinkommen schlagen sie ein Instrument vor, das die nationalen Besonderheiten in den jeweiligen Einkommensstrukturen und den nationalen Gewohnheiten berücksichtigt und so vergleichende Daten der Sozialforschung bereitstellt." (Autorenreferat)
"Zu den vielen möglichen Kritikpunkten an Umfrageergebnissen gehören Verzerrungen durch gefälschte Interviews. Diese Bedenken werden analytisch und empirisch untersucht. Interviewfälschungen sind ein Spezialfall von 'Missing-Data-Problemen' und können daher mit denselben Formeln abgeschätzt werden. Die entsprechenden analytischen Ergebnisse legen für einfache Statistiken nur kleine Verzerrungen nahe. Da solche analytischen Abschätzungen für multivariate Statistiken kaum möglich sind, werden mögliche Verzerrungseffekte mit verschiedenen Methoden empirisch untersucht. Die Ergebnisse einer Untersuchung zur 'Qualität' gefälschter Interviews mit 22 'Interviewern', die je 10 'Interviews'durchführten, zeigt zwar u.a. eine größere Konsistenz gefälschter Interviews im Vergleich zu echten Interviews, aber keine größeren Unterschiede zu den echten Daten. Diese Fälschungen hätten sich weder auf die Berechnung univariater Statistiken noch auf mulitvariate Analysen ausgewirkt, wenn sie 5 Prozent Bestandteil eines Datensatzes gewesen wären. Schließlich wird mit einigen Simulationen die Robustheit eines Regressionsmodells selbst gegenüber höheren Anteilen von Interviewfälschungen demonstriert. Falls die Abschätzung möglicher Effekte von Interviewfälschungen notwendig erscheint, müssen ähnliche Simulationen in jedem Einzelfall durchgeführt werden." (Autorenreferat)
Da das höchste erreichte Bildungsniveau in deutschen Umfragen gewöhnlich durch spezifisch deutsche Schul- und Ausbildungsabschlüsse erfasst wird, sind die entsprechenden Fragebogenitems für Personen mit ausländischen Abschlüssen oftmals schwer zu beantworten. Dieser Beitrag gibt einen Überblick über verschiedene Ansätze zur Messung von Bildung bei Personen mit ausländischen Bildungsabschlüssen, insbes. Zugewanderten, und ihre Eignung für verschiedene Erhebungssituationen. Zunächst wird die Codierung der Bildungsvariablen thematisiert. Diese orientiert sich entweder am deutschen Bildungssystem oder an Klassifikationen, die für den internationalen Vergleich entwickelt wurden. Auch die Herleitung von Bildungsjahren ist eine Möglichkeit, die Daten vergleichbar zu codieren. Dann werden verschiedene Erhebungsinstrumente vorgestellt, die das Problem auf unterschiedliche Art und Weise zu lösen versuchen: die Verwendung deutscher Standarditems, die Verwendung generischer Antwortkategorien, die Verwendung herkunftslandsspezifischer Antwortkategorien, und der Einsatz eines datenbankbasierten Tools. Die Lösungen, die im Sozio-oekonomischen Panel (SOEP) und im Rahmen der National Education Panel Study (NEPS) entwickelt wurden, werden ausführlich dargestellt. Zum Schluss werden weiterhin bestehende Interpretationsprobleme und Einschränkungen diskutiert, die auch die Passung des Indikators "höchster Bildungsabschluss" für verschiedene theoretische Konzepte bei Migrantinnen und Migranten betreffen.
The formulation of theories and hypotheses is done at the level of concepts. These concepts are often tested by operationalizing them using survey questions. However, measurement errors make it impossible for survey questions to measure the concepts of interest perfectly. In order to correct for measurement errors, information is needed about their size, or the size of their complement, the quality. For the USA and Europe, a lot is already known about the quality of questions, but this has not yet been studied in some other parts of the world. In this paper, we use a multitrait-multimethod approach to estimate the quality of 27 questions in Mexico and Colombia. These initial results on quality for Central and Latin American countries show quality estimates that are relatively similar in terms of their relationships with the scale characteristics to what has been observed in the USA and Europe. (JPLA)
Die Autoren entwickeln ein Instrumentarium für die Abfrage von Ethnizität in der international vergleichenden empirischen Sozialforschung. Eingangs arbeiten sie Elemente von 'Ethnizität' heraus. Diese sind die Unterscheidung von Gruppen nach legalen Rechten und nach kulturellem Hintergrund sowie nach der Teilhabe am Wirtschaftsleben, die Zugehörigkeit zu einer ethnischen Gruppe, Migrationshintergrund und Integration von Migranten. Zusammen mit den Elementen der Abfragen, die sich in amtlichen Statistiken finden - Staatsangehörigkeit, ethnische Bevölkerungsgruppe, Geburtsland, Aufenthaltsdauer, Geburtsland beider Elternteile, dominierende Sprache - entwickeln die Verfasser ein Instrumentarium, das 'Ethnizität' als Hintergrundvariable enthält und eine größere Tiefe der Abfrage ermöglicht, um den Forschungsgegenstand 'Migration' zu erfassen. Das Instrumentarium, so die Autoren, ist reduzierbar, die Abfrage bleibt allerdings auf dem Niveau der Hintergrundvariablen. (ICC)
Die Autoren befassen sich in der vorliegenden Studie mit dem Problem der Operationalisierung von Statusvariablen bei sozialwissenschaftlichen Umfragen. Dabei geht es sowohl um die Erfassung der subjektiven Statusselbstzuweisung des Befragten als auch um die Messung einer objektiven Verortung in der gesellschaftlichen Statushierarchie. Im ersten Teil wird die Bedeutung der Kategorien zur subjektiven Schichteinschätzung anhand von zwei Fallstudien aus Ost- und Westdeutschland untersucht. In den beiden Umfragen sollte geprüft werden, was die Betroffenen mit den üblicherweise vorgegebenen Schichtkategorien verbinden. Es zeigt sich, daß im Osten Deutschlands bei der Schichteinschätzung neben den Variablen 'Beruf', 'Bildung' und 'Einkommen' auch die individuelle Leistung eine große Rolle spielt. Gegenstand des zweiten Teils sind die Instrumente zur Status-Selbsteinschätzung, das Kategoriensystem und die Rang-Skala. Im dritten Teil wird ausgehend von einer Umfrage mit rund 3.000 Befragten aus den drei üblichen Variablen 'Bildung', 'Prestige' und 'Einkommen' und demographischen Variablen ein Index 'sozioökonomischer Status' berechnet. Es zeigt sich, daß mit diesem Index keine objektive Schichtzuordnung möglich ist. Die Autoren fordern deshalb ein Umdenken: 'Die Handlungsfelder, und damit die Soziallage der Handelnden, derer sie sich bewußt sind, sollte nicht mehr über Tätigkeitsfelder, sondern über unterschiedliche Informations- und Kommunikationsebenen definiert werden.' (psz)
Der Bericht stellt die inhaltlichen Schwerpunkte des International Social Survey Program (ISSP) dar, beschreibt die Durchführung und Ergebnisse der Pretests und faßt relevante Informationen zur Haupterhebung zusammen. Ziel des ISSP ist es, Daten für die empirische Sozialforschung bereitzustellen, die sich für international vergleichende und/ oder Zeitreihen-Analysen eignen. Im Rahmen dieses Forschungsprogramms werden in verschiedenen Ländern im jährlichen Turnus Meinungen, Einstellungen, Werthaltungen und die demographische Struktur erhoben, um eine kontinuierliche, an inhaltlich relevanten Fragen orientierte und methodisch anspruchsvolle Datengrundlage für sekundäranalytische Forschungsvorhaben zu schaffen. Der Pretest-Fragebogen enthielt Operationalisierungen der inhaltlichen Dimension 'soziale Ungleichheit' im ökonomischen, politischen, sozialen und kulturellen Bereich. Es soll die Perzeption bestehender Ungleichheiten, die Beurteilung der Möglichkeiten von sozialem Wandel sowie die Präferenzen und Normen der Befragten ermittelt werden. Die Hauptuntersuchung umfaßt als Grundgesamtheit alle Personen mit deutscher Staatsangehörigkeit in der Bundesrepublik und West-Berlin über 18 Jahre. Es wurde nach einem dreistufigen Zufallsverfahren ausgewählt. (HN)
'Die Messung subjektiver Wahrscheinlichkeiten ist ein zentrales Anliegen vieler Bevölkerungssurveys zu selbstberichteter Delinquenz (z. B. ALLBUS 1990 und 2000). Ein bekanntes Problem ist hierbei die subjektive Überschätzung von Risiken im Zusammenhang mit seltenen Ereignissen. Fehler in der Risikoeinschätzung (z. B. 'Nicht-Berücksichtigung von Basisraten' oder 'Überschätzung') können sowohl auf kognitive Heuristiken der Befragten als auch auf Eigenschaften der Items zurückgeführt werden. Der erste Teil des Beitrags diskutiert und vergleicht Strategien und Formate der Messung von Wahrscheinlichkeiten, insbesondere Häufigkeiten versus Prozente. Hierbei zeigt sich, dass die Abfrage von Basisraten in Form von Häufigkeiten einen biasreduzierenden Effekt auf die Wahrscheinlichkeitseinschätzung seltener Ereignisse ausübt. Im zweiten Teil des Beitrags werden die theoretischen Vorteile von Häufigkeitsskalen in einen zweistufigen Messansatz subjektiver Wahrscheinlichkeiten überführt und durch ein Methodenexperiment empirisch belegt. Am Beispiel von subjektiven Entdeckungswahrscheinlichkeiten beim Schwarzfahren wird ein Kontexteffekt des Häufigkeitsformats demonstriert, der die Risikoüberschätzung seltener Ereignisse verringert. Ein solches Format könnte in der Praxis der empirischen Sozialforschung vermehrt Anwendung finden.' (Autorenreferat)
Chapter 1 investigates whether the introduction of a statutory minimum wage in Germany raised hiring standards. The difference-in-differences analysis exploits variation in employers' pre-reform wage structure. I proxy realized hiring standards by establishments' minimum hire quality, using worker fixed effects estimated before the analysis period as a measure of both observed and unobserved ability. I find that the minimum wage increased minimum hire quality by 18.9% of a standard deviation. Using pre-reform survey information I show that the effect is increasing in the importance of screening to the establishment's hiring process, strengthening its interpretation as a change in hiring standards. Chapter 2 estimates the causal effect of employment protection on firms' worker selection. We study a policy change that reduced dismissal costs for small Swedish firms. Our difference-in-differences analysis of firms' hiring uses individual ability measures including estimated worker fixed effects and cognitive test scores. We find that the reform reduced minimum hire quality by 5% of a standard deviation, half of which we can attribute to firms' hiring becoming less selective. Our results help discriminate between existing theories, supporting the prediction that firms shift their hiring standards in response to changes in dismissal costs. Chapter 3 assesses the performance of estimated AKM worker effects as an ability proxy. Using Swedish register data, we study the correlation between AKM estimates and cognitive test scores from the military draft. We find a correlation of roughly .4, more than three quarters of machine-learning algorithms' predictive performance. However, we find that the worker effects' prediction performance varies with observed worker and firm characteristics. Our analyses show that the worker effects "contain" both skill-related and non-skill attributes while broadly supporting the estimation choices of existing applications.
Die Publikation dokumentiert das Untersuchungsdesign und die psychometrischen Ergebnisse einer Studie von 2004/2005 zu Bewältigungskompetenzen in Partnerschaften und ihrer Transmission auf angehörige Kinder, die im Rahmen des DFG-Schwerpunktprogramms 'Beziehungs- und Familienentwicklung' durchgeführt wird. So werden in einem ersten Schritt die Stichprobenrekrutierung und die Untersuchungsprozeduren der teilnehmenden Eltern und Partner, der Kinder sowie der Lehrkräfte in Form von Befragungen beschrieben. Der zweite Schritt umfasst schließlich die eingesetzten Erhebungsinstrumente bei der Befragung und deren Ergebnisse. Die Sammlung beginnt mit den Erwachsenen-Fragebögen, die von 733 Elternpersonen bzw. verheirateten Personen ohne Kinder allein und anonym ausgefüllt werden. Es folgen die Kinderfragebögen, die den Kindern (Erst- und Zweitklässler) vorgelesen werden, die experimentelle Beobachtungssituation, die an einer Intensivstichprobe von 72 Kindern realisiert wird, mit nachfolgendem Validierungs-Interview zu dieser Beobachtung. Die Fragebögen, mit denen die 72 Lehrkräfte die Kinder beurteilen, folgen zum Schluss. Im Anhang sind alle Materialen (Anschreiben, Fragebögen, Interview-Leitfaden, Ablaufpläne, Codierschema) aufgeführt. Zu jedem Fragebogen wird eine kurze Darstellung seiner Herkunft und theoretischen Grundlagen gegeben, wo möglich eine Quelle verzeichnet und anschließend die Ergebnisse der vorgenommenen psychometrischen Untersuchungen berichtet. Psychometrische Untersuchungen werden nach dem von Schmitt, Dalbert und Montanda (1983) vorgeschlagenen Standards vorgenommen. Aufgrund der entsprechenden Kennwerte werden sodann Entscheidungen zur Güte und Dimensionalität der Instrumente getroffen. Von diesen Entscheidungen hängt es ab, welche Maße für die später folgenden inhaltlichen Analysen gebildet werden. (ICG2)