Wissenschaftliche Umfragen können keine aussagekräftigen Ergebnisse liefern, wenn ihre Datenqualität durch fehlende oder verfälschte Antworten beeinträchtigt wird. Eine Herausforderung der Sozialforschung besteht darin, solche Fehlerquellen zu erkennen und zu kontrollieren. Der Band präsentiert Erkenntnisse und Methoden zur Behandlung von Unit Nonresponse, Missing Data und verschiedene Arten von Messfehlern im Kontext von Web und Mixed-Mode Panel, Mobile Web und Faceto-Face-Befragungen.
Der Autor schlägt ein operationalisiertes sozialwissenschaftliches Konzept vor, das es erlaubt, eine gemeinsame Messung des Einkommens in vergleichbaren Ländern durchzuführen. Dabei werden die Einkommensverteilungen, deren Implikationen durch die jeweilige Steuer- und Sozialgesetzgebungen sowie die verschiedenen Bedeutungen der Zusammensetzung der Einkommen aus unterschiedlichen Quellen berücksichtigt. Der Autor stellt einleitend Probleme der Einkommenserhebung im internationalen Vergleich vor und beschreibt ökonomische, sozialwissenschaftliche und marktforschungsorientierte Einkommenskonzepte. Als harmonisierte Umfrage werden der European Social Survey (ESS) als Vertreter sozialwissenschaftlicher Surveys dem European Community Household Panel (ECHP) als Vertreter wirtschaftswissenschaftlicher Surveys gegenübergestellt und das Konzept erarbeitet, welches das Nettohaushaltseinkommen als soziodemografische Variable bereitstellt. Dieses Konzept wird auf seine Tauglichkeit geprüft, indem es auf die Daten der ECHP angewandt wird. (ICC2)
Der Beitrag beschäftigt sich mit der befragungsbasierten Messung von objektivem Wissen. Im Gegensatz zu subjektivem Wissen, welches dann vorliegt, wenn ein Individuum glaubt etwas zu wissen, unabhängig davon, ob es richtig oder falsch ist, wird objektives Wissen als faktisch zutreffendes Wissen definiert. Faktenwissen wird somit in Anlehnung an Delli-Carpini und Keeter (1996) von solchen Kognitionen abgegrenzt, die falsch sind oder nicht hinreichend getestet werden können. Mit objektivem Wissen sind darüber hinaus Kenntnisse gemeint, die im Langzeitgedächtnis gespeichert sind und sich von solchen unterscheiden, die nicht hinreichend verarbeitet oder lediglich im Kurzzeitgedächtnis gespeichert wurden. Exemplarisch liegt das Augenmerk in den Ausführungen auf dem Bereich des politischen Wissens. Es gibt einige Divergenzen darüber, wie Wissen methodisch adäquat zu messen ist. Kontrovers diskutiert wird die Instrumentenkonstruktion und dabei insbesondere die Frage, ob die Bekundung fehlenden Wissens er- oder entmutigt werden soll. Auf diese Kontroverse wird hier genauso eingegangen wie auf Operationalisierungsprobleme, die mit dem Schwierigkeitsgrad und der Trennschärfe von Fragen zu tun haben. Thematisiert werden überdies Probleme, die damit verbunden sind, dass herkömmliche Surveys nur unzureichend motivieren, Informationen abzurufen. Ziel des Artikels ist es somit, die Schwierigkeiten bei der Konstruktion geeigneter Instrumente zur Wissensmessung aufzuzeigen, die Auswirkungen divergierender Methoden darzulegen und den Sinn für zweckmäßige Wissensmessungen zu schärfen. Trotz der Vielzahl an Schwierigkeiten, die mit der befragungsbasierten Messung von Faktenwissen verbunden sind, können gewissenhaft entwickelte Instrumente wichtige Informationen liefern, so z.B. zur Beantwortung der Frage, wie Wissen in der Bevölkerung strukturiert ist oder wie Wissen Einstellungen beeinflusst. (ICG2)
In: Die Natur der Gesellschaft: Verhandlungen des 33. Kongresses der Deutschen Gesellschaft für Soziologie in Kassel 2006. Teilbd. 1 u. 2, S. 4006-4017
"In den letzten Jahren haben international vergleichende empirische Studien an Bedeutung gewonnen. Hier diskutieren die Verfasser die Stärken und Schwächen der Einkommensabfrage in Umfragen mit Hilfe eines über die teilnehmenden Länder harmonisierten Fragebogens. Sie zeigen den Einfluss von nationalen Besonderheiten der Sozialordnung, der Wirtschaftsordnung und der nationalen Steuergesetzgebungen auf das Antwortverhalten des Befragten und die Einkommensmessung. Der European Social Survey misst das gesamte Nettohaushaltseinkommen mit einem einfachen Umfrageinstrument. Sie vergleichen die Resultate dieser Umfrage mit der Einkommensmessung des European Community Household Panels, das ein umfangreiches und detailliertes Feldinstrument benutzt. Zur Erhebung international vergleichender Umfragedaten über das Nettohaushaltseinkommen schlagen sie ein Instrument vor, das die nationalen Besonderheiten in den jeweiligen Einkommensstrukturen und den nationalen Gewohnheiten berücksichtigt und so vergleichende Daten der Sozialforschung bereitstellt." (Autorenreferat)
Da das höchste erreichte Bildungsniveau in deutschen Umfragen gewöhnlich durch spezifisch deutsche Schul- und Ausbildungsabschlüsse erfasst wird, sind die entsprechenden Fragebogenitems für Personen mit ausländischen Abschlüssen oftmals schwer zu beantworten. Dieser Beitrag gibt einen Überblick über verschiedene Ansätze zur Messung von Bildung bei Personen mit ausländischen Bildungsabschlüssen, insbes. Zugewanderten, und ihre Eignung für verschiedene Erhebungssituationen. Zunächst wird die Codierung der Bildungsvariablen thematisiert. Diese orientiert sich entweder am deutschen Bildungssystem oder an Klassifikationen, die für den internationalen Vergleich entwickelt wurden. Auch die Herleitung von Bildungsjahren ist eine Möglichkeit, die Daten vergleichbar zu codieren. Dann werden verschiedene Erhebungsinstrumente vorgestellt, die das Problem auf unterschiedliche Art und Weise zu lösen versuchen: die Verwendung deutscher Standarditems, die Verwendung generischer Antwortkategorien, die Verwendung herkunftslandsspezifischer Antwortkategorien, und der Einsatz eines datenbankbasierten Tools. Die Lösungen, die im Sozio-oekonomischen Panel (SOEP) und im Rahmen der National Education Panel Study (NEPS) entwickelt wurden, werden ausführlich dargestellt. Zum Schluss werden weiterhin bestehende Interpretationsprobleme und Einschränkungen diskutiert, die auch die Passung des Indikators "höchster Bildungsabschluss" für verschiedene theoretische Konzepte bei Migrantinnen und Migranten betreffen.
"Zu den vielen möglichen Kritikpunkten an Umfrageergebnissen gehören Verzerrungen durch gefälschte Interviews. Diese Bedenken werden analytisch und empirisch untersucht. Interviewfälschungen sind ein Spezialfall von 'Missing-Data-Problemen' und können daher mit denselben Formeln abgeschätzt werden. Die entsprechenden analytischen Ergebnisse legen für einfache Statistiken nur kleine Verzerrungen nahe. Da solche analytischen Abschätzungen für multivariate Statistiken kaum möglich sind, werden mögliche Verzerrungseffekte mit verschiedenen Methoden empirisch untersucht. Die Ergebnisse einer Untersuchung zur 'Qualität' gefälschter Interviews mit 22 'Interviewern', die je 10 'Interviews'durchführten, zeigt zwar u.a. eine größere Konsistenz gefälschter Interviews im Vergleich zu echten Interviews, aber keine größeren Unterschiede zu den echten Daten. Diese Fälschungen hätten sich weder auf die Berechnung univariater Statistiken noch auf mulitvariate Analysen ausgewirkt, wenn sie 5 Prozent Bestandteil eines Datensatzes gewesen wären. Schließlich wird mit einigen Simulationen die Robustheit eines Regressionsmodells selbst gegenüber höheren Anteilen von Interviewfälschungen demonstriert. Falls die Abschätzung möglicher Effekte von Interviewfälschungen notwendig erscheint, müssen ähnliche Simulationen in jedem Einzelfall durchgeführt werden." (Autorenreferat)
The formulation of theories and hypotheses is done at the level of concepts. These concepts are often tested by operationalizing them using survey questions. However, measurement errors make it impossible for survey questions to measure the concepts of interest perfectly. In order to correct for measurement errors, information is needed about their size, or the size of their complement, the quality. For the USA and Europe, a lot is already known about the quality of questions, but this has not yet been studied in some other parts of the world. In this paper, we use a multitrait-multimethod approach to estimate the quality of 27 questions in Mexico and Colombia. These initial results on quality for Central and Latin American countries show quality estimates that are relatively similar in terms of their relationships with the scale characteristics to what has been observed in the USA and Europe. (JPLA)
Chapter 1 investigates whether the introduction of a statutory minimum wage in Germany raised hiring standards. The difference-in-differences analysis exploits variation in employers' pre-reform wage structure. I proxy realized hiring standards by establishments' minimum hire quality, using worker fixed effects estimated before the analysis period as a measure of both observed and unobserved ability. I find that the minimum wage increased minimum hire quality by 18.9% of a standard deviation. Using pre-reform survey information I show that the effect is increasing in the importance of screening to the establishment's hiring process, strengthening its interpretation as a change in hiring standards. Chapter 2 estimates the causal effect of employment protection on firms' worker selection. We study a policy change that reduced dismissal costs for small Swedish firms. Our difference-in-differences analysis of firms' hiring uses individual ability measures including estimated worker fixed effects and cognitive test scores. We find that the reform reduced minimum hire quality by 5% of a standard deviation, half of which we can attribute to firms' hiring becoming less selective. Our results help discriminate between existing theories, supporting the prediction that firms shift their hiring standards in response to changes in dismissal costs. Chapter 3 assesses the performance of estimated AKM worker effects as an ability proxy. Using Swedish register data, we study the correlation between AKM estimates and cognitive test scores from the military draft. We find a correlation of roughly .4, more than three quarters of machine-learning algorithms' predictive performance. However, we find that the worker effects' prediction performance varies with observed worker and firm characteristics. Our analyses show that the worker effects "contain" both skill-related and non-skill attributes while broadly supporting the estimation choices of existing applications.
'Das Erfassen von Einkommen wird in der Umfrageforschung auf sehr unterschiedliche Art durchgeführt, unterschiedlich hinsichtlich der Definition des Begriffs, der Operationalisierung der Fragestellung, des Umfangs der Abfrage und den Strategien zur Reduktion von Non-Response. Verantwortlich hierfür ist einerseits die Forschungsfrage (welchen Stellenwert hat das Einkommen für die Analyse) und andererseits der 'Respekt', den der Forscher und seine Interviewer vor dieser Frage haben (welches Antwortverhalten wird bei der Abfrage von Einkommen unterstellt). Bewegt man sich auf der Ebene von internationalen Vergleichen, so sind zusätzlich kulturelle Unterschiede in der Handhabung von Statistik und Umfragen zu berücksichtigen. Ziel dieser Ausführungen kann es nicht sein, das einzig wahre Instrument für die Messung von Einkommen in der Umfrageforschung - am besten international gültig - darzustellen: Es gibt weder ein einziges noch ein wahres Meßinstrument. Ziel ist es, dem Forscher aufzuzeigen, wie die Wirklichkeit in der Einkommensmessung aussieht und was national und international vergleichend bei der Einkommensmessung zu berücksichtigen ist. Hierzu werden wir unterschiedliche Operationalisierungen für die Erfassung von Einkommen vorstellen und die Punkte herausarbeiten, die der Forscher bei einer vergleichenden Analyse von Einkommen berücksichtigen sollte.' (Autorenreferat)
'Die Messung subjektiver Wahrscheinlichkeiten ist ein zentrales Anliegen vieler Bevölkerungssurveys zu selbstberichteter Delinquenz (z. B. ALLBUS 1990 und 2000). Ein bekanntes Problem ist hierbei die subjektive Überschätzung von Risiken im Zusammenhang mit seltenen Ereignissen. Fehler in der Risikoeinschätzung (z. B. 'Nicht-Berücksichtigung von Basisraten' oder 'Überschätzung') können sowohl auf kognitive Heuristiken der Befragten als auch auf Eigenschaften der Items zurückgeführt werden. Der erste Teil des Beitrags diskutiert und vergleicht Strategien und Formate der Messung von Wahrscheinlichkeiten, insbesondere Häufigkeiten versus Prozente. Hierbei zeigt sich, dass die Abfrage von Basisraten in Form von Häufigkeiten einen biasreduzierenden Effekt auf die Wahrscheinlichkeitseinschätzung seltener Ereignisse ausübt. Im zweiten Teil des Beitrags werden die theoretischen Vorteile von Häufigkeitsskalen in einen zweistufigen Messansatz subjektiver Wahrscheinlichkeiten überführt und durch ein Methodenexperiment empirisch belegt. Am Beispiel von subjektiven Entdeckungswahrscheinlichkeiten beim Schwarzfahren wird ein Kontexteffekt des Häufigkeitsformats demonstriert, der die Risikoüberschätzung seltener Ereignisse verringert. Ein solches Format könnte in der Praxis der empirischen Sozialforschung vermehrt Anwendung finden.' (Autorenreferat)
In ihrem Buch 'Linear Panel Analysis' (1981) schlagen Kessler und Greenberg eine sehr spezifische Art der Beurteilung von Veränderungen, die bei einer Panel-Befragung gemessen werden, vor. Es wird die Varianz der Differenz zwischen zwei Meßzeitpunkten additiv in zwei positive Komponenten zerlegt, die in intuitiv naheliegender Weise eine Interpretation als Maß für strukturellen bzw. individuellen Wandel nahelegen. Die Kessler-Greenberg-Zerlegung wird kritisch gewürdigt und es wird gezeigt, daß eine Weiterführung ihrer Gedankengänge zu einem normierten Maß führt, das sich gut zur vergleichenden Beurteilung von Komponenten der Veränderung eignet und das auch Hinweise auf die Qualität von Fragetexten geben kann. Die Anwendbarkeit der Kessler-Greenberg-Zerlegung wird für vier Variablen aus dem Datensatz eines dreiwelligen Panels aus dem Jahr 1984 demonstriert. (GB)
"Es existiert kaum ein Forschungsfragebogen in den Sozialwissenschaften, in dem nicht routinemäßig auch das Geschlecht abgefragt wird. Die entsprechende Frage samt Antwortalternativen scheint aus Sicht der Umfragepraxis simpel: Man lässt die Befragten einfach 'männlich' oder 'weiblich' ankreuzen. Der vorliegende Beitrag problematisiert diese Erfassung von Geschlecht in Forschungsfragebögen. Es werden unterschiedliche Operationalisierungsformen (Einzel-Items und psychometrische Skalen) vorgestellt und aus Sicht der Gender- und Queer-Theorie, aber auch der Mess- und Umfragetheorie sowie der Forschungsethik kritisch hinsichtlich ihrer Vor- und Nachteile diskutiert. Der Beitrag will dazu anregen, a) Geschlecht reflektierter zu operationalisieren, b) verschiedene Operationalisierungsformen in zukünftigen Methodenstudien zu prüfen und c) die Operationalisierungsprobleme beim Konstrukt "Geschlecht" im Rahmen der Methodenlehre ausdrücklich zu behandeln." (Autorenreferat)
Die Autoren befassen sich in der vorliegenden Studie mit dem Problem der Operationalisierung von Statusvariablen bei sozialwissenschaftlichen Umfragen. Dabei geht es sowohl um die Erfassung der subjektiven Statusselbstzuweisung des Befragten als auch um die Messung einer objektiven Verortung in der gesellschaftlichen Statushierarchie. Im ersten Teil wird die Bedeutung der Kategorien zur subjektiven Schichteinschätzung anhand von zwei Fallstudien aus Ost- und Westdeutschland untersucht. In den beiden Umfragen sollte geprüft werden, was die Betroffenen mit den üblicherweise vorgegebenen Schichtkategorien verbinden. Es zeigt sich, daß im Osten Deutschlands bei der Schichteinschätzung neben den Variablen 'Beruf', 'Bildung' und 'Einkommen' auch die individuelle Leistung eine große Rolle spielt. Gegenstand des zweiten Teils sind die Instrumente zur Status-Selbsteinschätzung, das Kategoriensystem und die Rang-Skala. Im dritten Teil wird ausgehend von einer Umfrage mit rund 3.000 Befragten aus den drei üblichen Variablen 'Bildung', 'Prestige' und 'Einkommen' und demographischen Variablen ein Index 'sozioökonomischer Status' berechnet. Es zeigt sich, daß mit diesem Index keine objektive Schichtzuordnung möglich ist. Die Autoren fordern deshalb ein Umdenken: 'Die Handlungsfelder, und damit die Soziallage der Handelnden, derer sie sich bewußt sind, sollte nicht mehr über Tätigkeitsfelder, sondern über unterschiedliche Informations- und Kommunikationsebenen definiert werden.' (psz)
In der Arbeit wird untersucht, welchen Beitrag Schulen dazu leisten können, dass Schülerinnen und Schüler zur Teilhabe an der Demokratie befähigt werden. Ausgangspunkt ist die Feststellung, dass sich die öffentliche Wahrnehmung der Qualität von Schule in den vergangenen Jahren zunehmend darauf ausrichtet, welche Leistung Schülerinnen und Schüler erbringen. Nicht(fach)leistungsbezogene Kriterien, die ebenfalls ein normativ begründbares und einzuforderndes Ergebnis von institutionellen Beschulungsprozessen sind, werden dagegen in der politischen, wissenschaftlichen und medialen Auseinandersetzung weit weniger reflektiert. Hierbei wird jedoch übersehen, dass der Schule nicht nur die Aufgabe der Wissensvermittlung zukommt, sondern auch der Auftrag zur umfassenden Persönlichkeitsbildung von Schülerinnen und Schülern. Vor diesem Hintergrund wird das Konstrukt demokratischer Handlungskompetenzen als Ergebnis schulischer Erziehungs- und Sozialisationseffekte auf der Grundlage demokratie- und kompetenztheoretischer Überlegungen begrifflich-konzeptuell entfaltet. Als Facetten dieses mehrdimensionalen Konstrukts werden beispielsweise das politische Wissen und Interesse, die Überzeugung, politisch kompetent zu sein, die Bereitschaft zu politischem Diskurs, zu gezielter Informationssuche und zu gesellschaftlicher Verantwortungsübernahme einbezogen. Es wird postuliert, dass eine spezifische Verfasstheit der Schule, die als demokratische Schulkultur organisations- und schulqualitätstheoretisch konzeptualisiert wird, dem Erwerb solcher Kompetenzen förderlich ist. Auf der Grundlage einer Interviewstudie wird zunächst qualitativ untersucht, welche Konzeptionen des zentralen Konstrukts demokratischer Schulkultur bei den an Schule Beteiligten vorherrschen und wie sich der demokratische Auftrag der Schule im konkreten schulischen Geschehen niederschlägt. Es kann aufgezeigt werden, dass demokratiespezifische Bezüge – Notwendigkeit zum pluralistischen Diskurs, Fördern von Mündigkeit, kritische Reflexion bestehender Verhältnisse – bedeutend seltener vorzufinden sind als die Vorstellung eines auf Gemeinschaftlichkeit, Solidarität und gemeinsamer Verantwortung ausgerichteten Miteinanders. In der quantitativen Studie werden auf der Basis eines umfassenden Datensatzes von ca. 6700 Schülerinnen und Schülern, 3500 Lehrkräften und 137 Schulleitungen die Zusammenhänge zwischen demokratischer Schulkultur und demokratischen Handlungskompetenzen analysiert. Der hierarchischen Struktur der Daten gemäß, werden mit Hilfe von Mehrebenenregressionsanalysen individuelle Effekte von denen der Organisationsebene (Schule) analytisch getrennt. Es kann gezeigt werden, dass jenseits von individuellen Voraussetzungen – Geschlecht, Migrations- und familiärer Hintergrund – systematische Effekte der Schulkultur auf das Niveau demokratischer Handlungskompetenzen bestehen. Dabei erweisen sich nicht solche schulischen Merkmale als bedeutsam, die allgemeine Schulqualitätskonzepte beschreiben, wie beispielsweise die Kooperation der Lehrkräfte oder die aktive Elternarbeit, sondern vor allem auf demokratieförderliche Aspekte ausgerichtete Faktoren, wie zum Beispiel die Unterstützung eines pluralistischen, offenen Diskurses, die Verlebendigung demokratischer Prinzipien oder die Abwesenheit von gewaltsamen Formen der Konfliktlösung. Ausblickend verweist die Arbeit insbesondere auf methodologische Desiderata, die für das Paradigma der Schulqualitätsforschung insgesamt gelten: So wird in der Betrachtung hierarchischer Daten häufig eine Ebene, die nicht im Zentrum des Interesses liegt, ignoriert; was jedoch unter Umständen zu einer Verzerrung der geschätzten Effekte führt. Darüber hinaus wurde deutlich, dass es sich bei einer demokratischen Schulkultur offenbar um ein eigenständiges, über den allgemeinen Qualitätsbegriff hinausgehendes Qualitätsmerkmal von Schule handelt, was jedoch in weiteren Studien sowohl quantitativ als auch qualitativ – beispielsweise im Zuge eine kommunikativen Validierung mit den Beteiligten – nachgewiesen werden müsste. (Autorin) ; This work examines how schools can contribute to empowering students to participate in democracy. It starts with the observation that in recent years, the public perception of school effectiveness has increasingly focused on the achievements of students. Criteria bearing no relation to (academic) achievement that likewise constitute a normatively justified outcome of school institutional processes receive far less attention in political, scientific and medial discussions. This overlooks the fact that school does not only have to fulfill the task of conveying knowledge, but it also has a commitment to developing the personalities of students in a comprehensive manner. The construct of democratic action competencies is conceptually and terminologically developed against this background, as an outcome of school-related education and socialization effects, following democracy theoretical and competence theoretical thoughts. This multi-dimensional construct includes the facets of, for example, knowledge and interest in politics, the confidence in being politically competent, the readiness to join in political discourse, to a focused search for information and to take on responsibility in society. A specific character of the school, which is conceptualized as a democratic school culture in organization and school effectiveness theoretical terms, is predicted to be beneficial to the acquisition of such competencies. In a first step, an interview study provides the basis for a qualitative examination of the conceptions of democratic school culture prevailing among the participants in the school process, and how the democratic commission of the school is evident in concrete everyday school life. It is shown that democracy-specific aspects such as the necessity for pluralistic discourse, advancement of autonomy, critical reflection of existing conditions occur far less frequently than the idea of living together on the basis of community, solidarity and shared responsibility. The quantitative study, which is based on a comprehensive set of data gained from ca. 6700 students, 3500 teachers and 137 school managers analyses the correlations between democratic school cultures and competencies for democratic action. Following the hierarchical structure of the data, multi-level regression analyses are applied to analytically discern individual effects from those of the organization level (school). Systematic effects of the school culture on levels of competence for democratic action can be proven to exist besides individual preconditions such as sex, migration and family background. Not those features of school quality are significant in this context that de-scribe general school effectiveness concepts (such as the cooperation of teachers or active parent involvement), but rather those factors that are directed towards promoting democracy, such as the support of a pluralistic, open discourse, the coming to life of democratic principles or the absence of violent forms of solving conflicts. In an outlook, the study points out desiderata particularly with regard to methodology, which pertain to the paradigm of school effectiveness re-search itself. For instance, the analysis of hierarchical data often ignores a level that does not lie at the heart of interest, but this might lead to a distortion of estimated effects. It furthermore became evident that a democratic school culture seems to be an autonomous quality feature of school that goes beyond the general concept of effectiveness. However, this would need to be proven by subsequent qualitative and quantitative studies – for example, by means of a communicative validation with the participants. (Author)