Suchergebnisse

Abstract
In large-scale educational assessments, interviewers should ensure standardized settings for all participants. However, in practice many interviewers do not strictly adhere to standardized field protocols. Therefore, systematic interviewer effects for the measurement of mathematical competence were examined in a representative sample of N = 5,139 German adults. To account for interviewers working in specific geographical regions, interviewer and area effects were disentangled using cross-classified multilevel item response models. These analyses showed that interviewer behavior distorted competence measurements, whereas regional effects were negligible. On a more general note, it is demonstrated how to identify conspicuous interviewer behavior with Bayesian multilevel models.

The National Educational Panel Study (NEPS) provides data on the development of compe-tencies across the whole life span to educational researchers and politicians. Plausible values asa measure of individual competence are estimated by explicitly including background variablescapturing individual characteristics into the corresponding Item Response Theory (IRT) models.Despite tremendous efforts in field work, missing values in the background variables can occur.Adequate estimation routines are needed to reflect the uncertainty stemming from missing valuesin the background variables in the estimation of plausible values. To achieve this, we proposeto adapt an estimation strategy based on Markov Chain Monte Carlo (MCMC) techniques thatsimultaneously addresses missing values in background variables in the estimation of plausiblevalues for the competence scores. The resulting hybrid sampling scheme establishes a one-stepapproach for the estimation of plausible values using IRT models that incorporate backgroundvariables with missing values. In a simulation study allowing to control the mechanism causingmissing values, we evaluate the validity of our approach with respect to statistical accuracy. Theresults show that the proposed approach is capable to recover the true regression parametersdescribing the relationship between latent competence scores and background variables. Theapproach is illustrated on an example using data from the NEPS on mathematical competenciesof fifth grade students.

This study aims to investigate how test scores from PIAAC (Programme for the International Assessment of Adult Competencies) can be interpreted, by comparing the PIAAC competencies literacy and numeracy to reasoning and perceptual speed. Dimensionality analyses supported, that the PIAAC competencies can be separated into a common factor overlapping with reasoning and perceptual speed, and domain-specific factors. For the common and specific factors, relations to other variables were analyzed. The nested factor for PIAAC literacy was as expected unrelated to age, positively related to learning opportunities during one's lifetime, and positively related to literacy skill use. The nested factor for PIAAC numeracy was also as expected unrelated to age, against expectation unrelated to learning opportunities during one's lifetime, and as expected positively related to numeracy skill use. Results support the validity of the intended test score interpretation for PIAAC literacy, while results for PIAAC numeracy were less clear.

Im Rahmen der OECD-Studie Programme for the International Assessment of Adult Competencies (PIAAC) wurden in 2011/2012 die Kompetenzen Erwachsener im internationalen Vergleich untersucht. Mit dem Projekt PIAAC-Longitudinal (PIAAC-L: Kooperative längsschnittliche Weiterverfolgung der PIAAC-Studie in Deutschland) wird die deutsche Stichprobe längsschnittlich mit einem erweiterten Spektrum an Fragestellungen weiter verfolgt. Mit dem Projekt soll eine inhaltlich und im Längsschnitt erweiterte Datenbasis etabliert und damit das Analysepotential der deutschen PIAAC-Daten erheblich erweitert werden. Dieses Vorhaben führt GESIS – Leibniz-Institut für Sozialwissenschaften in Kooperation mit dem Deutschen Institut für Wirtschaftsforschung (DIW Berlin) und dem Leibniz-Institut für Bildungsverläufe e.V. (LIfBi) durch. Das Projekt umfasst drei Erhebungswellen (2014, 2015, 2016) mit unterschiedlichen Schwerpunkten. Hierbei kommen hauptsächlich Kerninstrumente des Sozio-oekonomischen Panels (SOEP), aber auch Teile des PIAAC-Fragebogens sowie weitere Fragen zum persönlichen Hintergrund der Befragten (sowohl aus anderen Studien als auch z.T. neue Fragen) zum Einsatz. Darüber hinaus werden PIAAC-Instrumente zur Kompetenzmessung und Kompetenztests des Nationalen Bildungspanels (NEPS) eingesetzt.

Ausgangsbasis für PIAAC-L sind die Befragten aus PIAAC 2012 in Deutschland, die einer möglichen Wiederbefragung zugestimmt haben (Ankerpersonen). Um weitere Kontextinformationen über diese Ankerpersonen zu erhalten, werden neben ihnen auch deren Haushaltsmitglieder ab 18 Jahren befragt sowie ein umfassender Haushaltsfragebogen administriert (in Welle 1 und 3).

In 2014 (Welle 1) kamen SOEP-Kerninstrumente (für Personen und Haushalte) zum Einsatz. In 2015 (Welle 2) erfolgte nach einem ausführlichen Hintergrundfragebogen (mit Fragen aus PIAAC, NEPS, SOEP und anderen Studien) sowohl für die Ankerpersonen als auch ihre im Haushalt lebenden Partnerinnen bzw. Partner eine Kompetenzmessung. Verwendet wurden hierbei Kompetenzaufgaben aus PIAAC und NEPS. In 2016 (Welle 3) fand wiederum eine Befragung aller im Haushalt der PIAAC-Ankerperson lebenden Erwachsenen unter Einsatz von SOEP-Kerninstrumenten statt. Das SOEP-Fragenprogramm wurde hierbei um neue Fragen erweitert (z.B. zum Thema Weiterbildung). Darüber hinaus haben die Befragten auch die im SOEP eingesetzten Kurzskalen zu kognitiven Grundfähigkeiten bearbeitet. Darüber hinaus wurden kognitive Zahlenreihenaufgaben des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) als Zusatzmodul administriert.

Welle 2014
Für Welle 2014 sind SOEP-Kerninstrumente zum Einsatz gekommen. Der Haushaltsfragebogen umfasst folgende Themengebiete:
- Verschiedenes rund ums Wohnen und zu Wohnkosten, Haushaltsausstattung
- Haushaltsbezogene Einkünfte, Haushaltseinkommen, Sozialleistungen, Einkünfte aus Vermietung und Verpachtung, Kapitalvermögen
- Angaben zu Kindern und pflegebedürftigen Personen im Haushalt

Der Personenfragebogen deckt folgende Themengebiete ab:
- Herkunft und familiäre Situation
- Lebenslauf
- Formale Bildung (schulische und berufliche Bildung), berufliche Weiterbildung
- Erwerbstätigkeit und berufliche Stellung
- Einkommen und Zusatzleistungen
- Gesundheit, Einstellungen, Persönlichkeitseigenschaften, Meinungen, Zufriedenheit
- Zeitverwendung und Freizeitaktivitäten

Welle 2015
In Welle 2015 wurden ein Personeninterview (CAPI) sowie eine Kompetenzmessung mit PIAAC- und NEPS-Instrumenten durchgeführt. Für den Personenfragebogen sind Fragen aus verschiedenen Studien (z.B. PIAAC 2012, SOEP, NEPS, AES oder auch PISA) zum Einsatz gekommen, die folgende Themengebiete umfassen:
- Schulische und berufliche Bildung
- Derzeitiger Status und Erwerbstätigkeit, Einkommen
- Nutzung von Fertigkeiten bei der Arbeit (Skill Use)
- Computernutzung
- Muttersprache(n) und Fremdsprachenkenntnisse
- Selbsteinschätzung alltagsmathematische Kompetenz und Lesekompetenz
- Gesundheit, Freizeit, Freunde
- Familiäre Situation und Partnerschaft
- Persönliche Hintergrundinformationen (z.B. zu den Eltern, Staatsangehörigkeit)
- Zufriedenheit

Für die Kompetenzmessung kamen folgende Instrumente zum Einsatz:
- PIAAC Lesekompetenz
- PIAAC Alltagsmathematische Kompetenz
- NEPS Schnelles Lesen
- NEPS Lesen
- NEPS Rechnen
Analog zu PIAAC 2012 wurden die PIAAC-Aufgaben computergestützt durchgeführt. Für Personen, die die Aufgaben nicht am Computer bearbeiten konnten oder wollten, standen Aufgabenhefte zur Verfügung. Die NEPS-Aufgaben wurden, wie im NEPS üblich, ausschließlich papierbasiert administriert.

Das Design für die Kompetenzmessung unterscheidet sich für Ankerpersonen und deren Partner. Für Ankerpersonen gab es acht verschiedene Bedingungen: Zwei mit nur NEPS-Aufgaben, zwei mit nur PIAAC-Aufgaben und vier gemischte Bedingungen mit Aufgaben sowohl aus PIAAC als auch NEPS. Partner der Ankerpersonen haben ausschließlich NEPS-Aufgaben bearbeitet (zwei Bedingungen).

Welle 2016
Für Welle 2016 sind SOEP-Kerninstrumente, ergänzt um einige Erweiterungen, zum Einsatz gekommen. Zusätzlich wurden einige kognitive Aufgaben administriert.

Der Haushaltsfragebogen umfasst folgende Themengebiete:
- Verschiedenes rund ums Wohnen und zu Wohnkosten
- Haushaltsbezogene Einkünfte, Haushaltseinkommen, Sozialleistungen, Einkünfte aus Vermietung und Verpachtung
- Ausstattung des Haushaltes, Gewohnheiten
- Angaben zu Kindern

Der Personenfragebogen deckt folgende Themengebiete ab:
- Herkunft und familiäre Situation, Kindheit, kulturelle Identität
- Lebenslauf
- Formale Bildung (schulische und berufliche Bildung)
- Weiterbildung (beruflich und allgemein) [neues Modul]
- Erwerbstätigkeit und berufliche Stellung, Skill Mismatch
- Einkommen und Zusatzleistungen
- Gesundheit, Zufriedenheit, Einstellungen
- Zeitverwendung und Freizeitaktivitäten
- Lebensereignisse

Die nachfolgend aufgeführten kognitiven Grundskalen (aus dem SOEP) wurden durchgeführt:
- Tiere-Nennen-Test
- Wortschatztest
- Zeichen-Zahlen-Test

Zusatzmodul:
Eine Teilgruppe an Ankerpersonen hat Zahlenreihenaufgaben (number series) bearbeitet, welche im Rahmen einer Studie des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) durchgeführt wurden. Dieses Zusatzmodul resultiert aus einer Kooperation des PIAAC-L Projekts mit dem PIAAC Leibniz-Netzwerk. Die Zahlreihenaufgaben sind Bestandteil eines DIPF-Forschungsprojekts im PIAAC Leibniz-Netzwerk (PIAAC-LN) und gefördert durch die Leibniz-Gemeinschaft (Bewilligungsnummer SAW-2015-GESIS-2) sowie das Zentrum für internationale Bildungsvergleichsstudien (ZIB; Bewilligungsnummer ZIB2016). Dieses Vorhaben liefert ein Maß für schlussfolgerndes Denken, welches eine wichtige Ergänzung der PIAAC-L Daten darstellt.


Unter der Studiennummer sind mehrere Datensätze verfügbar:

• Persons (2014)
Einheiten: Alle PIAAC-L 2014 Teilnehmer (Ankerpersonen und Haushaltsmitglieder 18+ mit Teilnahme an der Befragung 2014)
Inhalte: Daten der Personenbefragung plus generierte Variablen

• Household (2014)
Einheiten: Alle PIAAC-L Haushalte 2014
Inhalte: Daten der Haushaltsbefragung plus generierte Variablen

• Weights (2014)
Einheiten: Ankerpersonen 2014
Inhalte: Bleibe- und Hochrechnungsfaktoren

• Persons (2015)
Einheiten: Alle PIAAC-L 2015 Teilnehmer (Ankerpersonen sowie im Haushalt lebende Partnerinnen oder Partner mit Teilnahme an der Befragung 2015)
Inhalte: Daten der Personenbefragung, generierte Variablen, Daten der kognitiven Kompetenzmessung und Kompetenzmaße (Plausible Values für PIAAC Lesekompetenz und PIAAC alltagsmathematische Kompetenz; Punktschätzer (WLE) für NEPS Lesen und NEPS Rechnen); Punktschätzer (WLE) für PIAAC Lesekompetenz und PIAAC alltagsmathematische Kompetenz

• Weights (2015)
Einheiten: Ankerpersonen 2015
Inhalte: Bleibe- und Hochrechnungsfaktoren

• Persons (2016)
­Einheiten: Alle PIAAC-L 2016 Teilnehmer (Ankerpersonen und Haushaltsmitglieder 18+ mit Teilnahme an der Befragung 2016)
­Inhalte: Daten der Personenbefragung plus generierte Variablen

• Cognit (2016)
Einheiten: Alle PIAAC-L 2016 Teilnehmer (Ankerpersonen und Haushaltsmitglieder 18+ mit Teilnahme an der Befragung 2016)
­Inhalte: Daten aus drei kurzen kognitiven Tests

• NumberSeries (2016)
Einheiten: Vorausgewählte Ankerpersonen in 2016
­Inhalte: Daten der Zahlenreihenaufgaben

• Household (2016)
Einheiten: Alle PIAAC-L Haushalte 2016
­Inhalte: Daten der Haushaltsbefragung plus generierte Variablen

• Weights (2016)
Einheiten: Ankerpersonen 2016
­Inhalte: Bleibe- und Hochrechnungsfaktoren

• Calendar
­Einheiten: Alle PIAAC-L 2014 und 2016 Teilnehmer (Ankerpersonen und Haushaltsmitglieder 18+ mit Teilnahme an der Befragung 2014 und/oder 2016)
­Inhalte: Kalendarium, Spelldaten; inkrementell wachsender Datensatz

• Registry
­Einheiten: Alle Personen, die jemals für PIAAC-L erfasst wurden
­Inhalte: Basisinformationen zur Teilnahme an den verschiedenen Befragungswellen; es handelt sich um einen inkrementell wachsenden Datensatz, der in jeder Welle um neue Informationen ergänzt wurde

Aus Datenschutzgründen sind einige Variablen unterdrückt oder vergröbert.