Programme for the International Assessment of Adult Competencies (PIAAC), log files

Abstract

Forschungsfrage: Die PIAAC 2012 Studie war das erste vollständig computer-basierte groß angelegte Assessment für Bildung. Während des Assessments wurden die Benutzerinteraktionen automatisch protokolliert. Dies bedeutet, dass die meisten Aktionen des Benutzers innerhalb des Assessment Tools aufgezeichnet und mit Zeitstempeln in separaten Daten, genannt log files, gespeichert wurden. Die log file Daten enthalten Paradaten für jeden Teilnehmer in den Domänen Lesekompetenz, alltagsmathematische Kompetenz und technologiebasiertes Problemlösen. Die Verfügbarkeit dieser log files bietet den Forschern neue Möglichkeiten, zum Beispiel das Testverhalten von Personen zu reproduzieren und das Testverhalten besser zu verstehen.

Methode: PIAAC 2012 wurde im August 2011-November 2012 mit einer repräsentativen internationalen Stichprobe von rund 166000 Erwachsenen in 24 verschiedenen Ländern durchgeführt. Der folgende Datensatz enthält die log file Dateien aus 17 Ländern. Jedem Land wurde erlaubt, sein eigenes Stichprobenverfahren zu wählen, solange die Technik eine Wahrscheinlichkeitsauswahl beinhaltet, die zu einer repräsentativen Stichprobe der PIAAC-Zielbevölkerung führt. Die Länder konnten zudem einzelne Subgruppen der Zielpopulation "oversamplen". Dänemark beinhaltet ein Oversample für Personen im Alter von 55-65 Jahren und neue Immigranten und Polen für Personen im Alter von 19-26 Jahren. Der Hintergrundfragebogen wurde in einer computergestützten persönlichen Befragung (CAPI) durchgeführt. Nach dem Fragebogen absolvierten die Befragten unter Aufsicht der Interviewer eine computer- bzw. papierbasierte Messung in einem oder zwei der folgenden Kompetenzbereiche: Lesen, Alltagsmathematik und technologiebasiertes Problemlösen.

Variablen: Mit der Hilfe des PIAAC Log Data Analyzer kann man einen Datensatz generieren. Die Log Data Extraction Software ist ein in sich geschlossenes System, das Aktivitäten wie Datenextraktion, Datenreinigung und Visualisierung von OECD-PIAAC 2012- log files verwaltet. Es dient als Grundlage für datenbezogenen Analyseaufgaben mit dem Tool selbst oder durch Export der gereinigten Daten an externe Tools, beispielsweise Statistikpakete.
Man kann die folgenden Variablen erzeugen:

General Variables:
Number of Using Help Menu, Time Till the First Interaction, Time on Task.

Specific Variables:
Final Response, Number of Highlight Events, Number of Switching Environment, Number of Using Cancel Button, Sequence of Switching Environment, Time Since Last Answer Interaction.

Navigation-specific Variables:
Number of Different Page Visits, Number of Page Revisits, Number of Page Visits, Sequence of Visited Webpages, Time-Sequence of Spent Time on Webpages.

Email-specific Variables:
Number of Created Emails, Number of Different Email Views, Number of Email Views, Number of Revisited Emails, Sequence of Viewed Emails.