Suchergebnisse

"This volume, the ninth in the ZUMA-Nachrichten Spezial series on methodological issues in empirical social science research takes up issues of question and questionnaire evaluation. The papers in this volume discuss practical as well as theoretical aspects of questionnaire evaluation. All contributions are based on presentations made at the fourth QUEST (Questionnaire Evaluation Standards) conference which took place from October 21-23, 2003 at ZUMA in Mannheim. There were 26 attendees from 9 countries representing 14 organizations: Bureau of Labor Statistics, USA, Center for Survey Research, University of Massachusetts, USA, Institut für Demoskopie Allensbach, Germany, National Center for Health Statistics, USA, National Center for Social Rerearch, U.K., Office of National Statistics, U.K., Statistics Canada, Statistics Finland, Statistics Netherlands, Statistics New Zealand, Statistics Norway, Statistics Sweden, U.S. Census Bureau, ZUMA, Germany." (author's abstract)

Für den Pretest oder die Evaluation einer Befragung existieren zwei hauptsächliche Methoden: Auf der einen Seite können Probleme durch die Beobachtung der Interaktion zwischen Interviewer und Antwortendem während des Befragungsprozesses entdeckt werden. Auf der anderen Seite kann versucht werden, den kognitiven Prozess beim Antwortenden zu rekonstruieren, um nähere Informationen über das Antwortverhalten zu gewinnen. Beide Methoden haben jeweils spezifische Vor- und Nachteile und decken bestimmte Problemstellungen der Datenanalyse auf. Es sind jedoch nach Meinung des Autors genauere Beobachtungen im Rahmen von Pretests notwendig, die vorrangig kognitive oder Tiefeninterview- Techniken anwenden. Er zeigt in seinem Beitrag, dass der Einsatz von modernen Aufzeichnungstechniken in Kombination mit der Nutzung geeigneter Software entscheidend zur Qualität und vereinfachten Analyse von Pretests beitragen kann, die auf kognitiven Interviews und Beobachtungsdaten beruhen. (ICI)

Der Autor diskutiert forschungspraktische Probleme, die sich im Rahmen der kognitiven Testung bei Umfragen ergeben, z.B. das Problem, dass alternative Formulierungen von gleichen Fragestellungen zu unterschiedlichen Bewertungen der Daten führen können. Er verdeutlicht anhand von sechs Tabellen die Unterschiede bei den erhobenen Daten, die aus zwei Forschungsprojekten stammen, in denen sehr ähnliche Befragungsmethoden eingesetzt worden sind. (ICI)

Auf den bisherigen QUEST-Workshops wurde nach Meinung des Autors die Frage noch nicht hinreichend beantwortet, ab wann überhaupt eine Evaluation von Befragungserhebungen beginnen sollte. Er stellt in seinem Beitrag einen methodischen Ansatz vor, welcher den Befragungs- und Bewertungsprozess mit den Ursachen von Messfehlern verbindet, und plädiert dafür, dass die Bewertungsarbeit wesentlich früher im Prozess des Forschungsdesigns beginnen sollte, als es in vergangenen Untersuchungen der Fall war. Er bezieht sich dabei weniger auf die inzwischen umfangreiche Fachliteratur zu dieser Fragestellung, sondern auf die Diskussionen und Anregungen aus den drei letzten QUEST-Workshops. (ICI)

Die Autorin beschreibt die wesentlichen Kritikpunkte von finnischen Sozialwissenschaftlern an der kognitiven Theorie und insbesondere ihrer Testung in der Forschungspraxis. Sie fasst die vorliegenden Kommentare zur kognitiven Befragungsmethode überblicksartig zusammen und ordnet sie in den Kontext und die Diskussionsbeiträge zum vergangenen QUEST-Workshop ein. Sie stellt ferner anhand einiger Beispiele die Testverfahren und das Forschungsdesign der "Finland's Social Statistics" vor und zeigt, inwiefern die verwandten Methoden für verschiedene Nutzergruppen in Europa von Interesse sein können. (ICI)

Der Beitrag gibt einen Überblick über die Nutzung der "Statistics New Zealand" (SNZ) für Haushalts-, Unternehmens- und Wirtschaftsbefragungen. Es werden die unterschiedlichen Pretest-Methoden beschrieben, welche zur Bewertung der Fragen und Fragebögen eingesetzt werden, z.B. Begriffstest, kognitiver Test, Nutzbarkeitstest, Übersetzungstest und Felderprobung. Anhand von Beispielen wird gezeigt, wie diese Methoden in der Forschungspraxis zusammenwirken und einander ergänzen. (ICI)

Die Autoren betrachten im Rahmen eines Experiments über alternative kognitive Befragungsmethoden die Ergebnisse von Expertenberichten, um die Reichweite von Resultaten abzuschätzen, die durch drei unterschiedliche Interviewergruppen erzielt worden sind. Datengrundlage bilden die Ergebnisse einer CATI-gestützten Haushaltsbefragung in den USA zum Umweltverhalten, insbesondere zur Abfallbeseitigung und zum Recycling. Die Autoren diskutieren die Gründe für die unterschiedlichen Bewertungen der Experten und zeigen forschungspraktische Konsequenzen für Umfragen und Pretests auf. (ICI)

In Zeiten abnehmender Ressourcen ist die Effizienz von statistischen Informationen von herausragender Bedeutung. Die "Statistics Netherlands" (SN) haben daher die "Structural Business Statistics" (SBS) mit verändertem Design überarbeitet und im Jahr 1998 ein Projekt mit dem Ziel begonnen, die Datengewinnung, Datenaufbereitung und Veröffentlichung der SBS zu integrieren und zu standardisieren. Dieses Projekt, das mittlerweile unter der Bezeichnung IMPECT ("Implementation of the Economical Transformation Process") bekannt ist, hat sich in jüngster Zeit vor allem der Evaluation und Verbesserung der Inhalte von Befragungen gewidmet. Im vorliegenden Beitrag wird ein Überblick über die Ziele und Strategien einer geplanten Evaluation von fast 200 Fragebögen unterschiedlicher Wirtschaftsbranchen gegeben. (ICI)

Im britischen "Office for National Statistics" (ONS) wurden in den vergangenen zwei Jahren verschiedene Methoden zur Verbesserung der Erhebungsinstrumente bei Unternehmensbefragungen entwickelt und erprobt. Der vorliegende Beitrag berichtet über die Merkmale der Instrumente zur Datengewinnung bei Unternehmensumfragen im ONS, über Weiterentwicklungen und Verbesserungen sowie über die Rahmenbedingungen einer Bewertung der eingesetzten Erhebungsinstrumente. (ICI)

In der "Statistics Netherlands" (SN) wurde im Jahr 2002 ein Forschungsprojekt ins Leben gerufen, um die Codierung von Antworten auf offene Fragen bei Interviews zu verbessern. Im Ergebnis wurde ein Codierungsprogramm entwickelt, das bereits in den Fragen integriert ist und somit für den Interviewer zu einer Arbeitserleichterung in der computergestützten Befragung führt. Diese Verbesserungen wurden im April 2003 empirisch getestet, wobei die Interaktion zwischen dem Interviewer und dem Antwortenden sowie zwischen dem Interviewer und den neuen Fragen im Vordergrund standen. Im vorliegenden Beitrag werden die angewandten Methoden und Ergebnisse des Tests näher vorgestellt und diskutiert. (ICI)

Die Beobachtung und Kategorisierung des Antwortverhaltens während des Interviewprozesses erfordert ein relativ einfaches Codierungssystem, das leicht von den Interviewern bedient werden kann. Dennoch stellt die gleichzeitige Aufgabe des Befragens und der Codierung eine Erschwernis für die Interviewer dar, die hierfür intensiv geschult werden müssten. Der Autor stellt vor diesem Hintergrund eine Methode für den computerunterstützten Pretest von telefonischen Befragungen vor, welche folgendes ermöglicht: (1) eine Verhaltenscodierung der Frage-Antwort-Abläufe in Echtzeit unter Feldbedingungen; (2) eine zuverlässige Identifikation bestimmter Problemstellungen, die während des Interviews auftreten; (3) eine Bewertung der spezifischen Einflüsse von Antwortendem und Interviewer auf die Datenqualität auf Grundlage der Pretest-Daten; (4) einen sofortigen Transfer von Codes zu einer Datenbank, während der Befragungsprozess weiter läuft; (5) die Nutzung von großen Random-Stichproben, um den Stichprobenfehler von Pretest-Ergebnissen zu reduzieren und komplexere statistische Analysen zu ermöglichen. (ICI)

Die Autorin untersucht die Bedeutung von Kultur, Sprache und sozioökonomischen Faktoren im Frage-Antwort-Prozess bei allgemeinen Gesundheitssurveys. Sie stellt hierzu zwei Forschungsprojekte mit kognitiven Interviews vor, die zum einen in der ländlichen Region des Mississippi im Januar 2002 und zum anderen in Hyattsville und Northwest Ohio im Sommer 2003 durchgeführt worden sind. Sie verdeutlicht anhand von Beispielen, dass psychologische Modelle des Frage-Antwort-Prozesses nicht vollständig umfassend sind, dass der soziale Kontext den Prozess beeinflusst, in welchem der Teilnehmer auf eine bestimmte Frage antwortet und dass dies Auswirkungen auf die Qualität und die Nutzbarkeit der Erhebungsdaten hat. Die Autorin möchte mit ihren Ausführungen insbesondere eine größere Aufmerksamkeit auf den Zusammenhang zwischen Antwortfehler und der sozialen Lage des Befragten lenken. (ICI)

Der Autor diskutiert die Ziele und Inhalte von kognitiven Pretests in der Umfrageforschung und weist darauf hin, dass die Stärke von Pretests zuweilen überschätzt wird, ihre Potentiale hingegen oftmals unausgeschöpft bleiben. Angesichts der Tatsache, dass es keine allgemeinen Richtlinien für einen "guten" Pretest, keine Systematisierung der Forschungspraxis und keinen Konsens über methodische Erwartungen gibt, zeigt der Autor einige notwendige Forschungsperspektiven für die Zukunft auf. Diese sollten neben einer stärkeren Berücksichtigung der zeitlichen und soziologischen Dimension folgende Ziele umfassen: (1) Bewertung der Effektivität von Pretest-Methoden, (2) Entwicklung von empirisch begründeten Richtlinien für das Befragungsdesign und (3) Anpassung der Pretest-Methoden an neue Erhebungsformen, wie z.B. Web- und Unternehmensbefragungen. (ICI)