Suchergebnisse

Häufig stehen - gerade im Rahmen sozialwissenschaftlicher Fragestellungen - bei der Analyse von Paneldaten die Facetten Reliabilität und vor allem Stabilität von Messungen über die Zeit im Vordergrund, deren Analyse mit linearen Strukturgleichungsmodellen auf den ersten Blick recht 'einfach und überschaubar' erscheint. Ziel des vorliegenden Artikels ist es, anhand einiger Beispiele aus dem Bereich der Analyse von Paneldaten aufzuzeigen; (1) welche Implikationen die Strukturgleichungen schon bei sehr kleinen und überschaubaren Modellen haben und (2) welche Konsequenzen sich aus den Strukturgleichungen hinsichtlich der Wahl von Restriktionen ergeben. (pmb)

'In diesem Beitrag werden weitere Ergebnisse des ZUMA-Projektes 'Egozentrierte Netzwerke in Massenumfragen' vorgestellt. Thematisiert wird die methodische Fragestellung, ob die Angaben von Befragten über 'ihr' Netzwerk zuverlässig sind. Es werden drei inhaltliche Kategorien zur Messung der Zuverlässigkeit von Netzwerkangaben vorgestellt. Im abschließenden Teil des Beitrages werden die Namensgeneratoren von Ronald Burt und Claude S. Fischer hinsichtlich der Identitätsanteile und der Netzfluktuation verglichen.' (Autorenreferat)

Die Reliabilität beschreibt die Genauigkeit einer Messung. In diesem Beitrag wird das Konzept Reliabilität definiert und es wird erläutert, warum die Reliabilität einer Messung relevant ist. Danach wird diskutiert, welche Modellannahmen getroffen werden müssen, um die Reliabilität einer Messung zu schätzen und es werden fünf Methoden zum Schätzen der Reliabilität vorgestellt: die Re-Test Korrelation, die Parallel-Test Korrelation, die Split-Half Korrelation, die interne Konsistenz und das Schätzen der Reliabilität mit Strukturgleichungsmodellen. Abschließend wird in knapper Form auf Gemeinsamkeiten und Unterschiede der klassischen Testtheorie und der Item-Response Theorie und deren Bedeutung für die Schätzung der Reliabilität eingegangen.

Die Prüfung der Intercoder-Reliabilität bei Codierungen im Rahmen qualitativer Inhaltsanalysen
steht vor der Schwierigkeit, daß zwar theoretisch verschiedene Methoden entwickelt,
diese aber praktisch schlecht einsetzbar sind, da sie entweder nicht als Computerprogramm
verfügbar oder auf die Probleme konkreter Codierpraxis nicht anwendbar sind. In diesem
Artikel wird eine Maßzahl für die Intercoder-Reliabilität vorgeschlagen, die auf die
meisten Codierungsfälle anwendbar ist. Sie ist eine Verallgemeinerung von Scotts kappa
(1955). Die entsprechenden Berechnungen werden hier vorgestellt und können mit einem
vom Autor entwickelten Programm durchgeführt werden. An Beispielen aus der Forschungspraxis
wird dargestellt, daß der Ertrag der Anwendung dieser Methode nicht nur zur nachträglichen
Messung, sondern auch heuristisch bei der Weiterentwicklung eines Kategorienschemas
eingesetzt werden kann.

Die Prüfung der Intercoder-Reliabilität bei Codierungen im Rahmen qualitativer Inhaltsanalysen
steht vor der Schwierigkeit, daß zwar theoretisch verschiedene Methoden entwickelt,
diese aber praktisch schlecht einsetzbar sind, da sie entweder nicht als Computerprogramm
verfügbar oder auf die Probleme konkreter Codierpraxis nicht anwendbar sind. In diesem
Artikel wird eine Maßzahl für die Intercoder-Reliabilität vorgeschlagen, die auf die
meisten Codierungsfälle anwendbar ist. Sie ist eine Verallgemeinerung von Scotts kappa
(1955). Die entsprechenden Berechnungen werden hier vorgestellt und können mit einem
vom Autor entwickelten Programm durchgeführt werden. An Beispielen aus der Forschungspraxis
wird dargestellt, daß der Ertrag der Anwendung dieser Methode nicht nur zur nachträglichen
Messung, sondern auch heuristisch bei der Weiterentwicklung eines Kategorienschemas
eingesetzt werden kann.

ZusammenfassungKönnen virtualisierte Erhebungen rezeptionsbegleitend gemessener Kandidatenbewertungen in Echtzeit über das Internet valide und reliable Daten generieren? Seitdem Reinemann et al. vor 15 Jahren die Reliabilität und Validität von sogenannten Real-Time-Response-Messungen (RTR) mit physischen Eingabegeräten in laborexperimentellen Erhebungssettings in dieser Zeitschrift belegt haben, hat die Messtechnik eine weitreichende Veränderung erfahren, die durch die Virtualisierung ihres Instrumentariums gekennzeichnet ist. Allerdings liegen bislang kaum methodologische Erkenntnisse über den grundlegenden Wandel dieser Schlüsseltechnik vor. Der hier vorliegende Beitrag untersucht deshalb anhand von drei Fernsehduellen zu Landtagswahlen in Deutschland, inwiefern Daten, die mit einem virtualisierten Messinstrument der RTR-Messung in einer Feldstudie erhoben wurden, etablierten Standards der Datenqualität entsprechen. In unserer Analyse finden wir deutliche Belege für die Validität des Messverfahrens. Darüber hinaus zeigt unser Beitrag, dass diese neuartige Form der Erhebung von Echtzeitreaktionen reliable Daten mit einer hohen internen Konsistenz generieren kann, wenngleich die Befunde in Teilen ambivalent bleiben. Wir schlussfolgern, dass die Virtualisierung des RTR-Messinstrumentariums einen komplementären Ansatz zu den dominierenden Erhebungen mit laborexperimentellen Forschungsdesigns etabliert, wodurch die Analyse von Publikumsreaktionen auf landespolitische TV-Duelle in natürlichen Rezeptionssituationen zugänglich und die technische Implementierung von RTR-Studien über das Internet auch in Zeiten der COVID-19-Pandemie gewährleistet wird.

Der Index "Stufen politischer Konzeptualisierung" wurde entwickelt, um politische Erfahrungen zu messen, die ursprünglich als relativ stabiler persönlicher Charakterzug angesehen wurden (Converse, Miller und Stokes 1960). Smith (1980) fand eine niedrige individuelle Stabilität und stellte daher die Frage nach Reliabilität und Validität des Instruments. Die empirische Analyse der Reliabilität und der Validität von vergleichbaren Messungen in Westdeutschland ergab eine niedrige Wiederholungsreliabilität und eine Konstruktvalidierung bestenfalls auf einem mittleren Niveau. Daher ist die Nützlichkeit dieser Messungen generell in Frage zu stellen. (RWÜbers.)

Der Aufsatz basiert auf den Ergebnissen einer Studie zur Vergleichbarkeit von Einstellungsskalen in der deutschen Allgemeinen Bevölkerungsumfrage in den Sozialwissenschaften (ALLBUS) und im amerikanischen General Social Survey (GSS) im Jahre 1982. Als Beispiel wurde hierin die Itembatterie zur subjektiven Wichtigkeit von Merkmalen der beruflichen Arbeit untersucht. Im Aufsatz wird gezeigt, wie konfirmatorische Faktorenanalysen - mit Hilfe des Programms LISREL 5 - zur Deutung des Reliabilitätsbegriffes in der Praxis nutzbar gemacht werden können. Das kongenerische Meßmodell, welches eine Verbindung zwischen dem Reliabilitätsbegriff der klassischen Testtheorie und der konfirmatorischen Faktorenanalyse herstellt, wird im Falle des ALLBUS bestätigt. Ferner werden im Falle der kongenerischen Modelle durch die Gewichtung nach Jöreskog bei den Wichtigkeitseinstufungen der Berufsmerkmale Reliabilitäten erzielt, welche deutlich über den Reliabilitäten der einzelnen Items liegen. (OH)

Real-Time Response Measurement (RTR) is an important approach in political communication research to investigate human processing of political information. Since Reinemann et al. demonstrated the reliability and validity of RTR with physical input devices in laboratory experimental study designs in this journal 15 years ago, measurement technology has experienced an instrumental change characterized by its virtualization. At the same time, there still is little methodological knowledge available about the fundamental changes in this key technology. Therefore, this article examines the extent to which data collected in a field study using a virtualized RTR-Measurement tool meet established standards of data quality. Therefore, our first research question examines the validity of the RTR data in three ways. First, we consider construct validity. The results of our Kruskal-Wallis tests show a statistically significant differentiation of RTR rating behavior along party lines. This positive assessment is underlined by the high match score of a discriminant analysis. In a further analysis step, we implement a sparse structural equation model that assesses the relationship between party identification and RTR measurement, allowing us to draw conclusions about the construct validity of the virtualized RTR measurement. The calculated coefficients provide evidence that party identification and real-time rating are significantly and substantially associated. Although our analysis focuses merely on the partisan groups of the two candidates which parties are represented in the TV debates, in summarizing the results, we consider the question of construct validity (FF1.1) to be positively decided. As a second perspective, we investigate criterion validity. A central finding here emerges from an examination of the sparse structural equation model, at the core of which is the relationship of RTR ratings and retrospective verdicts on debate performance. Controlling for party identification, we can show that the coefficients are ...