Search results

Background: Many university departments use students' evaluations of teaching (SET) to compare and rank courses. However, absenteeism from class is often nonrandom and, therefore, SET for different courses might not be comparable. Objective: The present study aims to answer two questions. Are SET positively biased due to absenteeism? Do procedures, which adjust for absenteeism, change course rankings? Research Design: The author discusses the problem from a missing data perspective and present empirical results from regression models to determine which factors are simultaneously associated with students' class attendance and course ratings. In order to determine the extent of these biases, the author then corrects average ratings for students' absenteeism and inspect changes in course rankings resulting from this adjustment. Subjects: The author analyzes SET data on the individual level. One or more course ratings are available for each student. Measures: Individual course ratings and absenteeism served as the key outcomes. Results: Absenteeism decreases with rising teaching quality. Furthermore, both factors are systematically related to student and course attributes. Weighting students' ratings by actual absenteeism leads to mostly small changes in ranks, which follow a power law. Only a few, average courses are disproportionally influenced by the adjustment. Weighting by predicted absenteeism leads to very small changes in ranks. Again, average courses are more strongly affected than courses of very high or low in quality. Conclusions: No-shows bias course ratings and rankings. SET are more appropriate to identify high- and low-quality courses than to determine the exact ranks of average courses.

"In ihrem Aufsatz 'Mein(schöner)Prof.de. Die physische Attraktivität des akademischen Lehrpersonals und ihr Einfluss auf die Ergebnisse studentischer Lehrevaluationen' (Heft 4/ 2009 dieser Zeitschrift) versuchen Ulrich Rosar und Markus Klein zu zeigen, dass Produktivitätsvorteile attraktiver Lehrpersonen nicht existieren. Dieser Schlussfolgerung aus ihren empirischen Analysen anhand von Daten des Internetportals MeinProf.de wird aufgrund dreier Punkte, der hohen Selektivität der verwendeten Stichprobe, der fehlenden Kontrolle relevanter Drittvariablen sowie der gewählten Modellierungsstrategie und Interpretation der statistischen Modelle widersprochen. Diese Argumente werden auch anhand 'realer' Evaluationsdaten der LMU München empirisch gestützt. Es wird empfohlen, solche Daten tatsächlicher Lehrveranstaltungsevaluationen anstelle selektiver Stichproben von Internetplattformen zu verwenden, aus Theorie und Empirie bekannte konfundierende Faktoren wie studentisches Vorinteresse an dem Kursthema und Art des Kurses bei den Analysen (konsistent) zu berücksichtigen und statistische Nachweisbarkeit von Effekten klar von deren praktischer Relevanz zu trennen." (Autorenreferat)

In diesem Sammelband werden Probleme in der Evaluation von Studium und Lehre aufgezeigt und ein möglicher Umgang mit ihnen erörtert. Obgleich Evaluationen in Form von Befragungen Studierender zur Lehr- und Studiensituation flächendeckend verbreitet sind, weisen die genutzten Instrumente und Verfahren methodische Probleme auf und besteht daher Kritik an deren Genauigkeit und Verlässlichkeit sowie dem Umgang mit den gewonnenen Ergebnissen. In den Beiträgen werden historische und methodische Grundlagen besprochen, Potentiale und Grenzen spezifischer Evaluationsverfahren aufgezeigt und mögliche externe Einflüsse auf Evaluationsergebnisse betrachtet. Der Inhalt< · Grundlagen: Entstehung des Evaluationsparadigmas, Entwicklung an deutschen Hochschulen, methodische Gütekriterien und Fallstricke · Input: Studienentscheidung und -fachwahl, Studienmotivation, Workloadmessung · Prozess: Lehrveranstaltungsevaluation, Validierung von Befragungsinstrumenten, Studienverlaufsuntersuchung im Längsschnitt · Output: Studienabbruch, Kompetenzdiagnostik, Absolventenstudien Die Zielgruppe Forschende und Studierende in den Bildungs- und Sozialwissenschaften, Evaluationsbeauftragte, HochschulforscherInnen, Hochschulleitung/-management Die Herausgeber Daniel Großmann ist wiss. Mitarbeiter für die Evaluation von Lehre und Studium sowie Lehrbeauftragter an der Universität Leipzig. Prof. Dr. Tobias Wolbring ist Juniorprofessor für Soziologie, insbesondere Längsschnittdatenanalyse an der Universität Mannheim

Aufgrund ihrer hohen internen Validität werden Experimente vielfach als Goldstandard wissenschaftlicher Forschung bezeichnet. Die Probleme von sozialwissenschaftlichen Experimenten werden dagegen häufig in der ungeklärten Übertragbarkeit ihrer Ergebnisse auf die "reale Welt" gesehen. Nicht zuletzt aufgrund ihrer strittigen externen Validität stößt die experimentelle Methode bis heute vor allem in der Soziologie auf gehörigen Gegenwind.Dieser Sonderband liefert gute Gründe für die Durchführung von Experimenten und zeigt dabei nicht nur die breiten Anwendungsmöglichkeiten in einer Vielzahl sogenannter Bindestrichsoziologien auf, sondern systematisiert dringend notwendige Methodenforschung zum Einsatz von Labor-, Feld-, Vignetten- und natürlichen Experimenten. Der Sonderband richtet sich dabei einerseits im Sinne eines Lehrbuchs an Studierende, andererseits im Charakter eines Handbuchs an Forschende und soll zur vermehrten Nutzung experimenteller Verfahren in der empirischen Sozialforschung einladen.Mit Beiträgen von:Martin Abraham, Katrin Auspurg, Gerrit Bauer, Rolf Becker, Johann Behrens, Roger Berger, Christiane Bozoyan, Andreas Diekmann, Axel Franzen, Stefan Friedhoff, Thomas Hinz, Marc Keuschnigg, Bernhard Kittel, Ulf Liebe, Stefan Liebig, Sonja Pointner, Carsten Sauer, Manuela Vieth, Thomas Voss, Tobias Wolbring, Christoph Zangger, Ekkart Zimmermann

Factorial survey experiments (FSEs) are increasingly used in the social sciences. This pa­per provides a review about the use of FSEs and aims to answer three research questions. (1) How has this specific research field developed over time? (2) Which methodological advances have been made in FSE research and to what degree are they applied in empiri­cal studies? (3) Which questions remain unresolved and should be addressed in future re­search? Using the Web of Science and Scopus databases, we conducted a literature review of FSEs published between 1982 and 2018. Our findings show that the field is develop­ing quickly and that FSEs are becoming increasingly accepted in different research areas. Thereby, FSEs are being widely used not only to study attitudes, but also to explore the determinants of behaviour. Most research applies state-of-the-art techniques in terms of statistical analysis; however, to a lesser extent, studies rely on more sophisticated sampling procedures to draw samples from a large vignette universe. Finally, several methodological questions remain unresolved concerning the realism and complexity of vignettes, social desirability, and the predictive validity of FSEs regarding behaviour due to their hypotheti­cal nature. Against this background, we call for more methodological research to assess the general applicability of FSEs for different research areas. Further, our review suggests the need for better documentation and reporting standards to evaluate methodological aspects of FSEs.

Abstract
This paper discusses social mechanisms of discrimination and reviews existing field experimental designs for their identification. We first explicate two social mechanisms proposed in the literature, animus-driven and statistical discrimination, to explain differential treatment based on ascriptive characteristics. We then present common approaches to study discrimination based on observational data and laboratory experiments, discuss their strengths and weaknesses, and elaborate why unobtrusive field experiments are a promising complement. However, apart from specific methodological challenges, well-established experimental designs fail to identify the mechanisms of discrimination. Consequently, we introduce a rapidly growing strand of research which actively intervenes in market activities varying costs and information for potential perpetrators to identify causal pathways of discrimination. We end with a summary of lessons learned and a discussion of challenges that lie ahead.

Der vorliegende Beitrag behandelt den Zusammenhang zwischen Attraktivität des Lehrpersonals und dessen Bewertung durch Studierende. Weiterhin wird der Einfluss der Notengebung auf die studentische Lehrveranstaltungsevaluation untersucht. Mittels eines experimentellen Designs werden Hypothesen zur Wirkung von Attraktivität, zum Frog-Pond-Effekt, zu geschlechtlichen Moderatoren sowie zur Notengebung empirisch geprüft. Unter Kontrolle auf Drittvariablen zeigt sich nur ein sehr schwacher Einfluss der Attraktivität, der teilweise, aber nicht nur auf deren produktivitätssteigernde Wirkung zurückzuführen ist. Dabei werden unabhängig vom Urteilergeschlecht attraktive Dozentinnen bevorteilt. Demgegenüber werden attraktive Dozenten stärker als unattraktive Dozenten im Sinne einer Beauty Penalty sogar sanktioniert, wenn sie einen schwierigen Test stellen. Die Frog-Pond-Hypothese findet empirisch keine Bestätigung: die Attraktivität des Kollegiums moderiert nicht den Attraktivitätseffekt. Reziprokes Bewertungsverhalten zeigt sich dagegen durchgehend in der theoretisch erwarteten Richtung. Es ist für studentische Qualitätsurteile erheblich bedeutsamer als es Attraktivitätseffekte sind. Alternative Erklärungen für diesen Notengebungseffekt können ausgeschlossen werden.

Heinz Leitgöb & Tobias Wolbring -- Sonja Malich, Florian Keusch, Sebastian Bähr, Georg-Christoph Haas, Frauke Kreuter & Mark Trappmann -- Carina Cornesse & Ines Schaurer -- Alexander Wenz -- Ranjit K. Singh -- Silke L. Schneider & Verena Ortmanns -- Stefan Jünger -- Oliver Wieczorek, Alexander Brand & Niklas Dörner -- Corinna Krämer -- Edgar Treischl, Sven Laumer, Daniel Schömer, Jonas Weigert, Karl Wilbers & Tobias Wolbring.

Evaluationen stellen auf die kausalen Wirkungen einer Maßnahme ab. Das Lehrbuch führt in die entsprechenden theoretischen und methodischen Grundlagen der Wirkungsevaluation ein und illustriert diese anhand ausgewählter Beispiele. Ziel des Buches ist es dabei, einen praktischen Bezug zum Ablauf einer Evaluation und den einzelnen Entscheidungsschritten herzustellen, aber auch mögliche Fallstricke unterschiedlicher Evaluationsverfahren aufzuzeigen. Die Lektüre ist daher sowohl für Evaluationsforscher/innen als auch Nutzer/innen, Auftraggebende und Betroffene einer Evaluation ertragreich.