Background: Response shift (RS) can threaten the internal validity of pre–post designs. As RS may indicate a redefinition of the target construct, its occurrence in training evaluation is rather likely. The most common approach to deal with RS is to implement a retrospective pretest (then-test) instead of the traditional pre-test. In health psychology, an adapted measurement invariance approach (MIad) was developed as an alternative technique to study RS. Results produced by identifying RS with the two approaches were rarely studied simultaneously or within an experimental framework. Objectives: To study RS in two different treatment conditions and compare results produced by both techniques in identifying various types of RS. We further studied validity aspects of the then-test. Research Design: We evaluated RS by applying the then-test procedure (TP) and the measurement invariance apporach MIad within an experimental design: Participants either attended a short-term or a long-term classroom management training program. Subjects: Participants were 146 student teachers in their first year of master's study. Measures: Pre (before training), post, and then self-ratings (after training) on classroom management knowledge were administered. Results: Results indicated that the two approaches do not yield the same results. The MIad identified more and also group-specific RS as opposed to the findings of the TP, which found less and only little evidence for group-specific RS. Conclusions: Further research is needed to study the usability and validity of the respective approaches. In particular, the usability of the then-test seems to be challenged.
Klassenmanagement: Management von Schülerverhalten. Management der Instruktion. Lehrer-Schüler-Beziehung.
I. Lehrerbefragung
1. Wissen: Selbsteinschätzung des Wissens im Klassenmanagement in unterschiedlichem Bereichen: Störungsintervention, Regeln, Prozeduren bzw. Abläufe, Gruppenmobilisierung, Klarheit des Handlungsprogramms, Konflikte unter Schülern, Arbeitsbündnis mit den Schülern, Planung und Zeitmanagement (Skalen).
2. Kompetenzen: Selbsteinschätzung der Kompetenzen in den vorgenannten Bereichen sowie zusätzlich im Bereich Gegenwärtigkeit als Lehrperson (Skalen).
3. Berufliche Situation: Selbsteinschätzung der Wirksamkeit als Lehrer (Lehrerselbstwirksamkeit) anhand ausgewählter Aussagen (auch problematischen Schülern den Unterrichtsstoff vermitteln, Schüler für neue Projekte begeistern, guter Kontakt zu Eltern auch in schwierigen Situationen, guter Kontakt zu problematischen Schülern, besseres Einstellen auf individuelle Probleme der Schüler, Gelassenheit bei Unterrichtsstörungen, trotz Unwohlsein gutes Eingehen auf Schüler, trotz hohen Engagements für die Entwicklung der Schüler wenig ausrichten, Entwickeln kreativer Ideen zur Veränderung ungünstiger Unterrichtsstrukturen); berufliche Belastung (Skala): Freude am Beruf; Gefühl ständiger Überforderung (Arbeitsüberforderung); Überlegungen zum Berufsausstieg; Arbeitszufriedenheit; Gefühl von Kontrolle und Überwachung der eigenen Arbeit durch Dritte (Kontrolliertheitserleben); Betonen des hohen Arbeitspensums vor den Kollegen; gerne am Arbeitsplatz; belastende Konflikte mit Vorgesetzten, Gefühl der Überforderung, selten richtig abschalten können, Ausschöpfen der eigenen Fähigkeiten; schlechtes Gewissen gegenüber den Schülern; keine Verwirklichung der eigenen Berufsideale im Berufsalltag; Gefühl der Belastung durch Verantwortung für Andere; zu großer Zeitdruck.
Demographie: Alter; Geschlecht; Jahre der Berufstätigkeit; Jahr des Abschlusses; Klassenlehrer bzw. Klassenlehrerin in dieser Klasse; gerade unterrichtetes Fach studiert.
Zusätzlich verkodet wurde: Gruppenzugehörigkeit (Kontrollgruppe oder Interventionsgruppe); Klassenstufe; Name der Schule; Erhebungsstunde.
Münchener Aufmerksamkeitsinventar MAI: Aufmerksamkeitsverhalten jedes Schülers (Anteil no task; Anteil off task aktiv; Anteil off task passiv; Anteil off task aktiv; Anteil on Task reaktiv) hinsichtlich des jeweils vorherrschenden Kontextes (fachlich: Anteil Kontext Unterricht, Anteil Kontext Stillarbeit/Gruppenarbeit, Anteil Kontext Test, Anteil Kontext Übergang; nichtfachlich: Anteil Kontext Klassenführung, Anteil Kontext Prozedurales, Anteil Kontext Private Interaktion); Beteiligung; Häufigkeit individueller Interaktionen.
II. Schülerbefragung:
Beurteilung des Unterrichts des Lehrers im Hinblick auf: Störungen im Unterricht, geltende Regeln, Mitarbeit der Schüler, klare Aufgaben und logische Reihenfolge, Umgang des Lehrers mit Störungen, zeitsparende und reibungslose Abläufe, Wachsamkeit des Lehrers, Zeitverschwendung, Unterstützung bei Schülerkonflikten und Lehrer-Schüler-Beziehung (Skalen).
Demographie: Alter; Geschlecht.
Zusätzlich verkodet wurde: Gruppenzugehörigkeit.
III. Beobachterfragebogen
Beurteilung des Klassenmanagements der Lehrkraft in folgenden Bereichen (Skalen): Störungsausmaß (massive Störungen, störungsfreier Unterrichtsverlauf, ständige Reaktion der Lehrkraft auf Unterrichtsstörungen); Störungsintervention (rasches und effizientes Unterbinden von Störungen, Angemessenheit von Zurechtweisungen); Regelarbeit (klare Verhaltensregeln); Klarheit des Handlungsprogramms (klares und strukturiertes Vorgehen der Lehrkraft, klare Formulierung von Aufgaben und Verständnis durch die Schüler); Zeitmanagement (Vorgenommenes wird in der Stunde erreicht, flüssiger Unterrichtsverlauf, angemessenes Tempo des Unterrichtsstoffs, Unterrichtszeit wird effektiv genutzt); Prozeduren (regelmäßig wiederkehrende Abläufe verlaufen flüssig und ohne Zeitverlust, routinierter Ablauf von Übergängen zwischen einzelnen Unterrichtsphasen; Monitoring (Lehrkraft bemerkt alle Vorgänge in der Klasse); Gruppenmobilisierung (aktives Einbinden aller Schüler in das Unterrichtsgeschehen, Lehrkraft macht deutlich, dass sie eine aktive und engagierte Bearbeitung der Aufgaben erwartet; Arbeitsbündnis und Unterrichtsklima (lernfreundliches Unterrichtsklima, freundlicher und respektvoller Umgang mit den Schülern, respektvoller Umgang der Schüler untereinander sowie mit der Lehrkraft).
