Online Two-stage Exams als Prüfungsmethode in der Lehrveranstaltung “Angewandte Statistik”

Nähere Beschreibung des Projekts

Constructive Alignment ist die Passung von Lernergebnissen, Lehrformat und Prüfungsformat (Biggs & Tang, 2011) innerhalb einer Lehrveranstaltung oder eines Moduls. Das Modell kann als Dreieck gedacht werden und impliziert, dass jegliche Änderung an einem der drei Eckpunkte zumindest eine Überprüfung, wenn nicht auch eine Anpassung der geplanten Durchführung an den beiden anderen Eckpunkten bewirkt. Kollaborative Lehr-Lernformate sind ein effektiver Ansatz zur Förderung von Problemlösungskompetenzen (Heller et al., 1992), die über das bloße Abrufen von Routinen (Plants et al., 1980) hinausgehen.

Der Einsatz von kollaborativen Lehr-Lern- und Prüfungsformaten erfolgte im Rahmen der Einführungslehrveranstaltung “Angewandte Statistik”, die im Ausmaß von 2 ECTS für Studierende des Bachelorstudiums Landschaftsplanung und Landschaftsarchitektur an der Universität für Bodenkultur Wien verpflichtend ist. Sie wird als integrierte Lehrveranstaltung (VU) mit immanentem Prüfungscharakter abgehalten und findet regulär laut Studienplan im 5. Semester statt. In einem ersten Entwicklungszyklus wurde die Lehrveranstaltung im Wintersemester 2019/20 zum ersten Mal nach dem Modell “Inverted Classroom” in Präsenz abgehalten. In einem weiteren Entwicklungszyklus erfolgte für das WS 2020/21 eine entsprechende Adaption der im Hörsaal verwendeten Methoden für den Online-Einsatz inklusive der Umstellung auf die Prüfungsmethode “Online Two-stage Exam”. Ziel aller didaktischen Interventionen war, die Studierenden aktiver in die Lehrveranstaltung einzubinden und ihre Problemlösungskompetenzen zu fördern.

Die wöchentliche Erarbeitung eines Themenblocks durchlief typischerweise vier Phasen: Vorbereitung, Just in Time Teaching, Vertiefung, und Feedback. In der Vorbereitungsphase erarbeiteten sich die Studierenden die Theorie anhand vorgegebener Abschnitte und Kapitel individuell im Selbststudium. Sie waren aufgefordert, schriftlich ihre Kommentare und Fragen festzuhalten, damit diese in der nachfolgenden Online-Lehrveranstaltungseinheit aufgegriffen und behandelt werden konnten. Auf diese Weise erhielt der Vortragende bereits im Vorfeld ein erstes Feedback, ob und in wie weit der Stoff verstanden wurde. In der darauf folgenden zweiten Phase, die als Just-in-Time-Teaching konzipiert war, erfolgte mittels Online-Tests vor oder auch gleich zu Beginn der Online-Einheit in Form von Konzeptfragen unter Verwendung von Audio-Response-Systemen in einem “Peer Instruction” Setting (Mazur, 1997) die Vertiefung, Korrektur sowie die Festigung des erarbeiteten Wissens. Die restliche Zeit der Online-Einheit wurde dazu genutzt, die Theorie weiter zu vertiefen, oder es wurden zusätzliche Themen und Beispiele gemeinsam erarbeitet (Phase drei). Am Ende jeder Einheit schließlich wurden die Studierenden gebeten, anonym ein kurzes 3-Punkte-Feedback zu geben. Die Rücklaufquoten lagen im Durchschnitt bei ca. 20 Prozent. Die Gesamtnote der Lehrveranstaltung setzte sich aus einem Übungsteil, der aus drei praktische Übungsbeispielen bestand und von den Studierenden in Gruppen erarbeitet wurden, und einem Theorieteil, der in zwei Teilprüfungen im Modus “Online Two-stage Exam” zu absolvieren war, zusammen.

Two-stage Exams sind eine der bekannteren Varianten kollaborativer Prüfungsformate, bei denen die Studierenden zunächst ihre Prüfung als Einzelleistung ablegen, um unmittelbar danach in Kleingruppen die gleichen oder überwiegend die gleichen Prüfungsfragen gemeinsam zu beantworten. Die Einzelleistung machte dabei 80 Prozent der Prüfungsnote aus, die restlichen 20 Prozent des Notenanteils entfallen auf die Gruppenleistung. In der Onlinevariante bot dieser Modus eine Möglichkeit, die Eigenleistung der Studierenden während einer Prüfung sicherzustellen, ohne die Privatsphäre von Studierenden durch Überwachungsmaßnahmen zu strapazieren.

Der konkrete Ablauf des Online Two-stage Exams wird im weiteren näher beschrieben: In der ersten Phase mussten die Studierenden individuell den Online-Test absolvieren. Die Einstellungen in Moodle wurden so gewählt, dass die erzielten Punkte im Anschluss des Tests für die Studierenden nicht einsehbar waren. Die Prüfungsaufsicht und die Hilfestellung bei Problemen erfolgte mithilfe der Video-Konferenz-Software Zoom. Unmittelbar im Anschluss an den individuellen Prüfungsteil fand die zweite Phase statt. In dieser wurden die Studierenden in der laufenden Zoom-Sitzung in Breakout-Sessions zugeteilt. Dabei wurde eine Person als Gruppensprecher/in ernannt und diesem/r die Möglichkeit eingeräumt, den eigenen Bildschirm für die Dauer der zweiten Phase mit der Gruppe zu teilen. Die Gruppen absolvierten dann nochmals den gleichen oder einen sehr ähnlichen Online-Test wie zuvor, wobei diesmal nur der/die Gruppensprecher/in die Möglichkeit hatte, die Antwort der Gruppe in Moodle einzugeben, und für die Studierenden die Möglichkeit eines (mehrmaligen) Prüfens der gegebenen Antwort(en) mit adaptivem Punkteabzug bestand.

Während dieser Phase konnten die Studierenden zum einen ihre eigene Einzelleistung auf ihre Richtigkeit überprüfen, zum anderen mussten sie ihre Antworten begründen und vor ihren Peers argumentieren. Das oben beschriebene Setting stellte zudem sicher, dass innerhalb einer Gruppe ein Konsens über die zu wählende Lösung erzielt werden musste, da nur eine Antwort pro Gruppe gewertet wurde. Diese Auseinandersetzung mit den unterschiedlichen Standpunkten innerhalb der Gruppe, um zu einer gemeinsamen, einstimmigen Lösung zu kommen, und insbesondere das Feedback der anderen Gruppenmitglieder auf die vorgebrachten Sichtweisen und Argumente bewirkte eine erneute Auseinandersetzung mit dem Lernstoff, die mit dessen tiefergehenden Verarbeitung einherging, sodass ein Lernen noch während der Prüfung erfolgte. Die von der Gruppe gefundene Lösung konnte unmittelbar auf ihre Richtigkeit geprüft und bei Bedarf unter Punkteabzug abgeändert werden, bis die Frage korrekt beantwortet war oder keine Punkte für die Frage erzielt werden konnten. Der Mehrwert dieses unmittelbaren Feedbacks liegt in der Aufklärung von Missverständnissen und zeigt etwaige Fehlkonzepte und Irrtümer noch unmittelbar während der Prüfung auf. Der Diskurs innerhalb der Gruppe, die vertiefende Auseinandersetzung mit dem Lernstoff, das Erkennen und Korrigieren von Fehlern und das Lernen während der Prüfung wurde durch das Feedback der Studierenden bestätigt.

Durch unterschiedliche Testfragen in den einzelnen Gruppen, bei denen eventuell nur die Angabe und/oder die Antwortmöglichkeiten leicht variieren, kann sichergestellt werden, dass sich die Studierenden nur innerhalb der Gruppe nicht aber zwischen den Gruppen austauschen. Auch ist es nicht zwingend notwendig, sowohl für die Einzelphase als auch für die Gruppenphase die selben Testfragen zu stellen, z.B. könnten im Individualteil zu einem Themenbereich mittels offener Fragen Zusammenhänge abgefragt und in der Gruppenphase zum selben Themenbereich mittels Konzeptfragen mit vorgegebenen Antwortmöglichkeiten das Verständnis überprüft werden. Jedoch sollten in der Gruppenphase Fragen verwendet werden, die den Studierenden einen Rückschluss auf die Richtigkeit ihrer abgegebenen Antworten während der Einzelphase ermöglichen. Andernfalls entfällt das zeitnahe Feedback auf die Fragen dieser Phase und es kommt weder zu einer Korrektur von Missverständnissen noch zu einem Erfolgsgefühl.

Die Zuteilung der Studierenden zu den einzelnen Gruppen erfolgte auf Basis der erzielten Leistungen während des Semesters, sodass die Mitglieder einer Gruppe in etwa das selbe Leistungsniveau aufwiesen. Damit sollte vermieden werden, dass sehr gute Studierende eher schwache Studierende (als Trittbrettfahrer/innen) mittragen und so das tatsächliche Leistungsniveau verzerren.

Der Vergleich der Prüfungsergebnisse mit jenen aus dem Vorjahr zeigte, dass die Einzelleistungen an allen Terminen ein vergleichbares Niveau aufweisen. Bei fast allen Studierenden kam es in der Gruppenphase im Vergleich zur jeweiligen Einzelleistung zu einer Steigerung der erzielten Punkte. Weiters war zu erkennen, dass tendenziell, da die Zuordnung der Studierenden zu einer Gruppe nicht zufällig sondern aufgrund ihrer bereits erbrachten Übungsleistung während des Semesters erfolgte, eine Gruppe guter Studierender ihre Leistung in der Gruppenphase sowohl noch einmal steigern konnte als auch besser abschnitt als eine Gruppe schwächerer Studierender. Die Verbesserung der Leistungen in der Gruppenphase legt nahe, dass in dieser Phase ein Lernzuwachs stattfand. Diese Annahme deckt sich mit den in der Literatur publizierten Ergebnissen und dem Feedback der Studierenden.

Two-stage Exams weisen nur bei funktionierenden Kleingruppen einen echten Mehrwert zu herkömmlichen Prüfungen auf, denn nur in diesen können die Lösungen von den Studierenden auch tatsächlich ausverhandelt werden. Damit die Gruppen effektiv funktionieren, müssen den Studierenden im Sinne von Constructive Alignment in ausreichendem Maß Möglichkeiten geboten werden, um die hierfür benötigten Fertigkeiten zu erwerben beziehungsweise zu trainieren. Das wurde erreicht, indem die Studierenden bereits während des laufenden Semesters wiederholt auf das kollaborative Arbeiten mittels Konzeptfragen und “Peer Instruction” (Mazur, 1997) vorbereitet wurden.

Literatur:

Biggs, J. B., & Tang, C. S. (2011). Teaching for quality learning at university: What the student does (4. ed). McGraw-Hill, Society for Research into Higher Education & Open University Press.

Heller, P., Keith, R., & Anderson, S. (1992). Teaching problem solving through cooperative grouping. Part 1: Group versus individual problem solving. American Journal of Physics, 60(7), 627–636. doi.org/10.1119/1.17117

Mazur, E. (1997). Peer instruction: A user’s manual. Prentice Hall.

Plants, H. L., Dean, R. K., Sears, J. T., & Venable, W. S. (1980). A Taxonomy of Problem-Solving Activities and Its Implications for Teaching. In J. L. Lubkin (Hrsg.), The Teaching of Elementary Problem Solving in Engineering and Related Fields. (S. 21–34). American Society for Engineering Education.

Nachhaltigkeit

Die Übertragbarkeit des Prüfungsmodus “Two-stage Exam” ist für alle Lehrveranstaltungen unabhängig von der Fachrichtung des Studiums gegeben. Online Two-stage Exams sind besonders gut in Lehrveranstaltungen integrierbar, in denen bereits kollaborative Lehr-Lernformate, wie z.B. “Think-Pair-Share” oder “Peer Instruction”, eingesetzt werden und die Studierenden darin geübt sind, sich in Kleingruppen auszutauschen, gemeinsam Inhalte zu erarbeiten und Standpunkte zu vertreten. Es kann eine große Bandbreite an Fragen verwendet werden, die unterschiedliche Wissenstypen abdecken. Online Two-stage Exams eignen sich darüber hinaus für alle Lehrveranstaltungen, bei denen bereits jetzt Prüfungsfragen eingesetzt werden, die eine sofortige und automatische Benotung ermöglichen. Andernfalls entfällt das zeitnahe Feedback auf die Fragen der Einzelphase und es kommt weder zu einer Korrektur von Missverständnissen noch zu einem Erfolgsgefühl. Studierende lernen nicht nur für sondern auch während der Prüfung!

Für die Lehrveranstaltungen “Angewandte Statistik” wird der Prüfungsmodus “Two-stage Exam” in das reguläre Prüfungskonzept der Lehrveranstaltungen übernommen und weiterentwickelt, um in einem weiteren Zyklus die Vorteile für die Studierenden und die Auswirkungen auf ihre Motivation, Leistung und die Behaltensleistung gezielt zu überprüfen.