Zuletzt aktualisiert am 07.02.2025
Online Two-stage Exams als Prüfungsmethode in der Lehrveranstaltung “Angewandte Statistik”
Projektname des bereits eingereichten Projekts:
Ars Docendi Kategorie
Methoden des Distance Learning und deren nachhaltiger Einsatz
Gruppengröße
< 20
Kurzzusammenfassung des Projekts
Kollaborative Prüfungsszenarien sind eine konsequente Fortführung des Einsatzes von kollaborativen Lehr-Lernformaten. Sie sorgen während der Prüfung durch zusätzliches Feedback für eine weitere Lernerfahrung bei den Studierenden. Two-stage Exams im Besonderen kombinieren die individuelle Einzelleistung mit Gruppendiskussionen und erlauben es den Studierenden bei Unsicherheit in mehreren Versuchen im Diskurs die richtige Lösung zu erarbeiten. Der Mehrwert des Two-stage Exams entsteht für die Studierenden vor allem in der Gruppenphase.
Die Überführung von papierbasierten Einzelprüfungen in Online Two-stage Exams während der Covid-19 Pandemie an der Universität für Bodenkultur Wien bestätigte das große Potential für das Erlangen einer gesteigerten Problemlösungskompetenz in Statistik-Lehrveranstaltungen und bietet Raum für weitere systematische Beforschung.
In der an die Prüfung anschließenden Befragung bestätigten die Studierenden, dass sie in dieser Phase dazulernen, das Gelernte festigen und die im Individualteil gemachten Fehler korrigieren konnten. Weiters begrüßten sie die Möglichkeit des Austauschs und Diskurses während der Prüfung. Verringerter Prüfungsstress und Spaß bei der Prüfung waren weitere Rückmeldungen. Letzteres konnte direkt beobachtet werden und äußerte sich in spontanen Juchu-Rufe beim richtigen Lösen einer Aufgabe. Online Two-stage Exams fördern die Motivation der Studierenden und können sowohl in formativen als auch summativen Settings eingesetzt werden.
Kurzzusammenfassung des Projekts in englischer Sprache
Collaborative examination scenarios are a consistent continuation for the use of collaborative teaching/learning formats. During the exam they provide additional feedback, which provides a further learning experience for students. Two-stage Exams in particular combine individual performance with group discussions and allow students to work out a correct solution in discourse with several attempts if they are uncertain. The added value of Two-stage Exams for the students emerges primarily during the group phase.
The transition from paper-based individual exams to Online Two-stage Exams at the University of Natural Resources and Applied Life Sciences Vienna, during the Covid-19 pandemic, confirmed the great potential for accomplishing enhanced problem-solving competence in statistic courses and provides scope for further systematic research.
In the subsequent survey, the students stated that they were able to learn more in this additional group phase and consolidate what they had learned and correct the mistakes they had made in the individual part. Furthermore, they welcomed the possibility of exchange and discourse during the examination. Reduced exam stress and fun during the exam were further points mentioned, which were directly observed and expressed through spontaneous outcries of joy when a task had been correctly solved. Online Two-stage Exams foster the motivation of students and can be used in both formative and summative settings.
Nähere Beschreibung des Projekts
Constructive Alignment ist die Passung von Lernergebnissen, Lehrformat und Prüfungsformat (Biggs & Tang, 2011) innerhalb einer Lehrveranstaltung oder eines Moduls. Das Modell kann als Dreieck gedacht werden und impliziert, dass jegliche Änderung an einem der drei Eckpunkte zumindest eine Überprüfung, wenn nicht auch eine Anpassung der geplanten Durchführung an den beiden anderen Eckpunkten bewirkt. Kollaborative Lehr-Lernformate sind ein effektiver Ansatz zur Förderung von Problemlösungskompetenzen (Heller et al., 1992), die über das bloße Abrufen von Routinen (Plants et al., 1980) hinausgehen.
Der Einsatz von kollaborativen Lehr-Lern- und Prüfungsformaten erfolgte im Rahmen der Einführungslehrveranstaltung “Angewandte Statistik”, die im Ausmaß von 2 ECTS für Studierende des Bachelorstudiums Landschaftsplanung und Landschaftsarchitektur an der Universität für Bodenkultur Wien verpflichtend ist. Sie wird als integrierte Lehrveranstaltung (VU) mit immanentem Prüfungscharakter abgehalten und findet regulär laut Studienplan im 5. Semester statt. In einem ersten Entwicklungszyklus wurde die Lehrveranstaltung im Wintersemester 2019/20 zum ersten Mal nach dem Modell “Inverted Classroom” in Präsenz abgehalten. In einem weiteren Entwicklungszyklus erfolgte für das WS 2020/21 eine entsprechende Adaption der im Hörsaal verwendeten Methoden für den Online-Einsatz inklusive der Umstellung auf die Prüfungsmethode “Online Two-stage Exam”. Ziel aller didaktischen Interventionen war, die Studierenden aktiver in die Lehrveranstaltung einzubinden und ihre Problemlösungskompetenzen zu fördern.
Die wöchentliche Erarbeitung eines Themenblocks durchlief typischerweise vier Phasen: Vorbereitung, Just in Time Teaching, Vertiefung, und Feedback. In der Vorbereitungsphase erarbeiteten sich die Studierenden die Theorie anhand vorgegebener Abschnitte und Kapitel individuell im Selbststudium. Sie waren aufgefordert, schriftlich ihre Kommentare und Fragen festzuhalten, damit diese in der nachfolgenden Online-Lehrveranstaltungseinheit aufgegriffen und behandelt werden konnten. Auf diese Weise erhielt der Vortragende bereits im Vorfeld ein erstes Feedback, ob und in wie weit der Stoff verstanden wurde. In der darauf folgenden zweiten Phase, die als Just-in-Time-Teaching konzipiert war, erfolgte mittels Online-Tests vor oder auch gleich zu Beginn der Online-Einheit in Form von Konzeptfragen unter Verwendung von Audio-Response-Systemen in einem “Peer Instruction” Setting (Mazur, 1997) die Vertiefung, Korrektur sowie die Festigung des erarbeiteten Wissens. Die restliche Zeit der Online-Einheit wurde dazu genutzt, die Theorie weiter zu vertiefen, oder es wurden zusätzliche Themen und Beispiele gemeinsam erarbeitet (Phase drei). Am Ende jeder Einheit schließlich wurden die Studierenden gebeten, anonym ein kurzes 3-Punkte-Feedback zu geben. Die Rücklaufquoten lagen im Durchschnitt bei ca. 20 Prozent. Die Gesamtnote der Lehrveranstaltung setzte sich aus einem Übungsteil, der aus drei praktische Übungsbeispielen bestand und von den Studierenden in Gruppen erarbeitet wurden, und einem Theorieteil, der in zwei Teilprüfungen im Modus “Online Two-stage Exam” zu absolvieren war, zusammen.
Two-stage Exams sind eine der bekannteren Varianten kollaborativer Prüfungsformate, bei denen die Studierenden zunächst ihre Prüfung als Einzelleistung ablegen, um unmittelbar danach in Kleingruppen die gleichen oder überwiegend die gleichen Prüfungsfragen gemeinsam zu beantworten. Die Einzelleistung machte dabei 80 Prozent der Prüfungsnote aus, die restlichen 20 Prozent des Notenanteils entfallen auf die Gruppenleistung. In der Onlinevariante bot dieser Modus eine Möglichkeit, die Eigenleistung der Studierenden während einer Prüfung sicherzustellen, ohne die Privatsphäre von Studierenden durch Überwachungsmaßnahmen zu strapazieren.
Der konkrete Ablauf des Online Two-stage Exams wird im weiteren näher beschrieben: In der ersten Phase mussten die Studierenden individuell den Online-Test absolvieren. Die Einstellungen in Moodle wurden so gewählt, dass die erzielten Punkte im Anschluss des Tests für die Studierenden nicht einsehbar waren. Die Prüfungsaufsicht und die Hilfestellung bei Problemen erfolgte mithilfe der Video-Konferenz-Software Zoom. Unmittelbar im Anschluss an den individuellen Prüfungsteil fand die zweite Phase statt. In dieser wurden die Studierenden in der laufenden Zoom-Sitzung in Breakout-Sessions zugeteilt. Dabei wurde eine Person als Gruppensprecher/in ernannt und diesem/r die Möglichkeit eingeräumt, den eigenen Bildschirm für die Dauer der zweiten Phase mit der Gruppe zu teilen. Die Gruppen absolvierten dann nochmals den gleichen oder einen sehr ähnlichen Online-Test wie zuvor, wobei diesmal nur der/die Gruppensprecher/in die Möglichkeit hatte, die Antwort der Gruppe in Moodle einzugeben, und für die Studierenden die Möglichkeit eines (mehrmaligen) Prüfens der gegebenen Antwort(en) mit adaptivem Punkteabzug bestand.
Während dieser Phase konnten die Studierenden zum einen ihre eigene Einzelleistung auf ihre Richtigkeit überprüfen, zum anderen mussten sie ihre Antworten begründen und vor ihren Peers argumentieren. Das oben beschriebene Setting stellte zudem sicher, dass innerhalb einer Gruppe ein Konsens über die zu wählende Lösung erzielt werden musste, da nur eine Antwort pro Gruppe gewertet wurde. Diese Auseinandersetzung mit den unterschiedlichen Standpunkten innerhalb der Gruppe, um zu einer gemeinsamen, einstimmigen Lösung zu kommen, und insbesondere das Feedback der anderen Gruppenmitglieder auf die vorgebrachten Sichtweisen und Argumente bewirkte eine erneute Auseinandersetzung mit dem Lernstoff, die mit dessen tiefergehenden Verarbeitung einherging, sodass ein Lernen noch während der Prüfung erfolgte. Die von der Gruppe gefundene Lösung konnte unmittelbar auf ihre Richtigkeit geprüft und bei Bedarf unter Punkteabzug abgeändert werden, bis die Frage korrekt beantwortet war oder keine Punkte für die Frage erzielt werden konnten. Der Mehrwert dieses unmittelbaren Feedbacks liegt in der Aufklärung von Missverständnissen und zeigt etwaige Fehlkonzepte und Irrtümer noch unmittelbar während der Prüfung auf. Der Diskurs innerhalb der Gruppe, die vertiefende Auseinandersetzung mit dem Lernstoff, das Erkennen und Korrigieren von Fehlern und das Lernen während der Prüfung wurde durch das Feedback der Studierenden bestätigt.
Durch unterschiedliche Testfragen in den einzelnen Gruppen, bei denen eventuell nur die Angabe und/oder die Antwortmöglichkeiten leicht variieren, kann sichergestellt werden, dass sich die Studierenden nur innerhalb der Gruppe nicht aber zwischen den Gruppen austauschen. Auch ist es nicht zwingend notwendig, sowohl für die Einzelphase als auch für die Gruppenphase die selben Testfragen zu stellen, z.B. könnten im Individualteil zu einem Themenbereich mittels offener Fragen Zusammenhänge abgefragt und in der Gruppenphase zum selben Themenbereich mittels Konzeptfragen mit vorgegebenen Antwortmöglichkeiten das Verständnis überprüft werden. Jedoch sollten in der Gruppenphase Fragen verwendet werden, die den Studierenden einen Rückschluss auf die Richtigkeit ihrer abgegebenen Antworten während der Einzelphase ermöglichen. Andernfalls entfällt das zeitnahe Feedback auf die Fragen dieser Phase und es kommt weder zu einer Korrektur von Missverständnissen noch zu einem Erfolgsgefühl.
Die Zuteilung der Studierenden zu den einzelnen Gruppen erfolgte auf Basis der erzielten Leistungen während des Semesters, sodass die Mitglieder einer Gruppe in etwa das selbe Leistungsniveau aufwiesen. Damit sollte vermieden werden, dass sehr gute Studierende eher schwache Studierende (als Trittbrettfahrer/innen) mittragen und so das tatsächliche Leistungsniveau verzerren.
Der Vergleich der Prüfungsergebnisse mit jenen aus dem Vorjahr zeigte, dass die Einzelleistungen an allen Terminen ein vergleichbares Niveau aufweisen. Bei fast allen Studierenden kam es in der Gruppenphase im Vergleich zur jeweiligen Einzelleistung zu einer Steigerung der erzielten Punkte. Weiters war zu erkennen, dass tendenziell, da die Zuordnung der Studierenden zu einer Gruppe nicht zufällig sondern aufgrund ihrer bereits erbrachten Übungsleistung während des Semesters erfolgte, eine Gruppe guter Studierender ihre Leistung in der Gruppenphase sowohl noch einmal steigern konnte als auch besser abschnitt als eine Gruppe schwächerer Studierender. Die Verbesserung der Leistungen in der Gruppenphase legt nahe, dass in dieser Phase ein Lernzuwachs stattfand. Diese Annahme deckt sich mit den in der Literatur publizierten Ergebnissen und dem Feedback der Studierenden.
Two-stage Exams weisen nur bei funktionierenden Kleingruppen einen echten Mehrwert zu herkömmlichen Prüfungen auf, denn nur in diesen können die Lösungen von den Studierenden auch tatsächlich ausverhandelt werden. Damit die Gruppen effektiv funktionieren, müssen den Studierenden im Sinne von Constructive Alignment in ausreichendem Maß Möglichkeiten geboten werden, um die hierfür benötigten Fertigkeiten zu erwerben beziehungsweise zu trainieren. Das wurde erreicht, indem die Studierenden bereits während des laufenden Semesters wiederholt auf das kollaborative Arbeiten mittels Konzeptfragen und “Peer Instruction” (Mazur, 1997) vorbereitet wurden.
Literatur:
Biggs, J. B., & Tang, C. S. (2011). Teaching for quality learning at university: What the student does (4. ed). McGraw-Hill, Society for Research into Higher Education & Open University Press.
Heller, P., Keith, R., & Anderson, S. (1992). Teaching problem solving through cooperative grouping. Part 1: Group versus individual problem solving. American Journal of Physics, 60(7), 627–636. doi.org/10.1119/1.17117
Mazur, E. (1997). Peer instruction: A user’s manual. Prentice Hall.
Plants, H. L., Dean, R. K., Sears, J. T., & Venable, W. S. (1980). A Taxonomy of Problem-Solving Activities and Its Implications for Teaching. In J. L. Lubkin (Hrsg.), The Teaching of Elementary Problem Solving in Engineering and Related Fields. (S. 21–34). American Society for Engineering Education.
Nutzen und Mehrwert
Der Mehrwert des Two-stage Exams entsteht für die Studierenden vor allem in der Gruppenphase. Um zu einer Lösung zu kommen, müssen die Studierenden, wie in anderen kollaborativen Lernsettings auch, ihr Wissen vergleichen, anderen ihren Standpunkt erklären und Lösungsansätze begründen. Diese Auseinandersetzung innerhalb der Gruppe, um zu einer gemeinsamen Lösung zu kommen, und insbesondere das Feedback der anderen Gruppenmitglieder auf die vorgebrachten Sichtweisen und Argumente bewirkt eine erneute Auseinandersetzung mit dem Lernstoff, die mit dessen tiefergehenden Verarbeitung einhergeht, sodass ein Lernen noch während der Prüfung erfolgt. Zusätzlich wird die von der Gruppe gefundene Lösung unmittelbar auf ihre Richtigkeit geprüft. Dieses unmittelbare Feedback führt zu einer Aufklärung von Missverständnissen und zeigt etwaige Fehlkonzepte und Irrtümer noch unmittelbar während der Prüfung auf.
Dieser in der Literatur beschriebene Mehrwert konnte direkt während der Prüfung beobachtet werden und wurde zusätzlich von den Studierenden bestätigt. Im Anschluss an alle abgehaltenen Two-stage Exams wurden von den teilnehmenden Studierenden Feedback zu diesem Prüfungsmodus eingeholt. Alle Studierenden gaben an, in der Gruppenphase dazugelernt und das Gelernte gefestigt zu haben und dass sie die im Individualteil gemachten Fehler korrigieren konnten. Weiters gaben alle Studierenden an, dass ihnen an diesem Prüfungsmodus die Möglichkeit von einander zu lernen und zur Diskussion untereinander besonders gut gefällt. Es herrschte die einhellige Meinung vor, diesen Prüfungsmodus beizubehalten. Eine Person gab an, dass sie durch diesen Prüfungsmodus entspannter ist und sogar mehr Spaß daran hatte, diese Prüfung zu schreiben. Eine andere Person hob hervor, dass durch den Individualteil sichergestellt ist, dass alle Studierenden vorbereitet an der Gruppenphase teilnehmen.