Online Two-stage Exams als Prüfungsmethode in der Lehrveranstaltung “Angewandte Statistik”

Würdigung der Jury

In der neu eingeführten Kategorie „Methoden des Distanz Learning und deren nachhaltiger Einsatz“ wird ein Projekt mit dem Ars Docendi – Staatspreis für exzellente Lehre ausgezeichnet, das durch seine stringent didaktisch durchdachte Vorgehensweise und den Einsatz zielgerichtet aufeinander abgestimmter Methoden besticht. So ist das hier gewürdigte Lehrkonzept ein auf vielfältige Weise überzeugendes Beispiel dafür, wie die Umsetzung didaktischer Innovationen in der Distanzlehre gelingen und das Lernen das Studierenden nachhaltig bereichern kann.
Kern des prämierten Lehrprojektes ist die Umstellung der Prüfungsleistung in einem vielerorts als Hürde wahrgenommenen Fach: der Angewandten Statistik. Die neugestaltete Prüfung ist in mehrere Phasen unterteilt und integriert gezielt kollaborative Elemente, in denen die Studierenden gemeinsam an der Lösung von Praxis- und Theorieaufgaben arbeiten können. Der Preisträger DI Dr. Bernhard Spangl hat sein Lehrkonzept derart konzipiert, dass seine Studierenden diese Art der Zusammenarbeit zuvor im Verlauf des Semesters und in unterschiedlichen Konstellationen üben können. Ein Vorgehen, das zweierlei Mehrwert bereithält. Zum einen wird dadurch der individuelle Lernprozess der Studierenden gefördert. Zum anderen werden sie Schritt für Schritt – gemeinsam und alleine – auf die abschließende Prüfung und deren Format vorbereitet. Dieses neue Format ist das Two Stage-Exam, bei dem die Studierenden die Prüfung zunächst als Einzelleistung ablegen und sie dann in Kleingruppen bearbeiten. Dieses Format in seine Lehre zu implementieren, ist im Konzept des Lehrpreisträgers die eigentliche didaktische Neuerung. Dass sie allerdings so erfolgreich realisiert werden konnte, das ist es, was dieses Lehrprojekt so bemerkenswert macht und weshalb es zurecht mit dem Staatspreis ausgezeichnet wird. Ein derartig komplexer und auf Nachhaltigkeit angelegter Wandel des Prüfungsansatzes ist das Ergebnis umfangreicher und zielgruppensensibler Planung. Und diese Leistung der Lehrperson ist in Verbindung zur Ad hoc-Umstellung auf Distanzlehre im Zuge der Corona-Pandemie in höchstem Maße anerkennenswert.
Schließlich ist es das Zusammenspiel von didaktischer und fachlicher Kompetenz des Preisträgers, das ein wohldurchdachtes Lehrkonzept hat entstehen lassen, in dem die Studierenden eine neue Form der Prüfungsgestaltung erleben und sich darauf – ganz im Sinne des Constructive Alignments – im Verlauf des Semesters vorbereiten können. Ohne Zweifel handelt es sich bei dem hier ausgezeichneten Projekt um ein richtungsweisendes Beispiel, das dazu beitragen kann, Two Stage-Exams in der Distanzlehre als Prüfungsformat zu etablieren.

Dr.in Angelika Thielsch
Georg-August-Universität Göttingen

Ziele/Motive/Ausgangslage

Die während der Covid-19 Pandemie erfolgte Umstellung der Hochschullehre auf Online- beziehungsweise Fernlehre ab dem Sommersemester 2020 bewirkte auch einen Umbruch im Prüfungsbetrieb durch den Wegfall der Möglichkeit Prüfungen in physischer Anwesenheit und mit Prüfungsaufsicht vor Ort abzuhalten.

 

Die Umstellung von schriftlichen Prüfungen auf dislozierte Onlineprüfungen in und mithilfe von Moodle am heimischen PC bewirkte, dass diese sinnstiftend nur als Open Book Exams, das heißt, unter Gewährung erlaubter Hilfsmittel, abgehalten werden können, um die Überwachung der Studierenden auf ein akzeptables Maß zur Wahrung einer ordnungsgemäßen Durchführung der Prüfungen zu beschränken. Es war somit naheliegend, die bereits vorhandenen Prüfungsfragen auch online in der Fernlehre einzusetzen. Zur Qualitätssicherung und als konsequente Fortführung des Einsatzes von kollaborativen Lehr-Lernformaten wurden die Prüfungen als Online Two-stage Exams abgehalten.

 

Diese innovative Kombination von Moodle Online-Tests und dem Prüfungsmodus “Two-stage Exam” stellt ein Erreichen der gesetzten Lernergebnisse sicher und ermöglichte es, das gesteckte Ziel einer Aktivierung der Studierenden auch während der Prüfungen umzusetzen. Studierende sollen nicht nur für die Prüfung sondern auch durch und während der Prüfung lernen.

Kurzzusammenfassung des Projekts in deutscher Sprache

Kollaborative Prüfungsszenarien sind eine konsequente Fortführung des Einsatzes von kollaborativen Lehr-Lernformaten. Sie sorgen während der Prüfung durch zusätzliches Feedback für eine weitere Lernerfahrung bei den Studierenden. Two-stage Exams im Besonderen kombinieren die individuelle Einzelleistung mit Gruppendiskussionen und erlauben es den Studierenden bei Unsicherheit in mehreren Versuchen im Diskurs die richtige Lösung zu erarbeiten. Der Mehrwert des Two-stage Exams entsteht für die Studierenden vor allem in der Gruppenphase.

Die Überführung von papierbasierten Einzelprüfungen in Online Two-stage Exams während der Covid-19 Pandemie an der Universität für Bodenkultur Wien bestätigte das große Potential für das Erlangen einer gesteigerten Problemlösungskompetenz in Statistik-Lehrveranstaltungen und bietet Raum für weitere systematische Beforschung.

In der an die Prüfung anschließenden Befragung bestätigten die Studierenden, dass sie in dieser Phase dazulernen, das Gelernte festigen und die im Individualteil gemachten Fehler korrigieren konnten. Weiters begrüßten sie die Möglichkeit des Austauschs und Diskurses während der Prüfung. Verringerter Prüfungsstress und Spaß bei der Prüfung waren weitere Rückmeldungen. Letzteres konnte direkt beobachtet werden und äußerte sich in spontanen Juchu-Rufe beim richtigen Lösen einer Aufgabe. Online Two-stage Exams fördern die Motivation der Studierenden und können sowohl in formativen als auch summativen Settings eingesetzt werden.

Kurzzusammenfassung des Projekts in englischer Sprache

Collaborative examination scenarios are a consistent continuation for the use of collaborative teaching/learning formats. During the exam they provide additional feedback, which provides a further learning experience for students. Two-stage Exams in particular combine individual performance with group discussions and allow students to work out a correct solution in discourse with several attempts if they are uncertain. The added value of Two-stage Exams for the students emerges primarily during the group phase.

The transition from paper-based individual exams to Online Two-stage Exams at the University of Natural Resources and Applied Life Sciences Vienna, during the Covid-19 pandemic, confirmed the great potential for accomplishing enhanced problem-solving competence in statistic courses and provides scope for further systematic research.

In the subsequent survey, the students stated that they were able to learn more in this additional group phase and consolidate what they had learned and correct the mistakes they had made in the individual part. Furthermore, they welcomed the possibility of exchange and discourse during the examination. Reduced exam stress and fun during the exam were further points mentioned, which were directly observed and expressed through spontaneous outcries of joy when a task had been correctly solved. Online Two-stage Exams foster the motivation of students and can be used in both formative and summative settings.

Nähere Beschreibung des Projekts

Constructive Alignment ist die Passung von Lernergebnissen, Lehrformat und Prüfungsformat (Biggs & Tang, 2011) innerhalb einer Lehrveranstaltung oder eines Moduls. Das Modell kann als Dreieck gedacht werden und impliziert, dass jegliche Änderung an einem der drei Eckpunkte zumindest eine Überprüfung, wenn nicht auch eine Anpassung der geplanten Durchführung an den beiden anderen Eckpunkten bewirkt. Kollaborative Lehr-Lernformate sind ein effektiver Ansatz zur Förderung von Problemlösungskompetenzen (Heller et al., 1992), die über das bloße Abrufen von Routinen (Plants et al., 1980) hinausgehen.

 

Der Einsatz von kollaborativen Lehr-Lern- und Prüfungsformaten erfolgte im Rahmen der Einführungslehrveranstaltung “Angewandte Statistik”, die im Ausmaß von 2 ECTS für Studierende des Bachelorstudiums Landschaftsplanung und Landschaftsarchitektur an der Universität für Bodenkultur Wien verpflichtend ist. Sie wird als integrierte Lehrveranstaltung (VU) mit immanentem Prüfungscharakter abgehalten und findet regulär laut Studienplan im 5. Semester statt. In einem ersten Entwicklungszyklus wurde die Lehrveranstaltung im Wintersemester 2019/20 zum ersten Mal nach dem Modell “Inverted Classroom” in Präsenz abgehalten. In einem weiteren Entwicklungszyklus erfolgte für das WS 2020/21 eine entsprechende Adaption der im Hörsaal verwendeten Methoden für den Online-Einsatz inklusive der Umstellung auf die Prüfungsmethode “Online Two-stage Exam”. Ziel aller didaktischen Interventionen war, die Studierenden aktiver in die Lehrveranstaltung einzubinden und ihre Problemlösungskompetenzen zu fördern.

 

Die wöchentliche Erarbeitung eines Themenblocks durchlief typischerweise vier Phasen: Vorbereitung, Just in Time Teaching, Vertiefung, und Feedback. In der Vorbereitungsphase erarbeiteten sich die Studierenden die Theorie anhand vorgegebener Abschnitte und Kapitel individuell im Selbststudium. Sie waren aufgefordert, schriftlich ihre Kommentare und Fragen festzuhalten, damit diese in der nachfolgenden Online-Lehrveranstaltungseinheit aufgegriffen und behandelt werden konnten. Auf diese Weise erhielt der Vortragende bereits im Vorfeld ein erstes Feedback, ob und in wie weit der Stoff verstanden wurde. In der darauf folgenden zweiten Phase, die als Just-in-Time-Teaching konzipiert war, erfolgte mittels Online-Tests vor oder auch gleich zu Beginn der Online-Einheit in Form von Konzeptfragen unter Verwendung von Audio-Response-Systemen in einem “Peer Instruction” Setting (Mazur, 1997) die Vertiefung, Korrektur sowie die Festigung des erarbeiteten Wissens. Die restliche Zeit der Online-Einheit wurde dazu genutzt, die Theorie weiter zu vertiefen, oder es wurden zusätzliche Themen und Beispiele gemeinsam erarbeitet (Phase drei). Am Ende jeder Einheit schließlich wurden die Studierenden gebeten, anonym ein kurzes 3-Punkte-Feedback zu geben. Die Rücklaufquoten lagen im Durchschnitt bei ca. 20 Prozent. Die Gesamtnote der Lehrveranstaltung setzte sich aus einem Übungsteil, der aus drei praktische Übungsbeispielen bestand und von den Studierenden in Gruppen erarbeitet wurden, und einem Theorieteil, der in zwei Teilprüfungen im Modus “Online Two-stage Exam” zu absolvieren war, zusammen.

 

Two-stage Exams sind eine der bekannteren Varianten kollaborativer Prüfungsformate, bei denen die Studierenden zunächst ihre Prüfung als Einzelleistung ablegen, um unmittelbar danach in Kleingruppen die gleichen oder überwiegend die gleichen Prüfungsfragen gemeinsam zu beantworten. Die Einzelleistung machte dabei 80 Prozent der Prüfungsnote aus, die restlichen 20 Prozent des Notenanteils entfallen auf die Gruppenleistung. In der Onlinevariante bot dieser Modus eine Möglichkeit, die Eigenleistung der Studierenden während einer Prüfung sicherzustellen, ohne die Privatsphäre von Studierenden durch Überwachungsmaßnahmen zu strapazieren.

 

Der konkrete Ablauf des Online Two-stage Exams wird im weiteren näher beschrieben: In der ersten Phase mussten die Studierenden individuell den Online-Test absolvieren. Die Einstellungen in Moodle wurden so gewählt, dass die erzielten Punkte im Anschluss des Tests für die Studierenden nicht einsehbar waren. Die Prüfungsaufsicht und die Hilfestellung bei Problemen erfolgte mithilfe der Video-Konferenz-Software Zoom. Unmittelbar im Anschluss an den individuellen Prüfungsteil fand die zweite Phase statt. In dieser wurden die Studierenden in der laufenden Zoom-Sitzung in Breakout-Sessions zugeteilt. Dabei wurde eine Person als Gruppensprecher/in ernannt und diesem/r die Möglichkeit eingeräumt, den eigenen Bildschirm für die Dauer der zweiten Phase mit der Gruppe zu teilen. Die Gruppen absolvierten dann nochmals den gleichen oder einen sehr ähnlichen Online-Test wie zuvor, wobei diesmal nur der/die Gruppensprecher/in die Möglichkeit hatte, die Antwort der Gruppe in Moodle einzugeben, und für die Studierenden die Möglichkeit eines (mehrmaligen) Prüfens der gegebenen Antwort(en) mit adaptivem Punkteabzug bestand.

 

Während dieser Phase konnten die Studierenden zum einen ihre eigene Einzelleistung auf ihre Richtigkeit überprüfen, zum anderen mussten sie ihre Antworten begründen und vor ihren Peers argumentieren. Das oben beschriebene Setting stellte zudem sicher, dass innerhalb einer Gruppe ein Konsens über die zu wählende Lösung erzielt werden musste, da nur eine Antwort pro Gruppe gewertet wurde. Diese Auseinandersetzung mit den unterschiedlichen Standpunkten innerhalb der Gruppe, um zu einer gemeinsamen, einstimmigen Lösung zu kommen, und insbesondere das Feedback der anderen Gruppenmitglieder auf die vorgebrachten Sichtweisen und Argumente bewirkte eine erneute Auseinandersetzung mit dem Lernstoff, die mit dessen tiefergehenden Verarbeitung einherging, sodass ein Lernen noch während der Prüfung erfolgte. Die von der Gruppe gefundene Lösung konnte unmittelbar auf ihre Richtigkeit geprüft und bei Bedarf unter Punkteabzug abgeändert werden, bis die Frage korrekt beantwortet war oder keine Punkte für die Frage erzielt werden konnten. Der Mehrwert dieses unmittelbaren Feedbacks liegt in der Aufklärung von Missverständnissen und zeigt etwaige Fehlkonzepte und Irrtümer noch unmittelbar während der Prüfung auf. Der Diskurs innerhalb der Gruppe, die vertiefende Auseinandersetzung mit dem Lernstoff, das Erkennen und Korrigieren von Fehlern und das Lernen während der Prüfung wurde durch das Feedback der Studierenden bestätigt.

 

Durch unterschiedliche Testfragen in den einzelnen Gruppen, bei denen eventuell nur die Angabe und/oder die Antwortmöglichkeiten leicht variieren, kann sichergestellt werden, dass sich die Studierenden nur innerhalb der Gruppe nicht aber zwischen den Gruppen austauschen. Auch ist es nicht zwingend notwendig, sowohl für die Einzelphase als auch für die Gruppenphase die selben Testfragen zu stellen, z.B. könnten im Individualteil zu einem Themenbereich mittels offener Fragen Zusammenhänge abgefragt und in der Gruppenphase zum selben Themenbereich mittels Konzeptfragen mit vorgegebenen Antwortmöglichkeiten das Verständnis überprüft werden. Jedoch sollten in der Gruppenphase Fragen verwendet werden, die den Studierenden einen Rückschluss auf die Richtigkeit ihrer abgegebenen Antworten während der Einzelphase ermöglichen. Andernfalls entfällt das zeitnahe Feedback auf die Fragen dieser Phase und es kommt weder zu einer Korrektur von Missverständnissen noch zu einem Erfolgsgefühl.

 

Die Zuteilung der Studierenden zu den einzelnen Gruppen erfolgte auf Basis der erzielten Leistungen während des Semesters, sodass die Mitglieder einer Gruppe in etwa das selbe Leistungsniveau aufwiesen. Damit sollte vermieden werden, dass sehr gute Studierende eher schwache Studierende (als Trittbrettfahrer/innen) mittragen und so das tatsächliche Leistungsniveau verzerren.

 

Der Vergleich der Prüfungsergebnisse mit jenen aus dem Vorjahr zeigte, dass die Einzelleistungen an allen Terminen ein vergleichbares Niveau aufweisen. Bei fast allen Studierenden kam es in der Gruppenphase im Vergleich zur jeweiligen Einzelleistung zu einer Steigerung der erzielten Punkte. Weiters war zu erkennen, dass tendenziell, da die Zuordnung der Studierenden zu einer Gruppe nicht zufällig sondern aufgrund ihrer bereits erbrachten Übungsleistung während des Semesters erfolgte, eine Gruppe guter Studierender ihre Leistung in der Gruppenphase sowohl noch einmal steigern konnte als auch besser abschnitt als eine Gruppe schwächerer Studierender. Die Verbesserung der Leistungen in der Gruppenphase legt nahe, dass in dieser Phase ein Lernzuwachs stattfand. Diese Annahme deckt sich mit den in der Literatur publizierten Ergebnissen und dem Feedback der Studierenden.

 

Two-stage Exams weisen nur bei funktionierenden Kleingruppen einen echten Mehrwert zu herkömmlichen Prüfungen auf, denn nur in diesen können die Lösungen von den Studierenden auch tatsächlich ausverhandelt werden. Damit die Gruppen effektiv funktionieren, müssen den Studierenden im Sinne von Constructive Alignment in ausreichendem Maß Möglichkeiten geboten werden, um die hierfür benötigten Fertigkeiten zu erwerben beziehungsweise zu trainieren. Das wurde erreicht, indem die Studierenden bereits während des laufenden Semesters wiederholt auf das kollaborative Arbeiten mittels Konzeptfragen und “Peer Instruction” (Mazur, 1997) vorbereitet wurden.

 

Literatur:

Biggs, J. B., & Tang, C. S. (2011). Teaching for quality learning at university: What the student does (4. ed). McGraw-Hill, Society for Research into Higher Education & Open University Press.

Heller, P., Keith, R., & Anderson, S. (1992). Teaching problem solving through cooperative grouping. Part 1: Group versus individual problem solving. American Journal of Physics, 60(7), 627–636. doi.org/10.1119/1.17117

Mazur, E. (1997). Peer instruction: A user’s manual. Prentice Hall.

Plants, H. L., Dean, R. K., Sears, J. T., & Venable, W. S. (1980). A Taxonomy of Problem-Solving Activities and Its Implications for Teaching. In J. L. Lubkin (Hrsg.), The Teaching of Elementary Problem Solving in Engineering and Related Fields. (S. 21–34). American Society for Engineering Education.

Mehrwert

Der Mehrwert des Two-stage Exams entsteht für die Studierenden vor allem in der Gruppenphase. Um zu einer Lösung zu kommen, müssen die Studierenden, wie in anderen kollaborativen Lernsettings auch, ihr Wissen vergleichen, anderen ihren Standpunkt erklären und Lösungsansätze begründen. Diese Auseinandersetzung innerhalb der Gruppe, um zu einer gemeinsamen Lösung zu kommen, und insbesondere das Feedback der anderen Gruppenmitglieder auf die vorgebrachten Sichtweisen und Argumente bewirkt eine erneute Auseinandersetzung mit dem Lernstoff, die mit dessen tiefergehenden Verarbeitung einhergeht, sodass ein Lernen noch während der Prüfung erfolgt. Zusätzlich wird die von der Gruppe gefundene Lösung unmittelbar auf ihre Richtigkeit geprüft. Dieses unmittelbare Feedback führt zu einer Aufklärung von Missverständnissen und zeigt etwaige Fehlkonzepte und Irrtümer noch unmittelbar während der Prüfung auf.

 

Dieser in der Literatur beschriebene Mehrwert konnte direkt während der Prüfung beobachtet werden und wurde zusätzlich von den Studierenden bestätigt. Im Anschluss an alle abgehaltenen Two-stage Exams wurden von den teilnehmenden Studierenden Feedback zu diesem Prüfungsmodus eingeholt. Alle Studierenden gaben an, in der Gruppenphase dazugelernt und das Gelernte gefestigt zu haben und dass sie die im Individualteil gemachten Fehler korrigieren konnten. Weiters gaben alle Studierenden an, dass ihnen an diesem Prüfungsmodus die Möglichkeit von einander zu lernen und zur Diskussion untereinander besonders gut gefällt. Es herrschte die einhellige Meinung vor, diesen Prüfungsmodus beizubehalten. Eine Person gab an, dass sie durch diesen Prüfungsmodus entspannter ist und sogar mehr Spaß daran hatte, diese Prüfung zu schreiben. Eine andere Person hob hervor, dass durch den Individualteil sichergestellt ist, dass alle Studierenden vorbereitet an der Gruppenphase teilnehmen.

Übertragbarkeit/Nachhaltigkeit

Die Übertragbarkeit des Prüfungsmodus “Two-stage Exam” ist für alle Lehrveranstaltungen unabhängig von der Fachrichtung des Studiums gegeben. Online Two-stage Exams sind besonders gut in Lehrveranstaltungen integrierbar, in denen bereits kollaborative Lehr-Lernformate, wie z.B. “Think-Pair-Share” oder “Peer Instruction”, eingesetzt werden und die Studierenden darin geübt sind, sich in Kleingruppen auszutauschen, gemeinsam Inhalte zu erarbeiten und Standpunkte zu vertreten. Es kann eine große Bandbreite an Fragen verwendet werden, die unterschiedliche Wissenstypen abdecken. Online Two-stage Exams eignen sich darüber hinaus für alle Lehrveranstaltungen, bei denen bereits jetzt Prüfungsfragen eingesetzt werden, die eine sofortige und automatische Benotung ermöglichen. Andernfalls entfällt das zeitnahe Feedback auf die Fragen der Einzelphase und es kommt weder zu einer Korrektur von Missverständnissen noch zu einem Erfolgsgefühl. Studierende lernen nicht nur für sondern auch während der Prüfung!

 

Für die Lehrveranstaltungen “Angewandte Statistik” wird der Prüfungsmodus “Two-stage Exam” in das reguläre Prüfungskonzept der Lehrveranstaltungen übernommen und weiterentwickelt, um in einem weiteren Zyklus die Vorteile für die Studierenden und die Auswirkungen auf ihre Motivation, Leistung und die Behaltensleistung gezielt zu überprüfen.

Aufwand

Einen entsprechenden Fragenpool vorausgesetzt, besteht der Mehraufwand im Vergleich zu einem herkömmlichen Offline-Test darin, im Vorfeld der Prüfung eine Gruppeneinteilung der Studierenden zu treffen. Zusätzlich verlängert sich die Prüfungsdauer auf das 2-3 fache, um den Studierenden ausreichend Zeit für Diskussionen in der Gruppenphase einzuräumen. Weiters muss noch die Zuteilung des Gruppenergebnisses zu allen Mitgliedern der Gruppe erfolgen. Dieser geringe Mehraufwand ist aufgrund des positiven Feedbacks und des Mehrwerts für die Studierenden jedoch lohnend.

Positionierung des Lehrangebots

Online Two-stage Exams wurden als Prüfungsmodus in der Einführungslehrveranstaltung “Angewandte Statistik” eingesetzt. Diese Lehrveranstaltung im Ausmaß von 2 ECTS ist für Studierende des Bachelorstudiums Landschaftsplanung und Landschaftsarchitektur an der Universität für Bodenkultur Wien verpflichtend. Sie wird als integrierte Lehrveranstaltung (VU) mit immanentem Prüfungscharakter abgehalten und findet regulär laut Studienplan im 5. Semester statt.

Links zu der/den Projektmitarbeiter/innen
Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2021 nominiert.
Ars Docendi
Gewinner 2021
Kategorie: Methoden des Distance Learning und deren nachhaltiger Einsatz
Ansprechperson
Bernhard Spangl, DI Dr.
Institut für Statistik
+43/1/47654-85113
Nominierte Person(en)
Bernhard Spangl, DI Dr.
Insitut für Statistik
Themenfelder
  • Didaktische Methode
  • Rund ums Prüfen
Fachbereiche
  • Mathematik, Informatik, Naturwissenschaften, Technik/Ingenieurwissenschaften