"Online-Prüfungen: Freifahrtschein fürs Schummeln oder durch Kooperation zu Akzeptanz und Qualität?"

Ziele/Motive/Ausgangslage

Seit dem ersten Lockdown im März 2020 ist Schummeln in Verbindung mit Online-Prüfungen ein zentrales Thema an Hochschulen. Aus diesem Grund beschäftigte sich dieses Projekt mit der zentralen Frage, wie Online Teaching und Online Assessments so gestaltet werden können, dass sich Studierende mit höherer intrinsischer Motivation auf die Prüfungen vorbereiten und auch motiviert sind, Online-Prüfungen ordnungsgemäß durchzuführen. Diese Fragestellungen wurden in Verbindung mit der Integrierten Lehrveranstaltung "Finanzmathematik" untersucht, in der Studierende gemeinsam mit ihrem Lektor Möglichkeiten der Gestaltung und Durchführung von Online-Prüfungen untersucht haben. Das Projekt sollte damit auch einen Beitrag zur Qualitätssicherung und zum Wissenstransfers für Lehrende über neue, digitale Prüfungsformen liefern. Ein weiteres Ziel war es, durch die Einbindung von Studierenden und das kooperative Explorieren von Gestaltungsmöglichkeiten die Akzeptanz dieser Prüfungsformen bei Studierenden zu steigern.

Kurzzusammenfassung des Projekts in deutscher Sprache

Im Projekt wurden unterschiedliche Möglichkeiten der Test- und Prüfungsgestaltung auf vielfältige Art und Weise getestet und darauf aufbauend schließlich ein Prüfungskonzept entwickelt, dass durch den Einsatz von digitalen Medien interaktiver und für die Studierenden motivierender wirken soll.

 

Hauptmerkmal des Projekts war, dass Studierende selbst unterschiedliche Settings für Prüfungssituationen entwickelten, diese in verschiedenen Rollen ausgetestet und einer Evaluation unterzogen haben, die gewonnenen Erkenntnisse in einem Projektbericht beschrieben haben und darauf aufbauend mit Empfehlungen für Lehrende und Studierende erarbeitet habem.

 

Zentrales Prinzip des neuen Prüfungskonzepts ist seine Praxistauglichkeit. Selbst wenn Lehrenden noch wenig Erfahrung mit Softwareanwendungen und Tools für Online-Prüfungen haben, können die erarbeiteten Methoden und Empfehlungen auch von Lehrenden ohne tiefergehende Softwarekenntnisse angewendet werden. Das Teilen der Erfahrungen und Ergebnisse der Evaluierungen erspart Kollegen und Kolleginnen viel Zeit und Mühe.

 

Dass die Studierenden Empfehlungen für die praxisgerechte Gestaltung von Online-Prüfung erarbeitet haben, hatte den Nebeneffekt, dass ihre Akzeptanz dieser Prüfungsformate und die Bereitschaft, Prüfungen ohne unerlaubte Hilfsmittel abzulegen, deutlich gestiegen ist.

Kurzzusammenfassung des Projekts in englischer Sprache

In the project, different possibilities of test and examination design were tested in a variety of ways and based on this, an examination concept was finally developed that should be more interactive and more motivating for the students through the use of digital media.

 

The main feature of the project was that students themselves developed different settings for exam situations, tested them in various roles and subjected them to evaluation, described the knowledge gained in a project report and, based on this, developed recommendations for teachers and students.

 

The central principle of the new examination concept is its practicality. Even if teachers have little experience with software applications and tools for online exams, the methods and recommendations developed can also be used by teachers without in-depth software knowledge. Sharing the experiences and results of the evaluations saves colleagues a lot of time and effort.

 

The fact that the students developed recommendations for the practice-oriented design of online exams had the side effect that their acceptance of these exam formats and their willingness to take exams without unauthorized aids increased significantly.

Nähere Beschreibung des Projekts

1. Die Ausgangssituation:

Die Ironie bei Online Assessments besteht darin, dass die Schere des Wissens, wie Online-Prüfungen funktionieren, mehr und mehr zugunsten der Studierenden aufgeht. Studierende erwerben schneller Expertise über (aus Sicht der Lehrenden) willkommene und unwillkommene Möglichkeiten, eine Prüfung abzulegen als deren Lehrende. Das bedeutet: Viele Aspekte von Prüfungen werden erst mithilfe von Studierenden sichtbar.

 

Während es innerhalb der KollegInnenschaft darum geht, objektive und reliable Prüfungen abzuhalten und die interne Validität der Punktevergabe abzutesten, z.B. indem KollegInnen Fragen und Aufgabenstellungen von Prüfungen in einem Peer-Review-Prozess überprüfen, werden von Studierenden völlig andere Zusammenhänge aufgedeckt. In der Lehrveranstaltung konnten aufgrund des extrem konstruktiven Zugangs der Studierenden Erkenntnisse gewonnen werden, die angefangen von Gebrauch verschiedener Softwarepakete über das bloße Sammeln und Auswerten von Testergebnissen hinausgehen und zu Empfehlungen geführt haben, die detaillierte Empfehlungen für die Gestaltung von Online Assessments und Online Teaching beinhalten.

 

2. Testung und Evaluierung:

Im Projekt wurden unterschiedliche Softwareanwendungen und Tools untersucht. Verschiedene bereits im Einsatz befindliche Softwarelösungen wurden erprobt, zunächst im Unterricht und schließlich bei echten Tests und Prüfungen und gleichzeitig die damit gewonnenen Erfahrungen immer wieder analysiert. Zu den getesteten Softwareanwendungen gehören Teams, Zoom, Skype, Virbela, der Safe Exam Browser, EvaExam, Proctorio sowie die Lernplattformen ILIAS und Moodle. Die Evaluation der Systeme durch die Studierenden umfasst eine Prozessanalyse und eine Analyse der Systemarchitektur und Prüfungssettings. Neben dem Engagement, das die Studierenden an den Tag legten, war unter anderem auch die Akribie, mit der unterschiedliche Variationen von Testsettings entwickelt und umgesetzt wurden, eine beeindruckende Erfahrung in diesem Projekt.

 

Die Studierenden verglichen die eigenen Ergebnisse darüber hinaus mit Prüfungsmethodiken anderer renommierter Hochschulen, namentlich mit jenen der University of Oxford. Es wurde ein Leitfaden erstellt, welche Massnahmen vor, während und nach der Prüfung gesetzt werden sollen, um eine optimale Prüfungssituation zu schaffen und um Schummeln zu verhindern. In diesem Leitfaden wurden mehrere gangbare Wege aufgelistet und differenziert für Lehrende mit unterschiedlichen Erfahrungsniveaus in Bezug auf digitale Prüfungen beschrieben wurden.

 

3. Drei Beispiele für Testsettings:

1. Bei einer Prüfung auf Moodle mit Multiple Choice Fragen hat der/die StudentIn X den Laptop mit einem HDMI-Anschluss an den Fernseher verbunden. Der Nachhilfelehrer des/der Studenten/Studentin X war vor Ort und stand gegenüber von dem Fernseher. So konnte er die Fragen und die Antwortmöglichkeiten Live mitlesen. Mittels Handzeichen konnte der Nachhilfelehrer dem/der Studenten/Studentin X die Antworten zukommen lassen.

2. StudentIn X und StudentIn Y konnten sich bei einer Prüfung auf Moodle (Multiple Choice) Fotos von den Fragen gegenseitig schicken. Diese Fotos konnten sie machen, indem sie die Kamera so geneigt haben, dass man nur den Kopf und den Hals der StudentInnen sah, somit bat der versteckte Teil einen guten Platz an, um mit dem Mobiltelefon zu fotografieren.

3. Bei einer anderen Prüfung war die Angabe in einem Word-Dokument in Form von offenen Fragen erstellt. StudentIn X hat vor der Prüfung eine Zusammenfassung vom Stoff kreiert. Aus dieser konnte sie dann die Fragen suchen, herauskopieren und in ihre Prüfung einfügen. Er/sie gewann Zeit für Fragen, die nicht in seiner/ihrer Mitschrift zu finden waren. In diesem Fall suchte er/sie im Internet nach einer Antwort und schrieb diese in eigene Worte um.

 

4. Erarbeitete Lösungen:

Die Studierenden haben mit ihrem Lektor mehrere Quick Fix-Lösungen ausgetestet und darauf aufbauend Low Budget-Empfehlungen ausgearbeitet. Zwei Beispiele, die für die Arbeitsweise im Projekt charakteristisch sind, seien hier vorgestellt. Die meisten Prüfungsszenarien beinhalteten verschiedene Software-Programmen, wobei alle Kombinationen mindestens zwei funktionstüchtige technische Geräte benötigten.

 

3.1. Quick Fix-Lösung Level 1:

Hierbei wurden die Software Zoom, Moodle inklusive des Safe Exam Browsers und als Hardware ein Computer / Laptop und ein Handy zur Hand genommen. Das modellierte Szenario, welches wir für den Prüfungsablauf gewählt haben, setzt voraus, dass die Applikation Zoom auf dem Handy installiert und gestartet wird. Das Handy übernimmt die Funktion der Kamera, welche den gesamten Arbeitsplatz (inkl. Tisch, Laptop, Hände und sonstige Hilfsmittel) von der Seite aus einem Abstand von ca. einem Meter erfasst. Wichtig ist dabei, die Stummschaltung auf dem Handy zu aktivieren, da es sonst zu ungewollten Störungen in Form einer Rückkopplung kommen kann. Der Computer / Laptop dient der Übertragung des Bildschirms und der eigentlichen Prüfung (siehe Abb. 1 - Link 1).

 

Auf dem Smartphone des/der Studierenden wird ein Zoom-Meeting gestartet, an dem jeder Prüfling mit eingeschalteter Kamera und u.U. eingeschaltetem Telefon teilnehmen muss. Am PC/Laptop wird die Prüfung in Moodle/MS Teams bearbeitet. Die Prüfungsaufsicht sieht die ganze Zeit den/die PrüfungsteilnehmerIn, den Arbeitsplatz und schaut quasi über die Schulter auf den Monitor. Das Smartphone fällt als Kommunikationsmittel weg, ebenso Online-Anwendungen. Empfohlen wird, zusätzlich maximal 1-2 leere DIN A4-Blätter zu erlauben, die vor der Prüfung in die Kamera zu halten sind. Der Vorteil besteht darin, dass die Routine bzw. die technischen Kenntnisse der Prüfungsaufsicht nur sehr gering zu sein brauchen und den Studierenden viele Möglichkeiten der Leistungsvortäuschung genommen werden. Diese Quick Fix-Lösung werden wir auch in Zukunft anwenden.

 

Für die Mehrheit der Studierenden war die digitale Prüfung an sich eine neue und ungewohnte digitale Prüfungsumgebung, bei welcher man sich ständig unter Beobachtung gefühlt hat. Vor Beginn der Prüfung wurden die Umgebungen der teilnehmenden Studierenden durch eine 360°-Drehung mit der Kamera kontrolliert. Danach musste die Kamera so platziert werden, dass sie den kompletten Arbeitsplatz, d.h. den Monitor, die Tastatur, eventuelle Unterlagen und den/die Studierenden selbst zeigt. Diese Positionierung wurde vom Lektor einzeln kontrolliert und gegebenenfalls angepasst.

 

3.2. Quick Fix-Lösung Level 2:

Auf der nächsthöheren Stufe verdoppeln sich die Überprüfungsmöglichkeiten, wenn eine Zoom-Session nicht nur auf dem Smartphone sondern gleichzeitig auf den PCs/Laptops der KandidatInnen gestartet wird. Jede/r KandidatIn steigt also zweifach in ein Zoom-Meeting ein. Das seitlich aufgestellte Smartphone übernimmt so wie vorher die Funktion der Kamera und des Mikros. Er/sie teilt zusätzlich seinen/ihren Bildschirm mit der Aufsicht, die dann live alles, was auf dem Computer der KandidatInnen zu sehen ist, einsehen kann. Die Bildschirme der Prüflinge sind nur für die Aufsicht und nicht untereinander einsehbar. Auf dem Bildschirm der Aufsicht sind dann die Bilder des Zoom-Meetings der Smartphones (die seitlichen Ansichten) und gleichzeitig die freigegebenen Bildschirme der KandidatInnen zu sehen (siehe Abb. 2 - Link 2).

 

4. Erkenntnisse:

Für einen Einblick in die Erkenntnisse des Projekts sei aus dem Projektbericht der Studierenden zitiert:

 

"Eine der wichtigsten Erkenntnisse nach zahllosen Tests mit stetig steigendem Aufwand war für Lektor und Studierende: Schummeln kann deutlich reduziert, aber nicht zu 100% verhindert werden. Es werden immer wieder neue Wege gefunden und auch genutzt, um während einer Prüfung zu schummeln. Auch in dieser Hinsicht ist die Kreativität der Studierenden beeindruckend. Auch wenn durch Vorkehrungen wie Verständnisfragen oder Open Book - Klausuren mit wenig Zeit die Möglichkeiten des Schummelns eingeschränkt sind, so finden Studierende immer wieder effiziente Wege, um an die richtigen Antworten zu gelangen. Vor allem der Bereich “Beobachtung während der Prüfung” muss grundsätzlich ausgebaut werden, um die StudentInnen am Schummeln zu hindern und um die Leistungswilligen nicht zu demotivieren.

Schwindeln benötigt lösungsorientiertes Denken. Dies ist unbestreitbar und lässt infolge vermeintliche Intelligenz vermuten. Lösungsorientiertes Denken ist ein kleiner Bestandteil der Intelligenz. Wer einen Test in Präsenz bestreitet und es schafft, erfolgreich zu schummeln, hat sich ein gutes System überlegt, welches die Überprüfenden nicht aufdecken haben können. Das hat einen gewissen Charme. Schummeln läuft vor Ort meistens so ab: “Wenn er / sie herschaut, mach ich nichts. Wenn er / sie wegschaut, schau ich auf meine Smartwatch.” Ist das intelligent? Vermutlich lässt sich hier keine überragende geistige Leistungsfähigkeit oder eine Kombination von kognititven Fähigkeiten nachweisen. Die Überprüfungsmethodik entscheidet, wie intelligent der/die Studierende mit seinem erfolgreichen Schummelversuch anzusehen ist. Denn, wenn er/sie es trotz enger Beobachtung schafft zu schummeln, dann handelt es sich um einen ausgeklügelten Plan und einer effizienten und effektiven Kombination der geistigen Fähigkeiten. "Wenn mein Universitätsprofessor in Mathematik mir meine Prüfungsdatei per Mail schickt, und ich als Studentin meinen guten Freund, der Mathematik studiert, darum bitte, dass er mir hilft, dann zeigt dies nicht von besonders hoher Intelligenz, sondern einer 1 + 1 - Fähigkeit.“ (Zitat einer Studentin des 1.Sem). Ob Schummeln bei Onlineprüfungen ein Zeichen von Intelligenz ist oder nicht, hängt vom Prüfungsmodus und der Überprüfung ab. Wird nicht überprüft, dann zeugt das auch nicht von Intelligenz. Wird man streng überwacht und schafft es dennoch erfolgreich zu schummeln, dann ist ein Baustein der Intelligenz (das lösungsorientierte Denken) sehr gut ausgeprägt. Schließlich müssen LektorInnen sich fragen, was die Intentionen ihrer Prüfungen sind. Wenn die Absicht ist, dass Studenten sich mit der Substanz auseinandersetzen, dann wären Take Home – Exams vermutlich die ansprechendste Methode."

 

 

Mehrwert

Die Studierenden haben in ihrem Projektbericht Empfehlungen für Lehrende und Studierende erarbeitet, die in Form eines Ratgebers auf die interne Lehrendenplattform der FH BFI Wien gestellt werden und somit allen Lehrenden und auch Studierenden zugutekommt. Der Ratgeber wird Kolleginnen und Kollegen viel Zeit und mühevolles Austesten von guten Prüfungsdesigns mit hoher Qualität ersparen. Der Aufwand für die einzelnen Lehrenden wird auch dahingehend reduziert, dass Fehlerschleifen nicht immer wieder selbst durchlaufen werden müssen, um eine optimale oder akzeptierte Prüfungsmodalität zu entwickeln. Wie das Projekt gezeigt hat, kann auch die Akzeptanz von Online Assessments bei Studierenden gesteigert werden.

 

Ein nicht ganz erwarteter Nebeneffekt ist, wie Studierende berichten, dass sie sich beim Vorbereiten auf Prüfungen mit den Aufgabenstellungen wieder viel intensiver beschäftigen als zu Coronazeiten.

 

Eine wichtige Wirkung des Konzepts ist auch, dass die kooperative Beschäftigung mit den Prüfungsmodalitäten das Vertrauen von beiden Seiten in faire Prüfungsmodi stärkt.

 

Für Lehrende und Studierende hat dieser Ansatz noch weitere Vorteile: Die Themen, bei welchen die Studierenden Verständnis- oder Lernschwierigkeiten haben, werden durch diese Art der Prüfungsgestaltung schneller erkennbar, wenn Lehrende die Aufmerksamkeit darauf richten, bei welcher Aufgabenstellung die Bearbeitung holprig erfolgt. Der/die Lehrende kann zielgerichteter intervenieren und dies in einer zukünftigen gleichen oder ähnlichen Lehrveranstaltung berücksichtigen. Lernschwierigkeiten und erfolgreiches Lernen werden für den Lehrenden direkter wahrnehmbar.

Übertragbarkeit/Nachhaltigkeit

Die erarbeiteten Lösungen und Empfehlungen sind auf alle Lehrveranstaltungen mit Online-Assessments übertragbar.

 

Die positiven Erfahrungen mit dem Lehrveranstaltungskonzept waren auch Anlass, eine Transferwerkstatt durchzuführen. Transferwerkstätten sind an der FH des BFI Wien themenbezogene Entwicklungsplattformen, in denen sich interessierte Lehrende treffen, um von PionierInnen aus erster Hand zu erfahren, wie neue Lehrkonzepte entwickelt wurden, welche Erfahrungen bei der Umsetzung in der Lehrpraxis damit gemacht wurden und welche Möglichkeiten es gibt, das neue Konzept in eigenen Lehrveranstaltungen zu nutzen.

 

Dieses hochschuldidaktische Wissensmanagement hat sich an der FH des BFI Wien als Vorgehensweise herausgestellt, die aus Sicht der Lehrenden sehr hohe Akzeptanz hat. Dies auch deshalb, weil neue Lehrmethoden durch die persönlichen Schilderungen der InnovateurInnen gleichsam mit Händen greifbar werden und gemeinsam Übertragungsmöglichkeiten in die eigene Lehrpraxis entwickelt werden. Transferwerkstätten multiplizieren dadurch Lehrinnovationen und bilden eine Umgebung für die kontinuierliche Weiterentwicklung und Adaption von Lehrkonzepten sowie für die Verknüpfung mit anderen didaktischen Ansätzen, wodurch sich wiederum neue Anwendungsmöglichkeiten ergeben. Die im vorliegenden Projekt erarbeiteten Ergebnisse werden daher direkt von anderen Lehrenden aufgegriffen und genutzt und finden so Eingang in den regulären Lehr- und Prüfungsbetrieb.

 

Darüber hinaus werden die erarbeiteten Erfahrungen und Empfehlungen als Muster in der hochschulinternen Lehrendenplattform gespeichert und können so von Lehrenden, die diese Beispiele in eigenen Lehrveranstaltungen nutzen möchten, einfach mittels Copy & Paste in den eigenen Kurs übertragen werden oder für diesen adaptiert werden.

 

Besonders wichtig ist auch, dass der Projektbericht der Studierenden für die Publikation als Buchbeitrag weiterbearbeitet wird und die Arbeit und die Erfolge der Studierenden damit auch über die Grenzen der Fachhochschule hinaus sichtbar werden. Es ist dies auch ein Zeichen dafür, dass die Fachhochschule die Leistungen besonders engagierter Studierender auch über den Rahmen des eigentlichen Studiums hinaus honoriert. Zusätzlich stehen durch die Buchpublikation die gewonnenen Erkenntnisse auch Lehrenden und Studierenden anderer Hochschulen zur Verfügung.

 

Das Konzept und die erarbeiteten Ergebnisse wurden bereits internationalen ExpertInnen der Hochschuldidaktik von den Universitäten Zürich und Graz sowie der Technischen Hochschule Mittelhessen und der Hochschule für Technik und Wirtschaft Berlin im Rahmen des von der Hochschuldidaktik der FH BFI Wien am 2. März 2021 veranstalteten Meetings zur Peer Review von innovativen Lehrkonzepten der FH vorgestellt. Prof. (FH) Alois Strobl nahm stellvertretend für die Studierenden besonders gutes Feedback für den kollaborativen Ansatz und für die Generierung von Ergebnissen, die unmittelbaren Nutzen sowohl für Lehrende als auch für Studierende bringen (siehe Link 3: Präsentation_Online-Prüfung_Internationales Partnermeeting).

Aufwand

Die Studierenden hatten durch die Entwicklung des Testsettings, die Durchführung der Tests und die Erstellung des Projektberichts einen zusätzlichen Lehraufwand, der aber aufgrund der guten Arbeitsteilung für den/die einzelnen Studierenden in vertretbarem Rahmen blieb.

 

Für Lektor Prof. (FH) Strobl entsteht ein zusätzlicher zeitlicher Aufwand durch die redaktionelle Bearbeitung des Buchbeitrags in Zusammenarbeit mit den Studierenden.

 

Es sind keine weiteren Kosten angefallen.

Positionierung des Lehrangebots

Alle Bachelor- und Masterstudiengänge der FH BFI Wien

Links zu der/den Projektmitarbeiter/innen
Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2021 nominiert.
Ars Docendi
2021
Kategorie: Kooperative Lehr- und Arbeitsformen
Ansprechperson
Mag. Dr. Dietmar Paier
Hochschuldidaktik
1-7201286-961
Nominierte Person(en)
Prof. (FH) Dr. Alois Strobl, MBA
Masterstudiengang International Banking and Finance
Studierendenkollektiv 1. Jahrgang Studiengang Bank- und Finanzwirtschaft, Studienjar 2020/21
Bachelorstudiengang Bank- und Finanzwirtschaft
Themenfelder
  • Neue Medien
  • Didaktische Methode
  • Kommunikation/Plattform
  • Berufsbegleitend Studieren
  • Rund ums Prüfen
Fachbereiche
  • Wirtschaft und Recht