Kompetenzorientierte mündlich-strukturierte Prüfung in einem klinischen Modul

Ziele/Motive/Ausgangslage/Problemstellung

Bis zum August 2021 wurde das fünfwöchig geblockte klinische Modul „Erkrankungen des Nervensystems“ durch eine schriftliche Multiple-Choice-Prüfung abgeschlossen. Trotz einiger Bemühungen in der Vergangenheit, die Fragen- und damit Prüfungsqualität möglichst hoch zu halten (u.a. Erstellung von >200 neuen Fragen wenige Jahre zuvor), zeigten sich bekannte Schwächen des Multiple-Choice-Formats (Abprüfen von Einzelfakten, Fragenlernen durch Studierende, Rateeffekte, etc.).

In mehreren ausführlichen Besprechungen zwischen den Fachverantwortlichen und den Lehrenden wurde gemeinsam beschlossen, den Prüfungsmodus zu ändern. Nach längeren Diskussionen und Vergleich verschiedener Prüfungsmodelle entschloss man sich zum Modell der mündlich-strukturierten Prüfung. Als Zielsetzung des neuen Formats wurde vorgegeben:

Gezieltes Abprüfen praxisrelevanter Inhalte (also nicht nur Faktenwissen, sondern Anwendung klinischer Kompetenzen, wie beispielsweise Diskussion von Differentialdiagnosen, diagnostischer und therapeutischer Schritte)
Nutzung des Prüfungsgesprächs, um Nachfragen/Richtigstellungen zu ermöglichen…
…bei gleichzeitiger Beibehaltung von Fairness und Gleichbehandlung durch das mündlich-strukturierte Konzept
Eine Stärkung des direkten Kontakts zwischen Lehrenden und Studierenden und der durch das mündliche Format entstehende direkte Feedback hinsichtlich des Lernerfolgs (und möglicher Defizite in der Vermittlung der Lerninhalte)
Eine Stärkung des Bogens zwischen den Lehrveranstaltungen und der Prüfung

Kurzzusammenfassung des Projekts

Das klinische Modul „Erkrankungen des Nervensystems“ ist eine fünfwöchige geblockte Lehrveranstaltung im Diplomstudium Humanmedizin und umfasst Vorlesungen, Seminare, Übungen sowie eine abschließende Modulprüfung. Im Zuge einer Neugestaltung des Moduls wurde das Prüfungsformat auf eine mündlich-strukturierte Prüfung umgestellt. Dieser Veränderung ging ein einjähriger Vorbereitungsprozess voran, in welchem der Prüfungsablauf, die Beurteilung und die Prüfungsfragen diskutiert und erstellt wurden. Der Prüfungsfragenpool umfasste zum Zeitpunkt des Starts des neuen Prüfungsformats 70 Fragenbäume mit ca. 280 Teilfragen und wird seitdem kontinuierlich erweitert.

Inhaltlich wurde im neuen Format ein klarer Fokus auf praxisrelevante, d.h. kompetenzorientierte Inhalte gestellt. Das mündlich-strukturierte Format erlaubt uns Fragen aus dem klinischen Alltag zu stellen, welche in der Regel eine klinische Fallvignette (Anamnese und ggf. erste Untersuchungsergebnisse) umfassen, und in erster Linie auf Differentialdiagnosen, Indikationsstellungen zu Untersuchungen sowie therapeutische Optionen abzielen.

Wir konnten durch die Umsetzung des neuen Prüfungsformats im gesamten Modul eine Umstellung des primären Lernverhaltens von individuellen Fakten (Multiple-Choice-Prüfung) auf kompetenzorientiertes Lehren und Lernen erreichen. In der strukturierten Prüfungsevaluierung durch die Studierenden zeigten sich exzellente Ergebnisse, ebenso in qualitativen Rückmeldungen der Lehrenden.

Kurzzusammenfassung des Projekts in englischer Sprache

The clinical study module „diseases of the nervous system” is a five-week course in the diploma programme medicine and includes lectures, seminars, small-group courses and a concluding examination. During a redesign of the entire study module, the format of the examination was changed from a written multiple-choice test to a structured oral examination. This change was implemented after a one-year preparatory phase, where exam details, assessment and questions were generated and discussed. The pool of exam questions at time of implementation included a total of 280 questions based on 70 larger patient cases and has been expanded since.

In regards to content, we focussed on clinically relevant, competence-oriented exam questions. The structured-oral format allows us to ask questions from daily clinical practice, which usually include a patient case (history, first investigations) and point towards differential diagnoses, indicated further investigations and therapeutical steps.

By implementing this new examination format, we managed to change the predominant learning behaviour from learning individual facts (multiple-choice examination) to competence-orientated learning and teaching in the entire study module. In a structured evaluation of the new examination format, student satisfaction was very high, with very positive feedback also coming from a qualitative survey to lecturers and examiners.

Nähere Beschreibung des Projekts

Nachdem in ausführlichen Diskussionen zwischen den Lehreverantwortlichen und Klinikvorständen Ende 2020 der Entschluss gefallen ist, die Modulprüfung auf ein mündlich-strukturiertes Format umzustellen, begannen die Vorbereitungsschritte. Priv.-Doz. Dr. Simon Fandler-Höfler und Priv.-Doz. Dr. Alexander Pichler wurden als Verantwortliche für das Projekt benannt und eine klare Zielsetzung (siehe oben) vereinbart. Lehrende ähnlicher Prüfungsformate an unserer und anderer Universitäten wurden kontaktiert und deren Knowhow in die Konstruktion des Prüfungsformats miteinbezogen.

Das mündlich-strukturierte Konzept umfasst in unserer Interpretation ausformulierte Fragenbäume mit mehreren Teilfragen sowie definierten korrekten Antworten und Punkteschemata. Das bedeutet, dass im Vergleich zu einer traditionellen mündlichen Prüfung der inhaltliche Rahmen durch die vorgegebenen Prüfungsfragen und -antworten klar vorgegeben wird, wobei ein moderater Interpretationsspielraum durch den/die Prüfer/in verbleibt (Möglichkeit des Nachfragens, Diskussion halbrichtiger Antworten, etc.).

Hinsichtlich der Ausrichtung der Prüfung war von Beginn an klar, dass wir im neuen Format auf praxisrelevante Inhalte fokussieren wollten, gemäß der Zielsetzung des Diplomstudiums Humanmedizin (Rollenbild „medizinischer Experte/medizinische Expertin“). Ein Fragenbaum besteht in der Regel aus einer klinischen Fallvignette, wo im Zuge mehrerer Teilfragen einzelne Aspekte der Differentialdiagnose, Diagnostik oder Therapie abgeprüft werden können. Dies fordert von Studierenden viel mehr als pures Faktenwissen wie zuvor im Multiple-Choice-Format, sondern ist im Gegensatz an konkreten klinischen Kompetenzen orientiert.

Inhaltlich orientierten sich die Fragen am Grazer Klinischen Lernzielkatalogs Medizin und dem Österreichischen Kompetenzlevelkatalog Klinische Fertigkeiten. Die Lernziele, welche durch unser Modul abgedeckt werden, wurden jeweils Vorlesungen und/oder Seminaren und damit Teams von Lehrenden zugeordnet. Der Erstellung der Fragen in den jeweiligen Fach-Subgebieten wurde von den habilitierten Lehrenden dieser Subgebiete vorgenommen, welche jeweils für die Lehr- und Lerninhalte (Vorlesung, Seminare) im Modul zuständig sind. Diese Entwürfe wurden dann nach Sechsaugenprinzip diskutiert und je nach Bedarf überarbeitet. Weitere Überarbeitungen der Prüfungsfragen fanden konstant durch das unmittelbare Feedback im Rahmen der mündlich-strukturierten Prüfung statt. Zum Zeitpunkt der ersten Umsetzung des neuen Prüfungsformats waren 70 Fragenbäume mit ca. 280 Teilfragen in Verwendung, seitdem wird der Fragenpool kontinuierlich erweitert und überarbeitet.

Während das Modul „Erkrankungen des Nervensystems“ organisatorisch vom Fach Neurologie geführt wird (ca. 80% der Lehreinheiten) und das Konzept der mündlich-strukturierten Prüfung primär von der Universitätsklinik für Neurologie ausging, wurden alle anderen im Modul involvierten Fächer (Neurochirurgie, Geriatrie, Neuropathologie, Strahlentherapie) in der Prüfung integriert und Prüfungsfragen durch die Lehrenden dieser Fächer erstellt. Die Prüfer*innen, welche die Prüfungsfragen aller involvierten Teilfächer abfragen, werden in Regel von der Universitätsklinik für Neurologie gestellt (Voraussetzung: Habilitation). Auch wenn dies initial Diskussionsbedarf erzeugte, konnte rasch der Konsens erreicht werden, dass für eine lernzieladäquate Lerntiefe die involvierten habilitierten Neurolog*innen auch die Inhalte der verwandten Fächer prüfen können – im Laufe der Umsetzung stellte dies auch keinerlei Probleme dar.

Parallel wurden auch in den Lehrveranstaltungen des Moduls Adaptierungen umgesetzt. Mit der Orientierung am Grazer Klinischen Lernzielkatalogs Medizin und dem Österreichischen Kompetenzlevelkatalogs Klinische Fertigkeiten wurden allen Lehrveranstaltungen konkrete Lernziele zuordnet, welche sich auch wiederum in der Prüfung abbildeten. Da die Prüfungsfragenerstellung in erster Linie von den individuellen Lehrenden der Lehrveranstaltungen ausging, konnte eine gute Konvergenz von Lehr- und Prüfungsinhalten erreicht werden. Im Zuge dieser Prozesse zur Lernzielorientierung wurden auch die Inhalte der Lehreinheiten in vielen Fällen adaptiert bzw. fokussiert, einzelne Lehreinheiten im Umfang erweitert oder reduziert.

Die Prüfung findet gemäß den Vorgaben der Medizinischen Universität achtmal im Jahr statt. Ein Prüfungstermin ist jeweils am Ende des fünfwöchigen Moduls angesetzt, welches dreimal pro Semester (d.h. sechsmal pro Jahr) abgehalten wird, zwei weitere Termine werden in den Semester- sowie Sommerferien angesetzt. In der Beurteilung können insgesamt 30 Punkte erreicht werden, für eine positive Beurteilung sind 67% (d.h. 20 Punkte) nötig. Die Prüfung besteht jeweils als zwei „größeren“ (je 10 Punkte) und zwei „kleineren“ Fragenbäumen, welche jeweils aus unterschiedlichen Subgebieten der involvierten Fächer kommen. Als Prüfungszeit sind grundsätzlich 15 Minuten vorgesehen, wobei Studierende in 20 Minuten-Slots eingeteilt sind, um etwas Puffer zu bieten und Wechselzeit vorzuhalten. Um einen raschen Prüfungsablauf zu ermöglichen, bekommen Studierende bereits 20 Minuten vor Beginn der Prüfung in kontrollierter Umgebung ihren Prüfungsbogen und können sich damit Notizen und Gedanken machen. Im Falle sprachlicher (z.B. Erasmus-Studierende) oder sonstiger Einschränkungen werden Hilfestellungen, beispielsweise eine verlängerte Prüfungszeit, gewährt. Da in der Regel 48 Studierende jeweils gleichzeitig das Modul absolvieren, können diese im Rahmen dieses organisatorischen Rahmens innerhalb von 16 Stunden (d.h. zwei vollen Tagen) geprüft werden.

Zunächst wurde die Prüfung von den beiden Prüfungskoordinatoren abgehalten, im Verlauf wurde der Pool möglicher Prüfer*innen auf alle habilitierten Lehrenden des Moduls ausgeweitet, welche phasenweise auf das Prüfungsformat eingeschult wurden. Es wird sichergestellt, dass immer eine dritte Person im Prüfungsraum (in der Regel administrative Unterstützung) ist. Von unserer Seite wird darüber hinaus darauf Wert gelegt, dass die Prüfung in einer freundlichen und wertschätzenden Atmosphäre abgehalten wird.

Zusammengefasst konnten wir durch die Konzeption dieser mündlich-strukturierten Prüfung diese von einer ehemals einzelfaktenbasierten Multiple-Choice-Prüfung auf ein kompetenzorientiertes Format umstellen, welche die praxisrelevanten Kompetenzen entscheidend stärkt und neue Lernmuster (Verständnisbasiertes Lernen der wichtigen Erkrankungen sowie deren Diagnostik und Therapie) von der Studierenden erforderte. Seit der Umsetzung ist klar erkennbar, dass dies gelungen ist – im gesamten Modul bis hin zur Prüfung hat sich der Fokus der Lernenden und der Lehre auf den Aufbau und die Anwendung von praxisrelevantem Wissen und klinischen Kompetenzen erfolgreich verschoben.

Nutzen und Mehrwert

Der unmittelbare Mehrwert des Projekts zeigt sich in der gesteigerten klinischen Kompetenz der Medizinstudierenden und zukünftigen Ärzt*innen in der Neurologie und verwandten Fächern.

Der direkte Kontakt im Zuge der mündlich-strukturierten Prüfung ermöglicht auch eine Rückkoppelung zwischen den Lehrenden und dem tatsächlichen Lernerfolg – eine direkte Feedbackschleife, die ansonsten in dieser Form nicht möglich wäre. Wir haben auch insgesamt wahrgenommen, dass durch die mündlich-strukturierte Prüfung sich der Kontakt zwischen Lehrenden und Studierenden intensiviert hat, was zu einer erhöhten Nachfrage an studentischer Mitarbeit an Forschungsprojekten oder im Zuge von Diplomarbeiten an unserer Klinik geführt hat.

Nachhaltigkeit

Die mündlich-strukturierte Modulprüfung wird in dieser Form weitergeführt werden. Nach der Umsetzung über ein Jahr zeigte sich allerdings die Notwendigkeit einer Überarbeitung des Prüfungsfragenpools (Erstellung neuer, Überarbeitung bestehender Fragen), da selbstverständlich trotz eines recht großen Fragenpools die Fragen nach einigen Prüfungsterminen unter den Studierenden zunehmend bekannt sind.

Auch wenn dieser Effekt („Altfragenlernen“) in unserem Prüfungsformat weniger problematisch ist (Studierende müssen weiterhin ihre klinischen Kompetenzen in den jeweiligen Prüfungsfragen zeigen, während bei Altfragenlernen bei Multiple-Choice-Prüfungen nur mehr Einzelfakten gelernt werden), ist dieser dennoch nicht erwünscht und eine regelmäßige Überarbeitung des Fragenpools hilfreich. Gleichzeitig fühlen wir uns zuversichtlich, dass wir mit dem bestehenden Prüfungsfragenpool die wichtigen Lernziele unseres Moduls gut abdecken und dass somit auch selbst ein "Altfragenlernen" zum Erlernen des gewünschten Wissens bzw. der gewünschten Kompetenzen führt.

Dissemination/Transfer

Basierend auf dem Erfolg der mündlich-strukturierten Prüfung und der oftmals bestehenden Unzufriedenheit von Lehrenden und Studierenden mit dem derzeit noch dominanten Modell der schriftlichen Multiple-Choice-Prüfung, haben im letzten Jahr eine Reihe weiterer klinischer Module im Diplomstudium Humanmedizin an der Medizinischen Universität Graz Interesse an unserem Prüfungskonzept gezeigt und eine mögliche Umsetzung diskutiert. Wir haben uns mit einer Reihe von Lehrenden anderer Fachdisziplinen ausgetauscht und diese haben unsere Prüfung „besucht“. In Folge ist die Umsetzung weiterer mündlich-strukturierter Prüfungen in klinischen Modulen des 3.-5. Studienjahrs Humanmedizin in den Studienjahren 2022-2023 und 2023-2024 vorgesehen.

Institutionelle Unterstützung

Vonseiten der Universitätsklinik für Neurologie wurde die Umsetzung der mündlich-strukturierten Modulprüfung durch die personelle Besetzung und administrative Unterstützung gefördert. Zusätzlich zur persönlichen Unterstützung durch die Vizerektorin für Studium und Lehre hinsichtlich der Umsetzung der Prüfung unterstützte die Medizinische Universität Graz das neue Prüfungskonzept durch weitere administrative Mittel (u.a. im Zuge der elektronischen Evaluierung) und durch Bereitstellung einer Prüfungsfragenverwaltungssoftware.

Positionierung des Lehrangebots

Das klinische Modul „Erkrankungen des Nervensystems“ ist eine fünfwöchige, geblockte Pflichtlehrveranstaltung im 4. Studienjahr des Diplomstudiums Humanmedizin an der Medizinischen Universität Graz. Das Modul bildet gemeinsam die klinischen Fächer der Neurowissenschaften (Neurologie, Neurochirurgie, Neuropathologie, Strahlentherapie, Geriatrie) ab und umfasst Vorlesungen, Seminare, Übungen und eine gemeinsame abschließende Modulprüfung.

Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2023 nominiert.