Entwicklung eines computergestützten Self-Assessment-Verfahrens zur objektiven Bewertung der praktischen, zahnärztlichen Fähigkeiten von Studierenden.

Nähere Beschreibung des Projekts

Die grundlegende Idee Dr. Wolgins und seines Teams ist die Abkehr von der allgemein etablierten subjektiven Bewertungsmethode der praktischen Fähigkeiten der Studierenden der Zahnmedizin zugunsten eines lehrerunabhängigen formativen und computergestützten Feedbacks. Für die Studierenden, in Folge aber auch für die Beurteilenden, soll ein analytisches, computergestütztes Beurteilungssystem entwickelt werden, das ihnen beim Lernen objektives Feedback gibt und später Grundlage für eine fundierte Benotung sein kann. Das Beurteilungskonzept soll so konzipiert sein, dass je nach Studienabschnitt unterschiedliche zulässige Abweichungen toleriert werden (justierbare Toleranzkorridore).

Umsetzung:

Die Umsetzung des Projektes teilt sich in 7 Etappen (Milestones):

1. Überprüfung der Objektivität der allgemein etablierten "Glance-and-Grade"-Methode

Im ersten Schritt wurde die momentan vorherrschende Bewertungsmethode untersucht. Dazu wurden zwei Testgruppen gebildet. Die erste Gruppe bestand aus 171 Zahnmedizinstudenten und -studentinnen des fünften Semesters, die an einem Phantomkursus der Zahnerhaltungskunde teilgenommen haben. Die zweite Gruppe bestand aus 127 Zahnmedizinstudenten und -studentinnen des sechsten Semesters, die an einer praktischen zahnärztlichen Vorprüfung teilgenommen haben. Beide Gruppen waren ohne signifikante Unterschiede in Alter, Geschlecht und ethnischer Zugehörigkeit. Der Anteil der weiblichen Studierenden in den beiden Gruppen betrug 40 % bzw. 37 %.

Beide Gruppen wurden mit standardisierten praktischen Tests (OSPE-Objective Structured Practical Examination) konfrontiert, die aus fünf bis sechs Teststationen mit der Präparation unterschiedlicher Kavitäten und dem Legen verschiedener Füllungen in einem zuvor codierten standardisierten Simulationsmodell bestehen.

Die anschließende Beurteilung wurde unabhängig von drei kalibrierten Prüfern durchgeführt, die sich zuvor auf eine Reihe von Kriterien geeinigt hatten.

Die Benotung der Kursleistung wurde mit den Werten von „-1“ (nicht akzeptabel), über „0“ (klinisch akzeptabel) bis „+1“ (sehr gut) und die Leistung aus der Vorprüfung anhand der österreichischen 5-Punkte-Notenskala von 1 (sehr gut) bis 5 (nicht ausreichend) durchgeführt.

Eine statistische Auswertung mit dem Chi-Quadrat-Test ergab statistisch signifikante Unterschiede (p ? 0,05) bei der Beurteilung aller Prüfer in allen Tests. Obwohl die Prüfungen einen OSPE-Charakter trugen, war es den Prüfern nicht möglich, die praktische Leistung der Studierenden objektiv zu beurteilen.

2. Entwicklung eines analytischen prepCheck-basierten Verfahrens zur objektiven Beurteilung der praktischen Fähigkeiten von Studierenden der Zahnmedizin

Als Basis für das objektive computergestützte Bewertungssystem wurde auf ein bereits existierendes Analyseprogramm namens prepCheck zurückgegriffen. PrepCheck dient ursprünglich dem Zweck der Beurteilung von einfachen Zahnstumpfpräparationen im Rahmen der Vorbereitung des Zahnes zur Aufnahme einer künstlichen Krone. Dabei ist die prepCheck-Anwendung in der Lage, das Ausmaß des Zahnhartsubstanzabtrages zu visualisieren. Für die Entwicklung eines objektiven Bewertungsverfahrens im therapeutischen Bereich (Präparation von Hohlräumen zur Aufnahme einer plastischen Füllung) wurden die versteckten Möglichkeiten des prepChecks so ausgenutzt, dass auch das Erfassen der komplizierten Geometrie von Kavitäten möglich wurde.

Die Erschließung dieses zuvor ungenutztes Potentials von prepCheck hat dazu geführt, dass sowohl das Idealkiefermodell (Master-Präparation) als in Folge auch die Kiefermodelle der Studierenden mithilfe von CEREC-Omnicam in 3D eingescannt und in prepCheck vermessen und bewertet werden konnten. Entscheidend dabei ist, dass man im 3D-Bild der Präparation neben dem Querschnitt des Zahns auch mehrere Schichten virtuell schneiden oder in unterschiedlich vielen Schichten betrachten kann. Dadurch kann man Ansichten der Präparation sehen, die am physischen Modell niemals ersichtlich sind.

Nachdem das studentisch bearbeitete Kiefermodell eingescannt ist, wird es in der Software über das Idealmodell der Masterpräparation gelegt und damit abgeglichen. Die Unterschiede zwischen der studentischen Präparation und dem Mastermodell werden so grafisch sichtbar. Auf diese Art sieht man auf einen Blick, wo und wie viel der Studierende zu viel oder zu wenig gebohrt hat.

3. Kalibrierung von prepCheck durch Bestimmung der zulässigen Toleranzgrenze und Definition eines Toleranzkorridors

Eine Gruppe von 54 konventionell betreuten Studierenden des fünften Semesters übte die Präparation einer makroretentiven Klasse-II Kavität (Zahn 46). Das ist eine Bohrung, bei der die Öffnung am Zahn schmäler ist als der weiter innen liegende Hohlraum. Diese Art der Bohrung gewährleistet, dass die anschließende Füllung im Zahn hält. Nach der Übung legten die Studierenden die obligatorische praktische Prüfung ab, bei der auch eine solche Präparation durchzuführen war. Drei Kursbetreuer führten nach vordefinierten Beurteilungskriterien die visuelle Auswertung der Prüfungsaufgaben durch. Ein vierter unabhängiger, verblindeter und den anderen Bewertern übergeordneter Prüfer übernahm die Verantwortung für die endgültige Entscheidung im Falle der fehlenden Übereinstimmung (bei widersprüchlichen und/oder voneinander abweichenden Beurteilungen für die Notenvergabe).

Anschließend wurde die Gestaltung aller Präparationen mittels prepCheck analysiert. Da die aktuell vorhandene Version der prepCheck-Anwendung noch über keine Möglichkeit der Datenverarbeitung verfügt, wurden die Daten (Abmessungen der Kavitäten) in eine Excel-Tabelle exportiert. Die Excel-Tabelle wurde so eingestellt, dass eine maximal zulässige Abweichung der Kavität der studentischen Präparation zur Masterpräparation von ±10 % akzeptiert wurde. Das führte zu einer Misserfolgsrate von 96,3 %. Fast alle Studierenden, die die vorherige Prüfung bestanden hatten, wären also bei dieser geringen Toleranz durchgefallen. Deshalb wurde die Toleranz der zulässigen Abweichung schrittweise auf bis zu 35 % erhöht und mit dem Ergebnis der visuellen Beurteilung (Misserfolgsrate von ca. 20 %) korrelierte.

Nun ist eine Toleranz von 35 % für die praktischen zahnärztlichen Fähigkeiten des fünften Semesters zwar ausreichend, für einen angehenden Zahnarzt aber kein gutes Ergebnis. Darum wurde die Tabelle so programmiert, dass das Programm für ein und dieselbe Präparation, wenn sie von Studierenden unterschiedlichen Semesters durchgeführt wird, andere, nämlich immer geringere Toleranzen ansetzt. So sollte die Toleranz einer Präparation, wenn sie von einem Studierenden des älteren Semesters gemacht wird, idealerweise nur noch bei +/- 10 % liegen.

4. Vergleich der "Glance-and-Grade"-Beurteilung mit der prepCheck-basierten Beurteilung

Nachdem die Toleranzgrenzen von prepCheck definiert und kalibriert worden waren, wurden die Detailergebnisse aller formativen Prüfungen auf Basis der „Glance-and-Grade“-Methode mit den jeweiligen Ergebnissen des prepChecks verglichen.

Das Ergebnis zeigt, dass im Gegensatz zu der von starker Subjektivität geprägten menschlichen Beurteilungsfähigkeit das prepCheck-basierte Bewertungsverfahren eine hohe Präzision erreichte.

Im Detail enthüllt der direkte Vergleich beider Methoden, dass alle Assistenzärzte und Assistenzärztinnen Toleranzen akzeptiert haben, die bereits weit über der zulässigen Toleranzgrenze von 35 % lagen und andererseits einige Arbeiten von Studierenden nach der visuellen Beurteilungsart mit „nicht genügend“ beurteilt wurden, die in Wahrheit und durch prepCheck nachweislich mit ihrer Arbeit als innerhalb der Toleranzgrenze liegend anzusetzen waren.

5. Vergleich des didaktischen Nutzens von Self-Assessments durch prepCheck und formativem Feedback durch den Assistenzarzt

In einem nächsten Schritt wurde der didaktische Nutzen des prepCheck im Vergleich zum Feedback durch einen Assistenzarzt untersucht. Dafür wurde eine Gruppe (Stichprobe) von 47 Studierenden der Zahnmedizin des fünften Semesters ausgewählt, die an einem Phantomkursus in Zahnerhaltungskunde teilnahmen. Die Studierenden dieser Gruppe wurden dann nach dem Zufallsprinzip in zwei Untergruppen geteilt. Die Aufgabe des Phantomkurses war die Präparation einer dreiflächigen Kavität mit dem Ziel, diese mit einer Amalgamrestauration zu versorgen.

Die Studierenden der ersten Gruppe (n=24) durften während des gesamten Phantomkurses zu jedem selbst gewählten Zeitpunkt und so oft sie wollten ihre Präparation mithilfe von prepCheck analysieren und vermessen. Auf Basis des 3D-Bildes ihrer Arbeit, das im prepCheck mit der „Master-Präparation“ hinterlegt war, mussten die Studierenden selbst entscheiden, ob sie die Arbeit wiederholen oder korrigieren sollten. Ein persönliches Feedback oder eine Bewertung des Assistenzarztes/der Assitenzärztin bekamen die Studierenden dieser Selbsteinschätzungs-/Interventionsgruppe nicht.

Die zweite Untergruppe (n=23) durchlief den Phantomkurs konventionell, also mittels mehrmaligem formativem Feedback durch einen Assistenzarzt/eine Assistenzärztin, wodurch die Arbeit der Studierenden nach der visuellen „Glance-and-Grade“-Methode beurteilt und ihnen gesagt wurde, ob sie die Arbeit wiederholen sollten oder wo sie noch nacharbeiten müssten. Den prepCheck durfte diese Kontrollgruppe nicht verwenden.

Nach Abschluss des Kurses wurde von allen Kursteilnehmern gemeinsam (Teilnehmer beider Untergruppen) eine obligatorisch anonyme praktische Prüfung durchgeführt. Diese Prüfung beinhaltete die Präparation einer ähnlichen Amalgamkavität.

Nach der Prüfung wurden von allen studentischen Präparationen mit der CEREC-Omnicam optische 3D-Abdrücke angefertigt, in prepCheck vermessen und mittels Excel-Tabelle bewertet. Die statistische Analyse der digitalisierten Proben (Mann-Whitney-U-Test) ergab keine signifikanten Unterschiede zwischen Kavitätenabmessungen (p= 0,406) der beiden Untergruppen. Der Grad der Übereinstimmung der studentischen Präparationen mit der "Master-Präparation" war in beiden Gruppen vergleichbar (p = 0,259). Das digital-basierte Selbstbewertungs-Lernwerkzeug prepCheck ist damit der herkömmlichen Form der Betreuung durch Assistenzärzte/-ärztinnen gleichwertig.

6. Untersuchung der Entwicklung bzw. des langfristigen Erhalts der praktischen Kompetenz der Studierenden nach Self-Assessments. (Vorbereitungen laufen)

Nachdem die Gleichwertigkeit der Leistungen beider Untergruppen und damit die Leistungsfähigkeit des Self-Assessment mit prepCheck belegt ist, laufen an der DPU bereits die Vorbereitungen für den nächsten Schritt der Studie. Es geht darum, den langfristigen Erhalt der praktischen zahnärztlichen Fähigkeiten durch Self-Assessment mit dem konventionellen normativen Feedbackunterricht zu vergleichen. Das Setting der beiden Untergruppen wird gleich aufgesetzt wie zuvor im Schritt 5. Die eine, neu randomisierte Gruppe der Studierenden wird den Phantomkurs in ständiger Selbstkontrolle mittels prepCheck-Anwendung durchführen. Die zweite Gruppe wird wieder auf das formative Feedback von Kursassistenten/-assistentinnen angewiesen sein. Die Aufgabe einer Präparation einer dreiflächigen Kavität zur Aufnahme einer Amalgamfüllung wird wieder am Ende des Kurses durchgeführt. Anders als bei dem vorhergehenden Versuch wird die Prüfung allerdings zu mehreren, späteren Zeitpunkten wiederholt. Insgesamt werden vier Prüfungen über einen Zeitraum von ca. 1,5 Jahren absolviert, wo eine und dieselbe praktische Aufgabe neben 4 - 5 anderen Aufgaben, die in der Studie aber nicht erfasst werden, gestellt wird. Die Bewertung der Präparationen wird analog zum oben beschriebenen Vorgehen mittels des erarbeiteten Konzeptes mit justierbaren Toleranzkorridoren durchgeführt. Untersucht werden mögliche Unterschiede im Verlauf der Lernkurve bei den Studierenden beider Gruppen. Es soll damit herausgefunden werden, ob das Lernen mittels der Self-Assessment-Methode einen nachhaltigeren Kompetenzaufbau ermöglicht als wenn der Studierende immer den Empfehlungen des Assistenzarztes/der Assistenzärztin nacharbeitet.

7. Roll-out – Umsetzung des prepChecks für alle Präparationen (in Vorbereitung)

Die Analysemöglichkeit von prepCheck könnte nach positivem Ergebnis der Langzeitstudie zur Reduktion der notwendigen Betreuungskapazitäten während der Phantomkurse führen. Bereits jetzt kann prepCheck den beurteilenden Ärzten und Lehrern eine valide Beurteilungsbasis sein. Dazu muss das Programm, das im Moment nur eine von ungefähr 60 - 70 Master-Präparationen hinterlegt hat, die während des Studiums von den Studierenden geübt werden, auf alle Präparationen ausgeweitet werden. Die Arbeiten an diesem schrittweisen Roll-out sind an der DPU bereits im Gange.