Medizinische Universität Wien

Spitalgasse 23, 1090 Wien

http://www.meduniwien.ac.at/

Weitere Beispiele der Hochschule

VIRTUAL PATIENT - Virtuelle Patient:innen in der medizinischen Lehre

Ziele/Motive/Ausgangslage/Problemstellung

1. Darstellung realer Patient:innen in der Lehre

Nicht zuletzt durch COVID-19 besteht der Bedarf an digitalisierter Lehre. Besonders problematisch sind Lehrveranstaltungen, die im traditionellen Sinne nur im Präsenzunterricht abgehalten werden können. Die Darstellung von realen Patient:innen in der medizinischen Lehre ist immens wichtig und stellt einen wichtigen Beitrag zur klinischen Diagnosefindung dar. Allerdings ist der Einsatz von realen Patient:innen bei Lehrveranstaltungen aus folgenden Gründen oft problematisch:

Integration von Patient:innen mit kritischen oder seltenen Krankheiten in Präsenzlehre schwierig
Fehlende Verfügbarkeit und Einwilligung der Patient:innen
Fehlende Erfahrung und Überforderung vor großem Publikum
Schutz der persönlichen Privatsphäre
Datenschutz

2. Simulationspatient:innen

Im Curriculum werden Simulationspatient:innen (Schauspieler:innen) bereits punktuell erfolgreich integriert, um medizinische Szenarien möglichst realitätsgetreu nachzustellen. Diese sind jedoch nur einzelnen Curriculumelementen vorbehalten. Probleme eines Einsatzes ergeben sich aus mehreren Gründen:

Hohe Kosten
Zeitaufwand / Einschulung
Zeitliche Gebundenheit
Darstellung von Erkrankungen (Verletzung, äußere Krankheitszeichen,…) schwierig

3. Technologische Entwicklung in der Unterhaltungsindustrie

Bei dem Einsatz digitaler Simulationstechniken ist es besonders wichtig, auf die Umsetzbarkeit und Nachhaltigkeit Rücksicht zu nehmen. Bisher war der Einsatz von 3D Animationen nur Filmstudios vorbehalten. Hohe finanzielle, technische und personelle Ressourcen ließen eine Anwendung dieser Techniken im universitären Umfeld kaum zu. Dies hat sich jedoch in den letzten Jahren enorm geändert. Diese Techniken sind inzwischen leistbar, einfacher in der Handhabung und dadurch auch für Bildungsinstitutionen zugänglich geworden. Bereits mit geringen Hardwareanforderungen (wie z.B. Smartphones) und entsprechender Expertise können sehr gute und realitätsnahe Ergebnisse erzielt werden.

4. Anspruch der Studierenden an die Lehre

Aus der Literatur geht zweifellos hervor, dass ein vermehrter Bedarf an modernen digitalen Lehrmedien in der Medizin besteht (Plch, L., 2020. Perception of Technology-Enhanced Learning by Medical Students: an Integrative Review. Med.Sci.Educ. 30, 1707–1720. doi.org/10.1007/s40670-020-01040-w). Dies spiegelt sich auch in der Umfrage wider, welche wir im Rahmen des Projekts durchgeführt haben. Es zeigt sich, dass die junge Generation an Studierenden durch ihren Medienkonsum eine hohe Erwartungshaltung an die Lehre hat und viel stärker mit digitalen Inhalten konfrontiert werden möchte.

Kurzzusammenfassung des Projekts

Unser Team hat für den Einsatz in der Lehre mehrere virtuelle Personen erstellt. Diese wurden mit modernsten digitalen Techniken, welche aus der Film- und Spieleindustrie bekannt sind (Motion Tracking, 3D-Animationen), erzeugt. Die Nachbildung realer Personen und Szenarien eröffnet gerade in der medizinischen Lehre eine Vielfalt an Einsatzmöglichkeiten. So kann den Studierenden die Interaktion zwischen Patient:innen und Ärzt:in nähergebracht werden.

Zu diesem Zweck wurde im Rahmen der Lehrveranstaltung „Block 27 – Innere Medizin“ die erste virtuelle Patientin erfolgreich in Fallpräsentationen eingesetzt. Sie präsentierte sich den Vortragenden mit bestimmten Erkrankungszeichen. Durch gezieltes Fragen, auf die die Patientin antwortete, wurde ein reales Anamnesegespräch - eines der wichtigsten Instrumente in der Medizin - simuliert.

Eine abschließende Umfrage zeigte eine hohe Akzeptanz des Projektes unter Studierenden und dass der Einsatz der neuen Technologie die Lehrveranstaltung bereicherte, sowie das generell der Einsatz von 3D Animationen zur Aufwertung der Lehre weiter ausgebaut werden sollte.

Realitätsnahe virtuelle Szenarien und Patient:innen können heutzutage mit vergleichsweise geringem Kostenaufwand erzeugt werden und bieten in der medizinischen Lehre einen hohen Mehrwert. Aufgrund dieser vielversprechenden Ergebnisse planen wir, die eingesetzten Techniken auch vermehrt in anderen Bereichen des medizinischen Curriculums einzusetzen.

Kurzzusammenfassung des Projekts in englischer Sprache

Our team has created several virtual persons for use in teaching. These were created using the latest digital techniques known from the film and gaming industry (motion tracking, 3D animation). Virtual replicas of real persons and scenarios open up a variety of possible applications, particularly in medical education, where the reenactment of real interactions between patients and doctors is crucial.

For this purpose, the first virtual patient was successfully integrated in case presentations during the course "Block 27 - Internal Medicine". The patient presented herself to the lecturers with certain signs of illness. By asking specific questions to which the patient responded appropriately, a real anamnesis conversation - one of the most important instruments in medicine - was simulated.

A final survey showed a high level of acceptance of the project among students and that the use of the new technology enriched the class, as well as that the use of 3D animations in general should be further expanded to enhance teaching.

Realistic virtual scenarios and patients can nowadays be created at comparatively low cost and offer a high added value in medical teaching. Based on these promising results, we plan to use the techniques increasingly in other areas of the medical curriculum.

Nähere Beschreibung des Projekts

Die Erzeugung von virtuellen Welten und Charakteren nimmt in der Unterhaltungs-, Medien-, Flug- und Freizeitindustrie einen immer breiteren Raum ein. Neben Spielfilmen und Computerspielen kommt diese Technologie auch vermehrt in Dokumentarfilmen, sozialen Medien, Apps und Lehrprogrammen zum Einsatz. Auch wenn es in der medizinischen Lehre bereits erste Ansätze gibt, wird dieses Feld noch vernachlässigt. Dies liegt vor allem daran, dass besonders an nicht-technischen Hochschulen meist die Expertise fehlt und die Kosten für die Erzeugung derartiger Lehrmedien bisher zu hoch waren. In den letzten Jahren wurden in diesem Bereich jedoch große Fortschritte erzielt. Die entsprechende Software und Hardware sind inzwischen wesentlich einfacher bedienbar, vergleichsweise kostengünstig und dadurch zugänglicher geworden. Man kann sich die Expertise bereits autodidaktisch und ohne teure spezifische Ausbildung aneignen, da es im Internet viele frei verfügbare Ressourcen zum Erlernen gibt (YouTube, Communities, etc.).

Darüber hinaus haben Studierende durch ihren stetig steigenden Medienkonsum eine hohe Erwartungshaltung an die Qualität und das Format der digitalen Lehre.

Realitätsnahe Lehrinhalte wecken leichter Emotionen und sind dadurch einprägsamer (Tyng, C. M., Amin, H. U., Saad, M. N. M., & Malik, A. S., 2017. The influences of emotion on learning and memory. Frontiers in Psychology, 8, 1454. https://doi.org/10.3389/fpsyg.2017.01454). Gerade in der Medizin bieten sich durch den Einsatz virtueller Charaktere, Umgebungen und Szenarien ungeahnte Möglichkeiten. Zum Beispiel kann einer unlimitierten Anzahl an Studierenden zeit- und ortsunabhängig praxis- und realitätsnahes Wissen vermittelt werden (Virtual Bedside Teaching).

Die Abteilung für Digitale Lehre des Teaching Centers der Medizinischen Universität Wien hat sich in der Zeit der COVID Pandemie entsprechende Fachkenntnisse angeeignet. In Kooperation mit der Klinik für Innere Medizin I wurde ein Projekt initiiert mit folgenden Zielen:

Ziele

Die medizinische Lehre durch den Einsatz kostengünstiger, jedoch hochwertige 3D Charaktere und Szenarien realitätsnaher zu gestalten
Virtuelle Patient:innen in das medizinische Curriculum zu integrieren
Erfahrungen in den neuen technologischen Entwicklungen sammeln, Expertise an der Universität schaffen und diese weiterentwickeln.

Curriculare Anwendung

Die Lehrveranstaltung Block 27 - Innere Medizin findet jährlich im 7. Semester des Curriculums der Humanmedizin statt. Im Rahmen von Fallpräsentationen, die durch die Pandemie bedingt online per Webex für 647 Studierende abgehalten wurden, kam erstmals eine virtuelle Patientin auf Basis einer realen Person zu Lehrzwecken zum Einsatz. Diese Person wurde ihrem Krankheitsbild entsprechend realitätsnah dargestellt. Hierbei wurde besondere Aufmerksamkeit auf äußere Krankheitszeichen und krankheitsspezifische Bewegung und Gestik gelegt. Die Audioaufzeichnung eines simulierten Anamnesegesprächs wurde mittels Bewegungstracking (Motion Tracking) mit der virtuellen Person synchronisiert. Die Patientin antwortete auf Fragen in Form von kurzen Videoclips. Diese Videoclips wurden im Rahmen der Lehrveranstaltung interaktiv in Form eines Dialogs mit den Studierenden eingesetzt, um ein reales Gespräch zu simulieren. Den Studierenden ermöglichte diese Vorgangsweise, ein realitätsnahes Anamnesegespräch zu führen.

Der Fall

Die Patientin präsentiert sich mit Symptomen, welche die Diagnose eines Lungenkrebses nahelegen. In Wahrheit lag jedoch eine seltene Infektionskrankheit vor, welche durch Fledermäuse übertragen wird (Histoplasmose). Versteckte Informationen aus dem Anamnesegespräch, welche lediglich durch zielgerichtete Fragen aufgedeckt wurden, stellten einen wichtigen Beitrag zur Diagnosefindung dar. Es stellte sich heraus, dass die Patientin eine Fledermaushöhle in ihrem Urlaub besucht hatte und sich hier infizierte.

Die Studierenden sollen dadurch lernen, wie wichtig auch kleine Teilaspekte der Anamnese sind und dass diese in der Gesamtschau der Befunde zur Lösung des Falles beitragen.

Die virtuelle Patientin ermöglichte somit eine interaktive Lösung des Falles. Dieses Fallbeispiel zeigt nur eines von vielen möglichen Einsatzgebieten für virtuelle Patient:innen und Szenarien.

Umsetzung

Für die Realisierung des virtuellen Charakters wurden unterschiedlichste Hardware- und Softwareprodukte verwendet. Diese Anwendungen sind meist in kostenlosen Basisversionen verfügbar.

Unreal Engine:

Game Engine zur Erstellung von Spielen und Filmen

https://www.unrealengine.com/

MetaHuman Creator:

Erweiterung zur Erstellung von virtuellen Menschen

https://metahuman.unrealengine.com/)

Modular Hospital Asset:

Krankenhausbezogene 3D Objekte

https://www.unrealengine.com/marketplace/en-US/product/modular-hospital

Live Link Face:

iOS App zur Erfassung Gesichtsanimation in Echtzeit

https://apps.apple.com/us/app/live-link-face/id1495370836

Move.ai:

Software zur Erfassung von Körperbewegung mithilfe von iPhones

https://www.move.ai/

DaVinci Resolve:

Videoschnittprogramm

https://www.blackmagicdesign.com/products/davinciresolve/

Mithilfe des MetaHuman Creators wurde eine Auswahl an Personen (MetaHumas) mit unterschiedlichem Aussehen (Hautton, Größe, Altersmerkmale, Physiognomie, etc.) in Absprache mit den Blockkoordinator:innen erstellt.

In Unreal Engine wurde mit Spital-Assets ein virtuelles Arztzimmer nachgestellt und der ausgewählte “MetaHuman” als Patientin eingefügt.

Für das Anamnesegespräch wurde ein Skript mit Fragen und Antworten in Anlehnung an das tatsächliche Anamnesegespräch erstellt. Das Skript wurde in Dialogform von einem Lehrenden in einem provisorisen Studio aufgezeichnet.

Mittels einer iPad-Kamera (Live Link Face) erfolgte parallel dazu die Erfassung und Umwandlung der Gesichtsmimik in Gesichtsanimationen (Beispiel siehe Website des Projekts). Reale Personen simulierten die Körperbewegungen, werlche mittels drei iPhones aufgezeichnet (Motion Tracking) und mithilfe von Move.ai in Animationen umgewandelt wurden. Die Gesichts- und Körperanimationen wurden in Unreal Engine auf den virtuellen Charakter übertragen und aufeinander abgestimmt.

Die einzelnen Antwortsequenzen wurden gerendert und in DaVinci Resolve mit den Tonaufnahmen synchronisiert und als separate Videoclips exportiert.

Die Videoclips wurden in die Fallpräsentation in Powerpoint eingebettet und schlussendlich im Rahmen der Lehrveranstaltung online per Webex präsentiert.

Nutzen und Mehrwert

Der Einsatz von virtullen Patient:innen hat einen potentiellen großen Nutzen in der medizinischen Lehre:

Praxisnaher Unterricht für eine unbegrenzte Anzahl an Studierenden
Orts- und zeitunabhängiger Zugang
Vielseitige Einsatzmöglichkeiten (Prüfungen, Gamification, Lehrfilme)
Darstellung von Personen, Orten und medizinischen Szenarien, welche anderweitig nicht realitätsnah dargestellt werden können
Wiederverwendbarkeit bereits erstellter 3D Charaktere, Modelle, Umgebungen
Potentieller Einsatz von virtuellen Charakteren bei Prüfungen
Hoher didaktischer Mehrwert (Lernerleichterung durch Merkbarkeit und Emotionalisierung)
Qualitätssteigerung in der Lehre
Kostenersparnis gegenüber Simulationspatient:innen
Hohe Flexibilität (Darstellung unterschiedlicher Krankheitszeichen, Szenarien, etc. )
Keine datenschutzrechtlichen Probleme
Hohes Weiterentwicklungspotential
Positive Aussenwirkung

Nachhaltigkeit

Die Lehrveranstaltung “Block 27” ist fix im Curriculum verankert und wird jährlich abgehalten. Virtuelle Fallpräsentationen sollen hier ein fester Bestandteil sein und auch auf weitere Präsentationen anderer beteiligter Kliniken ausgedehnt werden.

Das Feedback der Studierenden aus der Umfrage wird berücksichtigt und fließt in den weiteren Ausbau der Lehrveranstaltung ein. Es werden weitere Fallpräsentationen mit virtuellen Patient:innen erarbeitet. Durch mehr Erfahrung und Weiterentwicklung der Technologien, als auch Bereitstellung weiterer Ressourcen durch die Universität, erhoffen wir die Qualität der Darstellung der virtuellen Charaktere und der Animationen stetig zu verbessern.

Zudem sollen Studierende aktiver in die Patient:innengespräche einbezogen werden (z.B. mittels Abstimmungen, Mitwirken bei der Erstellung von virtuellen Charakteren). Ebenso wäre es möglich, sowohl die Antworten der Patient:innen zu erweitern als auch die Abfrageoptionen flexibler und leichter zugänglich zu gestalten.

Einige der Techniken, die in diesem Projekt verwendet werden, finden bereits Anwendung in anderen Bereichen der Lehre. Beispielsweise wurde die Unreal Engine in Form einer “Virtual Live Production" eingesetzt, bei der Lehrende mithilfe eines Green Screens in einem virtuellen Studio präsentieren können.

Dissemination/Transfer

Das Spektrum der Erweiterungen ist enorm. Die oben vorgestellten Technologien können in vielen Bereichen der medizinischen Lehre unterstützend eingesetzt werden. Entsprechende Weiterentwicklungen sind bereits im Gange und in Planung. So auch der Einsatz von 3D Charakteren für Lehrvideos und Gamification-Formate.

Unsere Erfahrung zeigt, dass mit der Fortdauer des Projektes die Qualität rasch gestiegen ist. Parallel entwickelt sich auch die Animations- und Motion-Tracking-Technik enorm schnell weiter.

Die angewandten Methoden sind nicht nur auf die Medizin beschränkt, sondern können in jeden anderen Lehrbereich transferiert werden.

Sie stellen somit eine Basis für eine zeitgemäße Digital Content Creation in der Lehre dar.

Wir betrachten den Einsatz dieser Technologien als Chance, eine Vorreiterrolle in der medizinischen Lehre im internationalen Vergleich zu übernehmen. Es ist unserer Meinung nach wichtig, dass Universitäten und andere Bildungseinrichtungen sich in dieser zukunftsweisenden Technologie eine Expertise aufbauen, um die digitale Qualitätslücke zwischen Unterhaltungsmedien und Lehre zu schließen. Die Kombination aus didaktischer Expertise, medizinischem Fachwissen, Ressourcen (z.B. Patientenfälle) und Kenntnissen in der 3D-Technik hat hier ein enormes Potential. Ähnlich wie in anderen Bereichen, zum Beispiel in der Filmindustrie, können realistische Szenarien simuliert werden, um die Ärzt:innen der Zukunft auf die beruflichen Anforderungen vorzubereiten.

Institutionelle Unterstützung

Das Projekt wird seitens der Curriculumdirektion der Medizinischen Universität Wien sowohl inhaltlich, als auch finanziell unterstützt und gefördert.

Zudem wurde der Ausbau der hier eingesetzten Technologien als ein förderungswürdiges Projekt im Rahmen der Digitalisierungsoffensive an der Medizinischen Universität Wien nominiert.