Ausgangslage & Motive

Seit dem Wintersemester 2021/22 wird die Lehrveranstaltung „Rehabilitationseinrichtungen“ im Bachelor-Studiengang „Betriebswirtschaft für das Gesundheitswesen“ im 3. Semester in der Vollzeit- und berufsermöglichenden Form angeboten. Als Leistungsfeststellungsart hat sich die individuelle Bearbeitung eines Falles als Take-Home Exam seither etabliert. Dabei handelt es sich um die Analyse einer Studie, die auf einen oder mehrere der Inhalte der Lehrveranstaltung Bezug nimmt. Die Studierenden sollen im Rahmen der Ausarbeitung die Fähigkeit, wissenschaftliche Ergebnisse für die Praxis umzulegen sowie ein tiefergehendes Verständnis der branchenspezifischen Lehrveranstaltungsinhalte zeigen.

Mit dem Aufkommen von ChatGPT musste dieses Prüfungsformat jedoch in Frage gestellt werden. Manche Person könnte eine Fragestellung bei ChatGPT eingeben und die Aussagen einfach übernehmen. Sowohl der gewünschte Kompetenzaufbau im Rahmen der Ausarbeitung als auch das daraus resultierende Lernergebnis könnten so nicht erzielt werden.

Die Rückkehr zu einem klassischen schriftlichen Prüfungsformat erschien jedoch auch aus mehreren Gründen nicht erstrebenswert:

1. Die Auseinandersetzung mit den Lehrveranstaltungsinhalten würde wahrscheinlich wieder auf einer deutlich oberflächlicheren Ebene erfolgen.
2. Durch die intensive Auseinandersetzung mit einem wissenschaftlichen Artikel wurden die Studierenden bereits auf das Lesen von Journalbeiträgen für das Exposé ihrer Bachelorarbeit vorbereitet.
3. Das Prüfungsformat wurde seitens der Studierenden als willkommene Abwechslung zu klassischen Prüfformen wahrgenommen.

Deshalb wurde entschieden, künstliche Intelligenz bewusst in die Ausarbeitung des Take-Home-Exams miteinzubinden. Relevante Informationen zur Nutzung von KI, bspw. ChatPDF und ChatGPT müssen dementsprechend bereits bei den Lernaktivitäten und im Lehrkonzept berücksichtigt werden.

Ziele Im Rahmen der Lehrveranstaltung „Rehabilitationseinrichtungen“ lernen die Studierenden basierend auf wissenschaftlichen Texten und gegebenen Fragestellungen, die Studienergebnisse mit den LV-Inhalten zu verknüpfen und darauf basierend praktische Empfehlungen abzuleiten. Dabei sollen sie gezielt geeignete KI-Instrumente anwenden, deren Ergebnisse bewerten sowie deren Einsatz kritisch reflektieren.

Neben den inhaltspezifischen Lernzielen, z.B. Ziele und Aufgaben der Rehabilitation zu beschreiben (Kompetenzlevel B.2) und aktuelle Trends im Rehabilitationsbereich zu identifizieren (B.1) wurden folgende weitere Lernziele formuliert:

• einschlägige und aktuelle wissenschaftliche Erkenntnisse zu analysieren und einander gegenüberzustellen (B.4) sowie • die Aussagen von themenspezifischen wissenschaftlichen Artikeln kritisch zu beurteilen (B.5),
• indem sie methodische Ansätze der Textanalyse anwenden (C.3)

Die Besonderheit des adaptierten Formats liegt in der kritischen Auseinandersetzung mit dem Einsatz von KI-Instrumenten, sowohl im beruflichen Alltag als auch für die eigene Abschlussarbeit.

Methoden

Die Aufbereitung der Lehrinhalte erfolgte in Form von Impulsvorträgen, Einzel- und Gruppenübungen, um den Studierenden zu ermöglichen, ein umfassendes Verständnis für das Thema Rehabilitationseinrichtungen zu entwickeln. Um die Erreichung der zusätzlichen Lernziele im Sinne des Constructive Alignment Modells unterstützen zu können, wurden die Prüfungsform sowie die Lehr- und Lernmethoden entsprechend angepasst. Speziell für die neuen Inhalte wurden drei Einheiten à 45 Minuten eingeplant, die sowohl in Präsenz als auch im virtuellen Format abgehalten werden können. Für diesen Rahmen wurde eine Aufgabenstellung zu einem wissenschaftlichen Artikel konzipiert, um deren methodische Bearbeitung im synchronen Format zu praktizieren.

Das Dokument beinhaltet Aufgaben zu folgenden Punkten:

1. Erstellung eines Studiensteckbriefs zu einem zur Verfügung gestellten wissenschaftlichen Artikel
2. Diskussion der Rolle rehaspezifischer Maßnahmen anhand von mind. drei mit Hilfe von KI recherchierten weiteren Publikationen
3. Beschreibung eines rehaspezifischen Konzepts anhand eines österreichischen Fallbeispiels unter Berücksichtigung von textuellen Korrekturen durch KI
4. Reflexion zu den persönlichen Lernerkenntnissen aus der Aufgabenstellung Es werden auch Tools wie Literatursuche-KI und KI-basierte Systeme zur Unterstützung empfohlen. Bei der Auswahl der KI-Instrumente wurde darauf Wert gelegt, dass sich die Studierenden nicht zwingend für die Nutzung registrieren müssen.

Folgende Tools wurden ausgewählt:

• ChatPDF: Zusammenfassung von und Befragung zu PDF-Dateien ((alternativ: Elicit, registrierungspflichtig)
• OpenKnowledgeMaps: Auflistung relevanter Literatur (alternativ: Elicit, registrierungspflichtig)
• TalkAI: neuronales Netzwerk ChatGPT auf Deutsch, ohne Registrierung (alternativ: OpenAI, registrierungspflichtig)

Im Rahmen der Session wurden die einzelnen Tools vorgestellt und die Aufgaben schrittweise zunächst einzeln und dann als Gruppenübung im Plenum bearbeitet. Hierbei wurde darauf geachtet, mit den Studierenden Schritt für Schritt die erforderlichen Eingaben in den jeweiligen Tools durchzugehen.

Der Aufbau der Prüfungsleistung wurde redundant zum Übungsbeispiel aus der Lehrveranstaltung zu einem anderen Journalbeitrag und zugehörigen rehaspezifischen Inhalten erstellt. Eine Dokumentation der KI-Nutzung (z.B. Chatprotokolle) wurde als Beilage gefordert.

Aufgrund des Prüfungsformats in Form des Take-Home-Exams erfolgte die Bearbeitung asynchron. Studierende hatten daher die Möglichkeit, sich zu den Aufgabenstellungen und der methodischen Herangehensweise auszutauschen. Bei dem abgegebenen Dokument musste es sich jedoch gemäß Prüfungsordnung um eine Einzelleistung handeln.

Ergebnisse

Insgesamt nahmen 40 Studierende an dieser Lehrveranstaltung teil, davon 22 berufsbegleitend und 18 in der Vollzeitform.

Die Session zu den neuen Inhalten wurde bei den berufsbegleitenden virtuell und bei den Vollzeitstudierenden in Präsenz abgehalten. Als Übungsbeispiel wurde anlässlich des aktuell stark propagierten RehaJETs der Pensionsversicherungsanstalt der 2008 veröffentlichte Text von Streibelt et al. zu einer ökonomischen Evaluation einer medizinisch-beruflich orientierten Maßnahme bei Patient:innen mit muskuloskeletalen Erkrankungen gewählt.

Neben der Erstellung des Studiensteckbriefs mit Fokus auf Empfehlungen für die Praxis wurden Aufgabenstellungen zur Rolle von medizinisch-berufsorientierten Maßnahmen in der Rehabilitation sowie zur Beschreibung des zugrundeliegenden Konzepts am Beispiel des österreichischen Reha-JETs gestellt.

Den Abschluss bildeten Reflexionsfragen zu Erkenntnissen für eigene wissenschaftliche Arbeiten als auch die zukünftige berufliche Tätigkeit.

Für die Prüfungsleistung wurde der Text von Jürgensen et al. mit dem Titel „Das würde ich gar nicht erst beantragen! – Barrieren der Inanspruchnahme einer Kinder- und Jugend-Rehabilitations- Maßnahme aus Sicht der Familien“ aus dem Jahr 2017 gewählt. Alle Studierenden nützten den ersten Termin zur Abgabe der Prüfungsleistung.

Die erste Aufgabenstellung war die Zusammenfassung der Studie mit Hilfe von ChatPDF.

Folgende Punkte sollten dabei enthalten sein:

• Titel
• Autor*innen
• Publikationsjahr
• Untersuchungsdesign
• Zielsetzung
• Methodik
• Untersuchungsgruppe
• Ergebnisse*
• Diskussion (Schwerpunkt: Empfehlungen für die Praxis)*
• Limitationen/Methodenkritik*
• Conclusio/Kernbotschaft

Die Studierenden wurden dazu angehalten, bei den mit * gekennzeichneten Punkten den Text nicht einfach zu kopieren, sondern diesen in eigene Worte zu fassen. Zusätzlich war gefordert, farblich zu markieren, welche Textstellen von ChatPDF übernommen wurden. Als Besonderheit ist hier anzumerken, dass ChatPDF einige Fehler machte, z.B. wurden öfters falsche Autor*innen gelistet.

Als zweite Aufgabenstellung wurde ein Vergleich der Kinder-und-Jugend- mit der stationären Erwachsenen-Rehabilitation anhand des Rehabilitationsplans 2020 zu Rehabilitations-Indikationsgruppen und vorhandenen Bettenkapazitäten gefordert. Zusätzlich waren Überlegungen anzustellen, auf welche Einrichtungen der Kinder-und-Jugend-Rehabilitation die Empfehlungen aus dem zur Verfügung gestellten Artikel übertragen werden können. Der verfasste Text durfte mittels ChatGPT überprüft werden. Die daraus resultierten Korrekturen mussten in der Datei hervorgehoben und der Originaltext sowie der Chat-Export beigelegt werden.

Wesentliches Merkmal dieser Aufgabenstellung war, dass ChatGPT weder den Rehabilitationsplan 2020 noch den zur Verfügung gestellten Journalbeitrag kennt und damit auf die Aufgabenstellung selbst keine Antwort geben konnte. Einzelne Studierende nützten zusätzlich ChatPDF, um sich den Rehabilitationsplan zusammenfassen zu lassen.

Die dritte Aufgabe beschäftigte sich mit der Bedeutung der Indikation „Mental Health“ in der Kinder- und Jugend-Rehabilitation anhand des ermittelten Bettenbedarfs im Jahr 2025 laut Rehabilitationsplan 2020 sowie anhand aktueller Forschungserkenntnisse zu folgender Leitfrage: Welche Themen werden aktuell zur mentalen Gesundheit von Kindern und Jugendlichen beforscht?

Die Studierenden durften hierzu zwei Studien mit Hilfe von Literatursuche-KI (z.B. Open Knowledge Maps) ermitteln und mussten die Auswahl der Studien begründen. Vorab wurde seitens der Lehrveranstaltungsleitung sichergestellt, dass die Studierenden zur Fragestellung rasch Ergebnisse mit Volltextzugriff finden würden, um die Aufgabenstellung nicht zusätzlich zu erschweren. Als Beilage wurden der Link der Literatursuche-KI sowie die dort ausgegebenen Zusammenfassungen der zwei gewählten Artikel gefordert.

Hervorstechend war, dass seitens der Studierenden sehr unterschiedliche Studien zur Bearbeitung der Fragestellung gewählt wurden, wobei die Auswahl dieser konkreten Studien von einem Teil der Studierenden nicht begründet wurde. Jene Personen, die eine Begründung anführten, nannten häufig persönliche Motive als Begründung für ihre Wahl, beispielsweise wegen betroffenen Personen im näheren Umfeld oder wegen dem eigenen Erleben der COVID-19-Pandemie. Seltener wurde hier Bezug auf die Studienergebnisse an sich Bezug genommen.

Die vierte Fragestellung zielte auf die Reflexion zur KI-Nutzung für eigene wissenschaftliche Arbeiten oder auch die (zukünftige) berufliche Tätigkeit ab.

Während bei den Vollzeitstudierenden nahezu alle anführten, dass sie bereits mit ChatGPT gearbeitet hatten, führten bei den berufsbegleitenden Studierenden einige an, dass das Take-Home-Exam ihren ersten Kontakt mit dieser Technologie darstellte. Sowohl ChatPDF als auch die Literatursuche-KI waren den Studierenden beider Gruppen bislang nicht bekannt.

Die Studierenden haben größtenteils betont, dass sie sich bewusst wurden, dass eine genaue Überprüfung der Ergebnisse der KI-Tools erforderlich ist, jedoch weiterhin Vorteile in deren Nutzung sehen. Während ChatPDF und ChatGPT unterschiedlich in ihrer Nutzung wahrgenommen wurden, wurde insbesondere die Literatursuche-KI als hilfreiches Tool gesehen. Wenige Studierende führten an, dass sie generell keinen Mehrwert in der Nutzung sehen bzw. sich mehr davon versprochen hätten.

Zur Beurteilung der Abgabeleistungen ist zu erwähnen, dass der Aufwand deutlich über dem ohnehin schon hohen Niveau der Vorjahre lag, da die zusätzlichen Beilagen ebenso eingesehen werden mussten. Die Notendurschnitte der Studierenden waren auf demselben guten Niveau wie in den Vorjahren.

Trotz der Neuerungen fielen die Ergebnisse weder schlechter aus, noch erschien es so, als ob die Aufgabenstellungen zu einfach gewählt worden wären und damit zu besseren Resultaten geführt hätten. Auch die Evaluierungsergebnisse entsprachen dem sehr guten Niveau der letzten Jahre und die Workload für die Lehrveranstaltung wurde als passend seitens der Studierenden eingestuft. Im Zuge der Curriculumsreform wurden die erweiterten Lernziele, die Prüfungsform sowie die Lehr- und Lernmethoden entsprechend berücksichtigt.