Das Erlernen einer Programmiersprache stellt für Studierende der Informatik einen zentralen Baustein am Beginn ihres Bachelorstudiums dar. Absolventinnen und Absolventen des Moduls „Einführung in die Programmierung“ sollen nicht nur die Kompetenz erwerben, die Abstraktionsmechanismen einer Programmiersprache wie zum Beispiel C zu verstehen, sondern diese auch anzuwenden, um Lösungen für gegebene Problemstellungen zu entwickeln. Übungen stellen dabei ein essenzielles Element in der Programmierausbildung dar. Durch das Erstellen eigener Programme werden Studierende schrittweise in die Lage gebracht, für gegebene Problemstellungen selbständig adäquate Abstraktionen zu finden und Lösungen zu entwickeln. Lehrende haben die Aufgabe, die Leistung einer Gruppe von Studierenden (i. F. den Studierenden des Moduls „Einführung in die Programmierung“) insgesamt einzuschätzen und zu bewerten und ihnen Rückmeldung zu ihren Lösungen zu geben. Dabei spielt zeitgerechtes, kompetenzorientiertes und hilfreiches Feedback eine zentrale Rolle.

Die Durchführung des Moduls „Einführung in die Programmierung“ im Studienbetrieb an der Universität Innsbruck (und anderer Universitäten in Österreich und international) findet in einem Kontext statt, der mit vielen Herausforderungen verbunden ist.

• Das Lehrenden-Team, das für die Vorlesung (VO) „Einführung in die Programmierung“ und das gleichnamige Proseminar (PS) verantwortlich ist, hat eine große Zahl an Studierenden zu betreuen und bietet das Modul jedes Semester an, da es Teil der STEOP ist:
  - WS 23/24: VO 308 Studierende (10 PS-Gruppen mit je maximal 25 Studierenden)
  - SS 24: VO 244 Studierende (4 Gruppen mit je maximal 25 Studierenden)
• Es besteht ein Mangel an erfahrenen Lehrveranstaltungsleitenden für die Proseminargruppen, wodurch es sehr herausfordernd ist, die Proseminargruppen einheitlich zu gestalten.
• Die Studierenden haben sehr unterschiedliches Vorwissen (z.B. HTL, HAK, AHS, Studierende aus dem Ausland), sind in zwei unterschiedlichen Studiengängen immatrikuliert (Bachelor- und Erweiterungsstudium Informatik) und unterscheiden sich, z.B. auch in Alter, Studienerfahrung und weiteren Faktoren. Der Bedarf an Rückmeldung auf die Programmieraufgaben ist dadurch sehr unterschiedlich und zum Teil sehr hoch, und kann im Rahmen des Proseminars (Kontaktzeit 90 Minuten pro Woche in Präsenz) von den Proseminarleitenden nur eingeschränkt geleistet werden. Dazu kommt, dass die Bewertung eines Studierendenprogramms durch die PS-Leitung nicht immer einfach ist, da auch Lösungen weitab der Musterlösung korrekt sein können.
• Aus den oben genannten Gründen war die Bewertung und Notengebung der Studierenden vor Durchführung des Projekts nicht immer durchgehend kompetenzorientiert und zum Teil mit Fehlern behaftet. Zum Beispiel war eine Notengebung auf Basis von in einer Prüfungssituation erstellten Programmen bisher nicht möglich. Auch war es nicht möglich, Plagiate (z.B. über PS-Gruppen hinweg) zuverlässig zu erkennen.

Ziel der Neukonzeption von VO und PS im Modul „Einführung in die Programmierung“ war es vor diesem Hintergrund,

• allen teilnehmenden Studierenden eine transparente, faire und kompetenzorientierte Notengebung zu garantieren,
• die Qualität der Rückmeldungen auf eingereichte Studierendenprogramme auf ein Niveau zu heben, das nicht nur die Korrektheit der eingereichten Lösung bewertet, sondern auch das Einhalten von Best Practices der Softwaretechnik (z.B. Rückmeldung hinsichtlich der Struktur des Codes) beachtet
• Sowohl die Vermittlung von Konzepten in der Vorlesung als auch den Übungsprozess stärker als bisher von den Kontaktstunden zu entkoppeln und auf die Zielkompetenzen auszurichten, um der Heterogenität der Studierenden zu begegnen
• die PS-Leiterinnen und Leiter von Routinetätigkeiten zu entlasten, ihnen datenbasierte Analysen über das aktuelle Kompetenzlevel der Gruppe zur Verfügung zu stellen, und sie damit in die Lage zu versetzen, die Kontaktstunden auf die Gruppe abstimmen zu können.

Die Neukonzeption des Übungsbetriebs erfolgte im Kontext des Projekts CodeAbility Austria, das vom Bundesministerium für Bildung, Wissenschaft und Forschung im Rahmen der Initiative „Digitale und soziale Transformation in der Hochschulbildung“ im Zeitraum von 2020 bis 2024 unter der Leitung der Universität Innsbruck gefördert wird. In diesem Projekt wurden das didaktische Wissen und die Technologie aufgebaut, um die sieben teilnehmenden Universitäten zu unterstützen und entsprechende Lehrveranstaltungen neu zu gestalten. Kernstück der technologischen Arbeit in CodeAbility Austria war der Aufbau des Betriebs einer digitalen Programmierlernplattform. Die vom Konsortium gewählte Plattform Artemis wurde als open source Projekt von der TU München entwickelt und ist dort seit 2019 im Einsatz. Im Rahmen von CodeAbility Austria wurde Artemis für den Betrieb an österreichischen Universitäten angepasst, eine Kooperation mit der TU München aufgebaut und die Plattform den österreichischen Universitätspartnern für den Pilotbetrieb zur Verfügung gestellt.

Die Neukonzeption des Moduls “Einführung in die Programmierung” an der Universität Innsbruck erfolgte schrittweise ab 2020 und wurde seitdem viermal im neuen Modus durchgeführt. Dabei haben insgesamt ca. 1200 Studierende teilgenommen.

Der Neuaufbau des Übungsbetriebs beruht auf folgenden vier Säulen:

1. Entwicklung der Übungsaufgaben
   Um den Übungsbetrieb auf der Programmierlernplattform zu ermöglichen, wurden zunächst neue Programmieraufgaben mit passenden Testfällen entwickelt, um automatisiertes Feedback zu gewährleisten. Besonderes Augenmerk lag dabei auf der Ausführung des Codes, seiner Funktionalität, Sicherheit und Qualität. Insgesamt wurden 65 Aufgaben verschiedener Schwierigkeitsgrade erstellt. Die entwickelten Übungsaufgaben mit entsprechendem automatisiertem Feedback bieten zahlreiche Vorteile: Sie helfen den Studierenden, ihre Fehler zu verstehen und schrittweise zu korrigieren. In den Übungseinheiten an der Universität kann auf vollständig getestete und qualitätsgesicherte Lösungen zurückgegriffen werden und verschiedene Ansätze diskutiert werden. Die Möglichkeit, Programme beliebig oft über Programmierplattform zu testen und Feedback zu erhalten, wurde von den Studierenden stark genutzt, was über das Semester hinweg zu mehr als 50.000 getesteten Einreichungen und insgesamt mehr als 300.000 automatisierte Feedbacks führte.
2. Aufbau eines internen Monitoringsystems für Übungsleiterinnen und -leiter
   Durch den zentralen Einsatz und die kontinuierliche Weiterentwicklung der Programmierlernplattform wurde ein internes Verwaltungs- und Monitoringsystem für Übungsaufgaben geschaffen, das der PS-Leitung sowie der Gesamtleitung aller PS-Gruppen Unterstützung bietet. Es ermöglicht einen Überblick über gelöste, teilweise gelöste oder nicht gelöste Aufgaben, sowie die Ausführung von Testfällen und Feedback pro Studierenden oder Proseminargruppe. Dadurch wird eine umfassende Überprüfung aller Studierendenprogramme ermöglicht und Probleme frühzeitig erkannt. Das gruppenübergreifende Monitoring identifiziert auch allgemeine Verständnisprobleme, auf die gezielt eingegangen oder die Lehrinhalte angepasst werden können, was zu einer nachhaltigen Verbesserung der Qualität der Lehre führt.
3. Neukonzeption von Übungsorganisation und Bewertungsregeln
   Die Einführung der Programmierlernplattform führte zu einer Neugestaltung des Übungsbetriebs und der Bewertungsregeln. Vorher erhielten Studierende wöchentliche Übungsblätter, die in Proseminareinheiten besprochen und durch Ankreuzen gelöster Aufgaben bewertet wurden, was keine umfassende Überprüfung ermöglichte. Die Neukonzeption zielte darauf ab, eine gerechte und effiziente Bewertungsmethode einzuführen, die durch die Plattform unterstützt wird. Über das Semester hinweg wurden 65 Programmieraufgaben in verschiedenen Schwierigkeitsstufen in 10 Übungsblättern bereitgestellt. Alle Aufgaben wurden zu Beginn des Semesters veröffentlicht, um den Studierenden maximale zeitliche Flexibilität zu ermöglichen. In jeder PS-Einheit wurden Aufgaben besprochen, welche von den Studierenden vorab bearbeitet und deren Lösungen automatisch in der Programmierlernplattform getestet wurden. Die Bewertung des Moduls erfolgte durch drei Proseminarklausuren. Die PS Einheiten dienten damit vorrangig dem Vergleich von Studierendenprogrammen, der Vertiefung von Übungsinhalten und der Diskussion von Problemen.
4. Aufbau des Klausurbetriebs
   Für VO und PS wurde die Programmierlernplattform zur Durchführung von Klausuren genutzt, wodurch Studierende mit einem vertrauten System arbeiten konnten. Die Klausuraufgaben enthielten Tests für automatisiertes Feedback, wobei nur ein Teil davon den Studierenden während der Bearbeitung zugänglich war. Die Bewertung erfolgte durch automatisierte Tests und manuelle Bewertung zur Identifizierung von Programmierfehlern, wobei den Studierenden nach der Korrektur die Ergebnisse und die manuelle Bewertung zur Einsicht zur Verfügung gestellt wurden. Die Teilnahme an den Klausuren war ohne Installation von Programmen möglich, entweder über das eigene Notebook oder die bereitgestellten Rechner der Universität. Die Abwicklung von Klausuren mit bis zu 200 Studierenden gleichzeitig über die Plattform ermöglichte eine hohe Skalierbarkeit.
5. Durchführung wissenschaftlicher Begleitstudien
   Die Neukonzeption einer digital gestützten Programmierausbildung stellte für Lehrende einen großen Schritt dar, erforderte die Überarbeitung und Erweiterung des Übungsmaterials sowie die Neuorganisation des Übungsbetriebs und die Neufestlegung der Bewertungsregeln. Studierende profitierten von Vorteilen wie sofortigem und individuellem Feedback, doch blieben offene Fragen bezüglich des möglichen Einflusses auf das Lernverhalten und die Lernergebnisse. Um diese Fragen zu beantworten, wurden vier empirische Begleitstudien durchgeführt und die Ergebnisse in einem Fachmagazin sowie auf drei renommierten Konferenzen veröffentlicht, wobei Erfahrungen, Anforderungen, Erfolgsfaktoren und die Integration eines AI-Tutors systematisch untersucht wurden.

Ergebnisse

Dass unser Lehrveranstaltungskonzept und insbesondere der Einsatz der Programmierlernplattform Früchte trägt, zeigte sich schlussendlich in den wissenschaftlichen Begleitstudien und dem Studienerfolg der Studierenden. Zum einen belegten die Begleitstudien eine hohe Akzeptanz und Zufriedenheit der Lehrenden und Studierenden hinsichtlich des neuen Lehrkonzepts und der Übungsplattform. Zum anderen konnte die Erfolgsquote des Erreichens einer positiven Note von 59% der Studierenden auf 80% im neuen Modus gesteigert werden.

Ausblick

Im nächsten Schritt ist das Ziel ist, die erfolgreiche Umstellung des Übungsbetriebs des PS "Einführung in die Programmierung" auf andere Programmierlehrveranstaltungen an der Universität Innsbruck auszuweiten und die Unterstützung für andere Programmiersprachen zu erweitern. Die Umstellung in der VU "Introduction to Programming" im Master Wirtschaftsinformatik ist bereits erfolgt, während die Umstellung für die VU "Einführung in die Programmierung" im Wahlpaket Digital Science geplant ist, wodurch eine größere Vielfalt von Studierenden angesprochen wird. Langfristig strebt man die Veröffentlichung der entwickelten Übungsaufgaben mit Feedback als OERs an, um die Nachhaltigkeit zu gewährleisten. Angesichts der Verfügbarkeit von Generative AI Werkzeugen erkennt man, dass sich sowohl die Disziplin des Programmierens als auch die Programmierlehre in den kommenden Jahren massiv verändern werden. Mit einem Plattformansatz sieht man sich gut gerüstet, um diese Herausforderungen anzugehen und sowohl Studierenden als auch Lehrenden Vorteile zu bieten, wobei wissenschaftliche Studien helfen sollen, die Entwicklungen zu beobachten und die Übungsplattform entsprechend anzupassen.