Universität Wien
Universitätsring 1, 1010 Wien
Weitere Beispiele der Hochschule

“From local islands of knowledge to a shared, global understanding”: ein Konzept zur Entwicklung von Beurteilungskompetenz angehender Englischlehrer/innen

Würdigung der Jury

Das Lehrprojekt „From local islands of knowledge to a shared, global understanding. Ein Konzept zur Entwicklung von Beurteilungskompetenz angehender Englischlehrer/innen“ von Dr. Armin Berger und Dr. Helen Heaney richtet sich an Studierende des Bachelorstudiums Englisch und ist verbunden mit einem Schulpraktikum. Es stellt sich der Aufgabe, im Bereich des Englischunterrichts das Assessment von Schülerleistungen den herkömmlichen Bahnen des reinen Benotens zu entziehen. In einem aufwendigen und differenzierten Prozess entwickeln Studierende, die gleichzeitig künftige Lehrpersonen sind, in Teams Schreibarbeiten, die mehrwöchige Phasen der Entwicklung von Schreibkompetenz von Schülerinnen und Schülern abschließen sollen. Dabei erleben die Studierenden nicht nur die Schwierigkeit des Assessments sprachlicher Kompetenzen, sondern sie werden selbst zu Coaches ihrer Mitstudierenden und zum Objekt des Feedbacks von Schüler/inne/n. Verschiedene Elemente haben dabei vorbildhaften Charakter – etwa die Betonung des vorwärtsgewandten, konstruktiven Feedbacks („Feedforwards“) in verschiedenen Formen, die reflexiven Momente, die Auseinandersetzung mit internationalen Standards oder die Verbindung von Theorie, Modellen und Praxis. Vieles ist dabei auch auf ganz andere Gebiete übertragbar. Der in mehreren Phasen ablaufende Prozess, in dem die Schreibaufgaben erarbeitet werden, wechseln sich Entwicklung, reflektierende Diskussion, diverse Feedbackformen und Erprobung ab. Dies fördert ein differenziertes, kompetenzorientiertes und förderndes Prüfen, das die Studierenden verschiedene Rollen und unterschiedliche Perspektiven einnehmen lässt. Auf exemplarische Weise werden sie geschult, Assessment nicht primär nur als Bewertung, sondern als multiperspektivischen Prozess und als lebendigen Teil der Kommunikation von Lernen und Lehren zu gestalten.

Auszug aus dem Gutachten von
Vizerektor Univ.-Prof. Dr. Thomas Grob
Universität Basel

Ziele/Motive/Ausgangslage/Problemstellung

Guter Unterricht ist untrennbar mit effektivem Beurteilen und Feedback verbunden (Wiliam 2011). Dazu gehören auch dem Testzweck entsprechende „nützliche“ Tests (Bachman & Palmer 1996). Vor der Einführung eigener Lehrveranstaltungen zum Thema Leistungsbeurteilung beschränkte sich die Expertise der Lehrer/innen vorwiegend auf das in Eigeninitiative erarbeitete Wissen sowie auf die eigene Erfahrung. Diese Expertise kann treffend als „local islands of knowledge“ umschrieben werden (Berger & Heaney, in Kürze erscheinend). Die gegenwärtige Herausforderung in der Lehrer/innenbildung besteht darin, Studierenden des Lehramts die Theorie und Praxis professioneller Leistungsbeurteilung zu vermitteln – und das im Lichte ihrer eigenen Überzeugungen und Erfahrungen im schulischen Kontext, der gewiss nicht immer den Richtlinien der European Association for Language Testing and Assessment zur Qualitätssicherung bei der Bewertung von Sprachkompetenzen (EALTA 2006) entsprach. Anders gesagt, die Herausforderung besteht darin, die Beurteilungskompetenz der Studierenden zu fördern und ihnen zu einem „shared global understanding“ guter Praxis zu verhelfen (Berger & Heaney, in Kürze erscheinend).

 

Die Lehrveranstaltung Assessment meistert diese Herausforderung unter anderem anhand eines Testerstellungsprojekts, bei dem Studierende in Kleingruppen Schreibaufträge für einen Lernstandstest („Schularbeit“) entwickeln, welche in einer Schulklasse pilotiert und gemeinsam evaluiert und überarbeitet werden. Die Aufgabenkonstruktion wird begleitet durch ein innovatives Feedbackkonzept, das eine Vielzahl formativer Rückmeldungen – also Informationen über Stärken, Schwächen und Lernfortschritte der Studierenden zur Verbesserung des Lernens – vorsieht, das Theorie und Praxis ausgewogen integriert und sich an internationalen Standards wie den Richtlinien der European Association for Language Testing and Assessment (EALTA 2006) oder der International Language Testing Association (ILTA 2007) orientiert.

Kurzzusammenfassung des Projekts in deutscher Sprache

Die Lehrveranstaltung Assessment für Studierende des Bachelorstudiums Unterrichtsfach Englisch an der Universität Wien umfasst ein praktisches Testerstellungsprojekt, bei dem Studierende in Kleingruppen Schreibaufträge für einen Lernstandstest („Schularbeit“) entwickeln. Diese Schreibaufträge werden in einer Schulklasse pilotiert und im Rahmen der Lehrveranstaltung gemeinsam evaluiert und überarbeitet. Die Aufgabenkonstruktion wird begleitet durch ein innovatives Feedbackkonzept, wonach jede Phase des Arbeitsprozesses durch ein eigenes Feedbackformat unterstützt wird. Das Hauptaugenmerk liegt dabei auf einer Vielzahl von formativen Rückmeldungen – also Informationen über Stärken, Schwächen und Lernfortschritte der Studierenden zur Verbesserung des eigenen Lernens. Auf diese Weise kann der in der Hochschuldidaktik traditionell vorherrschende Schwerpunkt auf summativen Rückmeldungen (meist in Form von Noten) ausgeglichen werden. Die Besonderheiten des Konzepts liegen u.a. in der sinnvollen Verschränkung von Theorie und Praxis, der Pluralität der Feedbackmethoden, der Multiperspektivität und der damit einhergehenden Triangulation des Feedbacks, der Entgrenzung traditioneller Feedbackkategorien sowie in der Orientierung an internationalen Standards im Bereich Sprachtesten und beurteilen.

Kurzzusammenfassung des Projekts in englischer Sprache

One of the practical components in the Assessment course for BEd students in the English Department at the University of Vienna is the so-called Achievement Test Project, in which small groups of students develop a writing prompt for an English test (Schularbeit). The prompts are piloted with pupils at school but also evaluated and revised by the students in the course of the semester. The different stages of test development are accompanied by an innovative feedback concept in which every phase of the process is supported by a different way of giving feedback. The main focus is on providing a broad range of formative feedback on multiple occasions, giving information about strengths and weaknesses as well as the progress the students have made in their own learning. This compensates for the traditional emphasis in university teaching on summative feedback (in the form of a single grade). The special features of the concept include meaningful links between theory and practice, a wide variety of feedback formats, multiple perspectives, including triangulation of the different types of feedback, blurring the boundaries of traditional feedback categories and an orientation towards international standards in the field of language testing and assessment.

Nähere Beschreibung des Projekts

Nähere Beschreibung des Projekts (max. 13.000 Zeichen inkl. Leerzeichen)

 

Innovative Hochschuldidaktik

 

In der Lehrveranstaltung Assessment entwickeln die Studierenden Schreibaufgaben für eine Schularbeit. Die Testaufgaben werden in Teams zu vier bis sechs Studierenden erstellt und in einer Schulklasse pilotiert. Der Aufgabenerstellungszyklus umfasst sechs Phasen. Jede dieser Phasen wird durch ein individuelles, auf den Arbeitsprozess abgestimmtes Feedbackformat begleitet:

 

1. Konstruktdefinition und Feedback durch Modellbeispiele: Zunächst definieren die Studierenden individuell das zu testende Schreibkonstrukt, also jene Schreibkompetenzen, die in einer bestimmten Englisch-Klasse über ca. 6 Wochen hinweg unterrichtet wurden. Dafür analysieren sie das verwendete Lehrwerk sowie die relevanten Abschnitte des Lehrendenhandbuchs, des Lehrplans und des Gemeinsamen Europäischen Referenzrahmens für Sprachen (Europarat 2001, 2018). Danach gilt es im Team die beste Gruppenversion zu erarbeiten. Feedback bekommen die Studierenden in dieser Phase in Form von Modellbeispielen. Die Studierenden vergleichen ihre Konstruktdefinition mit dem Modell und entscheiden, inwiefern die eigene Version einer Überarbeitung bedarf. Diese Art des Feedbacks ist indirekt, da die Studierenden keine vorgefertigten Lösungen präsentiert bekommen, sondern diese im Team selbst erarbeiten.

 

2. Aufgabenentwicklung und „Reflective Dialogue“: Im Anschluss erstellen die Studierenden den ersten Entwurf eines Schreibauftrags, der das definierte Konstrukt zu testen vermag. Die Lehrperson gibt dann formatives Feedback auf den Entwurf in Form von offenen Reflexionsfragen. Die Studierenden beantworten diese in ihren Teams schriftlich und erhalten neuerlich Feedback von der Lehrperson in Form von Kommentaren oder weiteren Fragen, sodass ein schriftlicher „Feedbackdialog“ entsteht. Die Teams überarbeiten ihre Aufgabenstellungen im Lichte dieses Dialogs und der einhergehenden Diskussion.

 

3. Begutachtung und „Peer-Feedforward“: Die jeweils anderen Projektteams geben anhand eines Kriterienkatalogs angeleitetes „Peer-Feedforward“ auf die überarbeiteten Aufgaben. Die Studierenden erfüllen zunächst den Schreibauftrag eines anderen Teams aus der Sicht einer Testperson, notieren allfällige Schwierigkeiten und beantworten im Anschluss eine Reihe von Leitfragen mit dem Ziel, Verbesserungsvorschläge zu machen. Dabei sind die Teams dazu angehalten, nicht Rückmeldungen auf die bisherige Leistung zu geben, sondern vielmehr konkrete Veränderungsmöglichkeiten für die Zukunft aufzuzeigen, also Feedforward statt Feedback. Wiederum überarbeiten die einzelnen Teams ihre Entwürfe im Lichte der neuen Erkenntnisse.

 

4. Pilotierung und empirisches Feedback: Die Aufgaben werden dann in einer Schulklasse pilotiert. Die Schreibperformanzen der Schüler/innen liefern empirisches Feedback über die Qualität der Aufgaben. Die Studierenden analysieren anhand der Performanzen inwiefern die Aufgabe die gewünschten sprachlichen Mittel hervorruft und Rückschlüsse über das definierte Testkonstrukt zulässt. Diese Art des Feedbacks stellt insofern einen außergewöhnlichen Rollenwechsel dar, als dass nicht die Lehrenden oder Studierenden selbst, sondern die Schüler/innen einer Schulklasse indirektes Feedback zur Qualität der Aufgaben liefern.

 

5. Überarbeitung und Feedback für Schüler/innen: Nach der Auswertung des empirischen Befundes werden die finalen Aufgabenversionen erstellt. Gleichzeitig werden die Performanzen durch die Teams summativ, d.h. anhand der im schulischen Kontext üblichen Beurteilungsraster analytisch bewertet. Die Studierenden diskutieren die Performanzen in ihren Teams und einigen sich darauf, welche Beurteilung am ehesten zutrifft. Darauf aufbauend formulieren die Studierenden dann schriftliche, lernzielorientierte Rückmeldungen an die Schüler/innen.

 

6. Evaluation und Self-Assessment: In ihrer Abschlussarbeit reflektieren die Studierenden den eigenen Erkenntnisgewinn. Sie sind dazu angehalten, ihre Reflexion durch Bezüge zur einschlägigen Literatur theoretisch zu untermauern sowie konkrete Beispiele zu geben, wie die Erkenntnisse ihr praktisches Handeln in Zukunft potentiell beeinflussen werden. Schließlich bewerten die Studierenden ihren eigenen Beitrag zum Testerstellungsprojekt sowie zur Lehrveranstaltung insgesamt. Diese Form des individuellen, summativen Selbstfeedbacks fließt in die Berechnung der Semesternote ein.

 

Dieses Konzept stellt eine Innovation in der Hochschuldidaktik dar, da es die im tertiären Sektor traditionell übliche Beschränkung auf summatives Feedback aufbricht. Es integriert Feedback in verschiedensten Facetten und ergänzt abschließende Bewertungen durch formatives, dialogisches, fokussiertes, analytisches und indirektes Feedback. Während konventionelles Feedback im tertiären Sektor oft das Ende des Lernprozesses markiert, stellt das hier vorgestellte Konzept formative Maßnahmen in einem laufenden Prozess dar. Die Studierenden müssen das erhaltene Feedback auch wirklich umzusetzen, denn nur so kann Feedback auch die gewünschten Lerneffekte erzielen (O'Donovan et al. 2016).

 

Einzigartig ist auch die Multiperspektivität dieses Konzepts. Die Studierenden geben und erhalten Feedback aus unterschiedlichsten Perspektiven, auch in ihrer (künftigen) Rolle als Lehrende. Somit wirkt das Konzept nicht nur im unmittelbaren Umfeld der Studierenden, sondern interagiert darüber hinaus auch mit dem schulischen Bereich. Ähnlich dem Prinzip der Triangulation in der empirischen Forschung verbindet das Konzept verschiedene Feedbackmethoden für dieselbe Leistung. Diese Triangulation ermöglicht es, die Schwächen einzelner Feedbackmethoden auszugleichen und so eine höhere Validität des Feedbacks zu erzielen.

 

Schließlich ist das Konzept innovativ im Sinne einer Entgrenzung und Neuinterpretation traditioneller Kategorien. Die Studierenden lernen, die herkömmliche Kategorie des Feedbacks als Rück-Meldung auf bereits Geleistetes stets im Sinne eines „Feedforwards“ durch zukunftsgerichtete Handlungsschritte anzureichern. Ebenso versucht das Konzept gezielt, die Grenzen der gängigen Kategorien wie „Self-“, „Peer-“ und „Lehrendenfeedback“ oder „mündliches/schriftliches Feedback“ aufzubrechen. Diese Begriffe, die lediglich die Sozialform bzw. Modalität des Feedbacks widerspiegeln, werden reinterpretiert und durch bedeutsamere, dem Lernfortschritt dienlichere Kategorien bereichert.

 

Studierendenzentrierung und Heterogenität

 

Ein wesentliches Merkmal des Konzepts ist die Pluralität der Feedbackformen und -methoden. Zur systematischen Implementierung wurde ein multidimensionales Modell entwickelt, das unterschiedliche Aspekte wie Feedbackgeber, Adressaten, Zweck, Inhalt, Modalität, Mittelbarkeit, Bezugsrahmen, Orientierung und Zeithorizont integriert (Berger & Heaney, in Kürze erscheinend). In Bezug auf den Zweck unterscheidet das Modell zwischen formativem und summativem Feedback. Auf der Inhaltsebene kann Feedback kriteriumsbezogen oder normbezogen, analytisch oder holistisch, fokussiert oder unfokussiert, produkt- oder prozessorientiert sein. Auf der Methodenebene spielen die handelnden Personen (Studierende, Lehrende, Schüler/innen, individuell oder kollektiv), die Modalität (schriftlich, mündlich, face-to-face, dialogisch/interaktiv, online), die Mittelbarkeit (direkt oder indirekt) sowie der Zeitfaktor (kontinuierlich oder punktuell) eine Rolle. Eine tabellarische

Darstellung des Modells findet sich auf ctl.univie.ac.at/ars-docendi/berger-heaney/tabelle

 

Die Pluralität der Feedbackmethoden trägt der Heterogenität der Studierenden Rechnung und berücksichtigt die Tatsache, dass die Studierenden unterschiedliches Vorwissen und Erfahrungen mitbringen („local islands of knowledge“) und dass unterschiedliche Lerntypen verschieden auf Feedback reagieren. Gleichzeitig ermöglicht die gelebte Vielfalt den Studierenden, ein umfangreiches Handlungsrepertoire zu entwickeln, um selbst situations-, zweck- und zielgruppenadäquate Feedbackmaßnahmen zu ergreifen. Dass die Selbstreflexion und Eigenverantwortung der Studierenden auch wirklich ernst genommen werden, zeigt sich u.a. daran, dass die Selbstevaluation am Ende des Semesters in die Berechnung der Gesamtnote einfließt.

 

Kompetenzorientierung

 

Das übergeordnete Ziel der Lehrveranstaltung ist es, künftigen Englischlehrer/innen Basiswissen und kompetenzen für effektives Sprachtesten und beurteilen zu vermitteln. Die Detailziele beinhalten 1) das Verstehen der theoretischen Grundlagen von Sprachtesten und beurteilen, 2) das Vermögen, die theoretischen Konzepte im Rahmen der Selektion, Entwicklung und Evaluierung von Test- und Beurteilungsinstrumenten anzuwenden, 3) das Verstehen der wesentlichen Zusammenhänge zwischen Beurteilen, Testen, Lernen und Lehren sowie 4) die Entwicklung zu autonomen Lernenden im Bereich Sprachtesten und beurteilen.

 

Neben den theoretischen Grundlagen nimmt die praktische Umsetzung der Lehrinhalte eine zentrale Rolle ein. Wie oben ausgeführt, kann die Verzahnung zwischen Theorie und Praxis kaum anschaulicher sein; die Studierenden können das Gelernte sofort sinnvoll und praxisnah anwenden. Die im Rahmen der Lehrveranstaltung erworbenen Kompetenzen sind aber nicht nur für die Leistungsbeurteilung im Fach Englisch relevant, sondern auch auf das Testen und Beurteilen in anderen Unterrichtsfächern übertragbar. Somit fördert die Lehrveranstaltung fächerübergreifende Kompetenzen über den eigenen Tellerrand hinaus.

 

In einem Fachdidaktik-Kurs, der sich mit dem Thema Testen und Beurteilen befasst, gehört Feedback zu den wesentlichen Lehr- und Lerninhalten. Feedback wird daher stets auf einer Metaebene reflektiert. Gleichzeitig bleibt der Inhalt aber nicht auf der abstrakt-reflexiven Ebene, sondern wird methodisch umgesetzt und praktisch vorgelebt. Nach dem Motto „practise what you preach and teach what you practise“ versuchen die Lehrenden ihrer Vorbildfunktion gerecht zu werden und die reflektierte Praxis in der eigenen Lehrveranstaltung vorzuzeigen sowie die Reflexionsprozesse explizit und transparent zu machen (Beauchamp 2015).

 

Europäische und internationale Ausrichtung

 

Die formativen Aspekte von Beurteilung und Feedback sind oft stark unterrepräsentiert im österreichischen wie im internationalen Hochschulkontext. Die allgemeine Entwicklung geht daher vermehrt in Richtung formative Leistungsbeurteilung mit dem Ziel der Lernförderung (O'Donovan et al. 2016). Die Neuausrichtung von Feedback wird auch gerne mit dem Begriffstripel assessment of learning, assessment for learning und assessment as learning bezeichnet, wobei Letzteres die systematische Einbindung der Studierenden in den Beurteilungsprozess bedeutet (Bloxham 2008). In diesem Kontext der Neubewertung der Rolle von Feedback in der Hochschuldidaktik ist auch das hier vorgestellte Konzept zu sehen.

 

Es orientiert sich vor allem an internationalen Standards im Bereich Sprachtesten und beurteilen. Eine zentrale Rolle kommt dabei der European Association for Language Testing and Assessment (EALTA) zu, deren Ziel es ist, „das Verständnis für die theoretischen Prinzipien des Testens und Beurteilens sprachlicher Leistungen zu fördern und zur Verbesserung von Test- und Beurteilungspraktiken in Europa beizutragen“ (EALTA 2006: 1). Die EALTA-Richtlinien zur Qualitätssicherung stellen die Grundlage des hier vorgestellten Projekts dar. Die zugrundeliegenden allgemeinen Prinzipien (Respekt für Studierende und Prüfungskandidat/innen, Verantwortlichkeit, Fairness, Reliabilität, Validität und Zusammenarbeit aller Beteiligten) sind auch die Leitprinzipien des hier beschriebenen Projekts. In ähnlicher Weise formuliert die International Language Testing Association (ILTA) ihre Guidelines for Practice (ILTA 2007).

 

Wir sind überzeugt, dass unser Testerstellungsprojekt sowie das Feedbackkonzept einen wertvollen Beitrag zur national wie international geforderten Language Assessment Literacy leistet. Der Aufgabenentwicklungsprozess bedingt die Einbindung des Feedbacks in die jeweils nächsten Arbeitsschritte. Damit ist gewährleistet, dass Feedback nicht ergebnislos verpufft, sondern sein Potential zur Lernförderung auch wirklich entfaltet. Die Leistungen und das Feedback der Studierenden zeigen uns, dass das Projekt „local islands of knowledge“ zusehends in ein „shared, global understanding of language testing and assessment“ umzuwandeln vermag.

Die genauen Angaben zur verwendeten Literatur finden sich unter ctl.univie.ac.at/ars-docendi/berger-heaney/bibliographie

Positionierung des Lehrangebots

Das Projekt ist Teil der Lehrveranstaltung Assessment, einer prüfungsimmanenten Pflichtlehrveranstaltung im Bachelorstudium Unterrichtsfach Englisch (BEd) am Institut für Anglistik und Amerikanistik der Universität Wien. Die Lehrveranstaltung ist Teil des Pflichtmoduls „Fachbezogenes Schulpraktikum Englisch“ und wird meist im 6. Semester belegt. Voraussetzungen sind der Abschluss der Studieneingangs- und Orientierungsphase (StEOP), das Pflichtmodul „Basiskompetenzen Fachdidaktik“ sowie das Modul „Unterricht inkl. Orientierungspraktikum“.

Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2019 nominiert.
Ars Docendi
Gewinner 2019
Kategorie: Lernergebnisorientierte Prüfungskultur und deren Verankerung in der Lehrveranstaltung
Ansprechperson
Mag. Dr. Armin Berger, MA
Philologisch-Kulturwissenschaftliche Fakultät, Institut für Anglistik und Amerikanistik, Universität Wien
+43-1-4277-42435
Nominierte Person(en)
Mag. Dr. Armin Berger, MA
Philologisch-Kulturwissenschaftliche Fakultät, Institut für Anglistik und Amerikanistik, Universität Wien
Mag. Dr. Helen Heaney, BA
Philologisch-Kulturwissenschaftliche Fakultät, Institut für Anglistik und Amerikanistik, Universität Wien
Themenfelder
  • Lehr- und Lernkonzepte
  • Erfahrungslernen
  • Rund ums Prüfen
Fachbereiche
  • Geistes-, Sozial- und Kulturwissenschaften