“From local islands of knowledge to a shared, global understanding”: ein Konzept zur Entwicklung von Beurteilungskompetenz angehender Englischlehrer/innen

Nähere Beschreibung des Projekts

Nähere Beschreibung des Projekts (max. 13.000 Zeichen inkl. Leerzeichen)

Innovative Hochschuldidaktik

In der Lehrveranstaltung Assessment entwickeln die Studierenden Schreibaufgaben für eine Schularbeit. Die Testaufgaben werden in Teams zu vier bis sechs Studierenden erstellt und in einer Schulklasse pilotiert. Der Aufgabenerstellungszyklus umfasst sechs Phasen. Jede dieser Phasen wird durch ein individuelles, auf den Arbeitsprozess abgestimmtes Feedbackformat begleitet:

1. Konstruktdefinition und Feedback durch Modellbeispiele: Zunächst definieren die Studierenden individuell das zu testende Schreibkonstrukt, also jene Schreibkompetenzen, die in einer bestimmten Englisch-Klasse über ca. 6 Wochen hinweg unterrichtet wurden. Dafür analysieren sie das verwendete Lehrwerk sowie die relevanten Abschnitte des Lehrendenhandbuchs, des Lehrplans und des Gemeinsamen Europäischen Referenzrahmens für Sprachen (Europarat 2001, 2018). Danach gilt es im Team die beste Gruppenversion zu erarbeiten. Feedback bekommen die Studierenden in dieser Phase in Form von Modellbeispielen. Die Studierenden vergleichen ihre Konstruktdefinition mit dem Modell und entscheiden, inwiefern die eigene Version einer Überarbeitung bedarf. Diese Art des Feedbacks ist indirekt, da die Studierenden keine vorgefertigten Lösungen präsentiert bekommen, sondern diese im Team selbst erarbeiten.

2. Aufgabenentwicklung und „Reflective Dialogue“: Im Anschluss erstellen die Studierenden den ersten Entwurf eines Schreibauftrags, der das definierte Konstrukt zu testen vermag. Die Lehrperson gibt dann formatives Feedback auf den Entwurf in Form von offenen Reflexionsfragen. Die Studierenden beantworten diese in ihren Teams schriftlich und erhalten neuerlich Feedback von der Lehrperson in Form von Kommentaren oder weiteren Fragen, sodass ein schriftlicher „Feedbackdialog“ entsteht. Die Teams überarbeiten ihre Aufgabenstellungen im Lichte dieses Dialogs und der einhergehenden Diskussion.

3. Begutachtung und „Peer-Feedforward“: Die jeweils anderen Projektteams geben anhand eines Kriterienkatalogs angeleitetes „Peer-Feedforward“ auf die überarbeiteten Aufgaben. Die Studierenden erfüllen zunächst den Schreibauftrag eines anderen Teams aus der Sicht einer Testperson, notieren allfällige Schwierigkeiten und beantworten im Anschluss eine Reihe von Leitfragen mit dem Ziel, Verbesserungsvorschläge zu machen. Dabei sind die Teams dazu angehalten, nicht Rückmeldungen auf die bisherige Leistung zu geben, sondern vielmehr konkrete Veränderungsmöglichkeiten für die Zukunft aufzuzeigen, also Feedforward statt Feedback. Wiederum überarbeiten die einzelnen Teams ihre Entwürfe im Lichte der neuen Erkenntnisse.

4. Pilotierung und empirisches Feedback: Die Aufgaben werden dann in einer Schulklasse pilotiert. Die Schreibperformanzen der Schüler/innen liefern empirisches Feedback über die Qualität der Aufgaben. Die Studierenden analysieren anhand der Performanzen inwiefern die Aufgabe die gewünschten sprachlichen Mittel hervorruft und Rückschlüsse über das definierte Testkonstrukt zulässt. Diese Art des Feedbacks stellt insofern einen außergewöhnlichen Rollenwechsel dar, als dass nicht die Lehrenden oder Studierenden selbst, sondern die Schüler/innen einer Schulklasse indirektes Feedback zur Qualität der Aufgaben liefern.

5. Überarbeitung und Feedback für Schüler/innen: Nach der Auswertung des empirischen Befundes werden die finalen Aufgabenversionen erstellt. Gleichzeitig werden die Performanzen durch die Teams summativ, d.h. anhand der im schulischen Kontext üblichen Beurteilungsraster analytisch bewertet. Die Studierenden diskutieren die Performanzen in ihren Teams und einigen sich darauf, welche Beurteilung am ehesten zutrifft. Darauf aufbauend formulieren die Studierenden dann schriftliche, lernzielorientierte Rückmeldungen an die Schüler/innen.

6. Evaluation und Self-Assessment: In ihrer Abschlussarbeit reflektieren die Studierenden den eigenen Erkenntnisgewinn. Sie sind dazu angehalten, ihre Reflexion durch Bezüge zur einschlägigen Literatur theoretisch zu untermauern sowie konkrete Beispiele zu geben, wie die Erkenntnisse ihr praktisches Handeln in Zukunft potentiell beeinflussen werden. Schließlich bewerten die Studierenden ihren eigenen Beitrag zum Testerstellungsprojekt sowie zur Lehrveranstaltung insgesamt. Diese Form des individuellen, summativen Selbstfeedbacks fließt in die Berechnung der Semesternote ein.

Dieses Konzept stellt eine Innovation in der Hochschuldidaktik dar, da es die im tertiären Sektor traditionell übliche Beschränkung auf summatives Feedback aufbricht. Es integriert Feedback in verschiedensten Facetten und ergänzt abschließende Bewertungen durch formatives, dialogisches, fokussiertes, analytisches und indirektes Feedback. Während konventionelles Feedback im tertiären Sektor oft das Ende des Lernprozesses markiert, stellt das hier vorgestellte Konzept formative Maßnahmen in einem laufenden Prozess dar. Die Studierenden müssen das erhaltene Feedback auch wirklich umzusetzen, denn nur so kann Feedback auch die gewünschten Lerneffekte erzielen (O'Donovan et al. 2016).

Einzigartig ist auch die Multiperspektivität dieses Konzepts. Die Studierenden geben und erhalten Feedback aus unterschiedlichsten Perspektiven, auch in ihrer (künftigen) Rolle als Lehrende. Somit wirkt das Konzept nicht nur im unmittelbaren Umfeld der Studierenden, sondern interagiert darüber hinaus auch mit dem schulischen Bereich. Ähnlich dem Prinzip der Triangulation in der empirischen Forschung verbindet das Konzept verschiedene Feedbackmethoden für dieselbe Leistung. Diese Triangulation ermöglicht es, die Schwächen einzelner Feedbackmethoden auszugleichen und so eine höhere Validität des Feedbacks zu erzielen.

Schließlich ist das Konzept innovativ im Sinne einer Entgrenzung und Neuinterpretation traditioneller Kategorien. Die Studierenden lernen, die herkömmliche Kategorie des Feedbacks als Rück-Meldung auf bereits Geleistetes stets im Sinne eines „Feedforwards“ durch zukunftsgerichtete Handlungsschritte anzureichern. Ebenso versucht das Konzept gezielt, die Grenzen der gängigen Kategorien wie „Self-“, „Peer-“ und „Lehrendenfeedback“ oder „mündliches/schriftliches Feedback“ aufzubrechen. Diese Begriffe, die lediglich die Sozialform bzw. Modalität des Feedbacks widerspiegeln, werden reinterpretiert und durch bedeutsamere, dem Lernfortschritt dienlichere Kategorien bereichert.

Studierendenzentrierung und Heterogenität

Ein wesentliches Merkmal des Konzepts ist die Pluralität der Feedbackformen und -methoden. Zur systematischen Implementierung wurde ein multidimensionales Modell entwickelt, das unterschiedliche Aspekte wie Feedbackgeber, Adressaten, Zweck, Inhalt, Modalität, Mittelbarkeit, Bezugsrahmen, Orientierung und Zeithorizont integriert (Berger & Heaney, in Kürze erscheinend). In Bezug auf den Zweck unterscheidet das Modell zwischen formativem und summativem Feedback. Auf der Inhaltsebene kann Feedback kriteriumsbezogen oder normbezogen, analytisch oder holistisch, fokussiert oder unfokussiert, produkt- oder prozessorientiert sein. Auf der Methodenebene spielen die handelnden Personen (Studierende, Lehrende, Schüler/innen, individuell oder kollektiv), die Modalität (schriftlich, mündlich, face-to-face, dialogisch/interaktiv, online), die Mittelbarkeit (direkt oder indirekt) sowie der Zeitfaktor (kontinuierlich oder punktuell) eine Rolle. Eine tabellarische

Darstellung des Modells findet sich auf ctl.univie.ac.at/ars-docendi/berger-heaney/tabelle

Die Pluralität der Feedbackmethoden trägt der Heterogenität der Studierenden Rechnung und berücksichtigt die Tatsache, dass die Studierenden unterschiedliches Vorwissen und Erfahrungen mitbringen („local islands of knowledge“) und dass unterschiedliche Lerntypen verschieden auf Feedback reagieren. Gleichzeitig ermöglicht die gelebte Vielfalt den Studierenden, ein umfangreiches Handlungsrepertoire zu entwickeln, um selbst situations-, zweck- und zielgruppenadäquate Feedbackmaßnahmen zu ergreifen. Dass die Selbstreflexion und Eigenverantwortung der Studierenden auch wirklich ernst genommen werden, zeigt sich u.a. daran, dass die Selbstevaluation am Ende des Semesters in die Berechnung der Gesamtnote einfließt.

Kompetenzorientierung

Das übergeordnete Ziel der Lehrveranstaltung ist es, künftigen Englischlehrer/innen Basiswissen und kompetenzen für effektives Sprachtesten und beurteilen zu vermitteln. Die Detailziele beinhalten 1) das Verstehen der theoretischen Grundlagen von Sprachtesten und beurteilen, 2) das Vermögen, die theoretischen Konzepte im Rahmen der Selektion, Entwicklung und Evaluierung von Test- und Beurteilungsinstrumenten anzuwenden, 3) das Verstehen der wesentlichen Zusammenhänge zwischen Beurteilen, Testen, Lernen und Lehren sowie 4) die Entwicklung zu autonomen Lernenden im Bereich Sprachtesten und beurteilen.

Neben den theoretischen Grundlagen nimmt die praktische Umsetzung der Lehrinhalte eine zentrale Rolle ein. Wie oben ausgeführt, kann die Verzahnung zwischen Theorie und Praxis kaum anschaulicher sein; die Studierenden können das Gelernte sofort sinnvoll und praxisnah anwenden. Die im Rahmen der Lehrveranstaltung erworbenen Kompetenzen sind aber nicht nur für die Leistungsbeurteilung im Fach Englisch relevant, sondern auch auf das Testen und Beurteilen in anderen Unterrichtsfächern übertragbar. Somit fördert die Lehrveranstaltung fächerübergreifende Kompetenzen über den eigenen Tellerrand hinaus.

In einem Fachdidaktik-Kurs, der sich mit dem Thema Testen und Beurteilen befasst, gehört Feedback zu den wesentlichen Lehr- und Lerninhalten. Feedback wird daher stets auf einer Metaebene reflektiert. Gleichzeitig bleibt der Inhalt aber nicht auf der abstrakt-reflexiven Ebene, sondern wird methodisch umgesetzt und praktisch vorgelebt. Nach dem Motto „practise what you preach and teach what you practise“ versuchen die Lehrenden ihrer Vorbildfunktion gerecht zu werden und die reflektierte Praxis in der eigenen Lehrveranstaltung vorzuzeigen sowie die Reflexionsprozesse explizit und transparent zu machen (Beauchamp 2015).

Europäische und internationale Ausrichtung

Die formativen Aspekte von Beurteilung und Feedback sind oft stark unterrepräsentiert im österreichischen wie im internationalen Hochschulkontext. Die allgemeine Entwicklung geht daher vermehrt in Richtung formative Leistungsbeurteilung mit dem Ziel der Lernförderung (O'Donovan et al. 2016). Die Neuausrichtung von Feedback wird auch gerne mit dem Begriffstripel assessment of learning, assessment for learning und assessment as learning bezeichnet, wobei Letzteres die systematische Einbindung der Studierenden in den Beurteilungsprozess bedeutet (Bloxham 2008). In diesem Kontext der Neubewertung der Rolle von Feedback in der Hochschuldidaktik ist auch das hier vorgestellte Konzept zu sehen.

Es orientiert sich vor allem an internationalen Standards im Bereich Sprachtesten und beurteilen. Eine zentrale Rolle kommt dabei der European Association for Language Testing and Assessment (EALTA) zu, deren Ziel es ist, „das Verständnis für die theoretischen Prinzipien des Testens und Beurteilens sprachlicher Leistungen zu fördern und zur Verbesserung von Test- und Beurteilungspraktiken in Europa beizutragen“ (EALTA 2006: 1). Die EALTA-Richtlinien zur Qualitätssicherung stellen die Grundlage des hier vorgestellten Projekts dar. Die zugrundeliegenden allgemeinen Prinzipien (Respekt für Studierende und Prüfungskandidat/innen, Verantwortlichkeit, Fairness, Reliabilität, Validität und Zusammenarbeit aller Beteiligten) sind auch die Leitprinzipien des hier beschriebenen Projekts. In ähnlicher Weise formuliert die International Language Testing Association (ILTA) ihre Guidelines for Practice (ILTA 2007).

Wir sind überzeugt, dass unser Testerstellungsprojekt sowie das Feedbackkonzept einen wertvollen Beitrag zur national wie international geforderten Language Assessment Literacy leistet. Der Aufgabenentwicklungsprozess bedingt die Einbindung des Feedbacks in die jeweils nächsten Arbeitsschritte. Damit ist gewährleistet, dass Feedback nicht ergebnislos verpufft, sondern sein Potential zur Lernförderung auch wirklich entfaltet. Die Leistungen und das Feedback der Studierenden zeigen uns, dass das Projekt „local islands of knowledge“ zusehends in ein „shared, global understanding of language testing and assessment“ umzuwandeln vermag.

Die genauen Angaben zur verwendeten Literatur finden sich unter ctl.univie.ac.at/ars-docendi/berger-heaney/bibliographie