VO Statistik: Eine Entdeckungsreise unserer Gesellschaft

Würdigung der Jury

Dieses von der Jury hervorgehobene Projekt setzt sich zum Ziel, das Erlernen von Statistik auf neue Weise relevant und interessant zu machen. Statistik ist bekanntlich die Grundlage für viele fachspezifische Anforderungen, aber für die Studierenden selten ein Vergnügen; das nachhaltige und tiefere Verstehen statistischer Arbeitsweisen ist aber gerade für die spätere Übertragbarkeit entscheidend. Die Absicht wird hier umgesetzt einerseits durch die thematische Gestaltung, andererseits durch die vorlesungsbegleitende Wissensüberprüfung mit Quizformen und einem besonderen Prüfungsmodus. Thematisch werden Fragen von hoher gesellschaftlicher Relevanz herangezogen (Klimawandel, Globalisierung, Protestbewegungen, globale Entscheidungsmechanismen u.a.m.), deren Analyse die Bewältigung großer Datenmengen voraussetzt. Die vorlesungsbegleitend und prüfungsvorbereitend eingesetzten rechnerischen Quizaufgaben können konzeptuell, analytisch oder anwendungsorientiert ausgerichtet sein. Die Klausur zum Schluss arbeitet mit randomisierten Fragen und mit einem Feedback, das detaillierter und damit ebenfalls individueller ist als üblich. Ziel ist, mehr auf Verständnis und weniger auf Auswendiglernen zu setzen. Die Vorlesung wird durch umfangreiche Lernmaterialien begleitet.
Der Kurs beeindruckte die Jury nicht zuletzt durch den Nachweis, dass auch sehr große und einführende Vorlesungen (in diesem Fall für ca. 300 BA-Studierende) nach neuen didaktischen Anforderungen inhaltlich gestaltet und unter Berücksichtigung von individualisierten und kompetenzorientierten Kriterien bewertet werden können. Es kann auch der Schluss gezogen werden, dass gute Lehre meist mit einem zusätzlichen Engagement und Aufwand (hier v.a. für Lernmaterialien und den computergestützten Prüfungsmodus) verbunden ist, wie er hier vorbildlich geleistet wird.

Univ.-Prof. Dr. Thomas Grob
Universität Basel

Ziele/Motive/Ausgangslage/Problemstellung

Statistik stellt für viele Studierende ein „lästiges Muss“ dar. Die Relevanz des Faches wird sowohl für den weiteren Studienverlauf als auch für den Arbeitsmarkt selten erkannt. Oft geht dies mit einem sogenannten „Boulemielernen“ einher, bei dem Studierende im letzten Moment Konzepte auswendig lernen, welche unmittelbar nach der Prüfung vergessen werden. Aufbauend auf diesen Beobachtungen verfolgt die Lehrveranstaltungsleiterin der Statistikvorlesung zwei Ziele: 1) Die Relevanz und Nützlichkeit von Statistik wird anhand von Praxisbeispielen demonstriert. In jeder Veranstaltung gibt es eine für unsere Gesellschaft relevante Problemstellung, welche mithilfe der ensprechenden Statistiken beleuchtet wird. So werden zum Beispiel Konzepte der zentrale Tendenz und Variabilität anhand von Klimawandeldaten oder der Effekt von Globalisierung auf Arbeitsstandards durch Mittelwertvergleiche analysiert. 2) Eine permanente Wissensüberprüfung mit Hilfe von Quizze, welche durch Arsnova während der LV ausgeführt werden, gibt Studierenden die Information über ihren aktuellen Wissensstand und Feedback dazu welche Maßnahmen gesetzt werden müssen um diesen den Erwartungen der Lehrveranstaltung anzupassen.

Kurzzusammenfassung des Projekts

Die Statistikvorlesung ist so konzipiert, dass Studierende anhand von konkreten Problemstellungen statistische Konzepte erlernen. So wird zum Beispiel der Frage nach den Beiträgen von unterschiedlichen Staaten und Akteuren zum Klimawandel mithilfe der zentralen Tendenz und der Variabilität nachgegangen. Es werden stets aktuelle Themen ausgewählt, um die Relevanz der Statistik zu demonstrieren. Dies hat zum Ziel den Studierenden die Nützlichkeit von Statistik im Alltag als auch im Arbeitsleben nahe zu bringen und deren Lernmotivation zu erhöhen. Sowohl der Foliensatz, das Begleitskript, als auch die Literatur verfolgen dieses Prinzip. Ein weiteres Element der Vorlesung ist die permanente Wissensüberprüfung durch Arsnova-Fragen. Der computergestützte Prüfungsablauf stellt das dritte Element des Vorlesungskonzeptes dar. Beinahe 100 randomisierbare Multiple-Choice Fragen, welche ein rigides Qualitätsüberprüfungsverfahren durchlaufen haben, dienen der Grundlage zur Erstellung von Abschlussklausuren. Die Prüfung kann mithilfe des R-Paketes „exams“ flexibel erstellt und effektiv als auch umfassend ausgewertet werden. Der Feedbackloop für Studierende wird in diesem Ablauf optimiert. Durch das hier präsentierte Lernkonzept werden bestehende Materialen, sowohl Lehrmaterial als auch Prüfungsfragen, konsistent und nachhaltig verbessert, als auch neue Inhalte und Perspektiven durch aktuelle Problemstellungen geschaffen.

Kurzzusammenfassung des Projekts in englischer Sprache

The statistics lecture is designed in such a way that students learn statistical concepts based on concrete problems. As an example, the lecture shows how central tendency as well as variability can help us to assess the contributions of various countries and actors to climate change. Questions about our society and current topics illustrate the relevance of statistical concepts. Students of this class experience the usefulness of statistics in their everyday life as well as on the job market. Such a strong link to real life, should help to increase the learning motivation of students. Slides, scripts, as well as the accompanying literature follow this principle. A further element of the lecture is the permanent knowledge review by Arsnova questions. Moreover, a computer-assisted examination procedure represents the third element of the teaching concept. Nearly 100 randomizable multiple-choice questions, which have gone through a rigid quality review process, serve as the basis for the preparation of final exams. Using the R-package “exams”, the lecturer is able to create exams in flexible and effective manner. Furthermore, it allows for the optimization of the feedback loop for students.

The principle of the course concept is to consistently and sustainably improve existing materials, both teaching material and exam questions, as well as to create new content and perspectives through the implementation and discussion of current societal problems.

Nähere Beschreibung des Projekts

Motivation ist ein zentrales Element des erfolgreichen Lernens. Statistik verbinden viele Studierende mit ihrer (vielleicht negativen) Erfahrung des Mathematikunterrichtes. Oftmals hört man in Gesprächen mit Studierenden folgende Aussagen: „Ich war in Mathe nie gut und deshalb werde ich auch in Statistik nicht gut sein“ oder „Mathe hat mir noch nie Spaß gemacht deshalb werde ich Statistik auch nicht mögen“. Ziel ist es diese Vorurteile und Selbsteinschätzungen abzubauen indem die Lernmaterialen so gestaltet und präsentiert werden, dass das „Warum brauche ich Statistik“ im Zentrum steht. So wird zum Beispiel gezeigt, dass wir, ohne das Konzept der Standardabweichung zu verstehen nicht in der Lage sind Ungleichheiten in Gesellschaften zu beurteilen oder dass, wir das Chi-Quadrat benötigen, um die Konsistenz von Wahlumfragedaten zu überprüfen. Jede Vorlesungseinheit hat eine aktuelle Problemstellung, welche mithilfe von entsprechenden Statistiken beleuchtet wird. Im Sommersemester reichten die Problemstellungen von politischen Protesten u.a. in Hong Kong (Einheit 1 „Einführung in die Statistik“), über Klimawandel (Einheit 2 „Deskriptive Statistik“), Begrenzung der Amtszeiten von Politiker_innen (Einheit 3 „Wahrscheinlichkeiten“) und Effekte von Globalisierung (Einheit 4 „Hypothesentest und Variablenzusammenhang“) bis hin zur Frage „welcher Staat/welche Staaten über Weltpolitik entscheiden“ (Einheit 5: „Mittelwertvergleiche und Regression“). Die Folien sind so strukturiert, dass zuerst der Kontext zum Vorlesungsinhalt erläutert wird. Hier wird dargelegt, was der Nutzen der in der letzten Einheit(en) gelernten Inhalte für die aktuelle Einheit ist. Anschließend wird die Problemstellung diskutiert. Es folgt die Aufarbeitung der Problemstellung durch Statistiken. Am Ende werden die Ergebnisse der Analyse besprochen und erneut der Kontext zum breiteren Inhalt der Statistikvorlesung hergestellt. Neben den Folien und der Aufzeichnung der Vorlesung, gibt es ein Begleitskriptum, welches die Inhalte detailliert erläutert. Die Studierenden sind zudem aufgefordert das Buch „An adventure in statistics: the reality enigma“ von Andy Field zu lesen. Dieses Buch hat ein ähnliches Prinzip wie der Vorlesungsinhalt: Ein Fall wird mithilfe von Statistik gelöst. Die Vorlesung hat denselben inhaltlichen Ablauf wie die Buchkapitel in „An adventure in statisics“. Neben diesen Unterlagen wird noch ein zweiseitiges Wörterbuch an statistischen Begriffen und Notationen zur Verfügung gestellt.

Neben den konsistenten und umfassenden Lernmaterialien, werden Studierende mit regelmäßiger Wissensüberprüfung konfrontiert. Während der Vorlesung werden Quizfragen mit Hilfe von Arsnova von Studierenden beantwortet. Diese Quizfragen reichen von Abfragen zu Konzeptverständnissen, über Interpretationsaufgaben, hin zu Anwendungsbeispielen, wo Studierende Statistiken berechnen müssen. Jede Vorlesungseinheit wird von drei bis acht Arsnova Fragen begleitet. Neben dem Feedback für Studierende, helfen solche „Unterbrechungen“ wichtige Verständnisfragen aufzuwerfen. Der Studienerfolg kann somit kontrolliert und verbessert werden. Die Arsnova-Fragen sind von der Struktur und dem Stil ähnlich der Fragen in der Abschlussprüfung. Somit wird die Transparenz zur Abschlussprüfung erhöht.

Neben der Erstellung der Lernunterlagen beanspruchte die Entwicklung und Umsetzung eines computergestützten Prüfungsmodus den meisten Zeitaufwand. Mit Hilfe des R-Paketes „exams“ von Prof. Achim Zeileis und einem guten Team (zwei studentische Mitarbeiter_innen und die Lehrveranstaltungsleiterin) konnten 96 dynamische Fragen erstellt werden. Mit dynamischen Fragen sind Fragestellungen gemeint, welche randomisiert erstellt werden können. Dies bedeutet, dass potentiell jede Klausur eine individuelle Fragestellung hat. Es können unterschiedliche Fragen zu gleichen Themen ausgewählt werden. Innerhalb der Fragen unterscheidet sich nicht nur die Reihenfolge der Antwortmöglichkeiten, sondern auch die Antwortmöglichkeiten an sich als auch die Zahlen zur Berechnung bzw. Interpretation von Statistiken. Wobei zum Beispiel Studierende, welche Prüfung A schreiben, die Intervallbreite der Variable „Parteifinanzierung“ und Studierende, welche Prüfung B schreiben, die Intervallbreite der Variable „Handelsfluss“ berechnen müssen.

Die Vorlesung umfasst 5 Themenblöcke (Einheit 1 bis Einheit 5), wobei im Durchschnitt 5 Themen einen Themenblock füllen. Einheit 2 „deskriptive Statistik“ umfasst zum Beispiel folgende Themen: 1) Definition und Verständnis des Konzeptes „Deskriptive Statistik“, 2) Häufigkeiten, 3) Verteilungen, 4) zentrale Tendenz, 5) Variabilität und 6) z-Score. Einheit 4 „Hypothesentest und Variablenzusammenhang“ beinhaltet 1) Definition und Verständnis des Konzeptes „Hypothese“, 2) Cohen’s Kappa, 3) Odds Ratio, 4) Teststatistik, und 5) Pearson’s R Korrelationskoeffizient. Jeder dieser Themen umfasst bis zu fünf unterschiedliche Fragestellungen. Jede dieser Fragestellungen kann randomisiert werden, wobei manche Fragestellungen nur vier unterschiedliche Versionen erlauben, gibt es Fragestellungen die unendlich randomisiert werden können. Die Fragestellungen sind ebenso wie die Vorlesungsinhalte stets durch ein Beispiel aus der Praxis motiviert. Es werden potentielle Ergebnisse der Nationalratswahl als auch der EU-Wahl analysiert oder Zustimmungsraten zum Rauchverbot gezeigt. Konkrete Beispiele sollen die Motivation von Studierenden erhöhen und helfen durch Logik und „Hausverstand“ bessere Ergebnisse zu erzielen. Zudem kann konkret überprüft werden, ob Studierende die Inhalte so verstanden haben, dass Sie in der Lage sind diese in anderen Kontexten zu interpretieren, beziehungsweise umzusetzen. Bei der Erstellung der Klausur wird darauf geachtet, dass von den 15 Fragen aus jedem Themenblock mindestens eine Frage inkludiert ist. Zudem umfasst jede Klausur Verständnisfragen zu Konzepten, Interpretationsaufgaben, und Rechenbeispiele. Ein Genügend kann erreicht werden, wenn die Verständnisfragen als auch ein Drittel der Interpretationsaufgaben richtig beantwortet werden kann. Bessere Noten verlangen auch den Anwendungsbereich der Statistik zu beherrschen. Das R-Paket „exams“ von Prof. Achim Zeileis wurde so konzipiert, dass Prüfungsbögen unmittelbar nach der Klausur mit einem Standardscanner gelesen werden und dann von der Lehrperson in R ausgwertet werden kann. Dies birgt mehrere Vorteile: Zum einen kann die Prüfung zeitnah beurteilt werden. Es gibt keine Abhängigkeiten zu dritten Personen, welche den Auswertungsprozess verzögern könnten. Zum anderen können Muster in den Antworten analysiert werden. Wenn eine Frage besonders leicht oder besonders schwer war, kann dies rasch herausgefunden werden. Darüber hinaus wird ersichtlich ob Studierende mit einem Nichtgenügend an einer konkreten Frage gescheitert sind, sprich gab es eine sogenannte „Schlüsselfrage“. Die Studierenden erhalten auch detaillierteres Feedback als dies bei einem Prüfungsserver standardmäßig der Fall ist. Studierende bekommen Ihren individuellen Prüfungsbogen und die richtigen Antworten auf OLAT zur Verfügung gestellt. Dies erhöht die Transparenz und verbessert das Feedback zur Leistung.

Die richtige Formulierung von Multiple-Choice Fragen ist essentiell, um eine faire Prüfung zu gestalten. Um die Qualität der Fragen zu garantieren, wurde jede Fragestellung vorab von mindestens zwei externen Studenten/Studentinnen und einer Kollegin gelesen und beantwortet. Dies half uns die Aufgabenstellungen in Bezug auf Verständnis, Klarheit und Fluss zu optimieren. Eine weitere Methode um Fragestellungen zu überprüfen ist ähnliche Fragen in Form von Arsnova Fragen an Studierende der Vorlesung zu präsentieren. Bei 100 bis 200 Testpersonen werden Unklarheiten bzw. Inkonsistenzen mit einer großen Wahrscheinlichkeit erkannt. Wir (die Studienassitent_innen und die Lehrperson) gehen während dieser Testphasen direkt auf Studierende zu und befragen diese zur Klarheit und Verständlichkeit der Fragen.

Die Randomisierung von Fragestellungen hat den Vorteil, dass die Zusammenarbeit von Studierenden während der Klausur minimiert wird und dass vielmehr Verständnis als Auswendiglernen überprüft werden kann. Allerdings birgt die Randomisierung auch eine Herausforderung. Aus 96 Fragestellungen können durch Randomisierung tausende konkrete Fragestellungen abgeleitet werden. Neben der qualitativen Überprüfung von vielen randomisierten Fragen, implementierten wir Bedingungen und interne Tests, um ungünstige Zahlenkombinationen zu vermeiden.

Die Vorlesung hat bis dato einmal in dieser Form stattgefunden. Dies hat uns erlaubt eine Basis an Materialien zu schaffen. Der Foliensatz ist als dynamisches Dokument zu verstehen, wo in jeder Vorlesung, neue und aktuellere Themen behandelt werden. Dies erlaubt dem Anspruch „Relevanz zu demonstrieren“ und „Motivation zu maximieren“ gerecht zu werden. Zudem werden neue Fragen entwickelt und getestet. Auch der bereits bestehende Block an Fragen wird immer wieder einer Qualitätsüberprüfung unterzogen. Ziel dieses permanenten Überarbeitens und Überprüfens ist es einerseits die Qualität der Materialen und der Prüfung konsistent und nachhaltig zu verbessern und andererseits die Lehrperson herauszufordern jedes Jahr über neue Anwendungsbeispiele und Nützlichkeiten verschiedener Statistiken nachzudenken. Es sollte stets der „frische Blick“ auf die Welt der Statistik bewahrt bleiben.

Nutzen und Mehrwert

Studierende entdecken, dass uns Statistik die Beantwortung gesellschaftlich relevanter Fragen ermöglicht. Dies steigert die Motivation und den Lernerfolg der Studierenden im Bezug auf Statistik. Zudem bietet das umfassende Lernmaterial, die Videoaufzeichnungen und die begleitenden Arsnova-Fragen eine Lernerleichterung für Studierende.
Neben den Lehrmaterialien, profitieren Lehrende von der Automatisierung und Qualitätskontrolle in der Prüfungsabwicklung. Ein weiterer Mehrwert für Studierende als auch Lehrende ist die Notwendigkeit der Aktualisierung der Vorlesungsinhalte. Für Studierende bleibt die Vorlesung spannend und aktuell. Lehrende nehmen neue Perspektiven zur Erklärung von Statistikkonzepten ein. Lehrkompetenzen werden somit konsistent erweitert und der „Spaß“ an der Lehre geht nicht verloren.

Nachhaltigkeit

Das hier vorgestellte Konzept kann insbesonders im Rahmen andere Methodenlehrveranstaltungen angewendet werden. Der neue Prüfungsmodus als auch die Darstellung von Methodeninhalten anhand von aktuellen Problemstellungen wird mit jeder Wiederholung der Statistikvorlesung erweitert und verbessert. Zudem wird die Dokumentation des Konzeptes verbessert, um die Übertragbarkeit auf andere Lehrveranstaltungen zu erleichtern.

Akzeptanz

In der Evaluation der LV wurde von Studierenden betont, dass sie vor der Veranstaltung kaum Interesse an Statistik hatten, aber mit der Vorlesung ihr Interesse geweckt wurde. Studierende würden die LV auch anderen Studierenden weiterempfehlen. Der Bezug zur Praxis wurde in der Evaluation ebenfalls gelobt.

Aufwand

Die Planung und Entwicklung des neuen Vorlesungs- und Prüfungskonzeptes hat ca. 300 Arbeitsstunden benötigt. Mit Hilfe von zwei Studentischen Mitarbeitern/studentischen Mitarbeiterinnen konnte die Überprüfung der Qualität der Fragen gewährleistet werden. Wir konnten auch von den Erfahrungen zu Multiple-Choice Fragen anderer Fakultäten lernen. Besonders half uns der Einblick in den Prüfungsablauf der Mathematik Vorlesung von Prof. Achim Zeileis.