Forschungs- und praxisnahe Lehre auf den Gebieten Recommender Systems und Multimedia Data Mining

Nähere Beschreibung des Projekts

Ziel des Projektes ist es, Studierenden des Masterstudiums Informatik an der JKU ein möglichst praxisnahes und an aktuellen Forschungsfragen ausgerichtetes Studium der Thematiken Empfehlungssysteme, Analyse multimedialer Daten und maschinelles Lernen zu ermöglichen. Zur Umsetzung des Projektes wurden die zwei Kurse „Learning from user-generated data“ (LUD) und „Multimedia Data Mining“ (MDM) des Informatik-Masterstudiums ausgewählt. Ersteres ist Pflichtfach mit etwa 30 Teilnehmern/Teilnehmerinnen, letzteres Wahlfach mit etwa 20 Teilnehmern/Teilnehmerinnen. Bei beiden Kursen handelt es sich um „kombinierten Lehrveranstaltungen“, d.h. sie beinhalten einen Vorlesungs- und einen Übungsteil.

Das Grundkonzept des Projektes inkludiert, den Vorlesungsteil auf die notwendigen Grundlagen zu reduzieren, dem Übungsteil hingegen verstärkte Bedeutung beizumessen. Im Unterschied zu anderen Kursen bearbeiten die Teilnehmer/-innen im Übungsteil der Kurse LUD und MDM keine bereits seit langem erforschten bzw. auf statische Standarddatensätze zurückgreifenden Aufgabenstellungen, sondern werden in die aktuelle Forschung des Instituts für Computational Perception, insbesondere in das Forschungsfeld des Lehrveranstaltungsleiters, Dr. Markus Schedl, eingebunden.

Konkret besteht der Übungsteil der Kurse aus den folgenden Aufgaben für die Studierenden: (i) selbständiges, jedoch durch den Kursleiter unterstütztes, Einarbeiten in existierende Methoden und Algorithmen zur Lösung der jeweiligen Problemstellung, abhängig vom Kurs, (ii) aufbauend auf dem gewonnenen Wissen, Erarbeitung neuartiger Erweiterungen von bestehenden Methoden, oder Entwicklung kreativer, neuer Ansätze zur Lösung der Problemstellung, (iii) Implementierung und Evaluierung der in (ii) erarbeiteten Methoden und Algorithmen, (iv) Verfassen eines wissenschaftlichen Reports, der die gewählten Methoden, Daten und Validierungsstrategien konzise beschreibt, (v) Präsentation und Diskussion der entwickelten Ansätze und Ergebnisse.

Es konnte festgestellt werden, dass dieser starke Fokus auf den Praxisteil bzw. die starke Anlehnung an das wissenschaftliche Arbeiten in den entsprechenden Teilgebieten der Informatik zu einer Erhöhung der intrinsischen Motivation der Studierenden führt. Eine weitere Steigerung dieser Motivation wird dadurch erreicht, dass den besten Studierenden bzw. Gruppen die Teilnahme an internationalen wissenschaftlichen Wettbewerben ermöglicht wird, sofern die finanziellen Mittel ausreichend sind. Hierfür ist üblicherweise auch das Einreichen eines wissenschaftlichen Papers nötig, welches die Studierenden gemeinsam mit dem Kursleiter verfassen, und welches anschließend durch einen Begutachtungsprozess (im „peer review“ Verfahren) läuft.

In den beiden für das Projekt ausgewählten Kursen, LUD und MDM, bekommen die Teilnehmer/-innen seit 2017 (LUD) bzw. 2015 (MDM) die Möglichkeit, auf praxisnahe Weise die aktuelle Forschung auf den Gebieten Empfehlungssysteme und multimediales Data Mining kennenzulernen und auch selbst voranzubringen. Sie erarbeiten im Rahmen dieser Kurse, nach einer Einführung in die Theorie, selbstorganisiert in Gruppen, jedoch unter kontinuierlicher Unterstützung durch den Kursleiters, neuartige Lösungsansätze für Problemstellungen in den oben genannten Gebieten. Dies führt zur Freisetzung von enormem kreativem Potenzial und zu einer hohen Motivation seitens der Studierenden.

Konkret bestand die Aufgabe im Kurs LUD im Sommersemester 2017 in der Erarbeitung von Algorithmen für ein Empfehlungssystem, welches Job-Annoncen an Arbeitssuchende empfiehlt. Die Arbeit wurde in Teams durchgeführt, wobei jedes aus 3-4 Studierenden bestand. Jedes Team bekam die Möglichkeit, an der RecSys Challenge 2017 teilzunehmen, die im Rahmen der bedeutendsten Konferenz auf dem Forschungsgebiet der Empfehlungssysteme (ACM Recommender Systems) veranstaltet wird. Zwei der vier Teams schafften es in die Finalrunde des Wettbewerbs, in welcher eine Online-Evaluierung der eingereichten Algorithmen am Produktivsystem von XING durchgeführt wurde. XING ist ein soziales Netzwerk für berufliche Vernetzung und Mitorganisator der Challenge.

Im Kurs MDM, in dem das Projekt bereits seit 2015 umgesetzt wird, arbeiten Teams aus 2-4 Studierenden an aktuellen Fragestellungen auf dem Gebiet der Multimediaanalyse. Seitdem wurden Lösungen für folgende Aufgabenstellungen im Rahmen der MediaEval Benchmarking Initiative for Multimedia Evaluation erarbeitet: inhaltsbasierte Emotionserkennung in Musik („Emotion in Music Task“), Lokalisierung von Bildern und Videos („Placing Task: Multimodal geo-location prediction“) und Klassifikation von Musik in Genres („AcousticBrainz Genre Task: Content-based music genre recognition from multiple sources“). Im Sommersemester 2017 nahm ein Team des MDM Kurses am „AcousticBrainz Genre Task“ teil und gewann. Der Ansatz des Gewinnerteams basiert auf einem Deep Learning Klassifikator, führte zu einer Publikation [Koutini et al., 2017] und wurde im Rahmen des MediaEval Workshops 2017 durch ein Teammitglied präsentiert.

Das Projekt wird aufgrund des großen Erfolges 2018 in beiden Kursen fortgeführt. Im Übungsteil des LUD Kurses steht dieses Sommersemester die Problemstellung im Mittelpunkt, zu einer gegebenen Musikwiedergabeliste beliebiger Länge passende Musikstücke zu deren Ergänzung zu empfehlen („automatic playlist continuation“). Die Aufgaben des MDM Kurs orientieren sich dieses Sommersemester an den Tasks von MediaEval 2018.

Das Projekt führte bis dato zu folgenden begutachteten, akzeptierten und veröffentlichten Publikationen:

[Koutini et al., 2017]: Koutini, K., Imenina, A., Dorfer, M., Gruber, A.R., and Schedl, M. MediaEval 2017 AcousticBrainz Genre Task: Multilayer Perceptron Approach, Working Notes Proceedings of MediaEval 2017: Multimedia Benchmark Workshop, Dublin, Ireland, September 2017.

[Mayr et al., 2015]: Mayr, M., Hintersteiner, T., Weingartner, M., Schröckeneder, F., Knees, P., and Schedl, M. JKU-Satellite at Media Eval 2015: An Intuitive Approach to Locate Single Pictures Within a Session, Working Notes Proceedings of MediaEval 2015: Multimedia Benchmark Workshop, Wurzen, Germany, September 2015.

[Weber et al., 2015]: Weber, M., Krismayer, T., Wöß, J., Aigmüller, L., Birnzain, P., Schedl, M., and Knees, P. MediaEval 2015: JKU-Tinnitus Approach to Emotion in Music Task, Working Notes Proceedings of MediaEval 2015: Multimedia Benchmark Workshop, Wurzen, Germany, September 2015.