Promotionsthema

Methoden zum Entfernen von Verzerrungen und Diskriminierungen in Learning-Analytics-Modellen

Leitung: Prof. Dr. Eirini Ntoutsi und Prof. Dr. Gunnar Friege

Datengesteuerte Entscheidungsfindung, die heutzutage hauptsächlich durch maschinelles Lernen und (viele) Daten unterstützt wird, birgt das Risiko einer Diskriminierung, wie sich bereits bei einer Vielzahl von Anwendungen bei Suchmaschinen, zielgruppenspezifischer Werbung und Gesichtserkennungssystemem gezeigt hat. In diesem Projekt betrachten wir als Voreingenommenheit “die Neigung oder das Vorurteil gegenüber einer Entscheidung, die von einem datengesteuerten Entscheidungssystem getroffen wurde, das für oder gegen eine Person oder Gruppe ist, insbesondere in einer Weise, die als ungerecht angesehen wird”. Voreingenommenheit und Diskriminierung sind alte Probleme, und “es ist die menschliche Natur für die Mitglieder der dominanten Mehrheit die Erfahrungen anderer Gruppen nicht zu berücksichtigen”¹. Datengesteuerte Entscheidungsfindung kann jedoch solche bereits bestehenden Verzerrungen vergrößern und sogar neue Arten von Verzerrungen erzeugen, die zu Verstärkung von Diskriminierungen führen. Die Domäne des fairnessbewussten maschinellen Lernens befasst sich mit den Themen Fairness und Diskriminierung beim maschinellen Lernen [1]. Insbesondere wurden Methoden vorgeschlagen, die auf das  Verständnis der Verzerrung von Daten und/oder Modellergebnissen fokussieren, Verzerrungen in verschiedenen Phasen der Datenanalyse-Pipeline von Trainingsdaten bis zum Lernlgorithmen oder Modellierungsergebnissen abschwächen oder Verzerrungen durch verzerrungsbewusste Datenerfassung, Erläuterung der Modellergebnisse etc. berücksichtigen.

In diesem Projekt werden wir uns auf Fragen der Verzerrung und Diskriminierung in der Learning-Analytics konzentrieren. Es handelt sich um einen Bereich, der in letzter Zeit Aufmerksamkeit erregt hat², da die prädiktive Modellierung in verschiedenen Lernbereichen, vom traditionellen Unterricht im Klassenzimmer bis zum MOOC eingesetzt wurde. Beispielsweise analysierte [7] MOOC-Daten und zeigte, dass die Modelldiskriminierung mit dem Ungleichgewicht zwischen den Geschlechtern des Kurses, dem Curriculum und dem einzelnen Kurs selbst zusammenhängt. In diesem Projekt werden wir uns insbesondere dem STEM-Bereich und hauptsächlich mit Daten aus dem Bereich Physik beschäftigen.

Zu den besonderen Zielen des Projekts gehören:

• Verstehen der Quellen von Verzerrungen im Bereich der Learning-Analytics, insbesondere soziotechnische Quellen der Voreingenommenheit. Beispielsweise werden Systeme zur  Datenerfassung von Menschen geschaffen und deren Vorurteile gleich welcher Art könnten sich in solchen Systeme wiederfinden und in den Daten widergespiegelt werden.

• Verstehen, wie sich Verzerrungen in den Daten manifestieren, z.B. durch sensible Merkmale und deren beiläufigen Einflüsse sowie durch Unter-/Überrepräsentation von bestimmten Gruppen.

• Messung der Diskriminierung in Daten/Modellergebnissen. Die Formalisierung von Fairness ist eine schwierige Aufgabe und dies spiegelt sich auch in der Vielfalt der Fairnessdefinitionen wider, die im Laufe der Jahre vorgeschlagen wurden. Allein im Bereich der Informatik gibt es mehr als 20 verschiedene Definitionen von Fairness [2] von statistischer Parität, über Chancengleichheit, ausgeglichene Quoten und kontrafaktische Fairness, um nur die beliebtesten zu nennen. Wir werden den Nutzen dieser Maßnahmen für Learning-Analytics- Settings untersuchen.

• Abschwächung von Verzerrungen: Wir werden verschiedene Ansätze zur Beseitigung von Verzerrungen untersuchen von Eingriffen bei den Eingabedaten (die sogenannten Pre-Processing-Ansätze, z.B. [3]), durch  Optimierung der Lernalgorithmen (die so genannten In-Processing-Ansätze, z.B. [5]) und durch Interventionen an den Modell-Outputs (die so genannten Post-Processing-Ansätze, z.B, 4]) sowie hybride Ansätze, die Verzerrungen in der gesamten Datenanalyse-Pipeline bekämpfen (z.B. [6]). Die meisten der vorgeschlagenen Ansätze konzentrieren sich auf voll überwachte Lern-Szenarien, je nach den  Herausforderungen der Data für den Bereich der Learning-Analytics werden wir auch Ansätze für unbeaufsichtigtes und halbbeaufsichtigtes Lernen untersuchen.

• Objektive und umfassende Bewertung der vorgeschlagenen Methoden Im Learning-Analytics Kontext, insbesondere bei Daten aus dem Bereich Physik und dem STEM-Bereich.  Insbesondere sind wir nicht nur an einer einmaligen Bewertung interessiert, sondern vielmehr an der Untersuchung langfristiger Auswirkungen von fairnessbewussten Interventionen bei einzelnen Schüler*innen und Klassen.

¹ Fei-Fei Li, Chef-Wissenschaftlerin für KI bei Google und Professorin in Stanford, http://fortune.com/longform/ai-Voreingenommenheitsproblem/.

² Ignorieren Sie nicht die Ethik der Learning-Analytics, https://wonkhe.com/blogs/dont-ignore-the-ethics-of-learning-analytics/

Literatur

1. Ntoutsi et al, “Bias in Data-driven AI-systems – An Introductory Survey”, WIREs Data Mining and Knowledge Discovery (accepted 31/12/2019)
2. Verma, S., & Rubin, J. (2018). “Fairness definitions explained”. In Fairware@ICSE (pp. 1–7). ACM
3. Luong, B. T., Ruggieri, S., & Turini, F.  (2011). “k-NN as an implementation of situation testing for discrimination discovery and prevention”.  In KDD (pp. 502–510). ACM.
4. Hardt, M., Price, E., & Srebro, N.  (2016). “Equality of opportunity in supervised learning”. In NIPS (pp. 3315–3323).
5. Zafar, M. B., Valera, I., Gomez-Rodriguez, M., & Gummadi, K. P.  (2017). “Fairness beyond disparate treatment & disparate impact: Learning classification without disparate mistreatment”.  In WWW (pp. 1171–1180). ACM.
6. Iosifidis, V., & Ntoutsi, E. (2019). AdaFair: Cumulative Fairness Adaptive Boosting. In CIKM. ACM
7. Gardner   et al, Evaluating the Fairness of Predictive Student Models Through Slicing Analysis, 2019, https://dl.acm.org/citation.cfm?id=3303791