Context

Der Kontext dieser Arbeit ist Wikimedias ORES, ein ML-gestützter Dienst, der Bewertungsinformationen, wie die Qualität eines Items, für Wiki-Beiträge bereitstellt. Dieser Dienst wird genutzt, da in der stetig wachsenden Gemeinschaft jeder ein Item erstellt und editiert werden kann. Für die Redakteure ist es aber nicht möglich in kürzester Zeit die Items manuell auf ihre Qualität zu überprüfen und zu bearbeiten. Über ein Gadget wird für das ausgewählte Item die Qualität mitgeteilt. Das Gadget ist als visuelles Interface zu verstehen.

Problem

Das Problem dabei ist, dass das Gadget nicht aussagekräftig genug ist. Bisher ist es sehr schwer zu verstehen, was die Ausgabe bedeutet und wieso sie getroffen wurde. Einer der Gründe für dieses ungelöste Problem der Interpretierbarkeit ist, dass die Interpretierbarkeit ein sehr subjektives Konzept ist und somit schwer zu formalisieren. Je nach Kontext können verschiedene Arten von Erklärungen nützlich sein.

Objectives

Erklärung ist nicht nur ein Produkt, sondern auch ein Prozess, der eine kognitive Dimension und eine soziale Dimension beinhaltet. Die verbesserte Version des Gadgets mit Post hoc Explanations soll jeden Anwender (experts und non experts) dabei helfen, die Ausgabe und die Gründe für die Entscheidung Qualitätsbewertung zu verstehen, aber auch welche Faktoren die Entscheidung beeinflusst haben.

Possible procedure

Mit Hilfe von User Centred Explanations wird mit einem iterativen Ansatz ein Design für das Gadget entwickelt. Das System wird beim Start einmal die ORES-API abfragen, die Ergebnisse speichern und in Form eines Explanation Interfaces (Gadgets) präsentiert. Als Designansatz werden Explanation Interfaces aus dem Bereich Recommender Systeme mit Human Friendly Explanations für eine bessere Interpretierbarkeit kombiniert. Es ist nicht nur wichtig zu verstehen was das System macht, sondern auch warum.

References

Halfaker, Aaron. "Interpolating quality dynamics in Wikipedia and demonstrating the Keilana effect." Proceedings of the 13th International Symposium on Open Collaboration. 2017.

Halfaker, Aaron, et al. ORES: Facilitating re-mediation of Wikipedia’s socio-technical problems. Working Paper. Wikimedia Research. 2016.

Ribera, Mireia, and Agata Lapedriza. "Can we do better explanations? A proposal of user-centered explainable AI." IUI Workshops. 2019.

Carvalho, Diogo V., Eduardo M. Pereira, and Jaime S. Cardoso. "Machine Learning Interpretability: A Survey on Methods and Metrics." Electronics 8.8 (2019): 832.

Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "" Why should i trust you?" Explaining the predictions of any classifier." Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.