Das Schlüsselkonzept von PANORAMA ist „nutzeradaptive Künstliche Intelligenz (KI) im Kontext von Mensch-Computer Interaktion“.

Zunächst werden wir Nutzeradaptivität anhand von kommunikativen Agenten untersuchen, die gewisse Formen menschlicher Intelligenz verkörpern. Wenn Menschen miteinander reden, passen sie ihre verbalen und nichtverbalen Verhaltensweisen kontinuierlich aneinander an. Daher stellt Nutzeradaptivität eine wichtige Voraussetzung dar, um die Mensch-Maschine Interaktion zu verbessern. Der kommunikative Stil ist von Kultur zu Kultur unterschiedlich, und eine Anpassung des Agenten an die betreffende Kultur ist für eine Systemlokalisierung erforderlich. PANORAMA wird sich dieser Herausforderung durch den Einsatz von Methoden des maschinellen Lernens annehmen.

Allerdings werden enorme Mengen an annotierten Daten mit menschlichem Kommunikationsverhalten benötigt, um entsprechende Modelle zu trainieren. Wir werden dieses Problem mildern, in dem wir die Annotationsarbeit zwischen Mensch und Maschine aufteilen. D.h. der Mensch hat die Möglichkeit, vom System vorhergesagte Label in einem interaktiven Prozess – falls notwendig - zu korrigieren, wobei Methoden der erklärbaren KI zum Einsatz kommen, um die maschinellen Lernprozesse transparenter zu gestalten. Die nutzeradaptive KI erleichtert zum einen den Aufbau eines multimodalen Korpus, zum anderen trägt sie zur Verbesserung der Mensch-Maschine Interaktion bei.

Die nutzeradaptive KI wird durch psychologische Theorien untermauert, wobei Nutzermotivation anhand eines relevanten Use Case untersucht werden wird (personalisiertes motivierendes Coaching bei körperlichen Aktivitäten).

Zusammengefasst werden in PANORAMA mit dem Fokus auf Nutzeradaptivität die Grundlagen für eine neue Generation von lernbasierten kommunikativen Agenten mit kultureller Sensitivität vorangetrieben.

PANORAMA strebt folgende Forschungsziele an: (1) die (Weiter-)entwicklung eines nutzeradaptiven multimodalen Annotationswerkzeuges basierend auf XAI Techniken (2) die Verwendung dieses Werkzeuges, um annotierte multimodale Korpora in drei Ländern (Frankreich, Deutschland und Japan) zu sammeln (3) die Entwicklung von Modellen und Methoden für kommunikative Agenten mit mehrstufigen Anpassungsfähigkeiten, wobei sowohl die nicht-verbalen Signale des Agenten als auch der übertragende Inhalt des Dialogs adaptiert werden (3) der Einsatz von Multitask und Transfer Learning Techniken, um Modelle ausgehend von den in (2) gesammelten kulturspezifischen Korpora zu lernen und um den Agenten an die unterschiedlichen Kulturen anzupassen und (5) die Entwicklung einer Designgrundlage für adaptive KI Systeme, die durch psychologische Theorien und empirische Studien geerdet sind.

• Weitz, K., Vanderlyn, L., Thang, V., André, E. (2021) . ​``It's our fault!'': Insights unto Users' Understanding and Interaction with an Explanatory Collaborative Dialog Setting. In Proceedings of the 25th Conference on Computational Natural Language Learning