Tobias Hallmen M.Sc.

Wissenschaftlicher Mitarbeiter
Lehrstuhl für Menschzentrierte Künstliche Intelligenz
Telefon: +49 821 598 2322
Fax: +49 821 598 2349
E-Mail:
Raum: 2016 (N)
Sprechzeiten: Nach Vereinbarung
Adresse: Universitätsstraße 6a, 86159 Augsburg

Forschungsinteressen

Ich führe Gesprächsanalysen multimodal (Audio, Video, Text) mit Hilfe von Methoden aus dem Bereich des maschinellen Lernens und künstlicher Intelligenz (KI) durch. Dabei untersuche ich, ob und wie man mit diesen Methoden verschiedene Gesprächssituationen auswerten und bewerten kann.

Die Gespräche finden im Kontext von Psychotherapiesitzungen (Projekt TherapAI), Humanmediziner- und Lehrerausbildung (Projekt KodiLL) statt. Das Ziel ist es, Zusammenhänge zu finden und diese zu nutzen, um die Qualität dieser Gespräche messbar und (automatisiert) bewertbar zu machen, sowie langfristig zu verbessern. Dies kommt beiden Seiten zu Gute - den Therapeuten/Medizinern/Lehrern sowie den Patienten/Eltern.

So ist es denkbar, dass man gefundene Merkmale nutzt um bei Therapien zu intervenieren, oder in der Ausbildung KI-gestützte Rückmeldungen und Handlungsempfehlungen den Studenten gibt, um zukünftig bessere Gespräche zu führen.

 

Abschlussarbeiten

Hier sind Themen, die ich mir als Abschlussarbeit vorstelle. Bestenfalls werden die Ergebnisse als Modul für Nova implementiert - dadurch ist eine einfache Wiederverwendung gegeben, und man kann die unterschiedlichen Merkmale auf bestehenden Datensätzen einfach in Zusammenhang bringen und Auswerten. Gerne könnt ihr auch eigene thematisch passende Vorschläge einbringen:

  • Sprechereinteilung: Oftmals gibt es keine nach Sprecher getrennten Audioaufnahmen, oder falls doch, hört man auch die anderen Sprecher (leiser) in der eigenen Aufnahme. Dies verfälscht die Zuordnung von audiobasierten Merkmalen, z.B. die Transkription oder Emotionserkennung.
    Bestehende Verfahren nutzen hier rein Audio - hier wäre es denkbar diese Modalität um Video oder Text oder andere abgeleiteten Merkmale (Gesichtspunkte) zu ergänzen und so die Sprechereinteilung zu verbessern.
  • Rezeptionssignale: Während jemand spricht, geben üblicherweise die Zuhörer Rezeptionssignale von sich (ja, mhm, Kopfnicken, usw.). Diese sind Hinweise, ob und wie sehr jemand am Gespräch beteiligt ist. Hier gilt es bestehende Methoden zu implementieren, zu verbessern, und zu evaluieren.
  • Fern-Photoplethysmographie: Üblicherweise tragen die gefilmten Personen keine Sensoren an sich, trotzdem wären einige Werte interessant, bspw. die "Manschettenfreie Blutdruckmessung" über Video um Herzrate und Variabilität zu ermitteln. Diese können Anzeichen für Aufgeregtheit im Gespräch und nützlich für Auswertungen sein.

  • Sprachmodelle als Experte: Können (kleine) Sprachmodelle aufwändige Annotations- und Beurteilungsarbeit Menschen abnehmen, oder mindestens unterstützen? Wegen sensibler Daten müssen diese Modelle lokal ausführbar sein, bestenfalls auf Endverbraucherhartware.

  • Sprachmodelle als Übungspartner: Sprachmodelle werden gerne zur synthetischen Datengenerierung genutzt. Kann man diese auch (lokal) als sinnvollen Übungspartner einsetzen um Elterngespräche auf verschiedenen Schwierigkeitsgraden zu üben?

Publikationsliste

2024 | 2023

2024

Tobias Hallmen, Silvan Mertes, Dominik Schiller and Elisabeth André. in press. An efficient multitask learning architecture for affective vocal burst analysis. DOI: 10.48550/arXiv.2209.13914
BibTeX | RIS | DOI

Dominik Schiller, Tobias Hallmen, Daksitha Withanage Don, Elisabeth André and Tobias Baur. in press. DISCOVER: a Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of human behaviour. DOI: 10.48550/arXiv.2407.13408
BibTeX | RIS | DOI

Moritz Bauermann, Kathrin Gietl, Tobias Hallmen and Karoline Hillesheim. 2024. Förderung der Beratungskompetenz von Studierenden durch simulierte Lernumgebungen und KI-basiertes Feedback: ein Verbundprojekt im Rahmen des interdisziplinären KodiLL Teilprojekts 4 [Poster].
BibTeX | RIS

Brian Schwartz, A. Vehlen, S. T. Eberhardt, Tobias Baur, Dominik Schiller, Tobias Hallmen, Elisabeth André and W. Lutz. in press. Going multimodal and multimethod using different data layers of video recordings to predict outcome in psychological therapy.
BibTeX | RIS | URL

Moritz Bauermann, Kathrin Gietl, Tobias Hallmen and Karoline Hillesheim. 2024. KI in Beratungsgesprächen: Zukunft der Kommunikation [Abstract].
PDF | BibTeX | RIS | URL

Moritz Bauermann, Kathrin Gietl, Karoline Hillesheim, Tobias Hallmen and Andreas Hartinger. 2024. KI-basiertes Feedback für simulierte Elterngespräche: eine qualitative Analyse studentischer Wahrnehmung und Gestaltungsperspektiven – KI-WaGen [Abstract].
PDF | BibTeX | RIS | URL

Brian Schwartz, Tim Kaiser, Steffi Pohl, Steve West, Marie Salditt, Theresa Eckes, Steffen Nestler, Stephan Bartholdy, Eva-Lotta Brakemeier, Christoph Fluckiger, Hansjörg Znoj, Peter Hilpert, Antonia Vehlen, Tobias Baur, Dominik Schiller, Tobias Hallmen, Elisabeth André and Wolfgang Lutz. in press. Neueste Ansätze für die Daten-informierte und personalisierte Psychotherapie.
BibTeX | RIS | URL

Moritz Bauermann, Ann-Kathrin Schindler, Tobias Hallmen, Miriam Kunz, Elisabeth André and Thomas Rotthoff. 2024. Studienprotokoll: "AI Effect – Untersuchung der lernwirksamen Annahme von KI-generierten und durch Avatare vermittelten Feedback und Feedforward zur ärztlichen Kommunikation bei Medizinstudierenden in einer Simulationsumgebung" [Abstract].
PDF | BibTeX | RIS | URL

Daksitha Senel Withanage Don, Dominik Schiller, Tobias Hallmen, Silvan Mertes, Tobias Baur, Florian Lingenfelser, Mitho Müller, Lea Kaubisch, Corinna Reck and Elisabeth André. 2024. Towards automated annotation of infant-caregiver engagement phases with multimodal foundation models. DOI: 10.1145/3678957.3685704
PDF | BibTeX | RIS | DOI

Tobias Hallmen, Fabian Deuser, Norbert Oswald and Elisabeth André. 2024. Unimodal multi-task fusion for emotional mimicry intensity prediction. DOI: 10.1109/cvprw63382.2024.00468
BibTeX | RIS | DOI

Antonia Vehlen, Steffen Eberhardt, Brian Schwartz, Tobias Baur, Dominik Schiller, Tobias Hallmen, Elisabeth André and Wolfgang Lutz. 2024. Verstehst du mich? Die Qualität automatischer Transkriptionen von Therapievideos im Kontext von Emotionsanalysen [Abstract].
BibTeX | RIS | URL

2023

Tobias Hallmen, Silvan Mertes, Dominik Schiller, Florian Lingenfelser and Elisabeth André. 2023. Phoneme-based multi-task assessment of affective vocal bursts. DOI: 10.1007/978-3-031-39059-3_14
BibTeX | RIS | DOI

Pia Schneider, Philipp Reicherts, Gulia Zerbini, Tobias Hallmen, Elisabeth André, Thomas Rotthoff and Miriam Kunz. 2023. Smiling doctor, happy patient: the role of facial expressions in patient-doctor communication [Abstract].
BibTeX | RIS | URL

Projekte

Suche