Ein Paper mit dem Titel „Adapting the Segment Anything Model During Usage in Novel Situations“ von Robin Schön, Julian Lorenz, Katja Ludwig und Rainer Lienhart wurde auf dem Workshop für „Efficient Large Vision Models (eLVM)“ akzeptiert. Dieser Workshop findet im Rahmen der CVPR 2024 in Seattle statt. Das Paper stellt eine Methode vor, um das Segment Anything Model (SAM) ohne Zuhilfenahme von zusätzlichen Trainingsdaten zur Testzeit anzupassen. Anstelle dessen werden Information, welche während der Verwendung des Systems anfallen, zur Generierung von Pseudolabels verwendet.

Das Paper "A Review and Efficient Implementation of Scene Graph Generation Metrics" von Julian Lorenz, Robin Schön, Katja Ludwig und Rainer Lienhart wurde beim Workshop on Scene Graphs and Graph Representation Learning auf der CVPR 2024 akzeptiert.

Die Autoren schaffen einen Überblick über existierende Scene Graph Generation Metriken und präsentieren präzise Definitionen, die bisher noch nicht gegeben waren. Außerdem stellen die Autoren ein Pythonpaket vor, dass eine effiziente und leicht zu verwendende Implementierung der eingeführten Metriken bietet. Um Scene Graph Generation Methoden in Zukunft besser vergleichen zu können wird ein Benchmarking-Service eingerichtet, über den neue Methoden leicht verglichen werden können.

Weitere Informationen sind unter https://lorjul.github.io/sgbench/ zu finden.

Lehrstuhl für Maschinelles Lernen und Maschinelles Sehen (Prof. Dr. Rainer Lienhart)

Bewerbungsschluss: 10. Mai 2024

Das Paper mit dem Titel "Towards Learning Monocular 3D Object Localization Using the Physical Laws of Motion" von Daniel Kienzle, Julian Lorenz, Katja Ludwig und Rainer Lienhart wurde auf der Internation Conference on 3D Vision (3DV) 2024 akzeptiert. Das Paper beschreibt eine neue Methode, um Objekten in 3D zu lokalisieren, ohne dass 3D-Grundwahrheiten benötigt werden. Stattdessen wird das Wissen über physikalische Gesetze genutzt, um diese Aufgabe zu lernen.

Weitere Informationen zu diesem Paper sind unter https://kiedani.github.io/3DV2024/ zu finden.

Das Paper „Haystack: A Panoptic Scene Graph Dataset to Evaluate Rare Predicate Classes” von Julian Lorenz, Florian Barthel, Daniel Kienzle und Rainer Lienhart wurde beim First ICCV Workshop on Scene Graphs and Graph Representation Learning (SG2RL) akzeptiert. Die Autoren präsentieren Haystack, einen neuartigen Datensatz für Scene Graph Generation, der entwickelt wurde, um die Schwachstellen der Evaluation mit aktuellen Scene Graph Datensätzen zu verhindern. Insbesondere zeichnet sich Haystack dadurch aus, dass er seltene Prädikatklassen enthält und auch negative Annotationen beinhaltet. Erst durch diese Eigenschaften können seltene Beziehungen zuverlässig evaluiert werden. Mithilfe der besonderen Struktur des Datensatzes sind die Autoren in der Lage, drei neue Metriken zu definieren, die verwendet werden können, um aussagekräftigere Aussagen über die Modellausgaben zu seltenen Prädikaten zu machen.

Weitere Informationen sind unter https://lorjul.github.io/haystack/ zu finden.

Das Paper mit dem Title "Impact of Pseudo Depth on Open World Object Segmentation with Minimal User Guidance" von Robin Schön, Katja Ludwig und Rainer Lienhart wurde auf dem 2nd Workshop on Learning with Limited Labelled Data for Image and Video Understanding at the CVPR 2023 akzeptiert. In diesem Paper untersuchen die Autoren den Effekt von Pseudotiefenkarten auf die Segmentierung von Objekttypen, welche nicht in den Trainingsdaten vorkamen. Die zu segmentierenden Objekte werden mithilfe von Koordinaten auf der Objektoberfläche identifiziert. Um eine Abhängigkeit von Grundwahrheitstiefenkarten zu vermeiden, werden die Tiefenkarten mit Netzen generiert.

Das Paper mit dem Titel "Detecting Arbitrary Keypoints on Limbs and Skis with Sparse Partly Correct Segmentation Masks" von Katja Ludwig, Daniel Kienzle, Julian Lorenz und Rainer Lienhart wurde auf dem Workshop Computer Vision for Winter Sports auf der IEEE/CVF Winter Conference on Applications in Computer Vision (WACV) 2023 akzeptiert. Die Autoren beschreiben in diesem Paper, wie beliebige Punkte auf den Gliedmaßen und den Ski von Skispringern erkannt werden können. Für die vorgestellte Methode ist ein Datensatz ausreichend, der nur wenige Segmentierungsmasken enthält, und diese müssen auch nur teilweise korrekt sein.

Das Paper mit dem Titel "Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation" von Sebastian Scherer, Robin Schön und Rainer Lienhart wurde für die British Machine Vision Conference (BMVC) 2023 akzeptiert. In diesem Paper beschreiben die Autoren eine Methode die es ermöglich, den Bedarf an großen gelabelten Datensätzen zu verringern, indem nicht gelabelte Daten in das Training einbezogen werden. Als Anwendung verwenden die Autoren die menschlicher Posenschätzung sowie die semantische Segmentierung, wobei besonderes letzteres interessant ist, da hier die Annotation von Daten äußerst zeitaufwendig ist.

Daniel Kienzle, Julian Lorenz, Katja Ludwig, Robin Schön und Rainer Lienhart vom Lehrstuhl für Maschinelles Lernen und Maschinelles Sehen haben den ersten Platz in der STOIC-Challenge belegt. Das Ziel des Wettbewerbs war es anhand von CT-Scans vorherzusagen, wie sich der Krankheitsverlauf eines Patienten im nächsten Monat entwickeln würde. Umgesetzt wurde dies mit Hilfe von neuronalen Faltungsnetzen und Transferlernen auf verschiedenen Aufgaben.  Organisiert wurde der Wettbewerb von Assistance Publique – Hôpitaux de Paris, Radboud University Medical Center und Amazon Web Services.

Das Paper mit dem Titel "Uplift and Upsample: Efficient 3D Human Pose Estimation with Uplifting Transformers" von Moritz Einfalt, Katja Ludwig und Rainer Lienhart wurde für die IEEE/CVF Winter Conference on Applications in Computer Vision (WACV) 2023 akzeptiert. In diesem Paper beschreiben die Autoren eine Methode, mit der die Berechnungskomplexität von menschlicher Posenschätzung im 3D Raum mit Transformern erheblich reduziert werde kann. Dennoch können damit weiterhin zeitlich konsistente und präzise 3D Bewegungssequenzen rekonstruiert werden.