Face model tracking in image sequences

15.06.2010, Abschlussarbeiten, Bachelor- und Masterarbeiten

Die Analyse menschlicher Gesichter um Identität, Blickrichtung oder Mimik zu erkennen, ist im Bereich des Bildverstehens seit vielen Jahren ein intensiv betrachtetes Gebiet. Daher wurde in den letzten Jahren in der Arbeitsgruppe “Intelligente Autonome Systeme” ein System entwickelt, welches die Mimik eines Menschen erkennt und als Kommunikationsmittel in Mensch-Maschine Dialogen (beispielsweise im Umgang mit Haushaltsrobotern) ermöglicht. Es existiert bereits ein umfangreiches Framework, welches ein Gesicht in einem Einzelbild erkennt und ein Gesichtsmodell an das erkannte Gesicht anpasst. In dieser Arbeit soll dieses System so erweitert werden, dass dieses Gesicht in Folgebildern weiter verfolgt werden kann. Dazu stehen innerhalb des Frameworks bereits umfangreiche, technische Hilfsmittel zu verfuegeng, die beispielsweise das Einlesen der Bilder von einer Kamera realisieren oder auch einfache Bildverarbeitungsoperatoren. Interessenten sollten mit der Programmiersprache C++ vertraut sein, Interesse fuer die Bildverarbeitung und maschinelles Lernen mitbringen und grobe Kenntnisse des Betriebssystems Linux haben. The analysis of the human face to determine the person's identity, gaze direction or facial expression is a intensively inspected topic in the research field of computer vision. Therefore, in recent years a system to recognize facial expressions as communication signals in human-machine interaction scenarios (e.g. with household roboters) has been developed. There is already a large framework to locate faces in single images and fit a face model onto them. This work focuses on extending the system to track the face and the face model in subsequent images. Our framework provides a comprehensive selection of tools, for instance to capture images from a camera or apply simple image transformation operators. Applicants should have experience in C++, interest in image understanding and machine learning techniques and basic knowledge about linux.

The analysis of the human face to determine the person's identity, gaze direction or facial expression is a intensively inspected topic in the research field of computer vision. Therefore, in recent years a system to recognize facial expressions as communication signals in human-machine interaction scenarios (e.g. with household roboters) has been developed. There is already a large framework to locate faces in single images and fit a face model onto them.

This work focuses on extending the system to track the face and the face model in subsequent images. Our framework provides a comprehensive selection of tools, for instance to capture images from a camera or apply simple image transformation operators. Applicants should have experience in C++, interest in image understanding and machine learning techniques and basic knowledge about linux.

Die Analyse menschlicher Gesichter um Identität, Blickrichtung oder Mimik zu erkennen, ist im Bereich des Bildverstehens seit vielen Jahren ein intensiv betrachtetes Gebiet. Daher wurde in den letzten Jahren in der Arbeitsgruppe “Intelligente Autonome Systeme” ein System entwickelt, welches die Mimik eines Menschen erkennt und als Kommunikationsmittel in Mensch-Maschine Dialogen (beispielsweise im Umgang mit Haushaltsrobotern) ermöglicht. Es existiert bereits ein umfangreiches Framework, welches ein Gesicht in einem Einzelbild erkennt und ein Gesichtsmodell an das erkannte Gesicht anpasst.

In dieser Arbeit soll dieses System so erweitert werden, dass dieses Gesicht in Folgebildern weiter verfolgt werden kann. Dazu stehen innerhalb des Frameworks bereits umfangreiche, technische Hilfsmittel zu verfuegeng, die beispielsweise das Einlesen der Bilder von einer Kamera realisieren oder auch einfache Bildverarbeitungsoperatoren. Interessenten sollten mit der Programmiersprache C++ vertraut sein, Interesse fuer die Bildverarbeitung und maschinelles Lernen mitbringen und grobe Kenntnisse des Betriebssystems Linux haben.

Kontakt: mayerc@in.tum.de