Cette section contient des informations et ressources relatives à mes travaux de recherche réalisés de 2003 à 2007 (DEA et thèse de doctorat) au sein de l'équipe TCI de l'IRIT
Le visage joue un rôle prépondérant en langue des signes, notamment par le sens porté par ses expressions. Peu d'études existent sur les expressions faciales en langue des signes ; cela est dû au manque d'outil de description. Ici, il s'est agi de développer des méthodes permettant une description précise des différents mouvements faciaux observables au cours d'une séquence vidéo de langue des signes.
Le formalisme des modèles à apparence active (Active Appearance Models - AAM) est utilisé ici pour modéliser le visage en termes de déplacements d'un certain nombre de points d'intérêt et en termes de variations de texture.
Quand il est associé à une méthode d'optimisation, ce formalisme permet de trouver les coordonnées des points d'intérêt sur un visage. Nous utilisons ici une méthode d'optimisation dite à "composition inverse", qui permet une implémentation efficace et l'obtention résultats précis.
Dans le contexte de la langue des signes, les rotations hors-plan et les occultations manuelles sont fréquentes. Nous avons donc développé une variante robuste des méthods d'optimisation d'AAM qui permet de considérer de amnière automatique une image d'entrée éventuellement bruitée, en considérant le comportement de l'algorithme connu dans le cas non-occulté.
Deux applications ont été développées par la suite :
Les ressources développées sont, dans la mesure du possible, mises ici à disposition sous licence libre.