Advertisement

Reconstruction 3D robuste du visage: approche duale « mouvement-structure »

  • Laurent Peyronny
  • Valérie Burdin
  • Christian Roux
  • Faouzi Ghorbel
Article
  • 73 Downloads

Abstract

An original approach for three-dimensional reconstruction and animation of human face with a monocular and un-calibrated acquisition system is presented. This method is based on the classical analysis-synthesis scheme. A three-dimensional reconstruction of shape and movement is performed with a combination of two algorithms using the well-known “Zfrom motion” principle. Therefore a pre-processing step is needed to first detect the human face on vidéoconférence sequence. Then, a set of points is tracked with a new hybrid and adaptive block-matching algorithm using the Delaunay tessellation. A local algebraic projective invariant family performs the 3D movement classification to satisfy the 3D synthesis assumptions. Experimental results on synthetic and noisy data set validate the entire approach.

Key words

Image processing Tridimensional image Videophone Image reconstruction Image face 

Robust 3D face reconstruction: A “ movement-structure ” dual approach

Résumé

Cet article présente une approche originale de reconstruction et d’animation tridimensionnelle du visage humain à partir d’une séquence monoculaire et non calibrée d’images. Un processus d’analyse-synthèse de l’information contenue dans les images permet le clonage 2D→3D grâce au fonctionnement combiné de deux algorithmes de reconstruction fondés sur le mouvement (synthèse). Le prétraitement sur les images aboutissant à la mise en correspondance temporelle de points (analyse) est réalisé par un algorithme de d’appariement de blocs utilisant la grille fournie par la triangulation de Delaunay de la première image. La classification du mouvement est ensuite réalisée par l’utilisation d’une famille locale de descripteurs invariants. Quelques résultats expérimentaux validant la démarche employée sont également présentés.

Mots clés

Traitement image Image tridimensionnelle Visiophone Reconstruction image Visage 

Bibliographie

  1. [1]
    Berg (M.), Kreveld (A.), Overmars (M.), Schwartzkopf (O.), Computational Geometry, Algorithms and applications,Springer, 1997.Google Scholar
  2. [2]
    Beymer (D.-J.), Face recognition under varying pose,Massachusetts Institute of Artificial Intelligence, Technical Report n° 1461, December 1993.Google Scholar
  3. [3]
    Bichsel (M.) Human face recognition : From views to models — from models to views,International Workshop on Automatic Face and Gesture Recognition, Zurich (Suisse), 1995.Google Scholar
  4. [4]
    Bourges-Sévenier (M.), Horain (P.), Prêteux (F.), Leray (P.), Recalage d’un modèle générique sur une séquence d’images 2D, Actes 3èmes Journées Compression et REprésentation des Signaux Audiovisuels (CORESA’97), Issy-les-Moulineaux, pp. 163–171, mars 1997.Google Scholar
  5. [5]
    Coelho (C), Heller (A.), Mundy (J.-L.), Forsyth (D.), Zisserman (A.), An experimental evaluation of projective invariants, in « Geometric invariance in computer vision »Chapter 4, J. L. Mundy and A., Zisserman eds.,MIT Press, pp. 87–104, 1992.Google Scholar
  6. [6]
    Davoine (F.),Compression d’images par fractales basée sur la triangulation de Delaunay, Thèse de Doctorat de l’Institut National Polytechnique de Grenoble, décembre 1995.Google Scholar
  7. [7]
    Essa (I.-A.), Darell (T.), Pentland (A.), Tracking facial motion,IEEE Workshop Motion of Nonrigid and Articulated Objects, 1994.Google Scholar
  8. [8]
    Fischler (M.), Bolles (R.C.), Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,Comun. ACM,24, n° 1, pp. 33–44, June 1981.MathSciNetGoogle Scholar
  9. [9]
    Forsyth (D.), Mundy (J.L.), Zisserman (A.), Coelho (C.) et al., Invariant descriptors for 3-D object recognition and pose,Pattern Analysis and Machine Intelligence (PAMI),13, n° 10, pp. 971–989, October 1991.CrossRefGoogle Scholar
  10. [10]
    Galan Ferragut (I.), Détection et suivi du visage et de points dans des séquences d’images,Mastère IIA, ENST de Bretagne — Département ITI, septembre 1998.Google Scholar
  11. [11]
    Huang (T.S.), Lee (C.H.), Motion and structure from orthographic projections,IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI),11, n° 5, pp. 536–540, 1989.CrossRefGoogle Scholar
  12. [12]
    Hoffman (D.D.), Bennet (B.M.), Computation of structure from fixed axis motion: rigid structure,Biological Cybernetics,54, pp. 71–83, 1986.MATHCrossRefMathSciNetGoogle Scholar
  13. [13]
    Liu (Y.), Huang (T.S.),Estimation of rigid body motion using straight line correspondences, further results, Proc. of 8th International Conference on Pattern Recognition (ICPR), pp. 306–307, Paris (France), octobre 1986.Google Scholar
  14. [14]
    Murphy (M.), Sienka (S.), A study of data structures for orthogonal range and nearest neighbour queries in high dimensional spaces,Master Thesis, Dept. of Computer Science — State University of New York, 1996Google Scholar
  15. [15]
    Peyronny (L.), Soligon (O.), Roux (C), Blu (T.), Avaro (O.), How to construct an MPEG-4/ SNHC API : a vidéoconférence application example,Proc. IEEE Image and Multi-Dimensional Signal Processing (IMDSP’98), Alpach (Autriche), July 1998.Google Scholar
  16. [16]
    Prêteux (F.), Malciu (M.), Model-based head tracking and 3D pose estimation,Proceedings SPIE Conference on Mathematical Modelling and Estimation Techniques in Computer Vision, pp. 94–110, San Diego, July 1998.Google Scholar
  17. [17]
    Quan (L.), Invariants of 6 points from 3 uncalibrated images,Proc. of 3rd European Conference on Computer Vision (ECCV), vol. II, pp. 459–470, Springer Verlag, Stockholm, May 1994.Google Scholar
  18. [18]
    Quan (L.), Invariant of six points a projective reconstruction from three uncalibrated images,IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI),17, n° 1, pp.34–36, January 1995.CrossRefGoogle Scholar
  19. [19]
    Reinders (M.-J.-T.), Model adaptation for image coding,PhD thesis Cambridge University, 1986.Google Scholar
  20. [20]
    Mundy (J.), Zissermann (A.),Geometric invariance in computer vision, J.-L. Mundy and A. Zisserman eds., The MIT Press, 1992.Google Scholar
  21. [21]
    Soligon (O.),Modélisation et animation du buste humain pour la compression de séquence d’images visiophoniques, Thèse de l’Université de Rennes I, mai 1998.Google Scholar
  22. [22]
    Soligon (O.), LeMéhauté (A.), Roux (C), Toward 3D model based video coding,Ann. Télécommunic.53, n° 5-6, pp. 229- 241, 1998.Google Scholar
  23. [23]
    Soligon (O.), LeMéhauté (A.), Roux (C), Modélisation et représentation du visage humain et de ses expressions,Reconnaissance de Formes et Intelligence Articielle (RFIA ’98), vol. 1, pp. 199–207, janvier 1998.Google Scholar
  24. [24]
    Tsai (R.Y.), Huang (T.S.),Uniqueness and estimation of 3D motion parameters of rigid bodies with curved surfaces, IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI),6, pp. 13–27, 1984.CrossRefGoogle Scholar
  25. [25]
    Viéville (T.), Luong (Q.T.), Motion of points and lines in the uncalibrated case,Rapport de Recherche RR-2054, INRIA Sophia-Antipolis (France), 1993.Google Scholar
  26. [26]
    Weng (J.), Ahuja (N.), Huang (T.), Matching two perspective views, IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI), 14, n° 8, 1992.Google Scholar
  27. [27]
    Yan (X.), Jia-Xiong (P.), Ming-Yue (D.), Dong-Hui (X.), The unique solution of projective invariants of six points from four uncalibrated images,Pattern Recognition,30, n° 3, pp. 513–517, 1997.CrossRefGoogle Scholar
  28. [28]
    Yenans (B.L.), Huang (T.S.),Determining 3-Dmotion and structure of a rigid object using straight lines correspondences, T.S. Huang eds., Springer Verlag, 1983.Google Scholar

Copyright information

© Springer-Verlag 2000

Authors and Affiliations

  1. 1.école Nationale Supérieure des Télécommunications de Bretagne Département ITI Technopô,le de Brest-IroiseBrest, CedexFrance
  2. 2.Centre d’études et de Recherches en Télécommunications de Tunisie (cert)Tunis, CedexTunisie

Personalised recommendations