H3D-Net: Few-shot high-fidelity 3D head reconstruction
Tipus de documentComunicació de congrés
Data publicació2021
EditorComputer Vision Foundation
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
ProjecteAPRENDIZAJE PROFUNDO EFICIENTE PARA SECUENCIAS DE VIDEO Y NUBES DE PUNTOS (AEI-PID2020-117142GB-I00)
Abstract
Recent learning approaches that implicitly represent surface geometry using coordinate-based neural representations have shown impressive results in the problem of multi-view 3D reconstruction. The effectiveness of these techniques is, however, subject to the availability of a large number (several tens) of input views of the scene, and computationally demanding optimizations. In this paper, we tackle these limitations for the specific problem of few-shot full 3D head reconstruction, by endowing coordinate-based representations with a probabilistic shape prior that enables faster convergence and better generalization when using few input images (down to three). First, we learn a shape model of 3D heads from thousands of incomplete raw scans using implicit representations. At test time, we jointly overfit two coordinate-based neural networks to the scene, one modeling the geometry and another estimating the surface radiance, using implicit differentiable rendering. We devise a two-stage optimization strategy in which the learned prior is used to initialize and constrain the geometry during an initial optimization phase. Then, the prior is unfrozen and fine-tuned to the scene. By doing this, we achieve high-fidelity head reconstructions, including hair and shoulders, and with a high level of detail that consistently outperforms both state-of-the-art 3D Morphable Models methods in the few-shot scenario, and non-parametric methods when large sets of views are available.
CitacióRamon, E. [et al.]. H3D-Net: Few-shot high-fidelity 3D head reconstruction. A: IEEE International Conference on Computer Vision. "Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021". Computer Vision Foundation, 2021, p. 5620-5629.
Versió de l'editorhttps://openaccess.thecvf.com/content/ICCV2021/html/Ramon_H3D-Net_Few-Shot_High-Fidelity_3D_Head_Reconstruction_ICCV_2021_paper.html
Altres identificadorshttps://crisalixsa.github.io/h3d-net/
Col·leccions
- IRI - Institut de Robòtica i Informàtica Industrial, CSIC-UPC - Ponències/Comunicacions de congressos [575]
- Doctorat en Teoria del Senyal i Comunicacions - Ponències/Comunicacions de congressos [232]
- GPI - Grup de Processament d'Imatge i Vídeo - Ponències/Comunicacions de congressos [317]
- VIS - Visió Artificial i Sistemes Intel·ligents - Ponències/Comunicacions de congressos [292]
- Departament de Teoria del Senyal i Comunicacions - Ponències/Comunicacions de congressos [3.316]
- ROBiri - Grup de Percepció i Manipulació Robotitzada de l'IRI - Ponències/Comunicacions de congressos [251]
- Doctorat en Automàtica, Robòtica i Visió - Ponències/Comunicacions de congressos [165]
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
Ramon_H3D-Net_F ... uction_ICCV_2021_paper.pdf | Main paper | 6,078Mb | Visualitza/Obre | |
poster-h3ds-iccv-2021.pdf | Poster | 2,208Mb | Visualitza/Obre | |
h3ds-crisalix-iccv-2021.mp4 | Video | 146,5Mb | MPEG-4 | Visualitza/Obre |