How2Sign: A large-scale multimodal dataset for continuous American sign language
10.1109/CVPR46437.2021.00276
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/356423
Tipus de documentComunicació de congrés
Data publicació2021
EditorInstitute of Electrical and Electronics Engineers (IEEE)
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
ProjecteCOMPUTACION DE ALTAS PRESTACIONES VII (MINECO-TIN2015-65316-P)
UPC-COMPUTACION DE ALTAS PRESTACIONES VIII (AEI-PID2019-107255GB-C22)
UPC-COMPUTACION DE ALTAS PRESTACIONES VIII (AEI-PID2019-107255GB-C22)
Abstract
One of the factors that have hindered progress in the areas of sign language recognition, translation, and production is the absence of large annotated datasets. Towards this end, we introduce How2Sign, a multimodal and multiview continuous American Sign Language (ASL) dataset, consisting of a parallel corpus of more than 80 hours of sign language videos and a set of corresponding modalities including speech, English transcripts, and depth. A three-hour subset was further recorded in the Panoptic studio enabling detailed 3D pose estimation. To evaluate the potential of How2Sign for real-world impact, we conduct a study with ASL signers and show that synthesized videos using our dataset can indeed be understood. The study further gives insights on challenges that computer vision should address in order to make progress in this field. Dataset website: http://how2sign.github.io/
CitacióCardoso, A. [et al.]. How2Sign: A large-scale multimodal dataset for continuous American sign language. A: IEEE Conference on Computer Vision and Pattern Recognition. "2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition: Virtual, 19-25 June 2021: proceedings". Institute of Electrical and Electronics Engineers (IEEE), 2021, p. 2734-2743. ISBN 978-1-6654-4509-2. DOI 10.1109/CVPR46437.2021.00276.
ISBN978-1-6654-4509-2
Versió de l'editorhttps://ieeexplore-ieee-org.recursos.biblioteca.upc.edu/document/9577749
Col·leccions
- Doctorat en Teoria del Senyal i Comunicacions - Ponències/Comunicacions de congressos [232]
- GPI - Grup de Processament d'Imatge i Vídeo - Ponències/Comunicacions de congressos [317]
- Computer Sciences - Ponències/Comunicacions de congressos [565]
- CAP - Grup de Computació d'Altes Prestacions - Ponències/Comunicacions de congressos [784]
- Departament d'Arquitectura de Computadors - Ponències/Comunicacions de congressos [1.948]
- Departament de Teoria del Senyal i Comunicacions - Ponències/Comunicacions de congressos [3.316]
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
Duarte_How2Sign ... nguage_CVPR_2021_paper.pdf | Main paper | 1,967Mb | Visualitza/Obre | |
Duarte_How2Sign ... CVPR_2021_supplemental.pdf | Supplemental | 1,915Mb | Visualitza/Obre | |
[CVPR'21] How2Sign_Poster.pdf | Poster | 6,225Mb | Visualitza/Obre | |
How2Sign'21-Presentation_lowRes.mp4 | Video | 63,40Mb | MPEG-4 | Visualitza/Obre |