Towards scalable data discovery
Fitxers
Títol de la revista
ISSN de la revista
Títol del volum
Col·laborador
Editor
Tribunal avaluador
Realitzat a/amb
Tipus de document
Data publicació
Editor
Condicions d'accés
Llicència
Publicacions relacionades
Datasets relacionats
Projecte CCD
Abstract
We study the problem of discovering joinable datasets at scale. We approach the problem from a learning perspective relying on profiles. These are succinct representations that capture the underlying characteristics of the schemata and data values of datasets, which can be efficiently extracted in a distributed and parallel fashion. Profiles are then compared, to predict the quality of a join operation among a pair of attributes from different datasets. In contrast to the state-of-the-art, we define a novel notion of join quality that relies on a metric considering both the containment and cardinality proportion between join candidate attributes. We implement our approach in a system called NextiaJD, and present experiments to show the predictive performance and computational efficiency of our method. Our experiments show that NextiaJD obtains similar predictive performance to that of hash-based methods, yet we are able to scale-up to larger volumes of data. Also, NextiaJD generates a considerably less amount of false positives, which is a desirable feature at scale.
Descripció
Persones/entitats
Document relacionat
Versió de
Citació
Ajut
Forma part
Dipòsit legal
ISBN
ISSN
Versió de l'editor
Altres identificadors
Referències
Col·leccions
Doctorat en Computació - Ponències/Comunicacions de congressos
inSSIDE - integrated Software, Service, Information and Data Engineering - Ponències/Comunicacions de congressos
Departament d'Enginyeria de Serveis i Sistemes d'Informació - Ponències/Comunicacions de congressos
Doctorat Erasmus Mundus en Tecnologies de la Informació per a la Intel·ligència Empresarial - Ponències/Comunicacions de congressos




