Implementació d'un crawler modular per a cercadors temàtics

Abstract

El objetivo de este proyecto es el diseño e implementación de un crawler capaz de mantener actualizada una fuente de información temática. Un crawler o araña web es un software capaz de rastrear y descargar información de Internet. Esta información es tratada a posteriori por otro sistema que le da un uso. Google diseña e implementa este tipo de software con el fin de abastecer información a su buscador. Shuttle es el sistema propuesto como solución para el mantenimiento y actualización automática de una fuente de información. El Sistema posee herramientas propias por las cuales un usuario avanzado puede diseñar crawlers verticales sin la necesidad de programarlos. Además, si se requiere, puede proveer al sistema de una visión distribuida de los procesos en diferentes equipos.