Implementació d’un comparador de preus utilitzant web scraping: comparar és guanyar

Abstract

El projecte es centra en cobrir les majors preocupacions dels usuaris: perdre el temps i els diners. Així neix la idea de crear una plataforma que permet comparar de manera còmoda i senzilla els preus de molts productes publicats a la xarxa.

Concretament, els productes a comparar són frescos del tipus fruites i verdures, aquests productes estan publicats en diferents pàgines webs que disposen de venda en línia. L'origen de les dades obtingudes és tant de grans supermercats com llocs de proximitat, per així també donar visibilitat als venedors que ofereixen productes amb preus més justos pels agricultors. En total s'obtenen més de 2.500 preus de 14 llocs web diferents.

Més tècnicament, per aconseguir recopilar totes les dades s'utilitza la tècnica del web scraping, la qual permet obtenir els preus de manera automatitzada i guardar-los estructurats en una base de dades. Una aplicació web s'encarrega de la visualització i comparació de les dades. La formen dos blocs diferenciats: el frontend i el backend. El primer bloc s'encarrega de l'aparença estètica de la web i d'interactuar amb l'usuari, per així generar peticions contra el backend. El segon s'encarrega de processar totes les peticions i gestionar les consultes a la base de dades.

El proyecto se centra en cubrir las mayores preocupaciones de los usuarios: perder el tiempo y el dinero. De esa idea nace la plataforma que permite comparar sencilla y cómodamente los precios de muchos productos publicados en la red.

Concretamente, los productos a comparar son frescos del tipo frutas y verduras, estos productos están publicados en diferentes páginas webs que disponen de venta online. El origen de los datos obtenidos es des de grandes supermercados hasta sitios de proximidad, para así dar visibilidad a los vendedores que ofrecen productos con precios más justos para los agricultores. En total se obtienen más de 2.500 precios de 14 sitios web diferentes.

Más técnicamente, para conseguir recopilar todos los datos se utiliza la técnica de web scraping, la cual permite obtener los precios de manera automatizada y guardarlos estructurados en una base de datos. Una aplicación web se encarga de la visualización y comparación de los datos. La forman dos bloques, diferenciados: el frontend y el backend. El primer bloque se encarga de l'apariencia estética de la web y de interactuar con el usuario para generar peticiones contra el backend. El segundo bloque se encarga de procesar todas las peticiones y gestionar las consultas a la base de datos.

The aim of this project is focused on covering the need of almost all users: preserve their time and save money. From this necessity, the idea of a plataform that allows to easily compare the prices of many products published on the network was born.

More concretely, the products to be compared are fruits and vegetables, these products are published on different websites that have online shopping. The data is obtained from two diferent type of sources: big supermarkets and also close proximity shops. The main reason to include both types of webs, is to give visibility to sellers who offer products with fairer prices for farmers. In this plataform, there are more than 2,500 prices from 14 different websites.

More technically, the web scraping technique in used to collect all the data, this method allows you to obtain the information automatically and store it in a database. A web application provides the interface to view the results and compare the prices, with two different blocks: the frontend and the backend. The first block is part of the aesthetic appearance of the website and the interaction with the user, it creates the requests against the backend. The second is the part that focouses on the processing of the requests and management of all the queries to the database.