Graph Convolutional Networks for context-aware recommender systems

Abstract

With more multimedia content being available than ever, the need of recommender systems is becoming crucial. Recent studies show that including context (such as daytime, last clicked items, weather, etc.) helps in order to give better recommendations. Factorization machines (FM) models [17] are an effective solution for context-aware recommendation tasks. However, FM models are based on the second-order interactions between features, which cause one of its major drawbacks: they cannot capture complex high-order signal interactions. Some work has already been proposed ([8], [9] and [24]) in order to address this problem. Yet, these methods use deep neural networks (DNN) to learn high-order interactions between features, which makes them either too expressive ([8] and [9]) or too computational expensive ([24]). In this work, we propose to capture high-order interactions from the embedding level. We want the feature embedding to encode not only the information from the feature itself but also to aggregate the correlated knowledge from other features. Our approach to do so is by using Graph Convolutional Networks (GCN) instead of the common embedding layer that conforms recommendation models (such as FM). In that way, we will be able to keep the structure of FM models while having the high-order signals automatically contained in the interaction between feature embeddings. Our solution is implemented in Pytorch [11] and it will result in a module, which could be included in any recommender system thus leading to an end-to-end model. We build the work following the next steps: 1. Build Graph Convolutional Network (GCN) model based on the work of [13], and adapt it so that it can output embeddings that contain information not just from the node itself but also form the correlated nodes as well. 2. Extend the work of [3] to context, by considering matrix completion for recommender systems from the point of view of link prediction on graphs. 3. Incorporate the GCN module for recommender systems (unifying the first and the second point) to Factorization Machines (FM) [17] in order to build the desired end-to-end model. Then, FM could be substituted by any other RS model such as [9], [8] or [5], which is also tested in our work. Experiments indicate that context helps models to give better recommendations. Besides, it is shown that the incorporation of GCN allows to outperform the original FM and variations in most of the cases. As future work, we propose some ideas in order to focus on the optimization for specific raking tasks as well as trying different variations of GCN to see whether it can outperform the baseline models in all the cases.

Con la amplia y creciente cantidad de contenido multimedia que hay hoy en d ??a, la necesidad de utilizar sistemas de recomendación se ha vuelto algo esencial. Algunos estudios recientes muestran que la inclusión de contexto (hora del d ??a, últimos clics, clima, etc.) mejora la calidad de las recomendaciones. Las M ?aquinas de Factorización (FM) [17] son una solución efectiva para las tareas de recomendación teniendo en cuenta el contexto. Sin embargo, las FM se basan en las interacciones de segundo orden entre las incrustaciones (embeddings) de caracterí?sticas, lo que origina uno de sus principales problemas: no poder capturar sen ?ales complejas de alto orden entre interacciones. Actualmente existen trabajos ([8], [9] y [24]) que tratan de resolverlo. Sin embargo, su propuesta es usar redes neuronales profundas (DNN) para capturar las interacciones de alto orden entre caracterí?sticas, hecho que les hace ser o demasiado complejos ([8] y [9]) o demasiado costosos computacionalmente ([24]). Proponemos capturar las sen ?ales de interacciones de alto orden desde el nivel de incrustaciones, codificando en estas no solo la información de la propia característica sino también la de otras correlacionadas. Para ello, proponemos las Redes convolucionales de Grafos (GCN) para capturar las sen ?ales de interacciones de alto orden en lugar de utilizar la capa de incrustaciones que encontramos en los modelos de recomendación (FM). De este modo, conseguiremos mantener la estructura simple de los sistemas de recomendación mientras que a la vez tendremos las sen ?ales de alto orden contenidas automáticamente en las incrustaciones de características. Nuestra solución se implementa en Pytorch [11] y llega a ser un módulo que podrá ser incluido en cualquier sistema de recomendación, conformando as ?? un modelo end-to-end de entrenamiento. Para llevar a cabo el trabajo seguimos los siguientes pasos: ? Elaborar un modelo de Red convolucional de Grafos (GCN) basado en el trabajo de [13] y adaptarlo de tal forma que pueda devolver incrustaciones que contengan información no sólo del mismo nodo sino también de aquellos nodos correlacionados. ? Ampliar el trabajo de [3] con la incorporación del contexto, mediante la extensi ?on del algoritmo de completación matricial (matrix completion) para sistemas de recomendación desde el punto de vista de la predicción de enlaces en los grafos. ? Incorporar el m ?odulo GCN (unificación de los dos pasos anteriores) a las M ?aquinas de Factorización (FM) [17] para elaborar un modelo end-to-end. En este punto, las FM podrían ser sustituidas por cualquier otro modelo de sistemas de recomendación como [9], [8] o [5], que también incorporamos en nuestro trabajo. Los experimentos demuestran que el hecho de incorporar el contexto a los datos ayuda a los modelos a mejorar las recomendaciones. Además, se demuestra que la incorporación de GCN a los sistemas de recomendación supera en rendimiento a los modelos de referencia (baseline) en la mayoría de los casos, aunque no en todos ellos aún. Como propuesta de trabajo futuro, planteamos algunas ideas para potenciar la optimización de las tareas enfocadas al ranking de ítems, así como probar diferentes variantes de GCN con el fin de mejorar los resultados de forma consistente.

Amb l'àmplia i creixent quantitat de contingut multimèdia d?avui en dia, la necessitat d?utilitzar sistemes de recomanació s?ha tornat quelcom essencial. Alguns estudis recents mostren que la inclusió de context (hora del dia, útims clics, clima, etc.) millora la qualitat de les recomanacions. Les Màquines de Factorització (FM) [17] són una solució efectiva per a les tasques de recomanació tenint en compte el context. Tanmateix, les FM es basen en les interaccions de segon ordre entre les incrustacions (embeddings) de característiques, fet que origina un dels seus principals problemes: no poder capturar senyals complexes d?alt ordre entre interaccions. Actualment existeixen treballs ([8], [9] i [24]) que adrecen aquest problema. Però, aquests mètodes utilitzen xarxes neuronals profundes (DNN) per capturar les interaccions d?alt ordre entre característiques, fet que els fa ser o bé massa complexes ([8] i [9]), o b é massa costosos computacionalment ([24]). Proposem capturar les interaccions d?alt ordre des del nivell d?incrustacions. Proposem que les incrustacions de caracter ??stiques no codifiquin nom ?es la informació de la pròpia caracter ística sinó que també agreguin coneixement d?altres característiques corralades. Per fer-ho, proposem les Xarxes Convolucionals de Grafs (GCN) en lloc d?utilitzar la capa d?incrustacions que hi trobem als models de recomanaci ?o (com les FM). D?aquesta manera, podem mantenir l?estructura sim- ple dels sistemes de recomanació mentre, a la vegada, tenim els senyals d?alt ordre continguts automàticament en la interacció entre incrustacions de característiques. La nostra solució s?implementa en Pytorch [11] i esdevè un mòdul que podrà ser inclàs en qualsevol sistema de recomanació, conformant així un model end-to-end. Per dur a terme el treball seguim els següents passos: ? Elaborar un model de Xarxa Convolucional de Grafs (GCN) basat en el treball de [13], i adaptar-lo de tal forma que pugui retornar incrustacions que continguin informaci ?o tant del mateix node com tamb ?e d?aquells nodes correlats. ? Ampliar el treball de [3] amb la incorporació del context, mitjançant l?extensió de l?algoritme de completació matricial (matrix completion) per sistemes de recomanaci ?o des del punt de vista de la predicció d?enllaços en els grafs. ? Incorporar el mòdul GCN per a sistemes de recomanació (unificant els dos primers punts) a les Màquines de Factorització (FM) [17] per tal d?elaborar el model end-to-end desitjat. En aquest punt, les FM podrien ser substituïdes per qualsevol altre model de sistemes de recomanació com [9], [8] o [5], que també incorporem en el nostre treball. Els experiments demostren que el fet d?incorporar les dades del context ajuda als models a millorar les recomanacions. A m és a m és, es demostra que la incorporaci ?o de GCN als sistemes de recomanaci ?o millora el rendiment dels models de referència (baseline) en la majoria dels casos, tot i que no en tots encara. Com a proposta de treball futur, plantegem algunes idees per potenciar l?optimització de les tasques enfocades al rànquing d ?ítems. També proposem provar diferents variants de GCN per veure si es poden millorar els resultats de tots els models de recomanació consistentment.