Departament de Ciències de la Computació
http://hdl.handle.net/2117/96422
2024-03-28T08:14:29ZAssessing biases through mosaic attributions
http://hdl.handle.net/2117/405130
Assessing biases through mosaic attributions
Arias Duart, Anna
(English) Machine learning and, more specifically, deep learning applications have grown in number in recent years. These intelligent systems have shown remarkable performance across various domains, including sensitive areas like medicine and justice. Nevertheless, these models remain opaque, and we need a complete understanding of their internal process. Therefore, the deployment of these black box models can pose risks. Firstly, it might not comply with the current legislation. Secondly, it may lead to severe consequences. Let us consider a scenario in which a model used in a medical application is gender-biased, yielding distinct predictions depending on a person's gender. This fact would perpetuate discrimination against certain parts of the population and exacerbate existing inequalities.
To better understand the model's behaviour, enabling the detection and mitigation of potential biases and ultimately achieving more trustworthy models, the eXplainable AI (XAI) field is an active research domain which is growing and receiving increasing attention. Various approaches have been proposed in the literature. Nevertheless, the most widely used are the post-hoc methods. These approaches can be applied once the model is trained, thus preserving the model's original performance. By employing these post-hoc explainability methods to gain insights into the model and identify biases within the datasets and models, we realized that two other biases arise: XAI and human biases.
While different XAI methods exist, assessing their faithfulness becomes challenging due to the absence of a ground truth determining what the correct explanation is. The uncertainty regarding whether the explanation accurately reflects the model's behaviour can lead to what we refer to as XAI biases. Is the model biased or is it the explainability method that fails to reflect the model's behaviour?
Human bias is another of the biases that emerge when applying these explainability methods. How we show these explanations to humans can be misleading or lead to incorrect conclusions. This can be due to confirmation or automation biases. In addition, when domain experts are asked to review all the explanations, the process can be time-consuming and may lead experts to overlook potential biases in the data and models.
The main goal of this thesis is to mitigate the influence of these two new sources of biases (i.e., XAI and human) when explainability is used to detect biases in datasets and models. First, we focus on mitigating XAI biases. To do so, we propose a methodology to assess the reliability of XAI methods. Although our primary goal was to use this methodology within the computer vision discipline, we also demonstrated its applicability in other domains, such as the natural language processing field. After selecting the most reliable XAI method according to our proposed approach, we focus on mitigating human biases. With this objective in mind, we present potential methodologies to semi-automate the detection of data/model biases, thereby reducing the noise introduced by humans. Adopting this approach limits the domain expert's intervention to the final step, in which experts assess whether the biases found are harmful or harmless.; (Català) El camp de l'aprenentatge automàtic i, més concretament, el de l'aprenentatge profund han anat creixent en els últims anys. Aquests sistemes intel·ligents han demostrat un rendiment extraordinari en diversos àmbits, incloent-hi àrees sensibles com la medicina i la justícia. No obstant això, aquests models continuen sent opacs, no tenim una comprensió completa del seu procés intern. Per tant, el desplegament d'aquests models, que també s'anomenen models de caixa negra, pot plantejar nombrosos riscos. En primer lloc, podria no complir la legislació actual. En segon lloc, podria tenir conseqüències greus. Considerem un escenari en el qual un model utilitzat en una aplicació mèdica que presenta biaix de gènere, produeix prediccions diferents depenent del gènere de la persona. Aquest fet perpetuaria la discriminació contra determinades parts de la població i exacerbaria les desigualtats existents.
Per entendre millor el comportament del model i així, permetre la detecció i la mitigació de biaixos i aconseguir models més fiables, sorgeix el camp de la IA eXplicable (en anglés, XAI). Es tracta d'un domini actiu de recerca que està creixent i rebent cada vegada més atenció. Tot i que en la literatura s'han proposat diversos enfocaments, els més utilitzats són els mètodes post-hoc. Aquestes tècniques es poden aplicar una vegada que el model està entrenat, preservant així el rendiment original del model. Utilitzant aquests mètodes d'explicabilitat post-hoc per obtenir informació sobre el model i identificar biaixos dins dels conjunts de dades i models, ens vam adonar que sorgeixen uns altres dos biaixos: biaixos de l'explicabilitat i biaixos humans.
Tot i que existeixen diferents mètodes d'explicabilitat, el fet d'avaluar-ne la fidelitat esdevé un repte a causa de l'absència d'una veritat fonamental que determine quina és l'explicació correcta. La incertesa sobre si l'explicació reflecteix amb precisió el comportament del model pot conduir al que anomenem biaixos XAI. El model està esbiaixat o és el mètode d'explicabilitat que no reflecteix el comportament del model?
El biaix humà és un altre dels biaixos que sorgeixen quan s'apliquen aquests mètodes d'explicabilitat. La manera en què mostrem aquestes explicacions als humans pot portar a conclusions enganyoses. D'una banda, això pot ser degut a biaixos de confirmació o automatització. D'altra banda, quan es demana als professionals del domini que revisen totes les explicacions, aquest procés pot demanar molt de temps i fer-los passar per alt els possibles biaixos en les dades i els models.
L'objectiu principal d'aquesta tesi és mitigar la influència d'aquestes dues noves fonts de biaixos (XAI i humans) quan s'utilitza l'explicabilitat per detectar biaixos en conjunts de dades i models. En primer lloc, ens centrem a mitigar els biaixos XAI. Per a això, proposem una metodologia per avaluar la fiabilitat dels mètodes d'explicabilitat. Tot i que el nostre objectiu principal era utilitzar aquesta metodologia dins de la disciplina de la visió per ordinador, també en demostrem l'aplicabilitat en altres àmbits, com el camp del processament del llenguatge natural. Després de seleccionar el mètode d'explicabilitat més fiable segons la tècnica proposada, ens centrem a mitigar els biaixos humans. Amb aquest objectiu a la ment, presentem metodologies per semiautomatitzar la detecció de biaixos en les dades i el model, i reduir així el soroll introduït pels humans. L'adopció d'aquest enfocament limita la intervenció experta solament al pas final, en què s'avalua si els biaixos trobats són perjudicials o inofensius.
"Tesi amb menció de Doctorat Internacional i de Doctorat Industrial (Generalitat de Catalunya) "
2024-03-21T19:33:00ZArias Duart, Anna(English) Machine learning and, more specifically, deep learning applications have grown in number in recent years. These intelligent systems have shown remarkable performance across various domains, including sensitive areas like medicine and justice. Nevertheless, these models remain opaque, and we need a complete understanding of their internal process. Therefore, the deployment of these black box models can pose risks. Firstly, it might not comply with the current legislation. Secondly, it may lead to severe consequences. Let us consider a scenario in which a model used in a medical application is gender-biased, yielding distinct predictions depending on a person's gender. This fact would perpetuate discrimination against certain parts of the population and exacerbate existing inequalities.
To better understand the model's behaviour, enabling the detection and mitigation of potential biases and ultimately achieving more trustworthy models, the eXplainable AI (XAI) field is an active research domain which is growing and receiving increasing attention. Various approaches have been proposed in the literature. Nevertheless, the most widely used are the post-hoc methods. These approaches can be applied once the model is trained, thus preserving the model's original performance. By employing these post-hoc explainability methods to gain insights into the model and identify biases within the datasets and models, we realized that two other biases arise: XAI and human biases.
While different XAI methods exist, assessing their faithfulness becomes challenging due to the absence of a ground truth determining what the correct explanation is. The uncertainty regarding whether the explanation accurately reflects the model's behaviour can lead to what we refer to as XAI biases. Is the model biased or is it the explainability method that fails to reflect the model's behaviour?
Human bias is another of the biases that emerge when applying these explainability methods. How we show these explanations to humans can be misleading or lead to incorrect conclusions. This can be due to confirmation or automation biases. In addition, when domain experts are asked to review all the explanations, the process can be time-consuming and may lead experts to overlook potential biases in the data and models.
The main goal of this thesis is to mitigate the influence of these two new sources of biases (i.e., XAI and human) when explainability is used to detect biases in datasets and models. First, we focus on mitigating XAI biases. To do so, we propose a methodology to assess the reliability of XAI methods. Although our primary goal was to use this methodology within the computer vision discipline, we also demonstrated its applicability in other domains, such as the natural language processing field. After selecting the most reliable XAI method according to our proposed approach, we focus on mitigating human biases. With this objective in mind, we present potential methodologies to semi-automate the detection of data/model biases, thereby reducing the noise introduced by humans. Adopting this approach limits the domain expert's intervention to the final step, in which experts assess whether the biases found are harmful or harmless.
(Català) El camp de l'aprenentatge automàtic i, més concretament, el de l'aprenentatge profund han anat creixent en els últims anys. Aquests sistemes intel·ligents han demostrat un rendiment extraordinari en diversos àmbits, incloent-hi àrees sensibles com la medicina i la justícia. No obstant això, aquests models continuen sent opacs, no tenim una comprensió completa del seu procés intern. Per tant, el desplegament d'aquests models, que també s'anomenen models de caixa negra, pot plantejar nombrosos riscos. En primer lloc, podria no complir la legislació actual. En segon lloc, podria tenir conseqüències greus. Considerem un escenari en el qual un model utilitzat en una aplicació mèdica que presenta biaix de gènere, produeix prediccions diferents depenent del gènere de la persona. Aquest fet perpetuaria la discriminació contra determinades parts de la població i exacerbaria les desigualtats existents.
Per entendre millor el comportament del model i així, permetre la detecció i la mitigació de biaixos i aconseguir models més fiables, sorgeix el camp de la IA eXplicable (en anglés, XAI). Es tracta d'un domini actiu de recerca que està creixent i rebent cada vegada més atenció. Tot i que en la literatura s'han proposat diversos enfocaments, els més utilitzats són els mètodes post-hoc. Aquestes tècniques es poden aplicar una vegada que el model està entrenat, preservant així el rendiment original del model. Utilitzant aquests mètodes d'explicabilitat post-hoc per obtenir informació sobre el model i identificar biaixos dins dels conjunts de dades i models, ens vam adonar que sorgeixen uns altres dos biaixos: biaixos de l'explicabilitat i biaixos humans.
Tot i que existeixen diferents mètodes d'explicabilitat, el fet d'avaluar-ne la fidelitat esdevé un repte a causa de l'absència d'una veritat fonamental que determine quina és l'explicació correcta. La incertesa sobre si l'explicació reflecteix amb precisió el comportament del model pot conduir al que anomenem biaixos XAI. El model està esbiaixat o és el mètode d'explicabilitat que no reflecteix el comportament del model?
El biaix humà és un altre dels biaixos que sorgeixen quan s'apliquen aquests mètodes d'explicabilitat. La manera en què mostrem aquestes explicacions als humans pot portar a conclusions enganyoses. D'una banda, això pot ser degut a biaixos de confirmació o automatització. D'altra banda, quan es demana als professionals del domini que revisen totes les explicacions, aquest procés pot demanar molt de temps i fer-los passar per alt els possibles biaixos en les dades i els models.
L'objectiu principal d'aquesta tesi és mitigar la influència d'aquestes dues noves fonts de biaixos (XAI i humans) quan s'utilitza l'explicabilitat per detectar biaixos en conjunts de dades i models. En primer lloc, ens centrem a mitigar els biaixos XAI. Per a això, proposem una metodologia per avaluar la fiabilitat dels mètodes d'explicabilitat. Tot i que el nostre objectiu principal era utilitzar aquesta metodologia dins de la disciplina de la visió per ordinador, també en demostrem l'aplicabilitat en altres àmbits, com el camp del processament del llenguatge natural. Després de seleccionar el mètode d'explicabilitat més fiable segons la tècnica proposada, ens centrem a mitigar els biaixos humans. Amb aquest objectiu a la ment, presentem metodologies per semiautomatitzar la detecció de biaixos en les dades i el model, i reduir així el soroll introduït pels humans. L'adopció d'aquest enfocament limita la intervenció experta solament al pas final, en què s'avalua si els biaixos trobats són perjudicials o inofensius.A methodology for the automation of building intelligent process control systems
http://hdl.handle.net/2117/404784
A methodology for the automation of building intelligent process control systems
Pascual Pañach, Josep
(English) One of the major problems to design and implement control and supervision systems for real-world processes lies in the need to stablish an ad-hoc solution for each process, i.e., environmental systems in this thesis, more precisely Waste Water Treatment Plants (WWTPs). Despite WWTPs have similarities to some extent, they have particular characteristics that must be considered in the process control system design. This fact involves considerable amounts of time and resources from design stages to maintenance, including implementation and start-up stages.
This thesis proposes an Intelligent Decision Support (IDS) methodology based on the interoperation of a data-driven technique –Cas e Bas ed Reas oning (CBR)– and a model-driven technique –Rule Bas ed Reas oning (RBR)– for control, supervision and decision support of real-world processes. Design stage of control and decision support tools tends to be somehow ad-hoc regarding to the nature of the processes involved. Hence, an automated approach is proposed for the sake of scalability to different types and configurations. The proposed hybrid scheme provides complementarity in the set-point generation for the process controllers, increasing the reliability of the Intelligent Process Control System (IPCS), which is the core component of the IDSS. The IDSS is flexible to allow coping with the evolution of dynamic systems, learning from recorded situations, through a new temporal reasoning approach. Furthermore, some innovative data imputation techniques are proposed for managing the missing values appearing in a complex process. The approach presented has been implemented in different real facilities in the Barcelona area (Catalonia, Spain).; (Català) Un dels principals problemes alhora de dissenyar i implementar un sistema de supervisió i control per a un procés radica en la necessitat d’establir una solució ad-hoc per a cada instal·lació – Estacions Depuradores d’Aigües Residuals (EDAR) en el context d’aquesta tesi. Malgrat les similituds entre totes les plantes , hi ha característiques particulars de cada sistema que cal tenir en compte en el procés de disseny del sistema de control. Aquest fet implica importants quantitats de temps i recursos destinats tant al disseny com a la implementació, posada en marxa i manteniment de la solució proposada. Aquesta tesi proposa una metodologia per generar un sistema intel·ligent de suport a la decisió basat en la interoperació de tècniques basades en dades –Raonament Basat en Cas os (CBR)– i en models –Raonament Basat en Regles (RBR)– per al control, supervisió i suport a la decisió de sistemes mediambientals . El disseny d’eines per al control i la supervisió sol implicar solucions fetes a mida en funció de la naturalesa dels processos considerats en cada cas. Per a això, es proposa una solució que permet automatitzar aquest disseny i escalar-lo a diferents tipus de processos i configuracions. Així, es proposa una solució híbrida que proporciona redundància en la generació de consignes per al procés, augmentant així la fiabilitat del Sistema Intel·ligent de Control (IPCS, en angles), nucli del Sistema Intel·ligent de Suport a la Decisió (IDSS, en anglès ). Addicionalment, es tracta d’una solució flexible capaç d’aprendre de les experiències enregistrades, mitjançant una aproximació de raonament temporal. A més a més, es proposen algunes tècniques innovadores d’imputació de dades mancants que apareixen en un procés complex. La metodologia es materialitza en una eina instal·lada i testejada en diferents instal·lacions reals ubicades a la zona de Barcelona.
Tesi amb menció de Doctorat Industrial (Generalitat de Catalunya)
2024-03-17T19:32:02ZPascual Pañach, Josep(English) One of the major problems to design and implement control and supervision systems for real-world processes lies in the need to stablish an ad-hoc solution for each process, i.e., environmental systems in this thesis, more precisely Waste Water Treatment Plants (WWTPs). Despite WWTPs have similarities to some extent, they have particular characteristics that must be considered in the process control system design. This fact involves considerable amounts of time and resources from design stages to maintenance, including implementation and start-up stages.
This thesis proposes an Intelligent Decision Support (IDS) methodology based on the interoperation of a data-driven technique –Cas e Bas ed Reas oning (CBR)– and a model-driven technique –Rule Bas ed Reas oning (RBR)– for control, supervision and decision support of real-world processes. Design stage of control and decision support tools tends to be somehow ad-hoc regarding to the nature of the processes involved. Hence, an automated approach is proposed for the sake of scalability to different types and configurations. The proposed hybrid scheme provides complementarity in the set-point generation for the process controllers, increasing the reliability of the Intelligent Process Control System (IPCS), which is the core component of the IDSS. The IDSS is flexible to allow coping with the evolution of dynamic systems, learning from recorded situations, through a new temporal reasoning approach. Furthermore, some innovative data imputation techniques are proposed for managing the missing values appearing in a complex process. The approach presented has been implemented in different real facilities in the Barcelona area (Catalonia, Spain).
(Català) Un dels principals problemes alhora de dissenyar i implementar un sistema de supervisió i control per a un procés radica en la necessitat d’establir una solució ad-hoc per a cada instal·lació – Estacions Depuradores d’Aigües Residuals (EDAR) en el context d’aquesta tesi. Malgrat les similituds entre totes les plantes , hi ha característiques particulars de cada sistema que cal tenir en compte en el procés de disseny del sistema de control. Aquest fet implica importants quantitats de temps i recursos destinats tant al disseny com a la implementació, posada en marxa i manteniment de la solució proposada. Aquesta tesi proposa una metodologia per generar un sistema intel·ligent de suport a la decisió basat en la interoperació de tècniques basades en dades –Raonament Basat en Cas os (CBR)– i en models –Raonament Basat en Regles (RBR)– per al control, supervisió i suport a la decisió de sistemes mediambientals . El disseny d’eines per al control i la supervisió sol implicar solucions fetes a mida en funció de la naturalesa dels processos considerats en cada cas. Per a això, es proposa una solució que permet automatitzar aquest disseny i escalar-lo a diferents tipus de processos i configuracions. Així, es proposa una solució híbrida que proporciona redundància en la generació de consignes per al procés, augmentant així la fiabilitat del Sistema Intel·ligent de Control (IPCS, en angles), nucli del Sistema Intel·ligent de Suport a la Decisió (IDSS, en anglès ). Addicionalment, es tracta d’una solució flexible capaç d’aprendre de les experiències enregistrades, mitjançant una aproximació de raonament temporal. A més a més, es proposen algunes tècniques innovadores d’imputació de dades mancants que apareixen en un procés complex. La metodologia es materialitza en una eina instal·lada i testejada en diferents instal·lacions reals ubicades a la zona de Barcelona.Specification, estimation and monitoring of quality-related software strategic indicators in agile software development
http://hdl.handle.net/2117/402144
Specification, estimation and monitoring of quality-related software strategic indicators in agile software development
Manzano Aguilar, Martí
(English) In line with the current trend of exploiting corporative data, software companies, especially those using Agile and Rapid software development, are challenged to improve the quality of their products, their profitability and efficiency by exploiting the large amount of data related to their software processes and products from the use of their corporate tools (e.g., continuous inspection tools, continuous integration tools, project management tools, and issue trackers).
Although such data exploitation has shown to be beneficial for supporting decision-making processes, the evidence shows that existing support is mostly related to operational decisions, letting aside the support for strategic decision making. Operational decisions are simple routine decisions linked to the effective and efficient execution of the daily operations within the company (e.g., test specification and implementation, bug tracking, version control, etc...). Strategic decisions refer to complex, non-routine decisions related to business goals and objectives.
The main problems that endanger the task of supporting strategic decision making through data exploitation are: a) the lack of approaches that help software companies to specify their own software strategic indicators (SSI). SSIs refer to measurable aspects (e.g., software quality, on-time delivery) that a software company considers important for their strategic decision-making processes, b) the inherent complexity of estimating SSIs, and c) the need of supporting the operationalization of the specification and estimation of SSIs by enabling their monitoring.
This PhD thesis aims to overcome these problems by:
- Devising a novel method called SESSI (Specification and Estimation of Software Strategic Indicators) that provides support for operationalizing the specification, estimation, and monitoring of SSIs in software companies. The method was conceived under design science and action-research principles in the context of the industrial partners of the Q-Rapids European project and applied to quality-related SSIs.
- Presenting how the use of the SESSI method and associated software supporting artifacts have shown promising results to enable an SSI monitoring infrastructure according to the needs and resources of a software company.
Additionally, this thesis explores the potential use of the resulting monitoring infrastructure and other related outputs from the SESSI method for enabling advanced decision-making support. In particular, a solution for forecasting the values of SSIs based on the SESSI method was applied in a software development company with positive results.
The results of this thesis aim to advance the state of the art on approaches to support evidence-based strategic decision making, in software companies using agile and rapid software development. The developed software support artifacts have been released as open source and can be reused and/or adapted by other software companies or researchers.; (Català) En línia amb la tendència actual d'explotació de dades corporatives, les empreses software, especialment les que utilitzen el desenvolupament software àgil i ràpid, tenen el repte d’aconseguir millores sobre la qualitat dels seus productes, així com la seva rendibilitat i eficiència mitjançant l'explotació de la gran quantitat de dades relacionades amb els seus processos i productes software provinents de les seves eines corporatives (per exemple, eines d'inspecció contínua, eines d'integració contínua, eines de gestió de projectes i eines de gestió d’errors).
Tot i que aquesta explotació de dades ha demostrat ser beneficiosa per donar suport als processos de presa de decisions, l'evidència mostra que el suport existent està principalment relacionat amb les decisions operatives, deixant de banda el suport per a la presa de decisions estratègiques. Les decisions operatives són simples decisions rutinàries vinculades a l'execució eficaç i eficient de les operacions diàries dins de l'empresa (per exemple, especificació i implementació de proves, seguiment d'errors, control de versions, etc.). Les decisions estratègiques es refereixen a decisions complexes i no rutinàries relacionades amb les metes i objectius empresarials.
Els principals problemes que dificulten la tasca de suport a la presa de decisions estratègiques mitjançant l’explotació de dades són: a) la manca de propostes que donin suport a les empreses software a especificar els seus propis indicadors estratègics software (SSI). Els SSI fan referència a aspectes mesurables (per exemple, qualitat del software, lliurament puntual) que una empresa software considera importants per als seus processos de presa de decisions estratègiques, b) la complexitat inherent de l’estimació dels SSI, i c) la necessitat de donar suport a la operacionalització de l’especificació i l’estimació dels SSIs per tal d'habilitar el seu monitoratge.
Aquesta tesi doctoral pretén superar aquests problemes mitjançant:
- El disseny d'un nou mètode anomenat SESSI (Especificació i Estimació d'Indicadors Estratègics Software) que ofereix suport per l'especificació, avaluació i seguiment dels SSI a empreses software. El mètode va ser concebut sota els principis de design-science i action-research en el context dels socis industrials del projecte europeu Q-Rapids i aplicat sobre SSIs relacionats amb la qualitat.
- La presentació de com l'ús del mètode SESSI i els artefactes de suport software associats han mostrat resultats prometedors per habilitar una infraestructura de monitoratge de SSIs d'acord amb les necessitats i recursos d'una empresa software.
Addicionalment, aquesta tesi explora l'ús potencial de la infraestructura de monitoratge resultant i altres sortides relacionades del mètode SESSI per donar suport avançat a la presa de decisions. Específicament, es va disenyar i aplicar una solució per predir els valors dels SSI basats en el mètode SESSI en una empresa software amb resultats positius.
Els resultats d'aquesta tesi tenen com a objectiu avançar l'estat de l'art quant a les solucions per donar suport a la presa de decisions estratègiques basades en evidències, en empreses software que utilitzen desenvolupament àgil i ràpid. Els artefactes software desenvolupats han estat alliberats com a codi obert i poden ser reutilitzats i/o adaptats per altres companyies software o investigadors.
2024-02-19T08:52:58ZManzano Aguilar, Martí(English) In line with the current trend of exploiting corporative data, software companies, especially those using Agile and Rapid software development, are challenged to improve the quality of their products, their profitability and efficiency by exploiting the large amount of data related to their software processes and products from the use of their corporate tools (e.g., continuous inspection tools, continuous integration tools, project management tools, and issue trackers).
Although such data exploitation has shown to be beneficial for supporting decision-making processes, the evidence shows that existing support is mostly related to operational decisions, letting aside the support for strategic decision making. Operational decisions are simple routine decisions linked to the effective and efficient execution of the daily operations within the company (e.g., test specification and implementation, bug tracking, version control, etc...). Strategic decisions refer to complex, non-routine decisions related to business goals and objectives.
The main problems that endanger the task of supporting strategic decision making through data exploitation are: a) the lack of approaches that help software companies to specify their own software strategic indicators (SSI). SSIs refer to measurable aspects (e.g., software quality, on-time delivery) that a software company considers important for their strategic decision-making processes, b) the inherent complexity of estimating SSIs, and c) the need of supporting the operationalization of the specification and estimation of SSIs by enabling their monitoring.
This PhD thesis aims to overcome these problems by:
- Devising a novel method called SESSI (Specification and Estimation of Software Strategic Indicators) that provides support for operationalizing the specification, estimation, and monitoring of SSIs in software companies. The method was conceived under design science and action-research principles in the context of the industrial partners of the Q-Rapids European project and applied to quality-related SSIs.
- Presenting how the use of the SESSI method and associated software supporting artifacts have shown promising results to enable an SSI monitoring infrastructure according to the needs and resources of a software company.
Additionally, this thesis explores the potential use of the resulting monitoring infrastructure and other related outputs from the SESSI method for enabling advanced decision-making support. In particular, a solution for forecasting the values of SSIs based on the SESSI method was applied in a software development company with positive results.
The results of this thesis aim to advance the state of the art on approaches to support evidence-based strategic decision making, in software companies using agile and rapid software development. The developed software support artifacts have been released as open source and can be reused and/or adapted by other software companies or researchers.
(Català) En línia amb la tendència actual d'explotació de dades corporatives, les empreses software, especialment les que utilitzen el desenvolupament software àgil i ràpid, tenen el repte d’aconseguir millores sobre la qualitat dels seus productes, així com la seva rendibilitat i eficiència mitjançant l'explotació de la gran quantitat de dades relacionades amb els seus processos i productes software provinents de les seves eines corporatives (per exemple, eines d'inspecció contínua, eines d'integració contínua, eines de gestió de projectes i eines de gestió d’errors).
Tot i que aquesta explotació de dades ha demostrat ser beneficiosa per donar suport als processos de presa de decisions, l'evidència mostra que el suport existent està principalment relacionat amb les decisions operatives, deixant de banda el suport per a la presa de decisions estratègiques. Les decisions operatives són simples decisions rutinàries vinculades a l'execució eficaç i eficient de les operacions diàries dins de l'empresa (per exemple, especificació i implementació de proves, seguiment d'errors, control de versions, etc.). Les decisions estratègiques es refereixen a decisions complexes i no rutinàries relacionades amb les metes i objectius empresarials.
Els principals problemes que dificulten la tasca de suport a la presa de decisions estratègiques mitjançant l’explotació de dades són: a) la manca de propostes que donin suport a les empreses software a especificar els seus propis indicadors estratègics software (SSI). Els SSI fan referència a aspectes mesurables (per exemple, qualitat del software, lliurament puntual) que una empresa software considera importants per als seus processos de presa de decisions estratègiques, b) la complexitat inherent de l’estimació dels SSI, i c) la necessitat de donar suport a la operacionalització de l’especificació i l’estimació dels SSIs per tal d'habilitar el seu monitoratge.
Aquesta tesi doctoral pretén superar aquests problemes mitjançant:
- El disseny d'un nou mètode anomenat SESSI (Especificació i Estimació d'Indicadors Estratègics Software) que ofereix suport per l'especificació, avaluació i seguiment dels SSI a empreses software. El mètode va ser concebut sota els principis de design-science i action-research en el context dels socis industrials del projecte europeu Q-Rapids i aplicat sobre SSIs relacionats amb la qualitat.
- La presentació de com l'ús del mètode SESSI i els artefactes de suport software associats han mostrat resultats prometedors per habilitar una infraestructura de monitoratge de SSIs d'acord amb les necessitats i recursos d'una empresa software.
Addicionalment, aquesta tesi explora l'ús potencial de la infraestructura de monitoratge resultant i altres sortides relacionades del mètode SESSI per donar suport avançat a la presa de decisions. Específicament, es va disenyar i aplicar una solució per predir els valors dels SSI basats en el mètode SESSI en una empresa software amb resultats positius.
Els resultats d'aquesta tesi tenen com a objectiu avançar l'estat de l'art quant a les solucions per donar suport a la presa de decisions estratègiques basades en evidències, en empreses software que utilitzen desenvolupament àgil i ràpid. Els artefactes software desenvolupats han estat alliberats com a codi obert i poden ser reutilitzats i/o adaptats per altres companyies software o investigadors.Causal discovery and prediction: methods and algorithms
http://hdl.handle.net/2117/401549
Causal discovery and prediction: methods and algorithms
Blondel, Gilles
(English) This thesis focuses on the discovery of causal relations and on the prediction of causal effects. Regarding causal discovery, this thesis introduces a novel and generic method to learn causal graphs by performing a sequence of interventions, where each intervention is applied on a single value of the intervened variables, while minimizing the overall cost of the sequence of intervened and observed variables during the discovery process. Regarding causal effect prediction, this thesis introduces a comprehensive causal reasoning method for models recurrent in time. In this thesis, all causal models are assumed to contain hidden confounders that have an influence on observed variables in the causal model, except when explicitly referring to causal models without hidden confounders as a sub-case. Also all variables are assumed to be in a finite domain.
Contributions to the Discovery of Causal Relations
Our method for the discovery of causal relations introduces several novelties. Firstly, we use interventions on a single value of the intervened variables. All previous methods require interventions on several values of the intervened variables in order to measure correlation or conditional independence among variables. By seeing do-calculus as a tool to predict systematically and numerically the effect of all the interventions that are possible, without having to actually perform them, we have moved the search space out of the real world, and eliminated the need for systematic correlation and independence testing in the real world. We assume that computational cost is not a concern, if we compare it with the cost of actually experimenting in the real world. Secondly, we accept any set of candidate graphs as input to our method. Previous knowledge may or may not be in the form of an equivalence class of graphs, and the set of candidate graphs may or may not have any particular parametrical characteristic. Some candidate graphs may have been discarded previously based on analyzing the available observational data, however no algorithm based on observational data only can identify the true graph of a causal model. As such, our method accepts any set of causal graph candidates, with the only assumption that the true graph, the solution to the problem, is included in the set of candidates. Thirdly, all causal graphs are assumed to contain hidden confounders, whereas most previous work focused on causal graphs without
hidden confounders.
Contributions to the Prediction of Causal Effects
The second subject of this thesis is causal prediction. The thesis focus is on dynamic causal reasoning: given the formal description of a dynamic causal system and a set of assumptions, we propose methods to evaluate the modified trajectory of the system over time, after an experiment or intervention. We assume that the observation time-scale is sufficiently small compared to the system dynamics, and that the causal model includes both the non-equilibrium causal relations and those under equilibrium states. We assume that a stable set of causal dependencies exist which generate the system evolution along time. Our proposed algorithms take such models as an input and predict their evolution over time, after an intervention. We also introduce transportability algorithms in the dynamic setting, where causal knowledge in source time-recurrent domains may be used for prediction in target time-recurrent domains.; (Español) Esta tesis estudia el aprendizaje de relaciones causales y la predicción de efectos causales. En cuanto al aprendizaje de relaciones causales, esta tesis presenta un método novedoso y genérico para aprender grafos causales mediante la realización de una secuencia de intervenciones, donde cada intervención se aplica sobre un único valor de las variables intervenidas, minimizando el coste total de la secuencia de variables intervenidas y observadas durante el proceso de aprendizaje. En cuanto a la predicción de efectos causales, esta tesis introduce un método de razonamiento causal para modelos recurrentes en el tiempo. En esta tesis, asumimos que los modelos causales contienen variables ocultas que tienen influencia sobre las variables observadas del modelo, excepto cuando se hace referencia explícita a modelos causales sin variables ocultas como subcaso. También asumimos que todas las variables están en un dominio finito.
Contribución al aprendizaje de relaciones causales
Nuestro método para el aprendizaje de relaciones causales introduce varias novedades. En primer lugar, utilizamos intervenciones sobre un único valor de las variables intervenidas. Todos los métodos anteriores requieren intervenciones sobre varios valores de las variables intervenidas para medir la correlación o la independencia condicional entre variables. Al utilizar el do-calculus como una herramienta para predecir sistemática y numéricamente el efecto de todas las intervenciones que son posibles, sin tener que realizarlas en la realidad, trasladamos el espacio de búsqueda fuera del mundo real y eliminamos la necesidad de correlación sistemática y pruebas de independencia condicional en el mundo real. Asumimos que disponemos de recursos computacionales ilimitados, y que disponer de ellos es preferible al costo de experimentar en el mundo real. En segundo lugar, aceptamos cualquier conjunto de grafos candidatos. El conocimiento previo de algunas partes del modelo puede tener o no la forma de una clase de grafos de equivalencia, y el conjunto de grafos candidatos puede tener o no alguna característica paramétrica particular. Es posible que algunos grafos candidatos se hayan descartado previamente en función del análisis de los datos observacionales disponibles; sin embargo, ningún algoritmo basado solo en datos observacionales puede identificar el grafo completo de un modelo causal. Como tal, nuestro método acepta cualquier conjunto de candidatos de gráfos causales, con la única suposición de que el grafo verdadero, la solución al problema, está incluido en el conjunto de candidatos. En tercer lugar, asumimos que todos los grafos causales contienen variables ocultas, mientras que la mayoría de los trabajos anteriores se centran en grafos causales sin variables ocultas.
Contribución a la predicción de efectos causales
El segundo tema central de esta tesis es la predicción causal. El enfoque de la tesis es el razonamiento causal dinámico: dada la descripción formal de un sistema causal dinámico en el tiempo, proponemos métodos para evaluar la trayectoria modificada del sistema a lo largo del tiempo, después de un experimento o intervención. Suponemos que la escala de tiempo de observación es lo suficientemente pequeña en comparación con la dinámica del sistema, y que el modelo causal incluye tanto las relaciones causales de no equilibrio como aquellas en estados de equilibrio. Suponemos que existe un conjunto estable de dependencias causales que generan la evolución del sistema a lo largo del tiempo. Nuestros algoritmos se basan en estos modelos y predicen su evolución en el tiempo, después de una intervención. También presentamos algoritmos de transportabilidad en el entorno dinámico, donde el conocimiento experimental en dominios recurrentes en el tiempo se puede usar para la predicción en los otros dominios recurrentes en el tiempo que tengan las mismas relaciones causales.
2024-02-08T19:32:52ZBlondel, Gilles(English) This thesis focuses on the discovery of causal relations and on the prediction of causal effects. Regarding causal discovery, this thesis introduces a novel and generic method to learn causal graphs by performing a sequence of interventions, where each intervention is applied on a single value of the intervened variables, while minimizing the overall cost of the sequence of intervened and observed variables during the discovery process. Regarding causal effect prediction, this thesis introduces a comprehensive causal reasoning method for models recurrent in time. In this thesis, all causal models are assumed to contain hidden confounders that have an influence on observed variables in the causal model, except when explicitly referring to causal models without hidden confounders as a sub-case. Also all variables are assumed to be in a finite domain.
Contributions to the Discovery of Causal Relations
Our method for the discovery of causal relations introduces several novelties. Firstly, we use interventions on a single value of the intervened variables. All previous methods require interventions on several values of the intervened variables in order to measure correlation or conditional independence among variables. By seeing do-calculus as a tool to predict systematically and numerically the effect of all the interventions that are possible, without having to actually perform them, we have moved the search space out of the real world, and eliminated the need for systematic correlation and independence testing in the real world. We assume that computational cost is not a concern, if we compare it with the cost of actually experimenting in the real world. Secondly, we accept any set of candidate graphs as input to our method. Previous knowledge may or may not be in the form of an equivalence class of graphs, and the set of candidate graphs may or may not have any particular parametrical characteristic. Some candidate graphs may have been discarded previously based on analyzing the available observational data, however no algorithm based on observational data only can identify the true graph of a causal model. As such, our method accepts any set of causal graph candidates, with the only assumption that the true graph, the solution to the problem, is included in the set of candidates. Thirdly, all causal graphs are assumed to contain hidden confounders, whereas most previous work focused on causal graphs without
hidden confounders.
Contributions to the Prediction of Causal Effects
The second subject of this thesis is causal prediction. The thesis focus is on dynamic causal reasoning: given the formal description of a dynamic causal system and a set of assumptions, we propose methods to evaluate the modified trajectory of the system over time, after an experiment or intervention. We assume that the observation time-scale is sufficiently small compared to the system dynamics, and that the causal model includes both the non-equilibrium causal relations and those under equilibrium states. We assume that a stable set of causal dependencies exist which generate the system evolution along time. Our proposed algorithms take such models as an input and predict their evolution over time, after an intervention. We also introduce transportability algorithms in the dynamic setting, where causal knowledge in source time-recurrent domains may be used for prediction in target time-recurrent domains.
(Español) Esta tesis estudia el aprendizaje de relaciones causales y la predicción de efectos causales. En cuanto al aprendizaje de relaciones causales, esta tesis presenta un método novedoso y genérico para aprender grafos causales mediante la realización de una secuencia de intervenciones, donde cada intervención se aplica sobre un único valor de las variables intervenidas, minimizando el coste total de la secuencia de variables intervenidas y observadas durante el proceso de aprendizaje. En cuanto a la predicción de efectos causales, esta tesis introduce un método de razonamiento causal para modelos recurrentes en el tiempo. En esta tesis, asumimos que los modelos causales contienen variables ocultas que tienen influencia sobre las variables observadas del modelo, excepto cuando se hace referencia explícita a modelos causales sin variables ocultas como subcaso. También asumimos que todas las variables están en un dominio finito.
Contribución al aprendizaje de relaciones causales
Nuestro método para el aprendizaje de relaciones causales introduce varias novedades. En primer lugar, utilizamos intervenciones sobre un único valor de las variables intervenidas. Todos los métodos anteriores requieren intervenciones sobre varios valores de las variables intervenidas para medir la correlación o la independencia condicional entre variables. Al utilizar el do-calculus como una herramienta para predecir sistemática y numéricamente el efecto de todas las intervenciones que son posibles, sin tener que realizarlas en la realidad, trasladamos el espacio de búsqueda fuera del mundo real y eliminamos la necesidad de correlación sistemática y pruebas de independencia condicional en el mundo real. Asumimos que disponemos de recursos computacionales ilimitados, y que disponer de ellos es preferible al costo de experimentar en el mundo real. En segundo lugar, aceptamos cualquier conjunto de grafos candidatos. El conocimiento previo de algunas partes del modelo puede tener o no la forma de una clase de grafos de equivalencia, y el conjunto de grafos candidatos puede tener o no alguna característica paramétrica particular. Es posible que algunos grafos candidatos se hayan descartado previamente en función del análisis de los datos observacionales disponibles; sin embargo, ningún algoritmo basado solo en datos observacionales puede identificar el grafo completo de un modelo causal. Como tal, nuestro método acepta cualquier conjunto de candidatos de gráfos causales, con la única suposición de que el grafo verdadero, la solución al problema, está incluido en el conjunto de candidatos. En tercer lugar, asumimos que todos los grafos causales contienen variables ocultas, mientras que la mayoría de los trabajos anteriores se centran en grafos causales sin variables ocultas.
Contribución a la predicción de efectos causales
El segundo tema central de esta tesis es la predicción causal. El enfoque de la tesis es el razonamiento causal dinámico: dada la descripción formal de un sistema causal dinámico en el tiempo, proponemos métodos para evaluar la trayectoria modificada del sistema a lo largo del tiempo, después de un experimento o intervención. Suponemos que la escala de tiempo de observación es lo suficientemente pequeña en comparación con la dinámica del sistema, y que el modelo causal incluye tanto las relaciones causales de no equilibrio como aquellas en estados de equilibrio. Suponemos que existe un conjunto estable de dependencias causales que generan la evolución del sistema a lo largo del tiempo. Nuestros algoritmos se basan en estos modelos y predicen su evolución en el tiempo, después de una intervención. También presentamos algoritmos de transportabilidad en el entorno dinámico, donde el conocimiento experimental en dominios recurrentes en el tiempo se puede usar para la predicción en los otros dominios recurrentes en el tiempo que tengan las mismas relaciones causales.Construction and technological development of immersive virtual reality for pain therapy
http://hdl.handle.net/2117/400822
Construction and technological development of immersive virtual reality for pain therapy
Álvarez de la Campa Crespo, Mercè
(English) Virtual reality (VR) allows not only to easily change the perceived scenario but also to control several factors associated with the sense of being in an embodied virtual avatar that would not be achievable in physical reality. The study of internal body representation through embodiment in a virtual avatar has enabled the study of several aspects, including brain representation of the body and its plasticity, the study and implementation of brain computer interfaces for interacting with the virtual body and the virtual world, physical and cognitive rehabilitation for the study and treatment of pain, and psychological and behavioral rehabilitation.
We have focused on the use of virtual reality as an alternative rehabilitation therapy, particularly in the field of chronic pain, since we believe it has the potential to benefit a significant number of people in today's society.
We carried out a series of virtual experiments in the fields of psychotherapy and physical rehabilitation in which the experience of embodiment was found to be an important factor in the efficiency of the virtual reality tool in treating specific disorders. On patients with chronic pain, we examine how diverse elements such as the embodiment and presence impact the application's effectiveness to not only reduce but also modulate pain, that is, modifying the onset of pain in patients.
In parallel to the experiment design and implementation, we worked on technical aspects of the applications, such as the development of an automatic pipeline that allows us to obtain personalized look-alike avatars, where we found that the virtual avatar's clothing is an important aspect of patient self-identification. In addition to recording and implementing physical rehabilitation exercises through motion capture to increase the realism of the applications and consequently their effectiveness.; (Català) La realitat virtual (VR) no només permet canviar fàcilment l'escenari percebut, sinó també controlar diversos factors associats amb la sensació de ser en un avatar virtual encarnat que no seria possible en la realitat física. L'estudi de la representació interna del cos a través de l'encarnació en un avatar virtual ha permès l'estudi de diversos aspectes, com la representació cerebral del cos i la seva plasticitat, l'estudi i la implementació d'interfaces cervell-ordinador per interactuar amb el cos virtual i el món virtual, la rehabilitació física i cognitiva per a l'estudi i el tractament del dolor, i la rehabilitació psicològica i conductual.
Ens hem centrat en l'ús de la realitat virtual com a teràpia de rehabilitació alternativa, especialment en el camp del dolor crònic, ja que creiem que té el potencial de beneficiar un nombre significatiu de persones en la societat actual.
Hem realitzat una sèrie d'experiments virtuals en els camps de la psicoteràpia i la rehabilitació física en els quals es va descobrir que l'experiència d'encarnació era un factor important en l'eficàcia de l'eina de realitat virtual en el tractament de trastorns específics. En pacients amb dolor crònic, examinem com diversos elements com l'encarnació i la presència impacten l'efectivitat de l'aplicació no només per reduir, sinó també per modular l'aparició del dolor en els pacients.
En paral·lel al disseny i la implementació d'experiments, hem treballat en aspectes tècnics de les aplicacions, com el desenvolupament d'un pipeline automàtic que ens permet obtenir avatars semblants a l'usuari, on vam descobrir que la roba de l'avatar virtual és un aspecte important de l’auto-identificació del pacient. A més de gravar i implementar exercicis de rehabilitació física a través de la captura de moviment per augmentar el realisme de les aplicacions i, per tant, la seva eficàcia.; (Español) La realidad virtual (VR) permite no solo cambiar fácilmente el escenario percibido, sino también controlar varios factores asociados con la sensación de estar en un avatar virtual encarnado que no sería posible en la realidad física. El estudio de la representación interna del cuerpo a través de la encarnación en un avatar virtual ha permitido el estudio de varios aspectos, incluida la representación cerebral del cuerpo y su plasticidad, el estudio y la implementación de interfaces cerebro-computadora para interactuar con el cuerpo virtual y el mundo virtual, la rehabilitación física y cognitiva para el estudio y tratamiento del dolor, y la rehabilitación psicológica y conductual.
Nos hemos centrado en el uso de la realidad virtual como terapia de rehabilitación alternativa, especialmente en el campo del dolor crónico, ya que creemos que tiene el potencial de beneficiar a un número significativo de personas en la sociedad actual.
Realizamos una serie de experimentos virtuales en los campos de la psicoterapia y la rehabilitación física en los que se encontró que la experiencia de la encarnación era un factor importante en la eficacia de la herramienta de realidad virtual en el tratamiento de trastornos específicos. En pacientes con dolor crónico, examinamos cómo diversos elementos como la encarnación y la presencia impactan la efectividad de la aplicación para no solo reducir, sino también modular el inicio del dolor en los pacientes.
En paralelo al diseño e implementación de los experimentos, trabajamos en aspectos técnicos de las aplicaciones, como el desarrollo de un pipeline automático que nos permite obtener avatares personalizados parecidos a la apariencia del paciente, donde encontramos que la ropa del avatar virtual es un aspecto importante de la auto-identificación del paciente. Además de grabar e implementar ejercicios de rehabilitación física a través de la captura de movimiento para aumentar la realismo de las aplicaciones y, en consecuencia, su efectividad.
Tesi amb menció de Doctorat Industrial
2024-02-01T19:33:23ZÁlvarez de la Campa Crespo, Mercè(English) Virtual reality (VR) allows not only to easily change the perceived scenario but also to control several factors associated with the sense of being in an embodied virtual avatar that would not be achievable in physical reality. The study of internal body representation through embodiment in a virtual avatar has enabled the study of several aspects, including brain representation of the body and its plasticity, the study and implementation of brain computer interfaces for interacting with the virtual body and the virtual world, physical and cognitive rehabilitation for the study and treatment of pain, and psychological and behavioral rehabilitation.
We have focused on the use of virtual reality as an alternative rehabilitation therapy, particularly in the field of chronic pain, since we believe it has the potential to benefit a significant number of people in today's society.
We carried out a series of virtual experiments in the fields of psychotherapy and physical rehabilitation in which the experience of embodiment was found to be an important factor in the efficiency of the virtual reality tool in treating specific disorders. On patients with chronic pain, we examine how diverse elements such as the embodiment and presence impact the application's effectiveness to not only reduce but also modulate pain, that is, modifying the onset of pain in patients.
In parallel to the experiment design and implementation, we worked on technical aspects of the applications, such as the development of an automatic pipeline that allows us to obtain personalized look-alike avatars, where we found that the virtual avatar's clothing is an important aspect of patient self-identification. In addition to recording and implementing physical rehabilitation exercises through motion capture to increase the realism of the applications and consequently their effectiveness.
(Català) La realitat virtual (VR) no només permet canviar fàcilment l'escenari percebut, sinó també controlar diversos factors associats amb la sensació de ser en un avatar virtual encarnat que no seria possible en la realitat física. L'estudi de la representació interna del cos a través de l'encarnació en un avatar virtual ha permès l'estudi de diversos aspectes, com la representació cerebral del cos i la seva plasticitat, l'estudi i la implementació d'interfaces cervell-ordinador per interactuar amb el cos virtual i el món virtual, la rehabilitació física i cognitiva per a l'estudi i el tractament del dolor, i la rehabilitació psicològica i conductual.
Ens hem centrat en l'ús de la realitat virtual com a teràpia de rehabilitació alternativa, especialment en el camp del dolor crònic, ja que creiem que té el potencial de beneficiar un nombre significatiu de persones en la societat actual.
Hem realitzat una sèrie d'experiments virtuals en els camps de la psicoteràpia i la rehabilitació física en els quals es va descobrir que l'experiència d'encarnació era un factor important en l'eficàcia de l'eina de realitat virtual en el tractament de trastorns específics. En pacients amb dolor crònic, examinem com diversos elements com l'encarnació i la presència impacten l'efectivitat de l'aplicació no només per reduir, sinó també per modular l'aparició del dolor en els pacients.
En paral·lel al disseny i la implementació d'experiments, hem treballat en aspectes tècnics de les aplicacions, com el desenvolupament d'un pipeline automàtic que ens permet obtenir avatars semblants a l'usuari, on vam descobrir que la roba de l'avatar virtual és un aspecte important de l’auto-identificació del pacient. A més de gravar i implementar exercicis de rehabilitació física a través de la captura de moviment per augmentar el realisme de les aplicacions i, per tant, la seva eficàcia.
(Español) La realidad virtual (VR) permite no solo cambiar fácilmente el escenario percibido, sino también controlar varios factores asociados con la sensación de estar en un avatar virtual encarnado que no sería posible en la realidad física. El estudio de la representación interna del cuerpo a través de la encarnación en un avatar virtual ha permitido el estudio de varios aspectos, incluida la representación cerebral del cuerpo y su plasticidad, el estudio y la implementación de interfaces cerebro-computadora para interactuar con el cuerpo virtual y el mundo virtual, la rehabilitación física y cognitiva para el estudio y tratamiento del dolor, y la rehabilitación psicológica y conductual.
Nos hemos centrado en el uso de la realidad virtual como terapia de rehabilitación alternativa, especialmente en el campo del dolor crónico, ya que creemos que tiene el potencial de beneficiar a un número significativo de personas en la sociedad actual.
Realizamos una serie de experimentos virtuales en los campos de la psicoterapia y la rehabilitación física en los que se encontró que la experiencia de la encarnación era un factor importante en la eficacia de la herramienta de realidad virtual en el tratamiento de trastornos específicos. En pacientes con dolor crónico, examinamos cómo diversos elementos como la encarnación y la presencia impactan la efectividad de la aplicación para no solo reducir, sino también modular el inicio del dolor en los pacientes.
En paralelo al diseño e implementación de los experimentos, trabajamos en aspectos técnicos de las aplicaciones, como el desarrollo de un pipeline automático que nos permite obtener avatares personalizados parecidos a la apariencia del paciente, donde encontramos que la ropa del avatar virtual es un aspecto importante de la auto-identificación del paciente. Además de grabar e implementar ejercicios de rehabilitación física a través de la captura de movimiento para aumentar la realismo de las aplicaciones y, en consecuencia, su efectividad.Cluster evaluation on weighted networks
http://hdl.handle.net/2117/398039
Cluster evaluation on weighted networks
Renedo Mirambell, Martí
(English) This thesis presents a systematic approach to validate the results of clustering methods on weighted networks, particularly for the cases where the existence of a community structure is unknown. Including edge weights has many applications in network science, as there are many situations in which the strength of the connections between nodes is an essential property that describes the network. This evaluation of clustering methods comprises a set of criteria for assessing their significance and stability.
First, a well-established set of community scoring functions, which already existed for unweighted graphs, has been extended to the case where the edges have associated weights. There is consideration given to how in some cases many possible weighted extensions to the same function can be defined, and each of them can suit different types of weighted networks.
Additionally, methods to randomize graphs but maintaining the original graph’s degree distribution have been defined in order to use these random graphs as baseline networks. This randomization together with the weighted community scoring functions are then used to evaluate cluster significance, since the random networks built from the original network with our methods provide reference values for each scoring function that will allow to actually determine whether a given cluster score for the original graph is better than a comparable graph with the same degree distribution but no community structure.
As for the evaluation of stability, we define non parametric bootstrap methods with perturbations for weighted graphs where vertices are resampled multiple times, and the perturbations are applied to the edge weights. This, together with some fundamental similarity metrics for set partitions derived from information theory and combinatorics, constitutes our criteria for clustering stability. These criteria are based on the essential idea that meaningful clusters should capture an inherent structure in the data and not be overly sensitive to small or local variations, or the particularities of the clustering algorithm.
A more in-depth study of the characteristics of cluster scoring functions and their potential bias towards clusters of a certain size has also been performed. This would render some of these functions unsuitable to compare results of clustering algorithms when the size of the partition differs considerably. For this analysis, we introduce parametrized multi-level ground truth models based on the stochastic block model and on preferential attachment that can showcase how the functions respond to varying the strength of each level of clusters in a hierarchical structure. Additionally, a scoring function that doesn't suffer from this kind of bias is proposed: the density ratio.
This thesis also contributes with an efficient implementation of Newman's Reduced Mutual Information, a measure to compare set partitions based on information theory. Here it is used as a tool to compare network partitions, which is particularly useful for the evaluation of cluster stability, but it can have applications beyond the field of network clustering. Our algorithm uses an hybrid approach that combines analytical approximation with a Markov Chain Monte Carlo method for a good balance between accuracy and efficiency.
Also an indispensable part of this thesis is the associated software that we developed, which includes the implementation of all the methods discussed in it. It all has all been included in our R package clustAnalytics. This package is designed to work together with igraph, the main R package dedicated to graphs, to make it easy and straightforward for other researchers to use. There are many useful applications for these tools: from the study and observation of new datasets, to the evaluation and benchmarking of clustering algorithms.; (Català) Aquesta tesi presenta un mètode sistemàtic per validar els resultats obtinguts per mètodes de clústering a xarxes amb pesos, especialment per als casos en què es desconeix l'existència d'una estructura de comunitats. La inclusió de pesos a les arestes té diverses aplicacions a l'estudi de xarxes, ja que hi ha moltes situacions on la força de les connexions entre nodes és una propietat essencial que descriu la xarxa. Aquesta avaluació de mètodes de clústering inclou una sèrie de criteris per quantificar la seva significació i estabilitat.
En primer lloc, hem estès un conjunt de funcions per avaluar comunitats, que ja existien per a grafs sense pesos, al cas on les arestes tenen pesos associats. S'ha tingut en compte com en alguns casos es poden definir diverses extensions de la mateixa funció, cada una per a diferents tipus de xarxes amb pesos. A més a més, s'han definit mètodes per aleatoritzar grafs mantenint la seqüència de graus original, per fer servir aquests grafs aleatoris de referència. Aquest procés, juntament amb les funcions definides, permet avaluar la significació dels clústers, ja que els grafs aleatoris donen valors de referència que serveixen per determinar si la puntuació del graf original és millor que la d'un de comparable però que no tingui una estructura de comunitats.
Pel que fa a l'avaluació de l'estabilitat, definim mètodes de bootstrap no paramètric amb pertorbacions per a grafs amb pesos on els vèrtexs es remostregen diverses vegades, i s'apliquen pertorbacions al pes de les arestes. Conjuntament amb mesures de similitud per a particions de conjunts basades en teoria de la informació i combinatòria, formen els criteris per avaluar l'estabilitat dels clústers. Aquests criteris es basen en la idea que els clústers rellevants haurien de captar l'estructura de les dades, però no ser excessivament sensibles a petites variacions locals o a les particularitats dels algoritmes de clústering.
També es fa un estudi més a fons de les característiques de les funcions avaluadores dels clústers i el seu possible biaix cap a clústers d'una certa mida. Això podria fer que algunes d'aquestes funcions fossin inadequades per comparar resultats d'algoritmes de clústering en cas que la mida de les particions fos prou diferent. Per aquesta anàlisi, introduïm models parametritzats de comunitats multinivell basats en el model de blocs estocàstics i en el model de connexió preferencial, que mostren com les funcions responen quan la força relativa dels diversos nivells de clusters varia. A més a més, proposem una funció avaluadora que no té aquesta mena de biaix, la ràtio de densitats.
Aquesta tesi també aporta una implementació eficient de la informació mútua reduïda ("reduced mutual information") de Newman, una mesura per comparar particions de conjunts basada en teoria de la informació. Aquí es fa servir per comparar particions de xarxes, que és especialment útil per mesurar l'estabilitat dels clusters, però pot tenir aplicacions més enllà del clústering de xarxes. El nostre algoritme té un funcionament híbrid que combina una aproximació analítica amb un mètode de Monte Carlo de cadena de Markov per trobar un bon equilibri entre exactitud i eficiència.
Una altra part essencial d'aquesta tesi és el software associat que s'ha desenvolupat, que inclou les implementacions de tots els mètodes que s'hi discuteixen. S'ha compilat tot al nou paquet clustAnalytics, que ja és al repositori de CRAN. Aquest paquet està fet per funcionar conjuntament amb igraph, el principal paquet d'R dedicat als grafs, per fer-lo fàcil i accessible d'utilitzar a altres investigadors. Hi ha moltes situacions on aquestes eines poden ser útils: des de l'estudi i observació de nous conjunts de dades, a l'avaluació d'algoritmes de clústering. A més a més, algunes parts del paquet, com ara la implementació de la informació mútua reduïda es poden fer servir per comparar particions de tota mena de conjunts, no només de xarxes.
2023-12-14T21:50:33ZRenedo Mirambell, Martí(English) This thesis presents a systematic approach to validate the results of clustering methods on weighted networks, particularly for the cases where the existence of a community structure is unknown. Including edge weights has many applications in network science, as there are many situations in which the strength of the connections between nodes is an essential property that describes the network. This evaluation of clustering methods comprises a set of criteria for assessing their significance and stability.
First, a well-established set of community scoring functions, which already existed for unweighted graphs, has been extended to the case where the edges have associated weights. There is consideration given to how in some cases many possible weighted extensions to the same function can be defined, and each of them can suit different types of weighted networks.
Additionally, methods to randomize graphs but maintaining the original graph’s degree distribution have been defined in order to use these random graphs as baseline networks. This randomization together with the weighted community scoring functions are then used to evaluate cluster significance, since the random networks built from the original network with our methods provide reference values for each scoring function that will allow to actually determine whether a given cluster score for the original graph is better than a comparable graph with the same degree distribution but no community structure.
As for the evaluation of stability, we define non parametric bootstrap methods with perturbations for weighted graphs where vertices are resampled multiple times, and the perturbations are applied to the edge weights. This, together with some fundamental similarity metrics for set partitions derived from information theory and combinatorics, constitutes our criteria for clustering stability. These criteria are based on the essential idea that meaningful clusters should capture an inherent structure in the data and not be overly sensitive to small or local variations, or the particularities of the clustering algorithm.
A more in-depth study of the characteristics of cluster scoring functions and their potential bias towards clusters of a certain size has also been performed. This would render some of these functions unsuitable to compare results of clustering algorithms when the size of the partition differs considerably. For this analysis, we introduce parametrized multi-level ground truth models based on the stochastic block model and on preferential attachment that can showcase how the functions respond to varying the strength of each level of clusters in a hierarchical structure. Additionally, a scoring function that doesn't suffer from this kind of bias is proposed: the density ratio.
This thesis also contributes with an efficient implementation of Newman's Reduced Mutual Information, a measure to compare set partitions based on information theory. Here it is used as a tool to compare network partitions, which is particularly useful for the evaluation of cluster stability, but it can have applications beyond the field of network clustering. Our algorithm uses an hybrid approach that combines analytical approximation with a Markov Chain Monte Carlo method for a good balance between accuracy and efficiency.
Also an indispensable part of this thesis is the associated software that we developed, which includes the implementation of all the methods discussed in it. It all has all been included in our R package clustAnalytics. This package is designed to work together with igraph, the main R package dedicated to graphs, to make it easy and straightforward for other researchers to use. There are many useful applications for these tools: from the study and observation of new datasets, to the evaluation and benchmarking of clustering algorithms.
(Català) Aquesta tesi presenta un mètode sistemàtic per validar els resultats obtinguts per mètodes de clústering a xarxes amb pesos, especialment per als casos en què es desconeix l'existència d'una estructura de comunitats. La inclusió de pesos a les arestes té diverses aplicacions a l'estudi de xarxes, ja que hi ha moltes situacions on la força de les connexions entre nodes és una propietat essencial que descriu la xarxa. Aquesta avaluació de mètodes de clústering inclou una sèrie de criteris per quantificar la seva significació i estabilitat.
En primer lloc, hem estès un conjunt de funcions per avaluar comunitats, que ja existien per a grafs sense pesos, al cas on les arestes tenen pesos associats. S'ha tingut en compte com en alguns casos es poden definir diverses extensions de la mateixa funció, cada una per a diferents tipus de xarxes amb pesos. A més a més, s'han definit mètodes per aleatoritzar grafs mantenint la seqüència de graus original, per fer servir aquests grafs aleatoris de referència. Aquest procés, juntament amb les funcions definides, permet avaluar la significació dels clústers, ja que els grafs aleatoris donen valors de referència que serveixen per determinar si la puntuació del graf original és millor que la d'un de comparable però que no tingui una estructura de comunitats.
Pel que fa a l'avaluació de l'estabilitat, definim mètodes de bootstrap no paramètric amb pertorbacions per a grafs amb pesos on els vèrtexs es remostregen diverses vegades, i s'apliquen pertorbacions al pes de les arestes. Conjuntament amb mesures de similitud per a particions de conjunts basades en teoria de la informació i combinatòria, formen els criteris per avaluar l'estabilitat dels clústers. Aquests criteris es basen en la idea que els clústers rellevants haurien de captar l'estructura de les dades, però no ser excessivament sensibles a petites variacions locals o a les particularitats dels algoritmes de clústering.
També es fa un estudi més a fons de les característiques de les funcions avaluadores dels clústers i el seu possible biaix cap a clústers d'una certa mida. Això podria fer que algunes d'aquestes funcions fossin inadequades per comparar resultats d'algoritmes de clústering en cas que la mida de les particions fos prou diferent. Per aquesta anàlisi, introduïm models parametritzats de comunitats multinivell basats en el model de blocs estocàstics i en el model de connexió preferencial, que mostren com les funcions responen quan la força relativa dels diversos nivells de clusters varia. A més a més, proposem una funció avaluadora que no té aquesta mena de biaix, la ràtio de densitats.
Aquesta tesi també aporta una implementació eficient de la informació mútua reduïda ("reduced mutual information") de Newman, una mesura per comparar particions de conjunts basada en teoria de la informació. Aquí es fa servir per comparar particions de xarxes, que és especialment útil per mesurar l'estabilitat dels clusters, però pot tenir aplicacions més enllà del clústering de xarxes. El nostre algoritme té un funcionament híbrid que combina una aproximació analítica amb un mètode de Monte Carlo de cadena de Markov per trobar un bon equilibri entre exactitud i eficiència.
Una altra part essencial d'aquesta tesi és el software associat que s'ha desenvolupat, que inclou les implementacions de tots els mètodes que s'hi discuteixen. S'ha compilat tot al nou paquet clustAnalytics, que ja és al repositori de CRAN. Aquest paquet està fet per funcionar conjuntament amb igraph, el principal paquet d'R dedicat als grafs, per fer-lo fàcil i accessible d'utilitzar a altres investigadors. Hi ha moltes situacions on aquestes eines poden ser útils: des de l'estudi i observació de nous conjunts de dades, a l'avaluació d'algoritmes de clústering. A més a més, algunes parts del paquet, com ara la implementació de la informació mútua reduïda es poden fer servir per comparar particions de tota mena de conjunts, no només de xarxes.New data integration methods for drug re-purposing by mining heterogeneous omics data
http://hdl.handle.net/2117/398032
New data integration methods for drug re-purposing by mining heterogeneous omics data
Zambrana Seguí, Maria del Carme
(English) High-throughput omics technologies produce large-scale heterogeneous data that provide complementary views of the
underlying complexity of the studied organism. To exploit these new data to answer biomedical research questions, such as drug
re-purposing, we need to adapt existing artificial intelligence (AI) methods to integrate and collectively mine all these data.
Drug re-purposing aims to investigate existing drugs for new therapeutic purposes. The fact that these drugs have already been
studied for other indications shortens the development times and reduces the risks from a safety point of view. Hence, drug
re-purposing is crucial for quickly responding to unknown pathogens, such as the novel SARS-COV-2, which recently caused a
devastating worldwide pandemic. Antiviral drugs have been developed to treat viral infections by targeting viral or host proteins.
Drug re-purposing targeting the host proteins aims to disrupt the host biological mechanisms used by the virus. When these
biological mechanisms are shared across different viruses, the re-purposed drugs are good candidates for broad-spectrum viral
treatments.
Therefore, in this thesis, we develop novel AI frameworks for re-purposing drugs that disrupt the host biological mechanisms
relevant to viral infections. In particular, we contribute to the efforts to treat COVID-19 by re-purposing existing drugs. We focus
on data integration frameworks to integrate network data about the human host (interactions between their genes or proteins)
and related to drugs (interactions between drugs and human proteins and chemical similarity between drugs) with new data
related to SARS-COV-2 (interactions between the viral and human proteins or gene expression of the human genes after
infection). The developed frameworks are based on Non-negative Matrix Tri-factorization (NMTF) since these methods produce
interpretable models capable of integrating and mining homogeneous and heterogeneous complex data.
First, we investigate the SARS-COV-2 infection in two ways: from a systemic point of view (i.e., considering COVID-19 affects the
entire body) and focusing on its primary site of infection (i.e., the lungs). Thus, we develop two frameworks that identify relevant
genes for COVID-19 and re-purpose drugs to treat it. Interestingly, each framework's top identified genes and re-purposed drugs
do not overlap. This highlights the complementarity of the two approaches, which uncover new and different insights into
COVID-19, even though they both use NTMF to integrate biological data. From the genes identified with the systemic-based
framework, we observe that they connect two important gene sets for SARS-COV-2 infection: the human proteins directly
targeted by the SARS-COV-2 proteins and those genes differentially expressed after COVID-19 infection (we termed them
"common neighbours" (CN) genes). We find that these genes are key to COVID-19 mechanisms and promising targets for drug
re-purposing. Then, we investigate if our CN concept could be applied to other viruses to find common disease mechanisms.
Thus, we apply the CN concept across five well-studied viruses and extend it to viral infections without DEG data, uncovering
disease genes for 13 viruses (8 without DEG data). Interestingly, we find that the CNs are shared across viruses, revealing
"pan-viral" disease mechanisms. Finally, we develop a new data integration framework to re-purpose drugs targeting these
"pan-viral" genes, paving the way for broad-spectrum drug re-purposing.
In conclusion, we develop novel artificial intelligence frameworks capable of integrating and mining complex omics data to re-purpose drugs for treating viral infections by disrupting the host biological mechanisms used by the virus. These new frameworks improve our understanding of viral infections, providing the basis for broad-spectrum treatments against them.; (Español) Las tecnologías ómicas de alto rendimiento generan datos heterogéneos a gran escala que ofrecen perspectivas complementarias del organismo estudiado. Para utilizar estos datos en áreas biomédicas, como el reposicionamiento de fármacos (RF), es necesario adaptar métodos existentes de inteligencia artificial (IA) para integrarlos y procesarlos conjuntamente.
El RF investiga fármacos existentes para nuevos propósitos terapéuticos. Dado que estos fármacos ya se han estudiado para otras indicaciones acorta los tiempos de desarrollo y reduce los riesgos de seguridad. Así, el RF es crucial para responder
rápidamente a patógenos desconocidos, como el nuevo SARS-COV-2, que recientemente causó una pandemia mundial. Los fármacos antivirales tienen dos posibles dianas terapéuticas: las proteínas virales o las proteínas humanas del huésped. El RF que se enfoca en las proteínas humanas tiene como objetivo alterar los mecanismos biológicos humanos utilizados por el virus.
Cuando estos mecanismos son compartidos entre varios virus, los fármacos son candidatos para tratamientos virales de amplio espectro.
En esta tesis desarrollamos nuevos modelos de IA para el RF que alteren los mecanismos biológicos humanos relevantes para infecciones virales. En particular, contribuimos a los esfuerzos para tratar el COVID-19 mediante el RF. Nos centramos en modelos de integración de datos para combinar redes sobre el huésped humano (interacciones entre sus genes/proteínas) y fármacos (interacciones entre fármacos y proteínas humanas y similitud química entre fármacos) con nuevos datos relacionados
con el SARS-COV-2 (interacciones entre las proteínas virales y humanas o expresión genética de los genes humanos después de la infección). Los modelos desarrollados se basan en la Tri-factorización de Matrices No Negativas (NMTF en sus singlas en
inglés), ya que estos métodos generan modelos interpretables capaces de integrar y analizar datos complejos homogéneos y heterogéneos.
Primero, investigamos la infección por SARS-COV-2 de dos formas: desde un punto de vista sistémico (considerando que el COVID-19 afecta todo el cuerpo) y centrándonos en su sitio primario de infección (los pulmones). Así, desarrollamos dos
modelos que identifican genes relevantes para el COVID-19 y reposicionan fármacos para tratarlo. Curiosamente, los genes y fármacos identificados por cada modelo no se solapan. Esto resalta la complementariedad de los dos enfoques, que generan
nuevo conocimiento sobre el COVID-19, aunque ambos utilizan NMTF para integrar datos biológicos. Los genes identificados mediante el primer modelo (a los que llamamos CN de sus siglas en inglés) conectan dos conjuntos de genes relacionados con la infección por SARS-COV-2: las proteínas humanas directamente afectadas por las proteínas del SARS-COV-2 y aquellos genes con diferente expresión después de la infección (DEG de sus siglas en inglés). Descubrimos que los genes CN son clave
para los mecanismos del COVID-19 y candidatos prometedores para el RF. Luego, investigamos si nuestro concepto de CN se podría aplicar a otros virus para encontrar mecanismos de enfermedad comunes. Así, aplicamos el concepto de CN a cinco virus
y lo extendimos a infecciones virales sin datos DEGs, obteniendo CN para 13 virus (8 sin datos DEGs). Curiosamente, encontramos que los CN son comunes entre los virus, revelando mecanismos "pan-virales". Finalmente, desarrollamos un nuevo
modelo de integración de datos para reposicionar fármacos con estos genes "pan virales" como dianas terapéuticas, allanando el camino para el RF de amplio espectro.
En conclusión, hemos desarrollado nuevos modelos de IA capaces de integrar y analizar datos ómicos complejos para el RF en el tratamiento de infecciones virales al alterar los mecanismos biológicos del huésped utilizados por el virus. Estos nuevos
modelos mejoran nuestra comprensión de las infecciones virales, sentando las bases para tratamientos de amplio espectro contra ellas.
A la portada: Integrative Computational Network Biology (ICONBI) Life Science - Barcelona Supercomputing Center
2023-12-14T21:49:17ZZambrana Seguí, Maria del Carme(English) High-throughput omics technologies produce large-scale heterogeneous data that provide complementary views of the
underlying complexity of the studied organism. To exploit these new data to answer biomedical research questions, such as drug
re-purposing, we need to adapt existing artificial intelligence (AI) methods to integrate and collectively mine all these data.
Drug re-purposing aims to investigate existing drugs for new therapeutic purposes. The fact that these drugs have already been
studied for other indications shortens the development times and reduces the risks from a safety point of view. Hence, drug
re-purposing is crucial for quickly responding to unknown pathogens, such as the novel SARS-COV-2, which recently caused a
devastating worldwide pandemic. Antiviral drugs have been developed to treat viral infections by targeting viral or host proteins.
Drug re-purposing targeting the host proteins aims to disrupt the host biological mechanisms used by the virus. When these
biological mechanisms are shared across different viruses, the re-purposed drugs are good candidates for broad-spectrum viral
treatments.
Therefore, in this thesis, we develop novel AI frameworks for re-purposing drugs that disrupt the host biological mechanisms
relevant to viral infections. In particular, we contribute to the efforts to treat COVID-19 by re-purposing existing drugs. We focus
on data integration frameworks to integrate network data about the human host (interactions between their genes or proteins)
and related to drugs (interactions between drugs and human proteins and chemical similarity between drugs) with new data
related to SARS-COV-2 (interactions between the viral and human proteins or gene expression of the human genes after
infection). The developed frameworks are based on Non-negative Matrix Tri-factorization (NMTF) since these methods produce
interpretable models capable of integrating and mining homogeneous and heterogeneous complex data.
First, we investigate the SARS-COV-2 infection in two ways: from a systemic point of view (i.e., considering COVID-19 affects the
entire body) and focusing on its primary site of infection (i.e., the lungs). Thus, we develop two frameworks that identify relevant
genes for COVID-19 and re-purpose drugs to treat it. Interestingly, each framework's top identified genes and re-purposed drugs
do not overlap. This highlights the complementarity of the two approaches, which uncover new and different insights into
COVID-19, even though they both use NTMF to integrate biological data. From the genes identified with the systemic-based
framework, we observe that they connect two important gene sets for SARS-COV-2 infection: the human proteins directly
targeted by the SARS-COV-2 proteins and those genes differentially expressed after COVID-19 infection (we termed them
"common neighbours" (CN) genes). We find that these genes are key to COVID-19 mechanisms and promising targets for drug
re-purposing. Then, we investigate if our CN concept could be applied to other viruses to find common disease mechanisms.
Thus, we apply the CN concept across five well-studied viruses and extend it to viral infections without DEG data, uncovering
disease genes for 13 viruses (8 without DEG data). Interestingly, we find that the CNs are shared across viruses, revealing
"pan-viral" disease mechanisms. Finally, we develop a new data integration framework to re-purpose drugs targeting these
"pan-viral" genes, paving the way for broad-spectrum drug re-purposing.
In conclusion, we develop novel artificial intelligence frameworks capable of integrating and mining complex omics data to re-purpose drugs for treating viral infections by disrupting the host biological mechanisms used by the virus. These new frameworks improve our understanding of viral infections, providing the basis for broad-spectrum treatments against them.
(Español) Las tecnologías ómicas de alto rendimiento generan datos heterogéneos a gran escala que ofrecen perspectivas complementarias del organismo estudiado. Para utilizar estos datos en áreas biomédicas, como el reposicionamiento de fármacos (RF), es necesario adaptar métodos existentes de inteligencia artificial (IA) para integrarlos y procesarlos conjuntamente.
El RF investiga fármacos existentes para nuevos propósitos terapéuticos. Dado que estos fármacos ya se han estudiado para otras indicaciones acorta los tiempos de desarrollo y reduce los riesgos de seguridad. Así, el RF es crucial para responder
rápidamente a patógenos desconocidos, como el nuevo SARS-COV-2, que recientemente causó una pandemia mundial. Los fármacos antivirales tienen dos posibles dianas terapéuticas: las proteínas virales o las proteínas humanas del huésped. El RF que se enfoca en las proteínas humanas tiene como objetivo alterar los mecanismos biológicos humanos utilizados por el virus.
Cuando estos mecanismos son compartidos entre varios virus, los fármacos son candidatos para tratamientos virales de amplio espectro.
En esta tesis desarrollamos nuevos modelos de IA para el RF que alteren los mecanismos biológicos humanos relevantes para infecciones virales. En particular, contribuimos a los esfuerzos para tratar el COVID-19 mediante el RF. Nos centramos en modelos de integración de datos para combinar redes sobre el huésped humano (interacciones entre sus genes/proteínas) y fármacos (interacciones entre fármacos y proteínas humanas y similitud química entre fármacos) con nuevos datos relacionados
con el SARS-COV-2 (interacciones entre las proteínas virales y humanas o expresión genética de los genes humanos después de la infección). Los modelos desarrollados se basan en la Tri-factorización de Matrices No Negativas (NMTF en sus singlas en
inglés), ya que estos métodos generan modelos interpretables capaces de integrar y analizar datos complejos homogéneos y heterogéneos.
Primero, investigamos la infección por SARS-COV-2 de dos formas: desde un punto de vista sistémico (considerando que el COVID-19 afecta todo el cuerpo) y centrándonos en su sitio primario de infección (los pulmones). Así, desarrollamos dos
modelos que identifican genes relevantes para el COVID-19 y reposicionan fármacos para tratarlo. Curiosamente, los genes y fármacos identificados por cada modelo no se solapan. Esto resalta la complementariedad de los dos enfoques, que generan
nuevo conocimiento sobre el COVID-19, aunque ambos utilizan NMTF para integrar datos biológicos. Los genes identificados mediante el primer modelo (a los que llamamos CN de sus siglas en inglés) conectan dos conjuntos de genes relacionados con la infección por SARS-COV-2: las proteínas humanas directamente afectadas por las proteínas del SARS-COV-2 y aquellos genes con diferente expresión después de la infección (DEG de sus siglas en inglés). Descubrimos que los genes CN son clave
para los mecanismos del COVID-19 y candidatos prometedores para el RF. Luego, investigamos si nuestro concepto de CN se podría aplicar a otros virus para encontrar mecanismos de enfermedad comunes. Así, aplicamos el concepto de CN a cinco virus
y lo extendimos a infecciones virales sin datos DEGs, obteniendo CN para 13 virus (8 sin datos DEGs). Curiosamente, encontramos que los CN son comunes entre los virus, revelando mecanismos "pan-virales". Finalmente, desarrollamos un nuevo
modelo de integración de datos para reposicionar fármacos con estos genes "pan virales" como dianas terapéuticas, allanando el camino para el RF de amplio espectro.
En conclusión, hemos desarrollado nuevos modelos de IA capaces de integrar y analizar datos ómicos complejos para el RF en el tratamiento de infecciones virales al alterar los mecanismos biológicos del huésped utilizados por el virus. Estos nuevos
modelos mejoran nuestra comprensión de las infecciones virales, sentando las bases para tratamientos de amplio espectro contra ellas.A novel soft computing approach based on FIR to model and predict energy dynamic systems
http://hdl.handle.net/2117/375588
A novel soft computing approach based on FIR to model and predict energy dynamic systems
Jurado Gómez, Sergio
We are facing a global climate crisis that is demanding a change in the status quo of how we produce, distribute and consume energy. In the last decades, this is being redefined through Smart Grids(SG), an intelligent electrical network more observable, controllable, automated, fully integrated with energy services and the end-users. Most of the features and proposed SG scenarios are based on reliable, robust and fast energy predictions. For instance, for proper planning activities, such as generation, purchasing, maintenance and investment; for demand side management, like demand response programs; for energy trading, especially at local level, where productions and consumptions are more stochastics and dynamic; better forecasts also increase grid stability and thus supply security. A large variety of Artificial Intelligence(AI) techniques have been applied in the field of Short-term electricity Load Forecasting(SLF) at consumer level in low-voltage system, showing a better performance than classical techniques. Inaccuracy or failure in the SLF process may be translated not just in a non-optimal (low prediction accuracy) solution but also in frustration of end-users, especially in new services and functionalities that empower citizens. In this regard, some limitations have been observed in energy forecasting models based on AI such as robustness, reliability, accuracy and computation in the edge.
This research proposes and develops a new version of Fuzzy Inductive Reasoning(FIR), called Flexible FIR, to model and predict the electricity consumption of an entity in the low-voltage grid with high uncertainties, and information missing, as well as the capacity to be deployed either in the cloud or locally in a new version of Smart Meters(SMs) based on Edge Computing(EC). FIR has been proved to be a powerful approach for model identification and system ’s prediction over dynamic and complex processes in different real world domains but not yet in the energy domain. Thus, the main goal of this thesis is to demonstrate that a new version of FIR, more robust, reliable and accurate can be a referent Soft Computing(SC) methodology to model and predict dynamic systems in the energy domain and that it is scalable to an EC integration. The core developments of Flexible FIR have been an algorithm that can cope with missing information in the input values, as well as learn from instances with Missing Values(MVs) in the knowledge-based, without compromising significantly the accuracy of the predictions. Moreover, Flexible FIR comes with new forecasting strategies that can cope better with loss of causality of a variable and dispersion of output classes than classical k nearest neighbours, making the FIR forecasting process more reliable and robust. Furthermore, Flexible FIR addresses another major challenge modelling with SC techniques, which is to select best model parameters. One of the most important parameters in FIR is the number k of nearest neighbours to be used in the forecast process. The challenge to select the optimal k, dynamically, is addressed through an algorithm, called KOS(K nearest neighbour Optimal Selection), which has been developed and tested also with real world data. It computes a membership aggregation function of all the neighbours with respect their belonging to the output classes.While with KOS the optimal parameter k is found online, with other approaches such as genetic algorithms or reinforcement learning is not, which increases the computational time.; Ens trobem davant una crisis climàtica global que exigeix un canvi al status quo de la manera que produïm, distribuïm i consumim energia. En les darreres dècades, està sent redefinit gràcies a les xarxa elèctriques intel·ligents(SG: Smart Grid) amb millor observabilitat, control, automatització, integrades amb nous serveis energètics i usuaris finals. La majoria de les funcionalitats i escenaris de les SG es basen en prediccions de la càrrega elèctrica confiables, robustes i ràpides. Per les prediccions de càrregues elèctriques a curt termini(SLF: Short-term electricity Load Forecasting), a nivell de consumidors al baix voltatge, s’han aplicat una gran varietat de tècniques intel·ligència Artificial(IA) mostrant millor rendiment que tècniques estadístiques tradicionals. Un baix rendiment en SLF, pot traduir-se no només en una solució no-òptima (baixa precisió de predicció) sinó també en la frustració dels usuaris finals, especialment en nous serveis i funcionalitats que empoderarien als ciutadans. En el marc d’aquesta investigació es proposa i desenvolupa una nova versió de la metodologia del Raonament Inductiu Difús(FIR: Fuzzy Inductive Reasoning), anomenat Flexible FIR, capaç de modelar i predir el consum d’electricitat d’una entitat amb un grau d’incertesa molt elevat, inclús amb importants carències d’informació (missing values). A més, Flexible FIR té la capacitat de desplegar-se al núvol, així como localment, en el que podria ser una nova versió de Smart Meters (SM) basada en tecnologia d’Edge Computing (EC). FIR ja ha demostrat ser una metodologia molt potent per la generació de models i prediccions en processos dinàmics en diferents àmbits, però encara no en el de l’energia. Per tant, l’objectiu principal d’aquesta tesis és demostrar que una versió millorada de FIR, més robusta, fiable i precisa pot consolidar-se com una metodologia Soft Computing SC) de referencia per modelar i predir sistemes dinàmics en aplicacions per al sector de l’energia i que és escalable a una integració d’EC. Les principals millores de Flexible FIR han estat, en primer lloc, el desenvolupament i test d’un algorisme capaç de processar els valors d’entrada d’un model FIR tot i que continguin Missing Values (MV). Addicionalment, aquest algorisme també permet aprendre d’instàncies amb MV en la matriu de coneixement d’un model FIR, sense comprometre de manera significativa la precisió de les prediccions. En segon lloc, s’han desenvolupat i testat noves estratègies per a la fase de predicció, comportant-se millor que els clàssics k veïns més propers quan ens trobem amb pèrdua de causalitat d’una variable i dispersió en les classes de sortida, aconseguint un procés d’aprenentatge i predicció més confiable i robust. En tercer lloc, Flexible FIR aborda un repte molt comú en tècniques de SC: l’òptima parametrització del model. En FIR, un dels paràmetres més determinants és el número k de veïns més propers que s’utilitzaran durant la fase de predicció. La selecció del millor valor de k es planteja de manera dinàmica a través de l’algorisme KOS (K nearest neighbour Optimal Selection) que s’ha desenvolupat i testat també amb dades reals. Mentre que amb KOS el paràmetre òptim de k es calcula online, altres enfocaments mitjançant algoritmes genètics o aprenentatge per reforç el càlcul és offline, incrementant significativament el temps de resposta, sent a més a més difícil la implantació en escenaris d’EC. Aquestes millores fan que Flexible FIR es pugui adaptar molt bé en aplicacions d’EC. En aquest sentit es proposa el concepte d’un SM de segona generació basat en EC, que integra Flexible FIR com mòdul de predicció d’electricitat executant-se en el propi dispositiu i un agent EC amb capacitat per el trading d'energia produïda localment.
Aquest agent executa un innovador mecanisme basat en incentius, anomenat NRG-X-Change que utilitza una nova moneda digital descentralitzada per l’intercanvi d’energia, que s’anomena NRGcoin.; Estamos ante una crisis climática global que exige un cambio del status quo de la manera que producimos, distribuimos y consumimos energía. En las últimas décadas, este status quo está siendo redefinido debido a: la penetración de las energías renovables y la generación distribuida; nuevas tecnologías como baterías y paneles solares con altos rendimientos; y la forma en que se consume la energía, por ejemplo, a través de vehículos eléctricos o con la electrificación de los hogares. Estas palancas requieren una red eléctrica inteligente (SG: Smart Grid) con mayor observabilidad, control, automatización y que esté totalmente integrada con nuevos servicios energéticos, así como con sus usuarios finales. La mayoría de las funcionalidades y escenarios de las redes eléctricas inteligentes se basan en predicciones de la energía confiables, robustas y rápidas. Por ejemplo, para actividades de planificación como la generación, compra, mantenimiento e inversión; para la gestión de la demanda, como los programas de demand response; en el trading de electricidad, especialmente a nivel local, donde las producciones y los consumos son más estocásticos y dinámicos; una mejor predicción eléctrica también aumenta la estabilidad de la red y, por lo tanto, mejora la seguridad. Para las predicciones eléctricas a corto plazo (SLF: Short-term electricity Load Forecasting), a nivel de consumidores en el bajo voltaje, se han aplicado una gran variedad de técnicas de Inteligencia Artificial (IA) mostrando mejor rendimiento que técnicas estadísticas convencionales. Un bajo rendimiento en los modelos predictivos, puede traducirse no solamente en una solución no-óptima (baja precisión de predicción) sino también en frustración de los usuarios finales, especialmente en nuevos servicios y funcionalidades que empoderan a los ciudadanos. En este sentido, se han identificado limitaciones en modelos de predicción de energía basados en IA, como la robustez, fiabilidad, precisión i computación en el borde.
En el marco de esta investigación se propone y desarrolla una nueva versión de la metodología de Razonamiento Inductivo Difuso (FIR: Fuzzy Inductive Reasoning), que hemos llamado Flexible FIR, capaz de modelar y predecir el consumo de electricidad de una entidad con altos grados de incertidumbre e incluso con importantes carencias de información (missing values). Además, Flexible FIR tiene la capacidad de desplegarse en la nube, así como localmente, en lo que podría ser una nueva versión de Smart Meters (SM) basada en tecnología de Edge Computing (EC). En el pasado, ya se ha demostrado que FIR es una metodología muy potente para la generación de modelos y predicciones en procesos dinámicos, sin embargo, todavía no ha sido demostrado en el campo de la energía. Por tanto, el objetivo principal de esta tesis es demostrar que una versión mejorada de FIR, más robusta, fiable y precisa puede consolidarse como metodología Soft Computing (SC) de referencia para modelar y predecir sistemas dinámicos en aplicaciones para el sector de la energía y que es escalable hacia una integración de EC.
Las principales mejoras en Flexible FIR han sido, en primer lugar, el desarrollo y testeo de un algoritmo capaz de procesar los valores de entrada en un modelo FIR a pesar de que contengan Missing Values (MV). Además, dicho algoritmo también permite aprender de instancias con MV en la matriz de conocimiento de un modelo FIR, sin comprometer de manera significativa la precisión de las predicciones. En segundo lugar, se han desarrollado y testeado nuevas estrategias para la fase de predicción de un modelo FIR, comportándose mejor que los clásicos k vecinos más cercanos ante la pérdida de causalidad de una variable y dispersión de clases de salida, consiguiendo un proceso de aprendizaje y predicción más confiable y robusto. En tercer lugar, Flexible FIR aborda un desafío muy común en técnicas de SC: la óptima parametrización del modelo. En FIR, uno de los parámetros más determinantes es el número k de vecinos más cercanos que se utilizarán en la fase de predicción. La selección del mejor valor de k se plantea de manera dinámica a través del algoritmo KOS (K nearest neighbour Optimal Selection) que se ha desarrollado y probado también con datos reales. Dicho algoritmo calcula una función de membresía agregada, de todos los vecinos, con respecto a su pertenencia a las clases de salida. Mientras que con KOS el parámetro óptimo de k se calcula online, otros enfoques mediante algoritmos genéticos o aprendizaje por refuerzo, el cálculo es offline incrementando significativamente el tiempo de respuesta, siendo además difícil su implantación en escenarios de EC.
Estas mejoras hacen que Flexible FIR se adapte muy bien en aplicaciones de EC, en las que la analítica de datos en streaming debe ser fiable, robusta y con un modelo suficientemente ligero para ser ejecutado en un IoT Gateway o dispositivos más pequeños. También, en escenarios con poca conectividad donde el uso de la computación en la nube es limitado y los parámetros del modelo se calculan localmente. Con estas premisas, en esta tesis, se propone el concepto de un SM de segunda generación basado en EC, que integra Flexible FIR como módulo de predicción de electricidad ejecutándose en el dispositivo y un agente EC con capacidad para el trading de energía producida localmente. Dicho agente ejecuta un novedoso mecanismo basado en incentivos, llamado NRG-X-Change que utiliza una nueva moneda digital descentralizada para el intercambio de energía, llamada NRGcoin.
Tesi en modalitat compendi de publicacions
2022-11-03T19:48:58ZJurado Gómez, SergioWe are facing a global climate crisis that is demanding a change in the status quo of how we produce, distribute and consume energy. In the last decades, this is being redefined through Smart Grids(SG), an intelligent electrical network more observable, controllable, automated, fully integrated with energy services and the end-users. Most of the features and proposed SG scenarios are based on reliable, robust and fast energy predictions. For instance, for proper planning activities, such as generation, purchasing, maintenance and investment; for demand side management, like demand response programs; for energy trading, especially at local level, where productions and consumptions are more stochastics and dynamic; better forecasts also increase grid stability and thus supply security. A large variety of Artificial Intelligence(AI) techniques have been applied in the field of Short-term electricity Load Forecasting(SLF) at consumer level in low-voltage system, showing a better performance than classical techniques. Inaccuracy or failure in the SLF process may be translated not just in a non-optimal (low prediction accuracy) solution but also in frustration of end-users, especially in new services and functionalities that empower citizens. In this regard, some limitations have been observed in energy forecasting models based on AI such as robustness, reliability, accuracy and computation in the edge.
This research proposes and develops a new version of Fuzzy Inductive Reasoning(FIR), called Flexible FIR, to model and predict the electricity consumption of an entity in the low-voltage grid with high uncertainties, and information missing, as well as the capacity to be deployed either in the cloud or locally in a new version of Smart Meters(SMs) based on Edge Computing(EC). FIR has been proved to be a powerful approach for model identification and system ’s prediction over dynamic and complex processes in different real world domains but not yet in the energy domain. Thus, the main goal of this thesis is to demonstrate that a new version of FIR, more robust, reliable and accurate can be a referent Soft Computing(SC) methodology to model and predict dynamic systems in the energy domain and that it is scalable to an EC integration. The core developments of Flexible FIR have been an algorithm that can cope with missing information in the input values, as well as learn from instances with Missing Values(MVs) in the knowledge-based, without compromising significantly the accuracy of the predictions. Moreover, Flexible FIR comes with new forecasting strategies that can cope better with loss of causality of a variable and dispersion of output classes than classical k nearest neighbours, making the FIR forecasting process more reliable and robust. Furthermore, Flexible FIR addresses another major challenge modelling with SC techniques, which is to select best model parameters. One of the most important parameters in FIR is the number k of nearest neighbours to be used in the forecast process. The challenge to select the optimal k, dynamically, is addressed through an algorithm, called KOS(K nearest neighbour Optimal Selection), which has been developed and tested also with real world data. It computes a membership aggregation function of all the neighbours with respect their belonging to the output classes.While with KOS the optimal parameter k is found online, with other approaches such as genetic algorithms or reinforcement learning is not, which increases the computational time.
Ens trobem davant una crisis climàtica global que exigeix un canvi al status quo de la manera que produïm, distribuïm i consumim energia. En les darreres dècades, està sent redefinit gràcies a les xarxa elèctriques intel·ligents(SG: Smart Grid) amb millor observabilitat, control, automatització, integrades amb nous serveis energètics i usuaris finals. La majoria de les funcionalitats i escenaris de les SG es basen en prediccions de la càrrega elèctrica confiables, robustes i ràpides. Per les prediccions de càrregues elèctriques a curt termini(SLF: Short-term electricity Load Forecasting), a nivell de consumidors al baix voltatge, s’han aplicat una gran varietat de tècniques intel·ligència Artificial(IA) mostrant millor rendiment que tècniques estadístiques tradicionals. Un baix rendiment en SLF, pot traduir-se no només en una solució no-òptima (baixa precisió de predicció) sinó també en la frustració dels usuaris finals, especialment en nous serveis i funcionalitats que empoderarien als ciutadans. En el marc d’aquesta investigació es proposa i desenvolupa una nova versió de la metodologia del Raonament Inductiu Difús(FIR: Fuzzy Inductive Reasoning), anomenat Flexible FIR, capaç de modelar i predir el consum d’electricitat d’una entitat amb un grau d’incertesa molt elevat, inclús amb importants carències d’informació (missing values). A més, Flexible FIR té la capacitat de desplegar-se al núvol, així como localment, en el que podria ser una nova versió de Smart Meters (SM) basada en tecnologia d’Edge Computing (EC). FIR ja ha demostrat ser una metodologia molt potent per la generació de models i prediccions en processos dinàmics en diferents àmbits, però encara no en el de l’energia. Per tant, l’objectiu principal d’aquesta tesis és demostrar que una versió millorada de FIR, més robusta, fiable i precisa pot consolidar-se com una metodologia Soft Computing SC) de referencia per modelar i predir sistemes dinàmics en aplicacions per al sector de l’energia i que és escalable a una integració d’EC. Les principals millores de Flexible FIR han estat, en primer lloc, el desenvolupament i test d’un algorisme capaç de processar els valors d’entrada d’un model FIR tot i que continguin Missing Values (MV). Addicionalment, aquest algorisme també permet aprendre d’instàncies amb MV en la matriu de coneixement d’un model FIR, sense comprometre de manera significativa la precisió de les prediccions. En segon lloc, s’han desenvolupat i testat noves estratègies per a la fase de predicció, comportant-se millor que els clàssics k veïns més propers quan ens trobem amb pèrdua de causalitat d’una variable i dispersió en les classes de sortida, aconseguint un procés d’aprenentatge i predicció més confiable i robust. En tercer lloc, Flexible FIR aborda un repte molt comú en tècniques de SC: l’òptima parametrització del model. En FIR, un dels paràmetres més determinants és el número k de veïns més propers que s’utilitzaran durant la fase de predicció. La selecció del millor valor de k es planteja de manera dinàmica a través de l’algorisme KOS (K nearest neighbour Optimal Selection) que s’ha desenvolupat i testat també amb dades reals. Mentre que amb KOS el paràmetre òptim de k es calcula online, altres enfocaments mitjançant algoritmes genètics o aprenentatge per reforç el càlcul és offline, incrementant significativament el temps de resposta, sent a més a més difícil la implantació en escenaris d’EC. Aquestes millores fan que Flexible FIR es pugui adaptar molt bé en aplicacions d’EC. En aquest sentit es proposa el concepte d’un SM de segona generació basat en EC, que integra Flexible FIR com mòdul de predicció d’electricitat executant-se en el propi dispositiu i un agent EC amb capacitat per el trading d'energia produïda localment.
Aquest agent executa un innovador mecanisme basat en incentius, anomenat NRG-X-Change que utilitza una nova moneda digital descentralitzada per l’intercanvi d’energia, que s’anomena NRGcoin.
Estamos ante una crisis climática global que exige un cambio del status quo de la manera que producimos, distribuimos y consumimos energía. En las últimas décadas, este status quo está siendo redefinido debido a: la penetración de las energías renovables y la generación distribuida; nuevas tecnologías como baterías y paneles solares con altos rendimientos; y la forma en que se consume la energía, por ejemplo, a través de vehículos eléctricos o con la electrificación de los hogares. Estas palancas requieren una red eléctrica inteligente (SG: Smart Grid) con mayor observabilidad, control, automatización y que esté totalmente integrada con nuevos servicios energéticos, así como con sus usuarios finales. La mayoría de las funcionalidades y escenarios de las redes eléctricas inteligentes se basan en predicciones de la energía confiables, robustas y rápidas. Por ejemplo, para actividades de planificación como la generación, compra, mantenimiento e inversión; para la gestión de la demanda, como los programas de demand response; en el trading de electricidad, especialmente a nivel local, donde las producciones y los consumos son más estocásticos y dinámicos; una mejor predicción eléctrica también aumenta la estabilidad de la red y, por lo tanto, mejora la seguridad. Para las predicciones eléctricas a corto plazo (SLF: Short-term electricity Load Forecasting), a nivel de consumidores en el bajo voltaje, se han aplicado una gran variedad de técnicas de Inteligencia Artificial (IA) mostrando mejor rendimiento que técnicas estadísticas convencionales. Un bajo rendimiento en los modelos predictivos, puede traducirse no solamente en una solución no-óptima (baja precisión de predicción) sino también en frustración de los usuarios finales, especialmente en nuevos servicios y funcionalidades que empoderan a los ciudadanos. En este sentido, se han identificado limitaciones en modelos de predicción de energía basados en IA, como la robustez, fiabilidad, precisión i computación en el borde.
En el marco de esta investigación se propone y desarrolla una nueva versión de la metodología de Razonamiento Inductivo Difuso (FIR: Fuzzy Inductive Reasoning), que hemos llamado Flexible FIR, capaz de modelar y predecir el consumo de electricidad de una entidad con altos grados de incertidumbre e incluso con importantes carencias de información (missing values). Además, Flexible FIR tiene la capacidad de desplegarse en la nube, así como localmente, en lo que podría ser una nueva versión de Smart Meters (SM) basada en tecnología de Edge Computing (EC). En el pasado, ya se ha demostrado que FIR es una metodología muy potente para la generación de modelos y predicciones en procesos dinámicos, sin embargo, todavía no ha sido demostrado en el campo de la energía. Por tanto, el objetivo principal de esta tesis es demostrar que una versión mejorada de FIR, más robusta, fiable y precisa puede consolidarse como metodología Soft Computing (SC) de referencia para modelar y predecir sistemas dinámicos en aplicaciones para el sector de la energía y que es escalable hacia una integración de EC.
Las principales mejoras en Flexible FIR han sido, en primer lugar, el desarrollo y testeo de un algoritmo capaz de procesar los valores de entrada en un modelo FIR a pesar de que contengan Missing Values (MV). Además, dicho algoritmo también permite aprender de instancias con MV en la matriz de conocimiento de un modelo FIR, sin comprometer de manera significativa la precisión de las predicciones. En segundo lugar, se han desarrollado y testeado nuevas estrategias para la fase de predicción de un modelo FIR, comportándose mejor que los clásicos k vecinos más cercanos ante la pérdida de causalidad de una variable y dispersión de clases de salida, consiguiendo un proceso de aprendizaje y predicción más confiable y robusto. En tercer lugar, Flexible FIR aborda un desafío muy común en técnicas de SC: la óptima parametrización del modelo. En FIR, uno de los parámetros más determinantes es el número k de vecinos más cercanos que se utilizarán en la fase de predicción. La selección del mejor valor de k se plantea de manera dinámica a través del algoritmo KOS (K nearest neighbour Optimal Selection) que se ha desarrollado y probado también con datos reales. Dicho algoritmo calcula una función de membresía agregada, de todos los vecinos, con respecto a su pertenencia a las clases de salida. Mientras que con KOS el parámetro óptimo de k se calcula online, otros enfoques mediante algoritmos genéticos o aprendizaje por refuerzo, el cálculo es offline incrementando significativamente el tiempo de respuesta, siendo además difícil su implantación en escenarios de EC.
Estas mejoras hacen que Flexible FIR se adapte muy bien en aplicaciones de EC, en las que la analítica de datos en streaming debe ser fiable, robusta y con un modelo suficientemente ligero para ser ejecutado en un IoT Gateway o dispositivos más pequeños. También, en escenarios con poca conectividad donde el uso de la computación en la nube es limitado y los parámetros del modelo se calculan localmente. Con estas premisas, en esta tesis, se propone el concepto de un SM de segunda generación basado en EC, que integra Flexible FIR como módulo de predicción de electricidad ejecutándose en el dispositivo y un agente EC con capacidad para el trading de energía producida localmente. Dicho agente ejecuta un novedoso mecanismo basado en incentivos, llamado NRG-X-Change que utiliza una nueva moneda digital descentralizada para el intercambio de energía, llamada NRGcoin.On-the-fly synthesizer programming with rule learning
http://hdl.handle.net/2117/368003
On-the-fly synthesizer programming with rule learning
Paz Ortiz, Alejandro Iván
This manuscript explores automatic programming of sound synthesis algorithms within the context of the performative artistic practice known as live coding.
Writing source code in an improvised way to create music or visuals became an instrument the moment affordable computers were able to perform real-time sound synthesis with languages that keep their interpreter running.
Ever since, live coding has dealt with real time programming of synthesis algorithms.
For that purpose, one possibility is an algorithm that automatically creates variations out of a few presets selected by the user.
However, the need for real-time feedback and the small size of the data sets (which can even be collected mid-performance) are constraints that make existing automatic sound synthesizer programmers and learning algorithms unfeasible. Also, the design of such algorithms is not oriented to create variations of a sound but rather to find the synthesizer parameters that match a given one.
Other approaches create representations of the space of possible sounds, allowing the user to explore it by means of interactive evolution. Even though these systems are exploratory-oriented, they require longer run-times.
This thesis investigates inductive rule learning for on-the-fly synthesizer programming.
This approach is conceptually different from those found in both synthesizer programming and live coding literature.
Rule models offer interpretability and allow working with the parameter values of the synthesis algorithms (even with symbolic data), making preprocessing unnecessary.
RuLer, the proposed learning algorithm, receives a dataset containing user labeled combinations of parameter values of a synthesis algorithm.
Among those combinations sharing the same label, it analyses the patterns based on dissimilarity. These patterns are described as an IF-THEN rule model.
The algorithm parameters provide control to define what is considered a pattern. As patterns are the base for inducting new parameter settings, the algorithm parameters control the degree of consistency of the inducted settings respect to the original input data.
An algorithm (named FuzzyRuLer) able to extend IF-THEN rules to hyperrectangles, which in turn are used as the cores of membership functions, is presented. The resulting fuzzy rule model creates a map of the entire input feature space. For such a pursuit, the algorithm generalizes the logical rules solving the contradictions by following a maximum volume heuristics.
Across the manuscript it is discussed how, when machine learning algorithms are used as creative tools, glitches, errors or inaccuracies produced by the resulting models are sometimes desirable as they might offer novel, unpredictable results.
The evaluation of the algorithms follows two paths. The first focuses on user tests.
The second responds to the fact that this work was carried out within the computer science department and is intended to provide a broader, nonspecific domain evaluation of the algorithms performance using extrinsic benchmarks (i.e not belonging to a synthesizer's domain) for cross validation and minority oversampling.
In oversampling tasks, using imbalanced datasets, the algorithm yields state-of-the-art results. Moreover, the synthetic points produced are significantly different from those created by the other algorithms and perform (controlled) exploration of more distant regions.
Finally, accompanying the research, various performances, concerts and an album were produced with the algorithms and examples of this thesis. The reviews received and collections where the album has been featured show a positive reception within the community.
Together, these evaluations suggest that rule learning is both an effective method and a promising path for further research.; Aquest manuscrit explora la programació automàtica d’algorismes de síntesi de so dins del context de la pràctica artística performativa coneguda com a live coding. L'escriptura improvisada de codi font per crear música o visuals es va convertir en un instrument en el moment en què els ordinadors van poder realitzar síntesis de so en temps real amb llenguatges que mantenien el seu intèrpret en funcionament. D'aleshores ençà, el live coding comporta la programació en temps real d’algorismes de síntesi de so. Per a aquest propòsit, una possibilitat és tenir un algorisme que creï automàticament variacions a partir d'alguns presets seleccionats. No obstant, la necessitat de retroalimentació en temps real i la petita mida dels conjunts de dades són restriccions que fan que els programadors automàtics de sintetitzadors de so i els algorismes d’aprenentatge no siguin factibles d’utilitzar. A més, el seu disseny no està orientat a crear variacions d'un so, sinó a trobar els paràmetres del sintetitzador que aplicats a l'algorisme de síntesi produeixen un so determinat (target). Altres enfocaments creen representacions de l'espai de sons possibles, per permetre a l'usuari explorar-lo mitjançant l'evolució interactiva, però requereixen temps més llargs. Aquesta tesi investiga l'aprenentatge inductiu de regles per a la programació on-the-fly de sintetitzadors. Aquest enfocament és conceptualment diferent dels que es troben a la literatura. Els models de regles ofereixen interpretabilitat i permeten treballar amb els valors dels paràmetres dels algorismes de síntesi, sense processament previ. RuLer, l'algorisme d'aprenentatge proposat, rep dades amb combinacions etiquetades per l'usuari dels valors dels paràmetres d'un algorisme de síntesi. A continuació, analitza els patrons, basats en la dissimilitud, entre les combinacions de cada etiqueta. Aquests patrons es descriuen com un model de regles IF-THEN. Els paràmetres de l'algorisme proporcionen control per definir el que es considera un patró. Llavors, controlen el grau de consistència dels nous paràmetres de síntesi induïts respecte a les dades d'entrada originals. A continuació, es presenta un algorisme (FuzzyRuLer) capaç d’estendre les regles IF-THEN a hiperrectangles, que al seu torn s’utilitzen com a nuclis de funcions de pertinença. El model de regles difuses resultant crea un mapa complet de l'espai de la funció d'entrada. Per això, l'algorisme generalitza les regles lògiques seguint una heurística de volum màxim. Al llarg del manuscrit es discuteix com, quan s’utilitzen algorismes d’aprenentatge automàtic com a eines creatives, de vegades són desitjables glitches, errors o imprecisions produïdes pels models resultants, ja que poden oferir nous resultats imprevisibles. L'avaluació dels algorismes segueix dos camins. El primer es centra en proves d'usuari. El segon, que respon al fet que aquest treball es va dur a terme dins del departament de ciències de la computació, pretén proporcionar una avaluació més àmplia, no específica d'un domini, del rendiment dels algorismes mitjançant benchmarks extrínsecs utilitzats per cross-validation i minority oversampling. En tasques d'oversampling, mitjançant imbalanced data sets, l'algorisme proporciona resultats equiparables als de l'estat de l'art. A més, els punts sintètics produïts són significativament diferents als creats pels altres algorismes i realitzen exploracions (controlades) de regions més llunyanes; Este manuscrito explora la programación automática de algoritmos de síntesis de sonido dentro del contexto de la práctica artística performativa conocida como live coding.
La escritura de código fuente de forma improvisada para crear música o imágenes, se convirtió en un instrumento en el momento en que las computadoras asequibles pudieron realizar síntesis de sonido en tiempo real con lenguajes que mantuvieron su interprete en funcionamiento. Desde entonces, el live coding ha implicado la programación en tiempo real de algoritmos de síntesis.
Para ese propósito, una posibilidad es tener un algoritmo que cree automáticamente variaciones a partir de unos pocos presets seleccionados. Sin embargo, la necesidad de retroalimentación en tiempo real y el pequeño tamaño de los conjuntos de datos (que incluso pueden recopilarse durante la misma actuación), limitan el uso de los algoritmos existentes, tanto de programación automática de sintetizadores como de aprendizaje de máquina. Además, el diseño de dichos algoritmos no está orientado a crear variaciones de un sonido, sino a encontrar los parámetros del sintetizador que coincidan con un sonido dado.
Otros enfoques crean representaciones del espacio de posibles sonidos, para permitir al usuario explorarlo mediante evolución interactiva. Aunque estos sistemas están orientados a la exploración, requieren tiempos más largos.
Esta tesis investiga el aprendizaje inductivo de reglas para la programación de sintetizadores on-the-fly. Este enfoque es conceptualmente diferente de los que se encuentran en la literatura, tanto de programación de sintetizadores como de live coding.
Los modelos de reglas ofrecen interpretabilidad y permiten trabajar con los valores de los parámetros de los algoritmos de síntesis (incluso con datos simbólicos), haciendo innecesario el preprocesamiento.
RuLer, el algoritmo de aprendizaje propuesto, recibe un conjunto de datos que contiene combinaciones, etiquetadas por el usuario, de valores de parámetros de un algoritmo de síntesis. Luego, analiza los patrones, en función de la disimilitud, entre las combinaciones de cada etiqueta. Estos patrones se describen como un modelo de reglas lógicas IF-THEN.
Los parámetros del algoritmo proporcionan el control para definir qué se considera un patrón. Como los patrones son la base para inducir nuevas configuraciones de parámetros, los parámetros del algoritmo controlan también el grado de consistencia de las configuraciones inducidas con respecto a los datos de entrada originales.
Luego, se presenta un algoritmo (llamado FuzzyRuLer) capaz de extender las reglas lógicas tipo IF-THEN a hiperrectángulos, que a su vez se utilizan como núcleos de funciones de pertenencia. El modelo de reglas difusas resultante crea un mapa completo del espacio de las clases de entrada. Para tal fin, el algoritmo generaliza las reglas lógicas resolviendo las contradicciones utilizando una heurística de máximo volumen.
A lo largo del manuscrito se analiza cómo, cuando los algoritmos de aprendizaje automático se utilizan como herramientas creativas, los glitches, errores o inexactitudes producidas por los modelos resultantes son a veces deseables, ya que pueden ofrecer resultados novedosos e impredecibles.
La evaluación de los algoritmos sigue dos caminos. El primero se centra en pruebas de usuario. El segundo, responde al hecho de que este trabajo se llevó a cabo dentro del departamento de ciencias de la computación y está destinado a proporcionar una
evaluación más amplia, no de dominio específica, del rendimiento de los algoritmos utilizando beanchmarks extrínsecos para cross-validation y oversampling. En estas últimas pruebas, utilizando conjuntos de datos no balanceados, el algoritmo produce resultados equiparables a los del estado del arte. Además, los puntos sintéticos producidos son significativamente diferentes de los creados por los otros algoritmos y realizan una exploración (controlada) de regiones más distantes.
Finalmente, acompañando la investigación, realicé diversas presentaciones, conciertos y un ´álbum utilizando los algoritmos y ejemplos de esta tesis. Las críticas recibidas y las listas donde se ha presentado el álbum muestran una recepción positiva de la comunidad. En conjunto, estas evaluaciones sugieren que el aprendizaje de reglas es al mismo tiempo un método eficaz y un camino prometedor para futuras investigaciones.
2022-06-02T18:45:47ZPaz Ortiz, Alejandro IvánThis manuscript explores automatic programming of sound synthesis algorithms within the context of the performative artistic practice known as live coding.
Writing source code in an improvised way to create music or visuals became an instrument the moment affordable computers were able to perform real-time sound synthesis with languages that keep their interpreter running.
Ever since, live coding has dealt with real time programming of synthesis algorithms.
For that purpose, one possibility is an algorithm that automatically creates variations out of a few presets selected by the user.
However, the need for real-time feedback and the small size of the data sets (which can even be collected mid-performance) are constraints that make existing automatic sound synthesizer programmers and learning algorithms unfeasible. Also, the design of such algorithms is not oriented to create variations of a sound but rather to find the synthesizer parameters that match a given one.
Other approaches create representations of the space of possible sounds, allowing the user to explore it by means of interactive evolution. Even though these systems are exploratory-oriented, they require longer run-times.
This thesis investigates inductive rule learning for on-the-fly synthesizer programming.
This approach is conceptually different from those found in both synthesizer programming and live coding literature.
Rule models offer interpretability and allow working with the parameter values of the synthesis algorithms (even with symbolic data), making preprocessing unnecessary.
RuLer, the proposed learning algorithm, receives a dataset containing user labeled combinations of parameter values of a synthesis algorithm.
Among those combinations sharing the same label, it analyses the patterns based on dissimilarity. These patterns are described as an IF-THEN rule model.
The algorithm parameters provide control to define what is considered a pattern. As patterns are the base for inducting new parameter settings, the algorithm parameters control the degree of consistency of the inducted settings respect to the original input data.
An algorithm (named FuzzyRuLer) able to extend IF-THEN rules to hyperrectangles, which in turn are used as the cores of membership functions, is presented. The resulting fuzzy rule model creates a map of the entire input feature space. For such a pursuit, the algorithm generalizes the logical rules solving the contradictions by following a maximum volume heuristics.
Across the manuscript it is discussed how, when machine learning algorithms are used as creative tools, glitches, errors or inaccuracies produced by the resulting models are sometimes desirable as they might offer novel, unpredictable results.
The evaluation of the algorithms follows two paths. The first focuses on user tests.
The second responds to the fact that this work was carried out within the computer science department and is intended to provide a broader, nonspecific domain evaluation of the algorithms performance using extrinsic benchmarks (i.e not belonging to a synthesizer's domain) for cross validation and minority oversampling.
In oversampling tasks, using imbalanced datasets, the algorithm yields state-of-the-art results. Moreover, the synthetic points produced are significantly different from those created by the other algorithms and perform (controlled) exploration of more distant regions.
Finally, accompanying the research, various performances, concerts and an album were produced with the algorithms and examples of this thesis. The reviews received and collections where the album has been featured show a positive reception within the community.
Together, these evaluations suggest that rule learning is both an effective method and a promising path for further research.
Aquest manuscrit explora la programació automàtica d’algorismes de síntesi de so dins del context de la pràctica artística performativa coneguda com a live coding. L'escriptura improvisada de codi font per crear música o visuals es va convertir en un instrument en el moment en què els ordinadors van poder realitzar síntesis de so en temps real amb llenguatges que mantenien el seu intèrpret en funcionament. D'aleshores ençà, el live coding comporta la programació en temps real d’algorismes de síntesi de so. Per a aquest propòsit, una possibilitat és tenir un algorisme que creï automàticament variacions a partir d'alguns presets seleccionats. No obstant, la necessitat de retroalimentació en temps real i la petita mida dels conjunts de dades són restriccions que fan que els programadors automàtics de sintetitzadors de so i els algorismes d’aprenentatge no siguin factibles d’utilitzar. A més, el seu disseny no està orientat a crear variacions d'un so, sinó a trobar els paràmetres del sintetitzador que aplicats a l'algorisme de síntesi produeixen un so determinat (target). Altres enfocaments creen representacions de l'espai de sons possibles, per permetre a l'usuari explorar-lo mitjançant l'evolució interactiva, però requereixen temps més llargs. Aquesta tesi investiga l'aprenentatge inductiu de regles per a la programació on-the-fly de sintetitzadors. Aquest enfocament és conceptualment diferent dels que es troben a la literatura. Els models de regles ofereixen interpretabilitat i permeten treballar amb els valors dels paràmetres dels algorismes de síntesi, sense processament previ. RuLer, l'algorisme d'aprenentatge proposat, rep dades amb combinacions etiquetades per l'usuari dels valors dels paràmetres d'un algorisme de síntesi. A continuació, analitza els patrons, basats en la dissimilitud, entre les combinacions de cada etiqueta. Aquests patrons es descriuen com un model de regles IF-THEN. Els paràmetres de l'algorisme proporcionen control per definir el que es considera un patró. Llavors, controlen el grau de consistència dels nous paràmetres de síntesi induïts respecte a les dades d'entrada originals. A continuació, es presenta un algorisme (FuzzyRuLer) capaç d’estendre les regles IF-THEN a hiperrectangles, que al seu torn s’utilitzen com a nuclis de funcions de pertinença. El model de regles difuses resultant crea un mapa complet de l'espai de la funció d'entrada. Per això, l'algorisme generalitza les regles lògiques seguint una heurística de volum màxim. Al llarg del manuscrit es discuteix com, quan s’utilitzen algorismes d’aprenentatge automàtic com a eines creatives, de vegades són desitjables glitches, errors o imprecisions produïdes pels models resultants, ja que poden oferir nous resultats imprevisibles. L'avaluació dels algorismes segueix dos camins. El primer es centra en proves d'usuari. El segon, que respon al fet que aquest treball es va dur a terme dins del departament de ciències de la computació, pretén proporcionar una avaluació més àmplia, no específica d'un domini, del rendiment dels algorismes mitjançant benchmarks extrínsecs utilitzats per cross-validation i minority oversampling. En tasques d'oversampling, mitjançant imbalanced data sets, l'algorisme proporciona resultats equiparables als de l'estat de l'art. A més, els punts sintètics produïts són significativament diferents als creats pels altres algorismes i realitzen exploracions (controlades) de regions més llunyanes
Este manuscrito explora la programación automática de algoritmos de síntesis de sonido dentro del contexto de la práctica artística performativa conocida como live coding.
La escritura de código fuente de forma improvisada para crear música o imágenes, se convirtió en un instrumento en el momento en que las computadoras asequibles pudieron realizar síntesis de sonido en tiempo real con lenguajes que mantuvieron su interprete en funcionamiento. Desde entonces, el live coding ha implicado la programación en tiempo real de algoritmos de síntesis.
Para ese propósito, una posibilidad es tener un algoritmo que cree automáticamente variaciones a partir de unos pocos presets seleccionados. Sin embargo, la necesidad de retroalimentación en tiempo real y el pequeño tamaño de los conjuntos de datos (que incluso pueden recopilarse durante la misma actuación), limitan el uso de los algoritmos existentes, tanto de programación automática de sintetizadores como de aprendizaje de máquina. Además, el diseño de dichos algoritmos no está orientado a crear variaciones de un sonido, sino a encontrar los parámetros del sintetizador que coincidan con un sonido dado.
Otros enfoques crean representaciones del espacio de posibles sonidos, para permitir al usuario explorarlo mediante evolución interactiva. Aunque estos sistemas están orientados a la exploración, requieren tiempos más largos.
Esta tesis investiga el aprendizaje inductivo de reglas para la programación de sintetizadores on-the-fly. Este enfoque es conceptualmente diferente de los que se encuentran en la literatura, tanto de programación de sintetizadores como de live coding.
Los modelos de reglas ofrecen interpretabilidad y permiten trabajar con los valores de los parámetros de los algoritmos de síntesis (incluso con datos simbólicos), haciendo innecesario el preprocesamiento.
RuLer, el algoritmo de aprendizaje propuesto, recibe un conjunto de datos que contiene combinaciones, etiquetadas por el usuario, de valores de parámetros de un algoritmo de síntesis. Luego, analiza los patrones, en función de la disimilitud, entre las combinaciones de cada etiqueta. Estos patrones se describen como un modelo de reglas lógicas IF-THEN.
Los parámetros del algoritmo proporcionan el control para definir qué se considera un patrón. Como los patrones son la base para inducir nuevas configuraciones de parámetros, los parámetros del algoritmo controlan también el grado de consistencia de las configuraciones inducidas con respecto a los datos de entrada originales.
Luego, se presenta un algoritmo (llamado FuzzyRuLer) capaz de extender las reglas lógicas tipo IF-THEN a hiperrectángulos, que a su vez se utilizan como núcleos de funciones de pertenencia. El modelo de reglas difusas resultante crea un mapa completo del espacio de las clases de entrada. Para tal fin, el algoritmo generaliza las reglas lógicas resolviendo las contradicciones utilizando una heurística de máximo volumen.
A lo largo del manuscrito se analiza cómo, cuando los algoritmos de aprendizaje automático se utilizan como herramientas creativas, los glitches, errores o inexactitudes producidas por los modelos resultantes son a veces deseables, ya que pueden ofrecer resultados novedosos e impredecibles.
La evaluación de los algoritmos sigue dos caminos. El primero se centra en pruebas de usuario. El segundo, responde al hecho de que este trabajo se llevó a cabo dentro del departamento de ciencias de la computación y está destinado a proporcionar una
evaluación más amplia, no de dominio específica, del rendimiento de los algoritmos utilizando beanchmarks extrínsecos para cross-validation y oversampling. En estas últimas pruebas, utilizando conjuntos de datos no balanceados, el algoritmo produce resultados equiparables a los del estado del arte. Además, los puntos sintéticos producidos son significativamente diferentes de los creados por los otros algoritmos y realizan una exploración (controlada) de regiones más distantes.
Finalmente, acompañando la investigación, realicé diversas presentaciones, conciertos y un ´álbum utilizando los algoritmos y ejemplos de esta tesis. Las críticas recibidas y las listas donde se ha presentado el álbum muestran una recepción positiva de la comunidad. En conjunto, estas evaluaciones sugieren que el aprendizaje de reglas es al mismo tiempo un método eficaz y un camino prometedor para futuras investigaciones.A novel computer Scrabble engine based on probability that performs at championship leve
http://hdl.handle.net/2117/367333
A novel computer Scrabble engine based on probability that performs at championship leve
González Romero, Alejandro
The thesis starts by giving an introduction to the game of Scrabble, then mentions state-of-the-art computer Scrabble programs and presents some characteristics of our developed Scrabble engine Heuri. Some brief notions of Game Theory are given, along with history of some games in Artificial Intelligence; the fundamental algorithms for game playing, as well as state-of-the-art engines and the algorithms used by them, are presented. Basic elements of Scrabble, such as the Scrabble rules and the letter distribution, are given. Some history and state-of-the-art of Computer Scrabble are commented. For instance, the generation methods of valid moves based on the data structure DAWG (Directed Acyclic Word Graph) and also the variant GADDAG are recalled. These methods are used by the state-of-the-art Scrabble engines Quackle and Maven.
Then, the contributions of this thesis are presented. A Spanish lexicon for playing Scrabble has been built that is used by Heuri engines. From this construction, a detailed study and classification of Spanish irregular verbs has been provided. A novel Scrabble move generator based on anagrams has been designed and implemented, which has been shown to be faster than the GADDAG-based generator used in Quackle engine. This method is similar to the way Scrabble players look for a move, searching for anagrams and a spot to play on the board.
Next, we address the evaluation of moves when playing Scrabble; the quality of your game depends on deciding what move should be played given a certain board and a rack with tiles. This decision was made initially by Heuri trying several heuristics which ended up with the construction of several engines. We give the explanation of the heuristics used in these engines, all of them based on probabilities. All these initial heuristic evaluation functions (up to six) do not use forward looking, they are static evaluators. They have shown, after testing, an increasing playing performance, which allow Heuri to beat (top-level) expert human players in Spanish, without the need of using sampling and simulation techniques. These heuristics mainly consider the possibility of achieving a bingo on the actual board, whereas Quackle used pre-calculated values (superleaves) regardless of the latter. Then, in order to improve the quality of play of Heuri even more, some additional engines are presented in which look ahead is employed. The HeuriSamp engine, which evaluates a 2-ply search, permits to obtain a defense value. The HeuriSim engine uses a 3-ply adversarial search tree; it contemplates the best first moves (according to Heuri sixth engine heuristic) from Player 1, then some replies to these moves (Player 2 moves) and then some replies to these replies (Player 1 moves). Finally, to improve these engines, opponent modeling is used; this technique makes predictions on some of the opponents' tiles based on the last play made by the opponent.
We present results obtained by playing thousands of Heuri vs Heuri games, collecting important information: general statistics of Scrabble game, like a 16 point handicap of the second player, and word statistics in Spanish, like a list of the most frequently played bingos (words that use all 7 tiles of a player's rack). In addition, we present results of matches played by Heuri against top-level humans in Spanish and results obtained by massive playing of different Heuri engines against the Quackle engine in Spanish, French and English. All these match results demonstrate the championship level performance of the Heuri engines in the three languages, especially of the last developed engine that includes simulation and opponent modeling techniques. From here, conclusions of the thesis are drawn and work for the future is envisaged.; La tesi comença introduint el joc del Scrabble, esmentant els programes d’ordinador de l’estat de l’art que juguen Scrabble, i presentant algunes característiques del motor de joc de Scrabble que s’ha desenvolupat anomenat Heuri. Es donen breus nocions de la Teoria de Jocs, junt amb la història d’alguns jocs en Intel·ligència Artificial; es presenten els algorismes fonamentals per jugar, així com els motors de joc de l’estat de l’art en diferents jocs i els algorismes que usen. Es comenta també la història i estat de l’art del Computer Scrabble. Es recorden els mètodes de generació de moviments vàlids basats en l’estructura de dades DAWG (Directed Acyclic Word Graph) i en la variant GADDAG, que són usats pels motors de joc de Scrabble Quackle i Maven. A continuació es presenten les contribucions de la tesi. S’ha construït un diccionari per jugar Scrabble en espanyol, el qual és usat per les diferentes versions del motor de joc Heuri. S’ha fet un estudi detallat i una classificació dels verbs irregulars en espanyol. S’ha dissenyat i implementat un nou generador de moviments de Scrabble basat en anagrames, que ha demostrat ser més ràpid que el generador basat en GADDAG usat al motor Quackle. Aquest mètode és similar a la manera en la que els jugadors de Scrabble cerquen un moviment, buscant anagrames i un lloc del tauler on col·locar-los. Seguidament, es tracta l’evacuació dels moviments quan es juga Scrabble; la qualitat del joc depèn de decidir quin moviment cal jugar donat un cert tauler i un faristol amb fitxes. En Heuri, inicialment, aquesta decisió es va prendre provant diferents heurístiques que van dur a la construcció de diversos motors. Donem l’explicació de les heurístiques usades en aquests motors, totes elles basades en probabilitats. Totes aquestes funcions d’avaluació heurística inicials (fins a sis) no miren cap endavant, fan avaluacions estàtiques. Han mostrat, després de ser provades, un rendiment creixent de nivell de joc, el que ha permès Heuri derrotar a jugadors humans experts de màxim nivell en espanyol, sense necessitat d’usar tècniques de mostreig i de simulació. Aquestes heurístiques consideren principalment la possibilitat d’aconseguir un bingo en el tauler actual, mentre que Quackle usa uns valors pre-calculats (superleaves) que no tenen en compte l’anterior. Amb l’objectiu de millorar la qualitat de joc de Heuri encara més, es presenten uns motors de joc addicionals que sí miren cap endavant. El motor HeuriSamp, que realitza una cerca 2-ply, permet obtenir un valor de defensa. El motor HeuriSim usa un arbre de cerca 3-ply; contempla els millors primers moviments (d’acord al sisè motor heurístic d’Heuri) del Jugador 1, després algunes respostes a aquests moviments (moviments del Jugador 2) i llavors algunes rèpliques a aquestes respostes (moviments del Jugador 1). Finalment, per a millorar aquests motors, es proposa usar modelatge d’oponents; aquesta tècnica realitza prediccions d’algunes de les fitxes de l’oponent basant-se en l’últim moviment jugat per aquest. Es presenten resultats obtinguts de jugar milers de partides d’Heuri contra Heuri, que recullen important informació: estadístiques generals del joc del Scrabble, com un handicap de 16 punts del segon jugador, i estadístiques de paraules en espanyol, com una llista dels bingos (paraules que usen les 7 fitxes del faristol d’un jugador) que es juguen més freqüentment. A més, es presenten resultats de partides jugades per Heuri contra jugadors humans de màxim nivell en espanyol i resultats obtinguts d'un gran nombre d’enfrontaments entre els diferents motors de joc d’Heuri contra el motor Quackle en espanyol, francès i anglès. Tots aquests resultats de partides jugades demostren el rendiment de nivell de campió dels motors d’Heuri en les tres llengües, especialment el de l’últim motor desenvolupat que inclou tècniques de de simulació i modelatge d'oponents. A partir d'aquí s'extreuen les conclusions de la tesi i es preveu treballar de cara al futur.
2022-05-12T18:44:27ZGonzález Romero, AlejandroThe thesis starts by giving an introduction to the game of Scrabble, then mentions state-of-the-art computer Scrabble programs and presents some characteristics of our developed Scrabble engine Heuri. Some brief notions of Game Theory are given, along with history of some games in Artificial Intelligence; the fundamental algorithms for game playing, as well as state-of-the-art engines and the algorithms used by them, are presented. Basic elements of Scrabble, such as the Scrabble rules and the letter distribution, are given. Some history and state-of-the-art of Computer Scrabble are commented. For instance, the generation methods of valid moves based on the data structure DAWG (Directed Acyclic Word Graph) and also the variant GADDAG are recalled. These methods are used by the state-of-the-art Scrabble engines Quackle and Maven.
Then, the contributions of this thesis are presented. A Spanish lexicon for playing Scrabble has been built that is used by Heuri engines. From this construction, a detailed study and classification of Spanish irregular verbs has been provided. A novel Scrabble move generator based on anagrams has been designed and implemented, which has been shown to be faster than the GADDAG-based generator used in Quackle engine. This method is similar to the way Scrabble players look for a move, searching for anagrams and a spot to play on the board.
Next, we address the evaluation of moves when playing Scrabble; the quality of your game depends on deciding what move should be played given a certain board and a rack with tiles. This decision was made initially by Heuri trying several heuristics which ended up with the construction of several engines. We give the explanation of the heuristics used in these engines, all of them based on probabilities. All these initial heuristic evaluation functions (up to six) do not use forward looking, they are static evaluators. They have shown, after testing, an increasing playing performance, which allow Heuri to beat (top-level) expert human players in Spanish, without the need of using sampling and simulation techniques. These heuristics mainly consider the possibility of achieving a bingo on the actual board, whereas Quackle used pre-calculated values (superleaves) regardless of the latter. Then, in order to improve the quality of play of Heuri even more, some additional engines are presented in which look ahead is employed. The HeuriSamp engine, which evaluates a 2-ply search, permits to obtain a defense value. The HeuriSim engine uses a 3-ply adversarial search tree; it contemplates the best first moves (according to Heuri sixth engine heuristic) from Player 1, then some replies to these moves (Player 2 moves) and then some replies to these replies (Player 1 moves). Finally, to improve these engines, opponent modeling is used; this technique makes predictions on some of the opponents' tiles based on the last play made by the opponent.
We present results obtained by playing thousands of Heuri vs Heuri games, collecting important information: general statistics of Scrabble game, like a 16 point handicap of the second player, and word statistics in Spanish, like a list of the most frequently played bingos (words that use all 7 tiles of a player's rack). In addition, we present results of matches played by Heuri against top-level humans in Spanish and results obtained by massive playing of different Heuri engines against the Quackle engine in Spanish, French and English. All these match results demonstrate the championship level performance of the Heuri engines in the three languages, especially of the last developed engine that includes simulation and opponent modeling techniques. From here, conclusions of the thesis are drawn and work for the future is envisaged.
La tesi comença introduint el joc del Scrabble, esmentant els programes d’ordinador de l’estat de l’art que juguen Scrabble, i presentant algunes característiques del motor de joc de Scrabble que s’ha desenvolupat anomenat Heuri. Es donen breus nocions de la Teoria de Jocs, junt amb la història d’alguns jocs en Intel·ligència Artificial; es presenten els algorismes fonamentals per jugar, així com els motors de joc de l’estat de l’art en diferents jocs i els algorismes que usen. Es comenta també la història i estat de l’art del Computer Scrabble. Es recorden els mètodes de generació de moviments vàlids basats en l’estructura de dades DAWG (Directed Acyclic Word Graph) i en la variant GADDAG, que són usats pels motors de joc de Scrabble Quackle i Maven. A continuació es presenten les contribucions de la tesi. S’ha construït un diccionari per jugar Scrabble en espanyol, el qual és usat per les diferentes versions del motor de joc Heuri. S’ha fet un estudi detallat i una classificació dels verbs irregulars en espanyol. S’ha dissenyat i implementat un nou generador de moviments de Scrabble basat en anagrames, que ha demostrat ser més ràpid que el generador basat en GADDAG usat al motor Quackle. Aquest mètode és similar a la manera en la que els jugadors de Scrabble cerquen un moviment, buscant anagrames i un lloc del tauler on col·locar-los. Seguidament, es tracta l’evacuació dels moviments quan es juga Scrabble; la qualitat del joc depèn de decidir quin moviment cal jugar donat un cert tauler i un faristol amb fitxes. En Heuri, inicialment, aquesta decisió es va prendre provant diferents heurístiques que van dur a la construcció de diversos motors. Donem l’explicació de les heurístiques usades en aquests motors, totes elles basades en probabilitats. Totes aquestes funcions d’avaluació heurística inicials (fins a sis) no miren cap endavant, fan avaluacions estàtiques. Han mostrat, després de ser provades, un rendiment creixent de nivell de joc, el que ha permès Heuri derrotar a jugadors humans experts de màxim nivell en espanyol, sense necessitat d’usar tècniques de mostreig i de simulació. Aquestes heurístiques consideren principalment la possibilitat d’aconseguir un bingo en el tauler actual, mentre que Quackle usa uns valors pre-calculats (superleaves) que no tenen en compte l’anterior. Amb l’objectiu de millorar la qualitat de joc de Heuri encara més, es presenten uns motors de joc addicionals que sí miren cap endavant. El motor HeuriSamp, que realitza una cerca 2-ply, permet obtenir un valor de defensa. El motor HeuriSim usa un arbre de cerca 3-ply; contempla els millors primers moviments (d’acord al sisè motor heurístic d’Heuri) del Jugador 1, després algunes respostes a aquests moviments (moviments del Jugador 2) i llavors algunes rèpliques a aquestes respostes (moviments del Jugador 1). Finalment, per a millorar aquests motors, es proposa usar modelatge d’oponents; aquesta tècnica realitza prediccions d’algunes de les fitxes de l’oponent basant-se en l’últim moviment jugat per aquest. Es presenten resultats obtinguts de jugar milers de partides d’Heuri contra Heuri, que recullen important informació: estadístiques generals del joc del Scrabble, com un handicap de 16 punts del segon jugador, i estadístiques de paraules en espanyol, com una llista dels bingos (paraules que usen les 7 fitxes del faristol d’un jugador) que es juguen més freqüentment. A més, es presenten resultats de partides jugades per Heuri contra jugadors humans de màxim nivell en espanyol i resultats obtinguts d'un gran nombre d’enfrontaments entre els diferents motors de joc d’Heuri contra el motor Quackle en espanyol, francès i anglès. Tots aquests resultats de partides jugades demostren el rendiment de nivell de campió dels motors d’Heuri en les tres llengües, especialment el de l’últim motor desenvolupat que inclou tècniques de de simulació i modelatge d'oponents. A partir d'aquí s'extreuen les conclusions de la tesi i es preveu treballar de cara al futur.