Màster universitari en Automàtica i Robòtica
http://hdl.handle.net/2099.1/13038
2024-03-28T12:27:24ZImplementation of multiple collaborative agents using reinforcement learning
http://hdl.handle.net/2117/401642
Implementation of multiple collaborative agents using reinforcement learning
Byberg, Filip
The aim of this thesis is to explore the possibilities and capabilities of machine learning (ML), more specifically reinforcement learning (RL) within a 3D digital environment. By utilizing the Unity’s ML-Agents toolkit, the aim is to showcase the user-friendliness of the implementation and promote the use of the applications, emphasizing simplicity and logic. The environment takes place in Unity, where the tasks consist of training multiple agents within the same scene, to act cooperatively in order to achieve a desired behav- ior. The project consists of providing behaviour guidelines for the agents and exploring strategies to achieve better performance. An online visualization of the final product can be found in the following link. This link contains an online server where the project is hosted in the form of an interactive game. Its possible to scroll trough the different scenes of the game by pressing "1", "2", "3", "4" or "5" on your keyboard. Each scene contains a result that is relevant in this thesis. As a bonus, by pressing "5" on your keyboard, a scene where you can control one of the characters exist: https://filipbyberg.itch.io/2v2-volleyball-rl-ml-agents-showcase
2024-02-09T13:56:03ZByberg, FilipThe aim of this thesis is to explore the possibilities and capabilities of machine learning (ML), more specifically reinforcement learning (RL) within a 3D digital environment. By utilizing the Unity’s ML-Agents toolkit, the aim is to showcase the user-friendliness of the implementation and promote the use of the applications, emphasizing simplicity and logic. The environment takes place in Unity, where the tasks consist of training multiple agents within the same scene, to act cooperatively in order to achieve a desired behav- ior. The project consists of providing behaviour guidelines for the agents and exploring strategies to achieve better performance. An online visualization of the final product can be found in the following link. This link contains an online server where the project is hosted in the form of an interactive game. Its possible to scroll trough the different scenes of the game by pressing "1", "2", "3", "4" or "5" on your keyboard. Each scene contains a result that is relevant in this thesis. As a bonus, by pressing "5" on your keyboard, a scene where you can control one of the characters exist: https://filipbyberg.itch.io/2v2-volleyball-rl-ml-agents-showcaseAutomated insert positioning system to increase efficiency and accuracy in an ABB clipping station
http://hdl.handle.net/2117/397252
Automated insert positioning system to increase efficiency and accuracy in an ABB clipping station
Francés Vigatà, Adrià
En el context de les instal·lacions robotitzades d'última generació, aquest projecte s'enfoca al desenvolupament d'un sistema automatitzat de posicionament d'inserts. L’objectiu principal és millorar l’eficiència de l’estació de clipatge de l’empresa ABB. Per aconseguir això, s'ha dissenyat un sistema que utilitza un robot ABB i una sèrie de dispositius, incloent- hi càmeres, safates vibratòries i tolves. El sistema es basa en la comunicació entre aquests dispositius, coordinant les seves accions per assolir la tasca de clipatge de manera eficient. La càmera té un paper fonamental en proporcionar informació sobre la disposició dels inserts a la safata vibratòria. Aquesta informació s'utilitza per guiar el robot a la selecció i col·locació precisa dels inserts en la seva posició final. El projecte s'ha desenvolupat amb un enfocament a la programació del robot ABB, utilitzant el llenguatge RAPID. S'han implementat rutines i seqüències de moviment perquè el robot pugui recollir i col·locar els inserts de manera eficient. A més, s'ha creat una interfície de control que permet ajustar els paràmetres del sistema, com ara les seqüències de vibració de la safata vibratòria i els òfsets de recollida dels inserits. L'estructura de connexions de la controladora OmniCore d'ABB ha estat clau en el funcionament del sistema. S'ha establert una distinció entre xarxes públiques i privades per garantir un control adequat de qui té accés a les dades i senyals dels diferents dispositius. Al llarg del projecte, s'han superat diversos desafiaments tècnics, com ara el calibratge de la càmera i l'optimització de les seqüències de vibració de la safata. S'ha treballat en la creació d'una interfície d'usuari intuïtiva que facilita la configuració i l'ajust de paràmetres. En conclusió, aquest projecte ha desenvolupat un sistema automatitzat de posicionament d'inserits que millora significativament l'eficiència de l'estació de clipatge d'ABB. S'ha aplicat una programació efectiva al robot, s'ha establert una estructura de connexions sòlida i s'ha creat una interfície de control versàtil. El projecte representa un aprenentatge valuós en el camp de la robòtica i l'automatització industrial, i estableix les bases per a futures millores i desenvolupaments en aquest camp; En el contexto de las instalaciones robotizadas de última generación, este proyecto se enfoca en el desarrollo de un sistema automatizado de posicionamiento de insertos. El objetivo principal es mejorar la eficiencia de una estación de clipaje de la empresa ABB. Para lograr esto, se ha diseñado un sistema que utiliza un robot ABB y una serie de dispositivos, incluyendo cámaras, bandejas vibratorias y hoppers. El sistema se basa en la comunicación entre estos dispositivos, coordinando sus acciones para lograr la tarea de clipaje de manera eficiente. La cámara desempeña un papel fundamental al proporcionar información sobre la disposición de los insertos en la bandeja vibratoria. Esta información se utiliza para guiar al robot en la selección precisa de los insertos. El proyecto se ha desarrollado con un enfoque en la programación del robot ABB, utilizando el lenguaje RAPID. Se han implementado rutinas y secuencias de movimiento para que el robot pueda recoger y colocar los insertos de manera eficiente. Además, se ha creado una interfaz de control que permite ajustar los parámetros del sistema, como las secuencias de vibración de la bandeja vibratoria y los offsets de recogida de los insertos. La estructura de conexiones de la controladora OmniCore de ABB ha sido clave en el funcionamiento del sistema. Se ha establecido una distinción entre redes pública y privada para garantizar un control adecuado de quién tiene acceso a los datos y señales de los diferentes dispositivos. A lo largo del proyecto, se han superado varios desafíos técnicos, como la calibración de la cámara y la optimización de las secuencias de vibración de la bandeja. Se ha trabajado en la creación de una interfaz de usuario intuitiva que facilita la configuración y ajuste de parámetros. En conclusión, este proyecto ha logrado desarrollar un sistema automatizado de posicionamiento de insertos que mejora significativamente la eficiencia de la estación de clipaje de ABB. Se ha aplicado una programación efectiva en el robot, se ha establecido una estructura de conexiones sólida y se ha creado una interfaz de control versátil. El proyecto representa un aprendizaje valioso en el campo de la robótica y la automatización industrial, y sienta las bases para futuras mejoras y desarrollos en este campo; In the context of state-of-the-art robotic installations, this project focuses on the development of an automated insert positioning system. The main objective is to improve the efficiency of a clipping station of the ABB company. To achieve this, a system has been designed using an ABB robot and a series of devices, including cameras, vibrating trays and hoppers. The system relies on communication between these devices, coordinating their actions to achieve the clipping task efficiently. The camera plays a key role in providing information about the arrangement of the inserts in the vibratory tray. This information is used to guide the robot in the precise selection of the inserts. The project has been developed with a focus on programming the ABB robot, using the RAPID language. Routines and motion sequences have been implemented to enable the robot to pick and place the inserts efficiently. In addition, a control interface has been created to allow adjustment of system parameters such as vibratory tray vibration sequences and insert pick-up offsets. The connection structure of ABB's OmniCore controller has been key to the operation of the system. A distinction has been made between public and private networks to ensure proper control of who has access to data and signals from the different devices. Throughout the project, several technical challenges have been overcome, such as camera calibration and optimization of the tray vibration sequences. Work has been done to create an intuitive user interface that facilitates the configuration and adjustment of parameters. In conclusion, this project has succeeded in developing an automated insert positioning system that significantly improves the efficiency of ABB's clipping station. Effective programming has been applied to the robot, a robust connection structure has been established, and a versatile control interface has been created. The project represents valuable learning in the field of robotics and industrial automation, and lays the foundation for future improvements and developments in this field
2023-11-29T10:31:08ZFrancés Vigatà, AdriàEn el context de les instal·lacions robotitzades d'última generació, aquest projecte s'enfoca al desenvolupament d'un sistema automatitzat de posicionament d'inserts. L’objectiu principal és millorar l’eficiència de l’estació de clipatge de l’empresa ABB. Per aconseguir això, s'ha dissenyat un sistema que utilitza un robot ABB i una sèrie de dispositius, incloent- hi càmeres, safates vibratòries i tolves. El sistema es basa en la comunicació entre aquests dispositius, coordinant les seves accions per assolir la tasca de clipatge de manera eficient. La càmera té un paper fonamental en proporcionar informació sobre la disposició dels inserts a la safata vibratòria. Aquesta informació s'utilitza per guiar el robot a la selecció i col·locació precisa dels inserts en la seva posició final. El projecte s'ha desenvolupat amb un enfocament a la programació del robot ABB, utilitzant el llenguatge RAPID. S'han implementat rutines i seqüències de moviment perquè el robot pugui recollir i col·locar els inserts de manera eficient. A més, s'ha creat una interfície de control que permet ajustar els paràmetres del sistema, com ara les seqüències de vibració de la safata vibratòria i els òfsets de recollida dels inserits. L'estructura de connexions de la controladora OmniCore d'ABB ha estat clau en el funcionament del sistema. S'ha establert una distinció entre xarxes públiques i privades per garantir un control adequat de qui té accés a les dades i senyals dels diferents dispositius. Al llarg del projecte, s'han superat diversos desafiaments tècnics, com ara el calibratge de la càmera i l'optimització de les seqüències de vibració de la safata. S'ha treballat en la creació d'una interfície d'usuari intuïtiva que facilita la configuració i l'ajust de paràmetres. En conclusió, aquest projecte ha desenvolupat un sistema automatitzat de posicionament d'inserits que millora significativament l'eficiència de l'estació de clipatge d'ABB. S'ha aplicat una programació efectiva al robot, s'ha establert una estructura de connexions sòlida i s'ha creat una interfície de control versàtil. El projecte representa un aprenentatge valuós en el camp de la robòtica i l'automatització industrial, i estableix les bases per a futures millores i desenvolupaments en aquest camp
En el contexto de las instalaciones robotizadas de última generación, este proyecto se enfoca en el desarrollo de un sistema automatizado de posicionamiento de insertos. El objetivo principal es mejorar la eficiencia de una estación de clipaje de la empresa ABB. Para lograr esto, se ha diseñado un sistema que utiliza un robot ABB y una serie de dispositivos, incluyendo cámaras, bandejas vibratorias y hoppers. El sistema se basa en la comunicación entre estos dispositivos, coordinando sus acciones para lograr la tarea de clipaje de manera eficiente. La cámara desempeña un papel fundamental al proporcionar información sobre la disposición de los insertos en la bandeja vibratoria. Esta información se utiliza para guiar al robot en la selección precisa de los insertos. El proyecto se ha desarrollado con un enfoque en la programación del robot ABB, utilizando el lenguaje RAPID. Se han implementado rutinas y secuencias de movimiento para que el robot pueda recoger y colocar los insertos de manera eficiente. Además, se ha creado una interfaz de control que permite ajustar los parámetros del sistema, como las secuencias de vibración de la bandeja vibratoria y los offsets de recogida de los insertos. La estructura de conexiones de la controladora OmniCore de ABB ha sido clave en el funcionamiento del sistema. Se ha establecido una distinción entre redes pública y privada para garantizar un control adecuado de quién tiene acceso a los datos y señales de los diferentes dispositivos. A lo largo del proyecto, se han superado varios desafíos técnicos, como la calibración de la cámara y la optimización de las secuencias de vibración de la bandeja. Se ha trabajado en la creación de una interfaz de usuario intuitiva que facilita la configuración y ajuste de parámetros. En conclusión, este proyecto ha logrado desarrollar un sistema automatizado de posicionamiento de insertos que mejora significativamente la eficiencia de la estación de clipaje de ABB. Se ha aplicado una programación efectiva en el robot, se ha establecido una estructura de conexiones sólida y se ha creado una interfaz de control versátil. El proyecto representa un aprendizaje valioso en el campo de la robótica y la automatización industrial, y sienta las bases para futuras mejoras y desarrollos en este campo
In the context of state-of-the-art robotic installations, this project focuses on the development of an automated insert positioning system. The main objective is to improve the efficiency of a clipping station of the ABB company. To achieve this, a system has been designed using an ABB robot and a series of devices, including cameras, vibrating trays and hoppers. The system relies on communication between these devices, coordinating their actions to achieve the clipping task efficiently. The camera plays a key role in providing information about the arrangement of the inserts in the vibratory tray. This information is used to guide the robot in the precise selection of the inserts. The project has been developed with a focus on programming the ABB robot, using the RAPID language. Routines and motion sequences have been implemented to enable the robot to pick and place the inserts efficiently. In addition, a control interface has been created to allow adjustment of system parameters such as vibratory tray vibration sequences and insert pick-up offsets. The connection structure of ABB's OmniCore controller has been key to the operation of the system. A distinction has been made between public and private networks to ensure proper control of who has access to data and signals from the different devices. Throughout the project, several technical challenges have been overcome, such as camera calibration and optimization of the tray vibration sequences. Work has been done to create an intuitive user interface that facilitates the configuration and adjustment of parameters. In conclusion, this project has succeeded in developing an automated insert positioning system that significantly improves the efficiency of ABB's clipping station. Effective programming has been applied to the robot, a robust connection structure has been established, and a versatile control interface has been created. The project represents valuable learning in the field of robotics and industrial automation, and lays the foundation for future improvements and developments in this fieldAutomation of a syringe assembly line using the Magnemotion transport system
http://hdl.handle.net/2117/397207
Automation of a syringe assembly line using the Magnemotion transport system
Granero Molinedo, Aleix
The rapid advancement of technologies such as industrial automation has driven the need for better methods and tools to optimize, monitor, and control industrial systems. This rapid growth of all these technologies means that companies in the industrial world are constantly upgrading to the latest technology on the market in order to remain competitive, as there is fierce competition both locally and globally. One of the technologies that is becoming increasingly popular in the pharmaceutical industry is Magnemotion, a conveyor system developed by Rockwell Automation based on electromagnetism that is designed to move light loads quickly and efficiently. The current automation project carries out the study, design and simulation of a syringe assembly line using the Magnemotion transport system. It is based on a real project, scheduled for completion in summer 2024, and must therefore meet all the requirements imposed by the client. Before arriving at the solution, a digital twin is developed using Rockwell Automation's Arena software in order to be able to simulate the model without touching any hardware elements. The proposed solution consists of a SCADA system controlled by a GuardLogix PLC (emulator) that exchanges information with an HMI developed using Zenon and with a Magnemotion controller node that acts as a simulator. In the final part, statistical production data are analysed and compared with the data obtained using the Arena model to determine the accuracy of the previously developed digital twin
2023-11-29T09:20:29ZGranero Molinedo, AleixThe rapid advancement of technologies such as industrial automation has driven the need for better methods and tools to optimize, monitor, and control industrial systems. This rapid growth of all these technologies means that companies in the industrial world are constantly upgrading to the latest technology on the market in order to remain competitive, as there is fierce competition both locally and globally. One of the technologies that is becoming increasingly popular in the pharmaceutical industry is Magnemotion, a conveyor system developed by Rockwell Automation based on electromagnetism that is designed to move light loads quickly and efficiently. The current automation project carries out the study, design and simulation of a syringe assembly line using the Magnemotion transport system. It is based on a real project, scheduled for completion in summer 2024, and must therefore meet all the requirements imposed by the client. Before arriving at the solution, a digital twin is developed using Rockwell Automation's Arena software in order to be able to simulate the model without touching any hardware elements. The proposed solution consists of a SCADA system controlled by a GuardLogix PLC (emulator) that exchanges information with an HMI developed using Zenon and with a Magnemotion controller node that acts as a simulator. In the final part, statistical production data are analysed and compared with the data obtained using the Arena model to determine the accuracy of the previously developed digital twinState estimation of a reducer order activated sludge model
http://hdl.handle.net/2117/397078
State estimation of a reducer order activated sludge model
Haya Perez, Laura
Wastewater treatment is a complex process that removes and eliminates contaminants from wastewater and converts them into an effluent suitable for reintroduction into the water cycle. The subsequent discharge of this effluent can have a significant impact on the environment, and this process is typically carried out within Wastewater Treatment Plants (WWTPs). The waste residue generated during the treatment process is known as sludge and it is potentially hazardous. Hence, a primary objective of the WWTP is to process this sludge, ensuring it meets the necessary conditions for its intended use, i.e., a sewage plant. The goal of this project is the development and simulation of a WWTP by the implementation of a reduced order model. Furthermore, to be applied into a real-live application, which consisted of modelling the reduced model to be able to apply estimation methods to know the unknown components (or states) behavior in the plant. The inputs and measurements of those states were also unknown. Besides, the reduced model had to still represent the main processes and components from the original model without changing the behavior. To address the problem, extensive research on reduced-order models was undertaken to identify the most suitable model for practical application. The model used had to be implemented and verified to still maintain the same behavior. Later, applied the Extended Kalman Filter (EKF) algorithm to estimate those unknown states. The Unknown Input Observer (UIO) and augmentation plant algorithms were implemented into the filter to better estimate all the states. In the project, the reduced-order model will be explored in three versions: non-linear, linear, and state space models, and these will be compared with the behavior of the actual model to validate their correct behavior. Then, the EKF, EKF with the UIO, and the EKF with the augmented plant will be tested in different scenarios, alternating between the unknown measurements and inputs of the states to be estimated, to find the best solution to the problem. Moreover, several key performance indices (KPIs) will be computed to assess and compare the results, ultimately allowing for the selection of the most effective solution
2023-11-27T13:50:55ZHaya Perez, LauraWastewater treatment is a complex process that removes and eliminates contaminants from wastewater and converts them into an effluent suitable for reintroduction into the water cycle. The subsequent discharge of this effluent can have a significant impact on the environment, and this process is typically carried out within Wastewater Treatment Plants (WWTPs). The waste residue generated during the treatment process is known as sludge and it is potentially hazardous. Hence, a primary objective of the WWTP is to process this sludge, ensuring it meets the necessary conditions for its intended use, i.e., a sewage plant. The goal of this project is the development and simulation of a WWTP by the implementation of a reduced order model. Furthermore, to be applied into a real-live application, which consisted of modelling the reduced model to be able to apply estimation methods to know the unknown components (or states) behavior in the plant. The inputs and measurements of those states were also unknown. Besides, the reduced model had to still represent the main processes and components from the original model without changing the behavior. To address the problem, extensive research on reduced-order models was undertaken to identify the most suitable model for practical application. The model used had to be implemented and verified to still maintain the same behavior. Later, applied the Extended Kalman Filter (EKF) algorithm to estimate those unknown states. The Unknown Input Observer (UIO) and augmentation plant algorithms were implemented into the filter to better estimate all the states. In the project, the reduced-order model will be explored in three versions: non-linear, linear, and state space models, and these will be compared with the behavior of the actual model to validate their correct behavior. Then, the EKF, EKF with the UIO, and the EKF with the augmented plant will be tested in different scenarios, alternating between the unknown measurements and inputs of the states to be estimated, to find the best solution to the problem. Moreover, several key performance indices (KPIs) will be computed to assess and compare the results, ultimately allowing for the selection of the most effective solutionAnomaly detection of perfume glass bottles using deep learning techniques
http://hdl.handle.net/2117/397007
Anomaly detection of perfume glass bottles using deep learning techniques
Calle Clavel, Alex Mauricio Dario
L'ús de tècniques d'aprenentatge profund per a tasques de classificació d'imatges s'ha estès àmpliament durant els últims anys; Concretament, la seva aplicació en escenaris industrials, pren cada dia més rellevància, i és un d'aquests escenaris industrials el tema principal de tot aquest treball: La detecció d'anomalies en ampolles de vidre de perfum mitjançant la inspecció d'imatges. Realitzar la detecció d'anomalies en l'àmbit industrial, normalment requereix entrenar els models d'IA amb només un tipus de mostres; és a dir, mostres normals (no anomalies). Això, per la incertesa en què pot aparèixer una anomalia; l'usuari final en aquest cas, no sap quin tipus d'anomalies esperar en una ampolla, aquestes podrien estar trencades a la part superior, rascades al centre, costat esquerre o dret del cos, esquerdades a la seva base, etc. En aquest projecte s'estudien tres enfocaments per detectar anomalies: l'estudi de l'espai latent d'Autoencoders, l'error de reconstrucció d'imatges d'Autoencoders i l'estructura GAN (Generative Adversarial Network), sovint coneguda com AnoGAN. Per desenvolupar aquests enfocaments, s'utilitzen marcs d'IA Tensorflow i Pytorch. Es comparen els models, s'ajusten els seus hiperparàmetres i s'avaluen els seus rendiments per arribar finalment a l'enfocament d'aprenentatge profund adequat per a aquesta tasca específica. Pel que fa a les mostres d'anomalies que s'utilitzen per a aquest projecte, s'utilitzen dues representacions: imatges d'anomalies generades de manera fictícia i imatges d'anomalies reals. La primera consisteix a pintar línies aleatòries sobre les imatges no anomalies; intentant imitar anomalies aleatòries a la imatge de l'ampolla. El darrer consta d'imatges d'anomalies reals obtingudes de ratllar i trencar algunes parts de l'ampolla de perfum. Les imatges es capturen amb un kit de càmeres industrials professional, juntament amb il·luminació i lents per apropar-se el màxim possible a una aplicació d'escenari real. S'utilitza un kit de càmeres Cognex per a l'adquisició de les imatges. Al final del projecte, es veu que l'enfocament AnoGAN supera els enfocaments típics d'Autoencoder i per a aquesta tasca específica és el més adequat entre les alternatives estudiades. Per a futurs treballs s'aconsella posar més èmfasi en l'espai on es capten la imatge; disposar d'un entorn adequat i controlat per la il·luminació és clau per a la implementació real d'aquest projecte en una indústria real; El uso de técnicas de aprendizaje profundo para tareas de clasificación de imágenes se ha extendido ampliamente en los últimos años; En concreto, su aplicación en escenarios industriales, cada día está tomando más relevancia, y es uno de estos escenarios industriales el tema principal de todo este trabajo: La detección de anomalías en frascos de vidrio de perfumes mediante inspección de imágenes. Realizar la detección de anomalías en el campo industrial generalmente requiere entrenar los modelos de IA con un solo tipo de muestras; es decir, muestras normales (sin anomalías). Esto, debido a la incertidumbre en la que puede presentarse una anomalía; el usuario final en este caso, no sabe que tipo de anomalías esperar en una botella, estas podrían ser rotura en la parte superior, raya en el centro, lado izquierdo o derecho del cuerpo, fisura en su base, etc. En este proyecto se estudian tres enfoques para detectar anomalías: el estudio del espacio latente de los Autoencoders, el error de reconstrucción de imágenes de los Autoencoders y la anomalía de la estructura GAN (Generative Adversarial Network), a menudo conocida como AnoGAN. Para desarrollar estos enfoques, se utilizan los marcos de IA Tensorflow y Pytorch. Se comparan los modelos, se ajustan sus hiperparámetros y se evalúa su desempeño para finalmente encontrar el enfoque de aprendizaje profundo apropiado para esta tarea específica. Con respecto a las muestras de anomalías que se utilizan para este proyecto, se emplean dos representaciones: imágenes de anomalías generadas ficticiamente e imágenes de anomalías reales. El primero consiste en pintar líneas aleatorias sobre las imágenes no anomalías; intentando imitar anomalías aleatorias en la imagen de la botella. Este último se compone de imágenes de anomalías reales obtenidas al rayar y romper algunas partes del frasco de perfume. Las imágenes se capturan utilizando un kit de cámara industrial profesional, junto con iluminación y lentes para acercarse lo más posible a una aplicación de escenario real. Se utiliza un kit de cámara Cognex para la adquisición de las imágenes. Al final del proyecto, se ve que el enfoque AnoGAN supera a los enfoques típicos de Autoencoder y para esta tarea específica es el más apropiado entre las alternativas estudiadas. Para futuros trabajos es recomendable aplicar más énfasis en el espacio donde se captura la imagen; Tener un ambiente adecuado con iluminación controlada es clave para la implementación real de este proyecto en una industria real; The use of deep learning techniques for image classification tasks has been widely spread over the past years; Specifically, its application in industrial scenarios, is taking more relevance day by day, and it is one of these industrial scenarios that is the main topic of this entire work: The anomaly detection of perfume glass bottles through image inspection. Performing anomaly detection in the industrial field, typically requires training the AI models with only one kind of samples; that is, normal (non-anomaly) samples. This, due to the uncertainty in which an anomaly can appear; the final user in this case, does not know which kind of anomalies to expect in a bottle, these could be broken on the top, scratch in the center, left or right side of the body, cracked in its base, etc. Three approaches for detecting anomalies are studied in this project: Autoencoders’ latent space study, Autoencoders’ image reconstruction error and anomaly GAN (Generative Adversarial Network) structure, often known as AnoGAN. For developing these approaches, Tensorflow and Pytorch AI frameworks are used. The models are compared, their hyperparameters tuned and their performances evaluated to finally come up with the appropriate deep learning approach for this specific task. Regarding the anomaly samples that are used for this project, two representations are employed: Fictionally generated anomaly images and real anomaly images. The former one consists of painting random lines over the non-anomaly images; trying to imitate random anomalies in the bottle image. The later comprises of real anomaly images obtained from actually scratching and breaking some parts of the perfume bottle. The images are captured using a professional industrial camera kit, along with illumination and lenses for approaching as much as possible to a real-scenario application. A Cognex camera kit is used for the acquisition of the images. At the end of the project, it is seen that the AnoGAN approach outperforms the typical Autoencoder approaches and for this specific task is the most appropriate one amongst the studied alternatives. For future works it is advisable to apply more emphasis in the space where the image are captured; having a proper illumination-controlled environment is key for the actual implementation of this project in a real industry
2023-11-24T11:30:20ZCalle Clavel, Alex Mauricio DarioL'ús de tècniques d'aprenentatge profund per a tasques de classificació d'imatges s'ha estès àmpliament durant els últims anys; Concretament, la seva aplicació en escenaris industrials, pren cada dia més rellevància, i és un d'aquests escenaris industrials el tema principal de tot aquest treball: La detecció d'anomalies en ampolles de vidre de perfum mitjançant la inspecció d'imatges. Realitzar la detecció d'anomalies en l'àmbit industrial, normalment requereix entrenar els models d'IA amb només un tipus de mostres; és a dir, mostres normals (no anomalies). Això, per la incertesa en què pot aparèixer una anomalia; l'usuari final en aquest cas, no sap quin tipus d'anomalies esperar en una ampolla, aquestes podrien estar trencades a la part superior, rascades al centre, costat esquerre o dret del cos, esquerdades a la seva base, etc. En aquest projecte s'estudien tres enfocaments per detectar anomalies: l'estudi de l'espai latent d'Autoencoders, l'error de reconstrucció d'imatges d'Autoencoders i l'estructura GAN (Generative Adversarial Network), sovint coneguda com AnoGAN. Per desenvolupar aquests enfocaments, s'utilitzen marcs d'IA Tensorflow i Pytorch. Es comparen els models, s'ajusten els seus hiperparàmetres i s'avaluen els seus rendiments per arribar finalment a l'enfocament d'aprenentatge profund adequat per a aquesta tasca específica. Pel que fa a les mostres d'anomalies que s'utilitzen per a aquest projecte, s'utilitzen dues representacions: imatges d'anomalies generades de manera fictícia i imatges d'anomalies reals. La primera consisteix a pintar línies aleatòries sobre les imatges no anomalies; intentant imitar anomalies aleatòries a la imatge de l'ampolla. El darrer consta d'imatges d'anomalies reals obtingudes de ratllar i trencar algunes parts de l'ampolla de perfum. Les imatges es capturen amb un kit de càmeres industrials professional, juntament amb il·luminació i lents per apropar-se el màxim possible a una aplicació d'escenari real. S'utilitza un kit de càmeres Cognex per a l'adquisició de les imatges. Al final del projecte, es veu que l'enfocament AnoGAN supera els enfocaments típics d'Autoencoder i per a aquesta tasca específica és el més adequat entre les alternatives estudiades. Per a futurs treballs s'aconsella posar més èmfasi en l'espai on es capten la imatge; disposar d'un entorn adequat i controlat per la il·luminació és clau per a la implementació real d'aquest projecte en una indústria real
El uso de técnicas de aprendizaje profundo para tareas de clasificación de imágenes se ha extendido ampliamente en los últimos años; En concreto, su aplicación en escenarios industriales, cada día está tomando más relevancia, y es uno de estos escenarios industriales el tema principal de todo este trabajo: La detección de anomalías en frascos de vidrio de perfumes mediante inspección de imágenes. Realizar la detección de anomalías en el campo industrial generalmente requiere entrenar los modelos de IA con un solo tipo de muestras; es decir, muestras normales (sin anomalías). Esto, debido a la incertidumbre en la que puede presentarse una anomalía; el usuario final en este caso, no sabe que tipo de anomalías esperar en una botella, estas podrían ser rotura en la parte superior, raya en el centro, lado izquierdo o derecho del cuerpo, fisura en su base, etc. En este proyecto se estudian tres enfoques para detectar anomalías: el estudio del espacio latente de los Autoencoders, el error de reconstrucción de imágenes de los Autoencoders y la anomalía de la estructura GAN (Generative Adversarial Network), a menudo conocida como AnoGAN. Para desarrollar estos enfoques, se utilizan los marcos de IA Tensorflow y Pytorch. Se comparan los modelos, se ajustan sus hiperparámetros y se evalúa su desempeño para finalmente encontrar el enfoque de aprendizaje profundo apropiado para esta tarea específica. Con respecto a las muestras de anomalías que se utilizan para este proyecto, se emplean dos representaciones: imágenes de anomalías generadas ficticiamente e imágenes de anomalías reales. El primero consiste en pintar líneas aleatorias sobre las imágenes no anomalías; intentando imitar anomalías aleatorias en la imagen de la botella. Este último se compone de imágenes de anomalías reales obtenidas al rayar y romper algunas partes del frasco de perfume. Las imágenes se capturan utilizando un kit de cámara industrial profesional, junto con iluminación y lentes para acercarse lo más posible a una aplicación de escenario real. Se utiliza un kit de cámara Cognex para la adquisición de las imágenes. Al final del proyecto, se ve que el enfoque AnoGAN supera a los enfoques típicos de Autoencoder y para esta tarea específica es el más apropiado entre las alternativas estudiadas. Para futuros trabajos es recomendable aplicar más énfasis en el espacio donde se captura la imagen; Tener un ambiente adecuado con iluminación controlada es clave para la implementación real de este proyecto en una industria real
The use of deep learning techniques for image classification tasks has been widely spread over the past years; Specifically, its application in industrial scenarios, is taking more relevance day by day, and it is one of these industrial scenarios that is the main topic of this entire work: The anomaly detection of perfume glass bottles through image inspection. Performing anomaly detection in the industrial field, typically requires training the AI models with only one kind of samples; that is, normal (non-anomaly) samples. This, due to the uncertainty in which an anomaly can appear; the final user in this case, does not know which kind of anomalies to expect in a bottle, these could be broken on the top, scratch in the center, left or right side of the body, cracked in its base, etc. Three approaches for detecting anomalies are studied in this project: Autoencoders’ latent space study, Autoencoders’ image reconstruction error and anomaly GAN (Generative Adversarial Network) structure, often known as AnoGAN. For developing these approaches, Tensorflow and Pytorch AI frameworks are used. The models are compared, their hyperparameters tuned and their performances evaluated to finally come up with the appropriate deep learning approach for this specific task. Regarding the anomaly samples that are used for this project, two representations are employed: Fictionally generated anomaly images and real anomaly images. The former one consists of painting random lines over the non-anomaly images; trying to imitate random anomalies in the bottle image. The later comprises of real anomaly images obtained from actually scratching and breaking some parts of the perfume bottle. The images are captured using a professional industrial camera kit, along with illumination and lenses for approaching as much as possible to a real-scenario application. A Cognex camera kit is used for the acquisition of the images. At the end of the project, it is seen that the AnoGAN approach outperforms the typical Autoencoder approaches and for this specific task is the most appropriate one amongst the studied alternatives. For future works it is advisable to apply more emphasis in the space where the image are captured; having a proper illumination-controlled environment is key for the actual implementation of this project in a real industryGeneration of synthetic electronic health records through generative adversarial network
http://hdl.handle.net/2117/396935
Generation of synthetic electronic health records through generative adversarial network
Liu, Chengli
2023-11-23T10:10:27ZLiu, ChengliEfficient management of energy systems including storage systems
http://hdl.handle.net/2117/396035
Efficient management of energy systems including storage systems
Xu Zheng, Ce
In this master thesis, we are going to work towards a data based control algorithm, that given a complex system and a goal, it can learn how to manipulate the control actions of the system towards achieve that goal. The objective of developing such a control algorithm is to ensure the correct operation of a small smart microgrid with several components that balances the operational costs under optimal conditions and the economical performance of the system. Particularly, in this thesis, we will describe the components that conforms a standard microgrid including Energy Storage Systems (ESS) considering the efficiency and operational limits. Energy Generation Systems that relies on climatic condition cannot be on demand. Consumption hubs, like a regular household, whose consumption of electrical power depends on the daily habits can change from time to time. The composition of a microgrid of a "prosumer " - generally consumers of energy from the elec- trical grid with production and storage capabilities - usually relies in several types of ESS with complementary characteristics like a battery with higher storage capacity and a super capacitor with higher power density. The production must have at least one energy source, that is usually a renewable source, but the combination of several sources could increase the reliability of the system. At this level of management, the system can be considered as a set of ESS whose State of Charge (SOC) can be considered the working space and can be leveled with the control actions. This type of management is traditionally done with an economical criterion, whose optimization requires the definition of an accurate model of the system and the correct parametrization of the goals. We propose a different method that can be used without the previous knowledge of the system dynamics and can simultaneously generate control signals and learn the optimal policy given a parametrized cost function and the sensing of the system states. The proposed set of methods are called Structured Online Learning methods, and relies in two distinctive parts: the System Identification module, that will learn the dynamics of the system given the collected data as a linear combination of non-linear basis functions of the state; and a Value Function learning that will be updated given the learned model and can generate the control signal that is showed optimal in a long term window. As those systems require the definition of a differentiable and convex cost over the control effort, we introduced some assumptions over the operational cost that can adapt the economical problem to an equivalent of a Quadratic Regulator. This will also bring us the opportunity to compare our method with some standard solutions like the Ricatti equation for a Linear Quadratic Regulator. Comparing the standard solutions for the adapted problem that leverages the knowledge of the real model and several versions of the Structured Online Learning algorithm, we can confidently state that the proposed method generates comparable results in a reference tracking problem. But, it can even enhance the economical performance if the generation and consumption profiles has a certain degree of predictability
2023-11-08T16:38:25ZXu Zheng, CeIn this master thesis, we are going to work towards a data based control algorithm, that given a complex system and a goal, it can learn how to manipulate the control actions of the system towards achieve that goal. The objective of developing such a control algorithm is to ensure the correct operation of a small smart microgrid with several components that balances the operational costs under optimal conditions and the economical performance of the system. Particularly, in this thesis, we will describe the components that conforms a standard microgrid including Energy Storage Systems (ESS) considering the efficiency and operational limits. Energy Generation Systems that relies on climatic condition cannot be on demand. Consumption hubs, like a regular household, whose consumption of electrical power depends on the daily habits can change from time to time. The composition of a microgrid of a "prosumer " - generally consumers of energy from the elec- trical grid with production and storage capabilities - usually relies in several types of ESS with complementary characteristics like a battery with higher storage capacity and a super capacitor with higher power density. The production must have at least one energy source, that is usually a renewable source, but the combination of several sources could increase the reliability of the system. At this level of management, the system can be considered as a set of ESS whose State of Charge (SOC) can be considered the working space and can be leveled with the control actions. This type of management is traditionally done with an economical criterion, whose optimization requires the definition of an accurate model of the system and the correct parametrization of the goals. We propose a different method that can be used without the previous knowledge of the system dynamics and can simultaneously generate control signals and learn the optimal policy given a parametrized cost function and the sensing of the system states. The proposed set of methods are called Structured Online Learning methods, and relies in two distinctive parts: the System Identification module, that will learn the dynamics of the system given the collected data as a linear combination of non-linear basis functions of the state; and a Value Function learning that will be updated given the learned model and can generate the control signal that is showed optimal in a long term window. As those systems require the definition of a differentiable and convex cost over the control effort, we introduced some assumptions over the operational cost that can adapt the economical problem to an equivalent of a Quadratic Regulator. This will also bring us the opportunity to compare our method with some standard solutions like the Ricatti equation for a Linear Quadratic Regulator. Comparing the standard solutions for the adapted problem that leverages the knowledge of the real model and several versions of the Structured Online Learning algorithm, we can confidently state that the proposed method generates comparable results in a reference tracking problem. But, it can even enhance the economical performance if the generation and consumption profiles has a certain degree of predictabilityDesenvolupament virtual i en context d'una arquitectura de sensors per comandar una plataforma d'ajuda a la mobilitat
http://hdl.handle.net/2117/395311
Desenvolupament virtual i en context d'una arquitectura de sensors per comandar una plataforma d'ajuda a la mobilitat
Flaqué Borrellas, Ferran
Aquest projecte parteix de la idea d'emprar sensors impresos en 3d per tal de comandar una plataforma d'ajuda a la mobilitat (cadira de rodes). Els sensors han estat dissenyats en altres projectes i impresos en l'espai de fabricació digital de l'ETSEIB (Escola Tècnica Superior d'Enginyeria Industrial de Barcelona). Principalment, s'han utilitzat dos tipus de sensors, un que d'ara endavant s'anomenarà de tipus cinta i que consta bàsicament d'una cinta plàstica amb un component resistiu a l'interior i un de tipus joystick que conté 4 elements resistius (un per cada direcció). El principi de funcionament dels sensors es basa en la variació de la resistència elèctrica a conseqüència del desplaçament exercit sobre aquests. Per tal de poder extreure un senyal de control a partir d'aquests sensors, doncs, s'ha cercat la millor manera d'obtenir un senyal generat per una resistència variable (la del sensor) i s'ha considerat més útil mesurar el voltatge emprant un divisor de tensió o un pont de Wheatstone pel fet que només ens interessa obtenir un senyal amb el qual controlar la cadira i no mesurar la resistència en si. En aquesta fase, s'ha cregut necessari amplificar el senyal, ja que la variació entre els voltatges mínims i màxims llegits era reduïda i no s'aprofitava el rang de lectura dels convertidors analògic a digital (ADC). A més a causa del soroll s'ha cregut convenient aplicar algun mètode de filtratge del senyal. Un cop es disposava d'un mètode per llegir el senyal amb menys soroll, s'ha observat comportaments anòmals (caigudes de resistència a l'exercir una força de tracció sobre el sensor) i ha calgut fer assajos per poder modelar el comportament del sensor en funció del desplaçament exercit sobre aquest. Un cop s'ha establert el comportament del sensor a traccions, emprant la lectura d'aquest s'ha creat un senyal de control. Per tal de poder provar el funcionament del senyal de control generat pel sensor ha calgut simular la cadira, ja que aquesta no ha estat construïda encara (s'ha fet una proposta del disseny complet del circuit electrònic que s'haurà de fer servir un cop es materialitzi la cadira). La simulació s'ha fet partint d'un dibuix CAD de la cadira i fent servir Gazebo (que ve inclòs en la llibreria de ROS) com a simulador. Finalment, s'ha dut a terme l'anàlisi econòmica i ambiental del projecte; Este proyecto parte de la idea de usar sensores imprimidos en 3d con el objetivo de controlar una plataforma de ayuda a la movilidad (silla de ruedas). Los sensores han sido diseñados en otros proyectos e imprimidos en el espacio de fabricación digital de la ETSEIB. Principalmente, se han usado dos tipos de sensores, uno que en adelante se llamará de tipo cinta y que consta básicamente de una cinta plástica con un componente resistivo en su interior y uno de tipo joystick que contiene 4 elementos resistivos (uno para cada dirección). El principio de funcionamiento de los sensores se basa en la variación de resistencia eléctrica como consecuencia del desplazamiento ejercido sobre estos. Para poder extraer una señal de control a partir de estos sensores se ha buscado la mejor manera de obtener dicha señal a partir de una resistencia variable (la del sensor), se ha considerado que lo más útil es leer el voltaje usando un divisor de tensión o un puente de Wheatstone porque solo nos interesa poder generar la señal de control y no leer la resistencia en sí. En esta fase, se ha considerado necesario amplificar la señal debido a la baja variación del nivel de voltaje máximo y mínimo, ya que no se aprovechaba el rango de lectura de los diferentes ADC. A demás, debido al ruido, se ha creído conveniente aplicar algún método de filtrado de la señal. Una vez se disponía de un método para leer la señal con menor ruido, se ha observado comportamientos anómalos (caídas de resistencia al ejercer una fuerza de tracción sobre el sensor) i ha sido necesario realizar diversas pruebas para modelar el comportamiento del sensor en función del desplazamiento de este. Una vez establecido el comportamiento del sensor a tracciones, usando la lectura de este se ha creado una señal de control. Para probar el funcionamiento de esta señal de control, ha sido necesario simular la silla, ya que aún no ha sido construida. La simulación se ha hecho usando un dibujo CAD de la silla y usando Gazebo (que está incluido en la librería de ROS) como simulador. Finalmente, se ha realizado el análisis económico y ambiental del proyecto; This project is based on the idea of using 3D printed sensors with the aim of controlling a mobility aidance platform (wheelchair). The sensors have been designed in other projects and printed in the digital manufacturing space of the ETSEIB. Mainly, two types of sensors have been used, one that will from now on be called tape type and basically consists of a plastic tape with a resistive component inside, and a joystick type that contains 4 resistive elements (one for each direction). The principle of operation of the sensors is based on the variation of electrical resistance because of the displacement applied on them. To extract a control signal from these sensors, there has been some research on the different methods used to read variable resistances. It has been considered that the most useful thing is to read the voltage using a voltage divider or a Wheatstone bridge because we are only interested in being able to generate the control signal and not to read the resistance itself. In this phase, it has been considered necessary to amplify the signal due to the low variation of the voltage level as the reading range of the different ADCs was not fully used. In addition, due to noise, it has been considered convenient to apply some methods to filter the signal. Once achieved a reading with low noise, anomalous behaviours (drops in resistance when exerting a traction force on the sensor) have been observed and it has been considered necessary to perform various tests to model the behaviour of the sensor depending on the displacement applied. Once the behaviour has been established, using the reading of the sensors, a control signal has been created. To test the operation of this control signal, it has been necessary to simulate the chair, since it has not yet been built. The simulation has been done using a CAD sketch of the chair and using Gazebo (which is included in the ROS library) as a simulator. Finally, the economic and environmental analysis of the project has been carried out
2023-10-24T13:11:10ZFlaqué Borrellas, FerranAquest projecte parteix de la idea d'emprar sensors impresos en 3d per tal de comandar una plataforma d'ajuda a la mobilitat (cadira de rodes). Els sensors han estat dissenyats en altres projectes i impresos en l'espai de fabricació digital de l'ETSEIB (Escola Tècnica Superior d'Enginyeria Industrial de Barcelona). Principalment, s'han utilitzat dos tipus de sensors, un que d'ara endavant s'anomenarà de tipus cinta i que consta bàsicament d'una cinta plàstica amb un component resistiu a l'interior i un de tipus joystick que conté 4 elements resistius (un per cada direcció). El principi de funcionament dels sensors es basa en la variació de la resistència elèctrica a conseqüència del desplaçament exercit sobre aquests. Per tal de poder extreure un senyal de control a partir d'aquests sensors, doncs, s'ha cercat la millor manera d'obtenir un senyal generat per una resistència variable (la del sensor) i s'ha considerat més útil mesurar el voltatge emprant un divisor de tensió o un pont de Wheatstone pel fet que només ens interessa obtenir un senyal amb el qual controlar la cadira i no mesurar la resistència en si. En aquesta fase, s'ha cregut necessari amplificar el senyal, ja que la variació entre els voltatges mínims i màxims llegits era reduïda i no s'aprofitava el rang de lectura dels convertidors analògic a digital (ADC). A més a causa del soroll s'ha cregut convenient aplicar algun mètode de filtratge del senyal. Un cop es disposava d'un mètode per llegir el senyal amb menys soroll, s'ha observat comportaments anòmals (caigudes de resistència a l'exercir una força de tracció sobre el sensor) i ha calgut fer assajos per poder modelar el comportament del sensor en funció del desplaçament exercit sobre aquest. Un cop s'ha establert el comportament del sensor a traccions, emprant la lectura d'aquest s'ha creat un senyal de control. Per tal de poder provar el funcionament del senyal de control generat pel sensor ha calgut simular la cadira, ja que aquesta no ha estat construïda encara (s'ha fet una proposta del disseny complet del circuit electrònic que s'haurà de fer servir un cop es materialitzi la cadira). La simulació s'ha fet partint d'un dibuix CAD de la cadira i fent servir Gazebo (que ve inclòs en la llibreria de ROS) com a simulador. Finalment, s'ha dut a terme l'anàlisi econòmica i ambiental del projecte
Este proyecto parte de la idea de usar sensores imprimidos en 3d con el objetivo de controlar una plataforma de ayuda a la movilidad (silla de ruedas). Los sensores han sido diseñados en otros proyectos e imprimidos en el espacio de fabricación digital de la ETSEIB. Principalmente, se han usado dos tipos de sensores, uno que en adelante se llamará de tipo cinta y que consta básicamente de una cinta plástica con un componente resistivo en su interior y uno de tipo joystick que contiene 4 elementos resistivos (uno para cada dirección). El principio de funcionamiento de los sensores se basa en la variación de resistencia eléctrica como consecuencia del desplazamiento ejercido sobre estos. Para poder extraer una señal de control a partir de estos sensores se ha buscado la mejor manera de obtener dicha señal a partir de una resistencia variable (la del sensor), se ha considerado que lo más útil es leer el voltaje usando un divisor de tensión o un puente de Wheatstone porque solo nos interesa poder generar la señal de control y no leer la resistencia en sí. En esta fase, se ha considerado necesario amplificar la señal debido a la baja variación del nivel de voltaje máximo y mínimo, ya que no se aprovechaba el rango de lectura de los diferentes ADC. A demás, debido al ruido, se ha creído conveniente aplicar algún método de filtrado de la señal. Una vez se disponía de un método para leer la señal con menor ruido, se ha observado comportamientos anómalos (caídas de resistencia al ejercer una fuerza de tracción sobre el sensor) i ha sido necesario realizar diversas pruebas para modelar el comportamiento del sensor en función del desplazamiento de este. Una vez establecido el comportamiento del sensor a tracciones, usando la lectura de este se ha creado una señal de control. Para probar el funcionamiento de esta señal de control, ha sido necesario simular la silla, ya que aún no ha sido construida. La simulación se ha hecho usando un dibujo CAD de la silla y usando Gazebo (que está incluido en la librería de ROS) como simulador. Finalmente, se ha realizado el análisis económico y ambiental del proyecto
This project is based on the idea of using 3D printed sensors with the aim of controlling a mobility aidance platform (wheelchair). The sensors have been designed in other projects and printed in the digital manufacturing space of the ETSEIB. Mainly, two types of sensors have been used, one that will from now on be called tape type and basically consists of a plastic tape with a resistive component inside, and a joystick type that contains 4 resistive elements (one for each direction). The principle of operation of the sensors is based on the variation of electrical resistance because of the displacement applied on them. To extract a control signal from these sensors, there has been some research on the different methods used to read variable resistances. It has been considered that the most useful thing is to read the voltage using a voltage divider or a Wheatstone bridge because we are only interested in being able to generate the control signal and not to read the resistance itself. In this phase, it has been considered necessary to amplify the signal due to the low variation of the voltage level as the reading range of the different ADCs was not fully used. In addition, due to noise, it has been considered convenient to apply some methods to filter the signal. Once achieved a reading with low noise, anomalous behaviours (drops in resistance when exerting a traction force on the sensor) have been observed and it has been considered necessary to perform various tests to model the behaviour of the sensor depending on the displacement applied. Once the behaviour has been established, using the reading of the sensors, a control signal has been created. To test the operation of this control signal, it has been necessary to simulate the chair, since it has not yet been built. The simulation has been done using a CAD sketch of the chair and using Gazebo (which is included in the ROS library) as a simulator. Finally, the economic and environmental analysis of the project has been carried outA smart and flexible perception framework for robotic manipulation
http://hdl.handle.net/2117/394908
A smart and flexible perception framework for robotic manipulation
Dalmases Mendoza, Albert
Aquesta tesi presenta la implementació d’un marc de percepció robòtica avançada destinat a millorar la capacitat d’un robot per interpretar i interactuar amb el seu entorn. Donada la creixent presència de la robòtica en diversos sectors, hi ha una demanda cada vegada major de sistemes de percepció més intel·ligents i flexibles. Aquest treball satisfà aquesta demanda combinant les dades provinents de càmeres, implementant tècniques de detecció d’objectes i d’estimació de posició i orientació, i introduint capacitats de raonament intel·ligent. Utilitzant el “Robot Operating System” (ROS), el marc de percepció proposat combina mètodes basats en marcadors fiducials i en aprenentatge profund per a la detecció d’objectes i l’estimació de posicions i orientacions. Un aspecte original d’aquesta contribució resideix en la incorporació d’ontologies per estructurar i raonar sobre les dades percebudes. El resultat és un sistema de percepció robust i intel·ligent capaç de manejar escenaris complexos simulats i en el món real. Aquest mòdul de percepció proporciona funcionalitats que milloren la comprensió de l’entorn per part d’un robot, centrant-se principalment en tasques de manip- ulació robòtica. El treball presentat proporciona una base sòlida per a futures investigacions i ampliacions.; Esta tesis presenta la implementación de un marco de percepción robótica avanzada destinado a mejorar la capacidad de un robot para interpretar su entorno e interactuar con él. Dada la creciente presencia de la robótica en diversos sectores, hay una demanda cada vez mayor de sistemas de percepción más inteligentes y flexibles. Este trabajo satisface dicha demanda com- binando los datos proveninentes de cameras, implementando técnicas de detección de obje- tos y estimación de posición y orientación, e introduciendo capacidades de razonamiento in- teligente. Utilizando el ’Robot Operating System’ (ROS), el marco de percepción propuesto combina métodos basados en marcadores fiduciales y en aprendizaje profundo para la detec- ción de objetos y la estimación de posiciones y orientaciones. Un aspecto original de esta con- tribución reside en la incorporación de ontologías para estructurar y razonar sobre los datos percibidos. El resultado es un sistema de percepción robusto e inteligente capaz de manejar escenarios com- plejos simulados y en el mundo real. Este módulo de percepción proporciona funcionalidades que mejoran la comprensión del entorno por parte de un robot, centrándose principalmente en tareas de manipulación robótica. El trabajo presentado proporciona una base sólida para futuras investigaciones y ampliaciones; This thesis presents the implementation of an advanced robotic perception framework intended to enhance a robot’s ability to interpret and interact with its environment. Given the increased prevalence of robotics across various industries, there is a growing demand for more intelligent and flexible perception systems. This work meets that demand by combining visual sensor data, implementing object detection and pose estimation techniques, and introducing smart reason- ing capabilities. Utilizing the Robot Operating System (ROS), the proposed perception frame- work combines fiducial marker-based and deep learning-based methods for object detection and pose estimation. A unique aspect of this contribution lies in the incorporation of ontologies to structure and reason over the perceived data. The result is a robust, intelligent perception system capable of handling complex simulated and real-world scenarios. This perception module provides functionalities that enhance a robot’s understanding of its surroundings, with a primary focus on robotic manipulation tasks. The developments presented provide a solid foundation for further research and expansion
2023-10-13T09:55:31ZDalmases Mendoza, AlbertAquesta tesi presenta la implementació d’un marc de percepció robòtica avançada destinat a millorar la capacitat d’un robot per interpretar i interactuar amb el seu entorn. Donada la creixent presència de la robòtica en diversos sectors, hi ha una demanda cada vegada major de sistemes de percepció més intel·ligents i flexibles. Aquest treball satisfà aquesta demanda combinant les dades provinents de càmeres, implementant tècniques de detecció d’objectes i d’estimació de posició i orientació, i introduint capacitats de raonament intel·ligent. Utilitzant el “Robot Operating System” (ROS), el marc de percepció proposat combina mètodes basats en marcadors fiducials i en aprenentatge profund per a la detecció d’objectes i l’estimació de posicions i orientacions. Un aspecte original d’aquesta contribució resideix en la incorporació d’ontologies per estructurar i raonar sobre les dades percebudes. El resultat és un sistema de percepció robust i intel·ligent capaç de manejar escenaris complexos simulats i en el món real. Aquest mòdul de percepció proporciona funcionalitats que milloren la comprensió de l’entorn per part d’un robot, centrant-se principalment en tasques de manip- ulació robòtica. El treball presentat proporciona una base sòlida per a futures investigacions i ampliacions.
Esta tesis presenta la implementación de un marco de percepción robótica avanzada destinado a mejorar la capacidad de un robot para interpretar su entorno e interactuar con él. Dada la creciente presencia de la robótica en diversos sectores, hay una demanda cada vez mayor de sistemas de percepción más inteligentes y flexibles. Este trabajo satisface dicha demanda com- binando los datos proveninentes de cameras, implementando técnicas de detección de obje- tos y estimación de posición y orientación, e introduciendo capacidades de razonamiento in- teligente. Utilizando el ’Robot Operating System’ (ROS), el marco de percepción propuesto combina métodos basados en marcadores fiduciales y en aprendizaje profundo para la detec- ción de objetos y la estimación de posiciones y orientaciones. Un aspecto original de esta con- tribución reside en la incorporación de ontologías para estructurar y razonar sobre los datos percibidos. El resultado es un sistema de percepción robusto e inteligente capaz de manejar escenarios com- plejos simulados y en el mundo real. Este módulo de percepción proporciona funcionalidades que mejoran la comprensión del entorno por parte de un robot, centrándose principalmente en tareas de manipulación robótica. El trabajo presentado proporciona una base sólida para futuras investigaciones y ampliaciones
This thesis presents the implementation of an advanced robotic perception framework intended to enhance a robot’s ability to interpret and interact with its environment. Given the increased prevalence of robotics across various industries, there is a growing demand for more intelligent and flexible perception systems. This work meets that demand by combining visual sensor data, implementing object detection and pose estimation techniques, and introducing smart reason- ing capabilities. Utilizing the Robot Operating System (ROS), the proposed perception frame- work combines fiducial marker-based and deep learning-based methods for object detection and pose estimation. A unique aspect of this contribution lies in the incorporation of ontologies to structure and reason over the perceived data. The result is a robust, intelligent perception system capable of handling complex simulated and real-world scenarios. This perception module provides functionalities that enhance a robot’s understanding of its surroundings, with a primary focus on robotic manipulation tasks. The developments presented provide a solid foundation for further research and expansionGaze-tracking-based interface for robotic chair guidance
http://hdl.handle.net/2117/394871
Gaze-tracking-based interface for robotic chair guidance
Olvera Marín, Paula
This research focuses on finding solutions to enhance the quality of life for wheelchair users, specifically by applying a gaze-tracking-based interface for the guidance of a robotized wheelchair. For this purpose, the interface was applied in two different approaches for the wheelchair control system. The first one was an assisted control in which the user was continuously involved in controlling the movement of the wheelchair in the environment and the inclination of the different parts of the seat through the user’s gaze and eye blinks obtained with the interface. The second approach was to take the first steps to apply the device to an autonomous wheelchair control in which the wheelchair moves autonomously avoiding collisions towards the position defined by the user. To this end, the basis for obtaining the gaze position relative to the wheelchair and the object detection was developed in this project to be able to calculate in the future the optimal route to which the wheelchair should move. In addition, the integration of a robotic arm in the wheelchair to manipulate different objects was also considered, obtaining in this work the object of interest indicated by the user's gaze within the detected objects so that in the future the robotic arm could select and pick up the object the user wants to manipulate. In addition to the two approaches, an attempt was also made to estimate the user's gaze without the software interface. For this purpose, the gaze is obtained from pupil detection libraries, a calibration and a mathematical model that relates pupil positions to gaze. The results of the implementations have been analysed in this work, including some limitations encountered. Nevertheless, future improvements are proposed, with the aim of increasing the independence of wheelchair users
2023-10-11T12:55:59ZOlvera Marín, PaulaThis research focuses on finding solutions to enhance the quality of life for wheelchair users, specifically by applying a gaze-tracking-based interface for the guidance of a robotized wheelchair. For this purpose, the interface was applied in two different approaches for the wheelchair control system. The first one was an assisted control in which the user was continuously involved in controlling the movement of the wheelchair in the environment and the inclination of the different parts of the seat through the user’s gaze and eye blinks obtained with the interface. The second approach was to take the first steps to apply the device to an autonomous wheelchair control in which the wheelchair moves autonomously avoiding collisions towards the position defined by the user. To this end, the basis for obtaining the gaze position relative to the wheelchair and the object detection was developed in this project to be able to calculate in the future the optimal route to which the wheelchair should move. In addition, the integration of a robotic arm in the wheelchair to manipulate different objects was also considered, obtaining in this work the object of interest indicated by the user's gaze within the detected objects so that in the future the robotic arm could select and pick up the object the user wants to manipulate. In addition to the two approaches, an attempt was also made to estimate the user's gaze without the software interface. For this purpose, the gaze is obtained from pupil detection libraries, a calibration and a mathematical model that relates pupil positions to gaze. The results of the implementations have been analysed in this work, including some limitations encountered. Nevertheless, future improvements are proposed, with the aim of increasing the independence of wheelchair users