Institut d'Organització i Control de Sistemes Industrialshttp://hdl.handle.net/2117/958852024-03-29T09:02:05Z2024-03-29T09:02:05ZTécnicas de control para la mejora de la estabilidad en redes eléctricas DC con convertidores operando a potencia constanteArocas Pérez, Joséhttp://hdl.handle.net/2117/3690892023-10-18T13:01:27Z2022-06-23T18:46:50ZTécnicas de control para la mejora de la estabilidad en redes eléctricas DC con convertidores operando a potencia constante
Arocas Pérez, José
Some electrical devices in direct current (DC) networks, under certain operating characteristics, behave as constant power loads (CPLs). This behavior is defined by presenting negative incremental resistance, compromising the stability of the supply networks. The current evolution of electrical networks favors the proliferation and increase of this unstable behavior.
In this research, a stability analysis method is presented that allows verifying a sufficient condition for the local stability of linear and time invariant DC circuits with CPLs, for all possible equilibria of the system that arise when varying the power consumed by the CPLs. Furthermore, this method is expressed by linear matrix inequalities that can be verified by convex programming.
It is also proposed to connect a stabilizing device in parallel, given an accessible connection port in the electrical network, which through an adequate control law, allows ensuring the local stability of linear and time-invariant DC networks with CPLs. The techniques used to obtain the control law have been H8 control, self-tuning control, and non-linear control.
In addition, it is shown that the proposed solution meets the objectives established a priori, based on the worst-case regarding the system stability, through numerical results in simulation and experimental results obtained in a prototype plant designed and built within the framework of this research.; Algunos dispositivos eléctricos de las redes de corriente continua (DC), bajo determinadas características de funcionamiento, se comportan como cargas de potencia constante (CPLs). Este comportamiento, se define por presentar resistencia incremental negativa, comprometiendo la estabilidad de las redes de suministro. La evolución actual de las redes eléctricas, favorece la proliferación y aumento de este comportamiento inestable. En esta investigación, se presenta un método de análisis de estabilidad que permite comprobar una condición suficiente para la estabilidad local de circuitos de DC lineales e invariantes en el tiempo con CPLs, para todos los posibles equilibrios del sistema que surgen al variar la potencia consumida por las CPLs. Además, este método se expresa en forma de desigualdades matriciales lineales que pueden ser verificadas mediante programación convexa. También se propone la conexión de un dispositivo estabilizador en paralelo, dado un puerto de conexión accesible en la red eléctrica, que mediante una ley de control adecuada, permita asegurar la estabilidad local de redes de DC lineales e invariantes en el tiempo con CPLs. Las técnicas utilizadas en la obtención de la ley de control han sido control H8, control autosintonizado y control no lineal. Además, se demuestra que la solución propuesta cumple los objetivos establecidos a priori, basados en el peor caso respecto a la estabilidad del sistema, mediante resultados numéricos en simulación y resultados experimentales obtenidos en una planta prototipo diseñada y construida en el marco de este trabajo de investigación.
2022-06-23T18:46:50ZArocas Pérez, JoséSome electrical devices in direct current (DC) networks, under certain operating characteristics, behave as constant power loads (CPLs). This behavior is defined by presenting negative incremental resistance, compromising the stability of the supply networks. The current evolution of electrical networks favors the proliferation and increase of this unstable behavior.
In this research, a stability analysis method is presented that allows verifying a sufficient condition for the local stability of linear and time invariant DC circuits with CPLs, for all possible equilibria of the system that arise when varying the power consumed by the CPLs. Furthermore, this method is expressed by linear matrix inequalities that can be verified by convex programming.
It is also proposed to connect a stabilizing device in parallel, given an accessible connection port in the electrical network, which through an adequate control law, allows ensuring the local stability of linear and time-invariant DC networks with CPLs. The techniques used to obtain the control law have been H8 control, self-tuning control, and non-linear control.
In addition, it is shown that the proposed solution meets the objectives established a priori, based on the worst-case regarding the system stability, through numerical results in simulation and experimental results obtained in a prototype plant designed and built within the framework of this research.
Algunos dispositivos eléctricos de las redes de corriente continua (DC), bajo determinadas características de funcionamiento, se comportan como cargas de potencia constante (CPLs). Este comportamiento, se define por presentar resistencia incremental negativa, comprometiendo la estabilidad de las redes de suministro. La evolución actual de las redes eléctricas, favorece la proliferación y aumento de este comportamiento inestable. En esta investigación, se presenta un método de análisis de estabilidad que permite comprobar una condición suficiente para la estabilidad local de circuitos de DC lineales e invariantes en el tiempo con CPLs, para todos los posibles equilibrios del sistema que surgen al variar la potencia consumida por las CPLs. Además, este método se expresa en forma de desigualdades matriciales lineales que pueden ser verificadas mediante programación convexa. También se propone la conexión de un dispositivo estabilizador en paralelo, dado un puerto de conexión accesible en la red eléctrica, que mediante una ley de control adecuada, permita asegurar la estabilidad local de redes de DC lineales e invariantes en el tiempo con CPLs. Las técnicas utilizadas en la obtención de la ley de control han sido control H8, control autosintonizado y control no lineal. Además, se demuestra que la solución propuesta cumple los objetivos establecidos a priori, basados en el peor caso respecto a la estabilidad del sistema, mediante resultados numéricos en simulación y resultados experimentales obtenidos en una planta prototipo diseñada y construida en el marco de este trabajo de investigación.Object manipulation based on tactile informationMontaño Sarria, Andrés Felipehttp://hdl.handle.net/2117/3489032023-10-18T13:02:07Z2021-07-11T00:03:36ZObject manipulation based on tactile information
Montaño Sarria, Andrés Felipe
In-hand dexterous manipulation of an object is the ability to change the configuration (position and/or orientation) of an object held in the hand. This is an ability that has allowed humans to use tools and interact with the environment effectively.
For the past decades, robotics researchers have worked to provide dexterous manipulation skills to the robots by designing robotic hands that mimic the human hand and by developing applications that allow performing autonomous manipulation or teleoperation in harsh environments. Despite the progress made, managing the uncertainties that exist in the real world is one of the problems that still need to be worked on. Many existing manipulation methods for controlling robotic hands require a priori information about the object and high-fidelity sensors that are typically limited only to laboratory settings.
The main objective of this thesis is to develop strategies for the dexterous manipulation of unknown objects, using the tactile information generated during the grasp of the object and the manipulation process itself. In manipulation applications based on tactile information, the robotic hand has access only to tactile and proprioceptive data, in addition, no a priori information is known about the manipulated object. This reflects real-world applications, where there is uncertainty in the models of the objects that are commonly manipulated in daily activities, as well as in the sensorial measurements.
In this dissertation, novel manipulation strategies based on heuristic and gradient optimization methods are proposed.
Three quality indexes are selected to measure the goodness of the grasp during the manipulation, related to the configuration of the hand, the quality of the grasp, and the configuration of the object. Starting from a given initial grasp, the manipulation strategies are able to improve one quality index or a combination of them. The manipulation strategies are validated with real experimentation using robotic hands equipped with tactile sensors, allowing the execution of practical applications, such as object recognition, force optimization, and telemanipulation.; La manipulación diestra es la capacidad de cambiar la configuración (posición y/u orientación) de un objeto mientras es sostenido en la mano. Esta es una habilidad que ha permitido a los humanos usar herramientas e interactuar con el medio ambiente de forma efectiva. En las últimas décadas, los investigadores en robótica han trabajado para proporcionar la capacidad de ejercer manipulación diestra a los robots mediante el diseño de manos robóticas que imitan a la mano humana y mediante el desarrollo de aplicaciones que permiten realizar manipulación autónoma o teleoperación en entornos hostiles. A pesar de los avances logrados, gestionar las incertidumbres que existen en el mundo real es uno de los problemas en los que aún hay que seguir trabajando. Muchos enfoques existentes para controlar las manos robóticas, requieren información a priori sobre el objeto manipulado y sensores de alta fidelidad que normalmente se encuentran solo en laboratorios. El principal objetivo de esta tesis es desarrollar estrategias para la manipulación diestra de objetos desconocidos, utilizando la información táctil generada durante la prensión del objeto y el propio proceso de manipulación. En aplicaciones de manipulación basadas en información táctil, la mano robótica tiene acceso solo a datos táctiles y propioceptivos, además, no se conoce información a priori sobre el objeto manipulado. Esto va acorde con el mundo real, donde hay incertidumbre en los modelos de los objetos que se manipulan, así como en las mediciones de los sensores. En esta tesis se proponen nuevas estrategias de manipulación basadas en métodos heurísticos y de optimización del gradiente. Se eligieron tres índices para medir la calidad de la prensión durante la manipulación, los cuales están relacionados con la configuración de la mano, la calidad de la prensión y la configuración del objeto. A partir de una prensión inicial dada, las estrategias de manipulación pueden mejorar un índice de calidad o una combinación de ellos. Las estrategias de manipulación han sido validadas en experimentación real utilizando manos robóticas equipadas con sensores táctiles, permitiendo la ejecución de aplicaciones prácticas, como el reconocimiento de objetos, la optimización de fuerzas y la telemanipulación.
2021-07-11T00:03:36ZMontaño Sarria, Andrés FelipeIn-hand dexterous manipulation of an object is the ability to change the configuration (position and/or orientation) of an object held in the hand. This is an ability that has allowed humans to use tools and interact with the environment effectively.
For the past decades, robotics researchers have worked to provide dexterous manipulation skills to the robots by designing robotic hands that mimic the human hand and by developing applications that allow performing autonomous manipulation or teleoperation in harsh environments. Despite the progress made, managing the uncertainties that exist in the real world is one of the problems that still need to be worked on. Many existing manipulation methods for controlling robotic hands require a priori information about the object and high-fidelity sensors that are typically limited only to laboratory settings.
The main objective of this thesis is to develop strategies for the dexterous manipulation of unknown objects, using the tactile information generated during the grasp of the object and the manipulation process itself. In manipulation applications based on tactile information, the robotic hand has access only to tactile and proprioceptive data, in addition, no a priori information is known about the manipulated object. This reflects real-world applications, where there is uncertainty in the models of the objects that are commonly manipulated in daily activities, as well as in the sensorial measurements.
In this dissertation, novel manipulation strategies based on heuristic and gradient optimization methods are proposed.
Three quality indexes are selected to measure the goodness of the grasp during the manipulation, related to the configuration of the hand, the quality of the grasp, and the configuration of the object. Starting from a given initial grasp, the manipulation strategies are able to improve one quality index or a combination of them. The manipulation strategies are validated with real experimentation using robotic hands equipped with tactile sensors, allowing the execution of practical applications, such as object recognition, force optimization, and telemanipulation.
La manipulación diestra es la capacidad de cambiar la configuración (posición y/u orientación) de un objeto mientras es sostenido en la mano. Esta es una habilidad que ha permitido a los humanos usar herramientas e interactuar con el medio ambiente de forma efectiva. En las últimas décadas, los investigadores en robótica han trabajado para proporcionar la capacidad de ejercer manipulación diestra a los robots mediante el diseño de manos robóticas que imitan a la mano humana y mediante el desarrollo de aplicaciones que permiten realizar manipulación autónoma o teleoperación en entornos hostiles. A pesar de los avances logrados, gestionar las incertidumbres que existen en el mundo real es uno de los problemas en los que aún hay que seguir trabajando. Muchos enfoques existentes para controlar las manos robóticas, requieren información a priori sobre el objeto manipulado y sensores de alta fidelidad que normalmente se encuentran solo en laboratorios. El principal objetivo de esta tesis es desarrollar estrategias para la manipulación diestra de objetos desconocidos, utilizando la información táctil generada durante la prensión del objeto y el propio proceso de manipulación. En aplicaciones de manipulación basadas en información táctil, la mano robótica tiene acceso solo a datos táctiles y propioceptivos, además, no se conoce información a priori sobre el objeto manipulado. Esto va acorde con el mundo real, donde hay incertidumbre en los modelos de los objetos que se manipulan, así como en las mediciones de los sensores. En esta tesis se proponen nuevas estrategias de manipulación basadas en métodos heurísticos y de optimización del gradiente. Se eligieron tres índices para medir la calidad de la prensión durante la manipulación, los cuales están relacionados con la configuración de la mano, la calidad de la prensión y la configuración del objeto. A partir de una prensión inicial dada, las estrategias de manipulación pueden mejorar un índice de calidad o una combinación de ellos. Las estrategias de manipulación han sido validadas en experimentación real utilizando manos robóticas equipadas con sensores táctiles, permitiendo la ejecución de aplicaciones prácticas, como el reconocimiento de objetos, la optimización de fuerzas y la telemanipulación.Knowledge representation and reasoning for perception-based manipulation planningDiab, Mohammedhttp://hdl.handle.net/2117/3453162023-10-18T13:06:32Z2021-05-09T00:02:20ZKnowledge representation and reasoning for perception-based manipulation planning
Diab, Mohammed
This thesis develops a series of modeling and reasoning tools for knowledge-oriented manipulation planning in semi/unstructured environments. The main idea is to use high-level knowledge-based reasoning to capture a rich semantic description of the scene, knowledge about the physical behavior of the objects, and inference mechanism to reason about the potential manipulation actions. Moreover, a multi-model sensory module is proposed to perceive the objects in the environment and build the ontological knowledge.
The first part of the thesis is focused on the techniques to provide useful knowledge to guide and facilitate the planning process within a classical-based manipulation planning framework. This planning framework facilitates the combination of task and motion planning approaches which includes Fast Forward (FF), a classical symbolic planning approach to compute the sequence of actions to be done in a certain task, and physics-based motion planning which deals with motions and possible interactions with the objects. The tool proposed to provide useful knowledge to the planning process is called Perception and Manipulation Knowledge (PMK). It provides, on the one hand, a standardized formalization under several foundations, such as the Suggested Upper Merged Ontology (SUMO), and the Core Ontology for Robotics and Automation (CORA), in order to facilitate the shareability and reusability when the interaction between humans and/or robots is done. On the other hand, it provides the inference mechanism to reason about TAMP requirements, such as robot capabilities, action constraints, action feasibility, and manipulation behaviors. Moreover, PMK allows breaking the closed-world assumption of classical-based manipulation planning approaches. This proposal has been tested for a serving task in a table-top manipulation problem.; Esta tesis desarrolla una serie de herramientas de modelado y razonamiento para la planificación de la manipulación basada en el conocimiento en entornos no estructurados o semiestructurados. La idea principal es utilizar un razonamiento basado en el conocimiento de alto nivel para capturar una descripción semántica de la escena, conocimiento sobre el comportamiento físico de los objetos y un mecanismo de inferencia para razonar sobre las posibles acciones de manipulación. Además, se propone un módulo sensorial multimodelo para percibir los objetos del entorno y construir conocimiento ontológico. La primera parte de la tesis se centra en las técnicas para proporcionar conocimientos útiles para guiar y facilitar el proceso de planificación dentro de un marco de planificación de manipulación clásico. Este marco de planificación facilita la combinación de enfoques de planificación de tareas y movimientos (TAMP) que incluye Fast Forward (FF) que es un enfoque clásico de planificación simbólica para calcular la secuencia de acciones a realizar en una determinada tarea, y la planificación de movimiento basada en la física que trata con movimientos y posibles interacciones con los objetos. La herramienta propuesta para aportar conocimientos útiles al proceso de planificación se denomina Conocimiento de Percepción y Manipulación (PMK), la cual proporciona una formalización estandarizada bajo varios fundamentos, como la Ontología Superior Sugerida Sugerida (SUMO), y la Ontología Core para Robótica y Automatización (CORA), con el fin de facilitar la compartibilidad y reutilización cuando se produzca la interacción entre humanos y/o robots. La segunda parte de la tesis se centra en proporcionar conocimientos útiles para un enfoque de planificación basado en la lógica. Está particularizado para el ensamblaje, que tiene en cuenta lacciones de manipulación para acoplar/desacoplar o unir/separar objetos. Las secuencias de ensamblaje se pueden representar de forma elegante usando teorías de lógica descriptiva. Con tal secuencia, el robot puede descubrir el próximo paso en el ensamblaje a través de la inferencia lógica. Sin embargo, antes de realizar una acción, el robot debe asegurarse de que se cumplan varias restricciones espaciales, como que las partes que se van a unir sean accesibles, no ocluidas, etc. Tales inferencias son muy complicadas de respaldar en teorías lógicas, pero existen algoritmos especializados que calculan de manera eficiente relaciones cualitativas, como si un objeto es accesible. Aquí se propone un razonamiento heterogéneo que requiere la integración entre el nivel de planificación de ensamblajes basado en el conocimiento y el nivel geométrico, que incluye módulos para inferir sobre las relaciones espaciales y la viabilidad de las acciones. La tercera parte de la tesis se centra en el uso de la experiencia basada en el conocimiento, llamado conocimiento experiencial, en problemas de manipulación cotidianos, como por ejemplo, en aplicaciones de robótica de servicios, como servir una taza en un entorno desordenado, donde suelen encontrarse algunas habilidades repetibles como recoger, dejar o navegar. Para manejar de manera eficiente estas tareas, en lugar de planificarlas por completo cada vez (lo que podría ser computacionalmente costoso), se propone la integración de módulos para adaptar esas habilidades en diferentes situaciones. En este sentido, se presenta un marco de planificación y ejecución para tareas de manipulación robótica, el cual se equipa de un módulo con conocimiento experiencial (aprendido de su experiencia o dado por el usuario) sobre cómo ejecutar un conjunto de habilidades, tales como recoger, dejar, navegar o abrir un cajón, utilizando flujos de trabajo y trayectorias de robots.
2021-05-09T00:02:20ZDiab, MohammedThis thesis develops a series of modeling and reasoning tools for knowledge-oriented manipulation planning in semi/unstructured environments. The main idea is to use high-level knowledge-based reasoning to capture a rich semantic description of the scene, knowledge about the physical behavior of the objects, and inference mechanism to reason about the potential manipulation actions. Moreover, a multi-model sensory module is proposed to perceive the objects in the environment and build the ontological knowledge.
The first part of the thesis is focused on the techniques to provide useful knowledge to guide and facilitate the planning process within a classical-based manipulation planning framework. This planning framework facilitates the combination of task and motion planning approaches which includes Fast Forward (FF), a classical symbolic planning approach to compute the sequence of actions to be done in a certain task, and physics-based motion planning which deals with motions and possible interactions with the objects. The tool proposed to provide useful knowledge to the planning process is called Perception and Manipulation Knowledge (PMK). It provides, on the one hand, a standardized formalization under several foundations, such as the Suggested Upper Merged Ontology (SUMO), and the Core Ontology for Robotics and Automation (CORA), in order to facilitate the shareability and reusability when the interaction between humans and/or robots is done. On the other hand, it provides the inference mechanism to reason about TAMP requirements, such as robot capabilities, action constraints, action feasibility, and manipulation behaviors. Moreover, PMK allows breaking the closed-world assumption of classical-based manipulation planning approaches. This proposal has been tested for a serving task in a table-top manipulation problem.
Esta tesis desarrolla una serie de herramientas de modelado y razonamiento para la planificación de la manipulación basada en el conocimiento en entornos no estructurados o semiestructurados. La idea principal es utilizar un razonamiento basado en el conocimiento de alto nivel para capturar una descripción semántica de la escena, conocimiento sobre el comportamiento físico de los objetos y un mecanismo de inferencia para razonar sobre las posibles acciones de manipulación. Además, se propone un módulo sensorial multimodelo para percibir los objetos del entorno y construir conocimiento ontológico. La primera parte de la tesis se centra en las técnicas para proporcionar conocimientos útiles para guiar y facilitar el proceso de planificación dentro de un marco de planificación de manipulación clásico. Este marco de planificación facilita la combinación de enfoques de planificación de tareas y movimientos (TAMP) que incluye Fast Forward (FF) que es un enfoque clásico de planificación simbólica para calcular la secuencia de acciones a realizar en una determinada tarea, y la planificación de movimiento basada en la física que trata con movimientos y posibles interacciones con los objetos. La herramienta propuesta para aportar conocimientos útiles al proceso de planificación se denomina Conocimiento de Percepción y Manipulación (PMK), la cual proporciona una formalización estandarizada bajo varios fundamentos, como la Ontología Superior Sugerida Sugerida (SUMO), y la Ontología Core para Robótica y Automatización (CORA), con el fin de facilitar la compartibilidad y reutilización cuando se produzca la interacción entre humanos y/o robots. La segunda parte de la tesis se centra en proporcionar conocimientos útiles para un enfoque de planificación basado en la lógica. Está particularizado para el ensamblaje, que tiene en cuenta lacciones de manipulación para acoplar/desacoplar o unir/separar objetos. Las secuencias de ensamblaje se pueden representar de forma elegante usando teorías de lógica descriptiva. Con tal secuencia, el robot puede descubrir el próximo paso en el ensamblaje a través de la inferencia lógica. Sin embargo, antes de realizar una acción, el robot debe asegurarse de que se cumplan varias restricciones espaciales, como que las partes que se van a unir sean accesibles, no ocluidas, etc. Tales inferencias son muy complicadas de respaldar en teorías lógicas, pero existen algoritmos especializados que calculan de manera eficiente relaciones cualitativas, como si un objeto es accesible. Aquí se propone un razonamiento heterogéneo que requiere la integración entre el nivel de planificación de ensamblajes basado en el conocimiento y el nivel geométrico, que incluye módulos para inferir sobre las relaciones espaciales y la viabilidad de las acciones. La tercera parte de la tesis se centra en el uso de la experiencia basada en el conocimiento, llamado conocimiento experiencial, en problemas de manipulación cotidianos, como por ejemplo, en aplicaciones de robótica de servicios, como servir una taza en un entorno desordenado, donde suelen encontrarse algunas habilidades repetibles como recoger, dejar o navegar. Para manejar de manera eficiente estas tareas, en lugar de planificarlas por completo cada vez (lo que podría ser computacionalmente costoso), se propone la integración de módulos para adaptar esas habilidades en diferentes situaciones. En este sentido, se presenta un marco de planificación y ejecución para tareas de manipulación robótica, el cual se equipa de un módulo con conocimiento experiencial (aprendido de su experiencia o dado por el usuario) sobre cómo ejecutar un conjunto de habilidades, tales como recoger, dejar, navegar o abrir un cajón, utilizando flujos de trabajo y trayectorias de robots.The robot null space : new uses for new robotic systemsClaret Robert, Josep Arnauhttp://hdl.handle.net/2117/3409892023-10-18T13:03:11Z2021-03-04T12:03:15ZThe robot null space : new uses for new robotic systems
Claret Robert, Josep Arnau
This doctoral thesis deals with the use of the robot redundancy to execute several tasks simultaneously at different levels of priority and its application to two different robotic systems. In particular, new uses of the robotic null-space are proposed. One of the robotic systems is studied in this thesis. The thesis memory is divided in two parts, according to the involved robotic system.
The first robotic system is a humanoid robot on which a novel use of the null-space is presented: its use to transmit emotions to the users as a low priority task while the robot is executing a task with higher priority. A mapping to translate emotions as points in a three dimensional space to motions of the robot to be fed to the null-space is proposed. The proposed model is implemented and verified in a Pepper robot through a user study. In this study, a salutation motion is executed as the highest priority task, and the null-space is used to generate emotional motions. The analysis of the user study shows that the null-space is a proper mean to convey emotions to the user.
The second robotic system is a novelty in itself: it consists of a teleoperation robotic system composed of a mobile manipulator, a UAV with a camera, and a haptic device. The operator teleoperates the mobile manipulator through the haptic device while getting visual feedback from the camera of the drone. The kinematic model of the robotic system, and an algorithm to coordinate the robot and the UAV so that the operator is released from the explicit command of the drone, are proposed. The results of a user study show that the proposed algorithm is appropriate in terms of the operator workload and the learning curve. A null-space algorithm is proposed to avoid own-occlusions of the robot end-effector, that is, situations where parts of the robot occlude the view from the camera of the object at the end-effector. An algorithm for the activation of the camera movements that guarantees that the operator does not lose sight of the teleoperated object, and which is only activated when the robot is about to leave the camera field of view, is presented. Additionally, the continuous inverse, a mathematical operator well suited for smooth transitions between the different levels of priority, is studied; two enhancements are proposed to avoid instabilities and that the lower priority tasks affect the higher priority tasks during transitions. The proposed algorithms are verified in simulations and in real experiments.; Esta tesis doctoral se enmarca en el uso de la redundancia de un robot para ejecutar varias tareas simultáneamente con distintos niveles de prioridad en dos sistemas robóticos distintos. La memoria de la tesis se estructura en dos partes, de acuerdo con el sistema robótico tratado. El primer sistema es un robot humanoide sobre el que se propone un uso novedoso de su espacio nulo: su potencial para transmitir emociones como una tarea secundaria mientras el robot está ejecutando otra tarea con máxima prioridad. Se propone un mapa para convertir emociones descritas como puntos en un espacio tridimensional a movimientos del robot, que se utilizan para alimentar el espacio nulo. El modelo propuesto ha sido implementado y validado en un robot Pepper mediante un estudio con usuarios. En este estudio se ejecuta un movimiento de saludo como tarea principal, y se utiliza el espacio nulo para dotar al robot de movimientos con carga emocional. De los resultados del estudio se concluye que el espacio nulo de un robot es un mecanismo apropiado para transmitir emociones. El segundo sistema robótico estudiado es una novedad en sí mismo: consiste en un sistema robótico teleoperado formado por un manipulador móbil, un dron con cámara de visióny un dispositivo háptico. El operador teleopera el manipulador móbil mediante el dispositivo háptico, utilizando la realimentación visual que le proporciona la cámara del dron. Se plantea el modelo cinemático del sistema robótico y se propone un algoritmo para la coordinación del robot y el dron que evite el control explícito del éste, a fin de reducir la carga de trabajo del operador. Se presentan los resultados de un estudio con usuarios para validar que el nivel de carga de trabajo del operador y la curva de aprendizaje son adecuados. Se propone también el uso del espacio nulo del manipulador móbil para evitar que el robot se interponga entre el objeto en el elemento terminal del robot y la cámara, lo que entorpecería la teleoperación. Se propone un algoritmo para la activación del movimiento de la cámara que garantiza que el operador no pierde de vista el objeto teleoperado y que únicamente se activa cuando el robot está a punto de salir de su campo de visión. Adicionalmente, se estudia la inversa continua, un operador matemático que utiliza el espacio nulo y que es indicado para ejecutar transiciones suaves entre varias tareas con distintos niveles de prioridad; se proponen dos mejoras que evitan la aparición de inestabilidades y que las tareas de menor prioridad afecten a las de mayor prioridad durante las transiciones. Los algoritmos propuestos son validades mediante simulaciones y experimentación real.
Aplicat embargament des de la data de defensa fins al 31/12/2020
2021-03-04T12:03:15ZClaret Robert, Josep ArnauThis doctoral thesis deals with the use of the robot redundancy to execute several tasks simultaneously at different levels of priority and its application to two different robotic systems. In particular, new uses of the robotic null-space are proposed. One of the robotic systems is studied in this thesis. The thesis memory is divided in two parts, according to the involved robotic system.
The first robotic system is a humanoid robot on which a novel use of the null-space is presented: its use to transmit emotions to the users as a low priority task while the robot is executing a task with higher priority. A mapping to translate emotions as points in a three dimensional space to motions of the robot to be fed to the null-space is proposed. The proposed model is implemented and verified in a Pepper robot through a user study. In this study, a salutation motion is executed as the highest priority task, and the null-space is used to generate emotional motions. The analysis of the user study shows that the null-space is a proper mean to convey emotions to the user.
The second robotic system is a novelty in itself: it consists of a teleoperation robotic system composed of a mobile manipulator, a UAV with a camera, and a haptic device. The operator teleoperates the mobile manipulator through the haptic device while getting visual feedback from the camera of the drone. The kinematic model of the robotic system, and an algorithm to coordinate the robot and the UAV so that the operator is released from the explicit command of the drone, are proposed. The results of a user study show that the proposed algorithm is appropriate in terms of the operator workload and the learning curve. A null-space algorithm is proposed to avoid own-occlusions of the robot end-effector, that is, situations where parts of the robot occlude the view from the camera of the object at the end-effector. An algorithm for the activation of the camera movements that guarantees that the operator does not lose sight of the teleoperated object, and which is only activated when the robot is about to leave the camera field of view, is presented. Additionally, the continuous inverse, a mathematical operator well suited for smooth transitions between the different levels of priority, is studied; two enhancements are proposed to avoid instabilities and that the lower priority tasks affect the higher priority tasks during transitions. The proposed algorithms are verified in simulations and in real experiments.
Esta tesis doctoral se enmarca en el uso de la redundancia de un robot para ejecutar varias tareas simultáneamente con distintos niveles de prioridad en dos sistemas robóticos distintos. La memoria de la tesis se estructura en dos partes, de acuerdo con el sistema robótico tratado. El primer sistema es un robot humanoide sobre el que se propone un uso novedoso de su espacio nulo: su potencial para transmitir emociones como una tarea secundaria mientras el robot está ejecutando otra tarea con máxima prioridad. Se propone un mapa para convertir emociones descritas como puntos en un espacio tridimensional a movimientos del robot, que se utilizan para alimentar el espacio nulo. El modelo propuesto ha sido implementado y validado en un robot Pepper mediante un estudio con usuarios. En este estudio se ejecuta un movimiento de saludo como tarea principal, y se utiliza el espacio nulo para dotar al robot de movimientos con carga emocional. De los resultados del estudio se concluye que el espacio nulo de un robot es un mecanismo apropiado para transmitir emociones. El segundo sistema robótico estudiado es una novedad en sí mismo: consiste en un sistema robótico teleoperado formado por un manipulador móbil, un dron con cámara de visióny un dispositivo háptico. El operador teleopera el manipulador móbil mediante el dispositivo háptico, utilizando la realimentación visual que le proporciona la cámara del dron. Se plantea el modelo cinemático del sistema robótico y se propone un algoritmo para la coordinación del robot y el dron que evite el control explícito del éste, a fin de reducir la carga de trabajo del operador. Se presentan los resultados de un estudio con usuarios para validar que el nivel de carga de trabajo del operador y la curva de aprendizaje son adecuados. Se propone también el uso del espacio nulo del manipulador móbil para evitar que el robot se interponga entre el objeto en el elemento terminal del robot y la cámara, lo que entorpecería la teleoperación. Se propone un algoritmo para la activación del movimiento de la cámara que garantiza que el operador no pierde de vista el objeto teleoperado y que únicamente se activa cuando el robot está a punto de salir de su campo de visión. Adicionalmente, se estudia la inversa continua, un operador matemático que utiliza el espacio nulo y que es indicado para ejecutar transiciones suaves entre varias tareas con distintos niveles de prioridad; se proponen dos mejoras que evitan la aparición de inestabilidades y que las tareas de menor prioridad afecten a las de mayor prioridad durante las transiciones. Los algoritmos propuestos son validades mediante simulaciones y experimentación real.Combining task and motion planning for mobile manipulatorsAkbari, Aliakbarhttp://hdl.handle.net/2117/1764322023-10-18T13:05:38Z2020-02-03T01:00:54ZCombining task and motion planning for mobile manipulators
Akbari, Aliakbar
This thesis addresses the combination of task and motion planning which deals with different types of robotic manipulation problems. Manipulation problems are referred to as mobile manipulation, collaborative multiple mobile robots tasks, and even higher dimensional tasks (like bi-manual robots or mobile manipulators). Task and motion planning problems needs to obtain a geometrically feasible manipulation plan through symbolic and geometric search space. The combination of task and motion planning levels has emerged as a challenging issue as the failure leads robots to dead-end tasks due to geometric constraints.
In addition, task planning is combined with physics-based motion planning and information to cope with manipulation tasks in which interactions between robots and objects are required, or also a low-cost feasible plan in terms of power is looked for. Moreover, combining task and motion planning frameworks is enriched by introducing manipulation knowledge. It facilitates the planning process and aids to provide the way of executing symbolic actions.
Combining task and motion planning can be considered under uncertain information and with human-interaction. Uncertainty can be viewed in the initial state of the robot world or the result of symbolic actions. To deal with such issues, contingent-based task and motion planning is proposed using a perception system and human knowledge. Also, robots can ask human for those tasks which are difficult or infeasible for the purpose of collaboration.
An implementation framework to combine different types of task and motion planning is presented. All the required modules and tools are also illustrated. As some task planning algorithms are implemented in Prolog or C++ languages and our geometric reasoner is developed in C++, the flow of information between different languages is explained.; Aquesta tesis es centra en les eines de planificació combinada a nivell de tasca i a nivell de moviments per abordar diferents problemes de manipulació robòtica. Els problemes considerats són de navegació de robots mòbil enmig de obstacles no fixes, tasques de manipulació cooperativa entre varis robots mòbils, i tasques de manipulació de dimensió més elevada com les portades a terme amb robots bi-braç o manipuladors mòbils. La planificació combinada de tasques i de moviments ha de cercar un pla de manipulació que sigui geomètricament realitzable, a través de d'un espai de cerca simbòlic i geomètric. La combinació dels nivells de planificació de tasca i de moviments ha sorgit com un repte ja que les fallades degudes a les restriccions geomètriques poden portar a tasques sense solució. Addicionalment, la planificació a nivell de tasca es combina amb informació de la física de l'entorn i amb mètodes de planificació basats en la física, per abordar tasques de manipulació en les que la interacció entre el robot i els objectes és necessària, o també si es busca un pla realitzable i amb un baix cost en termes de potència. A més, el marc proposat per al combinació de la planificació a nivell de tasca i a nivell de moviments es millora mitjançant l'ús de coneixement, que facilita el procés de planificació i ajuda a trobar la forma d'executar accions simbòliques. La combinació de nivells de planificació també es pot considerar en casos d'informació incompleta i en la interacció humà-robot. La incertesa es considera en l'estat inicial i en el resultat de les accions simbòliques. Per abordar aquest problema, es proposa la planificació basada en contingències usant un sistema de percepció i el coneixement de l'operari humà. Igualment, els robots poden demanar col·laboració a l'operari humà per a que realitzi aquelles accions que són difícils o no realitzables pel robot. Es presenta també un marc d'implementació per a la combinació de nivells de planificació usant diferents mètodes, incloent tots els mòduls i eines necessàries. Com que alguns algorismes estan implementats en Prolog i d'altres en C++, i el mòdul de raonament geomètric proposat està desenvolupat en C++, es detalla el flux d'informació entre diferents llenguatges.
Aplicat embargament des de la data de defensa fins el dia 31/12/2019; Premi Extraordinari de Doctorat, promoció 2018-2019. Àmbit d’Enginyeria Industrial
2020-02-03T01:00:54ZAkbari, AliakbarThis thesis addresses the combination of task and motion planning which deals with different types of robotic manipulation problems. Manipulation problems are referred to as mobile manipulation, collaborative multiple mobile robots tasks, and even higher dimensional tasks (like bi-manual robots or mobile manipulators). Task and motion planning problems needs to obtain a geometrically feasible manipulation plan through symbolic and geometric search space. The combination of task and motion planning levels has emerged as a challenging issue as the failure leads robots to dead-end tasks due to geometric constraints.
In addition, task planning is combined with physics-based motion planning and information to cope with manipulation tasks in which interactions between robots and objects are required, or also a low-cost feasible plan in terms of power is looked for. Moreover, combining task and motion planning frameworks is enriched by introducing manipulation knowledge. It facilitates the planning process and aids to provide the way of executing symbolic actions.
Combining task and motion planning can be considered under uncertain information and with human-interaction. Uncertainty can be viewed in the initial state of the robot world or the result of symbolic actions. To deal with such issues, contingent-based task and motion planning is proposed using a perception system and human knowledge. Also, robots can ask human for those tasks which are difficult or infeasible for the purpose of collaboration.
An implementation framework to combine different types of task and motion planning is presented. All the required modules and tools are also illustrated. As some task planning algorithms are implemented in Prolog or C++ languages and our geometric reasoner is developed in C++, the flow of information between different languages is explained.
Aquesta tesis es centra en les eines de planificació combinada a nivell de tasca i a nivell de moviments per abordar diferents problemes de manipulació robòtica. Els problemes considerats són de navegació de robots mòbil enmig de obstacles no fixes, tasques de manipulació cooperativa entre varis robots mòbils, i tasques de manipulació de dimensió més elevada com les portades a terme amb robots bi-braç o manipuladors mòbils. La planificació combinada de tasques i de moviments ha de cercar un pla de manipulació que sigui geomètricament realitzable, a través de d'un espai de cerca simbòlic i geomètric. La combinació dels nivells de planificació de tasca i de moviments ha sorgit com un repte ja que les fallades degudes a les restriccions geomètriques poden portar a tasques sense solució. Addicionalment, la planificació a nivell de tasca es combina amb informació de la física de l'entorn i amb mètodes de planificació basats en la física, per abordar tasques de manipulació en les que la interacció entre el robot i els objectes és necessària, o també si es busca un pla realitzable i amb un baix cost en termes de potència. A més, el marc proposat per al combinació de la planificació a nivell de tasca i a nivell de moviments es millora mitjançant l'ús de coneixement, que facilita el procés de planificació i ajuda a trobar la forma d'executar accions simbòliques. La combinació de nivells de planificació també es pot considerar en casos d'informació incompleta i en la interacció humà-robot. La incertesa es considera en l'estat inicial i en el resultat de les accions simbòliques. Per abordar aquest problema, es proposa la planificació basada en contingències usant un sistema de percepció i el coneixement de l'operari humà. Igualment, els robots poden demanar col·laboració a l'operari humà per a que realitzi aquelles accions que són difícils o no realitzables pel robot. Es presenta també un marc d'implementació per a la combinació de nivells de planificació usant diferents mètodes, incloent tots els mòduls i eines necessàries. Com que alguns algorismes estan implementats en Prolog i d'altres en C++, i el mòdul de raonament geomètric proposat està desenvolupat en C++, es detalla el flux d'informació entre diferents llenguatges.Motion planning using synergies : application to anthropomorphic dual-arm robotsGarcía Hidalgo, Néstorhttp://hdl.handle.net/2117/1704382023-10-18T13:06:27Z2019-10-21T00:01:01ZMotion planning using synergies : application to anthropomorphic dual-arm robots
García Hidalgo, Néstor
Motion planning is a traditional field in robotics, but new problems are nevertheless incessantly appearing, due to continuous advances in the robot developments. In order to solve these new problems, as well as to improve the existing solutions to classical problems, new approaches are being proposed. A paradigmatic case is the humanoid robotics, since the advances done in this field require motion planners not only to look efficiently for an optimal solution in the classic way, i.e. optimizing consumed energy or time in the plan execution, but also looking for human-like solutions, i.e. requiring the robot movements to be similar to those of the human beings. This anthropomorphism in the robot motion is desired not only for aesthetical reasons, but it is also needed to allow a better and safer human-robot collaboration: humans can predict more easily anthropomorphic robot motions thus avoiding collisions and enhancing the collaboration with the robot. Nevertheless, obtaining a satisfactory performance of these anthropomorphic robotic systems requires the automatic planning of the movements, which is still an arduous and non-evident task since the complexity of the planning problem increases exponentially with the number of degrees of freedom of the robotic system.
This doctoral thesis tackles the problem of planning the motions of dual-arm anthropomorphic robots (optionally with mobile base). The main objective is twofold: obtaining robot motions both in an efficient and in a human-like fashion at the same time. Trying to mimic the human movements while reducing the complexity of the search space for planning purposes leads to the concept of synergies, which could be conceptually defined as correlations (in the joint configuration space as well as in the joint velocity space) between the degrees of freedom of the system. This work proposes new sampling-based motion-planning procedures that exploit the concept of synergies, both in the configuration and velocity space, coordinating the movements of the arms, the hands and the mobile base of mobile anthropomorphic dual-arm robots.; La planificación de movimientos es un campo tradicional de la robótica, sin embargo aparecen incesantemente nuevos problemas debido a los continuos avances en el desarrollo de los robots. Para resolver esos nuevos problemas, así como para mejorar las soluciones existentes a los problemas clásicos, se están proponiendo nuevos enfoques. Un caso paradigmático es la robótica humanoide, ya que los avances realizados en este campo requieren que los algoritmos planificadores de movimientos no sólo encuentren eficientemente una solución óptima en el sentido clásico, es decir, optimizar el consumo de energía o el tiempo de ejecución de la trayectoria; sino que también busquen soluciones con apariencia humana, es decir, que el movimiento del robot sea similar al del ser humano. Este antropomorfismo en el movimiento del robot se busca no sólo por razones estéticas, sino porque también es necesario para permitir una colaboración mejor y más segura entre el robot y el operario: el ser humano puede predecir con mayor facilidad los movimientos del robot si éstos son antropomórficos, evitando así las colisiones y mejorando la colaboración humano robot. Sin embargo, para obtener un desempeño satisfactorio de estos sistemas robóticos antropomórficos se requiere una planificación automática de sus movimientos, lo que sigue siendo una tarea ardua y poco evidente, ya que la complejidad del problema aumenta exponencialmente con el número de grados de libertad del sistema robótico. Esta tesis doctoral aborda el problema de la planificación de movimientos en robots antropomorfos bibrazo (opcionalmente con base móvil). El objetivo aquí es doble: obtener movimientos robóticos de forma eficiente y, a la vez, que tengan apariencia humana. Intentar imitar los movimientos humanos mientras a la vez se reduce la complejidad del espacio de búsqueda conduce al concepto de sinergias, que podrían definirse conceptualmente como correlaciones (tanto en el espacio de configuraciones como en el espacio de velocidades de las articulaciones) entre los distintos grados de libertad del sistema. Este trabajo propone nuevos procedimientos de planificación de movimientos que explotan el concepto de sinergias, tanto en el espacio de configuraciones como en el espacio de velocidades, coordinando así los movimientos de los brazos, las manos y la base móvil de robots móviles, bibrazo y antropomórficos.
2019-10-21T00:01:01ZGarcía Hidalgo, NéstorMotion planning is a traditional field in robotics, but new problems are nevertheless incessantly appearing, due to continuous advances in the robot developments. In order to solve these new problems, as well as to improve the existing solutions to classical problems, new approaches are being proposed. A paradigmatic case is the humanoid robotics, since the advances done in this field require motion planners not only to look efficiently for an optimal solution in the classic way, i.e. optimizing consumed energy or time in the plan execution, but also looking for human-like solutions, i.e. requiring the robot movements to be similar to those of the human beings. This anthropomorphism in the robot motion is desired not only for aesthetical reasons, but it is also needed to allow a better and safer human-robot collaboration: humans can predict more easily anthropomorphic robot motions thus avoiding collisions and enhancing the collaboration with the robot. Nevertheless, obtaining a satisfactory performance of these anthropomorphic robotic systems requires the automatic planning of the movements, which is still an arduous and non-evident task since the complexity of the planning problem increases exponentially with the number of degrees of freedom of the robotic system.
This doctoral thesis tackles the problem of planning the motions of dual-arm anthropomorphic robots (optionally with mobile base). The main objective is twofold: obtaining robot motions both in an efficient and in a human-like fashion at the same time. Trying to mimic the human movements while reducing the complexity of the search space for planning purposes leads to the concept of synergies, which could be conceptually defined as correlations (in the joint configuration space as well as in the joint velocity space) between the degrees of freedom of the system. This work proposes new sampling-based motion-planning procedures that exploit the concept of synergies, both in the configuration and velocity space, coordinating the movements of the arms, the hands and the mobile base of mobile anthropomorphic dual-arm robots.
La planificación de movimientos es un campo tradicional de la robótica, sin embargo aparecen incesantemente nuevos problemas debido a los continuos avances en el desarrollo de los robots. Para resolver esos nuevos problemas, así como para mejorar las soluciones existentes a los problemas clásicos, se están proponiendo nuevos enfoques. Un caso paradigmático es la robótica humanoide, ya que los avances realizados en este campo requieren que los algoritmos planificadores de movimientos no sólo encuentren eficientemente una solución óptima en el sentido clásico, es decir, optimizar el consumo de energía o el tiempo de ejecución de la trayectoria; sino que también busquen soluciones con apariencia humana, es decir, que el movimiento del robot sea similar al del ser humano. Este antropomorfismo en el movimiento del robot se busca no sólo por razones estéticas, sino porque también es necesario para permitir una colaboración mejor y más segura entre el robot y el operario: el ser humano puede predecir con mayor facilidad los movimientos del robot si éstos son antropomórficos, evitando así las colisiones y mejorando la colaboración humano robot. Sin embargo, para obtener un desempeño satisfactorio de estos sistemas robóticos antropomórficos se requiere una planificación automática de sus movimientos, lo que sigue siendo una tarea ardua y poco evidente, ya que la complejidad del problema aumenta exponencialmente con el número de grados de libertad del sistema robótico. Esta tesis doctoral aborda el problema de la planificación de movimientos en robots antropomorfos bibrazo (opcionalmente con base móvil). El objetivo aquí es doble: obtener movimientos robóticos de forma eficiente y, a la vez, que tengan apariencia humana. Intentar imitar los movimientos humanos mientras a la vez se reduce la complejidad del espacio de búsqueda conduce al concepto de sinergias, que podrían definirse conceptualmente como correlaciones (tanto en el espacio de configuraciones como en el espacio de velocidades de las articulaciones) entre los distintos grados de libertad del sistema. Este trabajo propone nuevos procedimientos de planificación de movimientos que explotan el concepto de sinergias, tanto en el espacio de configuraciones como en el espacio de velocidades, coordinando así los movimientos de los brazos, las manos y la base móvil de robots móviles, bibrazo y antropomórficos.Solving robotic kinematic problems : singularities and inverse kinematicsZaplana Agut, Isiahhttp://hdl.handle.net/2117/1685712023-10-18T13:06:28Z2019-09-23T00:00:57ZSolving robotic kinematic problems : singularities and inverse kinematics
Zaplana Agut, Isiah
Kinematics is a branch of classical mechanics that describes the motion of points, bodies, and systems of bodies without considering the forces that cause such motion. For serial robot manipulators, kinematics consists of describing the open chain geometry as well as the position, velocity and/or acceleration of each one of its components. Rigid serial robot manipulators
are designed as a sequence of rigid bodies, called links, connected by motor-actuated pairs, called joints, that provide relative motion between consecutive links. Two kinematic problems of special relevance for serial robots are:
- Singularities: are the configurations where the robot loses at least one degree of freedom (DOF). This is equivalent to:
(a) The robot cannot translate or rotate its end-effector in at least one direction.
(b) Unbounded joint velocities are required to generate finite linear and angular velocities.
Either if it is real-time teleoperation or off-line path planning, singularities must be addressed to make the robot exhibit a good performance for a given task. The objective is not only to identify the singularities and their associated singular directions but to design strategies to avoid or handle them.
- Inverse kinematic problem: Given a particular position and orientation of the end-effector, also known as the end-effector pose, the inverse kinematics consists of finding the configurations that provide such desired pose. The importance of the inverse kinematics relies on its role in the programming and control of serial robots. Besides, since for each given pose the inverse kinematics has up to sixteen different solutions, the objective is to find a closed-form method for solving this problem, since closed-form methods allow to obtain all the solutions in a compact form.
The main goal of the Ph.D. dissertation is to contribute to the solution of both problems. In particular, with respect to the singularity problem, a novel scheme for the identification of the singularities and their associated singular directions is introduced. Moreover, geometric algebra is used to simplify such identification and to provide a distance function in the configuration space of the robot that allows the definition of algorithms for avoiding them.
With respect to the inverse kinematics, redundant robots are reduced to non-redundant ones by selecting a set of joints, denoted redundant joints, and by parameterizing their joint variables. This selection is made through a workspace analysis which also provides an upper bound for the number of different closed-form solutions. Once these joints have been identified, several
closed-form methods developed for non-redundant manipulators can be applied to obtain the analytical expressions of all the solutions. One of these methods is a novel strategy developed using again the conformal model of the spatial geometric algebra.
To sum up, the Ph.D dissertation provides a rigorous analysis of the two above-mentioned kinematic problems as well as novel strategies for solving them. To illustrate the different results introduced in the Ph.D. memory, examples are given at the end of each of its chapters.; La cinemática es una rama de la mecánica clásica que describe el movimiento de puntos, cuerpos y sistemas de cuerpos sin considerar las fuerzas que causan dicho movimiento. Para un robot manipulador serie, la cinemática consiste en la descripción de su geometría, su posición, velocidad y/o aceleración. Los robots manipuladores serie están diseñados como una secuencia de elementos estructurales rígidos, llamados eslabones, conectados entres si por articulaciones actuadas, que permiten el movimiento relativo entre pares de eslabones consecutivos. Dos problemas cinemáticos de especial relevancia para robots serie son: - Singularidades: son aquellas configuraciones donde el robot pierde al menos un grado de libertad (GDL). Esto equivale a: (a) El robot no puede trasladar ni rotar su elemento terminal en al menos una dirección. (b) Se requieren velocidades articulares no acotadas para generar velocidades lineales y angulares finitas. Ya sea en un sistema teleoperado en tiempo real o planificando una trayectoria, las singularidades deben manejarse para que el robot muestre un rendimiento óptimo mientras realiza una tarea. El objetivo no es solo identificar las singularidades y sus direcciones singulares asociadas, sino diseñar estrategias para evitarlas o manejarlas. - Problema de la cinemática inversa: dada una posición y orientación del elemento terminal (también conocida como la pose del elemento terminal), la cinemática inversa consiste en obtener las configuraciones asociadas a dicha pose. La importancia de la cinemática inversa se basa en el papel que juega en la programación y el control de robots serie. Además, dado que para cada pose la cinemática inversa tiene hasta dieciséis soluciones diferentes, el objetivo es encontrar un método cerrado para resolver este problema, ya que los métodos cerrados permiten obtener todas las soluciones en una forma compacta. El objetivo principal de la tesis doctoral es contribuir a la solución de ambos problemas. En particular, con respecto al problema de las singularidades, se presenta un nuevo método para su identificación basado en el álgebra geométrica. Además, el álgebra geométrica permite definir una distancia en el espacio de configuraciones del robot que permite la definición de distintos algoritmos para evitar las configuraciones singulares. Con respecto a la cinemática inversa, los robots redundantes se reducen a robots no-redundantes mediante la selección de un conjunto de articulaciones, las articulaciones redundantes, para después parametrizar sus variables articulares. Esta selección se realiza a través de un análisis de espacio de trabajo que también proporciona un límite superior para el número de diferentes soluciones en forma cerrada. Una vez las articulaciones redundantes han sido identificadas, varios métodos en forma cerrada desarrollados para robots no-redundantes pueden aplicarse a fin de obtener las expresiones analíticas de todas las soluciones. Uno de dichos métodos es una nueva estrategia desarrollada usando el modelo conforme del álgebra geométrica tridimensional. En resumen, la tesis doctoral proporciona un análisis riguroso de los dos problemas cinemáticos mencionados anteriormente, así como nuevas estrategias para resolverlos. Para ilustrar los diferentes resultados presentados en la tesis, la memoria contiene varios ejemplos al final de cada uno de sus capítulos.
Aplicat embargament des de la data de defensa fins al 30/6/2019
2019-09-23T00:00:57ZZaplana Agut, IsiahKinematics is a branch of classical mechanics that describes the motion of points, bodies, and systems of bodies without considering the forces that cause such motion. For serial robot manipulators, kinematics consists of describing the open chain geometry as well as the position, velocity and/or acceleration of each one of its components. Rigid serial robot manipulators
are designed as a sequence of rigid bodies, called links, connected by motor-actuated pairs, called joints, that provide relative motion between consecutive links. Two kinematic problems of special relevance for serial robots are:
- Singularities: are the configurations where the robot loses at least one degree of freedom (DOF). This is equivalent to:
(a) The robot cannot translate or rotate its end-effector in at least one direction.
(b) Unbounded joint velocities are required to generate finite linear and angular velocities.
Either if it is real-time teleoperation or off-line path planning, singularities must be addressed to make the robot exhibit a good performance for a given task. The objective is not only to identify the singularities and their associated singular directions but to design strategies to avoid or handle them.
- Inverse kinematic problem: Given a particular position and orientation of the end-effector, also known as the end-effector pose, the inverse kinematics consists of finding the configurations that provide such desired pose. The importance of the inverse kinematics relies on its role in the programming and control of serial robots. Besides, since for each given pose the inverse kinematics has up to sixteen different solutions, the objective is to find a closed-form method for solving this problem, since closed-form methods allow to obtain all the solutions in a compact form.
The main goal of the Ph.D. dissertation is to contribute to the solution of both problems. In particular, with respect to the singularity problem, a novel scheme for the identification of the singularities and their associated singular directions is introduced. Moreover, geometric algebra is used to simplify such identification and to provide a distance function in the configuration space of the robot that allows the definition of algorithms for avoiding them.
With respect to the inverse kinematics, redundant robots are reduced to non-redundant ones by selecting a set of joints, denoted redundant joints, and by parameterizing their joint variables. This selection is made through a workspace analysis which also provides an upper bound for the number of different closed-form solutions. Once these joints have been identified, several
closed-form methods developed for non-redundant manipulators can be applied to obtain the analytical expressions of all the solutions. One of these methods is a novel strategy developed using again the conformal model of the spatial geometric algebra.
To sum up, the Ph.D dissertation provides a rigorous analysis of the two above-mentioned kinematic problems as well as novel strategies for solving them. To illustrate the different results introduced in the Ph.D. memory, examples are given at the end of each of its chapters.
La cinemática es una rama de la mecánica clásica que describe el movimiento de puntos, cuerpos y sistemas de cuerpos sin considerar las fuerzas que causan dicho movimiento. Para un robot manipulador serie, la cinemática consiste en la descripción de su geometría, su posición, velocidad y/o aceleración. Los robots manipuladores serie están diseñados como una secuencia de elementos estructurales rígidos, llamados eslabones, conectados entres si por articulaciones actuadas, que permiten el movimiento relativo entre pares de eslabones consecutivos. Dos problemas cinemáticos de especial relevancia para robots serie son: - Singularidades: son aquellas configuraciones donde el robot pierde al menos un grado de libertad (GDL). Esto equivale a: (a) El robot no puede trasladar ni rotar su elemento terminal en al menos una dirección. (b) Se requieren velocidades articulares no acotadas para generar velocidades lineales y angulares finitas. Ya sea en un sistema teleoperado en tiempo real o planificando una trayectoria, las singularidades deben manejarse para que el robot muestre un rendimiento óptimo mientras realiza una tarea. El objetivo no es solo identificar las singularidades y sus direcciones singulares asociadas, sino diseñar estrategias para evitarlas o manejarlas. - Problema de la cinemática inversa: dada una posición y orientación del elemento terminal (también conocida como la pose del elemento terminal), la cinemática inversa consiste en obtener las configuraciones asociadas a dicha pose. La importancia de la cinemática inversa se basa en el papel que juega en la programación y el control de robots serie. Además, dado que para cada pose la cinemática inversa tiene hasta dieciséis soluciones diferentes, el objetivo es encontrar un método cerrado para resolver este problema, ya que los métodos cerrados permiten obtener todas las soluciones en una forma compacta. El objetivo principal de la tesis doctoral es contribuir a la solución de ambos problemas. En particular, con respecto al problema de las singularidades, se presenta un nuevo método para su identificación basado en el álgebra geométrica. Además, el álgebra geométrica permite definir una distancia en el espacio de configuraciones del robot que permite la definición de distintos algoritmos para evitar las configuraciones singulares. Con respecto a la cinemática inversa, los robots redundantes se reducen a robots no-redundantes mediante la selección de un conjunto de articulaciones, las articulaciones redundantes, para después parametrizar sus variables articulares. Esta selección se realiza a través de un análisis de espacio de trabajo que también proporciona un límite superior para el número de diferentes soluciones en forma cerrada. Una vez las articulaciones redundantes han sido identificadas, varios métodos en forma cerrada desarrollados para robots no-redundantes pueden aplicarse a fin de obtener las expresiones analíticas de todas las soluciones. Uno de dichos métodos es una nueva estrategia desarrollada usando el modelo conforme del álgebra geométrica tridimensional. En resumen, la tesis doctoral proporciona un análisis riguroso de los dos problemas cinemáticos mencionados anteriormente, así como nuevas estrategias para resolverlos. Para ilustrar los diferentes resultados presentados en la tesis, la memoria contiene varios ejemplos al final de cada uno de sus capítulos.Modeling and control of PEM fuel cellsSarmiento Carnevali, María Laurahttp://hdl.handle.net/2117/1661462023-10-18T13:02:56Z2019-07-15T00:00:39ZModeling and control of PEM fuel cells
Sarmiento Carnevali, María Laura
In recent years, the PEM fuel cell technology has been incorporated to the R&D plans of many key companies in the automotive, stationary power and portable electronics sectors. However, despite current developments, the technology is not mature enough to be significantly introduced into the energy market. Performance, durability and cost are the key challenges.
The performance and durability of PEM fue! cells significantly depend on variations in the concentrations of hydrogen and oxygen in the gas channels, water activity in the catalyst layers and other backing layers, water content in the polymer electrolyte membrane, as well as temperature, among other variables. Such variables exhibit intemal spatial dependence in the direction of the fuel and air streams of the anode and cathode. Highly non-uniform spatial distributions in PEM fuel cells result in local over-heating, cell flooding, accelerated ageing, and lower power output than expected.
Despite the importance of spatial variations of certain variables in PEM fuel cells, not many works available in the literature target the control of spatial profiles. Most control-oriented designs use lumped-parameter models because of their simplicity and convenience for controller performance. In contrast, this Doctoral Thesis targets the distributed parameter modelling and control of PEM fuel cells.
In the modelling part, the research addresses the detailed development of a non-linear distributed parameter model of a single PEM fuel cell, which incorporates the effects of spatial variations of variables that are relevant to its proper performance. The model is first used to analyse important cell intemal spatial profiles, and it is later simplified in arder to decrease its computational complexity and make it suitable for control purposes. In this task, two different model order reduction techniques are applied and compared.
The purpose of the control part is to tackle water management and supply of reactants, which are two major PEM fuel cell operation challenges with important degradation consequences. In this part of the Thesis, two decentralised control strategies based on distributed parameter model predictive controllers are designed, implemented and analysed via simulation environment State observers are also designed to estímate intemal unmeasurable spatial profiles necessary for the control action.
The aim of the first strategy is to monitor and control observed water activity spatial profiles on both sides of the membrana to appropriate levels. These target values are carefully chosen to combine proper membrane, catalyst layer and gas diffusion layer humídification, whilst the rate of accumulation of excess liquid water is reduced. The key objective of this approach is to decrease the frequency of water removal actions that cause disruption in the power supplied by the cell, increased parasitic losses or degradation of cell efficiency.
The second strategy is a variation of the previous water activity control strategy, which includes the control of spatial distribution of gases in the fuel and air channels. This integrated solution aims to avoid starvation of reactants by controlling corresponding concentration spatial profiles. This approach is intended to prevent PEM fuel cell degradation due to corrosion mechanisms, and thennal stress caused by the consequences of reactant starvation.; A pesar de los avances actuales, la tecnología de celdas de hidrógeno tipo PEM no está suficientemente preparada para ser ampliamente introducida en el mercado energético. Rendimiento, durabilidad y costo son los mayores retos. El rendimiento y la durabilidad de las celdas dependen significativamente de las variaciones en las concentraciones de hidrógeno y oxígeno en los canales de alimentación de gases, la humedad relativa en las capas catalizadoras, el contenido de agua de la membrana polimérica, así como la temperatura, entre otras variables. Dichas variables presentan dependencia espacial interna en la dirección del flujo de gases del ánodo y del cátodo. Distribuciones espaciales altamente no uniformes en algunas variables de la celda resultan en sobrecalentamiento local, inundación, degradación acelerada y menor potencia de la requerida. Muy pocos trabajos disponibles en la literatura se ocupan del control de perfiles espaciales. La mayoría de los diseños orientados a control usan modelos de parámetros concentrados que ignoran la dependencia espacial de variables internas de la celda, debido a la complejidad que añaden al funcionamiento de controladores. En contraste, esta Tesis Doctoral trata la modelización y control de parámetros distribuidos en las celdas de hidrógeno tipo PEM. En la parte de modelización, esta tesis presenta el desarrollo detallado de un modelo no lineal de parámetros distribuidos para una sola celda, el cual incorpora las variaciones espaciales de todas las variables que son relevantes para su correcto funcionamiento. El modelo se usa primero para analizar importantes perfiles espaciales internos, y luego se simplifica para reducir su complejidad computacional y adecuarlo a propósitos de control. En esta tarea se usan y se comparan dos técnicas de reducción de orden de modelos. El propósito de la parte de control es abordar la gestión de agua y el suministro de reactantes, que son dos grandes retos en el funcionamiento de las celdas con importantes consecuencias para su vida útil. En esta parte de la tesis, dos estrategias de control descentralizadas, basadas en controladores predictivos de modelos de referencia con parámetros distribuidos, son diseñadas, implementadas y analizadas en un entorno de simulación. Estas tareas incluyen también el diseño de observadores de estado que estiman los perfiles espaciales internos necesarios para la acción de control. El objetivo de la primera estrategia es monitorear y controlar perfiles espaciales observados de la humedad relativa en las capas catalizadoras para mantenerlos en niveles apropiados. Estos niveles son escogidos cuidadosamente para combinar la correcta humidificación de la membrana y las capas catalizadoras, reduciendo la velocidad de acumulación de agua líquida. El objetivo clave de este enfoque es disminuir la frecuencia de las acciones de remoción de agua dentro de la celda, ya que estas acciones causan interrupción en la potencia suministrada, aumento de las cargas parasitarias y disminución de la eficiencia. La segunda estrategia es una variación de la estrategia anterior que considera adicionalmente el control de la distribución espacial de los gases en los canales del ánodo y cátodo. Esta solución integrada tiene como objetivo evitar la ausencia local de reactantes mediante el control de perfiles espaciales de concentración de gases. Este enfoque pretende prevenir la degradación de las celdas debido a mecanismos de corrosión. Los resultados muestran un mayor rendimiento de la celda considerando los enfoques de control de perfiles espaciales propuestos en esta tesis, en comparación con técnicas de control que ignoran dichos perfiles. Además, la característica descentralizada de los esquemas de control, combinada con el uso de modelos reducidos dentro de los controladores predictivos, tiene un impacto positivo importante en el rendimiento general del control.
Aplicat embargament des del moment de la defensa fins al 5 de juliol de 2019.
2019-07-15T00:00:39ZSarmiento Carnevali, María LauraIn recent years, the PEM fuel cell technology has been incorporated to the R&D plans of many key companies in the automotive, stationary power and portable electronics sectors. However, despite current developments, the technology is not mature enough to be significantly introduced into the energy market. Performance, durability and cost are the key challenges.
The performance and durability of PEM fue! cells significantly depend on variations in the concentrations of hydrogen and oxygen in the gas channels, water activity in the catalyst layers and other backing layers, water content in the polymer electrolyte membrane, as well as temperature, among other variables. Such variables exhibit intemal spatial dependence in the direction of the fuel and air streams of the anode and cathode. Highly non-uniform spatial distributions in PEM fuel cells result in local over-heating, cell flooding, accelerated ageing, and lower power output than expected.
Despite the importance of spatial variations of certain variables in PEM fuel cells, not many works available in the literature target the control of spatial profiles. Most control-oriented designs use lumped-parameter models because of their simplicity and convenience for controller performance. In contrast, this Doctoral Thesis targets the distributed parameter modelling and control of PEM fuel cells.
In the modelling part, the research addresses the detailed development of a non-linear distributed parameter model of a single PEM fuel cell, which incorporates the effects of spatial variations of variables that are relevant to its proper performance. The model is first used to analyse important cell intemal spatial profiles, and it is later simplified in arder to decrease its computational complexity and make it suitable for control purposes. In this task, two different model order reduction techniques are applied and compared.
The purpose of the control part is to tackle water management and supply of reactants, which are two major PEM fuel cell operation challenges with important degradation consequences. In this part of the Thesis, two decentralised control strategies based on distributed parameter model predictive controllers are designed, implemented and analysed via simulation environment State observers are also designed to estímate intemal unmeasurable spatial profiles necessary for the control action.
The aim of the first strategy is to monitor and control observed water activity spatial profiles on both sides of the membrana to appropriate levels. These target values are carefully chosen to combine proper membrane, catalyst layer and gas diffusion layer humídification, whilst the rate of accumulation of excess liquid water is reduced. The key objective of this approach is to decrease the frequency of water removal actions that cause disruption in the power supplied by the cell, increased parasitic losses or degradation of cell efficiency.
The second strategy is a variation of the previous water activity control strategy, which includes the control of spatial distribution of gases in the fuel and air channels. This integrated solution aims to avoid starvation of reactants by controlling corresponding concentration spatial profiles. This approach is intended to prevent PEM fuel cell degradation due to corrosion mechanisms, and thennal stress caused by the consequences of reactant starvation.
A pesar de los avances actuales, la tecnología de celdas de hidrógeno tipo PEM no está suficientemente preparada para ser ampliamente introducida en el mercado energético. Rendimiento, durabilidad y costo son los mayores retos. El rendimiento y la durabilidad de las celdas dependen significativamente de las variaciones en las concentraciones de hidrógeno y oxígeno en los canales de alimentación de gases, la humedad relativa en las capas catalizadoras, el contenido de agua de la membrana polimérica, así como la temperatura, entre otras variables. Dichas variables presentan dependencia espacial interna en la dirección del flujo de gases del ánodo y del cátodo. Distribuciones espaciales altamente no uniformes en algunas variables de la celda resultan en sobrecalentamiento local, inundación, degradación acelerada y menor potencia de la requerida. Muy pocos trabajos disponibles en la literatura se ocupan del control de perfiles espaciales. La mayoría de los diseños orientados a control usan modelos de parámetros concentrados que ignoran la dependencia espacial de variables internas de la celda, debido a la complejidad que añaden al funcionamiento de controladores. En contraste, esta Tesis Doctoral trata la modelización y control de parámetros distribuidos en las celdas de hidrógeno tipo PEM. En la parte de modelización, esta tesis presenta el desarrollo detallado de un modelo no lineal de parámetros distribuidos para una sola celda, el cual incorpora las variaciones espaciales de todas las variables que son relevantes para su correcto funcionamiento. El modelo se usa primero para analizar importantes perfiles espaciales internos, y luego se simplifica para reducir su complejidad computacional y adecuarlo a propósitos de control. En esta tarea se usan y se comparan dos técnicas de reducción de orden de modelos. El propósito de la parte de control es abordar la gestión de agua y el suministro de reactantes, que son dos grandes retos en el funcionamiento de las celdas con importantes consecuencias para su vida útil. En esta parte de la tesis, dos estrategias de control descentralizadas, basadas en controladores predictivos de modelos de referencia con parámetros distribuidos, son diseñadas, implementadas y analizadas en un entorno de simulación. Estas tareas incluyen también el diseño de observadores de estado que estiman los perfiles espaciales internos necesarios para la acción de control. El objetivo de la primera estrategia es monitorear y controlar perfiles espaciales observados de la humedad relativa en las capas catalizadoras para mantenerlos en niveles apropiados. Estos niveles son escogidos cuidadosamente para combinar la correcta humidificación de la membrana y las capas catalizadoras, reduciendo la velocidad de acumulación de agua líquida. El objetivo clave de este enfoque es disminuir la frecuencia de las acciones de remoción de agua dentro de la celda, ya que estas acciones causan interrupción en la potencia suministrada, aumento de las cargas parasitarias y disminución de la eficiencia. La segunda estrategia es una variación de la estrategia anterior que considera adicionalmente el control de la distribución espacial de los gases en los canales del ánodo y cátodo. Esta solución integrada tiene como objetivo evitar la ausencia local de reactantes mediante el control de perfiles espaciales de concentración de gases. Este enfoque pretende prevenir la degradación de las celdas debido a mecanismos de corrosión. Los resultados muestran un mayor rendimiento de la celda considerando los enfoques de control de perfiles espaciales propuestos en esta tesis, en comparación con técnicas de control que ignoran dichos perfiles. Además, la característica descentralizada de los esquemas de control, combinada con el uso de modelos reducidos dentro de los controladores predictivos, tiene un impacto positivo importante en el rendimiento general del control.Advanced digital resonant control techniques for grid-connected voltage source convertersOrellana Barceló, Marcoshttp://hdl.handle.net/2117/1288582023-10-18T13:06:51Z2019-02-11T01:30:47ZAdvanced digital resonant control techniques for grid-connected voltage source converters
Orellana Barceló, Marcos
It is a fact that the presence of power distributed generation sources in the electrical sector is growing exponentially worldwide. This can mainly be explained by the increase of renewable energy production, which involves principally grid-connected single- and three-phase Voltage Source Converters (VSCs).
Regarding the regulations for medium and high power inverters, it is not enough to generate currents with low harmonic content and a unity-power-factor operation: grid-connected VSCs also have to work properly when the electrical grid presents non-ideal characteristics such as frequency variations, sags, swells or a high impedances, among other disturbances.
In line with the above and to improve the grid currents quality, LCL filters are widely used at the input of VSCs for their attenuation capabilities at high frequencies. However, they present a big resonance that may produce robustness issues. In order to study this problem and to stablish a basis for the controllers design, the grid-connected VSC mathematical models have been obtained, analysed and discretised, including passive and active LCL resonance damping techniques.
Adaptive Feedforward Cancellation (AFC) is the control technique addressed in this research work, leading to robust designs which are able to face all the grid disturbances aforementioned. AFC controllers, formed by resonators, have been considered in continuous- and discrete-time forms, and presenting infinite and finite gain, along with an anti-windup system for limitation purposes.
The development of an AFC control design method (directly in discrete time), and the use of automatic code generation tools, have allowed a fast implementation of the resonant controllers into a Digital Signal Processor (DSP). The experimental results obtained from the VSC prototypes (also developed during this thesis), prove the robustness of this control technique.; Es un hecho que la presencia de fuentes de generación de energía distribuida en el sector eléctrico está creciendo exponencialmente a nivel mundial. Esto se debe esencialmente al incremento de la producción de energías renovables, que están estrechamente relacionadas con convertidores estáticos de potencia monofásicos y trifásicos (VSC) conectados a la red eléctrica.
Con respecto a la normativa en el ámbito de los inversores de media y alta potencia, ya no es solamente necesario que éstos generen unas corrientes con un bajo contenido en armónicos y un factor de potencia unitario: el funcionamiento de dichos equipos debe ser correcto frente a situaciones no ideales de la red como variaciones de frecuencia, huecos de tensión o redes débiles, entre otros.
En consonancia con lo anterior y para mejorar la calidad de las corrientes de red, los filtros LCL son ampliamente utilizados a la entrada de los VSC por su gran atenuación a altas frecuencias. Sin embargo, la gran resonancia que presentan puede generar problemas de robustez. Para estudiar este fenómeno y crear una base para el diseño de los controladores, se han obtenido, analizado y discretizado los modelos
matemáticos de los VSC conectados a la red, incluyendo técnicas de amortiguación pasivas y activas para el filtro LCL.
La técnica de control abordada en este trabajo de investigación se denomina Adaptive Feedforward Cancellation (AFC), con la que se han conseguido diseños robustos y capaces de hacer frente a las perturbaciones en la red detalladas anteriormente.
Los controladores AFC, formados por resonadores, han sido considerados en tiempo continuo y discreto, y con ganancias infinita y finita, junto con un sistema de limitación anti-windup.
El desarrollo de un método de diseño de control AFC (directamente en tiempo discreto) y el uso de herramientas de generación automática de código, han permitido una rápida implementación de los controladores resonantes en un procesador digital de señales (DSP). Los resultados experimentales obtenidos con los prototipos de convertidores monofásico y trifásico (también desarrollados durante esta tesis), confirman la robustez de esta técnica de control.; C’est un fait que la présence de sources de génération d’énergie distribuée dans le secteur électrique est en train de croître exponentiallement à niveau mondiale. Ceci est principalement à cause de l’augmentation de la production d’énergies renouvelables, qui est étroitement liée à des convertisseurs statiques de puissance monophasés et triphasés (VSC) connectés au réseau électrique.
Par rapport aux régulations dans le domaine des onduleurs de moyenne et forte puissance, il n’est pas seulement nécessaire qu’ils génèrent des courants à bas contenu harmonique avec un facteur de puissance unitaire: le fonctionnement de ces systèmes doit être correct face à des situations non idéales du réseau comme variations de fréquence, creux de tension ou réseaux faibles, parmi d’autres.
Dans cet esprit et pour améliorer la qualité des courants du réseau, les filtres LCL sont vastement utilisés à l’entrée des VSC pour leur capacité d’atténuation aux hautes fréquences. Néanmoins, la grande résonance qu’ils présentent peut générer des problèmes de robustesse. Pour l’étude de ce phénomène et créer une base pour la conception des contrôlleurs, les modèles mathématiques des VSC ont été obtenus, analysés et discretisés, y compris techniques d’amortissement passives
et actives pour le filtre LCL.
La technique de commande abordée dans ce travail de recherche s’appelle Adaptive Feedforward Cancellation (AFC), avec laquel il a été possible d’obtenir des contrôlleurs robustes et capables de faire face aux perturbations du réseau nommées précédemment. Les contrôlleurs AFC, constitués de résonateurs, ont été considerés en temps continu et discret, et avec des gains infinis et finis, ainsi qu’un système de limitation anti-windup.
Le développement d’une méthode de conception de commande AFC (directement en temps discret) et l’utilisation d’outils de génération de code automatique, ont permis une implementation rapide des contrôlleurs résonantes dans un processeur de signal numérique (DSP). Les résultats expérimentaux obtenus avec les prototypes des convertisseurs monophasé et triphasé (aussi développés pendant
cette thèse), réalerment la robustesse de cette technique de commande.; És un fet que la presència de fonts de generació d’energia distribuïda al sector elèctric està creixent exponencialment a nivell mundial. Això es deu principalment a l’increment de la producció d’energies renovables, directament vinculades a convertidors estàtics de potència monofàsics i trifàsics (VSC) connectats a la xarxa elèctrica.
Pel que fa a la normativa en l’àmbit dels inversors de mitjanes i altes potències, ja no és solament necessari que els convertidors generin corrents amb baix contingut harmònic amb un factor de potència unitari, sinó que el funcionament d’aquests equips deu ser correcte enfront de situacions no ideals de la xarxa com ara variacions de freqüència, forats de tensió o xarxes febles, entre altres.
D’acord amb l’anterior, i per millorar la qualitat dels corrents de xarxa, els filtres LCL són àmpliament utilitzats a l’entrada dels VSC per la seva capacitat d’atenuació a altes freqüències. No obstant això, la gran ressonància que presenten pot generar problemes de robustesa. Per estudiar aquest fenomen i crear una base per al disseny dels controladors, s’han obtingut, analitzat i discretitzat els models matemàtics dels VSC connectats a la xarxa, incloent tècniques d’esmorteïment passives i actives per al filtre LCL.
La tècnica de control abordada en aquest treball de recerca es denomina Adaptive Feedforward Cancellation (AFC), amb la qual s’han aconseguit dissenys robustos i capaços de fer front a les pertorbacions de la xarxa detallades anteriorment. Els controladors AFC, formats per ressonadors, han sigut considerats en temps continu i discret, i amb ganàncies infinita i finita, juntament amb un sistema de limitació anti-windup.
El desenvolupament d’un mètode de disseny de control AFC (directament en temps discret) i l’ús d’eines de generació automàtica de codi, han permès una ràpida implementació dels controladors ressonants en un processador digital de senyals (DSP). Els resultats experimentals obtinguts amb els prototips de convertidors monofàsic i trifàsic (també desenvolupats durant aquesta tesi), confirmen la robustesa
d’aquesta tècnica de control
2019-02-11T01:30:47ZOrellana Barceló, MarcosIt is a fact that the presence of power distributed generation sources in the electrical sector is growing exponentially worldwide. This can mainly be explained by the increase of renewable energy production, which involves principally grid-connected single- and three-phase Voltage Source Converters (VSCs).
Regarding the regulations for medium and high power inverters, it is not enough to generate currents with low harmonic content and a unity-power-factor operation: grid-connected VSCs also have to work properly when the electrical grid presents non-ideal characteristics such as frequency variations, sags, swells or a high impedances, among other disturbances.
In line with the above and to improve the grid currents quality, LCL filters are widely used at the input of VSCs for their attenuation capabilities at high frequencies. However, they present a big resonance that may produce robustness issues. In order to study this problem and to stablish a basis for the controllers design, the grid-connected VSC mathematical models have been obtained, analysed and discretised, including passive and active LCL resonance damping techniques.
Adaptive Feedforward Cancellation (AFC) is the control technique addressed in this research work, leading to robust designs which are able to face all the grid disturbances aforementioned. AFC controllers, formed by resonators, have been considered in continuous- and discrete-time forms, and presenting infinite and finite gain, along with an anti-windup system for limitation purposes.
The development of an AFC control design method (directly in discrete time), and the use of automatic code generation tools, have allowed a fast implementation of the resonant controllers into a Digital Signal Processor (DSP). The experimental results obtained from the VSC prototypes (also developed during this thesis), prove the robustness of this control technique.
Es un hecho que la presencia de fuentes de generación de energía distribuida en el sector eléctrico está creciendo exponencialmente a nivel mundial. Esto se debe esencialmente al incremento de la producción de energías renovables, que están estrechamente relacionadas con convertidores estáticos de potencia monofásicos y trifásicos (VSC) conectados a la red eléctrica.
Con respecto a la normativa en el ámbito de los inversores de media y alta potencia, ya no es solamente necesario que éstos generen unas corrientes con un bajo contenido en armónicos y un factor de potencia unitario: el funcionamiento de dichos equipos debe ser correcto frente a situaciones no ideales de la red como variaciones de frecuencia, huecos de tensión o redes débiles, entre otros.
En consonancia con lo anterior y para mejorar la calidad de las corrientes de red, los filtros LCL son ampliamente utilizados a la entrada de los VSC por su gran atenuación a altas frecuencias. Sin embargo, la gran resonancia que presentan puede generar problemas de robustez. Para estudiar este fenómeno y crear una base para el diseño de los controladores, se han obtenido, analizado y discretizado los modelos
matemáticos de los VSC conectados a la red, incluyendo técnicas de amortiguación pasivas y activas para el filtro LCL.
La técnica de control abordada en este trabajo de investigación se denomina Adaptive Feedforward Cancellation (AFC), con la que se han conseguido diseños robustos y capaces de hacer frente a las perturbaciones en la red detalladas anteriormente.
Los controladores AFC, formados por resonadores, han sido considerados en tiempo continuo y discreto, y con ganancias infinita y finita, junto con un sistema de limitación anti-windup.
El desarrollo de un método de diseño de control AFC (directamente en tiempo discreto) y el uso de herramientas de generación automática de código, han permitido una rápida implementación de los controladores resonantes en un procesador digital de señales (DSP). Los resultados experimentales obtenidos con los prototipos de convertidores monofásico y trifásico (también desarrollados durante esta tesis), confirman la robustez de esta técnica de control.
C’est un fait que la présence de sources de génération d’énergie distribuée dans le secteur électrique est en train de croître exponentiallement à niveau mondiale. Ceci est principalement à cause de l’augmentation de la production d’énergies renouvelables, qui est étroitement liée à des convertisseurs statiques de puissance monophasés et triphasés (VSC) connectés au réseau électrique.
Par rapport aux régulations dans le domaine des onduleurs de moyenne et forte puissance, il n’est pas seulement nécessaire qu’ils génèrent des courants à bas contenu harmonique avec un facteur de puissance unitaire: le fonctionnement de ces systèmes doit être correct face à des situations non idéales du réseau comme variations de fréquence, creux de tension ou réseaux faibles, parmi d’autres.
Dans cet esprit et pour améliorer la qualité des courants du réseau, les filtres LCL sont vastement utilisés à l’entrée des VSC pour leur capacité d’atténuation aux hautes fréquences. Néanmoins, la grande résonance qu’ils présentent peut générer des problèmes de robustesse. Pour l’étude de ce phénomène et créer une base pour la conception des contrôlleurs, les modèles mathématiques des VSC ont été obtenus, analysés et discretisés, y compris techniques d’amortissement passives
et actives pour le filtre LCL.
La technique de commande abordée dans ce travail de recherche s’appelle Adaptive Feedforward Cancellation (AFC), avec laquel il a été possible d’obtenir des contrôlleurs robustes et capables de faire face aux perturbations du réseau nommées précédemment. Les contrôlleurs AFC, constitués de résonateurs, ont été considerés en temps continu et discret, et avec des gains infinis et finis, ainsi qu’un système de limitation anti-windup.
Le développement d’une méthode de conception de commande AFC (directement en temps discret) et l’utilisation d’outils de génération de code automatique, ont permis une implementation rapide des contrôlleurs résonantes dans un processeur de signal numérique (DSP). Les résultats expérimentaux obtenus avec les prototypes des convertisseurs monophasé et triphasé (aussi développés pendant
cette thèse), réalerment la robustesse de cette technique de commande.
És un fet que la presència de fonts de generació d’energia distribuïda al sector elèctric està creixent exponencialment a nivell mundial. Això es deu principalment a l’increment de la producció d’energies renovables, directament vinculades a convertidors estàtics de potència monofàsics i trifàsics (VSC) connectats a la xarxa elèctrica.
Pel que fa a la normativa en l’àmbit dels inversors de mitjanes i altes potències, ja no és solament necessari que els convertidors generin corrents amb baix contingut harmònic amb un factor de potència unitari, sinó que el funcionament d’aquests equips deu ser correcte enfront de situacions no ideals de la xarxa com ara variacions de freqüència, forats de tensió o xarxes febles, entre altres.
D’acord amb l’anterior, i per millorar la qualitat dels corrents de xarxa, els filtres LCL són àmpliament utilitzats a l’entrada dels VSC per la seva capacitat d’atenuació a altes freqüències. No obstant això, la gran ressonància que presenten pot generar problemes de robustesa. Per estudiar aquest fenomen i crear una base per al disseny dels controladors, s’han obtingut, analitzat i discretitzat els models matemàtics dels VSC connectats a la xarxa, incloent tècniques d’esmorteïment passives i actives per al filtre LCL.
La tècnica de control abordada en aquest treball de recerca es denomina Adaptive Feedforward Cancellation (AFC), amb la qual s’han aconseguit dissenys robustos i capaços de fer front a les pertorbacions de la xarxa detallades anteriorment. Els controladors AFC, formats per ressonadors, han sigut considerats en temps continu i discret, i amb ganàncies infinita i finita, juntament amb un sistema de limitació anti-windup.
El desenvolupament d’un mètode de disseny de control AFC (directament en temps discret) i l’ús d’eines de generació automàtica de codi, han permès una ràpida implementació dels controladors ressonants en un processador digital de senyals (DSP). Els resultats experimentals obtinguts amb els prototips de convertidors monofàsic i trifàsic (també desenvolupats durant aquesta tesi), confirmen la robustesa
d’aquesta tècnica de controlVision based sensor substitution in robotic assisted surgeryMarbán González, Arturohttp://hdl.handle.net/2117/1266392023-11-30T21:18:20Z2019-01-14T01:30:19ZVision based sensor substitution in robotic assisted surgery
Marbán González, Arturo
Perceiving and understanding the world represents a long-term goal in the field of Artificial Intelligence (AI). In recent years, advances in the field of Machine Learning (ML), and specifically in Deep Learning (DL), have led to the development of powerful models based on Deep Neural Networks (DNN) capable of interpreting high dimensional data, leading to higher performance in perception related tasks.
DNNs designed in a Supervised Learning (SL) setting, such as Convolutional Neural Networks (CNN) and Long-Short Term Memory (LSTM) networks, greatly contribute to the state of the art in image recognition and in the processing of long sequences of data, respectively. This is because CNNs excel in modeling data with spatial structure, and LSTM networks highlight in modeling data with temporal structure. They both represent the building blocks for modeling the spatio-temporal structure of data such as video sequences.
Nonetheless, these models have not been exploited in the medical domain, where images and video sequences are frequently available, that is, in Minimally Invasive Surgery (MIS).
Furthermore, most of the research going on rely on the design of DNNs used as classifiers (i.e. the output is a discrete category) rather than regressors (i.e. the output is a set of continuous real values).
Recently, in the context of Unsupervised Learning (UL), Generative Adversarial Networks (GAN) have gained popularity as a powerful framework to design generative models. GANs consist of two models, a Generator Neural Network (G) and a Discriminator Neural Network (D), each one with a different objective. Samples produced by G have a distribution PG, while those that come from ground-truth data have a distribution PDATA. The task of D
is to classify samples from ground-truth data and those rendered by G as real and fake, respectively. On the other hand, the objective of G is to “fool” D, by learning to generate samples that resemble the ground-truth data. As the training process evolves, G learns the distribution of PDATA. This framework is flexible and can be applied to different neural network architectures, such as in Convolutional Auto-Encoders (CAE), resulting in better image reconstruction quality In this dissertation, a regression model based on DNNs is described, with applications
in the context of Robot-Assisted Minimally Invasive Surgery (RAMIS). First, this model is developed in a SL setting. Subsequently, it is extended to a Semi-Supervised Learning (SSL) approach by using a CAE and leveraging the advantages of the GAN framework. The regression model is designed to learn a complex relationship between video sequences (as input data) and the evolution of continuous variables over time (as output data). The objective
of this research is to perform Vision Based Sensor Substitution (VBSS). Therefore, the DNN constitutes a “virtual sensor” that estimates the evolution of physical variables over time.
The target applications are those where the only allowed sensor consists of a camera system (monocular/stereo) and other electronic sensor devices are constrained. In the context of RAMIS, endowing robotic systems with force feedback capability represents a great help to provide the surgeon with an essential information for a better
performance. Specifically, the estimation of interaction forces between surgical instruments and biological materials, such as soft-tissues, is addressed in this dissertation. In RAMIS scenarios, the only available sensor is the camera (i.e. monocular/stereo endoscope), which provides data easy to record (i.e. video sequences), but its interpretation is challenging.
Therefore, a DNN is presented in this work as a regression model that implements the concept of Sensorless Force Estimation (SFE) under a Vision Based (VB) approach. In this approach, interaction forces are estimated from video sequences (as continuous time-varying signals), instead of relying on the direct measurement by a sensor in contact with biological materials (i.e. soft tissue). The DNN described for this application is designed in a SL setting,
and subsequently, it is extended to SSL.
The regression model designed for SFE is generic enough to be used in other domains with equivalent mathematical formulation. Therefore, it has also been studied and evaluated in the application of surgical instruments tracking. Specifically, in the estimation of the tooltip position and velocity (in 3D space) from monocular video sequences. Such information is useful in tasks related to Surgical Gesture Classification (SGC). The regression model used in this application is described in a SL setting.
The aim of this dissertation is to present DNNs as regression models in the context of RAMIS, being the target application VBSS. This approach has been studied in two mathematically equivalent problems (described above): (i) Vision-based SFE and (ii) surgical instruments tracking. Moreover, the results of this research suggest that the regression model is generic and robust enough to be used in both applications. Therefore, this model can be
used to address problems in which the estimation of continuous time-varying signals from video sequences is required; La percepción y comprensión del mundo que nos rodea, representan objetivos a largo término de la Inteligencia Artificial (IA). En años recientes, los avances en el campo del Aprendizaje Automático (AA), específicamente en Aprendizaje Profundo (AP), han llevado al desarrollo de poderosos modelos basados en Redes Neuronales Profundas, capaces de interpretar datos multi-dimensionales, dando lugar hacia un mayor rendimiento en tareas relacionadas con la percepción.
Las Redes Neuronales Profundas diseñadas bajo un esquema de aprendizaje supervisado, como las Redes Neuronales Convolucionales, y las Redes Neuronales Recurrentes de Memoria de Corto y Largo Plazo (RNR-MCLP), contribuyen grandemente al estado del arte en reconocimiento de imágenes y en el procesamiento de largas secuencias de datos, respetivamente. Esto es debido a que las Redes Neuronales Convolucionales sobresalen en el modelado de datos con estructura espacial, mientras que las RNR-MCLP destacan en el modelado de datos con estructura temporal. Ambos tipos de redes neuronales representan los bloques de construcción para modelar la estructura espacio-temporal de datos, como
las secuencias de video. No obstante, estos modelos no han sido explotados en el ámbito médico, donde normalmente se dispone de imágenes y secuencias de video, como es el caso de cirugía mínima invasiva. Además de esto, la mayor parte de la investigación que se realiza se orienta hacia el diseño de Redes Neuronales Profundas como clasificadores (es decir, el resultado es una categoría discreta) en lugar de regresores (es decir, el resultado es un conjunto de valores reales continuos).
Recientemente, en el contexto del aprendizaje no-supervisado, las Redes de Adversarias Generativas, han ganado popularidad como una poderosa técnica para diseñar modelos generativos. Estas redes neuronales constan de dos modelos, una red neuronal generadora (G) y una red neuronal discriminante (D), cada una con un objetivo diferente. Las muestras producidas por G tienen una distribución PG, mientras que las que provienen de datos de reales tienen una distribución PDATA. La tarea de D es clasificar como verdaderas y falsas las muestras de datos reales y las que producidas por G, respectivamente. Por otro lado, el objetivo de G es “engañar” a D, al aprender a generar muestras que se asemejan a los datos reales. A medida que el proceso de optimización evoluciona, G aprende la distribución de los datos reales, PDATA. Esta técnica es flexible y se puede aplicar a diferentes arquitecturas de redes neuronales, por ejemplo en el diseño de Auto-Codificadores de Convolución, resultando en una mejor calidad en reconstrucción de imágenes.
En esta disertación, se describe un modelo de regresión basado en Redes Neuronales Profundas, con aplicaciones en el contexto de la Cirugía Robótica Mínima Invasiva. En primer lugar, este modelo se desarrolla bajo un esquema de aprendizaje supervisado. Posteriormente, se extiende a un enfoque de aprendizaje semi-supervisado utilizando un Auto-Codificador de Convolución y aprovechando las ventajas del modelo definido por las Redes de Adversarias Generativas. El modelo de regresión está diseñado para aprender la compleja relación entre secuencias de video (como datos de entrada) y la evolución de variables continuas a lo largo del tiempo (como datos de salida). El objetivo de esta investigación es realizar la Sustitución Sensorial por Visión. Por tanto, la Red Neuronal Profunda representa un “sensor virtual” que estima la evolución de las variables físicas a lo largo del tiempo. Las aplicaciones de interés son aquellas en las que el único sensor disponible consiste en un sistema de visión (por ejemplo una cámara monocular o estéreo), mientras que otros sensores y dispositivos electrónicos están restringidos.
En el contexto de la cirugía robotizada, sistemas robóticos diseñados con capacidad de realimentación de fuerzas representan una gran ayuda, proporcionando al cirujano información esencial para un mejor rendimiento. Específicamente, la estimación de las fuerzas de interacción entre los instrumentos quirúrgicos y los materiales biológicos, como los tejidos blandos, es un tema central que se investiga en esta disertación. En los escenarios de cirugía robotizada, el único sensor disponible es la cámara (es decir, el endoscopio monocular o estéreo), que proporciona datos fáciles de adquirir (es decir, secuencias de video), pero su interpretación es un compleja. Por lo tanto, en el presente trabajo doctoral se describe
una Red Neuronal Profunda como un modelo de regresión que implementa el concepto de Estimación de Fuerza Sin-Sensor, bajo un enfoque basado en visión. En dicho enfoque, las fuerzas de interacción se estiman a partir de secuencias de video (como señales continuas variables en el tiempo), en lugar de depender de la medición de un sensor en contacto directo con materiales biológicos (es decir, tejido blando). La Red Neuronal Profunda descrita para esta aplicación está diseñada en una esquema de aprendizaje supervisado y, posteriormente, se extiende a uno semi-supervisado.
El modelo de regresión diseñado para la estimación de fuerza es lo suficientemente genérico como para usarse en otros dominios con una formulación matemática equivalente. Por lo tanto, también se ha estudiado y evaluado en la aplicación del seguimiento de instrumentos quirúrgicos. Específicamente, en la estimación de la posición y la velocidad de la punta de la herramienta (en el espacio 3D) a partir de secuencias de video monoculares.
Tal información es útil en tareas relacionadas con la clasificación de gestos quirúrgicos. El modelo de regresión utilizado en esta aplicación se describe en un entorno de aprendizaje supervisado. El objetivo de esta disertación es presentar Redes Neuronales Profundas como modelos de regresión en el contexto de cirugía robotizada, siendo la aplicación principal Susbtitución Sensorial por Visión. Este enfoque ha sido estudiado en dos problemas matemáticamente equivalentes (descritos anteriormente): (i) Estimación de fuerzas basado en la visión y (ii) seguimiento de instrumentos quirúrgicos. Además, los resultados de esta investigación sugieren que el modelo de regresión es genérico y lo suficientemente robusto para ser utilizado en ambas aplicaciones. Por lo tanto, este modelo se puede usar para abordar problemas en los que se requiere la estimación de señales continuas variables en el tiempo a partir de secuencias de video; La percepció i comprensió del món que ens envolta, representen objectius a llarg termini de la Intel·ligència Artificial (IA). En els darrers anys, els avenços en el camp de l’Aprenentatge Automàtic (AA), específicament en Aprenentatge Profund (AP), han portat al desenvolupament de models molt potents basats en Xarxes Neuronals Profundes, capaces d’interpretar dades multi-dimensionals, donant lloc fins i tot a un major rendiment en tasques relacionades amb la percepció.
Les Xarxes Neuronals Porfundes dissenyades sota un esquema d’aprenentatge supervisat, com les Xarxes Neuronals Convolucionals, i les Xarxes Neuronals Recurrents de Memòria de Curt i Llarg Termini (XNR-MCLT), contribueixen en gran part a l’estat de l’art en reconeixement d’imatges i en el processament de seqüències llargues de dades, respectivament. Això es deu al fet que les Xarxes Neuronals Convolucionals sobresurten en la modelització de dades amb estructura espacial, mentre que les XNR-MCLT destaquen en la modelització de
dades amb estructura temporal. Tots dos tipus de xarxes neuronals representen els blocs de construcció per modelitzar l’estructura espai-temporal de dades, com les seqüències de vídeo.
No obstant això, aquests models no han sigut explotats en l’àmbit mèdic, on normalment es disposa d’imatges i seqüències de vídeo, com és normal en cirurgia mínima invasiva. Així mateix, gran part de la investigació que es realitza s’orienta al disseny d’Xarxes Neuronals Profundes com classificadors (és a dir, el resultat és una categoria discreta) en lloc de regressors (és a dir, el resultat és un conjunt de valors reals continus).
Recentment, en el context de l’aprenentatge no-supervisat, les Xarxes Adversàries Generatives, han guanyat popularitat com una poderosa tècnica per dissenyar models generatius. Aquestes xarxes consten de dos models, una xarxa neuronal generadora (G) i una xarxa neuronal discriminant (D), cadascuna amb un objectiu diferent. Les mostres produïdes per G tenen una distribució PG, mentre que les que provenen de dades de reals tenen una distribució PDATA. La tasca de D és classificar com a veritables i falses les mostres de dades reals i les que produïdes per G, respectivament. D’altra banda, l’objectiu de G és “enganyar” a D, en aprendre a generar mostres que s’assemblen a les dades reals. A mesura que el procés d’optimització evoluciona, G aprèn la distribució de les dades reals, PDATA. Aquesta tècnica és flexible i es pot aplicar a diferents arquitectures de xarxes neuronals, per exemple en el disseny d’Auto-Codificadors de Convolució, resultant en una millor qualitat de reconstrucció d’imatges.
En aquesta dissertació, es descriu un model de regressió basat en Xarxes Neuronals Profundes, amb aplicacions en el context de la Cirurgia Robòtica Mínima Invasiva. En primer lloc, aquest model es desenvolupa sota un esquema d’aprenentatge supervisat. Posteriorment, s’estén a un enfocament d’aprenentatge semi-supervisat fent servir un Auto Codificador de Convolució i aprofitant els avantatges del model definit per les Xarxes Adversàries Generatives. El model de regressió està dissenyat per aprendre la complexa relació entre
seqüències de vídeo (com a dades d’entrada) i l’evolució de variables contínues al llarg del temps (com dades de sortida). L’objectiu d’aquesta investigació és realitzar la Substitució Sensorial per Visió. Per tant, la Xarxa Neuronal Profunda representa un “sensor virtual” que estima l’evolució de les variables físiques al llarg del temps. Les aplicacions d’interès són aquelles en les que l’únic sensor disponible consisteix en un sistema de visió (per exemple una càmera monocular o estèreo), mentre que altres sensors i dispositius electrònics estan
restringits.
En el context de la cirurgia robotitzada, els sistemes robòtics dissenyats amb capacitat de realimentació de forces representen una gran ajuda, proporcionant al cirurgià informació essencial per a un millor rendiment. Específicament, l’estimació de les forces d’interacció entre els instruments quirúrgics i els materials biològics, com els teixits tous, és un tema central que s’investiga en aquesta dissertació. En els escenaris de cirurgia robotitzada, l’únic sensor disponible és la càmera (és a dir, l’endoscopi monocular o estèreo), que proporciona
dades fàcils d’adquirir (és a dir, seqüències de vídeo), però la seva interpretació és un complexa. Així doncs, en aquest treball doctoral es descriu una Xarxa Neuronal Profunda com un model de regressió que implementa el concepte d’Estimació de Força Sense-Sensor, sota un enfocament basat en visió. En aquest enfocament, les forces d’interacció s’estimen a partir de seqüències de vídeo (com senyals continus variables en el temps), en lloc de dependre de la mesura d’un sensor en contacte directe amb materials biològics (és a dir, teixit tou). La Xarxa Neuronal Profunda descrita per a aquesta aplicació està dissenyada en un esquema d’aprenentatge supervisat i, posteriorment, s’estén a un semi-supervisat monocular. El model de regressió dissenyat per aquesta estimació de força és prou genèric com per usar-se en altres dominis amb una formulació matemàtica equivalent. Per tant, també s’ha estudiat i avaluat en l’aplicació del seguiment d’instruments quirúrgics. Específicament, en l’estimació de la posició i la velocitat de la punta de l’eina (en l’espai 3D) a partir de
seqüències de vídeo. Aquesta informació és útil en tasques relacionades amb la classificació de gestos quirúrgics. El model de regressió utilitzat en aquesta aplicació es descriu en un entorn d’aprenentatge supervisat. L’objectiu d’aquesta dissertació és presentar les Xarxes Neuronals Profundes com a models de regressió en el context de la cirurgia robotitzada, sent l’aplicació principal la Substitució Sensorial per Visió. Aquest enfocament ha estat estudiat en dos problemes matemàticament equivalents (descrits anteriorment): (i) Estimació de forces basat en la visió i (ii) seguiment d’instruments quirúrgics. A més, els resultats d’aquesta investigació suggereixen que el model de regressió és genèric i prou robust per ser utilitzat en les dues
aplicacions. Axí doncs, aquest model es pot fer servir per abordar problemes en què es requereix l’estimació de senyals continus variables en el temps a partir de seqüències de vídeo.
Aplicat embargament des de la data de defensa fins 31/12/2018
2019-01-14T01:30:19ZMarbán González, ArturoPerceiving and understanding the world represents a long-term goal in the field of Artificial Intelligence (AI). In recent years, advances in the field of Machine Learning (ML), and specifically in Deep Learning (DL), have led to the development of powerful models based on Deep Neural Networks (DNN) capable of interpreting high dimensional data, leading to higher performance in perception related tasks.
DNNs designed in a Supervised Learning (SL) setting, such as Convolutional Neural Networks (CNN) and Long-Short Term Memory (LSTM) networks, greatly contribute to the state of the art in image recognition and in the processing of long sequences of data, respectively. This is because CNNs excel in modeling data with spatial structure, and LSTM networks highlight in modeling data with temporal structure. They both represent the building blocks for modeling the spatio-temporal structure of data such as video sequences.
Nonetheless, these models have not been exploited in the medical domain, where images and video sequences are frequently available, that is, in Minimally Invasive Surgery (MIS).
Furthermore, most of the research going on rely on the design of DNNs used as classifiers (i.e. the output is a discrete category) rather than regressors (i.e. the output is a set of continuous real values).
Recently, in the context of Unsupervised Learning (UL), Generative Adversarial Networks (GAN) have gained popularity as a powerful framework to design generative models. GANs consist of two models, a Generator Neural Network (G) and a Discriminator Neural Network (D), each one with a different objective. Samples produced by G have a distribution PG, while those that come from ground-truth data have a distribution PDATA. The task of D
is to classify samples from ground-truth data and those rendered by G as real and fake, respectively. On the other hand, the objective of G is to “fool” D, by learning to generate samples that resemble the ground-truth data. As the training process evolves, G learns the distribution of PDATA. This framework is flexible and can be applied to different neural network architectures, such as in Convolutional Auto-Encoders (CAE), resulting in better image reconstruction quality In this dissertation, a regression model based on DNNs is described, with applications
in the context of Robot-Assisted Minimally Invasive Surgery (RAMIS). First, this model is developed in a SL setting. Subsequently, it is extended to a Semi-Supervised Learning (SSL) approach by using a CAE and leveraging the advantages of the GAN framework. The regression model is designed to learn a complex relationship between video sequences (as input data) and the evolution of continuous variables over time (as output data). The objective
of this research is to perform Vision Based Sensor Substitution (VBSS). Therefore, the DNN constitutes a “virtual sensor” that estimates the evolution of physical variables over time.
The target applications are those where the only allowed sensor consists of a camera system (monocular/stereo) and other electronic sensor devices are constrained. In the context of RAMIS, endowing robotic systems with force feedback capability represents a great help to provide the surgeon with an essential information for a better
performance. Specifically, the estimation of interaction forces between surgical instruments and biological materials, such as soft-tissues, is addressed in this dissertation. In RAMIS scenarios, the only available sensor is the camera (i.e. monocular/stereo endoscope), which provides data easy to record (i.e. video sequences), but its interpretation is challenging.
Therefore, a DNN is presented in this work as a regression model that implements the concept of Sensorless Force Estimation (SFE) under a Vision Based (VB) approach. In this approach, interaction forces are estimated from video sequences (as continuous time-varying signals), instead of relying on the direct measurement by a sensor in contact with biological materials (i.e. soft tissue). The DNN described for this application is designed in a SL setting,
and subsequently, it is extended to SSL.
The regression model designed for SFE is generic enough to be used in other domains with equivalent mathematical formulation. Therefore, it has also been studied and evaluated in the application of surgical instruments tracking. Specifically, in the estimation of the tooltip position and velocity (in 3D space) from monocular video sequences. Such information is useful in tasks related to Surgical Gesture Classification (SGC). The regression model used in this application is described in a SL setting.
The aim of this dissertation is to present DNNs as regression models in the context of RAMIS, being the target application VBSS. This approach has been studied in two mathematically equivalent problems (described above): (i) Vision-based SFE and (ii) surgical instruments tracking. Moreover, the results of this research suggest that the regression model is generic and robust enough to be used in both applications. Therefore, this model can be
used to address problems in which the estimation of continuous time-varying signals from video sequences is required
La percepción y comprensión del mundo que nos rodea, representan objetivos a largo término de la Inteligencia Artificial (IA). En años recientes, los avances en el campo del Aprendizaje Automático (AA), específicamente en Aprendizaje Profundo (AP), han llevado al desarrollo de poderosos modelos basados en Redes Neuronales Profundas, capaces de interpretar datos multi-dimensionales, dando lugar hacia un mayor rendimiento en tareas relacionadas con la percepción.
Las Redes Neuronales Profundas diseñadas bajo un esquema de aprendizaje supervisado, como las Redes Neuronales Convolucionales, y las Redes Neuronales Recurrentes de Memoria de Corto y Largo Plazo (RNR-MCLP), contribuyen grandemente al estado del arte en reconocimiento de imágenes y en el procesamiento de largas secuencias de datos, respetivamente. Esto es debido a que las Redes Neuronales Convolucionales sobresalen en el modelado de datos con estructura espacial, mientras que las RNR-MCLP destacan en el modelado de datos con estructura temporal. Ambos tipos de redes neuronales representan los bloques de construcción para modelar la estructura espacio-temporal de datos, como
las secuencias de video. No obstante, estos modelos no han sido explotados en el ámbito médico, donde normalmente se dispone de imágenes y secuencias de video, como es el caso de cirugía mínima invasiva. Además de esto, la mayor parte de la investigación que se realiza se orienta hacia el diseño de Redes Neuronales Profundas como clasificadores (es decir, el resultado es una categoría discreta) en lugar de regresores (es decir, el resultado es un conjunto de valores reales continuos).
Recientemente, en el contexto del aprendizaje no-supervisado, las Redes de Adversarias Generativas, han ganado popularidad como una poderosa técnica para diseñar modelos generativos. Estas redes neuronales constan de dos modelos, una red neuronal generadora (G) y una red neuronal discriminante (D), cada una con un objetivo diferente. Las muestras producidas por G tienen una distribución PG, mientras que las que provienen de datos de reales tienen una distribución PDATA. La tarea de D es clasificar como verdaderas y falsas las muestras de datos reales y las que producidas por G, respectivamente. Por otro lado, el objetivo de G es “engañar” a D, al aprender a generar muestras que se asemejan a los datos reales. A medida que el proceso de optimización evoluciona, G aprende la distribución de los datos reales, PDATA. Esta técnica es flexible y se puede aplicar a diferentes arquitecturas de redes neuronales, por ejemplo en el diseño de Auto-Codificadores de Convolución, resultando en una mejor calidad en reconstrucción de imágenes.
En esta disertación, se describe un modelo de regresión basado en Redes Neuronales Profundas, con aplicaciones en el contexto de la Cirugía Robótica Mínima Invasiva. En primer lugar, este modelo se desarrolla bajo un esquema de aprendizaje supervisado. Posteriormente, se extiende a un enfoque de aprendizaje semi-supervisado utilizando un Auto-Codificador de Convolución y aprovechando las ventajas del modelo definido por las Redes de Adversarias Generativas. El modelo de regresión está diseñado para aprender la compleja relación entre secuencias de video (como datos de entrada) y la evolución de variables continuas a lo largo del tiempo (como datos de salida). El objetivo de esta investigación es realizar la Sustitución Sensorial por Visión. Por tanto, la Red Neuronal Profunda representa un “sensor virtual” que estima la evolución de las variables físicas a lo largo del tiempo. Las aplicaciones de interés son aquellas en las que el único sensor disponible consiste en un sistema de visión (por ejemplo una cámara monocular o estéreo), mientras que otros sensores y dispositivos electrónicos están restringidos.
En el contexto de la cirugía robotizada, sistemas robóticos diseñados con capacidad de realimentación de fuerzas representan una gran ayuda, proporcionando al cirujano información esencial para un mejor rendimiento. Específicamente, la estimación de las fuerzas de interacción entre los instrumentos quirúrgicos y los materiales biológicos, como los tejidos blandos, es un tema central que se investiga en esta disertación. En los escenarios de cirugía robotizada, el único sensor disponible es la cámara (es decir, el endoscopio monocular o estéreo), que proporciona datos fáciles de adquirir (es decir, secuencias de video), pero su interpretación es un compleja. Por lo tanto, en el presente trabajo doctoral se describe
una Red Neuronal Profunda como un modelo de regresión que implementa el concepto de Estimación de Fuerza Sin-Sensor, bajo un enfoque basado en visión. En dicho enfoque, las fuerzas de interacción se estiman a partir de secuencias de video (como señales continuas variables en el tiempo), en lugar de depender de la medición de un sensor en contacto directo con materiales biológicos (es decir, tejido blando). La Red Neuronal Profunda descrita para esta aplicación está diseñada en una esquema de aprendizaje supervisado y, posteriormente, se extiende a uno semi-supervisado.
El modelo de regresión diseñado para la estimación de fuerza es lo suficientemente genérico como para usarse en otros dominios con una formulación matemática equivalente. Por lo tanto, también se ha estudiado y evaluado en la aplicación del seguimiento de instrumentos quirúrgicos. Específicamente, en la estimación de la posición y la velocidad de la punta de la herramienta (en el espacio 3D) a partir de secuencias de video monoculares.
Tal información es útil en tareas relacionadas con la clasificación de gestos quirúrgicos. El modelo de regresión utilizado en esta aplicación se describe en un entorno de aprendizaje supervisado. El objetivo de esta disertación es presentar Redes Neuronales Profundas como modelos de regresión en el contexto de cirugía robotizada, siendo la aplicación principal Susbtitución Sensorial por Visión. Este enfoque ha sido estudiado en dos problemas matemáticamente equivalentes (descritos anteriormente): (i) Estimación de fuerzas basado en la visión y (ii) seguimiento de instrumentos quirúrgicos. Además, los resultados de esta investigación sugieren que el modelo de regresión es genérico y lo suficientemente robusto para ser utilizado en ambas aplicaciones. Por lo tanto, este modelo se puede usar para abordar problemas en los que se requiere la estimación de señales continuas variables en el tiempo a partir de secuencias de video
La percepció i comprensió del món que ens envolta, representen objectius a llarg termini de la Intel·ligència Artificial (IA). En els darrers anys, els avenços en el camp de l’Aprenentatge Automàtic (AA), específicament en Aprenentatge Profund (AP), han portat al desenvolupament de models molt potents basats en Xarxes Neuronals Profundes, capaces d’interpretar dades multi-dimensionals, donant lloc fins i tot a un major rendiment en tasques relacionades amb la percepció.
Les Xarxes Neuronals Porfundes dissenyades sota un esquema d’aprenentatge supervisat, com les Xarxes Neuronals Convolucionals, i les Xarxes Neuronals Recurrents de Memòria de Curt i Llarg Termini (XNR-MCLT), contribueixen en gran part a l’estat de l’art en reconeixement d’imatges i en el processament de seqüències llargues de dades, respectivament. Això es deu al fet que les Xarxes Neuronals Convolucionals sobresurten en la modelització de dades amb estructura espacial, mentre que les XNR-MCLT destaquen en la modelització de
dades amb estructura temporal. Tots dos tipus de xarxes neuronals representen els blocs de construcció per modelitzar l’estructura espai-temporal de dades, com les seqüències de vídeo.
No obstant això, aquests models no han sigut explotats en l’àmbit mèdic, on normalment es disposa d’imatges i seqüències de vídeo, com és normal en cirurgia mínima invasiva. Així mateix, gran part de la investigació que es realitza s’orienta al disseny d’Xarxes Neuronals Profundes com classificadors (és a dir, el resultat és una categoria discreta) en lloc de regressors (és a dir, el resultat és un conjunt de valors reals continus).
Recentment, en el context de l’aprenentatge no-supervisat, les Xarxes Adversàries Generatives, han guanyat popularitat com una poderosa tècnica per dissenyar models generatius. Aquestes xarxes consten de dos models, una xarxa neuronal generadora (G) i una xarxa neuronal discriminant (D), cadascuna amb un objectiu diferent. Les mostres produïdes per G tenen una distribució PG, mentre que les que provenen de dades de reals tenen una distribució PDATA. La tasca de D és classificar com a veritables i falses les mostres de dades reals i les que produïdes per G, respectivament. D’altra banda, l’objectiu de G és “enganyar” a D, en aprendre a generar mostres que s’assemblen a les dades reals. A mesura que el procés d’optimització evoluciona, G aprèn la distribució de les dades reals, PDATA. Aquesta tècnica és flexible i es pot aplicar a diferents arquitectures de xarxes neuronals, per exemple en el disseny d’Auto-Codificadors de Convolució, resultant en una millor qualitat de reconstrucció d’imatges.
En aquesta dissertació, es descriu un model de regressió basat en Xarxes Neuronals Profundes, amb aplicacions en el context de la Cirurgia Robòtica Mínima Invasiva. En primer lloc, aquest model es desenvolupa sota un esquema d’aprenentatge supervisat. Posteriorment, s’estén a un enfocament d’aprenentatge semi-supervisat fent servir un Auto Codificador de Convolució i aprofitant els avantatges del model definit per les Xarxes Adversàries Generatives. El model de regressió està dissenyat per aprendre la complexa relació entre
seqüències de vídeo (com a dades d’entrada) i l’evolució de variables contínues al llarg del temps (com dades de sortida). L’objectiu d’aquesta investigació és realitzar la Substitució Sensorial per Visió. Per tant, la Xarxa Neuronal Profunda representa un “sensor virtual” que estima l’evolució de les variables físiques al llarg del temps. Les aplicacions d’interès són aquelles en les que l’únic sensor disponible consisteix en un sistema de visió (per exemple una càmera monocular o estèreo), mentre que altres sensors i dispositius electrònics estan
restringits.
En el context de la cirurgia robotitzada, els sistemes robòtics dissenyats amb capacitat de realimentació de forces representen una gran ajuda, proporcionant al cirurgià informació essencial per a un millor rendiment. Específicament, l’estimació de les forces d’interacció entre els instruments quirúrgics i els materials biològics, com els teixits tous, és un tema central que s’investiga en aquesta dissertació. En els escenaris de cirurgia robotitzada, l’únic sensor disponible és la càmera (és a dir, l’endoscopi monocular o estèreo), que proporciona
dades fàcils d’adquirir (és a dir, seqüències de vídeo), però la seva interpretació és un complexa. Així doncs, en aquest treball doctoral es descriu una Xarxa Neuronal Profunda com un model de regressió que implementa el concepte d’Estimació de Força Sense-Sensor, sota un enfocament basat en visió. En aquest enfocament, les forces d’interacció s’estimen a partir de seqüències de vídeo (com senyals continus variables en el temps), en lloc de dependre de la mesura d’un sensor en contacte directe amb materials biològics (és a dir, teixit tou). La Xarxa Neuronal Profunda descrita per a aquesta aplicació està dissenyada en un esquema d’aprenentatge supervisat i, posteriorment, s’estén a un semi-supervisat monocular. El model de regressió dissenyat per aquesta estimació de força és prou genèric com per usar-se en altres dominis amb una formulació matemàtica equivalent. Per tant, també s’ha estudiat i avaluat en l’aplicació del seguiment d’instruments quirúrgics. Específicament, en l’estimació de la posició i la velocitat de la punta de l’eina (en l’espai 3D) a partir de
seqüències de vídeo. Aquesta informació és útil en tasques relacionades amb la classificació de gestos quirúrgics. El model de regressió utilitzat en aquesta aplicació es descriu en un entorn d’aprenentatge supervisat. L’objectiu d’aquesta dissertació és presentar les Xarxes Neuronals Profundes com a models de regressió en el context de la cirurgia robotitzada, sent l’aplicació principal la Substitució Sensorial per Visió. Aquest enfocament ha estat estudiat en dos problemes matemàticament equivalents (descrits anteriorment): (i) Estimació de forces basat en la visió i (ii) seguiment d’instruments quirúrgics. A més, els resultats d’aquesta investigació suggereixen que el model de regressió és genèric i prou robust per ser utilitzat en les dues
aplicacions. Axí doncs, aquest model es pot fer servir per abordar problemes en què es requereix l’estimació de senyals continus variables en el temps a partir de seqüències de vídeo.