La prevenció de col·lisions és una tasca complexa en el control de vehicles autònoms. Els mètodes tradicionals utilitzen models explícits per predir la dinàmica dels vehicles i intentar anticipar les decisions de control dels conductors en l'entorn. Aquests models no sempre aconsegueixen predir amb èxit la trajectòria dels obstacles dinàmics a l'entorn de el vehicle controlat.
Aquesta tesi investiga un mètode de control basat en l'aprenentatge profund per reforç. L'agent processa les distàncies detectades des del vehicle controlat als objectes més propers, i mitjançant xarxes neuronals estima l'acció de control òptima per evitar col·lisions. Per a l'aprenentatge, es dissenya un simulador de trànsit que genera un ampli rang de carreteres i vehicles, que interactuen - no sempre seguint les normes de circulació - amb el vehicle de control, el que permet a l'agent demanar informació diversa i associar a cada estat una acció de control que minimitzi el risc de col·lisió. Després de l'entrenament, l'agent demostra haver après a evitar circular en àrees amb alta densitat de trànsit, a adaptar la seva velocitat per evitar col·lisions frontals i posteriors, i a realitzar girs que evitin xocs amb vehicles que s'aproximen pels laterals.
La prevención de colisiones es una tarea compleja en el control de vehículos autónomos. Los métodos tradicionales utilizan modelos explícitos para predecir la dinámica de los vehículos e intentar anticipar las decisiones de control de los conductores en el entorno. Estos modelos no siempre consiguen predecir con éxito la trayectoria de los objectos dinámicos en el entorno del vehículo controlado.
Esta tesis investiga un método de control basado en el aprendizaje profundo por refuerzo. El agente procesa las distancias detectadas desde el vehículo controlado a los objectos más cercanos, y mediante redes neuronales estima la acción de control óptima para evitar colisiones. Para el aprendizaje, se diseña un simulador de tráfico que genera un amplio rango de carreteras y vehículos, que interactúan - no siempre siguiendo las normas de circulación - con el vehículo de control, lo que permite al agente recabar información diversa y asociar a cada estado una acción de control que minimice el riesgo de colisión. Tras el entrenamiento, el agente demuestra haber aprendido a evitar circular en áreas con alta densidad de tráfico, a adaptar su velocidad para evitar colisiones frontales y traseras, y a realizar giros que eviten choques con vehículos que se aproximan por los laterales.
Collision avoidance is a complicated task for autonomous vehicle control. Most traditional methods in this area consist on model-based solutions, where an understanding of vehicle dynamics and an accurate model of vehicle behavior is required, in order to predict the trajectory of the controlled car and the surrounding vehicles. Such solutions struggle to anticipate and explicitly model surrounding car driving behavior.
This work investigates a model-free Deep Reinforcement Learning based method for collision avoidance, where the agent processes the distances to the closest entities and outputs the steering angle and acceleration required to avoid collisions. A traffic simulator is used to generate a wide range of roads and vehicles, which will interact - not always compliantly - with the learning agent allowing it to collect learning experience. After being trained on such conditions, the agent shows intelligent driving behavior, avoiding areas with high traffic density, adapting its speed to avoid rear or front crashes, and steering when necessary to avoid lateral crashes.
hotmail.com
