Framework for benchmarking the IDS of the Controller Area Network

Abstract

As in many other ecosystems, in the transportation of persons or goods, the three basics goals of the journey are security, safety, and low costs. Modernizing the manner of traveling has forced the trade-off between the three goals to be challenging to achieve. The value of human lives is essential, so the terms of security and safety should have major significance, but the automotive market still requires vehicles to be affordable. The development of new functionalities and the increase of connectivity in the vehicle provoke an increase of the attack vectors, which enable attackers to access the vehicle's internal networks, and in particular, the Controller Area Network (CAN), where the majority of safety measures are connected. For this reason, researchers analyze the threats of the automotive world, and design new countermeasures for them. To ensure that such countermeasures are efficient, safe, and secure, they need to be carefully tested and analyzed. To aid researchers towards this objective, in this thesis we develop a framework to benchmark Intrusion Detection Systems (IDS) for CAN. We propose eight different IDS designs from the state of the art to test attacks against. Alongside, we designed a tool capable of synthesizing the majority of CAN attacks in the state of the art, and two further evasion attacks, in order to study their capability of bypassing the IDSs. To propose a benchmark of the capability of the IDSs, we built and test them against crafted attacks, and we compare their performance results. Our results highlight multiple insights on the capability of CAN IDSs and attacks, such as the stronger detection capability of IDSs that are based on time sequences and the effectiveness of the evasion attacks against part of the IDSs.

Como en muchos otros contextos, en el transporte de personas o mercancías, los tres objetivos básicos del sector son la seguridad, la protección y los bajos costes. La modernización de la forma de viajar ha obligado a que el compromiso entre los tres objetivos sea un desafío. El valor de las vidas humanas es esencial, por lo que los términos de seguridad y protección deberían tener una gran importancia, pero el mercado automovilístico aún requiere que los vehículos sean asequibles. El desarrollo de nuevas funcionalidades y el aumento de la conectividad en el vehículo provocan un aumento de los vectores de ataque, que permiten a los atacantes acceder a las redes internas del vehículo y, en particular, a la Controller Area Network (CAN), donde se encuentran conectadas la mayoría de las medidas de seguridad. Por esta razón, los investigadores analizan las amenazas del sector del automóvil y diseñan nuevas contramedidas para ellas. Para garantizar que tales contramedidas sean eficientes, seguras y protegidas, deben probarse y analizarse cuidadosamente. Para ayudar a los investigadores a alcanzar este objetivo, en esta tesis desarrollamos un marco para comparar los sistemas de detección de intrusiones (IDS) para CAN. Proponemos ocho diseños de IDS diferentes extraídos del estado del arte para probar los ataques. Paralelamente, diseñamos una herramienta capaz de sintetizar la mayoría de los ataques CAN del estado del arte, y dos ataques más de evasión, con el fin de estudiar su capacidad de eludir los IDS. Para desarrollar un marco de comparación de la capacidad de los IDS, construimos los IDS, los probamos contra ataques diseñados, y comparamos los resultados de su rendimiento. En nuestros resultados destacan múltiples conocimientos sobre la capacidad de los IDS CAN y los ataques, como la capacidad de detección más sólida de los IDS que se basan en secuencias de tiempo y la eficacia de los ataques de evasión contra una parte de los IDS.

Com en molts altres contexts, en el transport de persones o mercaderies, els tres objectius bàsics del sector són la seguretat, la protecció i els baixos costos. La modernització de la forma de viatjar ha obligat que el compromís entre els tres objectius sigui un desafiament. El valor de les vides humanes és essencial, de manera que els termes de seguretat i protecció haurien de tenir una gran importància, però el mercat automobilístic encara requereix que els vehicles siguin assequibles. El desenvolupament de noves funcionalitats i l'augment de la connectivitat en el vehicle provoca un augment dels vectors d'atac, que permet als atacants accedir a les xarxes internes de el vehicle, i en particular, a l'Controller Area Network (CAN), on es troben connectades la majoria de les mesures de seguretat. Per aquesta raó, els investigadors analitzen les amenaces de el sector de l'automòbil i dissenyen noves contramesures per a combatre-les. Per garantir que aquests contramesures siguin eficients, segures i protegides, s'han de provar i analitzar acuradament. Per ajudar als investigadors a assolir aquest objectiu, en aquesta tesi desenvolupem un marc per a comparar els sistemes de detecció d'intrusions (IDS) dissenyats per CAN. Proposem 8 dissenys d'IDS diferents extrets de l'estat de l'art per provar els atacs. Paral·lelament, dissenyem una eina capaç de sintetitzar la majoria dels atacs CAN de l'estat de l'art, i dos atacs més d'evasió, per tal d'estudiar la seva capacitat d'eludir els IDS. Per desenvolupar un marc de comparació de la capacitat dels IDS, construïm els IDS, els provem contra atacs dissenyats, i comparem els resultats del seu rendiment. En els nostres resultats destaquen múltiples coneixements sobre la capacitat dels IDS CAN i els atacs, com la capacitat de detecció més sòlida dels IDS que es basen en seqüències de temps i l'eficàcia dels atacs d'evasió contra una part dels IDS.