Linda Baker, de FreightWaves, me contactó por correo electrónico para preguntarme acerca de los hacks llevados a cabo por Keen Security Lab, un laboratorio de seguridad perteneciente al gigante chino Tencent, sobre los sistemas de asistencia a la conducción de vehículos Tesla, tales como engaños al sistema de control de los limpiaparabrisas o al control de cambio de carril, y el pasado día 3 publicó un artículo titulado «Researchers trick Tesla Autopilot using stickers on the road« (pdf) en el que me cita.
Los hacks en cuestión, tales como mostrar a la cámara frontal del vehículo una serie de imágenes y conseguir que el mecanismo del limpiaparabrisas las identifique como tiempo lluvioso o, más peligroso, situar tres pequeñas pegatinas blancas en una carretera y hacer que el vehículo cambie de carril, son sin duda muy interesantes y pueden llevar a que Tesla se plantee como protegerse ante semejantes eventualidades, pero como tales, no suponen un cuestionamiento de la seguridad de los vehículos de la compañía como tal, ni tiene sentido que cualifiquen para su bug bounty program, que es la razón por la que se han convertido en noticia.
Ningún sistema puede protegerse contra toda posible eventualidad, y en algún sitio hay que poner el límite. Como comenté con Linda, poner pegatinas en una carretera para engañar a un vehículo es más una booby trap o una argucia de Wile E. Coyote que una posible circunstancia real de conducción, aunque en efecto, podría llegar a darse el caso de que alguien se plantease llevarlo a cabo y, como tal, merezca un cierto nivel de atención. Pero no hablamos de un problema de inseguridad de la conducción autónoma ni nada por el estilo, porque, por más que lo intentemos, nunca vamos a llegar a proteger a un sistema contra todas las ocurrencias de un experto en seguridad, y el límite, desde mi punto de vista, está en la modificación del entorno.
A continuación, como hago habitualmente, el texto completo de las preguntas y respuestas que crucé con Linda:
P. How reputable is Tencent?
R. Tencent is a huge Chinese multinational investment holding conglomerate founded in 1998, one of the largest corporations in China. Tencent is the world’s largest gaming company, one of the world’s most valuable technology conglomerates, one of the world’s largest social media companies (the Chines social network and portal QQ among others), and one of the world’s largest venture capital firms and investment corporations. Its services include social networks, music, web portals, e-commerce, mobile games, internet services, payment systems, smartphones, and multiplayer online games, which are all among the world’s biggest and most successful in their categories. Keen Security Lab is one of the important constituent parts of Tencent Security, and focuses on the cutting-edge security research of mainstream PC/Mobile operating systems, applications, cloud computing technologies, IOT smart devices, etc.
P. How significant are Tencent’s findings about being able to commandeer the Tesla steering system and confusing the lane identification system?
R. Changes and alterations to the physical environment are generally considered outside the scope of attacks against self-driving systems. The designers of a system cannot anticipate all the possible artificial changes that could be made to the environment in order to trigger a certain behavior.
P. Tesla says this report is not eligible for their bug bounty program. Are the bug bounty programs sufficient to detect software bugs, especially in self-driving vehicles?
R. Bug bounty programs are highly recommendable to introduce external takes on problems and issues. Paying people to troubleshoot computer systems is now considered an increasingly important part of organizations’ security, and they are important in terms of both effectiveness and reputation. However, the issue discovered by Tencent Keen Security Lab is not a bug, not a problem with the software or a limitation of the hardware, but the purposefully modification of a road, more akin to a booby trap. The findings are interesting and might merit some actions from Tesla in order to improve the vehicle’s behavior under certain circumstances, but changes and alterations to the physical environment are generally considered outside the scope of attacks against self-driving systems because it would be extremely difficult to set a proper limit for this type of interventions.
This post is also available in English in my Medium page, “Does Tesla now have to contend with Wile E. Coyote?«
Gracias por abrir este post HACK 1
¿Quieres colapsar una ciudad en 2023?
Fácil. ¿Pones pegatinas o señales de 10kmh o STOP?
Los vehículos inteligentes se pararán….
Fin de HACK número 1
PS: Elite Taxi o CDR ya sabéis… la tecnología al servicio de los [censurado]
Sí, pero es bastante difícil que alguien cause un accidente a un conductor humano pintando una falsa señalización horizontal en la carretera. No hay mucha gente que se dedique a hacer esas cosas.
Pero sí hay miles de personas que dedican mucho tiempo a explotar vulnerabilidades en sistemas informáticos y realizar todo tipo de ataques. Sencillamente el mundo es así. Y si quieres comercializar un sistema de conducción autónomo, tiene que estar bien defendido contra acciones hostiles intencionadas. No vale decir que ese es un riesgo para el que no está preparado.
Así que me estás diciendo abiertamente que una directiva de la Comisión Europea ha establecido la obligatoriedad de incorporar a los vehículos sistemas autónomos que limiten la velocidad de circulación y que no pueden garantizar en ningún caso su inviolabilidad.
Que si algún tarado se lo ocurre cualquier «Booby trap» (para nota) el sistema podría reaccionar de cualquier modo imprevisto.
«En algún sitio hay que poner él límite (ante eventualidades)». Pienso que este límite debería ser igual o superior al de un humano.
Mientras tanto el AP es lo que es: un sistema para leer de reojo un mensaje corto del móvil, evitar algún susto con ángulos muertos y conducir por tí en un atasco. No está mal, pero falta mucho camino.
Cuando acabamos de tener dos accidentes de aviación debido al error de un piloto automático, el no tomar con seriedad la programación de los «pilotos automáticos» de vehículos terrestres, que transitan por un medio muchísimo mas complejo que el aéreo, merece algo mas que decir, «eso no pasa en la realidad».
¿Como reaccionará el piloto automático de Tesla a los versitos escritos en los pasos de peatones? – Y ¿quién lo sabe?, hasta que no pase un TESLA en conducción automática no nos enteraremos. “Tthat is the question”
Quien dice versos, también dice «lacitos amarillos» por cualquier sitio.
HACK número 2
Eres parte de un comando albano-cosovar. OK?
No tienes más que poner una falso control de STOP control de policia, y el smart coche se detiene.
Sacas una pístola de 20€ y los atemorizados inocentes se quedan sin coche, ya que el gadget roco movil se ha quedado inmovilzado….
Tecnologia 0 Cacos 2
La policía, que no es tonta, cuando recibe la denuncia, encuentran por donde circula el coche con ayuda de las redes 5G. Mandan un coche patrulla obsoleto con conductor a detenerlos, Los guardias sacan del coche una cinta de tela blanca de un palmo de ancho y la atraviesan en la carretera. El coche automático frena sin atreverse a cruzar la raya blanca.
Allí mismo detienen a los cosovares y les mandan a una celda 1.0 hasta que en menos de 48 horas, un juez por oposición, que en su día se aprendió 300 temas de memoria, decida que se hace con esos idiotas.
Evidentemente, los altos mandatarios, policía, servicios de emergencia… se desplazarán en vehículos con conductor… por motivos de seguridad. Los autónomos serán para las masas.
De todas formas, yo no me subiría a un VA que confíe en las rayas pintadas para saber por dónde va la carretera.
Pues no te subirás a un VA
Os van a dar el Oscar a la Película que os habéis montado.
Es curioso lo exigente que se pone la gente (comentarios de arriba sin ir más lejos) con la implementación de las nuevas tecnologías, sin darse cuenta de la impresionante mejora que suponen respecto a lo que ya tenemos.
Estamos en este caso hablando de un hack que ha hecho nada menos que un laboratorio de seguridad. Hacer algo así de manera intencionada para provocar accidentes no sería diferente a ir actualmente a la carretera y rociar aceite o echar clavos, o aflojar las ruedas de un coche aparcado o romperle las pastillas de freno, etc. Hay mil cosas que se pueden hacer para provocar accidentes (todas son delito por supuesto) actualmente pero normalmente no hacemos, no sé por qué la gente se empeña en ver peligro en sofisticados hacks que pocos podrían llevar a cabo y serían claros delitos.
Totalmente de acuerdo.
Lo único que no me cuadra es que, normalmente, los resultados de los estudios de un laboratorio de seguridad acaban en una empresa (la que les encarga el proyecto o por recompensa); no acaban a disposición del público para que cualquier idiota pueda replicar el hack…
¿Cómo se supone que se ha hecho pública esa información y con qué objetivo? Sólo se me ocurre que a propósito desde el laboratorio de seguridad y para dañar a Tesla.
Todo indica – no tengo información para asegurarlo – que lo hicieron, lo presentaron al bug bounty program de Tesla, y cuando se lo rechazaron, decidieron hacerlo público.
Nuestro error es hacer que las máquinas conduzcan como humanos. Dans ya lo ha dicho otras veces: la revolución de la automoción lo es, sobre todo, de la movilidad o incluso del diseño de infraestructuras. Con vehículos inteligentes en nuestras carreteras lo que necesitamos son carreteras inteligentes. Yo creo que el futuro está en la tecnología V2X y olvidarse de pintar el asfalto y colgar placas metálicas, aunque nada grarantiza el 100% de fiabilidad.
Totalmente de acuerdo, y ya le he comentado anteriormente. No se trata de ponerle «ojos» a los coches autónomos, ni «oidos». Las señales de tráfico actuales están hechas para los sentidos humanos, que vemos y oimos. Un coche inteligente podría ver, o mejor dicho, leer e interpretar señales por radiofrecuencia (codificadas, por supuesto), que le indicaran por dónde anda, velocidad, situación de la vía, etc. Eso de «mirar» las señales como si de un humano se tratara es como diseñar un tren y no construir los railes o vías, y adaptarle las ruedas para que circule por asfalto.
Coche inteligente, sí, pero también ciudades y vías inteligentes. Hablo de semáforos visuales y con radiofrecuencia, o cualquier otro sistema que pueda detectar el vehículo inteligente sin necesidad de «ojos» mirando si hay una pegatina en el asfalto.
En realidad el problema es insistir que vehículos domésticos ya sea Tesla u otros, sea autónomos cuando en realidad estos son aparcados por 12 horas días transportando el máximo de dos personas en calles congestionadas por vehículos no-autónomos. Mientras tantos camiones, trenes y aviones tienen carriles exclusivos para ellos y nadie se ha cuestionado el uso de autonomía en ellos.
Hola. creo que aun no podemos hacer juicios y anticipar fracasos que no son. Se vendran leyes o demarcacion electronica de vias que no seran tan faciles de hackear como una pegatina o una linea pintada.
Ademas de los autos, se crearan progresivamente las tecnologias para dar fiabilidad a las ideas.
Paciencia… Todo se lleva su tiempo y quizas ya estan en ello, pero aun el publico de a pie no lo sabe.
Hola Enrique,
Hoy creo que no comparto tu opinión: el hecho de que alguien haya podido influir tan fácil en un sistema de conducción autónomo sólo indica que aun está muy inmaduro y que sólo pueden circular por carreteras específicamente diseñadas y mantenidas para ello (limpias de «pegatinas» o similares): Lo que es justo lo contrario de la realidad. No vivimos en un scalextric.
Es tremendamente fácil que un camión pierda mercancía, que el viento meta bolsas y porquería varia en la carretera, que un insecto impacte en los sensores o cualquier otra cosa que se nos pueda ocurrir. Un humano sabrá reaccionar correctamente, pero esta prueba de «bugs» demuestra que estos vehículos aun se comportan como nóveles inexpertos que sólo saben conducir cuando todo está a su favor.
No sé como lo puedes verlo de otro modo, sin duda esta noticia será un duro golpe para la imagen que pretenden dar los creadores de esta tecnología.