No se puede negar: todos adoramos un buen dilema, de esos en los que las condiciones que asumíamos sólidas se resquebrajan. En esta ocasión no tengo claro que el dilema aguante hasta el final, pero el planteamiento es sin duda interesante: ¿de quién es la responsabilidad si un vehículo autónomo tiene un accidente, y el software que llevaba instalado es de código abierto?
La pregunta está motivada por el desarrollo de un software conducción autónoma de código abierto, Openpilot, puesto a disposición de los usuarios en Github por Comma.ai, la compañía creada por George Hotz, el primer hacker que, con 17 años, consiguió desbloquear el iPhone en agosto de 2007 para que funcionase con otras operadoras.
El software solo es válido por el momento para dos modelos específicos de vehículos, el Acura ILX 2016 con AcuraWatch y el Honda Civic 2016 Touring Edition, aunque se anuncia la pronta disponibilidad de adaptaciones para otras marcas. Cualquier usuario puede descargar el software, instalarlo en su vehículo y disfrutar de ciertas prestaciones de conducción autónoma. El software no está creado específicamente por Hotz, tiene una página de información en la que se especifica claramente que es un producto en versión alfa, que tiene fallos detectados y posiblemente por detectar, y que cualquier problema que pueda surgir por su uso es responsabilidad del usuario. Sin embargo, dada la naturaleza del producto y la notoria dificultad para hacer pruebas de fiabilidad de vehículos autónomos, algunos dicen que esa cláusula de exención de responsabilidad no es suficiente.
En la legislación española, un vehículo tiene autorización para circular cuando está perfectamente homologado o cuando las modificaciones instaladas en el mismo han pasado una inspección. En este caso, un vehículo en el que se ha modificado el software que viene instalado de fábrica para reescribirlo con uno de código abierto haría muy posiblemente que la compañía aseguradora no cubriese ningún tipo de daño, y que la responsabilidad recayese sobre el usuario. Sin embargo, la cuestión no es tan sencilla cuando hablamos de marcas, como en el caso de Volvo o de Tesla, que han anunciado ya de manera clara que la responsabilidad en caso de accidente con sus vehículos cuando circulan en modo autónomo será directamente asumida por ellos cuando se deba a un problema de diseño.
En el caso del software de código abierto, que puede ser modificado y redistribuido por cualquiera, la cuestión se vuelve más compleja. Una gran cantidad de software de código abierto incluye cláusulas de exención de responsabilidad o advertencias de que el software se facilita «as is», sin más consecuencias, y que la responsabilidad de su instalación y utilización recae sobre el usuario. Si bien se ha evidenciado a lo largo del tiempo que el software de código abierto tiende a tener menos errores y unos ciclos de corrección más rápidos debido a la habitualmente mayor cantidad de ojos que pueden examinarlo, el problema surge cuando la posible consecuencia de un fallo ya no es simplemente que el software no funcione o que provoque una pérdida de datos, sino que se provoque un accidente o incluso una pérdida de vidas humanas.
A medida que los vehículos autónomos se convierten en más habituales, un escenario que llevase a que su modelo de difusión fuese similar al actual como vehículos privados se vuelve más complejo. Ya existen marcas que actualizan el software de sus vehículos durante la noche y que simplemente avisan al usuario de tal actualización por la mañana, lo que acerca la posibilidad de que sea el propio usuario el que, ante una actualización no oficial pero que ofrezca determinadas ventajas, pueda tomar la decisión de llevarla a cabo – más aún en un escenario en el que la percepción de seguridad se incrementa notablemente a medida que se va comprobando que los vehículos autónomos tienen menos accidentes. El segundo escenario, el del uso de vehículos autónomos como parte de flotas que ofrecen un servicio al usuario final, ofrece obviamente un control muy superior, además de evitar algunos de los problemas inesperados que muchos empiezan a prever.
En este caso, si bien es posible que la solución al dilema no tenga demasiado recorrido – al menos considerando la legislación de muchos países – sí resulta interesante planteárselo por lo que tiene de constatación de que esa realidad, la de los vehículos autónomos y la actualización de si software, no solo está aquí, sino que llama ya a nuestra puerta con la necesidad de replantearse muchas cuestiones que hasta el momento, dábamos prácticamente por asumidas.
This post is also available in English in my Medium page, “The autonomous car and the dilemma of responsibility»
Creo que hay dos soluciones. Si el coche viene con eses software s de fabrica y ha sido homologado por Industria, el mal funcionamiento es responsabilidad del fabricante. Ahora bien si tu, a un vehículo homologado por industria, le cambias el software de fábrica por ese software libre, o bien vuelves a homologar el coche, en cuyo caso la responsabilidad del mal funcionamiento será de quien haya comercializado el software o tuya si simplemente lo «bajaste» o si no lo has homologado, corres tu con la responsabilidad.
Es exactamente lo mismo que si te da por cambiar la suspensión de un vehículo, o sustituir el motor por otro, algo que ahora es algo exótico, pero que en los 60 era bastante común. Podias modificar la suspensión de un 600 o cambiar el motor de un coche por uno de gasoil.
Duda. Hoy en día los coches son ya un mix de hard y soft (la centralita que controla el motor y al resto del vehículo).
Mi coche es idéntico en hard al modelo superior salvo que la centralita otorga a uno 85CV y al otro 109CV. ¿Qué pasa si reprogramo la centralita y le pongo la versión superior y paso a disponer de 109CV? ¿Lo tengo que homologar de nuevo? Ya lo está en el otro modelo idéntico al mío. En caso de accidente, ¿me pondrá algún pero el seguro? ¿Por qué? No recuerdo haber leído ninguna cláusula que específicamente lo excluya.
El seguro cubre al vehículo con las características que se han declarado a la aseguradora al contratarlo. Si se ha declarado que tiene una potencia de 85CV y se realiza el cambio que a todos los efectos lo convierten en un vehículo con una potencia de 109CV y no se comunica a la aseguradora, al tener un siniestro, la compañía aseguradora aplicará con toda seguridad una regla de equidad, por lo que la indemnización se verá mermada.
Me imagino que en un futuro próximo eso de toquetear el software de los coches autónomos estará terminantemente prohibido y será muy dificultoso, habrá que conformarse con lo que ofrezcan las marcas después de miles y miles de horas de pruebas. Puede que haya software libre, sí, pero solo para los fabricantes, que se encargarán de implementarlo lo mejor que puedan y con todas las garantías de seguridad, si dejas que la gente se ponga a tunear el Tesla como le venga en gana, tienes el caos garantizado.
En mi opinión es claro:
La responsabilidad del accidente es de quien instala y mantiene el software(si el software es el causante, que podría ser una rueda mal instalada).
Es decir si la marca lo instala, es la marca.
Si el usuario lo cambia, es el usuario.
Que la aseguradora lo cubra o no creo que depende más de la demanda que de cualquier otra cosa, si hay demanda de ello las aseguradoras harán sus calculos y cubriran. Para todo lo demás será «modificación no permitida» y si la modificación es la causante del siniestro, te toca pagar.
La clave del más que probable retraso en la implantación del coche autónomo depende mucho más de lo que apunta el enlace «algunos de los problemas inesperados que muchos empiezan a prever» que incluyes en el artículo que de otra cosa, algunos de los problemas que muchos pensamos que van a dan al traste con la implantación del coche autónomo a corto plazo están ahí muy bien explicados; aunque parezca un contrasentido, la sociedad está mucho más preparada para asimilar 1.000 muertes al año en carretera en coches conducidos por humanos que 50 muertes en coches que se conducen solos.
Toda IA que pongamos en nuestras vidas tomando decisiones tendrá este problema.
En los sistemas tradicionales uno espera ciertas respuestas fijas ante ciertas situaciones y si algo va mal se puede analizar el por qué y arreglarlo fácilmente. El deep learning sin embargo produce cajas negras en el sentido de que es muy difícil o imposible saber la razón por la que un sistema ha tomado cierta decisión. Esto es bastante parecido a lo que nos pasa con las personas, lo que ocurre es que consideramos a la persona misma como responsable en caso del ser humano pero no estamos dispuestos a hacer los mismo aun con las máquinas: son como un menor de edad, los responsables son sus padres (los programadores en este caso). Tiene sentido, pues estamos en la infancia de la IA, no está lo suficientemente avanzada como para que ‘comprenda’ o tenga en cuenta los valores humanos en sus decisiones.
Para los programadores/ingenieros es un problema porque no hay manera de garantizar siempre un comportamiento adecuado en situaciones nuevas (al igual que por muy bien que eduques a tu hijo nada te garantiza que no vaya a comportarse mal en ciertas situaciones) y sin embargo se les va a considerar a ellos los responsables.
Existen preocupaciones mucho más importantes.
AÑO 2020
Voy por la dehesa salmantina tomando una cerveza y disfrutando del paisaje.
De repente me surge una necesidad fisiológica inaplazable. Ordeno al autónomo que se detenga y que me espere.
Salgo del habitáculo con la mayor rapidez que me puedo permitir y busco un lugar discreto e íntimo en la medida de lo posible, a la vez que seguro, pues uno nunca sabe de dónde puede salir el toro.
Como el tiempo es relativo y a veces incalculable: ¿Hasta dónde puede llegar la paciencia del autónomo?
He estado pensando que ese software libre, si bien no lo pondría en vehículos de 1000 kg y 150 km hora, puede ser adecuado para otro tipo de vehículos, por ejemplo «coches robot» que se muevan dentro de locales perfectamente topografiados y a velocidades tales, que sean fáciles de esquivar y aun en el peor de los casos, los daños que produzcan sean poco mas que una magulladura.
Se me ocurre su uso no solo en almacenes sino en carritos para inválidos, vehículos auxiliares en el aeropuertos, en labores agrícolas y en otros muchos usos similares por ejemplo los carritos de los carteros y basureros, de limpieza y reponedores de los supermercados, y pienso que con todos sus defectos puede ser de gran utilidad ese software y que ya se irá puliendo entre todos con el uso, mas si están trabajando en red.
Realmente estas cosas, se saben como empiezan y no como acaban, ¿Quien iba a suponer cuando inventó Internet, que eso podría acabar con la prensa, e incluso con la banca tradicional.? ¿Que el Spectrum y similares acabarían con eso que llamábamos los Ordenadores Departamentales y por el otro extremo con los Supercomputadoras Cray? ¿Pudo alguien suponer que el Linux desplazaría a Windows en algo que llaman smartphone y que de Windows ni se habla ni se le espera, en lo que llaman IoT?.
Windows 10 tiene version para usar en Raspberry pi y usarlo en IoT (no es un W10 de escritorio).
Vamos a complicar mas el tema, si chocan dos coches de misma marca, modelo y con la ultima version del software.
Como si un coche tuyo lo conduce un menor sin capacidad legal, El primer responsable es el propietario del vehículo. Es el propietario quien debera reclamar al fabricante.
Si lesionas a alguien por un defecto del coche, por ejemplo patinan las ruedas o fallan los frenos, ¿Quien es el responsable en primera instancia?
No creo que haya diferencia que un coche lo conduzca una máquina o un conductor, El primer responsable es el conductor y en su defecto el propietario.
El software de un coche autónomo no es más que un caso particular de fallo mecánico/electrónico, y tendría que ser tratado de la misma manera que p.ej. pasó con Toyota cuando se descubrió que ocultaba un fallo de software que causaba una aceleración indebida: http://abcnews.go.com/Blotter/toyota-pay-12b-hiding-deadly-unintended-acceleration/story?id=22972214
Llevo bastante tiempo trabajando en desarrollo de software (entre otros, en el campo médico y de telecomunicaciones, con unos estándares de seguridad apabullantes), y por lo que veo en el coche autónomo, veo que está primando mucho más el time-to-market que la seguridad. Todos los fabricantes quieren tener cuanto antes algo demostrable, pero es que si comparamos el «cerebro» de un coche autónomo con algo tan simple (si, lo único que tiene que hacer es mantener parámetros de vuelo estables) como el piloto automático de un avion (o siquiera de una avioneta), sencillamente no me creo que hayan pasado ni la décima parte de los test de seguridad que estos últimos. Un piloto autónomo tiene una cantidad de puntos de fallo enorme en comparación con los antedichos sistemas. ¿Cómo se va a homologar eso? Sobre todo cuando ya vemos lo fácil que es engañar a los controles de emisiones. No digo ya el hobbista que «reflashea» su coche, sino ya para los fabricantes reales les puede resultar muy complicado.
Y luego, como se ha dicho, efectivamente está el componente psicológico. Queramos o no, a nadie le gusta ser conducido por una máquina. Ni por un mal conductor humano, pero al menos a estos últimos se les ve venir y siempre les podemos decir algo…
Quizás una comunidad abierta con expertos cualificados y con filtros finales para minimizar la responsabilidad de tocar código fuera del standar asumido y que retro alimente la seguridad a modo de actualización, a medida que se valide su certeza en la medida de lo posible :-)
En mi caso no hay duda alguna: el responsable es el conductor del vehículo (conduzca o no… siempre tiene que haber un conductor responsable) y esa responsabilidad derivará en cargas o no dependiendo de las circunstancias del siniestro y de acuerdo con el código de circulación.
Ese conductor tiene la obligación de ser tomador de un seguro de responsabilidad (obligatorio en su mínimis: el conocido como «a terceros»)
Lo que planteas puede ser un pleito entre el tomador considerado causante del siniestro y su compañía de seguros; que se niegue a cubrir los daños por haber habido una manipulación en el coche.
El seguro no puede determinar si la manipulación en el software permite o no circular al coche. Eso lo hace la ITV; y la inspección, de momento, no entra en el software del coche. Y para muestra un botón… el caso VW
El asegurado eres tú… no el coche.