Los problemas de Amazon con su tecnología de reconocimiento facial, Rekognition, comenzaron el pasado mes de junio, cuando trascendió que la compañía estaba vendiendo esa tecnología a algunas agencias gubernamentales, entre ellas ese polémico Servicio de Inmigración y Control de Aduanas de los Estados Unidos (ICE) responsable de las barbaridades cometidas en la frontera separando a niños de sus familias. En aquel momento, la compañía tuvo que hacer frente a protestas de sus empleados demandando que interrumpiesen su colaboración con la agencia, exigiendo a la compañía en la que trabajaban que respondiese a unos principios éticos que consideraban esenciales.
En realidad, los problemas se habían iniciado algo más de un mes antes: la American Civil Liberties Union (ACLU), una de las asociaciones en defensa de los derechos civiles más activas y eficientes del país, comenzó una campaña de denuncia en las que, a raíz de una entrada en el blog de Amazon AWS en la que mencionaba como un ejemplo más que su tecnología Rekognition estaba siendo utilizada por la oficina del Sherif del Condado de Washington, hablaba del potencial peligro que suponía el uso de esa tecnología por parte de las autoridades, no solo por las posibilidades que ofrecía, sino también por el riesgo de errores en la identificación.
Como parte de esa campaña de denuncia, ACLU decidió llevar su protesta al Congreso de los Estados Unidos, y lo hizo de una inteligente manera que le ha permitido no solo escalar la visibilidad del tema, sino además, garantizarse una respuesta de varios de los parlamentarios: aplicaron la tecnología a la fotografías oficiales de los parlamentarios, y demostraron no solo que se equivocaba en 28 de los 535 miembros del Congreso, sino que además, los identificaba como criminales en una base de datos de personas arrestadas, de acceso público y compuesta por unas 25,000 fotografías. Los parlamentarios falsamente asociados con la base de datos de criminales incluían tanto republicanos como demócratas, hombres y mujeres de todo el país y de distintas edades, pero además, como algunos estudios han demostrado anteriormente, cometían llamativamente más errores con personas de color: un 40% de las identificaciones erróneas correspondían a este caso, a pesar de que en el Congreso hay tan solo un 20% de personas de esa raza.
La idea que subyace tras el experimento de ACLU es brillante: demostrar a los propios parlamentarios que ellos mismos podrían ser falsamente identificados como criminales si Rekognition se estuviese utilizando rutinariamente por parte de las autoridades. Lógicamente, los parlamentarios no están en absoluto contentos con ello, y solicitan respuestas a la compañía. Un «Jeff, tenemos que hablar» que indudablemente provocará cambios en el proceso de adopción de este tipo de tecnologías por parte de las autoridades, y que podría convertirse en el inicio de un muy necesario proceso de reflexión sobre el tema.
Amazon ha defendido su tecnología y ha achacado los decepcionantes resultados a una mala calibración de su algoritmo. Sin embargo, para hacer las pruebas, ACLU utilizó el algoritmo a través de AWS tal y como Amazon lo ofrece, y de hecho, incurrió en un coste total de 12.33 dólares. Según la compañía, el nivel de confianza recomendado para el uso del algoritmo en el caso de utilizarlo para identificación facial es del 95%, mientras que ACLU utilizó un nivel del 80%, según ellos más adecuado para identificar objetos. De una manera o de otra, el efecto de demostración ha funcionando, y el escrutinio sobre el uso de Rekognition o de otras tecnologías similares será seguramente mayor a partir de ahora, o incluso servirá para que otras compañías, como Microsoft, afirmen ser superiores en ese sentido.
Sin duda, un verdadero punto para ACLU a la hora de demostrar la importancia de que la sociedad cuente con asociaciones que defiendan adecuadamente los derechos civiles. La reflexión sobre el uso de tecnologías como la de reconocimiento facial es sumamente importante, y define, en muchos sentidos, el tipo de sociedad en el que queremos vivir. La decisión, obviamente, no es tan sencilla como «adopción o no adopción»: toda tecnología que se considere madura no puede ser sencillamente ignorada o relegada sin más, y menos aún en el caso de una tecnología que tiende, dado su funcionamiento, a mejorar en función del uso, a medida que sus algoritmos se enfrentan a más y más casos. Podemos considerar que la tecnología no está aún madura para su uso por parte de autoridades públicas y que, en caso de ser utilizada, podría generar desigualdades y errores potencialmente discriminatorios, pero esa discusión no es siquiera la que de verdad vale la pena, porque existen pocas dudas acerca del potencial de la tecnología para funcionar bien o hacerlo dentro de unos límites de confianza razonables. La verdadera discusión interesante viene después, cuando la tecnología ya funcione: ¿para qué la vamos a utilizar? ¿En qué circunstancias? y sobre todo… ¿a qué tipo de sociedad nos aboca?
This post is also available in English in my Medium page, “The problems with Amazon’s facial recognition technology»
Me alegra que haya sacado este artículo porque no hace más que afirmar la realidad de los algoritmos usados en Machine Learning indican con una alta probabilidad de éxito un resultado.
¿Qué sucede? Desde mi punto de vista algo obvio hay mucho indocumentado que ocupan puestos de primer nivel en empresas y en la administración que no distinguen que por ejemplo un 85% de probabilidad no es un 100% de probabilidad.
A ver es muy sencillo de cada 100 veces que te da un resultado un algoritmo con esa probabilidad vas a tener 15 fallos en grandes números. Lo que es totalmente lógico que suceda ya que sino no tendría esa probabilidad, sería otra.
Si consigues mejorar tu probabilidad de éxito al 90% seguirá habiendo un 10% de errores. Siempre habra una probabilidad de fallo por la propia naturaleza de los algoritmos.
Vamos a un ejemplo más dificil de ver a los que abogan por la conducción autónoma. Cuando Tesla o Waymo hacen pruebas hay un porcentaje (que desconocemos o no podemos averiguar) de accidentes (algunos leves, otros con heridos, alguno con víctimas mortales) que se corresponderán en cada caso con un porcentaje real no estimado. Ese porcentaje no es 0% de fallos, igual que no es un 0% de errores en clasificación de fotos. Es sencillo de comprender. ¿Cual es? ahora mismo no es mi punto de discusión el número, ni si una persona conduce peor o mejor, o si clasifica una foto mejor o peor.
Lo que está claro que un sistema de conducción autónomo debe estar certificado por una autoridad competente e independiente que verifique que el porcentaje de fallo esté por debajo de un umbral
Y en el caso del match de perfiles, es tan sencillo como comprobar su eficacia por una persona que analice la foto detectada y verifque el perfil buscado. Será más o menos molesto pero al final se tiene que decidir si el coste de la inversión en clasificación automática por ejemplo en la entrada de una frontera merece la pena o no. En principio parece que si.
Este experimento no puede ser más que catalogado de falaz y deshonesto, la ACLU ha utilizado mal el programa (apostaría dinero a que de manera totalmente consciente y maliciosa) para desacreditarlo y afianzar sus posiciones, y esto sólo puede ser catalogado como propaganda, y de la cutre. No soy fan ni de Amazon ni de estas siniestras tecnologías, pero un poco de seriedad no le hace mal a nadie.
No, el experimento está bien definido, y contado, además, de manera muy transparente. Que no utilicen el 95% y sí el 80% es más discutible, pero me parece una buena manera de demostrar lo que quieres demostrar: en circunstancias reales, los algoritmos no trabajan con una fotografía, sino con imágenes en movimiento, problemas de iluminación, gorras, pañuelos, gafas, etc. y sin duda, darán más falsos positivos que en condiciones de laboratorio y trabajando con fotografías de cierta calidad. La ACLU tenía un propósito, demostrar que esa tecnología aún no está suficientemente madura como para su despliegue por parte de agencias gubernamentales, y con su experimento lo ha conseguido.
Precisamente ahí está el problema, si se pretende comprobar el funcionamiento de una tecnología no es muy ético ponerla al mínimo de sus capacidades y concluir que es un algoritmo racista que falla más que una escopeta de feria, deberían haber puesto el programa al 95% y ver qué resultados ofrecía… y todavía pueden hacerlo.
Absolutamente de acuerdo contu planteamiento.
El invento de Amazon aun no es fiable. – Bien, es cierto, más pronto o mas tarde lo será con tanta fiablilidad como el reconocimiento facial humano. Es cuestion de tiempo.
Cuando lo sea, ¿Para quñe lo vamos a utilizar?. – Bien ese es el problema y mi procupación.
Hasta el momento los sistemas mecánicos recolectaban datos que caracterizaban interfases, como números de DNI, matrículas, chips de tarjetas de Crédito, password, números de teléfono…..
Burlar a los sistemas era sencillo, bastaba utilizar otra interfase para adjudicar un acto a otra persona diferente, utilizar el número del DNI del fontanero, utilizar el coche de la empresa, usar otra tarjeta de crédito,…. bastaba para que la acción que tu has utilizado se aplicara a otro.
Sin embargo, estos controladores biométricos, sean lectores de huellas, o de iris, descifradores del genoma, o este mas sencillo del reconocimiento facial, no son fáciles de engañar. por ello son a la vez mucho más fiables y peligroso.
Sin embargo si ya existen, es absurdo pensar que no se utilizarán, si por una prueba genética la empresa en la que pretendes encontrar trabajo, puede detectar el riesgo de que caigas enfermo, o el mecanismo de tu casa te abra o no el paso por reconocimiento facial, se va a o utilizar, y mucho más se va a utilizar de forma publica y estatal que de forma privada.
¿A que aboca ello? – Indefectiblemente que los marginados sociales, sean marginados políticos, raciales, económicos, sexuales, físicos,….. tengan mucho más difícil la integración de lo que ya lo tienen actualmente, donde aun pueden con un truco u otro, pasar desapercibidos.
Quiero resaltar (caso ACLU) que el uso de gente que infuencie (lobbys) a los parlamentarios no tiene por que ser negativo. Dependerá del uso que se quiere hacer de la información.No será lo mismo meter a cuchillo un informe no totalmente veraz sobre un medicamento, que meter el contrario : un contrainforme (mejor si está bien documentado) para convencer al personal que no es totalmente veraz..
Los abogados/fiscales no son malos per se, serán malos si se usan para tergiversar la realidad en favor de su defendido/acusado.
Y lo del reconocimeiento facial, no deja de ser una macana como los test, encuestas y demás parafernalia matemática que no puede garantizar un 100% de exactitud… algo muy necesario para hablar de culpabilidda humana (para eso se inventó lo de «in dubio pro reo», o no?).
Lo primero que habría que aclarar, y es importante hacerlo para acallar especulaciones apocalípticas, es que no se va a producir ningún reconocimiento facial de forma masiva o intrusiva. Ni por el gobierno, ni por ninguna empresa.
El algoritmo de reconocimiento facial no se puede aplicar de forma indiscriminada, porque la ley no lo permite.
Como la huella digital o todos los datos de carácter personal, esa tecnología está sujeta a la ley de protección de datos GDPR en toda Europa, y en la mayoría de los países, incluidos los que están en desarrollo.
Solo puede identificar mediante reconocimiento facial a quien esté previamente en una base de datos, que igualmente se ve sujeta a todas las leyes sobre ficheros de datos de carácter personal.
En China, solo se aplica a delincuentes en búsqueda, con una orden judicial, así que aquí, cuando menos sucederá lo mismo. Ahora y en el futuro.
Es solo una muestra de todas las restricciones a las que ya actualmente está sometida cualquier tecnología que registre datos de carácter personal.
No va haber ningún 1984, ni ninguna película de espionaje de alta tecnología. Ni se puede conducir tanques por la autopista solo porque exista esa tecnología.
–
Eres único citándonos las ordenanzas y reglamentos … pero es que nosotros estamos hablando del mundo real.