Durante las últimas semanas, he estado utilizando un artículo de Wired, titulado «Courts are using AI to sentence criminals. That must stop now«, para generar discusiones interesantes en algunas de mis clases y conferencias: el uso de algoritmos en procesos judiciales en los Estados Unidos para determinar, por ejemplo, la probabilidad de reincidencia de un acusado, y su uso para administrar una sentencia más o menos dura dependiendo de ello.
Ayer, el New York Times comentó el tema al hilo del mismo caso que el descrito en Wired, el de Eric Loomis, un criminal enviado a prisión el pasado marzo por un juez que utilizó a instancias del fiscal el resultado de COMPAS, un algoritmo creado por Equivant, e hizo constar en el sumario que
“you’re identified, through the COMPAS assessment, as an individual who is a high risk to the community.”
(«usted ha sido identificado, mediante la evaluación COMPAS, como un individuo que representa un alto riesgo para la comunidad.»)
La defensa de Loomis ha alegado que el uso del informe generado por el algoritmo vulnera los derechos del acusado, por ser un algoritmo secreto que no puede ser inspeccionado ni estudiado, lo que impide que sea discutido o cuestionado de manera efectiva. En efecto, no se trata únicamente de que el algoritmo sea secreto debido al interés de su creador, sino que, como comentábamos hace algún tiempo, los procesos de machine learning generan cajas negras que una inteligencia humana no puede monitorizar, que solo pueden ser valorados en función de la calidad de su output, lo que genera un inmediato problema de transparencia.
El proceso es claro: un banco, por ejemplo, podría fácilmente comenzar a alimentar un algoritmo de machine learning con todo su archivo de préstamos e hipotecas a lo largo de la historia y sus resultados en cuando a pago o impago, y muy posiblemente se encontraría con que, al cabo del tiempo, los resultados del algoritmo podrían mejorar las decisiones de un comité de riesgos integrado por personas con amplia experiencia en banca. Si efectivamente es así, el banco podría optar por eliminar a su comité de riesgos y sustituirlo por el proceso automatizado, en aras no solo de una reducción de costes, sino también de un resultado económicamente mejor. Sin embargo, esa decisión, que llevaría a que los clientes del banco viesen cómo la decisión de si les conceden o no una hipoteca pasa a depender de un algoritmo, podría tener dos problemas:
- Falta de transparencia: de acuerdo, no me concedes la hipoteca… pero, ¿qué debería hacer si quiero llegara obtenerla? ¿Cuáles han sido las variables que han hecho que no me la concedas, y cómo debería trabajar para mejorar mi elegibilidad a la hora de obtener esa hipoteca más adelante? ¿Cómo me explicas una decision que ni tú mismo entiendes, y de la que solo sabes que maximiza tus posibilidades de obtener la devolución del préstamo?
- Sesgos: contrariamente a lo que algunos podrían pensar, el uso de un algoritmo no garantiza una mayor objetividad, sino un reflejo de los sesgos que pudiese haber en los datos originales. Si los datos con los que el banco alimentó a su algoritmo, por ejemplo, reflejasen algún tipo de tendencia histórica en la que se tendía a rechazar, por ejemplo, a los solicitantes de un grupo determinado en función de criterios como sexo, etnia, religión, etc., esos sesgos podrían consolidarse en el algoritmo obtenido a partir de ellos, pero ser difíciles de identificar por parte de una inteligencia humana.
En la justicia norteamericana, son cada vez más los procesos que están siendo colonizados por algoritmos: muchos abogados comienzan a utilizar algoritmos como Ross, basado el el Watson de IBM, no solo para determinar qué jurisprudencia es más relevante para el caso que están preparando, sino incluso para examinar los posibles sesgos del juez que tienen asignado basándose en todas sus decisiones anteriores en posibles casos similares, con todo lo que ello conlleva de cara a optimizar los argumentos utilizados. A medida que ese tipo de metodologías de trabajo se consolidan, los procesos de machine learning que los soportan van convirtiéndose en cajas negras dotadas cada vez de una mayor complejidad, con procesos que un humano es cada vez más incapaz de replicar o entender.
La robotización o algoritmización de la justicia podría, por un lado, convertirse en un posible recurso para muchos de los problemas generados por la saturación de los tribunales: todo caso suficientemente claro, sencillo o evidente podría dejar de ocupar valiosos recursos de un juez o tribunal humanos, y pasar a ser determinado por un algoritmo automatizado, como ocurre ya de hecho con muchas infracciones de tráfico, en las que el algoritmo, en realidad, tiene una necesidad de inteligencia muy baja: basta con que un requisito determinado se cumpla, para que se genere un resultado. A medida que la complejidad de los casos se incrementa, podemos encontrarnos con casos como el descrito, que pueden generar una indefensión: ¿cómo defenderme de un veredicto basado en una caja negra que simplemente valora una serie de variables de entrada y devuelve un resultado? ¿Debemos integrar la posibilidad de explicar el veredicto en los propios algoritmos, exigiendo una determinación de los pesos empleados o de los cálculos utilizados de manera que un humano pueda llegar a seguirlos?
Hace pocos días, en Netexplo, tuve ocasión de entrevistar en el escenario a la fundadora de una compañía de diagnóstico médico mediante imagen, Qure.ai. La conversación que mantuve me generó cuestiones muy interesantes: a lo largo del tiempo, una vez que los médicos adoptan el uso de su tecnología para determinar si una radiografía, un escáner o una tomografía muestran un tumor, la habilidad de un médico para examinar manualmente una imagen podría llegar a perderse por falta de práctica, y aunque la máquina, a medida que mejora su algoritmo, pase a ofrecer resultados mucho mejores que los médicos humanos, estaríamos ante una situación de pérdida de una habilidad que los humanos habíamos desarrollado como tal. Es el mismo tipo de argumento que el empleado por Nicholas Carr en «Superficiales» cuando pensamos, por ejemplo, que antes de los teléfonos móviles éramos capaces de recordar más números de teléfono de memoria: internet nos vuelve estúpidos, porque sustituye habilidades que antes teníamos y las convierte en innecesarias. O también , por supuesto, contra-argumentado de la misma manera: nadie sería capaz, hoy en día, de escribir sobre una piedra, porque nuevas tecnologías y soportes lo han convertido en innecesario… y no pasa nada, simplemente aceptamos que el contexto, y en este caso, la inteligencia artificial, redefine la inteligencia humana. Pero ¿qué ocurre cuando esa pérdida de la habilidad humana se convierte en decisiones «subcontratadas» a una caja negra que no podemos interpretar?
This post is also available in English in my Medium page, “Robotic justice»
¿Y si se utilizarán estos sistemas para juzgar acciones antes incluso de que ocurran?. Cada uno de nosotros podría tener asignado un nivel de «riesgo social» o de cualquier otro tipo que, sin hacer nada en absoluto, nos abriese o cerrase puertas…
Hace no mucho escribí un microrrelato ambientado en una sociedad regulada por un sistema así:
Privacidad cero
Si no has leído «Down and out in the magic kingdom«, de Cory Doctorow, te lo recomiendo encarecidamente. Es una sociedad en la que nuestro karma esta constantemente siendo actualizado y está visible para todos. Muy en la línea de «El Círculo«, muy posterior, y también muy, muy recomendable.
Muchas gracias por las recomendaciones :). Precisamente acababa de leer que esta semana se estrena la versión cinematográfica de «El Círculo«, aunque no parece que tenga muy buenas críticas.
Esta sí que creo que es una verdadera línea roja y veo que, efectivamente, tienes tú también severas dudas. Muy de acuerdo: los algoritmos pueden ser útiles para descargar a la administración de justicia de casos en los que incluso la inteligencia humana discurre por pasos muy tasados (efectivamente, accidentes comunes de tráfico, digamos que sin sangre, juicios monitorios por pequeñas deudas en los que la cuestión reside en si la deuda está probada o no y si ya ha sido pagada o no y todo se sustancia con papel probatorio, etc.). No veo, hoy por hoy, ni siquiera a medio plazo… más aún, el largo plazo muy, muy largo, la resolución de pleitos complejísimos (piensa en los procesos norteamericanos por vulneración de la competencia o los recursos de compañías norteamericanas ante el Tribunal de Justicia de la UE cuando ésta les impone severísimas multas o los hace pasar por el estrecho aro de sus leyes de protección al consumidor o de carácter fiscal) o de juicios criminales o civiles de muy duras consecuencias (se me cae el pelo -porque canas ya las tengo todas- de la pura angustia de pensar que en los Estados Unidos alguien puediera ser condenado a muerte y efectivamente ejecutado en virtud de un algoritmo o, un poco menos dramáticamente, largas penas de cárcel o, mucho más ¿simplemente? aún, procesos de divorcio contencioso).
La tecnología, la robotización, la automatización, el internet de las cosas, la biblia en pasta, nos traerán grandes modificaciones en nuestra vida que, sin duda también, comportarán cambios sustanciales en la forma de comprenderla y de afrontarla, pero, en algunos aspectos, calma, muuuuucha calma o podríamos autoimponernos pesadillas de verdadera ciencia ficción.
Me resulta muy difícil aceptar que el resultado de un algoritmo sea una caja negra y no se pueda explicar «nada de nada». Puedo entender que use muchas variables y pesos, que tenga mucha complejidad, o que use trillones de datos para analizar patrones, pero al final todo son operaciones con ceros y unos, y el algoritmo debería poder indicar, si no los cálculos exactos (que también), sí algunas razones «clave» que han influido de su decisión. Por poner ejemplos tontos:
– En ajedrez: ¿qué peso adicional le ha dado el algoritmo a una variante «aguda» teniendo en cuenta los apuros de tiempo de su rival, que no le habría dado en condiciones de más tiempo disponible? ¿qué peso adicional le ha dado a una jugada en la apertura que no consta en las bibliotecas de aperturas?
– En fraudes de pagos con tarjeta por internet: ¿cuanto influye usar un dominio gmail en lugar de un dominio de empresa? ¿cuánto influye ser de un país u otro? (el proveedor que yo uso me parece una caja negra, pero porque no quieren dar pistas, no porque no puedan saber lo que ha pasado en un falso positivo).
En todo caso, aplicado al caso de las hipotecas, el banco podría ejecutar otras simulaciones alterando variables de entrada para darle al solicitante denegado algunas pistas. Ej: «Solo con que tu nombre hubiera sido Luis en lugar de Bartolo, la IA te hubiera concedido la hipoteca. Puedes probar a cambiarte el nombre en el registro civil, pero no te garantizamos que dentro de unas semanas el algoritmo dé el mismo resultado» :-)
Está claro desde hace mucho que el ser human es limitado internamente y por las circunstancias externas. Pero se está haciendo más patente que las circunstancias limitantes externas están variando rápidamente, incrementándose algunas, debilitándose otras, pero sobre todo, incidiendo en las limitaciones internas y con ello, en el carácter de lo que se considera persona. Ya no es que esté surgiendo un nuevo tipo de individuo, sino que el nicho ecológico de los individuos actuales está cambiando cada vez más rápido, dificultando la adaptación de los individuos actuales -nosotros-, sino a la tecnología propiamente dicha, a la organización social resultante, a la económica…
» los procesos de machine learning generan cajas negras que una inteligencia humana no puede monitorizar»
Enrique, te das cuenta de que esto no es cierto, ¿verdad?.
No es debatible, simplemente, el concepto de caja negra no funciona así; que sea un sistema opaco durante su funcionamiento, no significa que no sea monitorizable, ni mucho menos que sea ininteligible al ser humano.
Solo puedo atribuirlo a que te basas en el mito de la supuesta ininteligibilidad de la IA que predica la pseudociencia de la singularidad, distorsionando ese concepto.
Es igual que la homeopatía, no hay un mecanismo oculto, que transfiera al agua cualidades inaprensibles e intangibles al conocimiento científico.
Existen todo tipo de procedimientos e iniciativas que ponen en claro el funcionamiento de cualquier algoritmo de machine learning.
El argumento de ‘no sabemos cómo funciona’, es retorico. Lo que alguien decida creer o idealizar, es otra historia.
–
Hyping Artificial Intelligence, Yet Again
“A.I. is hype! What can it really do in law?”
10 misconceptions about Neural Networks
The Unreasonable Reputation of Neural Networks
Unlocking the Black Box: The Promise and Limits of Algorithmic Accountability – Yale
.
He procurado poner enlaces de divulgación, dada la complejidad técnica del Machine Learning, pero si a alguien le apetece ilustrarse en profundidad, aquí tiene para abrir boca.
–
Neural Networks, Manifolds, and Topology
Unboxing the Random Forest Classifier: The Threshold Distributions
–
«Here is an advice to scientific/tech journalists: please, please do not believe vague claims by AI startups unless they produce state of the art results on widely accepted benchmarks.»
Yann LeCun.
Adenda al margen de la insensatez de la singularidad; Nicholas Carr escribe bestsellers, pero no hay ningún evidencia o estudio real de lo que dice, es solo un charlatán.
Tomarlo como referencia es como citar la Reflexología, o la tontería de que solo usamos el 10% de nuestro cerebro, en una nueva versión.
Por cierto, aparte del sensacionalismo, Compass es un sistema de Scoring para medir la idoneidad de aplicar la libertad condicional, tal como hace cualquier Juez, con lápiz y papel, no dicta ninguna sentencia. La idea de que un algoritmo juzgue con reglas o leyes propias es sencillamente, absurda.
Mucho menos aún en EE.UU., donde el jurado es una institución.
La justicia no es un juicio salomónico al albedrío de un juez, es un proceso de garantías y derechos fundamentales, jurídicamente tutelados.
–
No, Google is not Making us Stupid
Craso error: la justicia depende del libre albedrío de un juez, ya que no solo interpretan las leyes sino que se las inventan.
Un ejemplo tristemente famoso es el de aquel juez que dijo «si la han violado es porque llevaba minifalda y provocaba…», o algo parecido. Y se quedó tan ancho. Y no recuerdo que le cesasen fulminantemente de sus funciones, espero que sí lo hicieran.
Creo que cometemos el error de confundir el desconocer el «razonamiento» que ha seguido la caja negra, con no saber los cálculos que ha hecho. Voy a poner un caso muy sencillo para aclararlo
Supongamos que partimos de la idea que la vida media de una persona es función de sus antecedentes familiares y sus hábitos de vida, (en un caso real se considerarían cientos de factores pero para el caso es lo mismo), y llagamos a la conclusión que
Vida media = a (años de vida del padre) +b (años de vida de la madre), + c(altura )+ d (peso)
Al problema es definir el valor de a , b, c, y d, Ponemos la maquina conectada con una inmensa base de datos y que haga simulaciones, (Machine learning), partiendo de coeficientes iguales para todos los casos y aumentando y disminuyendo aleatoriamente uno de ello un 10% en cada prueba. La simulación que mejores resultados obtenga sobre miles de personas fallecidas, es la que nos da los valores a, b, c,y d. mas correctos. La forma como se ha llegado a esos valores es absolutamente desconocida, y puede parecer al experto absurda, lo mas que nos puede dar es la fiabilidad, (he acertado en el 86% de los casos).
Sin embargo la forma como decide la vida media de una personas es absolutamente transparente, y si alguien quiere cuidar su vida, sabrá, si le conviene mas adelgazar o cuidar con esmeros a sus padres.
Igualmente se puede hacer para estudiar el riesgo de reincidencia de condenados o le riesgo de cobro de una hipoteca.
A mi, lo que me da miedo de lac «cajas negras» es que se suele creer que porque lo hace una máquina es imparcial, (la máquina no miente) y esto es una solemne mentira, La maquina es tan imparcial, como el que la maneja, Pongo un ejemplo, Si una noticia viene acompañada de una fotografía parece que viene «autentificada», pero la fotografía puede ser absolutamente mentirosa, El mismo conflicto social, parece diferente, si ponemos una fotografía de la policía cargando porra en mano a los manifestantes, que una fotografía de los policías detrás de sus escudos soportando estoicamente las piedras de los manifestantes.
Quien crea que un aparato es neutral, se equivoca de medio a medio. El aparato hace ,lo que al amo le conviene, el mismo aparato clava clavos, que rompe cabezas
,
Gorki, las redes neuronales no funcionan como la simpática ecuación del ejemplo que has puesto (ni valen para hacer eso), dado que si lo planteas así estás forzando a que la salida sea una combinación lineal de la entrada, lo cual es una restricción muy fuerte que muchas veces no vale para representar lo que ocurre en la realidad (complejas relaciones entre las variables de entrada y la salida).
Recomiendo ver el primer vídeo de ésta lista de reproducción (menos de 20 minutos), para hacerse una idea básica de lo que es la IA. Los demás vídeos de la lista para quien sepa algo de matemáticas y quiera profundizar. Quien siga el proceso entenderá a qué se debe que se hable de caja negra, ininteligible, falta de transparencia, etc. a pesar de conocer todas las operaciones matemáticas involucradas.
Absolutamente de acuerdo contigo, He puesto un algoritmo que es simplemente un polinomio para explicar el proceso de las Machine learning,
Pero no cambia nada si en vez de un polinomio hay integrales u otros calculos complejos como uso de determinantes, Al final lo que buscan las Machine learning son los parámetros que consiguen que los dados disponibles den los resultados conocidos en la mayor proporción posible de casos. Pero al final, conocidos esos valores, es posible efectuar los cálculos de un caso concreto, no hay nada esotérico en ese calculo, lo único «misterioso» es el sistema que ha seguido la máquina para determinar las diferentes ponderaciones, porque para llegar a ese resultado necesitamos otra caja negara que haga los mismos cálculos y ni siquiera es seguro que se lleguen a los mismos, pues como los cambios son aleatorios. nada asegura que la segunda máquina, no encuentren otros factores que den también una buena cantidad de aciertos u y aunque sean diferentes y la máquina de por buenos esos datos.
Concuerdo contigo que ese calculo puede ser muy engorroso, porque este plagado de fórmulas estadísticas, pero definidos los parámetros se pueden efectuar. no son misteriosos.
Sin embargo lo que me da mas miedo, es la creencia generalizada que las máquinas son «asepticas e imparciales» porque ese es el mayor peligro, las máquinas no son «imparciales», Cabe hacer un uso imparcial de una máquina, pero cabe no hacer tal uso, o incluso pensar que se hace un uso imparcial pero que venga sesgado por las creencias de quien la ha construido.
Pongo por caso los test de medición de de inteligencia, Se pensaba que eran neutros, pero se ha demostrado que favoren a los universitarios de clase media, dándoles mas CI y desfavorecen a los pobres.
La razón es que los test siempre se probaron con personas universitarias, por tanto valoraban saber lo que ellos conocían, Desconocer el sentido de conceptos que no se utilizan en clases humildes con menos formación reduce su CI, aunque no tenga nada que ver el no conocer los conceptos, con la falta de inteligencia. Se puede desconocer esos conceptos y en cambio ser listísimo.
Creo que es inadmisible que el algoritmo no sea totalmente transparente. Si un juez no argumenta una sentencia esta carece de valor. Y esa argumentación solo puede ser transparente pues de no ser así existiría indefensión.
Pero el problema es de fondo. Y se perfila desde hace tiempo; hoy pocos saben, por ejemplo, multiplicar o dividir porque las calculadoras hacen el trabajo.
Pero pronto, estaremos en manos de la IA en casi todo (hasta al poker nos ganan los algoritmos), y dejaremos de pensar por nosotros mismos, porque descubriremos que al hacerlo somos lentos y torpes. Entonces, será por eso que las máquinas tomarán el control, porque para ser competitivos necesitaremos recurrir constantemente a la IA.
No se trata, según proponen las distopías, de que las máquinas se rebelen contra el hombre, sino de que el ser humano no pueda prescindir de ellas dejando así de ser competitivo. Es por eso que obedeceremos a las máquinas, porque seremos concientes que de no hacerlo estaremos en desventaja. Y luego, cuando nos demos cuenta de lo que ocurre, que ya no podemos tomar decisiones por nosotros mismos, es posible que ya sea tarde.
Quizás. Los mercados finacieros, por ejemplo, ya están muy condicionados por los algoritmos, y la tendencia es que toda la economía se «algoritmice». Luego el periodismo, la política, la medicina, la justicia, etc.
Vuelvo a lo del principio; comenzar, cuando menos, por exigir absoluta transparencia en los algoritmos, excepto en los casos de intereses empresariales lícitos. Y no sería lícito que una empresa no hiciera transparente un instrumento con el que se va a juzgar a las personas.
Totalmente de acuerdo en que un algoritmo que sentencie ha de ser 100% transparente.
Ahora bien, eso de que nos estamos volviendo tontitos e incapaces por el uso de las máquinas me parece muy discutible. En otros tiempos, las obras de Homero se transmitían oralmente, durante siglos no hubo ninguna copia escrita, los bardos griegos se las sabían de memoria. Todo un prodigio de memoria… que ya no practicamos. Pero lo que sí sabemos hacer es crear una nueva copia de esas mismas obras, y de otras muchas, con solo pulsar un botón. Eso es ganar en capacidades, no perderlas.
¿Podríamos volver a memorizar las obras de Homero? Sin duda. ¿Y volver a hacer copias manuscritas al más puro estilo de escriba medieval? También. Incluso podríamos construir una imprenta como la de Guttemberg. Pero es mejor lo actual. Pulsas un botón y a leer. Nada de tener que esperar a que un bardo pase por tu pueblo.
Ahora bien, si quieres cultivar tus propios tomates, puedes hacerlo. Pero yo prefiero que una máquina los cultive por mí. Después ya decidiré yo qué hago con el tiempo libre. Por ejemplo, leer a Homero.
Hola Krigan. Estoy, en parte, de acuerdo contigo. Pero hoy tenemos conocimientos que antes no teníamos y podemos mejorar nuestra memoria hasta límites insospechables.
Un científico y un prodigio de la memorización te aconsejan cómo mejorar tu memoria – Helen Briggs BBC – 9 marzo 2017
«El campeón de torneos de memorización, Boris Nikolai Konrad, permitió que le escanearan su cerebro para la investigación.
No necesitas haber nacido como un prodigio para tener la memoria de uno de los campeones mundiales de competencias de memorización y el método para conseguirlo es más fácil de lo que crees.
Así lo demuestra una investigación del Centro Médico de la Universidad Radboud, en Holanda, en la que se analizó una serie de escáneres cerebrales.
Las imágenes revelaron que aunque los cerebros de los prodigios de la memoria no tienen nada de especial en lo que respecta a su anatomía, sí muestran variaciones en lo que se refiere a sus conexiones.
Incluso los neurocientíficos que llevaron a cabo el estudio fueron capaces de entrenar a las personas con técnicas de memorización para que pudieran emular a los maestros en la materia.
Los aprendices pudieron recordar listas de nombres de una sola vez y mostraron patrones de conexiones cerebrales similares a las de los campeones.» (continúa)…
http://www.bbc.com/mundo/noticias-39224981
Otra cosa, Krigan.Si nos volvemos tontos o no ya lo veremos. Pero yo creo que sí, sencillamente porque tenemos muchísima menos memoria y comparados, pensamos a muy corto plazo (eso se comprueba en el ajedrez). Para peor, un algoritmo ya sabe hasta como engañarnos…
Por eso hoy, para vencer a la máquina, solo podemos desconectarla. Pero no lo haremos, porque la necesitamos para ser competitivos.
Piensa que en Un Mundo Feliz (Aldous Huxley) nadie era consciente de vivir en un infierno.
La inteligencia artificial conquista el último tablero de los humanos. Una máquina vence por primera vez a un jugador profesional del milenario juego chino Go.
http://elpais.com/elpais/2016/01/26/ciencia/1453766578_683799.html
https://www.xataka.com/robotica-e-ia/los-algoritmos-de-verdad-saben-que-el-ajedrez-es-un-juego-de-ninos-el-desafio-es-el-go
Algoritmos ganando a mentiras (y mintiendo)… Jugando al póker (por ahora)
http://www.microsiervos.com/archivo/ordenadores/algoritmos-ganando-a-mentiras-al-poker.html
Como persona, no necesitas para nada eso de «ser competitivo». Puedes comprar por poco dinero cualquier granja en uno de esos pueblos medio abandonados cuya menguante población consiste mayormente en ancianos que ya no durarán mucho. Tendrás tierras de sobra para cultivarlas con tus manos y llevar una vida semi-medieval.
El resto por supuesto que no vamos a desconectar ninguna máquina, y menos una que trabaje para nosotros. Seguro que mi móvil es capaz de ganarme por goleada al ajedrez, pese a que juego mejor que el 90-95% de los humanos, pero mi móvil está para hacer lo que yo quiero que haga, y no al revés.
¿Viviré en un infierno sin ser consciente de ello? Lo dudo mucho. Normalmente, cuando la gente vive en un infierno sí que es dolorosamente consciente de ello.
Una vez se solucione eso de las (supuestas) cajas negras, con algoritmos 100% transparentes, será un placer ver cómo una IA juez dicta sentencia al día siguiente de ponerse la demanda, y que además lo haga a una pequeñísima fracción del coste que a los contribuyentes nos supone mantener un juzgado, y sin diferencias de criterio entre jueces, que hay veces que parece que con los jueces humanos estés jugando a la lotería.
Si eso es el Infierno, ¿dónde hay que apuntarse?
Que algunos se han vuelto ya tontos no cabe duda. La semana pasada, comprando en un mercadillo 3 pulseras a 8 euros cada una la chica tiró de calculadora 3 x 8 = 24… yo no me enteré, pero me lo contó mi mujer, porque yo estaba absorto viendo su cuaderno de contabilidad en papel donde apuntaba manualmente las ventas de pulseras y acordándome de Enrique y el machine learning :-)
La no explicación del motivo de la denegación del préstamo es algo bastante habitual desde siempre.
En España la mayoría de sentencias no son públicas por lo que será bastante difícil usar algoritmos que puedan predecir gran cosa.
Se cambiaría la subjetividad del Juez por la subjetividad de la máquina.
Desconozco por completo si los algoritmos son transparentes u opacos.
Lo que no puede ser hoy en día es que una sentencia se fundamente en algo que no es posible conocer, ya que supone indefensión.
Ahora bien: nada hay más desconocido que lo que pueda pensar un juez sobre un determinado asunto, o qué influencias pueda tener a la hora de dictar sentencia.
Después de leer tu artículo, Enrique, ya no sé qué sería mejor… Es posible que sean poco aconsejables tanto máquinas como jueces.
La clave del ‘machine learning’ no es utilizarlo en los sistemas actuales porque no puede funcionar. El ‘machine learning’ debería orientarse al autoservicio. En un modelo de autoservicio la única persona que decide es el consumidor. Toda la estructura comercial y toda la estructura de análisis la realiza una máquina. El ‘machine learning’ lo único que aporta es el servicio: ¿me pueden dar el crédito? ¿puedo conseguir rentabilidad por mi dinero? ¿me está cobrando muy caro mi proveedor por el uso que hago de sus productos/servcicios?
Lo más divertido del ‘machine learning’ es que construye servicios que funcionan solos. Por eso triunfará un modelo de negocio que agregue procesos ‘machine learning’ y ofrezca soluciones reales y prácticas.
El mejor posicionado es Amazon porque a partir del consumo que hacemos puede inferir ingresos, ofrecer rentabilidades, etc. Y Amazon no tiene estructura de personas a las que les cueste asumir que lo que dice una máquina supera su capacidad. Esto es especialmente relevante cuando el volumen de personas que gestiona es de miles. No hay estructura humana que sea tan rápida, tan eficiente y tan barata.
El reto no es el ‘machine learning’ es lo que impulsa y puede cambiar. Y creo que lo que hará es transformar la forma de consumir.
El ‘machine learning’ es lo que necesitaba Internet para hacer que seamos una auténtica sociedad digital líquida.
Siempre lo he pensado, en la justicia es donde veo mas uso de las maquinas inteligentes. Los que no somos abogados no podemos entender que un mismo hecho depende de porque quien sea juzgado.
Mientras me parece totalmente legítima la utilización de la IA como herramienta para analizar jurisprudencia, preparar defensas, gestionar cárceles (COMPAS) etc., me parece absurdo que una IA pueda ‘dictar sentencia’ o incluso influir en una sentencia, vulnera el derecho a defenderse (ante la falta de una explicación comprensible) y diría que hasta artículos de la Constitución dependiendo de cómo haya sido alimentada esa IA. Lo más parecido que tendría sentido utilizar en la justicia en mi opinión sería un sistema experto basado en reglas que conozca todas las leyes y al cual se le presentan hechos probados para que determine de manera objetiva según la ley la pena que corresponda (y seguro que sería muy polémico).
Platón fue un ejemplo adelantado de esta forma de pensar apocalíptica allá por el 370 antes de Cristo. En El Fedro ponía en boca de su maestro Sócrates la afirmación de que el lenguaje escrito producía el olvido en las mentes porque ya no practicaba lo suficiente.
Así que, después de tantos años, creo que es mejor hablar de optimización de las capacidades humanas (adaptación en cada momento a donde la tecnología no llega), que de degeneración.
Pero en todo el derecho europeo, incluido el nuestro, rige la exigencia ineludible de motivación de las resoluciones judiciales, mucho más intensa en el orden penal. Hay infinidad de sentencias del Tribunal Constitucional y del TEDH, entre muchos otros, explicando que la exigencia de motivación implica que los afectados puedan conocer, comprender y discutir las razones jurídicas concretas por las que el tribunal adopta una decisión que les afecte.
Por ello, creo que la justicia algoritmica, en nuestro ámbito, es auténtica ciencia ficción (por lo menos en los próximos 20 años, más allá, nadie sabe nada)
Hay algunas investigaciones en ese sentido, que por lo menos permitan explicar en que se basan las decisiones de la ia.
http://www.microsiervos.com/archivo/ia/inteligencia-artificial-moralidad-decisiones.html
el paper original es de noviembre de 2016
https://arxiv.org/pdf/1606.04155.pdf
Esperemos que avance. Gracias por abrir la discusion aqui :)