El gobernador del estado de California, Jerry Brown, ha aprobado una ley que, a partir de octubre de 2019, eliminará el pago de fianza en los tribunales, y recurrirá en su lugar a algoritmos que estimarán el riesgo de fuga o de cometer delitos adicionales en caso de ser puestos en libertad. El algoritmo, que los diferentes condados tendrán obligación de obtener bien a través de algún proveedor o mediante desarrollo propio, calificará ese riesgo como bajo, medio o elevado y, en función de la calificación obtenida, el juez decidirá poner al presunto delincuente en libertad o mantenerlo en custodia.
La eliminación de la fianza en forma de pago monetario se considera, como tal, un éxito para los defensores de los derechos civiles, que afirmaban que esa práctica era discriminatoria y daba lugar a una justicia diferente para ricos y pobres, en la que el hecho de no tener recursos económicos conllevaba una condena al paso por prisión que, en muchos casos, se convertía en parte del problema. En palabras de Brown,
«Today, California reforms its bail system so that rich and poor alike are treated fairly»
(«Hoy, California reforma su sistema de libertad bajo fianza para que tanto ricos como pobres reciban un trato justo»)
Sin embargo, la satisfacción de los defensores de los derechos civiles no es completa: no son pocos los temas, y particularmente aquellos relacionados con la justicia, en los que los algoritmos, alimentados con datos obtenidos del propio sistema de justicia, han mostrado sesgos que tienden a perjudicar a las personas en función de su raza o de su estatus socioeconómico. No hay nada que convierta a un algoritmo, por el hecho de serlo, en algo intrínsecamente neutral: de hecho, los algoritmos construyen sus sesgos a partir de los datos con los que son alimentados, lo que incrementa el riesgo de perpetuar sesgos que, en muchos casos, ya existían anteriormente.
Por otro lado, muchos algoritmos son definidos como propietarios para proteger la propiedad intelectual de las compañías que los desarrollan, lo que genera la aparición de cajas negras contra las que resulta difícil plantear una argumentación de defensa. Esta cuestión se puso ya de manifiesto con el uso de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo desarrollado por Equivant para estimar el riesgo de reincidencia de los convictos y ayudar a los jueces a tomar decisiones sobre la extensión de sus penas. Una decisión tomada por ese algoritmo fue objeto de apelación en el caso Loomis v. Wisconsin, en el que el acusado alegó que el uso de dicho algoritmo en el cálculo de su sentencia, un veredicto de seis años de cárcel, violaba sus derechos porque evitaba que impugnase la validez científica y la precisión de la prueba al desconocer el funcionamiento del algoritmo, y porque éste tenía además en cuenta variables como el género y la raza del acusado.
La legislación aprobada por el estado de California establece un período de revisión para el funcionamiento del sistema algorítmico que culminará en 2023 tras cuatro años de funcionamiento y generación de datos, momento en el que se examinará el conjunto de decisiones tomadas mediante su uso y se tratarán de determinar los posibles efectos producidos. La llegada de los sistemas basados en algoritmos a los sistemas judiciales puede suponer un alivio importantísimo para la carga de trabajo de los tribunales, particularmente en la instrucción de muchos casos considerados habitualmente como rutinarios que podría ser realizada de manera razonablemente automatizada en sus primeras fases, con la adecuada supervisión. Sin embargo, todo indica que uno de los factores fundamentales debería ser la existencia de un requisito de transparencia que permitiese a todas las partes implicadas conocer de forma transparente el funcionamiento de esos algoritmos, las variables y los pesos empleados para la determinación de los resultados, además de asegurar que los datos utilizados para entrenar a esos algoritmos no contienen, como tales, factores que determinen la aparición de sesgos no justificados. Una tarea que no parece sencilla, pero cuyos resultados podrían ser importantísimos de cara a resolver el problema del colapso de la justicia, el protagonista de esa otra máxima que dice «justicia retrasada es justicia denegada«.
¿Cómo evolucionará el sistema aprobado por el estado de California? ¿Puede llegar a suponer una ventaja en términos de justicia y equidad con respecto al sistema anterior? ¿Qué discusiones vamos a mantener a partir del momento en que más y más algoritmos entran en nuestros sistemas judiciales?
This post is also available in English in my Medium page, “Justice and algorithms: California and bail»
Hablando de sesgos en Justicia: en el libro Pensar rápido, pensar despacio, de Daniel Kahneman, se citan varios estudios que mostraron la enorme influencia de ciertos estímulos previos a la hora de fijar duración e importe de fianzas para libertad provisional por parte de jueces.
No deja de resultar curioso ese «requisito de transparencia que permitiese a todas las partes implicadas conocer de forma transparente el funcionamiento de esos algoritmos, las variables y los pesos empleados para la determinación de los resultados», cuando hasta ahora se ha dependido de la subjetividad del juez dentro de su margen de discrecionalidad sin que nadie pudiera conocer el funcionamiento de su «algoritmo» cerebral.
Lo increíble de este sistema es que los algoritmos muchas veces perpetúan lo que es vox pópuli. Si hay un porcentaje de más elevando de criminalidad de parte de inmigrantes o grupos aislados que de «nativos».
Hacer discriminación positiva tampoco funcionará. Ahora, si lo que quieren evitar es riesgo de fuga… Pues los blancos ricos tienen mayor riesgo que los negros pobres, eso es así.
Pero las cajas negras no son transparentes y no ofrecen garantías. Pero un sistema abierto también se presta a manipulación.
No sé cual es la solución. Retirada de pasaportes y carné de conducir sería lo suyo, Puigdemonts aparte
Siempre se han utilizado ‘algoritmos’ para decidir la puesta en libertad hasta el juicio; son los criterios que aplican y usan cotidianamente los jueces para determinar la conveniencia o no de la prisión preventiva
Esa valoración de los elementos que determinan la prisión preventiva, se estiman por el juez de forma natural y análoga a como lo hará cualquier procedimiento de scoring. Ese scoring o valoración de riesgo, no difiere en absoluto de las normas que se aplican en la actualidad, y no toma ninguna decisión, sino que sirve como herramienta para establecer un criterio común en la valoración del riesgo de fuga o reincidencia.
Se puede hacer una lista en un papel con todos los elementos que toma en consideración de forma rutinaria un juez para evaluar la aplicación de la prisión preventiva o no.
Son los mismos criterios que utilizará cualquier algoritmo para hacer una valoración.
En Europa las fianzas se depositan para afrontar el perjuicio punible o responsabilidad penal, no para ‘comprar’ la libertad o establecer una barrera económica ante el riesgo de fuga, para eso existe el embargo o las medidas cautelares.
No puede ponerse una fianza por encima de esa estimación previa del juez. No existe la Tort Law de EE.UU.
En medicina, por ejemplo, las valoraciones en las unidades de cuidados intensivos para decidir mantener conectado a un paciente terminal a una maquina o administrar la medicación paliativa se toman también con la asistencia de un algoritmo, el
APACHE II, desde los años 90.
Parece que nadie se ha dado cuenta hasta hasta ahora. Ni siquiera en casos sonados en los medios de comunicación. Son los algoritmos «quienes deciden» en las UCI. Desde hace lustros.
Se está creando una especie de fobia y temor a la palabra «algoritmo» debida a la ignorancia y falta de formación acerca de lo que esa palabra significa, propagando una percepción distorsionada de esos conceptos y atribuyendole connotaciones casi mágicas, de la misma forma que sucedió con las vacunas.
Es impresionante la absoluta ignorancia y todo el velo de temor que está generándose en torno a ese desconocimiento sobre nuevas palabras de uso cotidiano,
"buzzwords"tan carentes de literalidad en su contenido como «Inteligencia artificial» o «Aprendizaje automático»No. No existe Skynet, ni Terminator, como no existían los OVNIS en los años 70-80.
Lo del ludismo cuñado y la ignorancia ilustrada ya está tomando un tinte realmente preocupante. Sí, el Taxímetro también aplica un ‘algoritmo’. Lo suelen trucar, pero todavía no se ha rebelado.
Los «algoritmos con oscuras motivaciones y que nadie conoce como funcionan» se han convertido en el mantra del nuevo miedo a volar.
Y sí, los aviones también funcionan con algoritmos, que casi nadie conoce, Bernoulli, y sin ir más lejos. Y míralos, ahí están, haciendo rutas. Los aviones no tienen motivaciones, ni sesgos.
Usar la palabra algoritmo como sinónimo de amenaza o «inteligencia oculta» se ha convertido en la nueva muestra de ignorancia de nuestro tiempo.
A saber que tipo de drogas de estarán relacionadas con esta nueva psicosis colectiva.
– –
Pues si, y no. La premisa básica del algoritmo es que siempre, frente a los mismos imputs, tendré los mismos resultados. Y, en realidad, la valoración que haga un Juez hoy, no es un algoritmo. Pueso que, frente a dos casos objetivamente iguales, puede pautar resultados diferentes. Sea por su experiencia previa, por el contexto, porque se levantó y no tomó su desayuno… vaya a saber.
No sé si es mejor o peor. Son diferentes.
Solo es apariencia. Para quien no conoce los bastidores del razonamiento jurídico, abogados incluidos, desde siempre ha sido más opaco el proceso de valoración que realiza un juez y la ponderación de esos criterios tasados y conocidos.
Solo se le exige una exposición razonada en la sentencia.
(sin excesos y para qué vamos a entrar en sayos a medida. palilleros hay en todas partes)
Sucede lo mismo con los juicios clínicos de los médicos, se libra todo a la lex artis y todo el ‘algoritmo’ de la toma de decisiones clínica queda oculto hasta que no lo examina otro profesional, que reconstruye desde los datos el procedimiento seguido.
Un scoring puede ser tenido en cuenta o ser enmendado, de eso se trata la seguridad jurídica y las garantías procesales.
Algoritmo no es sinónimo de «programa».
Inevitablemente, los algoritmos son programados por una/s persona/s, y esa/s persona/s inevitablemente, introduce sus sesgos y prejuicios. Lo peor del asunto es que mientras un juez esta enseñado y preparado para superar sus propios prejuicios, el/los programador/es de los algoritmos enseñado/s y preparado/s únicamente para programar.
Estoy totalmente de acuerdo con el comentario de Menestro, siempre ha habido un algoritmo, ya desde Averroes, en este caso para denegar/otorgar a alguien la libertad condicional… ufff la cosa se pone tensa… Más o menos como este, mezclando paises:
if ( acusado = «duque consorte»):
then flag=1
else if ( acusado = «negro» )
then flag = 0 and agravante = 1
end if
Si ahora la libertad condicional depende de un algoritmo basado en IA, al menos que sea transparente y reproducible, i.e. que las variables de entrada y los datos de entrenamiento sean públicos, así como el algoritmo eleegido para su evaluación.
¿Por qué? El sr. Dans podrá estar de acuerdo que a la hora de hacer una clasificación la salida va a depender entre otros de los factores que señalo. ¿Cierto? Salvo que me enmende, parece que si.
Pero sólo se fija en su comentario en la celeridad y no si el fallo es justo o injusto. Si el sistema judicial americano funciona(sic) preveo que las asociaciones de derechos civiles se van a hinchar a querellas…. Y si falla , luego harán la segunda parte de Erin Brockovich, y todos contentos, aunque le pille mayorcita a Julia Roberts…
PS: Felix, no me haga comentarios tan sensatos,, joer que luego no puedo polemizar con Vd. ;-))
Ja ja ja . Disculpa no era mi intencion ser sensato. Procuro dejar hilos sueltos para poder polemizar, es mi hobby. Saludos
Que el algoritmo sea publico da pie tambien a que se intenten aprovechar los sesgos del mismo. Te pongo un ejemplo:
Imagina que ese algoritmo que evalua la posibilidad de reincidencia valora tener un hijo o que las esposa del acusado esté embarazada de forma positiva para dar la libertad condicional. Ahora imagina que se hace publico. ¿Acaso no se pondrán todos los delincuentes de una zona a reproducirse como conejos? El resultado puede ser que haya muchas familias que no puedan mantener a sus hijos, los problemas derivados de tener hijos no deseados, niños abandonados por tener a sus padres en la carcel…
El que es sesgado puro es el que ponía de coña;-)
Lo que van a estar sesgados en IA son los datos !!. Imaginemos que tenemos que hacer una clasificación (como en el dataset de los lirios), el algoritmo podrá ser lineal, regresión, … Etc, (pero será agnóstico? En principio si.) luego el dataset «juzgar» le suminstrará los datos con los argumentos como variables, y el target que en principio será un semáforo (bajo, medio, alto) y con los dtaos de entrenamiento dará una clasificación con una precisión del 95% a lo que hubiera hecho un juez humano.
Se acabó el misterio.
¿Donde está el problemo gordo? En los datos que usas para entrenar. Pero la ML te lo hace un alumno en un ejercicio de lab de cualquier escuela de informática…
En la web de luca, tienen un ejemplo que es el helloworld de la ML…
Ahora resulta que los algoritmos ya se usaban en la escuela, pues claro, ¿pero que tiene que ver el algoritmo de la suma con un algoritmo que decida sobre la vida futura dun reo? Sobre todo si, en un futuro lejano, está en la cabeza de un terminator.
Drogas se tomaron siempre, ¿pero que tiene que ver la «medicación» más o menos natural del pasado, con la drogadicción presente y futura?
Como bien dice Gorki, el problema no está en el algoritmo. El problema está en sus diseñadores y mantenedores humanos. Que serán muy buenos ingenieros programadores, pero dudo que su cultura general llegue ni siquiera a cabo primera.
Así que el problema sigue siendo ese ser humano, tan tendente a despreciar su ADN y fortalecer su egolatría y afán de poder.
Y por cierto, es muy característico de los USA (y en general de toda la policia y judicatura, así como de internet) el típico «perdonavidas». Supongo que acabaré confiando más en un algoritmo automejorante. Seguro que se acerca más a la neutralidad, siempre que no tenga adquirido el «gen educativo» de la corrupción.
Que serán muy buenos ingenieros programadores, pero dudo que su cultura general llegue ni siquiera a cabo primera.
Bueno habrá de todo, incultos y cultos, Por ejemplo yo hasta estudié latín. en el bachillerato. algo que les asombraba a mis colegas americanos.
Definitivamente estamos a punto de perder el juicio.
O de ganarlo, El ir a un juicio va a tener mas emoción que jugar en la Rueda de la Fortuna de la Tele. Te puede salir, doble, nada, juegue otra vez, o incluso la pena de muerte, según lo que apunte la aguja del algoritmo..
Buenas tardes.-
No me parece logico que un algoritmo, IA o lo que sea decida el destino de una persona.-
Si introducimos datos y deoende de quien los intoduzca puede juzgar por desgracia y visto lo visto en EE.UU a los negros de manera discriminatoria como pasa cuando son detenidos por la policia.-
Ayuda agilizar cualquier tramite totalmente de acuerdo. Tema que deberian imponer ya en el Ministierio de Interior, para que ayudar a desatascar Justicia.
Un saludo
A mi me parecería una buena solución si el algoritmo es publico.
Si un algoritmo es publico y es revisado, aunque puede evolucionar sus datos, está claro que se aplicará igual para todos, esa es la ventaja del algoritmo, frente al juez.
Claro, ha de ser muy precisa y pública también la entrada de los parametros y los cambios en el algoritmo y sus parametros.