Enrique Dans

Un fantástico ensayo de Bruce Schneier, «The risks – and benefits – of letting algorithms judge us«, me recuerda la existencia de Sesame Credit, una iniciativa de calificación crediticia basada en métricas sociales creada por Alibaba para el mercado chino sobre la que leí un artículo en profundidad en Quartz el pasado octubre, «All Chinese citizens now have a score based on how well we live, and mine sucks«.

La iniciativa va más allá de los algoritmos dedicados a la calificación crediticia, que existen desde hace mucho tiempo en todos los países desarrollados y cuyos riesgos y problemas son bien conocidos por todos aquellos que nos hemos visto obligados a construir un historial de crédito en un país distinto al nuestro. En el caso de Sesame Credit, los ciudadanos chinos no se ven simplemente afectados por su comportamiento crediticio, el uso de tarjetas de crédito y el pago regular de los balances adeudados, sino por sus acciones y asociaciones en la red, mediante un algoritmo secreto que está dando origen a todo tipo de comentarios: se habla de posibles influencias en la calificación en función de los contactos en redes sociales (un sistema que ya patentó Facebook el pasado año y al que ya me referí anteriormente en una conferencia titulada «Cuando Facebook decide si te conceden la hipoteca«), o de cuestiones como el tipo de compras que se hacen (libros o productos considerados subversivos, por ejemplo, podrían dañar tu puntuación) o las actualizaciones que se publican en medios sociales.

Las implicaciones son importantes: en su momento, cuando llegué a los Estados Unidos, me llamó la atención la manera en la que los sistemas de evaluación de crédito me obligaban a mantener determinados patrones de gasto para mí completamente sin sentido: aunque el historial de crédito era relativamente indiferente para mí, que contaba con fondos y crédito en un país al que pretendía además volver en pocos años, mi única posibilidad de mejorar mi historial crediticio era solicitar tarjetas de crédito con límites absurdamente bajos (los únicos a los que podía optar), y hacer uso de ellas pagando sus balances puntualmente, aunque no necesitase para nada ni esas tarjetas ni su crédito. Entonces, el sistema era obviamente algorítmico, pero indudablemente poco inteligente, e incapaz de reconocer determinados patrones que pudiesen salirse de unos pocos comportamiento habituales tipificados. Aplicar reglas de ese tipo a cuestiones que vayan más allá del gasto y aplicarlo a pautas sociales, a nuestros círculos de amistades, a lo que opinamos en las redes o a nuestras compras – más allá de su importe – es obviamente un sistema que genera miedos de todo tipo, y que puede utilizarse como una forma clara de control social: no te relaciones en público con según qué personas, no digas según qué cosas, no compres según qué productos o en según qué sitios… si no quieres verte condenado a una especie de ostracismo social en el que no solo no tienes acceso a crédito, sino que te arriesgas a que otros, desde potenciales empleadores hasta parejas, te juzguen, evalúen y eventualmente penalicen en función de tu puntuación.

La problemática resulta aún más compleja cuando añadimos la progresiva aparición de más y más algoritmos que clasifican nuestra vida en los aspectos más insospechados: una aplicación de dating, Blinq, utiliza un algoritmo de inteligencia artificial para evaluar la edad y el nivel de atractivo de sus usuarios en función de la fotografía que incluyen en su perfil. Aunque el sistema parece más una manera de incentivar la prueba y la captación de usuarios intrigados por el número que les asigna (dos millones de visitantes únicos en dos días), la compañía afirma que pretende utilizar esas métricas en el funcionamiento del sitio, lo que lleva a que una foto decida hasta qué punto tienes o no oportunidades de conseguir una pareja determinada… en el fondo, nada que no ocurriese cuando salías a la calle y te veían la cara, aunque ahora afectado por las características de una fotografía y por un algoritmo de inteligencia artificial. En el mismo sentido, Tinder trabaja con un «Elo score», una métrica de cómo de deseable es un usuario, que utiliza no solo factores derivados de la fotografía y el perfil, o del éxito obtenido, sino una amplia variedad de elementos adicionales.

De nuevo, resulta fácil imaginar elementos que, incluso en este aspecto vinculado con las relaciones personales, inviten a pensar en una cierta tendencia a la homogenización de los gustos, al establecimiento de patrones de atractivo o a la marginación de los que no los cumplen. Y de nuevo, la pregunta vuelve a ser la misma: ¿hablamos de algo generado por el uso de la inteligencia artificial, o de algo que ya estaba allí y que los algoritmos simplemente reflejan? Es decir, siguiendo este ejemplo: ¿es una persona con una puntuación elevada en Tinder también una persona que haría alzar la mirada a cualquiera cuando pasa por la calle, mientras esa misma mirada se mantendría indiferente ante alguien con una puntuación baja? ¿Es el algoritmo simplemente un reflejo de comportamientos humanos subyacentes, o aporta elementos de su propia cosecha que escapaban a los humanos? ¿Estamos mejor sometidos a la relatividad y la serendipia de los humanos, o preferimos contar con un elemento de certeza, con la puntuación generada por una máquina?

Obviamente, lo que en el caso de las aplicaciones de dating puede aparecer rodeado de cierto halo de frivolidad, pasa a tener unas connotaciones e implicaciones muy diferentes cuando hablamos de calificación crediticia, y aún más si a esa calificación se anclan factores como el prestigio social. En el caso de China, las dos cuestiones incluso llegan a conectarse: una persona con una puntuación más alta en Sesame Credit puede fácilmente pasar a tener por ello una consideración mejor a la hora de ser evaluado como una pareja potencial. El papel de China como escenario de futuro no escapa a nadie: una sociedad relativamente joven en su configuración actual, con patrones sociales aún flexibles y en rápida evolución, y un gobierno con un poder omnímodo y un interés por la monitorización que resultaría imposible en países con tradición democrática.

De una manera o de otra, y no solo en China, nos dirigimos a una sociedad en la que cada vez más elementos en nuestra vida van a ser evaluados mediante un algoritmo. Sea por escala, por conveniencia, por eliminación de sesgos e influencias humanas o como referencia, veo claro que nos dirigimos hacia un futuro en el que las máquinas serán las que evalúen cada vez más aspectos. Donde antes había un comité con una cierta experiencia que valoraba nuestro riesgo – y que adolecía de problemas evidentes a la hora de evaluar, o que podía tener sesgos en función de a quién conocíamos – ahora habrá una máquina que ofrecerá un número, y ese número decidirá si sí, si no, y cuánto. Donde antes estaban tus amigas o amigos diciéndote lo guapa o guapo que estabas esa noche, pronto habrá un espejo con webcam en el que te mires antes de salir de casa y te devuelva una puntuación.

¿Bueno? ¿Malo? Si un algoritmo es susceptible de ser diseñado y construido, lo será, es inevitable, y por lo que sé de algoritmos y de personas, terminará tomando decisiones mejor que una persona. Sí, va a ocurrir. La cuestión es que ocurra con los elementos de control adecuados, y que su uso se tamice de alguna manera con las precauciones adecuadas. La siguiente pregunta, claro, es qué precauciones y cómo se toman. ¿Es suficiente con hablar de una transparencia que, aplicada a algoritmos de inteligencia artificial, se convierte en prácticamente imposible de monitorizar? ¿Con regular el tipo de variables que alimentan al algoritmo? ¿Con mantener sistemas de supervisión? Francamente, no lo tengo claro. Y como en todos estos temas, no podemos reducirlos a un simplista «me gusta» o un «no me gusta», a un «algoritmos sí» o «algoritmos no»: es mucho más complejo que todo eso. Es momento de ir pensando en ello.

This article is also available in English in my Medium page, “Will algorithms rule our lives, or do they already?»