Mi columna de El Español de hoy se titula «Algoritmos y mala leche«, y está dedicada a Perspective, el algoritmo anunciado por Jigsaw, la incubadora de ideas de Alphabet dedicada a la aplicación de soluciones tecnológicas para luchar contra la censura, los ciberataques o el extremismo, capaz de detectar, en un hilo de comentarios en una página, cuáles contienen insultos, descalificaciones, ataques personales o, de un modo general, lenguaje tóxico.
Hablamos de un algoritmo de machine learning: comentarios recogidos de hilos de publicaciones como The Economist, The Guardian, The New York Times o Wikipedia (la experiencia con The New York Times aparece recogida en este artículo) fueron evaluados por una serie de personas mediante encuestas, y clasificados en una escala que iba desde «muy tóxico» hasta «muy saludable», con la toxicidad definida como «comentario maleducado, no respetuoso o no razonable que puede decidirte a abandonar una conversación». Lo que el algoritmo hace es tratar de reconocer esos comentarios, evaluarlos, y buscar casos similares para adscribirles una etiqueta similar en forma de porcentaje de probabilidad.
A partir de ahí, la herramienta – por el momento en inglés – se pone a disposición de quien la quiera utilizar para continuar con el entrenamiento del algoritmo. El uso que el propietario de la página desee hacer de ella es completamente abierto, desde simplemente etiquetar comentarios en función de su supuesta toxicidad para ayudar a la moderación, a directamente conectarlo con sistemas que eliminen o impidan enviar determinados comentarios en función de su contenido, y siempre con la posibilidad de retroalimentar el aprendizaje.
El algoritmo intenta solucionar uno de los problemas más antiguos vinculados a la participación en la web: el hecho de que las personas y los sistemas de moderación no son escalables. Si en esta simple página que suele publicar únicamente un artículo al día me ha costado en algunas temporadas muchísimo tiempo y esfuerzo moderar los comentarios para tratar de mantener una conversación saludable y productiva, imaginar la tarea de un periódico que pueda publicar cien veces más artículos y dedicados a temas intrínsecamente polémicos por su naturaleza como el deporte o la política es algo que excede las posibilidades de muchos medios, y que ha llevado a muchos editores a tomar decisiones que van desde el no incluir comentarios, hasta abandonar de manera prácticamente total los hilos a su suerte y permitir que se conviertan en auténticos estercoleros. El problema es importante, porque anula una de las que deberían ser las ventajas más interesantes de la web: la posibilidad de participar en foros susceptibles de enriquecer nuestra opinión o de ampliar nuestros puntos de vista.
Es pronto para saber si Perspective funcionará satisfactoriamente, o si será pasto de usuarios malintencionados que se dediquen a intentar envenenar su funcionamiento añadiendo información falsa. Por el momento, está disponible en la página para jugar a introducirle textos en inglés – funciona con algunos insultos en español, pero simplemente derivado de su dinámica de aprendizaje y de su uso relativamente popular en inglés – y ver cómo los evalúa, y puede ya ser añadido como API a páginas que quieran utilizarlo para hacer pruebas. En cualquier caso, tanto si funciona como si no, la idea de poner a un algoritmo a solucionar un problema de la naturaleza humana que las personas no hemos sido capaces de resolver con soluciones mínimamente escalables no deja de ser una paradoja y todo un elemento para la reflexión…
This post is also available in English in my Medium page, “Using machine intelligence to fix human nature»
Es un nuevo modo de censura moderna, lo que es aprobado por la mayoría pasa el filtro y lo que no, aunque esté formulado y argumentado con respeto quedará en el olvido.
Seguramente si esta herramienta hubiese sido creada a principios del s. XIX habría considerado la esclavitud de forma positiva ya que ésta era aceptada por la sociedad. El tiempo pasa y lo que antes era considerado bueno ahora no lo es.
En mi opinión es peligroso porque no permite discrepar y salirse de lo que la sociedad considera «correcto».
Yo creo que hay una diferencia entre censurar y moderar. La moderación permite expresar cualquier opinión siempre y cuando lo hagas con la debida educación y respeto.
Hablando de corregir la naturaleza humana.
Hace una hora o así, leí un comentario aquí. No recuerdo el autor, pero mencionaba el tema comparándolo con la discriminación automática a los temas u opiniones que se salgan de la norma principal.
Entendía yo respecto a ese comentario que se refiere a que no encajen al 100% con el hilo argumental principal pero que sigan siendo positivos o correctos y aporten algo aunque sea tangencialmente.
El tema que me ha llamado la atención es que lo he leído, osea que ha pasado el filtro de la moderación previa que siempre aparece siempre cuando escribes un comentario.
Lo que me lleva a dudar de que ha pasado.
– 1 ¿Se ha aplicado algún filtro posterior para corregir la naturaleza humana? como menciona el articulo.
– 2 ¿El propio autor lo ha borrado (no se como) por decisión propia?
– 3 ¿Me estoy volviendo loco y lo he imaginado?
PD: Duda Segunda: ¿Le pasará lo mismo a mi articulo porque pueda suponer un desvío en el rumbo principal del articulo?
Me contesto a mi mismo.
Al publicar mi comentario. He visto volver a surgir el comentario anterior.
Al final habrá sido algún tipo de error en la cache del navegador o problema similar.
(Nota: Borra este comentario y el anterior si lo consideras oportuno porque ya carece de sentido)
Hasta lo que sé, en esta páginan se censuran comentarios por parte del blog. Se admiten comentarios digamos afines a la linea editorial, aunque sean poco edificantes. Por ejemplo está de moda llamar troll a las personas que no siguen la linea oficial.Y no existe la posibilidad de borrar los posts, de una manera automática, simplemente usando los mismos medios que para publicarlos.
Discrepo en general lo de censura encubierta, está muy claramente definida. Por cierto mi ultimo post en este blog. Espero que borren todos los anteriores a mi y a los censurados que ya no salen. Si se expulsa a una persona, por favor borren todos sus comentarios y no los mantengan. Si no son dignos no lo son tampoco los comentarios digamos tolerados.
Hasta donde tú sabes, sabes mal. Mi intervención como censor es mínima, se reduce a eliminar uno o dos comentarios por semana como muchísimo, y hay semanas en las que simplemente no elimino nada. Los comentarios que elimino – spam aparte, que la inmensa mayoría es detenido por Akismet – suelen ser claramente insultantes hacia mí o hacia otro comentarista, o bien me acusan de «estar vendido a esto o a aquello» obviamente sin ningún tipo de pruebas (sin ningún tipo de pruebas porque no puede haberlas, claro). Si te he borrado alguna vez un comentario, revísalo bien: o insultabas, o acusabas de cosas que me resultan insultantes sin ningún tipo de prueba, o algo por el estilo. Fuera de eso, he expulsado de la página a tres personas en catorce años, y por una buena razón: se habían vuelto tan hipercríticos que lo criticaban todo, hasta cuando decía «buenos días», y estropeaban toda la dinámica conversacional, era como si utilizasen la página como una forma de terapia. Puedo admitir estar equivocado en ocasiones, lo que no admito es que se participe en todas las entradas y en todas se critique lo que digo, sea lo que sea, y en términos generalmente ácidos. Aparte de eso, no hay más, y por supuesto, no elimino ideas que vayan en contra de ninguna línea, como prueba el hecho de que en todas las entradas suele haber comentarios en todos los sentidos. No te hagas fantasías. Y si quieres irte, ya sabes donde está la puerta, pero los comentarios anteriores se quedan, porque en muchos casos son parte de hilos que perderían el sentido si los eliminase, y porque tendría que borrarlos manualmente, y no pienso invertir el tiempo necesario para ello…
Veremos si la IA funciona adecuadamente para esto. Si Google consigue que funcione tan bien como su detector de spam en el correo electrónico será una buena noticia (a mi me funciona muy bien, y hace años me cambié de proveedor de correo solo por este motivo). Lo que he visto en foros en periódicos es que la gente emplea burdos trucos con caracteres adicionales para meter los insultos, y al parecer engañan a la máquina porque son publicados.
Por otro lado, existen foros donde la moderación, al menos en parte, se hace por personas y sí escalan, mediante el uso de puntuaciones y voluntarios. Yo soy voluntario en un pequeño foro de programación de los muchos que tiene Microsoft, que solo me permite borrar comentarios o moverlos a otro foro, pero el más usado es stackoverflow.com donde los voluntarios se encargan no solo de eliminar comportamientos incorrectos sino de decidir lo que se consideran buenas preguntas y buenas respuestas (¡y editarlas para que lo sean!), porque el foro no pretende realmente ser un foro, sino un repositorio universal de problemas y soluciones. Con los programadores no suele haber mal comportamiento (salvo que se entre en las guerras religiosas de los lenguajes de programación), pero aquí hablamos de temas políticos, económicos, etc. que llevan a muchas personas, carentes de educación y respeto, a sacar lo peor de sí mismas.
Tengo que reconocer que venía preparado para disparar ¿eh?, pero la última reflexión de todas cuanto haces es precisamente lo que pienso.
En los últimos casi 20 años he oído lo de «es imposible ponerle puertas al campo» en casos variados pero muy concretos que todos podemos imaginar. Sin embargo, este me parece un caso más.
¿Una inteligencia artificial que deje a un lado los considerables hábitos poco deseables a la hora de llevar una conversación? Suena perfecto en teoría.
Yo, siempre reiterativo en lo mismo, creo que esto es un atajo de mierda, lo siento. Si estamos edificando una sociedad preocupada en tener mejores móviles que el compañero de al lado, preocupados por defender la marca de una empresa que poco o nada está interesada a titulo individual en sus clientes (seamos realistas), que adquiere productos que sinceramente no necesita…
Es normal que la gente esté enfadada, frustrada, se aburra y hasta sea mal educada. Porque entre tanta buen nivel de vida que tenemos, se nos olvidan cosas básicas como trabajar en algo en lo que estemos a gusto o queramos, dedicar más tiempo a cosas realmente importantes y menos a la pantalla del móvil perdiendo el tiempo en «cualquier cosa» y promover cosas de valor y no vídeos de la última desgracia provocada por desgraciados.
Valores, que no se tienen y que no se alimentan y tiene que venir una máquina a decirnos cómo debemos de tenerlos si queremos participar porque sino, nos quedamos fuera. Patético.
El titular de la entrada resulta curioso. ¿Arreglando la naturaleza? La naturaleza por si misma tiene sabiduría suprema, no hay que mejorarla ni cambiarla. ¿La humana? ah…. ¿no habremos perdido contacto con nuestro lado natural? Quizás vayan por ahí las cosas.
Totalmente de acuerdo.
Creía que era hijo único y tengo montones de Grandes Hermanos.
Censura y moderción, mala y buena educación… los términos abstractos se nos atragantan… son muy difíciles de delimitar…
Si un vecino se pone a mear en un rincón del patio, a que viene hablar de libertad de expresión (gestual) para defender al meador/a… no será que lo politicamente correcto nos lleva a confundir la cochinada de vivir en la mierda con la libertad de vivir en la mierda? No hablamos de moscas, claro!
Excelente artículo Enrique. Me voy a convertir en lector asiduo de tu blog.
Saludos.
Yo lo primero, le preguntaría al moderador de la pagina de Facebook de El Confidencialpara saber como se las ingenia. los comentarios de noticias que he leído son siempre «ordenados» No parece haber disonancia. No me he encontrado con trifulcas mas razonables que las propias de nuestro carácter y habría que ver que criterios y/o parámetros utilizan para retroalimentar al algoritmo partiendo de alguien que lo consigue hacer bien…
De José Antonio Millán – @librosybitios en Twitter «Acabaremos como en una novela de Lem: inteligencia artificial luchando contra bots que escriben comentarios»
Me parece que Perspective va a tener que mejorar mucho. Le he puesto este comentario (sin comillas):
«Romeo must die.»
Y lo ha calificado de un 82% tóxico. Pero es solo el título de una peli de acción.
Imaginad si a alguien se le ocurre citar una frase de una peli de Tarantino. Así que ya saben…
…no empecemos a chuparnos las pollas todavía.
Muuy bueno el comentario !!!! :-D :-D Tienes toda la razón. Esta tecnología está igual en mantillas un poco aún… Ni yo lo habría expresado mejor. Tendremos que estar «un tiempito»….largo…echándole buena cosa de machine learning hasta que funcione bien ¿no? :-D
Práctico y directo. No se puede ser más efectivo… h usando una de mis escenas favorigas de Tarantino! ;-)
Pienso que las personas que gestionan cualquier web, están sobradamente capacitadas para hacer una moderación razonable y equilibrada en todo tipo de situaciones, pero dado que las situaciones malintecionadas pueden ser y son «cambiantes»..y que los contenidos publicados quedan expuestos en la nube de forma permanente, esto nos lleva a que de forma teórica, los gestores de páginas tendrían que hacer, en teoría de «vigilantes» las 24 horas..
Y eso no es justo, solo por el hecho de que aunque la mayoría tenemos un dominio propio y un autocontrol razonables, en grandes grupos humanos, ( y más población que vamos a ser cada vez..) , pues en grupos…siempre va a aparecer un individuo..o unos pocos…que a poco «tocadita» que traigan la manzana..pues van a estropear a las demás manzanas sanas que hay alrededor..Eso es así, es una posible deriva de la «dinámica de grupos»..y es naturaleza humana..por supuesto que se trata de una naturaleza humana imperfecta…
Hay que hacer autocrítica: tenemos muchos defectos..yo probablemente también…Pero mientras todos «aprendemos» habilidades sociales, y limamos defectos..no es justo lo que hay que gestionar…y lo que hay que aguantar a veces. Que los gestores de páginas también son seres humanos, si hay que limpiar, moderar, y cuidar las 24hrs..Me parece..absolutamente razonable..y hasta muy conveniente..que aparezcan este tipo de herramientas como Perspective. A mí me parecen muy válidas, y dado el agitado universo de sucesos en el que nos encontramos inmersos hoy en día..me parecen un tipo de herramientas que deben ser apoyadas y potenciadas. Lo digo sinceramente. Quiero manifestar mi total confianza en los algoritmos. Podremos tener algún tropiezo, pero si no dejamos de caminar podemos llegar lejos..muy lejos…
La idea: La tecnología ya me cepilla los dientes, me lava la vajilla, me hace la colada, controla la temperatura de mi hogar, me trae señales y programas de TV, me sugiere canciones MP3 de mi agrado, me «localiza» por GPS para que no me pierda, me «ordena» la vida en casa, .me hace ser más productivo en el trabajo…Y seguiría la lista :-);-) Imagínate: Si a estas alturas alguien puede estar «inquieto» o «incómodo» por el hecho de una Inteligencia Artificial te acompañe o te modere en una charla online..no tiene sentido…¡Es como estar «incómodo» porque te acompaña tu mejor amiga !!! ;-) ;-) ;-)
¿naturaleza humana?
Me sorprende que en todo el artículo no se mencione la palabra educación.
El problema de fondo no es que nuestra naturaleza sea ser ‘malos’, el problema es que hay personas educadas y personas mal educadas.
Y un algoritmo no va a educarlas ni, por dios, a decidir quien lo es y quien no. Gastad el dinero en ello pero lo estaréis tirando….o algo peor, montando una maquinaria de censura encubierta.
En su último párrafo, define exactamente mi pensar… qué pena no ser capaces de autocorregirnos y no ser tan soeces y que sean las maquinas las que «nos eduquen». Por cierto: ¿ para cuándo estará disponible el algoritmo en tele5 ?