Cada vez son más los casos en los que las mal llamadas «alucinaciones» de algoritmos generativos como ChatGPT, provocan casos suficientemente provocativos como para, como mínimo, reflexionar sobre el tema, y en algunos casos, para directamente generar responsabilidades legales.
Eso es lo que ha pensado Max Schrems, el abogado y activista austríaco que ha puesto en jaque ya en varias ocasiones a compañías norteamericanas y a los mismísimos acuerdos de intercambio de datos con los Estados Unidos (diciendo algo tan razonable como que un país en el que existe una NSA no puede garantizar en ningún caso los derechos de nadie), y que ha demandado a OpenAI por inventarse información falsa sobre sus usuarios, algo que OpenAI ha admitido claramente que no puede corregir y que tiene muchas posibilidades, a pesar de ser en muchos casos información inventada, de vulnerar la privacidad.
La circunstancia es, como mínimo, curiosa: ¿puede vulnerar tu privacidad que alguien se invente algo sobre ti? Podría, obviamente, suponer una difamación, como en el caso del profesor que se encontró con que ChatGPT decía que había sido protagonista de un escándalo de acoso sexual, pero… ¿una infracción de la privacidad?
La respuesta requiere una cierta reflexión. Yo mismo me he encontrado con muchos casos: ChatGPT, por ejemplo, me ha casado con la mujer del fundador de mi compañía, y Perplexity me ha dejado absolutamente perplejo cuando se ha inventado cómo conocí a mi mujer a través de un mensaje de Twitter o me ha atribuido hasta tres hijos cuando solo he tenido una hija. Para mí no son más que situaciones divertidas que terminan convertidas en chistes que uso en mis clases y conferencias, pero ¿qué pasa cuando eres un abogado que es sancionado porque el algoritmo se inventó varios casos en los que basaste tu defensa, por ejemplo? Que sí, que todos sabemos que los algoritmos generativos te ahorran tiempo en la creación pero te lo incrementan en la supervisión, y que por tanto, no llevar a cabo correctamente esa supervisión es irresponsable. Pero al final, hablamos de información incorrecta, proporcionada en función de correlaciones absurdas, y sobre la cual OpenAI simplemente pretende justificarse con un simple pie de página genérico que dice «ChatGPT can make mistakes. Consider checking important information».
¿Es eso suficiente? Si tu herramienta es susceptible de inventarse auténticas barbaridades sobre cualquiera y de redactarlas de manera perfectamente creíble, ¿no puede convertirse en una amenaza, o generar responsabilidades? ¿Y qué puede hacerse frente a algo así, a una serie de procedimientos estadísticos complejos que establecen relaciones muchas veces inexistentes y que la compañíqa que lo comercializa afirma no poder controlar?
A la pregunta de «¿Qué responsabilidad tiene un algoritmo generativo sobre los datos que se inventa acerca de una persona?», la respuesta de ChatGPT, a quien en esta ocasión es muy razonable preguntárselo, dice lo siguiente:
Un algoritmo generativo, como aquellos utilizados en modelos de inteligencia artificial para crear contenido, no tiene «responsabilidad» en el sentido humano o legal, porque es simplemente una herramienta tecnológica operada por humanos. Sin embargo, los desarrolladores y usuarios de estos algoritmos tienen la responsabilidad ética y, en algunos casos, legal, de asegurarse de que el contenido generado no infrinja derechos como la privacidad y la reputación de las personas. Esto implica implementar medidas de seguridad y control para evitar la generación de información falsa o difamatoria sobre individuos. Además, es crucial que existan claras políticas de uso y mecanismos para rectificar cualquier error que los algoritmos puedan generar.
Unas políticas de uso y mecanismos que la propia OpenAI admite no tener, lo que la situaría en el terreno de la irresponsabilidad. Pero por otro lado… ¿estaríamos dispuestos a renunciar a la potencial productividad que pueden aportarnos las herramientas generativas por unas cuantas informaciones erróneas sobre algunas personas?
Porque realmente, ¿cómo de habitual es que los algoritmos generativos se inventen cosas? Pues ocurre que es bastante habitual, que los chatbots «alucinan» mucho más de lo que algunos creen: concretamente, entre un 3% y un 27%. Y claro, con esas cifras ya estamos más lejos de verlo como un problema puntual, y se convierte en algo que sí parece susceptible de generar algún tipo de responsabilidades para quien comercializa esa herramienta.
El sueño de la razón produce monstruos. Los algoritmos no sueñan, pero encuentran correlaciones muchas veces minúsculas, que utilizan para construir razonamientos supuestamente impecables que, en realidad, pueden ser auténticas barbaridades, que implican en muchas ocasiones a personas reales y que son susceptibles de generar todo tipo de situaciones complejas. ¿Deberíamos exigir a las compañías que los desarrollan que buscasen formas de poner ese tipo de respuestas bajo control?
This article is also available in English on my Medium page, «Generative algorithms and the sleep of reason«
Dices que alucinan entre un 3% y un 27%. Si el valor real es cercano al 27% ya es una de cada cuatro veces lo cual es excesivo y deberían solucionarlo de inmediato. Si es muy cercano al 3% se puede considerar que la tecnología está inmadura y puede aceptarse.
He estado la semana pasada pidiendole a OpenAI que me explique los colores de las banderas en algunos países.
Lo interesante es que Trinidad y Tobago me decía que tenía una estrella amarilla que simbolizaba el sol y el calor tropical, cosa incierta porque no hay estrellas en esa bandera. En una de un país del sur de áfrica (creo Tanzania) me dijo que el rojo (!!!) representaba la sangre los nativos que se quitaron de encima el yugo colonial.
Y así varios. Para mí en banderas está como al 15-20% de tasa de error: Un 10% que se equivoca y agrega elementos que no están y un 5% que se inventa los colores de los que está hecha la bandera. El 5% restante es cuando no sabe la respuesta (porque nadie la sabe, ni los de FOTW) y se la inventa
No sé si alucina, pero se pasó tres pueblos de hortera. De solo leer ese párrafo ese me dio diabetes tipo 2.
Hay situaciones en que la IA tiende a «alucinar» más que en otras y es ahí cuando hay que ser más cuidadosos con la información que ofrece:
-Información de nicho o muy especializada
-Detalles sobre eventos, sobre todo si son recientes.
-Solicitudes de datos específicos y precisos
-Respuestas a hipótesis o escenarios ficticios
-Preguntas sobre opiniones personales o sentimientos
«La respuesta requiere una cierta reflexión. Yo mismo me he encontrado con muchos casos: ChatGPT, por ejemplo, me ha casado con la mujer del fundador de mi compañía, y Perplexity me ha dejado absolutamente perplejo cuando se ha inventado cómo conocí a mi mujer a través de un mensaje de Twitter o me ha atribuido hasta tres hijos cuando solo he tenido una hija.»
A medida que iba leyendo, recordaba esas anécdotas que, debo decirlo, forman parte de mis baterías de pruebas y no solo ChatGPT (el primero) cayó en el engaño. Menos mal que tu lo has dicho.
A la pregunta que creo, ensalza el articulo: “¿Que alucine, es intromisión en mi privacidad?”, La respuesta es SI rotundo. Si te están atribuyendo (o quitando méritos), por supuesto que es una intromisión de privacidad. Al fin y al cabo, esta hablando de tu vida privada, y muy importante, sin tu permiso y sin contrastación.
La frase para mi es demoledora en este sentido: ” Unas políticas de uso y mecanismos que la propia OpenAI admite no tener, lo que la situaría en el terreno de la irresponsabilidad”
Pues si no tienes control sobre eso, no lo pongas en el mercado. Porque hoy, puede decir que eDans tiene 7 esposas y siete gatos…
Y si mañana dice que es narcotraficante y que tiene negocios con los tratantes de blancas del golfo pérsico? ¿También sería una “anécdota”, un chiste?
Como dice Rodrigo… un 27% es una de cada cuatro…
Da o no que pensar?
No hay nada como la verificación de datos o los ojos en blanco de un experto.
–
El mayor logro LGTBI desde que mili hernandez solto la mesa de billar, loado sea dios.
Gorki, debes estar encantado. ChatGPT hace por ti lo que tu haces en Google: Dar datos falsos a mansalva para confundir el algoritmo. Aquí se confunde él solito.
Es como un mentiroso al que pillan con la mentira y se desdice y acaba inventando más aun
No hay diferencia, no… XDDDD
¿Y no se supone que ChatGPT y similares son sencillamente «loros estocásticos» y que, por lo tanto, no se les puede atribuir responsabilidad ya que, al igual que un loro de verdad, no saben realmente lo que están diciendo?
Ahora bien, si un loro de verdad llegara a la casa de Enrique y empezara a gritar «¡Enrique Dans tiene tres hijos!, ¡Enrique Dans tiene tres hijos!», cabría preguntarse si alguien entrenó a ese loro para que dijera lo antes mencionado, en cuyo caso el entrenador tendría la responsabilidad legal. Pero si el loro sencillamente escuchó una conversación donde alguien decía que había escuchado que Enrique tenía tres hijos y dicha ave hizo sencillamente una asociación por su propia cuenta, entonces no se le podria atribuir una responsabilidad legal a la persona en cuestión, pues no entrenó deliberadamente al ave para que emitiera dicha información falsa.
1) «encuentran correlaciones muchas veces minúsculas, que utilizan para construir razonamientos supuestamente impecables que, en realidad, pueden ser auténticas barbaridades»
¿A qué me suena esto? Juas.
2) la analogía del cuchillo/martillo aclara toda esta problemática: si alguien vende un cuchillo/martillo que no detecta tu dedo en su trayectoria para detenerse (desafiando la ley de la inercia, por otro lado), ¿es responsabilidad de la empresa que lo vende o del usuario? la respuesta, espero!!, es trivial para todo el mundo, y se siguen vendiendo tranquilamente y sin disquisiciones morales ni teleológicas sobre el asunto.
Pongamos una etiqueta de «este producto puede dar y dará respuestas muy incorrectas, por favor firme el siguiente pliego de descargo de responsabilidad aquí abajo», etc.
3) «vulnerar privacidad»: ni de coña. Para vulnerar tu privacidad debe conocer datos privados y divulgarlos.
4) Difamación/calumnia: una búsqueda ultrarrápida en la web: «Es calumnia la imputación de un delito hecha con conocimiento de su falsedad o temerario desprecio hacia la verdad.»
En este delito se entienden 2 cosas:
-Conocimiento de su falsedad: alude a la presencia de dolo directo. Este dolo de primer grado se identifica con la expresión tradicional en los códigos de «a sabiendas».
-Temerario desprecio hacia la verdad significa que se está en el ámbito del dolo eventual. Es una situación en la que el sujeto en realidad no tiene certeza sobre la veracidad o no de la imputación. A pesar de ello, no deja de imputar el delito.
(https://www.dexiaabogados.com/blog/delito-calumnia/)
Es decir: dolo. Usea, intención de putear, y por tanto solo atribuible al que «empuña el martillo». La calumina se refiere solo a imputar __delitos__. Si no, sería __injuria__, en la cual debe estar presente:
«las frases o actitudes deban responder al propósito específico de ofender a la persona a la que van destinadas». Es decir, debe haber intencionalidad de ofender.
(https://penal.cat/delitos/delitos-contra-las-personas/delitos-contra-el-honor/)
5) «¿Deberíamos exigir a las compañías que los desarrollan que buscasen formas de poner ese tipo de respuestas bajo control?»
Respuesta obvia: NO
Es que no quiero entrar….pero es como estas frases de «quitar el envoltorio de aluminio y plástico antes de meter al microondas». Ya es que nos estamos subnormalizando tanto que hasta que le hacemos casi a chatgpt.
PD: siempre que me curro una respuesta (en vez de escribir un exabrupto) pienso que estamos trabajando gratis para Enrique, jeje. Que no hombre, que nos tienes muy entreteniditos, y además ya casi no quedan sitios en la web donde se pueda escribir la opinión de uno (pienso en los periódicos)
Que no hombre, que no… XDDDD
Dice F3R:
Yo, por el contrario, F3R, me pregunto si Enrique realmente lee nuestros puntos de vista y trata de entenderlos y de aprender algo a través de ellos. A veces, parecería encerrarse en medio de su propia lógica (bastante impecable, por cierto) sin reparar en ciertos matices que debilitan varios de sus argumentos. En ocasiones (pocas), incluso se equivoca total o casi totalmente.
En todo caso, volviendo a las alucinaciones de ChatGPT, quizá podríamos considerar el siguiente diálogo ficticio:
ChatGPT: ¡Enrique tiene tres hijos! ¡Enrique tiene tres hijos!
Susana: Enrique, me has traicionado. No quiero verte más. ¡Fuera de aquí!
Enrique: Pero, Susana. Si es solo una alucinación.
Susana: ¿Acaso insinuas que estoy loca? ¡Vete! Ahora alucinarás al comprobar por ti mismo cómo se vive sin tanta comodidad.
Enrique: Pero, Susana. ¡No me arrojes fuera de nuestra ultramoderna mansión ecosustentable! ¡Soy inocente!
Susana: Lo eres, Enrique. Lo eres. ¡Adiós y no vuelvas jamás!
Enrique: Pero, ¿y qué les voy a decir a mis estudiantes y a mis lectores?
Susana: Nada. Ya no tendrás que preocuparte por ellos. Te han despedido.
Entonces, a Enrique no le queda más opción que irse, dejar su mundo ecosustentable, buscar un minidepartamento sin garaje y estacionar el Tesla en la calle.
Finalmente, Enrique decide demandar a OpenAI, pero resulta que al haber perdido su prestigioso trabajo y a miles de lectores ya no le importa a nadie su demanda.
Conclusión: Si tienes poder, te escucharán. Si no lo tienes, no lo harán. En ninguno de los casos importará demasiado si tienes razón o no. Este es el lamentable mundo real.
Vosotros qué opináis.
Me he comprado un martillo y he comprobado, que entre un 3% y un 27% de las veces, en vez de en la cabeza de los clavos, me doy en los dedos.
¿Debo denunciar al fabricante?
Si el martillo se curva por sí mismo y te da en los dedos, tú verás…
Sí, ya, «mal llamadas alucinaciones», mirad que lo dije, que era de sumo ignorantes llamarles así. Pues, mal llamadas, mal llamadas, pero se les sigue llamando igual,,, en fin.
Teniendo en cuenta la seguridad que transmite el texto que genera y la redacción tan buena y convincente, yo entiendo que sí hay responsabilidad de quienes ofrecen esa herramienta al público general. Si no puedes tener una seguridad de que la información que ofreces no es inventada o mentira, deberías avisarlo en cada respuesta y transmitir la información sin esa rotundidad, usando un lenguaje que indique creencia y no verdad.
Si la herramienta pública dice sobre una persona que «es» un pederasta (y no lo es). Sus responsables están difamando a esa persona. Si dice rotundamente datos privados de una persona sin saber si son ciertos, está atacando la intimidad de esa persona al engañar sobre sus aspectos privados.
Igual que un medio de comunicación debe decir que alguien es presunto o deja caer alguna información diciendo que es posible pero sin afirmarlo, porque si no están cometiendo delito, esta herramienta que ofrece información al público debería hacer lo mismo.
Poner al principio de cada respuesta, que es posible que haya imprecisiones y que conteste con menos rotundidad sería exigible. No es lo mismo decir «es» que «creo».
¿Se puede procesar a la Inteligencia Artificial por una acción pensada artificialmente igual que si fuera una acción pensada naturalmente por un hombre maduro normal?
Yo creo que no. No podemos procesar a un menor o un enfermo mental de la misma manera que a un hombre maduro en plenas facultades mentales. Para eso tenemos o bien tribunales especiales o bien eximimos de responsabilidad civil o penal.
No soy abogado pero el caso me parece perdido para el demandante. La IA debe de estar eximida de intención de dolo. Una cláusula mencionando las inevitables «alucinaciones» debería de ser suficiente para evitar responsabilidad penal
En primer lugar, lo que parece claro es que las compañías, a día de hoy, no saben como hacer que sus LLMs no cometan «alucinaciones».
Me imagino que eso se podría solucionar, al menos en una gran parte, filtrando cuidadosamente (y eso requiere tiempo) que tipo de información se usa para entrenar al sistema. Dicho de otra manera, si lo entrenas con la enciclopedia Británica, todos los artículos del «New York Times» desde su creación y redacciones de noticias y conocimientos bien fundamentados (dejo de lado las posibles interpretaciones derechistas o izquierdistas de los datos), se podría llegar a un nivel de «alucinación» mucho más bajo y que probablemente no dañase la reputación de nadie de una manera escandalosa.
Obviamente, repasar y filtrar con detalle todo el texto que se utiliza para entrenar un LLM es una tarea ingente. Además, respecto a la interpretación, no es lo mismo que sus fuentes sean las del «new york times», el «washington Post» o la web de «Fox News».
Por otro lado, un buen disclaimer, escueto pero claro, en el que se detalle que «se usa la herramienta con la advertencia que sus afirmaciones pueden ser erróneas» podría resolver el dilema. Es decir, si yo como usuario, cuando abro la aplicación lo primero que me encuetro es esta advertencia y me pide confirmar que lo he leido y que acepto esos errores conscientemente, no debería haber problema.
Resumiendo, las claves de la cuestión están, para mí, en escoger cuidadosamente las fuentes de información de entreno y poner un gran disclaimer, conciso y aclaratorio que haya que leer y aceptar para poder usar la herramienta.
Después de todo, como ya se ha dicho antes, con un cuchillo te puedes cortar el dedo si lo usas mal. Y en muchos aparatos electricos y electrónicos se ponen «warnings» para no probar ciertas cosas, como el famoso caso (puede que sea una leyenda urbana) de poner el gato dentro del microondas para secarlo más rápido.. XDDD!
En la carretera a mi pueblo hay baches en el 27% del trazado.
1. ¿debería poner el Estado un cartel de «NO nos hacemos responsables del estado de las carreteras»? o mejor «el Estado puede cometer errores»
2. ¿Cualquier bache (o alucinación) debe dar lugar a responsabilidad si ya sabíamos previamente que no era perfectísimo de la muerte?
Nota relacional: ¿somos más críticos con una alucinación que con un sistema que provoca 1000 muertes al año?
(diria que el punto 2, contradice al punto 1) :P
En fin…
(no, no va explicitamente por ti)
Hombre, me parece que el ejemplo no es adecuado, Javier.
Hace más de un siglo que hacemos carreteras y pagamos al estado para que haga nuevas y mantenga o arregle las existentes. Es más, cuando hay obras o peligros varios hay señalizaciones al respecto. Y se, por experiencia próxima, que si la señalización es la adecuada y no se respeta, los ingenieros que hayan diseñado dicha carretera en la que, por ejemplo, han señalado «prohibido ir a más de 60 km/h en esta curva» se van de rositas.
Dicho de otra manera, no todo es perfecto y si se consciencia con señalizaciones o disclaimers claros y concisos a los futuros usuarios de las limitaciones creo que los creadores de la herramienta pueden no ser responsables de un mal uso de la misma.
Además, para la mayoría de nosotros, usar estas herramientas no es de pago. Sólo para los LLMs más avanzados hay que pagar una subscripción.
Y, por encima de todo eso, a dia de hoy la tecnología no permite (hasta que no se demuestre lo contrario) crear LLMs 100% fiables que no alucinen nunca. En otras palabras, es una tecnología nueva, en pruebas realmente.
Un saludo!
Que sus ejemplos se contradigan no significa que a su manera, no tengan razón…
Si vamos al ejemplo “carretera”, la solución no pasa porque la DGT (o la autonomía correspondiente, si tiene competencias) te la llene de cartelitos de “Cuidado, que te dejas el carter en un bache”… Lo que tiene que hacer la autoridad competente, es simplemente, arreglarlo. Y no hay más.
Llevemos ahora esa extrapolación a la IA. Que pongan un cartelito cuando entras, diciendo “Ojo, que te voy a tomar el pelo una de cada cuatro veces”, no es una solución. Es un simple aviso.
El problema, es que ese disclaimer, a un pequeño porcentaje de gente, les resultara útil. El resto de usuarios, son como los que no se leen los EULAS, las letras pequeñas etc. Pasarán de él, y seguirán a lo suyo dando por bueno lo que la IA conteste.
En tanto al primer grupo, imagino que pensarán como yo… para que coño quiero una IA si la voy a tener que supervisar, o dicho de otra manera, me obliga a hacer dos veces el trabajo. Hace dos artículos, he puesto un ejemplo claro: una hora perdida y sin solución, frente a cinco segundos de consultar la Wiki, copiar y pegar. Evidentemente, no ocurre con todos los temas. Es mas precisa en unos que en otros. Pero la supervisión, no la puedes obviar.
No digo que la IA sea algo inútil. Desde el principio me sorprendí de lo rápido que avanzaba, pero a la vez, sabía que surgirían problemas. El de las “aberraciones” (que hay quien se ofende con la palabra “alucinación”) fue uno de los que destaqué, y ha hecho falta meses para que, por fin, se le de veracidad al tema. A la IA le queda aun camino. Creo que no hemos llegado ni a un 5% de lo que puede ser.
Pero mientras tanto: Prudencia.
Supongo que estará a punto de crearse la primera cátedra S. Freud para tratar la dismenorrea mental de las IA… y con el éxito que está teniendo con la de la IH, supongo que habrá pronto muchos afanosos titulados.
Super interesante, pero hay que considerar que esto esta empezando y si esperamos a que algo sea perfecto para lanzarlo, no sale nunca. Creo que herramientas tan complejas tienen que ajustarse en base al uso masivo. Alguien que toma decisiones importantes basado en información sin verificar esta actuando irresponsablemente.
Propondría a las compañias que hacen estos productos y los comercializan, ponerles, o en su defecto hacer que sea el usuario, un porcentaje mínimo de correlaciones a partir de la cual el sistema dé una respuesta, y por debajo de este umbral no las dé, pienso que así se evitarían las llamadas «alucinaciones».