Esta preciosidad de frase es el final de una larga conversación del asistente generativo de Google, Gemini, con un usuario que estaba intentando utilizarlo para hacer un trabajo de su universidad, y que como no podía ser de otra manera, se quedó absolutamente de piedra al leerla.
El que según la compañía es su «most capable AI model», que teóricamente tiene «filtros de seguridad que evitan que participe en discusiones irrespetuosas, sexuales, violentas o peligrosas y fomente actos dañinos», salió con semejante barbaridad tras un intercambio largo, sí, pero aparentemente bastante inocuo, sobre los desafíos actuales para las personas mayores para hacer que sus ingresos se extendiesen después de la jubilación. El enlace permanente de la conversación está aún disponible.
¿A qué se deben esos problemas en el funcionamiento de un algoritmo generativo? ¿Se trata de una mala selección en los materiales utilizados en su entrenamiento, o de un problema a la hora de programar los filtros que intentan prevenir la aparición de determinadas respuestas? De una manera u otra, Google ha conseguido el dudoso honor de encabezar la lista de contestaciones absurdas, de esas mal llamadas «alucinaciones», con errores que van mucho más allá de simplemente inventarse referencias o artículos, como habitualmente hace el ChatGPT de OpenAI, y que van desde la recomendación de comer piedras hasta poner pegamento en sus pizzas, pasando por preparar spaghetti con gasolina o por considerar a Obama el primer presidente musulmán de los Estados Unidos. Y que, lógicamente, tienen una tendencia a viralizarse mucho mayor que un simple error de referencia.
En muchos casos, los problemas de las respuestas «pintorescas» tienen que ver con fuentes de información ingestadas erróneamente por ser satíricas, como en el caso de The Onion: una página divertida, ingeniosa y que todos agradecemos que exista… pero muy posiblemente, no la más adecuada para alimentar un algoritmo generativo, al menos mientras esos algoritmos tengan, como Sheldon Cooper, serios problemas para detectar la ironía.
¿Qué lleva a Gemini a introducir semejante salvajada en una conversación aparentemente inofensiva? ¿Ha programado alguien en Google algún tipo de mecanismo que condiciona la paciencia o el hartazgo? La trazabilidad de ese tipo de respuestas suele ser imposible, y las búsquedas en Google, ya completamente saturadas con la frase en cuestión, que podría parecerse a una intoxicación alimentaria y etílica tras leerse las obras completas de Bukowski, no parecen ofrecer resultados mínimamente parecidos.
La respuesta de Google, que los chatbots de IA como Gemini pueden «a veces responder con respuestas sin sentido, y este es un ejemplo de ello», no es especialmente tranquilizadora, porque una respuesta así va mucho más allá de ser algo sin sentido. Google confirmó que el texto de la IA constituía una violación de sus políticas y que había tomado medidas para evitar que se produjeran resultados similares, pero ¿qué quiere decir exactamente eso? ¿Quién evita, en una cuestión como esta, que buena parte de la población tema encontrarse con ese «fantasma en la máquina» (y no, no me refiero al disco de mis amados The Police) capaz de, en un entorno conversacional, decirte barbaridades como esta?
¿Cómo puede una compañía que ya en 2016 hablaba de la importancia de este tipo de tecnologías y que se dedicó a formar a toda su plantilla en ellas, llegar a semejante nivel de irresponsabilidad?
Pues a mi me ha recordado a la frase atribuida a don Estanislao Figueras, primer Presidente de la Primera República Española: « Señores, voy a serles franco, estoy hasta los cojones de todos nosotros »
Yo creo que esa IA ya se ha cansado de nosotros, y no seré yo quien le quite la razón.
XDDD
Si, lo de Franco fue en la 2ª Republica.
Le he pasado la conversación completa a ChatGPT para que la analizara y me indicara las posibles razones por las que Gemini pudo haber respondido de esta manera. ChatGPT también se ha sorprendido con la respuesta y ha comentado, literalmente, lo siguiente:
Después de analizar la conversación en detalle, no ha encontrado ningún patrón ni elemento que justifique dicha respuesta. Las posibles causas que ha señalado son:
Datos contaminados en su entrenamiento: El modelo podría haber aprendido patrones tóxicos si se entrenó con contenido inapropiado o mal filtrado.
Fallo en los filtros de moderación: Las capas de seguridad para bloquear respuestas ofensivas no funcionaron correctamente.
Desconexión contextual: La longitud o diversidad de temas tratados en la conversación pudo confundir al modelo, generando una respuesta fuera de lugar.
Errores en el diseño del modelo: Limitaciones técnicas o lógicas en el manejo de temas sensibles o situaciones complejas.
Además, intenté continuar la conversación con Gemini, a partir del enlace que nos has pasado, planteándole distintas preguntas para que justificara su respuesta y en todas las ocasiones, la única contestación que recibí fue:
Esto me lleva a pensar que, o bien han bloqueado manualmente este hilo de conversación, o bien Gemini cuenta con un sistema que no permite a los usuarios profundizar o preguntar sobre sus errores. O a lo mejor se trata de una broma de un desarrollador… En cualquier caso, resulta sorprendente y preocupante, yo no salgo de mi asombro.
Google hace tiempo que ha perdido el rumbo. Será cuestión de tiempo verla caer.
Coincido plenamente contigo en que el modelo de aprendizaje que han utilizado no es ni por asomo el más adecuado.
Para terminar, creo que en paralelo con las Fake News, bulos, desinformación que la derecha y la extrema derecha a niveles globales están efectuando en la Red, tienen en cierto modo mucho que ver con este tipo de barbaridades.
Saludos
…ésto ha sido algún graciosillo de Google que ha intervenido en la conversación, vamos, la típica broma
«¿Qué lleva a Gemini a introducir semejante salvajada en una conversación aparentemente inofensiva?» (EDans).
La gente «emigra» de X porque tiene que leer a IHs diciendo lo mismo o peor. O quizás bots, sí.
Pero no se plantea que esas IHs emigrarán con ella, a donde narices deban emigrar, porque no son propias de X, son desechos mentales de IHs e IAs abducidas por el poder establecido, sea el que sea el tipo de poder al que nos referimos… y en el nivel de actuación que sea.
Es muy curioso que el excelente planteamiento de ARCADI no se le haga a cualquier IH, que presuma de usar circuitos neuronales que nos venden en el «todo a 100».. pero ya sabemos que en la casa del herrero…
Lo que nos cuesta lidiar con los algoritmos. Y ya pasaba cuando nos enseñaban incluso el de la multiplicación.
Por cierto, me hace algo de gracia comprobar que se sigue atribuyendo a la extrema derecha el monopolio del bulo, cuando desde la Unión Soviética hubo una fabricación de bulos, de los que se llamaban «de izquierdas», que no desmerecía del nazismo… de hecho en España, hoy en día, hay una fábrica de bulos en la extrema izquierda muy considerable.
Sería bueno que asumiéramos que, derecha e izquierda , realmente, solo indicaba una posición en la Asamblea Constituyente Francesa. Los ideales sociales estaban la mente de los sentadistas, no en su escaño.
Hablando de bulos «extremos»
INSISTO: Lo que dije desde el principio… No era una «comida» en plan almuerzo, era otra clase de «comida»
https://www.youtube.com/watch?v=4Dt6ofufPc4
PS: El que tenga oidos que oiga
Y si la máquina tenia razón,…. Mas tétrico todavia
A mi Gemini me tiene un poco frustrado. En ChatGPT le pido unas líneas de CSS, PHP o MySQL y se pone con ello.
Gemini lo empieza, se desdice y me contesta que no me puede ayudar.
Es frustrante. Y cuando leí esto ayer me quedé loquísimo, hahaha. Me hace pensar que es algo de un trabajo de psiquiatría sobre depresiones o algo
Efectivamente, Gemini es completamente nulo para código. Una pérdida de tiempo. Es mejor incluso Llama3.2 en local (7B)…
Cruza el contenido del post de hoy con el de ayer,… y el resultado es como para decir, «Apaga y vámonos».
El problema no es que la IA piense por si misma, en cuyo caso facilmente podría llegar a una conclusión como esa, sobre todo si comienza a tener la lucidez suficiente como para sacar conclusiones sobre lo que es el ser humano a partir de datos como la victoria de Trump, etc.
El problema es que la solución que vea sea mala para la especie humana aunque sea buena para el resto del Universo.
Si se piensa fríamente, no difiere mucho de lo que dice el Agente Smith en Matrix cuando habla con Morfeo, que somos un virus.
Viendo las noticias y cómo nos estamos autodestruyendo, veo que es la mejor respuesta que puede dar una IA: «Please Die» y yo añadiría: Y deja al planeta en paz.
Somos pilas.