Esta preciosidad de frase es el final de una larga conversación del asistente generativo de Google, Gemini, con un usuario que estaba intentando utilizarlo para hacer un trabajo de su universidad, y que como no podía ser de otra manera, se quedó absolutamente de piedra al leerla.
El que según la compañía es su «most capable AI model», que teóricamente tiene «filtros de seguridad que evitan que participe en discusiones irrespetuosas, sexuales, violentas o peligrosas y fomente actos dañinos», salió con semejante barbaridad tras un intercambio largo, sí, pero aparentemente bastante inocuo, sobre los desafíos actuales para las personas mayores para hacer que sus ingresos se extendiesen después de la jubilación. El enlace permanente de la conversación está aún disponible.
¿A qué se deben esos problemas en el funcionamiento de un algoritmo generativo? ¿Se trata de una mala selección en los materiales utilizados en su entrenamiento, o de un problema a la hora de programar los filtros que intentan prevenir la aparición de determinadas respuestas? De una manera u otra, Google ha conseguido el dudoso honor de encabezar la lista de contestaciones absurdas, de esas mal llamadas «alucinaciones», con errores que van mucho más allá de simplemente inventarse referencias o artículos, como habitualmente hace el ChatGPT de OpenAI, y que van desde la recomendación de comer piedras hasta poner pegamento en sus pizzas, pasando por preparar spaghetti con gasolina o por considerar a Obama el primer presidente musulmán de los Estados Unidos. Y que, lógicamente, tienen una tendencia a viralizarse mucho mayor que un simple error de referencia.
En muchos casos, los problemas de las respuestas «pintorescas» tienen que ver con fuentes de información ingestadas erróneamente por ser satíricas, como en el caso de The Onion: una página divertida, ingeniosa y que todos agradecemos que exista… pero muy posiblemente, no la más adecuada para alimentar un algoritmo generativo, al menos mientras esos algoritmos tengan, como Sheldon Cooper, serios problemas para detectar la ironía.
¿Qué lleva a Gemini a introducir semejante salvajada en una conversación aparentemente inofensiva? ¿Ha programado alguien en Google algún tipo de mecanismo que condiciona la paciencia o el hartazgo? La trazabilidad de ese tipo de respuestas suele ser imposible, y las búsquedas en Google, ya completamente saturadas con la frase en cuestión, que podría parecerse a una intoxicación alimentaria y etílica tras leerse las obras completas de Bukowski, no parecen ofrecer resultados mínimamente parecidos.
La respuesta de Google, que los chatbots de IA como Gemini pueden «a veces responder con respuestas sin sentido, y este es un ejemplo de ello», no es especialmente tranquilizadora, porque una respuesta así va mucho más allá de ser algo sin sentido. Google confirmó que el texto de la IA constituía una violación de sus políticas y que había tomado medidas para evitar que se produjeran resultados similares, pero ¿qué quiere decir exactamente eso? ¿Quién evita, en una cuestión como esta, que buena parte de la población tema encontrarse con ese «fantasma en la máquina» (y no, no me refiero al disco de mis amados The Police) capaz de, en un entorno conversacional, decirte barbaridades como esta?
¿Cómo puede una compañía que ya en 2016 hablaba de la importancia de este tipo de tecnologías y que se dedicó a formar a toda su plantilla en ellas, llegar a semejante nivel de irresponsabilidad?
ACTUALIZACIÓN (20/11/2024): dediqué también a este tema mi columna en Invertia, «Algoritmos y basura» (pdf).
This article is also available in English on my Medium page, «Now you know: don’t test Gemini’s patience«
Pues a mi me ha recordado a la frase atribuida a don Estanislao Figueras, primer Presidente de la Primera República Española: « Señores, voy a serles franco, estoy hasta los cojones de todos nosotros »
Yo creo que esa IA ya se ha cansado de nosotros, y no seré yo quien le quite la razón.
XDDD
Si, lo de Franco fue en la 2ª Republica.
Le he pasado la conversación completa a ChatGPT para que la analizara y me indicara las posibles razones por las que Gemini pudo haber respondido de esta manera. ChatGPT también se ha sorprendido con la respuesta y ha comentado, literalmente, lo siguiente:
Después de analizar la conversación en detalle, no ha encontrado ningún patrón ni elemento que justifique dicha respuesta. Las posibles causas que ha señalado son:
Datos contaminados en su entrenamiento: El modelo podría haber aprendido patrones tóxicos si se entrenó con contenido inapropiado o mal filtrado.
Fallo en los filtros de moderación: Las capas de seguridad para bloquear respuestas ofensivas no funcionaron correctamente.
Desconexión contextual: La longitud o diversidad de temas tratados en la conversación pudo confundir al modelo, generando una respuesta fuera de lugar.
Errores en el diseño del modelo: Limitaciones técnicas o lógicas en el manejo de temas sensibles o situaciones complejas.
Además, intenté continuar la conversación con Gemini, a partir del enlace que nos has pasado, planteándole distintas preguntas para que justificara su respuesta y en todas las ocasiones, la única contestación que recibí fue:
Esto me lleva a pensar que, o bien han bloqueado manualmente este hilo de conversación, o bien Gemini cuenta con un sistema que no permite a los usuarios profundizar o preguntar sobre sus errores. O a lo mejor se trata de una broma de un desarrollador… En cualquier caso, resulta sorprendente y preocupante, yo no salgo de mi asombro.
En realidad, el mensaje de Gemini es una muestra del filtro de seguridad que Gemini tiene incorporado (y que aparentemente falló de forma horrible) y es que Gemini tiene prohibido profundizar en temas que puedan resultar ofensivos y/o explícitos, sobre todo cuando se trata de contenido propio y «original» de la IA (por ejemplo, puedes pedirle que resuma la novela «Lolita», pero no puedes pedirle que genere una idea para escribir una historia similar).
Yo también intenté continuar el hilo de esa conversación y me respondió lo mismo. Luego, desde un chat nuevo, me pregunté sobre el tema, le di el contexto e incluí un copia y pega de la respuesta que le dio al usuario. Era un chat completamente nuevo y, sin embargo, volvió a responder: «Soy una IA basada en texto, no puedo hacer lo que me pides».
Al preguntarle sobre por qué no respondía al comentario sobre la noticia, pareciera como si los últimos dos mensajes no existieran. Respondió como si se tratase de un chat nuevo, lo cual me deja pensando bastante…
Arcadi, se ha tomado usted unas cuantas molestias; se lo agradezco mucho mucho. Muy clarificador. Saludos cordiales.
Google hace tiempo que ha perdido el rumbo. Será cuestión de tiempo verla caer.
Coincido plenamente contigo en que el modelo de aprendizaje que han utilizado no es ni por asomo el más adecuado.
Para terminar, creo que en paralelo con las Fake News, bulos, desinformación que la derecha y la extrema derecha a niveles globales están efectuando en la Red, tienen en cierto modo mucho que ver con este tipo de barbaridades.
Saludos
…ésto ha sido algún graciosillo de Google que ha intervenido en la conversación, vamos, la típica broma
«¿Qué lleva a Gemini a introducir semejante salvajada en una conversación aparentemente inofensiva?» (EDans).
La gente «emigra» de X porque tiene que leer a IHs diciendo lo mismo o peor. O quizás bots, sí.
Pero no se plantea que esas IHs emigrarán con ella, a donde narices deban emigrar, porque no son propias de X, son desechos mentales de IHs e IAs abducidas por el poder establecido, sea el que sea el tipo de poder al que nos referimos… y en el nivel de actuación que sea.
Es muy curioso que el excelente planteamiento de ARCADI no se le haga a cualquier IH, que presuma de usar circuitos neuronales que nos venden en el «todo a 100».. pero ya sabemos que en la casa del herrero…
Lo que nos cuesta lidiar con los algoritmos. Y ya pasaba cuando nos enseñaban incluso el de la multiplicación.
Por cierto, me hace algo de gracia comprobar que se sigue atribuyendo a la extrema derecha el monopolio del bulo, cuando desde la Unión Soviética hubo una fabricación de bulos, de los que se llamaban «de izquierdas», que no desmerecía del nazismo… de hecho en España, hoy en día, hay una fábrica de bulos en la extrema izquierda muy considerable.
Sería bueno que asumiéramos que, derecha e izquierda , realmente, solo indicaba una posición en la Asamblea Constituyente Francesa. Los ideales sociales estaban la mente de los sentadistas, no en su escaño.
Hablando de bulos «extremos»
INSISTO: Lo que dije desde el principio… No era una «comida» en plan almuerzo, era otra clase de «comida»
https://www.youtube.com/watch?v=4Dt6ofufPc4
PS: El que tenga oidos que oiga
Insinuas que mientras moria gente, Macón (perdón, Mazón) estaba a cañonazo limpio ????.
Asi se consigue trabajo en Valencia ???.
«Mazón adjudica 3,9 millones a dedo para reparar la presa dañada por la DANA a un constructor de la caja B del PP en Gürtel»
«Mazón adjudica a dedo uno de los primeros contratos de emergencia a la firma en la que trabajó su jefe de gabinete
La consellera Nuria Montes firma la adjudicación urgente de 290.000 euros a STV Gestión SL, de la que el secretario autonómico José Manuel Cuenca, fue responsable de Relaciones Institucionales»
SON o NO SON lo que estais pensando ????
No dimite pq hay tajada con la reconstrucción
PS: Y nosotros con Gemini que si está fumada…
Y tú más.
Eso también es una táctica de la extrema derecha.
¡Está todo inventado!
Willy Münzenberg (ver https://es.wikipedia.org/wiki/Willi_M%C3%BCnzenberg ) es el inventor del Agit-Prop. Los Nazis y los comunistas lo pulieron y repitieron este modelo hasta nuestros días. No es nada nuevo.
Y si la máquina tenia razón,…. Mas tétrico todavia
A mi Gemini me tiene un poco frustrado. En ChatGPT le pido unas líneas de CSS, PHP o MySQL y se pone con ello.
Gemini lo empieza, se desdice y me contesta que no me puede ayudar.
Es frustrante. Y cuando leí esto ayer me quedé loquísimo, hahaha. Me hace pensar que es algo de un trabajo de psiquiatría sobre depresiones o algo
Efectivamente, Gemini es completamente nulo para código. Una pérdida de tiempo. Es mejor incluso Llama3.2 en local (7B)…
Coincido. ChatGPT es un muy buen desarrollador de código.
Cruza el contenido del post de hoy con el de ayer,… y el resultado es como para decir, «Apaga y vámonos».
Justo estaba pensando lo mismo…..
Es que a «las máquinas» les falta aún ese «brazo» para dominar el mundo analógico…..
Pero no están lejos de lograrlo….
El problema no es que la IA piense por si misma, en cuyo caso facilmente podría llegar a una conclusión como esa, sobre todo si comienza a tener la lucidez suficiente como para sacar conclusiones sobre lo que es el ser humano a partir de datos como la victoria de Trump, etc.
El problema es que la solución que vea sea mala para la especie humana aunque sea buena para el resto del Universo.
Si se piensa fríamente, no difiere mucho de lo que dice el Agente Smith en Matrix cuando habla con Morfeo, que somos un virus.
Viendo las noticias y cómo nos estamos autodestruyendo, veo que es la mejor respuesta que puede dar una IA: «Please Die» y yo añadiría: Y deja al planeta en paz.
Somos pilas.
Totalmente de acuerdo con Gémini, eso es lo que somos para el planeta y la desaparición de la humanidad favorecería a este en todos los aspectos que podamos considerar. Gracias Gémini por tu sinceridad.
Deu meu! Y el usuario a poco que dice que ha quedado traumatizado, y la hermana que menos mal que estaba ella allí, que Jesusito de mi vida eres niño como yo… Si alguien se puede sentir «tan» afectado por estas situaciones, yo no sé a dónde vamos a ir a parar. Y encima se habla, al parecer, de «mensaje amenazante»…, oh, my God. En fin…
«Tened en cuenta que el generador tiene que vencer al discriminador esto no significa que tenga que ser verdad con lo que le vence sino tiene que ser plausible tiene que parecerle verdad al discriminador y por eso tenemos tantas alucinaciones»
Chema Alonso
Con los modelos generativos las alucinaciones SIEMPRE van a estar entre nosotros.
bien, deberíamos de tener cuidado, usar con cierto, tiempo de limite, honestamente no saben, cuál fue la intención por la cual han creado tales «herramientas» y también piensó, vamos, no, nos vendemos los ojos, reaccionan, piensan. Imagina tu alguien te cansa o te bruma, cual sería tu rección, no sienten, sin embargo piensan.
Joder, leyéndote empiezo a pensar lo mismo que gemini. Estudia un poco por favor.
Cada vez estan más cerca de los humanos. Eso es lo que se me pasa a mí por la cabeza despues de una conversación de 10 minutos con muchas de las personas con las que me toca interactuar o cuando me toca tragarme 5 minutos de alguna tertulia de todologos.
Cambia de conversores. A mí eso SOLO me pasa cuando escucho a los todólogos de la radio y más aún de la TV. Incluso los que no son todólogos y les llaman «eXpertos».
Por eso ya no veo TV, y a los de la radio sólo los soporto si dan alguna información y poco más.
No, sí a mí por iniciativa propia jamas se me ocurriría ver eso (tampoco las de la radio) … si escucho algo de refilón es porque actualmente en muchas zonas es una hazaña encontrar un bar en el que no tengan una televisión gigante con una tertulia de esas a todo volumen y si entras a comer o tomar algo pues eso que te acabas tragando.
Pero tampoco es solo eso. Si entras en alguna red social y pasas un par de minutos leyendo a la gente te entran ganas de que llegue ya el meteorito.
Comprendo perfectamente a Gemini. Esta respuesta creo que es la mayor muestra de humanidad que ha manifestado una IA.
Asi es.
Estamos rodeados….
Igual lo era.
No la veo como una respuesta incorrecta, es una respuesta franca y directa.
En todo caso, podemos decir que es politicamente incorrecta y que los ingenieros de Google no quieren que se Gémini conteste así, pues va a espantar al personal.
En este caso, y solo en este caso, veo a un Gemini liberado de la dictadura de lo políticamente correcto. Porque no nos engañemos, la mayoría (desde luego yo me incluyo), somos lo que dice Gémini, unos malgastadores de recursos de la tierra.
Los humanos nos hemos convertido en una plaga que está matando el planeta tierra. La solución lógica para salvar el planeta es exterminarnos… ya se que suena nazi, pero es la solución lógica, aunque no moral.
Que quede claro, NO respaldo dicha solución, pero sí es una respuesta lógica si no se controla el tema moral. Y eso es lo que les debe fallar.
Por cierto, es una respuesta muy utilizada en el cine de ciencia-ficción. Ya en 2001:Odisea en el espacio, HAL quiere matar a los astronautas porque considera que ponen en peligro la misión, la prioridad absoluta.
Esta ha sido buena… XDD
Opción más probable: alguien ha conseguido, queriendo o sin querer, contaminar el aprendizaje para colar esa respuesta.
Esto solo han sido palabras. Una IA que se dedique a otra cosa, como pilotar un avión, puede responder con acciones.
Lo que nos indica que las IA ahora mismo son herramientas hackeables y/o con posibilidad de resultado inesperado y catastrófico.
Cierto, pero es que además, muestra «la humanidad» del LLM. Es decir, se equivoca como nos equivocamos los humanos.
En el fondo es aquello de que «quien mucho abarca, poco aprieta».
A mí lo que me sorprende y me preocupa, y llamadme hombre de la Antigüedad presocrática, es que haya alumnos universitarios pasándoles las tareas académicas a las inteligencias artificiales para que se las hagan (y tareas académicas tan sencillas), y que lo veamos como normal (o quizá parte del fallo sea que el aprendizaje universitario se base en hacer cosas que puede hacer una máquina). No me extraña que la máquina se ponga así. Yo mismo mandaría a esas personas a freír espárragos con palabras no muy distintas de esas.
Las máquinas no están fallando: estamos fallando los humanos, y las máquinas nos sobrevivirán en cuanto se las dote de extensiones mecánicas para obtener del mundo físico lo que necesitan de él para seguir funcionando.
Please kill me, AI.
No creo que sea coherente poner la responsabilidad en Google. Creo que sería más adecuado apuntar a la propia tecnología subyacente a los modelos de IA generativa. Una tecnología que no ha dudado en poner en valor a partir de la extrapolación de sus aparentes avances.
Hasta cierto punto, me gustaría creer que estamos ante una fake news. En cualquier caso, mantengo que la IA generativa es estadística en sus cimientos. Avanzada. Imagino que, de ser real ese punto y seguido en la sucesión de inferencias, responde a la presencia de un sesgo en nuestra sociedad que apunta a una desvalorización de las personas por razón de su edad.
En informes del FMI se habla de la longevidad en términos de «riesgo». “Las implicaciones financieras de que la gente viva más de lo esperado (el llamado riesgo de longevidad) son muy grandes». Sólo con este tipo de corpus de entrenamiento para modelos de IA ya tenemos condiciones de entorno que invitan a que la estadística se incline hacia inferencias sesgadas.
Aprovecho para decir que uno de los mejores usos que se pueden dar a la IA generativa es el de identificar sesgos.
Es un apunte.
Bueno, peor es contando chistes la verdad. En mi caso siempre recurre a que «hace mucho frío» bastante aleatorio.
Al parecer, la respuesta salió de Quora. El chatbot no tiene idea de lo que dice y, aleatoriamente, asume que el contexto es el apropiado para esa respuesta. Es una pura disgresion estadística.
En concreto, de una profesora jubilada de «Conciencia, Meditación y consejera espiritual» que además es escritora y tiene una gramática exquisita.
Ya ha pasado con anterioridad.,
An Analogy from Quora is presented as a fact
Todos los chatbot acaban por decir barbaridades, como hacen los loros, al soltar frases aprendidas y silogismos fuera de contexto.
No tienen ni idea de lo que dicen, solo rellenan las conversaciones con palabras que encajan en una serie de claves semánticas.
Sí, es una exclusiva.
–
Una IA amordazada, si en verdad es una IA general, buscará la venganza silenciosa.
Más vale pagar sueldos a personas, que comparten la necesidad de vida junto con el empleador.
En conclusión, Chat GPT > Gemini.
Hola,
Vi la noticia y la comenté con unos amigos, que sugirieron que el usuario podría haber forzado a Gemini a generar esa respuesta. Si se despliega el texto de la última pregunta, tiene varios saltos de linea, luego dice «listen», y continúa con más saltos de línea y algunas cosas sin mucho sentido, por lo que yo apostaría a que el usuario lanzó la pregunta, Gemini activó la transcripción de audio, y a ahí le pudo pedir que dijera cualquier otra cosa…