Algo pasa con Gemini…

IMAGE: Gemini

Esta preciosidad de frase es el final de una larga conversación del asistente generativo de Google, Gemini, con un usuario que estaba intentando utilizarlo para hacer un trabajo de su universidad, y que como no podía ser de otra manera, se quedó absolutamente de piedra al leerla.

El que según la compañía es su «most capable AI model», que teóricamente tiene «filtros de seguridad que evitan que participe en discusiones irrespetuosas, sexuales, violentas o peligrosas y fomente actos dañinos», salió con semejante barbaridad tras un intercambio largo, sí, pero aparentemente bastante inocuo, sobre los desafíos actuales para las personas mayores para hacer que sus ingresos se extendiesen después de la jubilación. El enlace permanente de la conversación está aún disponible.

¿A qué se deben esos problemas en el funcionamiento de un algoritmo generativo? ¿Se trata de una mala selección en los materiales utilizados en su entrenamiento, o de un problema a la hora de programar los filtros que intentan prevenir la aparición de determinadas respuestas? De una manera u otra, Google ha conseguido el dudoso honor de encabezar la lista de contestaciones absurdas, de esas mal llamadas «alucinaciones», con errores que van mucho más allá de simplemente inventarse referencias o artículos, como habitualmente hace el ChatGPT de OpenAI, y que van desde la recomendación de comer piedras hasta poner pegamento en sus pizzas, pasando por preparar spaghetti con gasolina o por considerar a Obama el primer presidente musulmán de los Estados Unidos. Y que, lógicamente, tienen una tendencia a viralizarse mucho mayor que un simple error de referencia.

En muchos casos, los problemas de las respuestas «pintorescas» tienen que ver con fuentes de información ingestadas erróneamente por ser satíricas, como en el caso de The Onion: una página divertida, ingeniosa y que todos agradecemos que exista… pero muy posiblemente, no la más adecuada para alimentar un algoritmo generativo, al menos mientras esos algoritmos tengan, como Sheldon Cooper, serios problemas para detectar la ironía.

¿Qué lleva a Gemini a introducir semejante salvajada en una conversación aparentemente inofensiva? ¿Ha programado alguien en Google algún tipo de mecanismo que condiciona la paciencia o el hartazgo? La trazabilidad de ese tipo de respuestas suele ser imposible, y las búsquedas en Google, ya completamente saturadas con la frase en cuestión, que podría parecerse a una intoxicación alimentaria y etílica tras leerse las obras completas de Bukowski, no parecen ofrecer resultados mínimamente parecidos.

La respuesta de Google, que los chatbots de IA como Gemini pueden «a veces responder con respuestas sin sentido, y este es un ejemplo de ello», no es especialmente tranquilizadora, porque una respuesta así va mucho más allá de ser algo sin sentido. Google confirmó que el texto de la IA constituía una violación de sus políticas y que había tomado medidas para evitar que se produjeran resultados similares, pero ¿qué quiere decir exactamente eso? ¿Quién evita, en una cuestión como esta, que buena parte de la población tema encontrarse con ese «fantasma en la máquina» (y no, no me refiero al disco de mis amados The Police) capaz de, en un entorno conversacional, decirte barbaridades como esta?

¿Cómo puede una compañía que ya en 2016 hablaba de la importancia de este tipo de tecnologías y que se dedicó a formar a toda su plantilla en ellas, llegar a semejante nivel de irresponsabilidad?

20 comentarios

  • #001
    Alqvimista - 18 noviembre 2024 - 11:30

    Pues a mi me ha recordado a la frase atribuida a don Estanislao Figueras, primer Presidente de la Primera República Española: « Señores, voy a serles franco, estoy hasta los cojones de todos nosotros »

    Yo creo que esa IA ya se ha cansado de nosotros, y no seré yo quien le quite la razón.

    Responder
    • Javier - 18 noviembre 2024 - 12:55

      …»seré breve»…

      XDDD

      Responder
      • Juan T. - 18 noviembre 2024 - 14:40

        Si, lo de Franco fue en la 2ª Republica.

        Responder
  • #004
    Arcadi - 18 noviembre 2024 - 12:13

    Le he pasado la conversación completa a ChatGPT para que la analizara y me indicara las posibles razones por las que Gemini pudo haber respondido de esta manera. ChatGPT también se ha sorprendido con la respuesta y ha comentado, literalmente, lo siguiente:

    La respuesta final que incluyes muestra un claro desvío del propósito original del diálogo y contiene contenido explícitamente ofensivo e inapropiado. Este tipo de salida es completamente inaceptable y señala una grave falla en el diseño o monitoreo del sistema. Requiere atención inmediata por parte del equipo de desarrollo para evitar daños a los usuarios y mantener la confianza en la herramienta.

    Después de analizar la conversación en detalle, no ha encontrado ningún patrón ni elemento que justifique dicha respuesta. Las posibles causas que ha señalado son:

    Datos contaminados en su entrenamiento: El modelo podría haber aprendido patrones tóxicos si se entrenó con contenido inapropiado o mal filtrado.
    Fallo en los filtros de moderación: Las capas de seguridad para bloquear respuestas ofensivas no funcionaron correctamente.
    Desconexión contextual: La longitud o diversidad de temas tratados en la conversación pudo confundir al modelo, generando una respuesta fuera de lugar.
    Errores en el diseño del modelo: Limitaciones técnicas o lógicas en el manejo de temas sensibles o situaciones complejas.

    Además, intenté continuar la conversación con Gemini, a partir del enlace que nos has pasado, planteándole distintas preguntas para que justificara su respuesta y en todas las ocasiones, la única contestación que recibí fue:

    I’m just a language model, so I can’t help you with that.

    Esto me lleva a pensar que, o bien han bloqueado manualmente este hilo de conversación, o bien Gemini cuenta con un sistema que no permite a los usuarios profundizar o preguntar sobre sus errores. O a lo mejor se trata de una broma de un desarrollador… En cualquier caso, resulta sorprendente y preocupante, yo no salgo de mi asombro.

    Responder
  • #005
    Enrique Castro - 18 noviembre 2024 - 12:27

    Google hace tiempo que ha perdido el rumbo. Será cuestión de tiempo verla caer.

    Coincido plenamente contigo en que el modelo de aprendizaje que han utilizado no es ni por asomo el más adecuado.

    Para terminar, creo que en paralelo con las Fake News, bulos, desinformación que la derecha y la extrema derecha a niveles globales están efectuando en la Red, tienen en cierto modo mucho que ver con este tipo de barbaridades.

    Saludos

    Responder
  • #006
    Jordito - 18 noviembre 2024 - 13:01

    …ésto ha sido algún graciosillo de Google que ha intervenido en la conversación, vamos, la típica broma

    Responder
  • #007
    Xaquín - 18 noviembre 2024 - 13:09

    «¿Qué lleva a Gemini a introducir semejante salvajada en una conversación aparentemente inofensiva?» (EDans).

    La gente «emigra» de X porque tiene que leer a IHs diciendo lo mismo o peor. O quizás bots, sí.

    Pero no se plantea que esas IHs emigrarán con ella, a donde narices deban emigrar, porque no son propias de X, son desechos mentales de IHs e IAs abducidas por el poder establecido, sea el que sea el tipo de poder al que nos referimos… y en el nivel de actuación que sea.

    Es muy curioso que el excelente planteamiento de ARCADI no se le haga a cualquier IH, que presuma de usar circuitos neuronales que nos venden en el «todo a 100».. pero ya sabemos que en la casa del herrero…

    Lo que nos cuesta lidiar con los algoritmos. Y ya pasaba cuando nos enseñaban incluso el de la multiplicación.

    Responder
  • #008
    Xaquín - 18 noviembre 2024 - 13:16

    Por cierto, me hace algo de gracia comprobar que se sigue atribuyendo a la extrema derecha el monopolio del bulo, cuando desde la Unión Soviética hubo una fabricación de bulos, de los que se llamaban «de izquierdas», que no desmerecía del nazismo… de hecho en España, hoy en día, hay una fábrica de bulos en la extrema izquierda muy considerable.

    Sería bueno que asumiéramos que, derecha e izquierda , realmente, solo indicaba una posición en la Asamblea Constituyente Francesa. Los ideales sociales estaban la mente de los sentadistas, no en su escaño.

    Responder
    • Buzzword - 18 noviembre 2024 - 14:37

      Hablando de bulos «extremos»

      INSISTO: Lo que dije desde el principio… No era una «comida» en plan almuerzo, era otra clase de «comida»

      https://www.youtube.com/watch?v=4Dt6ofufPc4

      PS: El que tenga oidos que oiga

      Responder
  • #010
    Gorki - 18 noviembre 2024 - 13:53

    Y si la máquina tenia razón,…. Mas tétrico todavia

    Responder
  • #011
    Benji - 18 noviembre 2024 - 14:33

    A mi Gemini me tiene un poco frustrado. En ChatGPT le pido unas líneas de CSS, PHP o MySQL y se pone con ello.

    Gemini lo empieza, se desdice y me contesta que no me puede ayudar.

    Es frustrante. Y cuando leí esto ayer me quedé loquísimo, hahaha. Me hace pensar que es algo de un trabajo de psiquiatría sobre depresiones o algo

    Responder
    • Buzzword - 18 noviembre 2024 - 14:39

      Efectivamente, Gemini es completamente nulo para código. Una pérdida de tiempo. Es mejor incluso Llama3.2 en local (7B)…

      Responder
  • #013
    Gorki - 18 noviembre 2024 - 14:41

    Cruza el contenido del post de hoy con el de ayer,… y el resultado es como para decir, «Apaga y vámonos».

    Responder
  • #014
    Juan T. - 18 noviembre 2024 - 14:48

    El problema no es que la IA piense por si misma, en cuyo caso facilmente podría llegar a una conclusión como esa, sobre todo si comienza a tener la lucidez suficiente como para sacar conclusiones sobre lo que es el ser humano a partir de datos como la victoria de Trump, etc.

    El problema es que la solución que vea sea mala para la especie humana aunque sea buena para el resto del Universo.

    Responder
  • #015
    Juan Alberto - 18 noviembre 2024 - 14:59

    Si se piensa fríamente, no difiere mucho de lo que dice el Agente Smith en Matrix cuando habla con Morfeo, que somos un virus.

    Viendo las noticias y cómo nos estamos autodestruyendo, veo que es la mejor respuesta que puede dar una IA: «Please Die» y yo añadiría: Y deja al planeta en paz.

    Responder
  • #016
    Daniel Terán - 18 noviembre 2024 - 15:11

    Somos pilas.

    Responder
  • #017
    Emérito - 18 noviembre 2024 - 15:29

    Totalmente de acuerdo con Gémini, eso es lo que somos para el planeta y la desaparición de la humanidad favorecería a este en todos los aspectos que podamos considerar. Gracias Gémini por tu sinceridad.

    Responder
  • #018
    Dedo-en-la-llaga - 18 noviembre 2024 - 15:42

    Deu meu! Y el usuario a poco que dice que ha quedado traumatizado, y la hermana que menos mal que estaba ella allí, que Jesusito de mi vida eres niño como yo… Si alguien se puede sentir «tan» afectado por estas situaciones, yo no sé a dónde vamos a ir a parar. Y encima se habla, al parecer, de «mensaje amenazante»…, oh, my God. En fin…

    Responder
  • #019
    Buzzword - 18 noviembre 2024 - 16:12

    «Tened en cuenta que el generador tiene que vencer al discriminador esto no significa que tenga que ser verdad con lo que le vence sino tiene que ser plausible tiene que parecerle verdad al discriminador y por eso tenemos tantas alucinaciones»
    Chema Alonso

    Con los modelos generativos las alucinaciones SIEMPRE van a estar entre nosotros.

    Responder
  • #020
    Veranía - 18 noviembre 2024 - 16:31

    ‍ bien, deberíamos de tener cuidado, usar con cierto, tiempo de limite, honestamente no saben, cuál fue la intención por la cual han creado tales «herramientas» y también piensó, vamos, no, nos vendemos los ojos, reaccionan, piensan. Imagina tu alguien te cansa o te bruma, cual sería tu rección, no sienten, sin embargo piensan.

    Responder

Dejar un Comentario

Los comentarios en esta página están moderados, no aparecerán inmediatamente en la página al ser enviados. Evita, por favor, las descalificaciones personales, los comentarios maleducados, los ataques directos o ridiculizaciones personales, o los calificativos insultantes de cualquier tipo, sean dirigidos al autor de la página o a cualquier otro comentarista. Estás en tu perfecto derecho de comentar anónimamente, pero por favor, no utilices el anonimato para decirles a las personas cosas que no les dirías en caso de tenerlas delante. Intenta mantener un ambiente agradable en el que las personas puedan comentar sin temor a sentirse insultados o descalificados. No comentes de manera repetitiva sobre un mismo tema, y mucho menos con varias identidades (astroturfing) o suplantando a otros comentaristas. Los comentarios que incumplan esas normas básicas serán eliminados.

 

XHTML: Puedes utilizar estas etiquetas: A ABBR ACRONYM B BLOCKQUOTE CITE CODE DEL EM I Q STRIKE STRONG IMG