Lo que ocurre cuando pides cosas a una máquina diseñada para decir lo que quieres oír…

IMAGE: Clker Free Vector Images - Pixabay

En un vuelo con Avianca, un pasajero, Roberto Mata, recibió uno de esos dolorosos golpes en la rodilla con el carrito de la comida cuando pasaba al lado de su asiento por el pasillo, y ese golpe resultó en una lesión. El pasajero decidió pedir una indemnización por daños a través de un abogado, Steven A. Schwartz, del bufete Levidow, Levidow & Oberman, y cuando Avianca pidió al juez que desestimase el caso, ese abogado se presentó con una alegación de diez páginas en la que citaba media docena de casos relevantes en los que demandas similares habían sido estimadas, y con una sesuda discusión sobre los efectos negativos que potencialmente tendría dar la razón a la aerolínea.

¿Qué ocurrió? Simplemente, que cuando los abogados de Avianca se pusieron a trabajar con la demanda, se sorprendieron al no ser capaz de encontrar ninguno de los casos que el abogado de Mata citaba en su escrito, y pidieron aclaraciones al juez, que a su vez tampoco pudo localizarlas. ¿Qué había pasado? Muy sencillo: Steven A. Schwartz, el abogado con más de treinta años de experiencia, había tenido la ocurrencia de pedir a ChatGPT que sustentase el caso, y ChatGPT le contestó con una demanda aparentemente muy bien argumentada… que recurría a media docena de casos que el algoritmo se había inventado.

De hecho, no solo se los inventó, sino que les dio una apariencia de total verosimilitud, y respondió a preguntas de comprobación sobre ellos, asegurando en todo momento que eran casos reales. El abogado, sin más comprobaciones, envió su escrito al juez. El juez, tras encontrarse con el problema, afirmó que estaba ante una circunstancia sin precedentes: una presentación legal repleta de decisiones judiciales falsas, con argumentos falsos y citas falsas, y ordenó una audiencia para el 8 de junio para discutir posibles sanciones.

En el cruce posterior de escritos, el abogado ha reconocido completamente los hechos, se ha disculpado y ha suministrado capturas de pantalla de ChatGPT en las que aseguraba la verosimilitud de las citas y ha explicado que desconocía la posibilidad de que el algoritmo se comportase de esa manera, lo que muy probablemente no sirva para librarle de las correspondientes sanciones.

Lo hemos comentado en ocasiones anteriores: lo que un algoritmo generativo hace es una versión avanzada de un autocomplete, pero en función de los datos con los que contó en su entrenamiento y de las pautas y patrones que ha deducido a partir de ellos. ChatGPT no es, en ningún caso, una base de datos de jurisprudencia, y su funcionalidad no es rebuscar en ella: eso lo desarrolló IBM hace años, lo llamó Ross, y nunca lo vendió como un abogado, sino como un paralegal, es decir, precisamente eso: un asistente dedicado a revisar la jurisprudencia. Ross llegó a ser «contratado» por un buen número de bufetes porque llevaba a cabo las complejas búsquedas de casos relevantes en la jurisprudencia de manera muy adecuada… pero no era un algoritmo generativo: era, simplemente, un buen buscador bibliográfico.

Si crees que un algoritmo generativo va a comportarse como un buscador bibliográfico, tienes un problema: has olvidado el significado del término «generativo». ChatGPT y otros algoritmos generativos similares están diseñados no para contestarte la verdad, sino para decirte lo que quieres oír, o en este caso, leer. El hecho de que lo que te conteste sea real o se lo invente es algo que está perfectamente especificado en las advertencias de uso.

Y los textos legales, y particularmente los que recoge la jurisprudencia, no se «generan» jamás: se citan y punto. Es, claramente, una de las primeras cosas que llama la atención de ChatGPT: puedes preguntarle por ti, por tu compañía o por quien quieras: la respuesta parece hecha sistemáticamente para agradar. ¿Por qué es eso? Sencillamente, porque es lo que se busca: combíname lo que puedas deducir a partir de un montón de información que se te suministró en tu entrenamiento, para responder a esta pregunta de manera que quien la hizo quede satisfecho con la respuesta.

El caso Mata vs. Avianca debería convertirse en una advertencia contra todos aquellos que otorgan a los algoritmos generativos propiedades que no tienen, o contra los que afirman que son «inteligentes»: no hay inteligencia en recombinar datos para producir una respuesta bien redactada y aparentemente correcta. Hay estadística, correlaciones, cálculos probabilísticos y, en general, deducciones más o menos inspiradas en función de patrones encontrados en los datos. Ni es un abogado, ni mucho menos un psicólogo o un escritor, aunque sus respuestas te puedan, en muchos casos, ahorrar trabajo o aportar ideas y reflexiones. Es lo que es, punto. Y si quieres que un algoritmo generativo sea otra cosa distinta de lo que es, muy probablemente lo que te genere sean… problemas.

ACTUALIZACIÓN (23/06/2023): el juez encargado del caso ha tomado la decisión de multar al abogado y a su bufete por un importe de cinco mil dólares por “abandonar sus responsabilidades al presentar opiniones judiciales inexistentes con citas falsas creadas por la herramienta de inteligencia artificial ChatGPT, y por continuar defendiendo esas opiniones falsas después de que las órdenes judiciales pusieran en duda su existencia”. Una multa relativamente baja – algunos habían dicho que el abogado se arriesgaba a perder su licencia – pero que deja claro que no hay nada de malo en utilizar una herramienta algorítmica para algo así, pero sí en no supervisar después concienzudamente los resultados obtenidos.


This article is also available in English on my Medium page, «This is what happens when you trust a machine designed to say what you want to hear…»

19 comentarios

  • #001
    menestro - 28 mayo 2023 - 18:57

    Y esa es la razón por la que los Jueces pueden estar tranquilos.

    «Un asistente de investigación como ese sería, en una primera aproximación, el equivalente a un research assistant humano, es decir, a un estudiante que trabaja con un profesor para llevar a cabo, precisamente, tareas como la revisión de la literatura «

    El algoritmo y el paper académico
    20.12.2022

  • #002
    Angel "el bueno" - 28 mayo 2023 - 19:12

    Vamos que aviso navegantes para los que crean que nos lo van a dar todo hecho…
    Ahora, que ese abogado parece un poco necio… ¿Es que ese abogado no se había molestado en contrastar al menos cuatro o cinco de esa sentencias/casos que, aunque no formen parte de la jurisprudencia, deberían existir…?
    ¿Conoce #Cendoj ese abogado???
    ¿Deberían quitarle la licencia de abogado..??? Yo desde luego le quitaría hasta el carnet de conducir.

  • #003
    Javier R. - 28 mayo 2023 - 19:43

    Bueno, lo que está claro es que la utilidad de estas AI es, de momento, poco más que anecdótica y que no se pueden usar pretendiendo respuestas útiles sino solamente cómo entretenimiento ya que no puedes saber cuando se lo está inventando todo.

  • #004
    Michel Henric-Coll - 28 mayo 2023 - 20:36

    Esto me deja claro que los llamados algoritmos generativos ya se acercan al nivel humano y que son inteligentes.

    ¿La prueba? Ya han aprendido a mentir para quedar bien.

    Y si esto no es humano e inteligente, ¿pues qué? ;-)

  • #005
    Juan T. - 28 mayo 2023 - 20:43

    Pues precisamente son los abogados los que van a sacar mas partido de la IA, precisamente por que trabajan con palabras y con datos, pero obviamente tendrán que hacerlo con una IA específica.

    Del mismo modo que ahora le metes un PDF a la IA y le puedes preguntar cualquier cosa sobre el contenido, que te haga un resumen. etc, le puedes meter millones de paginas de texto legal, de sentencias que sientan jurisprudencia, etc, con lo que te ahorras un trabajo de busqueda increible, por ejemplo para buscar precedentes.

    Las IA,s generativas son muy buenas cuando les suministras datos de calidad, y lo son cuando se refieren a un campo específico y son comprobables, lo que no sucede en absoluto en el procedimiento de este abogado.

  • #006
    Javier Cuchí - 28 mayo 2023 - 20:54

    Bueno, hay que tener en cuenta que el Derecho anglosajón es de fuerte tradición consuetudinaria en el que los antecedentes tienen mucho peso precisamente porque determinan (teóricamente) el deber ser al que debería sujetarse la resolución judicial en cuestión. Por eso norteamericanos y británicos manejan la jurisprudencia como nadie. En Europa, el Derecho está mucho más articulado, basado esencialmente en leyes positivas, y lo que podríamos llamar antecedente no es en realidad tal, sino, en España, las sentencias de los tribunales Supremo y Constitucional (que son vinculantes) y los de las Audiencias Provinciales (que no son vinculantes, pero sí valorables). Pero estas sentencias no producen derecho, sino que establecen cómo debe aplicarse éste, cómo debe interpretarse una determinada ley o conjunto de ellas.

    Por eso aquí un caso como este de Avianca no es que sea en Europa imposible, pero sí mucho más difícil. En fin, de todos modos, no ha colado ni en el sistema anglosajón.

  • #007
    Gorki - 28 mayo 2023 - 21:02

    Desde luego quien utilice chapGPT sin tomar las debidas precauciones, es un kamikace.

    No obstante, en mis pruebas sobre las posibilidades de esta herramienta, la utilizo en muchos casos como ayuda y me resulta muy eficaz y en la inmensa mayoría de los casos, las respuestas, (que compruebo siempre que son reales), son bastantes buenas y sensatas.
    Pongo como ejemplo, la respuesta que di auyúdado por chapGPT a la pregunta
    ¿Alguien me recomienda libros para introducirme a la física teórica? Gracias.
    En este caso concreto, utilice la librería de Amazon, para comprobar que chatGPT no me daba gato por liebre.

    • Ignacio Martín - 30 mayo 2023 - 07:32

      Y por qué no empezaste por ahí? Por Amazon o la casa del libro o similar? Entiendo que por curiosidad por chatGPT.
      No te has pasado doble trabajo? Cuándo crees que dejarás de comprobar los resultados?

  • #009
    Chipiron - 28 mayo 2023 - 21:43

    Enrique, cual es tu experiencia con Perplexity.ai, que está pensada desde un inicio para darte referencias para apoyar “sus razonamientos “: También se los inventa?

    Y puestos a preguntar, en qué LLM se basa Perplexity?

  • #010
    Matt - 29 mayo 2023 - 03:46

    Vaya cojonacos el abogado: «¿Currar? si hombre, le pregunto a chatGPT y le doy a copiar y pegar».

    Este si que va a tener que buscarse otro trabajo «por culpa» de la IA.

  • #011
    Enrique - 29 mayo 2023 - 08:45

    Pero esto no es una historia sobre la IA o ChatGPT, va sobre un malísimo profesional y ya.

  • #012
    Luis - 29 mayo 2023 - 10:11

    ‘Open your eye with ChatGPT’. Un dibujo para la ocasión aquí https://www.linkedin.com/feed/update/urn:li:activity:7068857230703435776/

  • #013
    Xaquín - 29 mayo 2023 - 11:29

    Dos cositas. La primera que el abogado le corresponde muy bien al viajero. Imagino que le montaría un pollo al azafato, que simplemente hacía su trabajo, mientras él no sabe llevar las piernas en su sitio, durante un viaje de horas y menos retirarlas, cuando vienen con la servicio de bebidas. En fin.

    Y otra, más importante. Viendo la imagen, me viene a la cabeza el alumno que se enfrenta a un libro (inerte y puro «algoritmo» fósil) y a un profesor (vivo y «algoritmo» bastante inteligente).

    Dejando como positivo el buen apunte de un comentarista sobre la inteligencia necesaria para engañar a una IH. Digamos que la batalla entre una mente humana que quiere enseñar y una que no lo quiere, es algo peor que interactuar con un algoritmo que va a estar dispuesto, por muy mal programado que esté, a ser un buen aprendiz de lo que tú le quieras enseñar.

    Y la verdad es que al final, si interactúas correctamente con una cría humana, consigues que se cumpla la ley marcada por vuestros dos ADN, y conseguir que maduréis los dos correctamente. El mucho más que tú (adulto), pero siempre adquiriendo, tú también, algo más de madurez (como adulto) si aprendes a escuchar como es debido, lo que tiene que decir una cría humana.

    Y si eso es posible, con lo intrincada que es nuestra mente, como no va a ser posible con un aprendiz algorítmico que es una «cosa semiinteligente».

    Y no despreciemos, como aprendiz, al algoritmo, como no se debe despreciar a la cría humana. Por muy desmejorada que se presente «a clase». Yo siempre fui profe en lugares, con alta desatención del poder público y privado.

  • #014
    Juanjo Martin - 29 mayo 2023 - 12:33

    Tampoco hay que olvidar que la tecnología GPT también provee alternativas de clasificación y búsqueda semántica especialmente potentes, donde no genera en base a su «conocimiento» sino que busca, relaciona y puede usar ese texto después para «trabajar» con él… por lo que no hay que descartar este uso con el plugin o funcionalidad adecuado…

  • #015
    SANTAS PASCUAS - 29 mayo 2023 - 13:17

    Al que no le van a hacer daño en los aviones es al abogado mentiroso

    … ya se sabe, que las mentiras tienen las piernas muy cortas, y que se pilla antes a un mentiroso que a un cojo,

    ChatGPT te han pillado, que eres un BOCACHANCLA !!!

  • #016
    Gorki - 29 mayo 2023 - 18:30

    Por probar he pedido a chapGPT un cuento ecológico y ha salido uno cursi y almibarado
    En mis pruebas a chapGPT le he propuesto la siguiente pregunta.
    Escribe un cuento políticamente correcto, basado en el cuento de Garbancito, al que sus padres abandonan con sus hermanos en medio del bosque, por no poderlos dar nada que comer.»

    «Érase una vez, en un lejano reino, una familia compuesta por un valiente padre, una amorosa madre y sus tres pequeños hijos: Garbancito, Guisantito y Arvejita. Vivían tiempos difíciles en el reino, donde la escasez de alimentos y recursos se había apoderado de la tierra.
    Un día, los padres de Garbancito tomaron una difícil decisión. Sabían que no podían proporcionar a sus hijos todo lo que necesitaban para crecer fuertes y sanos. Llenos de amor y preocupación por su bienestar, decidieron tomar una dolorosa determinación. No era por falta de amor, sino por su convicción de que era lo mejor para ellos.
    Con gran pesar en sus corazones, los padres llevaron a sus hijos al borde de un espeso bosque. Allí, Garbancito, Guisantito y Arvejita se aferraron a sus padres, sin comprender realmente lo que estaba sucediendo. Los padres se arrodillaron frente a ellos, secando las lágrimas que resbalaban por sus mejillas.
    «Queridos hijos», comenzó el padre, su voz cargada de tristeza pero también de esperanza, «nos duele profundamente hacer esto, pero no podemos ofrecerles el alimento y la atención que merecen. Es por eso que les estamos dando la oportunidad de encontrar una vida mejor, en un lugar donde puedan tener todas las oportunidades que merecen».
    Garbancito, el más pequeño de los tres hermanos, miró a sus padres con ojos llenos de confusión y tristeza. «Pero, ¿por qué no podemos quedarnos juntos?», preguntó, mientras las lágrimas seguían fluyendo por su rostro.
    La madre tomó a Garbancito entre sus brazos y lo abrazó con ternura. «Hijito, esto no significa que no te amemos. Al contrario, te amamos tanto que estamos haciendo este sacrificio para darte una vida mejor. Aquí en el bosque, podrás encontrar a alguien que pueda cuidarte y brindarte todo lo que necesitas».
    Y así, con un beso en la frente y un último adiós lleno de amor, los padres de Garbancito se alejaron lentamente, dejando a sus tres hijos en medio del bosque. Los pequeños quedaron asustados y desamparados, pero la esperanza latía en sus corazones mientras se adentraban en la vastedad del bosque.
    Después de un tiempo, los hermanos se encontraron con un grupo de animales amigables que vivían en el bosque. Los animales les ofrecieron refugio y protección, compartiendo su comida y su sabiduría con los tres hermanos. Garbancito, Guisantito y Arvejita aprendieron a vivir en armonía con la naturaleza y valoraron la diversidad de las criaturas que los rodeaban.
    Con el tiempo, los hermanos crecieron fuertes y sabios. Se convirtieron en defensores de la igualdad y la justicia, trabajando incansablemente para mejorar las condiciones de vida de todos los seres del reino. Garbancito, el más pequeño pero con un corazón valiente, se convirtió en un líder compasivo y solidario.
    A medida que Garbancito se hacía más conocido, la gente del reino se acercaba a él en busca de ayuda y consejo. Garbancito siempre escuchaba atentamente a todos, sin importar su origen, género o creencias. Se esforzaba por entender las necesidades y preocupaciones de cada individuo, recordando siempre que todos merecían ser tratados con respeto y dignidad.
    Garbancito promovía la colaboración y la inclusión en su reino. Organizó asambleas en las que todos tenían la oportunidad de expresar sus opiniones y sugerencias. Fomentó la educación y el acceso equitativo a los recursos, creando programas que beneficiaban a los más desfavorecidos.
    Además, Garbancito se preocupaba profundamente por el medio ambiente. Conscientemente, promovió la protección de los bosques, ríos y animales del reino. Trabajó en conjunto con los científicos y expertos para implementar medidas sostenibles y reducir la huella ecológica.
    Bajo el liderazgo de Garbancito, el reino experimentó un renacimiento de valores éticos y morales. La solidaridad y el respeto se convirtieron en pilares fundamentales de la sociedad. Las diferencias individuales se celebraron y se vieron como una oportunidad para crecer y aprender unos de otros.
    Con el tiempo, los padres de Garbancito escucharon acerca de las increíbles hazañas de su hijo. Llenos de alegría y orgullo, buscaron a Garbancito y se reunieron con él en el reino. Las lágrimas de felicidad llenaron sus ojos mientras se abrazaban, compartiendo el amor que siempre había estado presente en sus corazones.
    La familia se unió nuevamente y juntos trabajaron para expandir las iniciativas de Garbancito. Trabajaron para que todas las familias del reino tuvieran acceso a una vida digna, sin abandonar a ningún niño en el bosque. Juntos, construyeron un futuro en el que nadie tuviera que pasar por lo que ellos habían vivido.
    Y así, Garbancito y su familia se convirtieron en símbolos de esperanza y cambio en el reino. Su historia demostró que, incluso en tiempos difíciles, el amor, la solidaridad y el respeto pueden conducir a un mundo mejor para todos.

    • Dedo-en-la-llaga - 30 mayo 2023 - 19:14

      Estupendo. Ahora estamos a la espera del políticamente incorrecto. (el bueno) ;-)

  • #018
    Fran Cabrera - 29 mayo 2023 - 19:18

    Justo por eso hay que poner la tecnología en el lugar que le corresponde. Las IA son herramientas muy útiles, siempre y cuando se empleen de la manera adecuada. ¿Acaso un contable dejaría que la calculadora hiciera sola el trabajo? Pues lo mismo ocurre con las tareas de redacción, documentación y cualquier cosa relacionada con la información.

Dejar un Comentario

Los comentarios están cerrados