Un muy interesante artículo en IEEE Spectrum, «AI prompt engineering is dead, long live AI prompt engineering«, aclara mucho los conceptos a los entusiastas del llamado «prompt engineering«, que tratan de estructurar textos que supuestamente pueden ser bien interpretados y comprendidos por algoritmos de inteligencia artificial generativa, y apunta a que se trata de una tarea que, cada vez más, llevarán a cabo los propios modelos.
La idea que subyace tras los miles de artículos que pululan por la red a modo de cheat sheets o guías con los supuestamente «mejores prompts» es la de que un buen prompt engineer es alguien que «se entiende mejor con los algoritmos», como si los algoritmos hablasen en un idioma determinado. La realidad es que los algoritmos no hablan ningún idioma, son simplemente ecuaciones matemáticas que actúan a partir de correlaciones, y las ocasiones en las que un determinado prompt funciona aparentemente bien son más fruto de la casualidad que de algún tipo de supuesta ciencia.
Obviamente, la experiencia y la soltura en el manejo de algoritmos generativos es un grado, y una persona que los utilice en su trabajo más a menudo tenderá a generar mejores prompts que una que se aproxima a ellos sin experiencia, pero la realidad es que toda la mística que rodea a la idea del prompt engineering tiene más bien poca consistencia, y se basa en correlaciones la mayor parte del tiempo puramente casuales. De hecho, la dirección de la tecnología es al desarrollo de prompts generados automáticamente por los propios algoritmos, capaces de evaluar distintas alternativas de manera competitiva a la hora de formular una petición a un algoritmo, y presentar la mejor de todas ellas en función de parámetros puramente matemáticos como la optimización del modelo.
Este tipo de prestaciones de optimización automatizada se están planteando como incorporaciones a los algoritmos generativos con el fin de reducir su variabilidad y falta de fiabilidad, desde las llamadas «alucinaciones» hasta las ocasiones en las que un algoritmo devuelve resultados subóptimos, y constituirían una segunda etapa en la adopción de este tipo de tecnologías: si la primera tendía a estar dominada por «los brujos de la tribu» que, gracias a unas presuntas habilidades», parecían «entenderse mejor» con los algoritmos generativos, la segunda es mucho más organizada y predecible, y permite que prácticamente cualquiera pueda formular una petición y que esta, tras ser interpretada y optimizada, se convierta en un prompt adecuado que genera los mejores resultados.
Es bastante habitual que, en la fase de adopción de toda tecnología, los primeros que comienzan a utilizarla traten de adquirir algún tipo de «mística» que los diferencia, y el prompt engineering iba claramente por ahí. Ahora, es el momento de intentar entender realmente cómo funciona un algoritmo generativo (momento «destripar el juguete») y olvidarse de «hablar con él» como si fuera una persona que habla un idioma determinado y nos entiende mejor a nosotros que a otros.
Actualmente, la experiencia y madurez en el uso de algoritmos generativos estriba más en el saber cuándo y para qué utilizarlos, y sobre todo, en el nivel de trabajo posterior que hay que llevar a cabo con sus respuestas, que en ninguna «guía mágica» de prompt engineering. Así que si habías pensado en añadir eso como línea a tu curriculum, puedes ir pensando en descartar esa idea.
This article is also available in English on my Medium page, «Think you’re a prompt engineer? Think again«
Curiosamente no existen «prompt engineerings» que busquen en Google y también hay que meter una «sentencia» que nos produzca los resultados apetecidos.
Yo al menos, utilizando ChapGPT 3.5, (la gratuita), no he tenido mucha dificultad para generar los «prompts». En el 90% de los casos acierto a la primera, en los otros, lo reescribo en un lenguaje mas sencillo y no suelo pasar del segundo intento.
Lo que dije hace no mucho…
Lo del prompt engineering suena a lo mismo que los Community Manager… mucho humo… XDDD
Bueno, en ese sentido, los hay buenos y malos.
Yo llevaba una web en su día de X tema en concreto y el tiempo que dedicaba a la promoción de la misma como la interacción con usuarios que podían generar las redes sociales me quitaba muchísimo tiempo, que al final me venía muy bien para crecer pero acababa odiando tener que dedicarle tanta atención.
Hay quien automatiza todo y a correr y quien prefiere una interacción más humana; como lo sucedido con Cnet, vaya… .
De hecho, a mí me hizo tanta gracia el término «prompt engineering» que lo he traducido al castellano como «prompeteros».
Me quedo con ese «palabro»… XDDD
Vamos a ver. Algo que tengo mas que comprobado tanto online como lo que tengo en local, es que he tenido que aprender a hacer la pregunta correcta. Y a veces, hacer hasta 5, 10, 15 veces la pregunta de diversas formas, para obtener el resultado que deseo (que ya lo se de antemano).
Efectivamente, soy un «promppetero». pero de ahi, a añadirme la coletilla «engineering»… igual es que no tengo tanto «alto concepto de mi mismo»… XDDD
Trabajo a diario con distintos modelos de IA y creo que si existe un valor importante en los prompts, de la misma manera que existe un valor en las habilidades comunicativas cuando explicamos algo a una persona cualquiera.
Me explico: un prompt que es claro, conciso y sin ambigüedad, que incluye un contexto, un objetivo, un ejemplo y unos límites o características de la respuesta que esperamos, tiene sin duda más posibilidades de funcionar como esperamos que otro que no incluye estas características.
Esto es más cierto cuanto más compleja es la tarea que le encomendamos a la IA. Además muchas veces es necesario encadenar una sucesión de prompts hasta llegar al resultado que deseamos.
Por ejemplo, hace poco realicé una aplicación que genera un libro completo de no ficción, del tema que elijas, en formato Microsoft Word y listo para subir a Amazon Kindle a partir de unas pocas indicaciones (título, materia, idioma, público objetivo etc.).
Esto no es posible conseguirlo con un único prompt y requiere algo de imaginación para utilizar y transformar la información que obtenemos eliminando o reduciendo al mínimo la intervención manual.
Por si alguien tiene curiosidad: AI eBook Writer Tutorial.
¿Dice algo la AI de como conseguir lectores?
A mi me cuesta infinitamente menos, escribir algo, que encontrar alguien dispuesto a leerlo.
Claro que puede ofrecerte ideas de como conseguirlo :)
30 ideas para conseguir lectores para tu libro.
En mi caso, algunos de los libros que he producido por este sistema, los he creado para leerlos yo.
Puedes por ejemplo crear libros sobre temas muy concretos que dificilmente vas a encontrar editados, como por ejemplo: «Historia del pueblo judío en Colombia» (lo primero que se me ha ocurrido) Eso si, conviene contrastar y completar la información porque a veces alucina. Pero en general ofrece una forma muy conveniente de abordar un tema cualquiera.
Tres tipos de comentarios
a) Sobre tu comentario: «de la misma manera que existe un valor en las habilidades comunicativas cuando explicamos algo a una persona cualquiera» Esta es la clave
b) Sobre la herramienta de YT. Si algo «tan sencillo para generar un texto largo» lo has hecho tú, nos podemos imaginar, lo que alguna empresa tiene por ahí construido (diarios, editoriales). Me ha parecido muy interesante.
c) Creo que es urgente que sea obligatorio si un libro o página ha sido generada por una IA. En tu caso igual corriges y cambia contenido, pero con tu ejemplo podemos ver como lo de CNET que comentaba Enrique es un peligro para quien nos gusta leer y confiamos que son textos generados por personas (o revisados) y son basura estocástica. A este paso solo vamos a poder confiar en los textos generados hasta 2010 !!
Y felicidades por la tool, creo que es un ejemplo excelente, hecha sin grandes medios (tu knowhow y tiempo libre) y lo que nos espera!!!
Exacto… y yo abogo mas por la tercera… :P
Quizá lo que vamos a precisar, es una, (sufrida), AI que lea por nosotros y descarte todo aquello que no tiene interés.
ChatGPT «busca en el catálogo de Bubok, los libros de Historia Medieval que merezca la pena leer.»
Eso es dejar tu sentido critico en manos de una IA…
Lo maximo que puede hacer es decirte por volumen de ventas, que libro parece mas recomendable, y eso no tiene porque ser el mejor.
Pues yo uso chatgpt a diario, desde la versión 3.5 hasta la 4, y cada vez menos necesito ñuir lo que pregunto: por qué he aprendido y segundo, porque cada vez es más «inteligente», así que poco a poco se necesita menos de ese detalle minucioso.
Soy ingeniero porque estudié ingeniería y me titulé, no creas que eres un prompt engineer porque agregaste unos textos. Cuando hayas estudiando al menos 4 cálculos matemáticos, geometría descriptiva, termodinámica, probabilidad y estadística, y muchas materias más y te titules en una universidad podrás llamarte ingeniero.
Lo primordial es intentar entender (si eso algún dia llega a ser posible) como funcionan los LLMs internamente, pues ahora mismo son una «black box».
En ese sentido, el aplicar una metodología «científica» o de «sherlock holmes» para evaluar resultados segun el prompt podria ayudar a entender lo que hay dentro de la caja negra.
Pero no como habilidad en si, si no como correlación entre entrada y salida para intentar modelar lo que hay dentro del LLM bajo estudio. Más fácil decirlo que adivinar como hacerlo…
Una de las cosas interesantes que tiene trabajar directamente con las APIs de las IA es que te permiten ajustar determinados parámetros de su comportamiento. Uno de ellos es la «creatividad» o la capacidad del modelo de ofrecer diferentes respuestas para un mismo prompt.
Es decir, la «caja negra» opera de tal manera que un mismo prompt con un mismo modelo de IA, puede ofrecer resultados muy diferentes.
Estaria bien que nos explicaras (desarrollaras) esas ideas. (no es sorna, es en serio).
Con que API trabajas y como interactuas con ella. Por ejemplo.
Me viene al pelo el artículo de Enrique, de una cosa que me sucedió ayer. Estaba con un trozo de código que me dió para un tema Bing, y se eqivocó no servía, y como a la hora quiero hacer un segundo código, y por casualidad el erróneo primero hacía lo que quería (casualidad) pero no entendía muy bien como iba, y le digo mira este código pq hace esto, y no lo explicaba bien, de hecho, fui a chatgpt 3.5 y lo explicó bastante mejor…
¿Conclusiones?
* hay que saber pedirle las cosas en el prompt? por supuesto que si
* Hay veces que el modelo (BING 4.0 por detrás) es bueno para unas cosas, pero malo para otras con las mismas órdenes
* Esto me ha pasado antes con las imágenes, que el mismo prompt, con distinto modelo da resultados excelentes o pésimos
Resumiendo las pautas serían
* Intenta hacer un prompt sencillo y fácil de entender
* Si al tercer «cambio» del prompt, el modelo no va bien, cambia de modelo. Has encontrado una debilidad del modelo.
* Por eso es bueno acceder a varios de ellos, cuando haces algo…
Por lógica pasará lo siguiente:
La propia IA será capaz de hacer el mejor prompt posible para si misma, pero como no sabe que quieres conseguir exactamente, ni tu sabes como darle la indicación mas adecuada, tu le das una indicación general y la IA te repreguntará para hacerse una idea exacta de lo que quieres, y con esa información diseñará la respuesta mas adecuada.
Pa’mear y no echar gota… XDDD
No copies mis imágenes, dijo el copiador: MidJourney acusa a un competidor de haber tirado su servidor cuando intentaban imitarles
Según mi corta experiencia de prompetero estoy llegando a la siguiente conclusión:
En vez de estudiar consejos sesudos que abundan en la red sobre los prompts (cosa que he hecho), trato a la AI como a una «persona básica» y le «hablo» de forma natural (incluso la pongo a parir cuando hace las cosas mal). He comprobado que este método me funciona bien aunque, en ocasiones, me hace perder bastante tiempo con los tirones de orejas que tengo que darle para que sea más precisa (o menos flipante) con sus respuestas.
He probado AIs, especializadas en varias cosas y no llegan a convencerme demasiado todavía. Es cierto que pueden sacar cosas alucinantes, sí … pero en las cosas que a la AI le da la gana y que poco o muy poco tienen que ver con lo que le has pedido. Eso no me sirve de mucho.
El otro día le pedí una foto de un hombre con unas características determinadas y me sacó un tío con un cierto parecido, pero con barba y bigote. Me pasé cerca de media hora intentando que eliminase la barba y el bigote y no hubo manera!!!
Y, no hablemos ya de fórmulas matemáticas un poco específicas… bufff!. Tengo unas capturas de pantalla para flipar… hasta se inventa los resultados y todo!
Creo que la “I” (de “AI”) le viene demasiado grande por ahora.
Estoy haciendo un curso de diseño web y estamos aprendiendo a crear contenido en WordPress con Inteligencia artificial. Y puedo asegurar que hay maneras y maneras de hacer un PROMPT. Pedirle a la IA una cosa, lo sabe a hacer cualquiera. Pero pedirle a la IA esa misma cosa, ya sea para contenido o para crear imágenes, hay que saber estrategias específicas con términos muy muy detallados, que solo un prompter puede hacer, porque se ha preparado para ello y sabe hacerlo. Así es que señores, los prompters (ESPECIALISTAS) están en pleno auge y va a ser o esta siendo uno de los trabajos más cotizados en la actualidad.
Y quien fue el primero de los «prompters» que pudo inferir el conocimiento en todos los que cuelgan por debajo en la piramide de los mismos? XDDD
Es que es de traca… XDDD
A mi me recuerda cuando en los 80 yo ya tenia los huevos pelados de hacer rafting (era monitor los fines de semana en el Noguera Pallaresa), y de repente, algun «espabilado» en algun departamento de Deportes y Turismo, se saco de la manga, que nos teniamos que federar y hacer un curso para tener la licencia… (vamos, pagar 25mil pesetas de la epoca para que un pringado viniera a enseñarnos… que???) Te imaginas las risas…???
Pues como digo en el primer comentario sobre los Community Managers… anda ya…
si estas haciendo: «un curso de diseño web y estamos aprendiendo a crear contenido en WordPress con Inteligencia artificial»
es que alguna carencia tienes si precisas de la IA… ya me perdonaras… pero alguien te esta soplando los dineros. Hacer un «buen prompt», no solo es pericia… la IA decidira que te contesta… y a iguales Prompts, puedes tener diferentes respuestas.