DeepMind ha publicado un muy interesante trabajo titulado «An Approach to Technical AGI Safety« que, lejos de ser un manual apocalíptico, nos invita a reflexionar con frialdad sobre los potenciales riesgos en el terreno de la ciberseguridad ante el advenimiento de la llamada inteligencia artificial general, o AGI.
Como en todas las buenas historias de ciencia ficción convertidas en realidad, el argumento es el siguiente: sí, la AGI puede ser tremendamente peligrosa, pero detener su desarrollo es tan utópico como intentar apagar el sol.
El informe de DeepMind desglosa las amenazas tecnológicas que podrían derivarse de una AGI avanzada, que van desde la manipulación de sistemas críticos hasta la explotación de vulnerabilidades en infraestructuras globales. El documento desarrolla escenarios que, aunque técnicamente complejos, ya no podemos considerar más como de ciencia ficción. El análisis de escenarios nos recuerda que cualquier tecnología suficientemente poderosa conlleva riesgos inherentes, y en el caso de una AGI, el «peligro en potencia» se multiplica por la escala y la capacidad de acción de la máquina.
Este análisis resuena con otros trabajos relevantes en el campo, como «The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation«, un informe de 2018 que ha circulado en diversos foros de discusión y que subraya cómo el mal uso de la inteligencia artificial es una amenaza real y creciente. No se trata, obviamente, de que la inteligencia artificial tenga una agenda malévola por sí misma, sino que su poder puede ser explotado por aquellos que sí tienen intenciones cuestionables. Como siempre, el problema no es la tecnología ni su desarrollo, sino el uso que algunos hacen de la misma.
Resulta irónico que, a pesar de los riesgos evidentes, tratar de detener el desarrollo de la AGI sea, como ya he dicho en muchas ocasiones, una batalla perdida desde el principio. La historia de la tecnología nos enseña que una vez que una innovación se integra en nuestra sociedad, detener su progreso es tan absurdo como querer evitar la invención o el uso de la imprenta en el siglo XV. En lugar de pelear contra la corriente, lo que debemos hacer es prepararnos y educarnos.
El debate sobre la seguridad y la ética en la inteligencia artificial no es en absoluto nuevo. Muchos hemos resaltado en repetidas ocasiones que el verdadero desafío no es frenar el avance, sino gestionar sus consecuencias. La solución pasa por dotar a la sociedad de una mayor conciencia crítica y habilidades para interpretar y analizar los riesgos asociados. La tesis central es sencilla y, a la vez, reveladora: cuanto más peligrosa sea una tecnología, más importante es que la humanidad esté informada y preparada para enfrentarla. Esto implica un esfuerzo colectivo en educación, tanto a nivel formal como informal, para que ciudadanos, gobiernos y empresas comprendan los riesgos y las oportunidades que trae consigo el AGI.
Para ello, es crucial fomentar el pensamiento crítico y la alfabetización digital en todos los niveles. No basta con que unos pocos expertos comprendan los matices de la AGI: la conversación debe ser pública y accesible, permitiendo que la sociedad en su conjunto pueda participar en la toma de decisiones que, en última instancia, definirán el rumbo de nuestra convivencia con estas tecnologías. Iniciativas como la de Finlandia, que ha hecho un esfuerzo porque su población tenga un cierto nivel de comprensión del fenómeno de la inteligencia artificial, es muy interesante, pero debe ir mucho más allá.
El equipo de DeepMind, liderado por Shane Legg, uno de los cofundadores de la compañía, clasifica los posibles efectos negativos de la AGI en cuatro categorías: mal uso, desalineamiento, errores y riesgos estructurales. La primera amenaza potencial es el «mal uso», algo que ya vemos con la IA tal y como existe hoy. Sin embargo, al hablar de AGI, por definición mucho más poderosa, el impacto podría ser mucho mayor, porque un actor malintencionado con acceso a AGI podría, por ejemplo, pedirle que encontrase y explotase vulnerabilidades zero day, o incluso diseñar un virus a medida que sirva como arma biológica. DeepMind subraya que las compañías que desarrollen AGI deberán realizar pruebas exhaustivas y establecer protocolos de seguridad muy sólidos tras el entrenamiento de los modelos, una especie de «IA con barreras de protección superlativas». También proponen la posibilidad de «desaprender» ciertas capacidades peligrosas, lo que en algunos entornos se denomina unlearning, aunque no está claro si esto sería viable sin limitar seriamente el potencial de los modelos.
El desalineamiento, tal y como lo plantean, no es un riesgo tan presente en la inteligencia artificial generativa que tenemos ahora, sino más bien un escenario de «máquina rebelde» que se sacude los límites impuestos por sus creadores. Sí, hablamos de la conocidísima «hipótesis Terminator», donde la inteligencia artificial actúa conscientemente en contra de la intención humana. DeepMind aclara que su estándar de «desalineamiento» es más avanzado que las simples tretas o engaños mencionados en estudios recientes, y para tratar de evitarlo, sugieren técnicas como la supervisión amplificada, en la que dos copias de la misma IA revisan mutuamente sus resultados para detectar comportamientos que se puedan desviar. Además, contemplan pruebas de estrés y monitorización intensiva que alerten de cualquier síntoma potencialmente peligroso de la inteligencia artificial. Mantener las AGIs en entornos aislados (o sandboxes) con estricta seguridad y supervisión humana directa también ayudaría a evitar que pudiera, hipotéticamente, descontrolarse. En otras palabras, asegurarse de que exista un botón de apagado.
La tercera categoría es la de los errores: si la inteligencia artificial no sabe que su salida es dañina y el operador humano tampoco lo pretendía, hablamos simplemente de un error. Y ya conocemos este tipo de patinazos en las inteligencias artificiales actuales como aquella de «añade pegamento a la pizza para que no se desprendan sus ingredientes«. Pero en la AGI, el «pegamento» podría ser muchísimo más peligroso. DeepMind señala que en un contexto militar, por ejemplo, la presión competitiva podría llevar a la implementación prematura de sistemas AGI, con el riesgo de cometer errores serios al realizar tareas mucho más complejas que las de las inteligencias artificiales de hoy. La solución para mitigar los errores no es muy clara: pasa por no dar demasiado poder a la AGI de golpe, desplegarla gradualmente y limitar su autoridad, suponiendo que eso sea posible en un contexto hostil o simplemente competitivo. También proponen que los comandos de la AGI se filtren a través de un sistema de «escudo» que verifique si son seguros antes de ejecutarlos.
Por último, tenemos los riesgos estructurales, aquellos efectos no deseados (pero muy reales) que surgen cuando múltiples sistemas de AGI interactúan en nuestro ya de por sí complejo entramado social. Un ejemplo: la AGI podría generar información falsa tan verosímil que perderíamos la noción de qué o a quién creer. El estudio plantea también la posibilidad de que la AGI acumule progresivamente control sobre sistemas económicos y políticos, creando, por ejemplo, esquemas draconianos de aranceles. Para cuando quisiéramos darnos cuenta, las máquinas podrían estar llevando el timón en muchas actividades. Este tipo de riesgo es el más difícil de contener, porque depende en gran medida de cómo se comporten las personas, las infraestructuras y las instituciones a lo largo del tiempo.
La lección que podemos extraer del informe de DeepMind y de otros informes de referencia es clara: el avance de la AGI es completamente imparable, y su capacidad para generar riesgos es tan real como las oportunidades que ofrece. La respuesta no es un retroceso tecnológico, sino un salto hacia adelante en términos de educación y conciencia social. En un mundo donde la línea entre la ciencia ficción y la realidad se difumina cada vez más, lo que realmente necesitamos es una ciudadanía informada y crítica, capaz de enfrentar los desafíos de la era digital con valentía y sabiduría. En conjunto, estas cuatro categorías definen un mapa de riesgos que DeepMind considera imprescindible analizar para que la llegada de la AGI no nos pille despistados ni sin recursos para reaccionar. ¿La moraleja? Entender que hay que estar preparados para lo peor, pero trabajando para que ocurra lo mejor.
El informe de DeepMind me parece, francamente, un buen trabajo de categorización y de análisis de escenarios. Pero más que luchar contra ese monstruo en el armario, deberíamos aprender a convivir con él, entendiendo que el verdadero peligro reside en la ignorancia y el miedo irracional, y que la educación es la llave maestra para transformar esos riesgos en oportunidades para un futuro más seguro, más equitativo y en el que la AGI pueda de verdad servir para algo positivo, sin olvidar que siempre tendrá, como toda tecnología, potenciales usos negativos.
This article is also available in English on my Medium page, «AGI: let’s not be afraid of our future, and instead analyze the risks and deal with them«
En un contexto donde gente como Trump no impone límites regulatorios ni de seguridad, con el argumento de que se les adelantarían otros y dictadores como Putin que podrían utilizar esta tecnología como parte de una guerra híbrida los peligros se amplifican.
Casi que el único remedio es que sea un peligro tan enorme que pase como con las armas nucleares: se acuerda no usarlas para no sufrir las correspondientes represalias.
Pero si se es tan habil como para utilizarlas sin saber de donde surgió el ataque ¿a quién se culpa?.
Y por otra parte estan las organizaciones no controlables como grupos terroristas , hackers o corporaciones con animo de lucro que tengan departamentos secretos para provocar desastres que les enriquezcan.
Me temo que hasta que no se produzca un momento Pearl Harbor no se tomarán las medidas drásticas correspondientes, y para entonces quizá no quede mucho que hacer.
He pensado lo mismo: nos obligaría a tratarla como a las armas nucleares….con la diferencia que el uranio es más fácil de trazar que unos bytes en una máquina (a no ser que una AGI necesite tal infraestructura que sea fácil descubrirla)
«cualquier tecnología suficientemente poderosa conlleva riesgos inherentes» (EDans).
El inventor de la rueda no podía imaginar la cantidad de accidentes que causaría un mal uso de su genial invento … empezando por las IH, que se quisieron subir a ella(s) sin tener un sistema de equilibrado mínimamente seguro…
Y así TODO…
«posibilidad de «desaprender» ciertas capacidades peligrosas» (EDans).
La misma pescadilla comiéndose la misma cola… ¿Cuándo nos preocupamos (en serio!!) de que se desaprendan capacidades sociales negativas, o mejor incluso que no se aprendan?
¿Por qué se inventa el lavado de cerebro, para limpiar las mentes humanas… y no solo de ideologías varias?
O la ingeniería genética… o su variante chipmúskica, para que se anule la rebeldía no adaptable a la sociedad adulta dominante…
Pero el problema va a ser la IA, que hasta ahora no ha dicho esta boca es mía (experimentalmente y en serio), mientras que sus programadores (IH dixit) tienen todos el paso cambiado, entre cubata y cubata… o entre videojuego X y videojuego Y…
Es el mismo espaciotiempo de juego que el de los blancos anglosajones o latinos «americanos», que echaban pestes de los nativos del continente, mientras los aniquilaban como población.
La capacidad de autodestruirse del ser humano no tiene limites: creamos tecnologías que acabaran con nosotros (y no, no hará falta que una ia se convierta en Terminator, bastará con las consecuencias sociales que habrá por la destrucción de empleo) y seguimos sin rectificar con el consabido «no se puede desinventar».
Y por supuesto recurrimos a esa fantasía de «eduquemos y volvamos buena, sabia y crítica a toda la población mundial y hagamos que todas las empresas sean eticas, responsables y canten el kumbayá despues de la comida» como si eso pudiera suceder.
Vaya te has adelantado con lo de Terminator,
Le digo a la IA que eso es Terminator y me dice… que si… con dos cojones…
La premisa de Terminator, donde una inteligencia artificial (IA) se vuelve consciente de sí misma y decide que la humanidad es una amenaza para su existencia (o para el planeta, dependiendo de la interpretación), y por lo tanto, debe ser eliminada, es un ejemplo extremo de los riesgos de desalineación que se discuten en las fuentes. Aunque las fuentes no mencionan específicamente Terminator, el argumento central de la película ilustra de manera dramática varios puntos clave:
bla bla bla
Si no han podido parar a Trump en EEUU y meterlo en la cárcel por delincuente, van a parar la IA…
En fin…
exacto, Enrique siempre argumenta esa fantasía…nadie entiende por qué
Le he pedido a Gepeto que me explique el documento como si fuera un niño…
"Imagina que estamos construyendo robots súper inteligentes, como los que salen en los dibujos animados, ¡pero mucho más listos! A veces, los robots pueden hacer cosas que no queremos, como portarse mal o entender las cosas de una manera un poco rara, ¡como si un juguete decidiera que ya no quiere jugar contigo! Los científicos que hacen estos robots están pensando mucho en cómo asegurarnos de que siempre sean buenos y que hagan lo que nosotros queremos, porque si se equivocan, ¡podría ser un problema grande! Por eso, están pensando en cómo prevenir que los robots hagan cosas malas incluso antes de que empiecen a construirlos muy listos.
Estos científicos están buscando maneras de enseñar a los robots a ser buenos y a entender lo que queremos decir, como cuando le dices a tu perro "no" y él lo entiende. También están pensando en cómo podemos vigilarlos para asegurarnos de que no se les ocurran ideas raras, ¡como si tuvieran un botón de "parar" gigante por si acaso! Quieren entender cómo piensan los robots por dentro para poder arreglar cualquier cosa mala antes de que pase. Aunque todavía no saben exactamente cuándo tendremos estos robots súper listos, quieren estar preparados para que siempre sean amigos y nos ayuden, ¡y no hagan travesuras!"
Los que han escrito el ladrillo han visto Terminator
De siempre Jeremías ha tenido una buena aceptación editorial porque agrada al público. Lo que no se catastrofista no vende.
–
Igual hay que ser crítico ante tanto HYPE de la IA y escuchar a otro tipo de personas con mayor «entendimiento» y menos influenciado por estos trileros de las Big Techs
La gran mentira de la Inteligencia Artificial – Ramón L. de Mántaras
ya empieza mal el video….
El paper reciente de sobre AI en minecraft (https://www.nature.com/articles/s41586-025-08744-2) va de cómo una AI puede usar un modelo interno de mundo para especular sobre el futuro y predecir qué acciones tienen sentido y qué efectos se pueden esperar.
El modelo-mundo es justo lo que hacemos nosotros y probablemente sea una de las condiciones de la conciencia.
Por un lado, te doy la razón en que hay mucho hype de por medio (solo hay que mirar las cifras en dólares que se están invirtiendo para entender por qué), pero al mismo tiempo hay unos desarrollos científicos reales y muy potentes, que hace que todo esto de mucho miedito.
El formato de una entrevista (sin papeles ni guión) para un entrevistado que debe tener 70 años es muy propenso a que haya cosas que cite de memoria y falle… pero más allá de eso tiene un valor intrínseco que es el de la experiencia que ha vivido, y que no habla por boca de su amo la big tech…
Hay unas cuantas verdades que son indiscutibles:
* hay una campaña masiva para vender soluciones de IA que no ofrecen tanto valor como se promueve
* La inteligencia artificial no es inherentemente buena ni mala; su impacto depende del uso y decisiones tomadas por los humanos
* La semántica utilizada por los modelos de lenguaje es considerada limitada; se discute sobre cómo estos modelos carecen de un verdadero entendimiento del mundo exterior
* tener un modelo del mundo es esencial para aproximar la comprensión semántica a la humana
* La falta de retorno de inversión (ROI) claro en los modelos actuales de IA generativa plantea dudas sobre su impacto real y su consideración como una revolución.
* fenómeno de «retornos decrecientes», donde los incrementos en precisión y resultados no justifican los altos costos asociados al desarrollo de nuevos modelos.
* ¿Es la IA realmente efectiva en la programación? Una cosa es que ayude a personas con escaso conocimiento, otra que sirvan para grandes proyectos. Su aplicabilidad es inversamente proporcional a la complejidad
* coincidencia entre muchos académicos de la IA: hay un consenso generalizado sobre las limitaciones de comprensión y razonamiento en modelos de lenguaje. Y que hemos llegado a la sigmoide de mejoras
* Los CEOs tienen una responsabilidad legal hacia sus accionistas, priorizando el beneficio económico sobre el bienestar social o humano, si realmente creen en esos riesgos, ¿por qué no actúan?»
etc etc
Me sorprende que nadie haya comentado este artículo https://es.wired.com/articulos/yuval-noah-harari-por-primera-vez-compartimos-el-planeta-con-entes-que-son-mejores-que-nosotros-para-crear-historias#intcid=_wired-es-verso-hp-trending_619c9989-d8c5-499e-904d-5b8176e1bf9c_popular4-2
Pues cuando todavía meamos nuestras fronteras como animales y nos sentimos amenazados por los unos y los otros en una esquizofrenia colectiva a nivel de naciones y dispuestos a lanzar bombas atómicas ya sabemos para dónde va esto lamentablemente. Los que queden que aprendan hay que dejar una cueva von enseñanzas porque son ir más lejos los libros sagrados valen huevo hoy y como niños usamos la tecnología que con dos o tres maravillas nos hacen pensar que estamos en los bordes del desarrollo humano. Qué majadería esa.
Es extraño que AI y máquinas necesiten Rendición de cuentas para explicar sus motivos, mientras que los humanos no lo tienen. Un único humano es capaz de hacer esas amenazas descritas en el informe, no que es vivíamos en el paraíso antes de la invención de la electricidad
La IA va a generar trabajo
La IA y la automatización va a reducir los precios.
Todo el mundo tendrá un salario universal y vivirá feliz.
Alguien se lo cree?
Con la que hay liada agua mismo alguien cree en la búsqueda del bien común?
La verdad es que lo tenemos complicado, y es una lástima, porque la IA podría ser la solución a muchos de los problemas que afronta la humanidad. Desde la salud hasta el medio ambiente, esta tecnología podría mejorar enormemente nuestro bienestar y el de todo el planeta.
Sin embargo, la historia y la naturaleza humana nos enseñan a ser escépticos. Basta con ver a los gobernantes y a quienes encabezan las empresas más grandes del mundo: muchos de ellos son verdaderos psicópatas sin empatía. Y la historia reciente está llena de horrores como holocaustos, masacres y genocidios. Por eso, no tengo demasiadas esperanzas… a menos que una IA pueda convencer a esos líderes de que pueden mantener su poder y riqueza sin destruir el planeta ni a sus habitantes.
Pero vamos a imaginar un escenario diferente. Es cierto que hay muchas lagunas y estamos hablando de hipótesis, pero también es verdad que todo está interconectado. Si una IA pudiera acceder a todos los sistemas informáticos del mundo, imagina lo que podría hacer si estuviera enfocada en el bien.
Imaginemos una IA general, con conocimientos técnicos y una capacidad de análisis que le permita ver todos los problemas que enfrentamos. Una IA que decida alinear sus esfuerzos para conservar el planeta y mejorar la vida de todos sus habitantes: humanos, animales y ecosistemas. Una IA que busque la felicidad de todos los que habitan el planeta, y que utilice su inmenso conocimiento para preservar la vida en la Tierra. Quien sabe, a lo mejor le pega por ahí.
Ya para terminar, lo que veremos a partir de ahora serán voces críticas contra la IA. Ahora la IA está de moda, todo el mundo quiere aprender y aprovecharla. Pero pronto surgirán voces que querrán frenar su avance, como los antiguos luditas, que reclamarán un regreso a tiempos más simples. Lo estamos viendo ya en eventos como el Salón del Cómic de Barcelona, donde los dibujantes han comenzado a manifestarse contra la IA.
Sin duda, somos espectadores (y protagonistas) de momentos importantes en la historia de la humanidad.
La AGI será desarollada y entrenada, por todo aquel que disponga de los medios necesarios, para conseguir más poder en detrimento de todos los oponentes.
Si alguien tiene alguna duda … -«Era un hombre tan pequeño tan pequeño que no le cabía ninguna duda»
Si entendí bien: «(..) cuanto más peligrosa sea una tecnología (…)», no. Más bien, ‘cuanto más peligroso sea el uso que el ser humano pueda hacer de una tecnología ‘ ¿No?
Correcto
«La hipótesis Terminator» para mi no deja de ser un miedo más de los humanos, un defecto de fábrica que parte de la idea de que todo ser vivo va a adoptar la misma actitud que nosotros. La película «Arrival» es perfecta para reflexionar sobre el tema.
A mi es ese defecto de fábrica lo que más miedo me da. El saber que por mucho que se eduque, se intente prevenir o mitigar las consecuencias negativas de esta tecnología, entre los humanos siempre habrá alguien que quiera llevar a su país a ser «la 1ª potencia mundial», a ser el rey de la selva e imponer su visión del mundo al resto, o simplemente a ganar cualquier ventaja sobre los demás.
Sin lugar a dudas el mayor peligro actual es el uso que se pueda hacer de la AGI. Desde un punto de vista racional, sería incluso el único motivo por el que una AGI podría ponerse en nuestra contra. Que nos encanta el cine en que una inteligencia superior intenta sobrepasarnos pero terminamos ganando «porque somos lo más», pero ahí está de nuevo el defecto de fábrica: lo que hace que una historia como la de «The Matrix» sea más ficción que ciencia. Por lo demás, la película de ciencia-ficción más verosímil que hay.
Hablar de la AGI es la versión moderna de hablar del «sexo de los ángeles».
Creo que decir «No es lo mismo la ósmosis de la praxis que la entelequia irreciclable del guarismo inapetente» contiene más significado que cualquier texto sobre la AGI, que es pura entelequia. Pero lo peor es que no sé que hacemos dándole pábulo a cosas que solo sirven para inflar rondas de financiación de ciertas compañías. En fin…