Llevaba algunos días encontrándome artículos interesantes que pensé que podían ayudar a entender algunos temas relacionados con el machine learning y sobre los que me parecía que podía escribir, pero se me han ido acumulando, de manera que creo que lo mejor puede ser reseñar varios de ellos en una sola entrada con algunos comentarios al respecto.
El primero de ellos, «The dark secret at the heart of AI«, lleva a cabo un muy buen trabajo a la hora de explicar la «teoría de la caja negra«, que hemos comentado aquí en varias ocasiones: a medida que los algoritmos de machine learning se hacen más y más sofisticados, la posibilidad de que una mente humana entienda los procedimientos que utiliza para llegar a un resultado determinado se hacen menores, lo que nos lleva, en último término, a tener una caja negra que genera resultados que podemos poner a prueba únicamente en función de su calidad, sin entender cómo se llega a ellos. Si entrenamos un algoritmo con todo el historial de créditos concedidos y denegados por una entidad, por ejemplo, con el fin de que tome decisiones en el futuro que hoy tomaría un comité de riesgos, terminaremos por tener una caja negra de la que salen decisiones que podremos contrastar en función de la calidad de los resultados (si reduce el número de créditos concedidos y no devueltos, la daremos por válida), pero seremos muy probablemente incapaces de entender cómo llega la máquina a cada decisión: su funcionamiento será una caja negra en cuyos resultados confiamos en función de sus resultados.
Esto nos lleva otra cuestión: dado que cuando alimentamos un algoritmo, lo hacemos con todos los datos que tenemos disponibles y que, según nuestro razonamiento humano, contribuyen al resultado, lo que nos encontramos es que los progresos del machine learning redefinen el concepto que tenemos de inteligencia humana, y alteran nuestras percepciones de lo que podemos o no podemos hacer. El punto de partida para la máquina es lo que como humanos somos capaces de entender, a partir de ahí, todo es terreno inexplorado y métodos que requieren una potencia de cálculo de la que nuestro cerebro, sencillamente, carece. Así, cosas que hoy nos parece normal que haga un humano, las iremos viendo como absurdas a medida que sea una máquina la que las hace, y cosas que una máquina es capaz de hacer nos irán pareciendo cada vez menos sorprendentes y más normales. Muy pronto, el chatbot se habrá convertido en el estándar para el servicio postventa y para muchas cosas más como «explicarnos» las noticias, y la primera época de desencanto y decepciones dará paso a un momento en el que realmente, como les ocurre a las generaciones más jóvenes, preferiremos hablar con robots a hablar con personas, porque no solo nos darán un mejor servicio, sino que además nos eliminarán la sensación de estar «molestando a alguien» al otro lado (del mismo modo que un enlace no «se queja» ni «nos contesta mal» si hacemos clic en él diez veces). Simplemente, que sea un algoritmo conversacional el que te atiende cuando tienes cuestiones relacionadas con el producto o servicio de una compañía pasará a ser «lo normal», y veremos como «del siglo pasado» cuando había personas dedicadas a hacer ese servicio.
Del mismo modo, habrá actividades que serán pronto algo del pasado, sean programar semáforos para evitar atascos, llevar a cabo decisiones de inversión o diagnosticarnos una enfermedad, y nos parecerá «raro» o «primitivo» pensar que esas actividades eran antes llevadas a cabo por una persona. Lo de sustituir a los conductores de taxi o de camión será visto como algo tan obvio, que nos parecerá increíble – y peligrosísimo – que esa actividad fuese desarrollada antiguamente de manera manual. ¿Significará eso que muchas personas que hacían ese trabajo se vayan directas al paro? Posiblemente, pero la solución no estará en poner impuestos a esos robots que han pasado a desempeñar esas actividades, sino formar y entrenar a las personas para que sean capaces de llevar a cabo otras actividades relacionadas. Y en ese sentido, recortar las prestaciones sociales, como parece la tendencia en países como los Estados Unidos, solo puede llevar a que el problema sea peor.
Esto no quiere decir, lógicamente, que no tengamos que buscar metodologías que, de alguna manera, permitan incrementar la trazabilidad de las decisiones tomadas por las máquinas. El artículo que describe el escenario de pesadilla imaginado por Tim Berners-Lee en el que las decisiones en el mundo financiero son tomadas por máquinas que crean y gestionan compañías, completamente al margen de nociones típicamente humanas (y de difícil explicación para una máquina), como el impacto social o el bien común es, sin duda, digno de una lectura, y cita la frase de esa reciente entrevista de Vanity Fair con Elon Musk en la que hablaba del mismo tipo de peligros, de la optimización automática y de lo que podría pasar con un algoritmo que optimizase la producción de fresas:
«Let’s say you create a self-improving AI to pick strawberries and it gets better and better at picking strawberries and picks more and more and it is self-improving, so all it really wants to do is pick strawberries. So then it would have all the world be strawberry fields. Strawberry fields forever.»
¿Deberíamos, llevados por este tipo de miedos, detener el desarrollo de este tipo de tecnología? Claramente no. Detener la tecnología es completamente imposible, lo único que podemos hacer es avanzar el conocimiento relacionado con su desarrollo para intentar poner coto a escenarios con ese tipo de consecuencias. Siempre, en algún garaje o en algún país con incentivos suficientes para ello, surgiría alguien dispuesto a poner a prueba esa tecnología, probablemente con más ganas aún si de alguna manera artificial se pretendiese detener esa tecnología.
¿Te gusta dibujar? ¿Se te da bien? Pues prueba a dibujar cuando un algoritmo intenta averiguar qué quisiste expresar con tu trazo, y te propone formas de representarlo.
Piensa en lo que ese algoritmo hace, ponlo a prueba, y plantéate que lo que estás viendo es solo el principio, cuando acaba de empezar a aprender a hacer esa tarea. Imagínatelo dentro de un tiempo, cuando no solo muchas más personas hayan experimentado con él, sino que además, cuente con muchas más representaciones alternativas propuestas por más artistas, en distintos estilos y con diferentes posibilidades. Y solo hablamos de un algoritmo relativamente sencillo de reconocimiento de patrones. ¿Lo vas entendiendo?
This post is also available in English in my Medium page, “Understanding concepts in Machine Learning»
A mí me parece fundamental lo de la trazabilidad, como bien dices. Que, aunque no seamos capaces de entender el razonamiento de un principio, al menos fuéramos capaces de poder llegar a él de alguna manera. Quién sabe, quizás así nosotros también podríamos ‘aprender’ la lógica de las máquinas.
Hace tiempo que existe un ejemplo de esto en el mundo del tenis. Cuando un jugador solicita el ‘ojo de halcón’, todos (árbitros, jugadores, espectadores) confían a pies juntillas en el fallo de la máquina; pero no hay forma de evaluar esa decisión porque los realizadores de TV no emiten repeticiones de la jugada cuando un jugador solicita el ‘ojo’.
Voy a preguntar algo que puede parecer una obviedad en un sitio como este, pero, ¿los estudiosos del machine learning han previsto o calculado la probabilidad de que la máquina aprenda tanto que se convierta no ya en superior, sino en amenazante para el ser humano? Sí, me refiero a las distopías futuristas tipo Terminator, Matrix, Yo robot (la película, con los efectos de la transgresión ‘lógica’ de las presuntamente protectoras leyes de la robótica) y tantas otras.
Es alli donde la Ley Cero de la robotica ( muy subvalorada por cierto) adquiriria un valor supremo. Sin embargo; Como la definirian los algoritmos??
https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence
Yo tampoco he estudiado mucho el tema pero no hablamos de las 6 puertas logicas, hablamos de mente que es algo mas, ni se sabe … lo que yo me figuro que si una «mente artificial» no tiene que tener un cuerpo que sienta hambre, ni funcion sexual que es para alguna escuela de sicologia de Freud y demas la funcion central de la mente, ni envidia, …
si no le interesa las chicas guapas, ni el oro, ni tener un coche mejor que el vecino, ni necesita salir a tomar unas copas el sabado ni salir de compras ni consumir para distraerse ni invadir un pais etc etc …
para empezar no compite con el Humano y yo estoy porque no le interesaria nada de lo suyo, entonces no hay guerra ni problema, simplemente serian «mentes superiores que viven en otro plano» y ni siquiera podriamos comprender sus motivaciones, lo mas que puede ocurrir es que le pida que resuelva un problema y con su libre albedrio se niegue y ya esta, hombre si va a sabotear los semaforos se le corta la electricidad y ya no funciona hasta que inventen otra mejor
«habrá actividades que serán pronto algo del pasado»
Habría que definir qué se entiende como «pronto», pero al margen de que la IA o la tecnología en general hagan posible en un momento dado hacer algo de manera mejor a la del «siglo pasado», luego está que la gente quiera usarlo o quiera cambiar sus rutinas de «toda la vida» (y las empresas, a día de hoy, solo son «gente»).
Yo encuentro resistencias formidables al cambio en la mayoría de personas que conozco con cosas que ya están disponibles. E incluso los que somos más proclives a la experimentación tenemos unas inercias en nuestras rutinas mentales que casi ni nos dejan pensar en formas alternativas de hacer las cosas, salvo que nos veamos en la necesidad.
Ayer mismo pensé en esto, porque recibí por correo electrónico un contrato que tenía que devolver firmado. Lo primero fue la sorpresa de que fuera un documento Word que en el que podía modificar las cláusulas a mi antojo (otra inercia del pasado, incluso siendo la empresa una editorial americana que debería saber más de documentos electrónicos). Mi primera reacción fue imprimirlo, firmarlo, escanearlo con la app del móvil y enviarlo. Pero en mi empresa uso una Surface Pro mía, y no tengo configurada la impresora (tampoco tengo boli, pero mi compañero sí..). Intenté configurarla hace semanas para casos como este y desistí porque mi ordenador no es «corporativo» y la instalación y configuración del driver parece más para lanzar misiles que para imprimir una hoja en grises. Así que la dejé sin instalar, a ver qué pasaba sin tenerla ni para casos de emergencia. Me acordé de ti «imponiendo por decreto» la retirada de todas las impresoras en la administración :-)
El caso es que pensé cómo se haría esto aprovechando la tecnología que tenía a mano y vi una posibilidad: abrí el Paint, firmé en la pantalla táctil (con color azul, para dar más el pego), recorté la firma, la inserté en el documento Word del contrato, lo envié a ver si colaba y… me lo aceptaron. Y luego pensé en la firma electrónica supranacional… nos queda mucho camino como digo siempre, así que de momento he guardado la imagen de la firma para futuras ocasiones, y estoy por escanear la del DNI y que a partir de ahora sea la única que reconozca como mi firma manuscrita…
Esta entrada en tu blog, me ha hecho recordar un relato de Isaac Asimov, en el que desarrolla el tema de ‘robots’ que cometen fallos, y que no se explica el ser humano. Estos fallos, acaban siendo decisiones deliberadas de las máquinas, en busca del resultado más óptimo.
«The Evitable Conflict». Isaac Asimov.
Puede sonar feo, pero, ¿realmente vale la pena reentrenar a gente sin disposición y que solo espera recibir un subsidio? No es un secreto que los pobres siempre han sido el lastre de las sociedades humanas. ¿No va siendo hora de aprovechar el boom tecnológico para ir purgando la sociedad de un grueso de individuos indeseables (musulmanes, perezosos, negros, etc)?
Ese comentario sí que necesita una purga…
Uff, Juan… no es que suene feo, es que tiene un tufillo a extrema derecha que apesta.
Habría que analizar las razones por las que existen una gran cantidad de pobres y porqué han llegado a esa situación… un niño que nace en un barrio pobre seguramente nunca pueda salir de ahí, así que no es su culpa haber nacido en un bario así…
No sé qué obsesión tienes con los negros, pero la mayoría de ellos trabajan mucho más que tú (no te creas el cliché de las pelis y series americanas).
Y por favor, ten la humildad de cerrar la boca porque eres uno de los afortunados que tienen un trabajo.
¿Porqué son indeseables los musulmanes?, conozco varios y son un encanto de personas: no generalices.
De tufillo nada, es un comentario xenófobo. Sorprende que haya pasado el filtro de moderación. Ah!… que el filtro aun no usa AI? Eso lo explica todo ;-)
En cuanto al problema de la caja negra y la trazabilidad, con lo que sé diría que es en gran medida una batalla perdida: es pretender entender las decisiones que toma alguien más ‘inteligente’ que tú. Tienes en tus manos toda la ingente información con la que la máquina ha aprendido pero esa información está tremendamente comprimida, se ha traducido en reforzar o debilitar las conexiones de la red neuronal de forma muy sutil.
No me parece un problema tan grave, constantemente estamos tratando con personas que a todos los efectos son cajas negras, cada una tiene su propia red neuronal y ha sido ‘alimentada’ con diferente información (educación, vivencias…) y no sabemos de antemano la respuesta que nos darán ante ciertas situaciones. Cuando dejamos un asunto importante en manos de un profesional, confiamos en que su experiencia y conocimientos le sean útiles para resolver nuestro caso mejor de lo que lo haríamos nosotros. Lo mismo ocurrirá con estas IA, aunque puntualmente se puedan equivocar, será mejor dejar ciertas decisiones en sus manos
Y enlazo eso último con los peligros que se han comentado: aunque la máquina pueda tomar ocasionalmente (y tomará) decisiones que no nos gustan, la clave está en el poder de acción que le otorguemos: por muy inteligente que seas, si no puedes actuar, influir, convencer, etc. no vas a poder cambiar muchas cosas. Necesitaríamos llegar a un nivel de IA general muy alto y darle gran libertad de acción para que haya un riesgo real de llegar a esos escenarios apocalípticos tipo Strawberry Fields Forever.
constantemente estamos tratando con personas que a todos los efectos son cajas negras,
Observación realmente brillante. Si cumplimos órdenes de un jefe y no tenemos ni idea de cómo ha llegado a la decisión que ha tomado, ¿Creemos que vamos a tener problemas para obedecer órdenes de un aparato que ha demostrado múltiples veces que es mejor que tu en la función.que tiene asignada?.
¿Hay alguien que dude de la cuenta del supermercado?. ¡Si hay un error en la cuenta de quien pensamos que es el fallo, de la cajera, o del programa?
Además de los ejemplos internacionales del artículo, hay experiencias en España poco conocidas del uso de algoritmos «caja negra» para la predicción del consumo del agua de una ciudad a 6 días vista y otro algortimo que predice el consumo a 18 meses vista. Lo tenemos en la ciudad de Alicante y el resultado es realmente asombroso. La primera reacción cunado se ponen en marcha estos sistemas de AI es de incredulidad y desconfianza total porque «siempre se ha hecho así» o «las personas tienen más conocimiento que las máquinas»
Respecto a la teoría de la caja negra, me parece débil, precisamente porque una red neuronal no es una caja negra, sino que se puede examinar en todo momento su funcionamiento interno hasta el último detalle. Para que las redes neuronales más avanzadas llegasen a ser como una caja negra, su funcionamiento tendría que ser algo tan complejo que no pudiéramos llegar a comprender nunca, por más que lo estudiásemos, pese a que no solo podemos examinarlo, sino también variarlo a placer.
Por tanto, la situación «estilo caja negra» que actualmente se da en muchos casos creo que es algo temporal, fruto de que el deep learning ha conseguido avances espectaculares en los resultados en los muy últimos años. Muchos equipos de investigación se han centrado más en mejorar los resultados que en comprender el funcionamiento interno de la red neuronal durante y después del aprendizaje.
Pienso que cuando una determinada funcionalidad (por ejemplo, el diagnóstico médico) lleve ya tiempo siendo algo conseguido, entonces la investigación se centrará más en entender cómo se alcanza el resultado, y que verdaderamente vamos a ser capaces de comprenderlo.
Un detalle importante. Una vez una red neuronal ha aprendido a hacer algo (es decir, una vez los pesos de las conexiones entre neuronas alcanzan unos valores que proporcionan resultados acertados), esa funcionalidad puede ser reproducida en un circuito especializado mucho más barato y rápido que la red neuronal. Por eso el alcanzar resultados cuanto antes está siendo tan importante.
Incluso si no entiendes por qué un conjunto determinado de pesos funciona tan bien para realizar una cierta tarea, el conocer cuáles son esos pesos es como si hubieras descubierto una mina de oro. Y resulta que hay un montón de minas de oro ahí fuera, esperando a ser descubiertas.
Es cierto Krigan que estrictamente no se trata de una caja negra pero se utiliza la expresión para dar a entender que la salida que producen no hay manera de trazarla o comprender exactamente por qué se ha producido, dado que esos pesos de las conexiones que comentas son el resultado de un montón de operaciones matemáticas que se han efectuado con toda la información de aprendizaje. Puedes tener por ejemplo millones de números como entrada para el aprendizaje que al final se resumen en unos pocos cientos de números que representan esos pesos de la red neuronal.
Supongamos que queremos enseñar a una IA a diferenciar perros de gatos en imágenes. Le damos miles de imágenes que contienen un perro o un gato y etiquetadas correctamente para que ‘aprenda’. Tras el periodo de aprendizaje le damos otras imágenes diferentes y lo que tiene que decirnos es «perro» o «gato». Si le hemos enseñado con imágenes adecuadas y las imágenes que le pedimos que valore son relativamente parecidas a las del aprendizaje, veremos que lo hace bastante bien. Pero supongamos que en una imagen se equivoca: ¿Cómo sabemos por qué se ha equivocado? No hay manera de saberlo, no hay realmente una explicación buena aparte de que probablemente no le hayamos enseñado suficientes imágenes parecidas a esa, no tenemos más que un conjunto de números (pesos) que son el ‘resumen’ de todo lo aprendido. Esos pesos tampoco se corresponden con características que pueda identificar en las imágenes (colores, formas, tamaños…) sino que son una mezcla de todo, toman en cuenta incluso características que consideramos irrelevantes para identificar una imagen como perro o gato, como puede ser el color del suelo en el que aparece el animal.
Ésto último hace que por una parte la IA tenga en cuenta características que se nos escapan y pueden ser relevantes para lo que queremos, pero por otra parte ante la imagen de un gato puede acabar diciendo que lo que ve es un perro porque todas las imágenes de perros con las que ha aprendido eran sobre un suelo negro y la imagen sobre la que le hemos preguntado tiene un suelo negro en el que aparece un gato. Para alguien que intenta trazar lo ocurrido puede ser dificilísimo (o imposible) darse cuenta de la razón.
Lo que sí se puede hacer es reforzar el aprendizaje tras detectar errores, con lo cual se puede ir refinando el sistema para que acierte cada vez más veces.
Creo que has puesto un buen ejemplo. Supongamos que hay un gran valor económico en distinguir entre perros y gatos (como sin duda lo hay en los diagnósticos médicos). Así que los investigadores de la empresa Acme, para mejorar el porcentaje de aciertos, lo que hacen es meter más capas de neuronas, y alimentar a la red neuronal con más y más imágenes de ejemplo.
Todo lo cual es bastante costoso (se necesita un sistema informático lo más potente posible), y lleva tiempo. Además, acabas teniendo una auténtica multitud de pesos. Y Acme es una empresa, esta revolución de los últimos años está siendo protagonizada por empresas, no por organismos de investigación sin ánimo de lucro.
El caso es que consiguen un porcentaje de aciertos de casi el 100%. ¡Bingo! La empresa Acme va a ganar un montón de pasta a base de comercializar esta prestación. Una vez determinados los pesos adecuados, se puede incluso construir un barato y rápido circuito especializado en esa función. O extender el sistema para que además distinga entre vacas y ovejas (más dinero a ganar).
La cuestión es, ¿resulta imposible para la mente humana el llegar a darse cuenta del efecto del suelo negro que decías? Sin duda es difícil, hay multitud de pesos, pero toda la red neuronal es trazable, y además podemos variar los pesos para ver qué pasa, o mirar qué pesos se ven afectados por tal o cual subconjunto de imágenes.
Lo que digo, en esencia, es que a Acme lo que le interesan son los resultados, no la comprensión del funcionamiento interno de su propia red neuronal. Pero más tarde, con más tiempo y un interés más académico que comercial, ya llegarán otros investigadores que descubrirán el artefacto del suelo negro, y tal vez incluso alguna característica relevante que se nos escapa (el pelo de los gatos, ¿es más brillante que el de los perros?).
Lo he centrado en el interés económico de la proverbial Acme, pero seamos honestos. ¿Qué nos interesa más? ¿Que desaparezcan cuanto antes los atascos con un control de semáforos por IA? ¿O comprender primero por qué los pesos de esa IA evitan los atascos? Ese efecto «estilo caja negra» es sobre todo un reflejo de nuestros intereses, estamos priorizando los resultados frente a la comprensión.
Krigan, tal y como lo veo, el ser humano no podrá comprender muchos de los resultados de la IA. Da igual que todo sea trazable y podamos saber cómo se ha calculado hasta el último bit: una cosa es conocer cómo ocurre un proceso y otra muy diferente entender y explicar en términos humanos el por qué del resultado final del proceso. Por simplificar: si hay 100 variables que la máquina tiene en cuenta y combina para determinar un resultado, ¿cómo vas a dar una explicación humanamente comprensible de por qué ha dado ese resultado? Puedes jugar con los pesos, las variables de entrada, etc. pero no llegarás a una explicación que puedas decir que has comprendido.
En el enlace que ha puesto Enrique en su comentario, se habla del problema que tienen los bancos para aplicar IA a la decisión de conceder tarjetas de crédito o hipotecas a clientes, porque la ley dice que hay que darles una razón por la cual se les ha denegado, y claro, con la IA no hay manera de dar una buena explicación. La IA ha podido tener en cuenta variables que a nosotros se nos escapan o nos parecen irrelevantes pero que con toda la información que tiene considera importantes (y lo son).
Da lo mismo si las variables son 100 o 100 millones, lo que importa es si se puede aplicar el reduccionismo a la hora de explicar un sistema.
Cualquier porción de un gas, incluyendo el aire que respiramos, se compone de muchos millones de moléculas, cada una con su propio vector de velocidad (3 variables para la dirección, y una más para el módulo (a qué velocidad va)), y su propia posición (otras 3 variables) en un instante dado, continuamente chocando entre sí, con un cambio radical del vector de velocidad en cada choque.
Sin embargo, el comportamiento de los gases en un amplio rango de condiciones se puede explicar mediante la sencilla ley de los gases perfectos, con solo 4 variables y una constante (PV=nRT), la cual es deducible aplicando reglas estadísticas y algunas suposiciones de simplificación.
Es solo un ejemplo entre muchos miles. El enfoque reduccionista es cosa cotidiana en ciencia. ¿Existe la garantía de que también sea aplicable a la IA en todos o la mayoría de los casos de supuesta caja negra?
No, no hay ninguna garantía a priori, pero ya señalé las razones que hay para pensar que esos casos «estilo caja negra» tienen que ver más por cómo han ocurrido las cosas (avances espectaculares muy recientes, más interés en los resultados que en la comprensión) que con algo inherente a las redes neuronales profundas.
Por tanto, dado que los bancos tienen la obligación legal de comprender, y que hay mucho interés económico en alcanzar esa comprensión (se pueden ahorrar una pasta gansa en salarios), no me cabe ninguna duda de que en pocos años los bancos sí van a comprender el funcionamiento interno de sus redes neuronales. Ya verás cómo los créditos acaban siendo concedidos (o denegados) por una IA.
Krigan, es que te agarras a la improbable existencia de un reduccionismo aun mayor (si te fijas la propia red neuronal ya es la aplicación de un fortísimo reduccionismo) que es muy difícil demostrar que no existe.
Coges de la física el ejemplo de los gases ideales, cuando probablemente la realidad de la cuestión que tenemos entre manos se parezca mucho más al problema de los tres cuerpos o al doble péndulo, es decir, conocemos las leyes con total precisión pero el resultado en la práctica es impredecible (teoría del caos).
Asier:
No veo por qué mi afirmación (que se puede aplicar el reduccionismo en todos o la mayoría de casos) tiene que ser más improbable que la tuya (que no es posible en ningún caso).
Estás prediciendo que nunca conseguirán comprender algo que es muy reciente, de tan solo unos pocos años, pese a que la motivación era más obtener los resultados (que es donde está la plata) que el comprenderlo.
De hecho, los 2 últimos ejemplos que has puesto (3 cuerpos y doble péndulo) son casos perfectamente explicados. Otra cosa es que se puedan predecir sus movimientos a lo largo del tiempo, pero una cosa es predecir estados futuros y otra muy distinta es comprender el funcionamiento de un sistema. En tus 2 ejemplos, lo comprendemos muy bien.
Reitero lo dicho. En pocos años los créditos serán aprobados (o rechazados) por una IA. Y ya no solo por los salarios, sino también porque la capacidad de dar un crédito al consumo de forma instantánea, sin esperar a que un lento humano tarde horas o incluso días en examinar los datos, puede ser una mina de oro en sí misma, con tanto comprador compulsivo como hay por ahí.
Krigan, creo que aquí lo dejo ya, no creo que los comentarios de este blog sean el lugar adecuado para extenderse demasiado en el asunto, ya he expuesto mi posición y argumentos.
Los ejemplos de la física que he puesto son los que encuentro de mayor semejanza/paralelismo con el caso de la IA, y por contrastar con el ejemplo que has puesto tú: el tener que explicar el resultado que da una IA ante una entrada podría ser un problema parecido a tener que predecir una situación futura (respuesta del la IA) de un sistema físico complejo pero de leyes conocidas (los cálculos para obtener los pesos a partir de los datos de aprendizaje) partiendo de ciertas condiciones iniciales (la entrada que le metemos).
Y yo no tengo tampoco ninguna duda de que los bancos aplicarán IA para conceder créditos o tarjetas, otra cosa es que la explicación que le den al cliente que se la deniegan sea toda la verdad :)
Asier:
No, porque el problema planteado no es ese. Nadie pretende predecir los pesos que tendrá la IA después del aprendizaje, ni predecir la respuesta de la IA ante una nueva entrada, sino el saber por qué los pesos, acabado el aprendizaje, son los que son.
Por ejemplo, unos pesos podrían corresponder a la diferente forma que tiene el interior del ojo en perros y gatos, otros determinarían la posición de los ojos en la imagen, y «conducirían» a las neuronas con los pesos anteriores, etc.
En realidad, diseñar y entrenar una red neuronal es simplemente una forma distinta de programar. En la programación tradicional las reglas a seguir son explícitas. Cabe esperar que en una red neuronal ya entrenada haya reglas implícitas en los pesos.
De hecho, en las redes neuronales más simples las hay. Es posible entrenar a una red neuronal para que se comporte como una puerta lógica (una NAND, por ejemplo), y en esos casos tan simples es trivial comprender por qué los pesos acaban siendo los que son.
Dado que es una obligación legal, sería peligroso para los bancos el mentir en esto. De hecho, están ya tratando de explicar los pesos. En caso de no conseguirlo, veo más probable que los bancos traten de cambiar la ley.
Lo siento Enrique, pero el gnosticismo y las ciencias de la computación no se llevan bien.
Actualmente existe un fenomenal hype sobre la AI y algunas teorías ‘neohumanistas’, que en algunos casos la dotan de característica esotéricas, convirtiendo esas tecnologías en una especie de creencia de aspectos incognoscibles, como tantos y tantos eslóganes de esa Nueva era Tecnológica. Y lo cierto es que no, no hay ‘Cajas negras’ con consciencias dentro.
Creer que los sistemas de AI consisten en una caja negra al margen de la racionalidad humana, es una forma de pensamiento mágico, que está muy bien para la literatura, pero que no es real. El mismo artículo que citas, se regodea en los aspectos metafísicos de esa supuesta madeja indescifrable, y la única razón que alega, es la ignorancia al respecto su funcionamiento de quien escribe.
De verdad, que yo siento mucho que haya gente que tenga sentimientos de trascendentalidad ante su propio desconocimiento sobre el palabro que supone el término ‘Inteligencia Artificial’ como denominación de algunas tecnologías., y sobre cómo funciona una red neuronal, pero es que no.
Es el mismo misterio inexplicable que para cualquier lego pueda tener las razones por la que un avión vuela, o como un reactor nuclear produce energía, o pensar que el LHC acabará con el mundo.
Es un auténtico fastidio, el como las especulaciones y la mitificación sobre el funcionamiento los algoritmos se convierten en una teoría pseudoreligiosa. Todos los algoritmos son transparentes en su funcionalidad y, con toda la autonomía que puedan demostrar a la hora de resolver un problema, son perfectamente trazables, como cualquier sistema computacional.
El término BlackBox se utiliza en ingeniería como una forma de conceptualizar un dispositivo que implica un mecanismo opaco, pero se ha convertido en una especie de explicación a cualquier suposición metafísica sobre la tecnología.
Es el mismo uso que le puede dar un trilero para explicar la teleportación. No ves la bolita, ergo se ha teletransportado. y ¡Hala!, ya está explicado el misterio de la bolita.
También podríamos decir que el motor de nuestro coche es una ‘Blackbox’, porque no sabemos cuál será la temperatura final resultante de la reacción exotérmica del circuito del combustible.
Pero no, no hay enanitos dentro del motor, como te confirmará cualquier mecánico, y seguramente aunque lo desmontase, algunas personas aún sospecharían del enanito oculto en el carburador.
Que además saque el tema de las bacterias ‘conscientes’, ya te da una pista de que el autor ha hecho de ese misticismo sobre la AI una forma de Diseño inteligente computacional, aderezando elementos aislados de investigación, con conjeturas, y así sembrar con ellos el terreno de la especulación.
Te lo vuelvo a repetir; nada que venga de la pseudoteología de la Singularidad, puede tomarse en serio o dotársele de la consideración de teoría plausible, ni de verdad científica constatable.
En el Singularityhub tienes un montón de artículos del mismo autor, y ninguno, tiene un fundamento científico, sino que aparentando un reflexión informada sobre una tecnología en estado incipiente o suficientemente llamativa, se convierten en pura especulación sobre teorías posthumanistas dotándolas de apariencia de cientificidad.
Yo respeto tus creencias, Enrique. Y las de Elon Musk sobre inteligencias artificiales malvadas y con motivaciones ocultas, o incluso el temor de Berners-Lee sobre la autonomía de la toma de decisiones (se ve que últimamente no se ha puesto al día sobre Trading de alta frecuencia), que da una idea de lo profundamente arraigado que está ese temor a un ‘Deux In machina’.
Pero son sólo eso; temores, supersticiones y predicciones a futuro fiado, fruto del cientificismo como lo son la homeopatía, la sensibilidad a la radiación electromagnética, los antivacunas, el creacionismo y otras teorías pseudocientíficas, que se convierten una forma de explicación del mundo para personas que desconocen el trasfondo de esas tecnologías.
No, Enrique, el horóscopo y las constelaciones no tienen base científica, aunque exista la astrofísica, porque son cosas diferentes.
Las personas que desconocen estos temas por su complejidad, y que no tienen una formación adecuada, consumen esa información basura y se las creen, y las adoptan como teorías científicas igual que podrían dar verosimilitud a cualquier otra conjetura al ser repetida en boca de personas a las que se considera expertos en otras áreas.
Ps: Lo del hype de la AI como la Fake News tecnológica de 2016 lo dicen en The Register.
–
The AI Misinformation Epidemic
‘Artificial Intelligence’ was 2016’s fake news
The Hype—and Hope—of Artificial Intelligence
Don’t believe the hype when it comes to AI – Wired
Ainssss, esas afirmaciones y esos adjetivos calificativos tan categóricos… «The financial world wants to open AI’s black boxes«. Está claro que estamos rodeados de imbéciles (y el único listo eres tú :-)
No, Enrique, pero sí soy de los que piensan que los algoritmos y el Machine Learning no «work in mysterious ways» y que no hay nada de misterioso en el Deep Learning que se escape al entendimiento, más bien todo lo contrario.
Cualquiera que esté familiarizado con la matemática básica de ese tipo de algoritmos evolutivos, como las cadenas de Markov, o la programación estocástica, sabe que cualquier proceso es trazable y solo requiere de un código de depuración que permite contemplar el desarrollo de cualquier capa de computación subyacente, de cualquier un algoritmo de aprendizaje no supervisado.
Lo que me cuesta entender es, cómo es posible que produzca preocupación la opacidad de una cosa tan transparente como una red neuronal, y nadie se haya preocupado hasta ahora de la opacidad de innumerables algoritmos que ya nos rodean.
Precisamente, la asimilación de una técnica con el razonamiento autónomo, por llamarlo así, sea lo que provoque ese temor ancestral al “Moderno Prometeo” de Frankenstein, que se oculta una caja ‘negra’.
(Disfruto un montón de los Shelley-Wollstonecraft)
Y yo creo que es miedo a lo desconocido y una proyección de los temores más ancestrales al monstruo en el armario. O sea, ignorancia y superstición sobre las cualidades mágicas de los algoritmos ‘inteligentes y misteriosos’.
Si le añades clones, la oveja Dolly y ébola, ya tienes la película de terror de la década.
Simplemente, creo que la ignorancia no justifica el miedo. Y que no hay cajas negras mágicas que en las que se oculten algoritmos taimados, acechando para dominar el mundo.
Contra – ‘Una compleja gramática de números hace que las empresas conviertan datos en dinero’ – como los califican en titulares alarmistas en la prensa, lo que cabe es la alfabetización, no la elucubración.
Ni la siembra del temor alimentando la visión de una naturaleza misteriosa, como si las vacunas creciesen en los arboles y las hiciesen …¡Computadores plegando proteínas! brrr. ¡Qué miedo!.
–
How algorithms shape our world – TED
R.U.R. La rebelión de los Robots
Más evidencias de cajas negras…
«Artificial Intelligence has to deal with its transparency problems»
No sé como a Musk no le da vergüenza ir soltado este tipo de estupideces reductio ad absurdum en público, aunque sea en una revistucha como esa que tiene el tipo de lectores que tiene, y todo para poder hacer un chistecillo con la canción de los Beatles.
Y aunque la IA de las fresas tuviese a su alcance todos los recursos materiales para llevar a cabo su propósito de plantar fresas toda la tierra (el qué se haría con todas esas fresas supongo que sería problema de otro), habría que ver qué haría cuando entrase en conflicto con la IA de las manzanas, con la IA de la cría de cerdos y con la IA de los aparatos de aire acondicionado… tal vez una guerra? Acabaría como en Los Inmortales? Solo puede quedar uno…
Lo ultimo me ha recordado a la pelicula «her», la escena donde le dice que ha hecho un dibujo sobre como se veria el tener relacion sexual si el organo estuviera en la axila, y le muestra el dibujo.
Creo que se llegará en algun momento a ese «futuro», un algoritmo sobre gustos sexuales junto a uno que dibuje según lo que se quiera, podria llegar a tal punto de hacer realidad esa escena. ¿Podria?
Lo de la caja negra es viejisimo ! Lleva ocurriendo en la informatica desde siempre. Yo empecé a programar en la facultad allá en 1982 y nadie hacia casi nada en ensamblador o máquina. A la hora abordar algoritmos usabamos Basic, Fortran o Cobol, y ni nos preocupabamos que el compilador convirtiera una simple suma suma en cuatro movimientos de registro, cuatro sumas de punteros operación suma de registros y operación me movimiento a la memoria.
Y los que ahora programan en ruby on rails hablan de la «magic» inside rails….
Pues eso, la caja negra será «magic» y habra cuatro empresas que construiran esas cajas negras. Los demas las mantendremos, alimentaremos de datos para que hagan exactamente lo que queremos.
Realmente muy interesante el artículo. El concepto de caja negra no es un termino nuevo, me atrevería a decir que siempre ha existido. Sin darnos cuenta, muchas veces estamos tratando a las personas como ‘cajas negras’.
Gracias por el articulo.
Lo q leí + lo q no, es algo que me dice que la IA es mejor que los comentarios