La ceremonia de entrega de los Oscars, recién concluida hace unos instantes, me ha dejado un sabor de boca muy interesante: los galardones han ido cayendo, uno detrás de otro, siguiendo las predicciones publicadas anteriormente por los algoritmos que, el pasado 1 de marzo, publicó BigML, la compañía de machine learning en la que soy asesor estratégico. Y cuando digo «uno detrás de otro», realmente me refiero a eso: un pleno. Absoluto. Los candidatos de todas y cada una de las seis grandes categorías que el algoritmo señaló como favoritos (mejor película, mejor director, mejor actor, mejor actriz, mejor actor secundario y mejor actriz secundaria) han terminado obteniendo el correspondiente galardón.
¿Magia? ¿Suerte? No, simplemente machine learning. Había 28,125 combinaciones, lo que supone un 0.00003556 de probabilidad de acertarlas todas de forma aleatoria. El algoritmo fue capaz de predecir la intención de voto de más de 7,000 miembros de la academia. Es lo que tiene trabajar con la optimización de un algoritmo. Como ingredientes, las características de la película (duración, presupuesto, género, etc.), su evaluación en IMDB, y sus nominaciones en una serie de premios anteriores (Globos de Oro, BAFTA, Screen Actors Guild, y Critics Choice), aplicados además a la misma base de datos histórica desde el 2000 al 2017 utilizada en las predicciones del año anterior. En total, algo más de cien datos por película. Este año, se eliminaron del cálculo las puntuaciones otorgadas por los usuarios en IMDB, que el año anterior no resultaron ser importantes y que resultan complejas de adquirir. Finalmente, se evaluaron los resultados de las predicciones aplicándolos a los de las películas entre 2013 y 2016, con muy buenos resultados: los modelos fueron capaces de predecir los ganadores de cada categoría durante cuatro años consecutivos con muy pocos errores.
Cuando ves un resultado así, y además, entiendes cómo se ha obtenido, tienes una extraña sensación de predictibilidad, entre el «qué lógico es todo» y el «ya lo decía yo». En realidad, se trata simplemente de aplicar la metodología adecuada a los datos adecuados: el año pasado, ensembles. Este año, deepnets, redes neuronales profundas. Un modelo por categoría premiada, que tarda alrededor de media hora en ser entrenado probando docenas de redes diferentes en segundo plano, y que termina generando la construcción de un clasificador de alto rendimiento. Obviamente, podríamos encontrarnos una categoría en la que, por la razón que fuese, surgiese un ganador que rompiese con todas las predicciones, que ganase contra todo pronóstico… pero es menos probable cuanto más y mejores datos vas teniendo para educar tus algoritmos.
Esto no es más que un ejercicio. Muchas empresas lo hacen: todos sabemos que el objetivo de IBM, el de Google o el de la Universidad de Carnegie Mellon cuando crean algoritmos capaces de ganar al ajedrez, al Jeopardy, al Go o al poker no está en ganar esos juegos, sino en ser capaz de demostrar las posibilidades de su tecnología. El resultado está, muchas veces, sujeto al sensacionalismo o al riesgo de quedarse en lo meramente anecdótico, según cómo se cuente y cómo se lea. Pero como ejercicio, va un poco más allá de lo meramente anecdótico: puede servir para que algunos en situación de tomar decisiones empiecen a entender el tipo de cosas que se pueden hacer con herramientas como el machine learning, y las posibles aplicaciones que pueden tener a sus compañías. Repetimos: no es magia: una parte importantísima del trabajo está en la definición del objetivo, en obtener los datos adecuados, en su transformación y en todos los aspectos que hay que llevar a cabo antes de obtener un modelo y evaluarlo. Las empresas reales no suelen ser así: los datos no suelen ser fácil de encontrar, ni estar en el formato adecuado, ni poder importarse a una base de datos de manera inmediata y sencilla, ni siquiera estar completos. En muchas ocasiones, ni siquiera el objetivo está adecuadamente definido. No, no es magia, es trabajo. Alguien tiene que definirlo adecuadamente, hacerlo, y contar para ello con las herramientas adecuadas que combinen capacidad y facilidad para la interpretación. Pero cuando se tienen esos datos y esas herramientas, los resultados obtenidos tienen sentido, y pueden servir para que algunos entiendan de qué estamos hablando. Los Oscars de 2018 los ha ganado… el machine learning.
This post is also available in English in my Medium page, “And this year’s Oscar goes to… BigML machine learning«
Buen ejemplo! Muy descriptivo, coincido que el mayor problema no está en cómo programar un clasificados de ML, o qué tipo de red neuronal debo aplicar, sí no en cómo de estructurados están los datos de origen, aquí es donde se encuentra el gran reto!
En la práctica 18 muestras son poquísimas para entrenar un algoritmo y cien variables tampoco son tantas, por lo que sí debe ser evidente que todo es muy lógico. ¿Han probado con el resto de categorías o solo con las principales?
Interesantísimo. También demuestra cómo los prescriptores de excelencia en nuestra sociedad son más bien calculables y por ello mismo mediocres. Un único apunte crítico, y es de orden gramatical: por favor, «predecibilidad», de «predecir» y «predecible»; por favor, no «predictibilidad», que vendría a ser una trabajosa (y mala) traducción del inglés «predictability».
Pero, en conjunto, interesantísimo. Gracias.
Hmmm… me temo que la RAE no opina lo mismo :-)
Tienes razón, pero ahora a quien tengo que corregir es a la RAE… ¿me atreveré?
Saludos,
Lo que no llego a entender, es que esos algoritmos, indudablemente sofisticados, aciertan en cosas de escaso interés, como es acertar con los premiados de los Oscar pero fracasan estrepitosamente en temas de elevando interés crematístico. como puede ser, adivinar cuales van a ser la cotizaciones de bolsa, acertar a las quinielas o prever las leyes que aparecerán en el BOE.
¿No será que también en esos campos aciertan, pero se preocupan muy mucho que no se sepa?
Bien, para evitar esa impresión de que cualquier cosa efectuada con Machine Learning se revista de logro sobrenatural o apariencia mágica, que se produce por el conocido efecto Uncanny valley, vamos a medir con alguna matemática la dificultad de esa predicción, y así evitar el efecto «Oráculo en la Máquina» – de ahí el nombre de una las primeras y más conocidas compañías de base de datos relacionales, Oracle – .
El número de posibles papeletas ganadoras diferentes son 126, contando las 9 categorías principales y sus 4 nominaciones, si no recuerdo mal, con sus diversas permutaciones (posibilidades).
En la actualidad, existen 9 metodologías populares para el cálculo de esa probabilidad, que incluyen cosas como el análisis regresivo, etc, aunque lo cierto es, que con apostar a las dos primeras candidatas de cada categoría, hubieses conseguido acertar la mayoría de las veces en los últimos 10 años, no te digo ya, si tomas como referencia los resultados de los Globos de oro.
Es lo que se conoce como espacio muestral reducido, lo que hace que debido a lo condicionado de la muestra, el azar sea muy limitado. Es más difícil no acertar un porcentaje elevado.
Técnicamente, el Machine learning está diseñado precisamente para todo lo contrario, es decir acotar grandes espacios muéstrales, ya que en el caso de los Oscars no hay forma de evaluar el «Peso Tensor» de los factores tomados como referencia, solo inferir un grado de probabilidad.
No hay aprendizaje efectivo para cualquier otra predicción de una muestra de mayor tamaño, por ejemplo, las elecciones de EE.UU.
Es como pescar en un barril, con un montón de anzuelos y dos peces. No sabemos por qué ha mordido en uno de ellos, y no hay forma de evaluar la precisión de esa predicción.
Nada que ver con AlphaGo o similares. Con una hoja y papel sale igual. (@bensoscarmath)
Así, Grosso modo y rapidito.
Veo que lo tuyo no es ni la probabilidad ni la combinatoria :-)
Veo que has ido directamente a confundir combinatoria y probabilidad, no sé si a propósito, con el número de diferentes papeletas sin repetir ningún resultado.
Es diferente, si entiendes que el Machine Learning trata de aprendizaje realizado sobre un número de posibilidades diferenciadas, no del calculo de probabilidades de un resultado entre todas ellas.
Es un error de concepto.
No es el número de combinaciones de todos los resultados posibles, solo los que no repiten un resultado en ningún caso.
A ver, más claro. Da igual quién gane una categoría, para determinar el ganador de otra diferente. No influye.
Y por lo tanto, no es relevante para el algoritmo las combinaciones existentes de cada terna.
¿Ya se entiende la cifra? :-)
Eso no es correcto, almenos en lo que a los oscar concierne. Es muy relevante quien gana en una categoría, y puede afectar (y afecta) al ganador de otra puesto que esto son los premios de un gremio y la mentalidad es que «hay que repartirlos» para que felicidad quede distribuida entre varios individuos y no quede concentrada en uno solo que se lo lleve todo. Si ganas la categoría de actor principal, es muy posible que no te lleves el de secundario.
Estoy más seguro de que el algoritmo no tiene en cuenta ese tipo de sesgos, que de las cifras que estamos poniendo aquí, porque no tenido tiempo ni de usar la calculadora :-) (como en los viejos tiempos), pero te aseguro que en términos de probabilidad un resultado en una categoría no afecta al otro.
Las motivaciones de los miembros de la academia no entran en el cálculo; se toman datos de diferentes fuentes y se trata de predecir el porcentaje de probabilidad de cada candidatura.
En el caso de BigML, Incluso han usado un modelo diferente para cada candidatura;
«As before, we train a separate model per award category. «
Así que, cada categoría se calcula de forma diferente y por separado, que es como debe hacerse.
Por lo que he visto del panel de configuración de la aplicación, parece que sí sería posible conocer el «Weight» (peso) atribuido a cada «Anzuelo», por lo que he podido ver.
Pero es que no he tenido tiempo de sentarme a examinarlo con calma, así que el error se presupone, como en cualquier comentario rápido.
(Todavía no me sale el número de 28,125 combinaciones, p. ej. ni la configuración de la Deepnet utilizada – que incluye correcciones manuales – pero es que tengo 5 minutos por comentario por culpa del script de previsualización. Y el dataset utilizado tampoco está:
Oops!
BigML couldn’t find it. This dataset has been deleted or never existed. )
Buenas Menestro, respecto a lo que comentas de que el Dataset no está accesible, lo hemos corregido en el blog post, y ahora si está apuntando correctamente al Dataset en cuestión.
Un saludo.
Gracias, Cándido, Le echare un vistazo con tiempo. La aplicación es muy interesante para para experimentar con el panel de configuración y las diferentes herramientas de análisis de los resultados. :-)
Pues felicidades a BigML y a tí por el resultado de este trabajo. Cómo bien dices, no es tan fácil luego aplicar esos algoritmos a cualquier cosa de la que no se tenga tanta información y datos cómo en éste caso, pero bueno, váis por buen camino.
¿Habéis pensado en las quinielas de fútbol?, ahí también hay mucha documentación y datos con los que alimentar a la «bestia» ;o)
La quiniela está muy de capa caída… :-)
A lo mejor es que el comportamiento humano es mucho menos misterioso de lo que imaginamos o estamos dispuestos a aceptar, y no somos más que un atajo de borregos cuyo comportamiento no es demasiado difícil de anticipar (y posteriormente manipular si se desea) con las herramientas adecuadas, y cuanto mayor sea la muestra más fácil es predecir nuestras acciones. Si los Oscars los decidiesen 10 personas, seguramente sería imposible tanta precisión como la de BigML, pero con 7000 la cosa es mucho más accesible, y si fuesen 70 millones sería infinitamente más fácil. Antes de los algoritmos, estas cosas también se hacían, pero «a mano» y con menos precisión, seguro que había personas con sensibilidades y talentos especiales que sabían leer y entendían los comportamientos de las masas de una forma mucho más lúcida que la inmensa mayoría de los mortales… y por supuesto en muchos casos se aprovechaban de ello.
En este contexto, no extraña que una película tan poco honesta y tramposa como La Forma del Agua se haya llevado los premios gordos, ha sido milimétricamente diseñada (y copiada, llegando al vergonzoso plagio) para ganar premios y dinero gracias a que director y productores tienen un conocimiento profundo de los mecanismos del cine (eso también es big data): de lo que funciona y lo que no, de lo que quiere ver la gente y de cómo quiere verlo, de qué tipo de personajes hay que incluir, qué música hay que poner… Esto hace tiempo que dejó de ser arte, es negocio puro y duro.
Pues a ver si aprenden los cineastas nacionales (excluida Isabel Coixet), que tanta falta les hace.
Santiago Segura o Alejandro Amenábar ya lo aprendieron hace mucho, y con éxito.
Cierto, a estos dos sólo les falta ponerse a trabajar, hace años que no veo nada suyo…
Está claro que no se trata de magia… Y es mejor que sea así, porque desde la caída de Simón el mago la magia tiene sus peligros…
No, no es magia. Pero esto demuestra que estamos en una sociedad que puede estar perfectamente manipulada por tahúres tecnológicos.
Google, Facebook, Amazon… y no digamos ya instituciones como la NSA, pueden jugar con las cartas marcadas y ganar siempre o casi siempre.
Lo curioso, es que existiendo estos algoritmos existan casas de apuestas que consigan sobrevivir. O bueno, habrá unos cuantos que con esto se habrán forrado apostando a seguro, pero es que la mayoría no está en posesión del «instrumento mágico» y no habrá tenido tanta «suerte».
Hace unos meses iba caminando por la Bonanova, en Barcelona, y vi en una esquina, al cruzar un semáforo un bonito Maserati Quattroporte blanco. Dos segundo mas tarde, ya habiendo cruzado la calle, apareció frente a mi un hombre, caminando, que llevaba una sudadera blanca que ponía en el frente en letras grandes la palabra «Maserati». Y no tenia ninguna relación con el coche ni con su conductor…
Fue una extraña casualidad. Pero ¿cómo puedo hacer para calcular las probabilidades de que ocurra algo así?
Los días inmediatamente anteriores a las elecciones norteamericanas, las casas de apuestas premiaban con alrededor de un 30% la victoria de Hillary, y con un 300% la de Trump.
Los porcentajes son aproximados y variaban (poco).
Me sorprendió mucho el resultado.
Supongo que ahora nos tendremos que comer con patatas la idea de que los Oscars son víctima de la manipulación interesada de la industria.
La de Churchill ha sido una pequeña decepción por un revisionismo histórico que exonera al rey y ciertos conservadores de filo-nazismo. Si hoy R.U. y el partido conservador se rompe por el Brexit, hace 80 años una parte importante de snobs torys querían ser aliados de Hitler.
Solo la soberbia evitó la rendición, la misma soberbia que hoy les saca de la UE y les deja de primos pobres de Trump.
Sigue maravillándome como el ser humano es capaz de manejar tan bien el machine learning y fracasar estrepitosamente en el aprendizaje infantil y juvenil.
Debe ser que los algoritmos no tienen necesidades vitales y se «refugian» en zonas poco deprimidas. En un entorno de pobreza lo tendrán más difícil que en un entorno de riqueza.
A ver, ¿como que la quiniela está caída? Que nos digan cuando salen las predicciones de BigML para el mundial de futbol, y desde acá apoyamos esa quiniela, ¡faltaba más!
Los Oscars deberían emitirse en directo por YouTube, seguro que los verían cientos de millones de personas. Y deberían celebrarse el sábado por la tarde en vez del domingo por la noche. Increíble que sean tan obtusos de no ver esto, por la tele convencional y con el actual horario cada vez tienen menos audiencia.
Hay un matiz importante, y es que la predicción es sobre un resultado de votación de un grupo. Es decir, sobre un evento de por sí estadístico.
Entiendo que es mucho más fácil alcanzar éxitos ML sobre comportamiento de grupos actuando individualmente (votos) que sobre comportamientos individuales en comparación con un grupo de referencia.
Un éxito en todo caso. Enhorabuena