Nvidia anuncia en CES un pequeño ordenador de sobremesa, Project Digits, definido como superordenador personal para inteligencia artificial, con la idea de poner la potencia de su microarquitectura Blackwell con su CPU Grace, que incluye veinte núcleos de bajo consumo de energía construidos con la arquitectura Arm, al alcance de cualquier desarrollador, por un precio a partir de 3,000 dólares y con capacidad para correr modelos de hasta 200,000 millones de parámetros.
Unas mil veces más potente que un ordenador portátil estándar, pero suficientemente pequeño como para poder acomodarlo en cualquier mesa de trabajo – de hecho, recuerda mucho en su forma a un Mac Mini – y funcionar con una toma de corriente estándar, ofrece un petaflop de performance para prototipar, ajustar y ejecutar modelos de inteligencia artificial de un tamaño muy razonable, con 128GB de memoria y hasta 4TB de almacenamiento, con la posibilidad adicional de poder combinar dos máquinas para poder correr modelos de hasta 405,000 millones de parámetros, el tamaño actual, por ejemplo, del modelo más avanzado de Llama 3.1.
En el diseño de Project Digits, Nvidia ha contado con la colaboración de MediaTek, la compañía taiwanesa líder del mercado en diseños de SoC basados en la arquitectura Arm. El resultado es una máquina con una gran eficiencia energética para el rendimiento que ofrece, básicamente un superordenador personal.
Una forma de crear un mercado y demostrar que existe demanda para este tipo de máquinas, que cumple además con una importante función: democratizar el uso de inteligencia artificial y, por tanto, la demanda de sus microprocesadores al dirigirse a un mercado que si bien no es exactamente de consumo, porque todavía no estamos a un nivel en el que el común de los consumidores se dedica a correr modelos de inteligencia artificial, sí se acerca bastante a ello en términos de precio. En la práctica, Project Digits se dirige a desarrolladores, investigadores, científicos de datos y estudiantes, que podrán desarrollar y ejecutar inferencias en modelos utilizando su propia máquina, y posteriormente lanzar sin problemas esos modelos en una infraestructura acelerada de nube o en un centro de datos.
La idea es ser capaces de colocar una supercomputadora de inteligencia artificial en el escritorios de cada científico de datos, investigador de IA o estudiante para que les permita participar y dar forma sin problemas a la era de la inteligencia artificial.
Por el momento, seguramente, lo más relevante que hemos visto en el CES de este año.
This article is also available in English on my Medium page, «How Nvidia’s Project Digits is about to democratize AI«
Me encuentro petaflotado a tope… solo me falta una dosis de LSD fuertemente siliconado, para salir volando por la ventana del estudio. Ah, que tiempos los del Myflower…
Esto y la sobreexposición mediática que se le está dando al maléfico Mr. Muskhyde, al que ya solo le falta ser declarado Enemigo Público Nº1 de la Gran Hipócrita y Megarreguladora Europa, para que arrase aún más como Big Manitú Influeencer…
Este párrafo es ya totalmente masturbatorio…. «poder correr modelos de hasta 405,000 millones de parámetros»… hasta la coma anglosajona me resulta tremendamente paroxística !!!
Es bien cierto que ese guiño al Mac Mini casi me hace reservar plaza en la cola de su versión Beta+ (a mí nunca me fue el VHS!!!).
Y, por cierto, que quede bien clarito, que me estoy metiendo conmigo mismo… porque el texto me fascina.
Paráte un poquito, pibe, que yo estoy en la cola de los primeros para comprarlo, ya que, ¿qué son 3.000 euros si yo por las mañanas no me levanto de la cama por menos de 30.000?
Democratizando vengo, democratizando voy, y por el camino de la pasta gansa estafando vengo, estafando voy… (Póngase música mental de Camarón de la Isla).
¡Bonito juguete! Poder ejecutar y entrenar grandes modelos en local es de lo más interesante. En esto sí que me gastaría $3000 y no en las gafas de Apple.
En informática en general y en la AI en especial, tengo una rara sensación de vértigo y desánimo. Cuanto mas avanzo en conocimientos, mas lejos veo el horizonte.
Yo, que casi dominaba al 100% el viejo PC de IBM, creo que no sabría ni enchufar este aparato que me ofrece Nvidia. ¿Para qué podría sur este aparato?.
Para leer WhatsApp, ver YouTube, mirar el correo, acceder a contenidos web interesantes ( como este blog)…..
Como dice alguien, te serviría para llegar al infinito y más allá….
O es que la gente, saca más partido a la actual versión del office que a la de hace diez años?
;)
Al 99% de los usuarios les valdría igual usar el Bloc de Notas, la verdad, y se ahorrarían unos euros.
Para lo mismo que los millones de super ordenadores que millones de personas ya llevan en sus bolsillos desde hace años. Hacer el gilipollas en Internet con bailecitos o poner morritos frente a la cámara.
Mientras tanto, todo la fuente de conocimiento de la civilización apaleada y olvidada en un oscuro rincón.
Más tecnología más tontos y perezosos nos volvemos…. Nos dirigimos a una sociedad de borregos donde nuestra mayor aspiración sea mirar pantallas que nos entretengan y nos evadan de nuestra apatía y pereza.
Y si eso falla, tenemos el fútbol
Caray! Con esta máquina me estoy planteando cambiar radicalmente de linea de investigación y desarrollar modelos LLM a medida para diferentes aplicaciones con estos cacharritos tan asequibles!
Supongo que no habrá gato encerrado cuando se dice que ChatGPT3 (y casi ChatGPT 3.5) se podrían correr en local con uno o dos módulos de la maquinita…
Alguna sugerencia de como bajar y entrenar estos pequeños diablillos con ingentes cantidades de datos?
Me parecen una revolución total. Investigar LLMs para las masasa un coste razonablemente asequible!
Saludos!
Asumamos que realmente sacan en primavera lo que viene siendo el concepto minipc con 3000$ y 128GB de VRAM. Con capacidad de cómputo para poder ejecutar LLM de hasta 200B, claro está que le están aplicando cuantización. En espera de tener más datos técnicos lo que parece que viene es un PC con un OS con Linux que es compatible CUDA. Lo que leo entre líneas es que juntan la RAM con la VRAM, o dicho de otro modo sería la misma (esto es lo que me parece que me puedo equivocar). Y otro anuncio es que juntando 2 (no sabemos si se refieren al PC, pero lo mismo lo venden ya en un equipo con 2 chips… llegan a los 405B. Esa sinergia me da que pensar que 2 los chips unidos (128GB + 128GB) lo que realmente están haciendo es dejar fuera de uso la RAM normal a uno de ellos… y dedicarla totalmente a VRAM, pero ganan muy poquito ( 200B + 200B les sale 405B).También dicen que a estos PCs se les puede añadir GPUs y que al ser ARM consumen menos.
Lo de entrenar LLM, desde scratch, con este MINIPC pues todavía se queda corto.
Un LLM como Llama3.2 con visión (70B) o Llama 3.3 70B están disponibles para ejecutarlos por ejemplo en la plataforma GROQ. Si te convencen como funcionan, es un buen test antes de comprar el MiniPC
Está claro que el aviso de NVIDIA es un respaldo a los modelos (mal) llamados open source, que son los únicos que te vas a poder correr en local. Mientras que modelos que no estén los pesos disponibles (Claude, los GEPETOS, etc) se quedan fuera de la jugada salvo que publiquen sus ficheros.
Entrenar, va a quedar más cerca, sobre todo para empresas que quieran hacer finetuning con sus datos e incorporarlos a los modelos, en vez de usar técnicas como las que se usan hoy en día con Langchain o similares.
Torpedo en la línea de flotación para los modelos propietarios, buena noticia para Pymes y aficionados en general. Otra buena noticia es que no parece un minipc para el postureo.
Completamente de acuerdo.
En cualquier caso, NVIDIA se ha sacado la chorra y ha roto la mesa de mármol de un trompazo.
Si la GPU va integrada en placa, la propia RAM estará haciendo de VRAM. De hecho, si no lo tengo mal entendido, no es un PC con superGPU, sino una GPU a la que le añaden una CPU.
Joder con el Juan XDDDD !!!
La GPU que venga integrada será del estilo a mi PC viejo para dar soporte a un terminal y poco más. Con suerte podrá correr una GUI, pero no le hace falta. Le llamamos miniPC, cuando en realidad es un server con una arquitectura que mezclan CPU con la VRAM, no creo que CUDA sea compatible hacia atras. Lo de poner una GPU externa, pues para un científico de datos o desarrollador de IA pues no lo veo, no es una máquina para gamers. Si es compatible son unos genios estos de NVIDIA, vas a poder correr todos los desarrollos ya existentes por ejemplo de SD… los nuevos de Flux, los de video…. ahí es donde tiene un potencial increible de ventas y no solo en los LLMs locales…
Hasta ahora la IA se montaba en una gráfica de juegos, y gracias a CUDA tenía la VRAM programable. Ahora lo que tenemos es un diseño de verdad pensado para la IA.
Creo que fue en septiembre cuando MS anunció su PC Copilot y los de la manzana algo similar. ¿hemos visto esos PC o MAC en Reyes? No verdad. Un engañabobos parece que fue. Yo hasta que no vea estos MiniPC en el corte inglés (es una forma de hablar) pues muy bonito el anuncio….y bastante prometedor. Cosa que no me parecieron los de septiembre
Ojo, con los almas de cántaro, que inundan, YouTube haciéndose los gurús, ya he oido que O1 mini ( o como se llame) se va a ejecutar en estos PCs…. Pues lo primero que salga el PC a la calle, luego que OpenAI libere el modelo para bajarlo… mucho bla bla, y poco sentido común. ¿ de verdad nos interesa un O1? Como se notan los patrocinios… ( o el no tener NPI) y tener que rellenar minutos
DATOS QUE SE HAN FILTRADO:
https://arxiv.org/pdf/2412.19260
Phi-3-7B
Claude 3.5 Sonnet 175B
ChatGPT 3.5 (≈175B)
GPT-4 (≈1.76T),
GPT-4o (≈200B)
GPT-4o-mini 8B
o1-mini-2024-09-12 (≈100B)
o1-preview-2024-09-12) (≈300B) with «new AI capabilities» for complex reasoning tasks
Este último es el que se les va de madre en coste, cuando le dejan «pensar»…
Es curioso lo «endiosado» que se tiene al gratuito GPT-4o-mini cuando realmente es un 8B, similar a lo que corro en local con Llama3.2…
Los principales problemas del aficionado/profesional de machine learning son, básicamente, dos:
– Tener una máquina con la que entrenar en local y que esté perfectamente integrada con el OS y el stack.
– Tener memoria suficiente como para hacer inferencia con modelos grandes.
A primera vista, parece que esta máquina cumple perfectamente ambos.