Nadie esperaba que Nvidia lanzara algo como GB10. Después de todo, ¿por qué comprar una empresa de tecnología que se convirtió en la empresa más rentable vendiendo productos que cuestan cientos de miles de dólares y de repente decidió vender todo el sistema por una fracción del precio?
Creo que Nvidia quiere revolucionar la informática como lo hizo IBM hace casi 45 años con la primera PC IBM.
Quizás haya llegado el momento de introducir la ley de Jensen para complementar la ley de Moore: al igualar el rendimiento de la IA, se necesitan unos 100 meses para reducir el precio por FLOP en 25.
D. Atow
El proyecto DIGITS, como recordatorio, es una súper computadora completamente desarrollada y disponible en el mercado, integrada en algo del tamaño de una mini PC. Es esencialmente una versión pequeña del DGX-1, el primero de su tipo lanzado hace casi diez años, en abril de 2016. Luego, se vendió por 129.000 dólares con una CPU Intel Xeon de 16 núcleos y ocho tarjetas GPGPU P100; Los números cuestan 3.000 dólares.
Nvidia confirma que tiene un rendimiento de IA de 1000 Teraflops con precisión FP4 (¿denso/escaso?). Aunque no existe una comparación directa, se puede estimar que la pequeña computadora tiene aproximadamente la mitad de la potencia de procesamiento que la DGX-1 de 8 tarjetas basada en Pascal.
En el corazón del Código se encuentra el SoC GB10, que tiene 20 Arm Cores (10 Arm Cortex-X925 y 10 Cortex-A725). Aparte de la obvia GPU Blackwell (una versión lite del B100), sólo se puede contar el consumo de energía (100W) y el ancho de banda (825GB/s según Register).
Debería poder conectar dos de estos dispositivos (pero no más) a través de la tecnología ConnectX patentada de Nvidia para manejar LLM más grandes, como Meta’s Llama 3.1 405B. Colocar estas pequeñas PC en un rack de 42U parece imposible por ahora porque aprovechará la ventaja de Nvidia sobre los sistemas DGX GB200.
Todo sobre el foso
¿Por qué Nvidia inició el Proyecto DIGITS? Creo que se trata de promocionar su foso. Hacer que su producto sea tan pegajoso que resulte imposible mover a la competencia es algo que funciona bien para otros: Microsoft y Windows, Google y Gmail, Apple y iPhone.
Lo mismo sucedió con Nvidia y CUDA: estar al mando permite a Nvidia hacer cosas como cambiar los postes de la portería y poner en contra a la competencia.
El paso al FP4 para la toma de decisiones permite a Nvidia ofrecer los mejores resultados, como «Blackwell multiplica por 2,5 su rendimiento líder en el FP8 para entrenar, una pulgada y 5 veces con el FP4 para pensar«. Por supuesto, AMD no ofrece informática FP4 en la serie MI300X/325X y tendremos que esperar hasta este año para que se implemente en el Instinct MI350X/355X.
Por lo tanto, Nvidia sienta las bases para futuras incursiones, a falta de una palabra o ejemplo mejor, por parte de competidores actuales y futuros, incluidos sus propios clientes (pensemos en Microsoft y Google). El objetivo del director ejecutivo de Nvidia, Jensen Huang, es claro; Quiere ampliar el dominio de la empresa sobre el ámbito de los hiperescaladores.
«La IA será esencial en todas las aplicaciones para todas las industrias. Con el Proyecto DIGITS, el Superchip Grace Blackwell llega a millones de desarrolladores, colocando una supercomputadora de IA en el escritorio de cada científico, los investigadores y estudiantes de IA los empoderan para participar y crear la era. de la IA», comentó recientemente Huang.
Aparte de cambiar el nombre de Nvidia a Nvid-ai, esto es lo más cerca que estuvo de que Huang confirmara su intención de hacer que el nombre de su empresa sea sinónimo de IA, al igual que Tarmac y Hoover antes que ellos (aunque en muchos nichos verticales).
También me sorprendió, como a muchos, la conexión de Mediatek y el motivo de esta conexión se puede encontrar en el comunicado de prensa de Mediatek. La empresa taiwanesa «aporta su experiencia en diseño de rendimiento y potencia de SoC basado en Arm a (a) herramientas de desarrollo para investigadores y desarrolladores de IA», señaló.
Creo que la asociación beneficia a Mediatek más que a Nvidia y, en el corto plazo, puedo ver a Nvidia yendo silenciosamente en solitario. Reuters informó que Huang descartó la idea de que Nvidia persiga a AMD e Intel, diciendo: «Ahora ellos (Mediatek) pueden darnos eso, y pueden guardárselo para ellos mismos y trabajar para el mercado. Por lo tanto, es una situación en la que todos ganan». «.
Esto no significa que Nvidia no ofrecerá productos más importantes, sino sólo que se centrarán en empresas y profesionales, no en consumidores que eliminan la competencia para hacerlos más competitivos (y con bordes más delgados).
El artículo de Reuters citó a Huang diciendo: «Haremos que el producto sea importante, lo respaldaremos con todo lo que hagamos para respaldar a los profesionales y el buen software, y la PC (producto de desarrollo) lo pondrá a disposición de los usuarios finales».
| Celda de encabezado: columna 0 | DÍGITOS | DÍGITOS 2,4X | DGX-1 v1 | Varianza (DGX frente a DÍGITOS) |
|---|---|---|---|---|
| Profundidad (est.) en mm | 89 | 89 | 866 un | 9.73x hacer |
| Ancho (est.) en mm | 135 | 324 | 444 un | 1, 37x |
| Altura (est.) en mm | 40 | 40 | 131 | 3,28 x uno |
| Peso en kilogramos | ~1 | ~ 2.4 | 60,8 un | 25, 35x |
| Precio USD (revisado en noviembre de 2024) | 3000 | 7200 uno | 170 100 Él | 23, 63x |
| Rendimiento GPU FP16 (TF) | 0 | 0 | 170 | Fila 5 – Celda 4 |
| Rendimiento GPU FP16 Denso (TF) | ~ 282 | un 676,8 | 680 | 1,00x cada uno |
| Rendimiento GPU FP4 Denso (TF) | 1000 | Fila 7 – Celda 2 | 0 | Fila 7 – Celda 4 |
| Memoria GPU (GB) | 128 | 307.2a | 128 | 0,42 x uno |
| Consumo máximo de energía (W) | ~ 150 | ~ 300 | 3200 | 10, 67x |
| Almacenamiento (TB) | 4 | 9.6 un | 7,68 un | 0,80 x uno |
| Familia de GPU | Blackwell | Blackwell | Pascal | Fila 11 – Celda 4 |
| Consumo de energía de la GPU (W) x8 | ~ 100 | ~ 240 | 2400 | 10x uno |
| Recuento de transistores GPU (bn) x8 | ~ 30 | ~72 | 120 | 1,67 x uno |
| Ancho de banda de memoria (GB/seg) x | ~850 | ~850 | 720 | 0,85x |
Mira en mi cristal
Una teoría que encontré mientras investigaba esta característica es que muchos científicos de datos han adoptado la plataforma Mac de Apple porque es equilibrada. Rendimiento adecuado -gracias a su memoria integrada- a un precio ‘razonable’. El Mac Studio con 128 GB de memoria integrada y un SSD de 4 TB ahora se vende por $5,799.
Entonces, ¿hacia dónde irá Nvidia a partir de ahí? Un movimiento sería integrar la memoria del SoC, similar a lo que hizo Apple con su SoC de la serie M (y AMD con su Epyc impulsado por HBM). Esto no sólo ahorrará costes sino que mejorará el rendimiento, algo que ya hace su hermano mayor, el GB200.
Luego dependerá de si Nvidia quiere ofrecer más al mismo precio o el mismo rendimiento a un precio menor (o un poco de ambas). Nvidia podría seguir el camino de Intel y utilizar el GB10 como modelo para animar a otros socios importantes (PNY, Gigabyte, Asus) a crear proyectos similares (Intel lo hizo con el Next Generation Unit Use o NUC).
También me pregunto qué pasará con la familia Jetson Orin; La versión NX de 16 GB se actualizó hace apenas unas semanas para ofrecer 157 TOPS en rendimiento INT8. Esta plataforma está destinada a satisfacer más casos de uso de bricolaje/edge en lugar de pura capacitación/curiosidad, pero no puedo evitar pensar en escenarios de «¿Qué pasaría si?».
Nvidia claramente se lanzó antes de que nadie intentara hacerlo; la pregunta es hasta dónde llegar.
