Cómo las GPU de NVIDIA ayudan a acelerar GPT-6 Astra Ultrafast de OpenAI

GPT-6 Astra Ultrafast, ejecutándose en GPU NVIDIA Blackwell, ya está disponible en la API de OpenAI y para los usuarios elegibles de ChatGPT Work y Codex. 

Acelerado por las optimizaciones de inferencia mediante los modelos de OpenAI que aprovechan las capacidades de la arquitectura NVIDIA Blackwell, Ultrafast ofrece una generación de tokens hasta 8 veces más rápida que el modo Astra Standard. Para los desarrolladores, una generación más rápida puede acortar los ciclos de edición-prueba-depuración de los agentes de codificación, reducir el tiempo dedicado a generar respuestas entre llamadas a herramientas y hacer que las aplicaciones interactivas se sientan más ágiles. 

Una respuesta más rápida es más importante cuando se repite a lo largo de un flujo de trabajo: un agente escribe código, utiliza una herramienta, comprueba el resultado y decide qué hacer a continuación. Ultrafast lleva las capacidades de Astra a estos ciclos de tiempo crítico. La infraestructura de IA de NVIDIA ayuda a OpenAI a ofrecer resultados de modelos más útiles cuando los desarrolladores lo necesitan. 

“La profunda inversión de NVIDIA en herramientas y documentación nos ha permitido lograr que nuestros modelos sean excepcionalmente buenos programando las GPU Blackwell y Rubin”, dijo Philippe Tillet, jefe de inferencia en OpenAI. “Astra puede convertir ese conocimiento en kernels de alto rendimiento que hacen que el hardware de NVIDIA sea convincente en toda la frontera de latencia, rendimiento y costo. Con Astra Ultrafast, esto se traduce en respuestas de modelos más rápidas a medida que los agentes escriben código, utilizan herramientas y trabajan en tareas complejas”.