Microsoft ha actualizado el plugin CUDA para ONNX Runtime, incorporando una función que permite ejecutar ciertos modelos Mixture of Experts incluso cuando no caben completamente en la memoria de la GPU. El plugin CUDA 0.4.0, publicado el 14 de noviembre según las notas de lanzamiento oficiales de Microsoft en GitHub, permite mover a la CPU los expertos del modelo menos utilizados y mantener en la GPU los necesarios para el procesamiento. La función requiere ONNX Runtime 1.32.0.
Cómo funciona el offload CPU-GPU en modelos MoE
Los modelos Mixture of Experts están compuestos por varias subredes especializadas, denominadas expertos. Según el input recibido, el sistema activa únicamente una parte de ellas. La nueva función de expert offload aprovecha precisamente esta estructura: los expertos pueden permanecer almacenados en la memoria del sistema y trasladarse a la GPU cuando se necesitan, reduciendo la cantidad de VRAM requerida para mantener el modelo completo en el dispositivo.
ONNX Runtime ofrece un modo automático que mantiene los expertos en la GPU cuando hay espacio disponible y pasa a la ejecución híbrida cuando la memoria no es suficiente. También existe un modo obligatorio que hace fallar la creación de la sesión cuando el modelo no puede gestionarse según los requisitos configurados. La configuración se realiza a través de opciones de sesión, sin necesidad de modificar el modelo.
Menos VRAM, pero la latencia hay que medirla
La actualización puede ampliar el número de configuraciones de hardware capaces de ejecutar modelos MoE compatibles. Eso no significa, sin embargo, que cualquier modelo pueda funcionar en cualquier GPU: el soporte afecta a nodos y formatos específicos, entre ellos QMoE y modelos cuantizados compatibles.
El compromiso en rendimiento también debe verificarse caso por caso. Desplazar parte del procesamiento a la CPU puede aliviar la presión sobre la memoria gráfica, pero las notas de lanzamiento de Microsoft no indican un valor único para el posible aumento de la latencia. El resultado dependerá del modelo, la cuantización, la CPU, la memoria del sistema y la GPU utilizada.
Versiones compatibles: un requisito no negociable
El plugin CUDA 0.4.0 está vinculado a ONNX Runtime 1.32.0. Algunas funciones, especialmente el offload MoE, requieren las nuevas capacidades introducidas en el runtime principal. Microsoft recomienda alinear las versiones y advierte que las diferencias en los esquemas de operadores pueden provocar ejecuciones incorrectas o cierres inesperados.
La versión incluye soporte para pesos GGUF y block-packed, kernels cuantizados y optimizaciones para contextos largos y decodificación especulativa. Para quienes desarrollan o distribuyen modelos, el dato central sigue siendo la posibilidad de combinar CPU y GPU cuando la memoria de vídeo es el cuello de botella. La ventaja real en capacidad y velocidad deberá evaluarse con benchmarks sobre hardware y modelos reales.
Fuentes: ONNX Runtime CUDA Plugin EP 0.4.0 · ONNX Runtime 1.32.0
