Estos días se está hablando del posible divorcio entre OpenAI y Microsoft. Y se habla de la ausencia de modelos propios del gigante de Redmond. La realidad es que está trabajando en Small Language Models como Phi Silica y ahora con Mu.
Microsoft presenta Mu, su modelo de lenguaje optimizado para la eficiencia local, diseñado para potenciar funciones como el nuevo agente de Configuración en Windows 11 en los Copilot+ PCs.
¿Qué es Mu y por qué es importante?
Mu es un modelo de lenguaje de tamaño reducido (330 millones de parámetros) que funciona directamente en la Unidad de Procesamiento Neuronal (NPU) de los nuevos Copilot+ PCs. A diferencia de los modelos alojados en la nube, Mu opera localmente, ofreciendo respuestas instantáneas a consultas realizadas en lenguaje natural dentro de la aplicación de Configuración.
Gracias a su arquitectura encoder–decoder, Mu es capaz de reducir la latencia y aumentar la velocidad de procesamiento. Según Microsoft, su desempeño alcanza más de 100 tokens por segundo, lo que garantiza una experiencia fluida para el usuario.
Innovaciones tecnológicas clave
El equipo de Windows Applied Sciences ha incorporado avances como:
Grouped-Query Attention (GQA): disminuye el consumo de memoria manteniendo la precisión.
Rotary Positional Embeddings (RoPE): mejora la comprensión de secuencias largas.
Dual LayerNorm: estabiliza el entrenamiento con bajo coste computacional.
Estas mejoras permiten que Mu sea hasta 10 veces más pequeño que modelos equivalentes, sin sacrificar rendimiento, lo que es esencial para su implementación en dispositivos con recursos limitados como los PCs portátiles.
Proceso de entrenamiento y capacidades
El modelo se entrenó utilizando GPUs A100 en Azure Machine Learning, partiendo de datos educativos de alta calidad y aplicando técnicas como distillation desde los modelos Phi de Microsoft. Esto ha permitido que Mu ofrezca una relación rendimiento/tamaño excepcional, alcanzando resultados comparables al modelo Phi-3.5-mini en tareas como SQuAD o CodeXGlue.
“Hemos ajustado cuidadosamente la arquitectura de Mu para sacar el máximo partido al hardware especializado de los nuevos PCs”, destaca Vivek Pradeep, vicepresidente de Windows Applied Sciences.
Mu ya se está utilizando en los Copilot+ PCs disponibles para Insiders del canal Dev, como el motor de comprensión del agente conversacional en Configuración. Esta herramienta permite que los usuarios realicen tareas mediante instrucciones naturales, como “activa el modo oscuro” o “muestra las redes Wi-Fi disponibles”, eliminando la necesidad de navegar manualmente por los menús del sistema.
Con equipos con hardware dedicado a la IA, lo minimo esperable es que un modelo que te cambie el brillo de la pantalla se ejecute localmente no?
Sin duda, pero que es interesante los modelos internos que están llegando a Windows 11