Mixture of Experts (MoE)

Arquitectura de red neuronal donde el modelo está dividido en múltiples 'expertos' especializados. Para cada tarea, solo se activan los expertos más relevantes (generalmente un 10-20% del total). Permite modelos enormes que son eficientes en ejecución.

Como un hospital con especialistas: cuando tienes un problema cardíaco, solo trabajan el cardiólogo y su equipo, no todo el personal del hospital. Los demás esperan a que los necesiten. Resultado: atención especializada a fracción del coste.

GLM-5.3-Flash tiene 320.000 millones de parámetros pero solo activa unos 18.000 millones por consulta. Qwen3.8-Max hace lo mismo a otra escala: 2,4 billones de parámetros con unos 95.000 millones activos. Por eso rinden como modelos enormes con un coste de inferencia mucho menor.