Mixture of Experts (MoE)

Arquitectura de red neuronal donde el modelo está dividido en múltiples 'expertos' especializados. Para cada tarea, solo se activan los expertos más relevantes (generalmente un 10-20% del total). Permite modelos enormes que son eficientes en ejecución.

Como un hospital con especialistas: cuando tienes un problema cardíaco, solo trabajan el cardiólogo y su equipo — no todo el personal del hospital. Los demás esperan a que los necesiten. Resultado: atención especializada a fracción del coste.

DeepSeek V4 tiene 1,6 billones de parámetros pero solo activa ~37.000 millones por consulta (MoE). Por eso puede ser tan capaz como modelos más pequeños pero a coste de inferencia mucho menor, lo que permite ofrecerlo gratis.