Benchmark

Un conjunto estándar de pruebas y métricas para medir y comparar objetivamente el rendimiento de diferentes modelos de IA. Los más conocidos son MMLU (conocimiento general), HumanEval (código), MATH y LiveCodeBench (código en tiempo real).

Como los exámenes de acceso a la universidad: un estándar común que permite comparar estudiantes de diferentes colegios. Sin benchmarks, cada empresa diría que su modelo es el mejor sin base.

Cuando ves que un modelo puntúa 87% en MMLU, significa que respondió correctamente al 87% de preguntas de conocimiento general en 57 materias diferentes. Puedes compararlo con otros modelos con la misma escala.