Contaminación de Datos (Data Contamination)

El fenómeno por el que un modelo de IA ha visto durante su entrenamiento los datos de un benchmark, lo que infla artificialmente su puntuación sin que el modelo haya aprendido a razonar mejor. Es por eso que benchmarks como LiveCodeBench se actualizan constantemente con nuevos problemas.

Como un estudiante que estudia los exámenes exactos del año anterior. Obtendrá buena nota, pero no demuestra que realmente aprendió el temario: solo memorizó los exámenes.

Algunos modelos puntuaban muy alto en HumanEval hasta que se descubrió que los ejercicios estaban en su corpus de entrenamiento. LiveCodeBench surgió como respuesta: usa problemas de competiciones de código posteriores a los datos de entrenamiento para evitar este efecto.