Una prueba de IA puede contaminarse antes de entrenar el modelo: el riesgo está también en el preprocesado
La documentación de scikit-learn pide separar los datos antes de ajustar transformaciones. Un caso numérico muestra cómo la media del conjunto de prueba puede introducir información que debería reservarse.
Reservar ejemplos para evaluar un modelo no basta si esos ejemplos influyen antes en la preparación de los datos. La documentación de scikit-learn llama fuga de información a utilizar durante la construcción del modelo datos que no estarían disponibles al predecir. Puede producir estimaciones de rendimiento demasiado optimistas, aunque nadie haya incluido deliberadamente las respuestas de la prueba.
Un ejercicio aritmético ayuda a verlo. Imaginemos dos valores de entrenamiento, 2 y 4, cuya media es 3, y un valor reservado para prueba, 100. Si calculamos la media de los tres, obtenemos aproximadamente 35,33. Al preparar los datos usando esa segunda media, el ejemplo que debía mantenerse apartado ya ha cambiado una decisión del proceso de aprendizaje.
Los números son inventados y no representan resultados de un modelo ni un benchmark. El ejemplo muestra únicamente por qué separar los conjuntos después de calcular una transformación puede llegar tarde. No demuestra cuánto mejorará o empeorará una predicción concreta, ni que toda diferencia de puntuación tenga este origen.
scikit-learn recomienda dividir primero entrenamiento y prueba, ajustar las transformaciones con el entrenamiento y aplicar la transformación aprendida a ambos conjuntos. En su terminología, conviene distinguir fit, que aprende los parámetros, de transform, que aplica lo aprendido. Sus pipelines ayudan a mantener ese orden durante la validación y el ajuste de parámetros.
Para revisar un informe de evaluación puede pedirse una cronología breve: cuándo se separaron los datos, con qué conjunto se calcularon medias o se eligieron características y qué quedó reservado hasta el final. Una cifra de acierto aislada no responde esas preguntas. Esta comprobación no sustituye evaluar sesgos, representatividad o usos posteriores; localiza una fuente concreta de contaminación que puede pasar inadvertida incluso sin copiar ejemplos de prueba al entrenamiento.