PyTorch: dos ajustes que conviene separar al evaluar un modelo
El modo de evaluación modifica el comportamiento de ciertas capas; el seguimiento de gradientes se controla por otra vía. Un recorrido para revisar ambas decisiones.
En PyTorch, preparar un modelo para evaluarlo implica revisar dos decisiones diferentes: cómo se comportan sus módulos y si se registran operaciones para calcular gradientes. La documentación oficial explica que model.eval() atiende a la primera y es independiente de los modos no_grad e inference_mode.
El cambio de comportamiento depende de las capas utilizadas. La referencia cita Dropout y BatchNorm entre los módulos que pueden actuar de manera distinta durante entrenamiento y evaluación; en BatchNorm interesa, por ejemplo, evitar que los datos de validación actualicen sus estadísticas de entrenamiento. Llamar a eval() no desactiva por ese motivo el sistema de diferenciación automática.
torch.no_grad(), por su parte, permite ejecutar un bloque sin registrar sus operaciones en el grafo de retropropagación. Tampoco cambia por sí mismo la selección entre entrenamiento y evaluación de las capas. Inference mode añade restricciones sobre el uso posterior de los tensores creados en él, por lo que merece revisar el flujo completo antes de sustituir un modo por otro.
Como ejercicio de revisión, imagine una aplicación que ya llama a model.eval() y utiliza una predicción únicamente para mostrar una etiqueta. Queda por decidir si necesita conservar información para un cálculo de gradientes posterior. En otra aplicación que emplea el resultado dentro de un cálculo diferenciable, esa respuesta puede ser distinta, aunque ambas utilicen el mismo modelo y estén en evaluación.
Una ficha breve de la ejecución puede recoger por separado «modo de los módulos» y «uso posterior del resultado». Anotar únicamente «inferencia» deja implícitas ambas decisiones y dificulta investigar un cambio de memoria o de comportamiento. El ejemplo es un recorrido conceptual: no atribuye a una ejecución medida un ahorro de memoria, una velocidad o un porcentaje de acierto.