Ajustar el umbral de un clasificador cambia sus decisiones aunque conserve las probabilidades
La documentación de scikit-learn separa la estimación del modelo y la regla que convierte esa salida en una acción. Un ejemplo propio muestra qué conviene guardar al comparar configuraciones.
Dos configuraciones pueden asignar la misma probabilidad y emitir etiquetas diferentes. La guía de scikit-learn sobre umbrales explica esta separación: estimar una salida probabilística y decidir qué acción tomar con ella son pasos distintos. Ajustar el umbral después del entrenamiento permite cambiar el segundo sin presentar como nueva la estimación del primero.
Ejemplo propio, sin ejecutar un modelo: un sistema asigna a un documento una puntuación probabilística de 0,40 para una clase que interesa revisar. Una política que solo marca valores superiores a 0,50 lo deja fuera; otra que marca los superiores a 0,30 lo incluye. La cifra sigue siendo 0,40. No ha subido la probabilidad por cambiar la política ni se ha demostrado que el documento pertenezca a esa clase.
Para auditar la comparación proponemos conservar, por documento, la salida original, la clase a la que corresponde, el umbral y la decisión de cada configuración. Así se pueden localizar los casos que pasan a revisión y estimar después su carga de trabajo con etiquetas de referencia. Una tabla que guarde únicamente «marcado» borra la información necesaria para explicar el cambio.
La herramienta TunedThresholdClassifierCV permite buscar un umbral con validación cruzada y una métrica elegida. La documentación advierte que usar los mismos datos para entrenar y ajustar el umbral puede sobreajustar. Elegir la métrica y reservar datos adecuados forma parte de la evaluación; esta guía describe el mecanismo, sin recomendar un umbral universal ni atribuir resultados reales al supuesto.