Acertar un 80% en un benchmark no fija el porcentaje de aciertos en las próximas tareas
NIST distingue el rendimiento sobre preguntas concretas del que se intenta estimar para un conjunto más amplio. La incertidumbre forma parte de la comparación.
Un resultado de evaluación puede contestar dos preguntas diferentes: cómo se comportó una IA en las preguntas que se le dieron o cómo se espera que lo haga en un conjunto más amplio de preguntas similares. El informe NIST AI 800-3 y su explicación pública, publicada el 19 de febrero de 2026, distinguen esas dos medidas. Confundirlas convierte una cifra de una prueba en una promesa sobre tareas futuras.
NIST denomina benchmark accuracy al rendimiento en el conjunto fijo y generalized accuracy al que se refiere a una población más amplia. La institución explica que ambas medidas pueden diferir y que la forma de estimar su incertidumbre depende de qué se pretenda medir. No propone una fórmula única que sirva para cualquier evaluación.
Nuestro ejemplo es deliberadamente sencillo y no es una prueba de producto. Si un sistema responde bien a 80 de 100 preguntas, la proporción observada es el 80%. Ese cálculo describe esas respuestas. Para afirmar que acertará aproximadamente esa misma proporción en otras cien preguntas habrá que justificar cómo se eligieron las primeras, a qué tareas se quiere extender el resultado y qué incertidumbre acompaña la estimación.
La comparación se vuelve más clara si el encargo cambia. Una colección de preguntas de conocimiento general y una pila de documentos internos no representan necesariamente la misma tarea. Antes de elegir un sistema a partir de una clasificación pública, una organización puede escribir qué resultado necesita medir, qué conjunto de casos utilizará y qué tipos de fallo le preocupan. Es un diseño propuesto aquí, no una evaluación que hayamos ejecutado.
El trabajo de NIST estudia métodos estadísticos y sus supuestos, incluidos modelos que permiten analizar diferencias entre preguntas e inconsistencias al responderlas. Su utilidad para quien lee una tabla es pedir algo más que la cifra central: definición de la medida, datos usados y tratamiento de incertidumbre. La fecha de febrero se mantiene como fecha del estudio; no se presenta como un lanzamiento de hoy ni se adjudica una mejora a un modelo concreto.