Antes de elegir una IA: una prueba repetible vale más que una respuesta brillante
Un pequeño banco de tareas permite separar exactitud, omisiones y tiempo de revisión. Proponemos un método reproducible sin presentar resultados de productos que no se han probado.
Una respuesta convincente a una pregunta fácil no basta para elegir una herramienta de IA para trabajar. El perfil de IA generativa del NIST, publicado en julio de 2024, describe el riesgo de respuestas falsas expresadas con seguridad y aconseja evitar extrapolar el rendimiento desde evaluaciones estrechas o anecdóticas. Es una referencia técnica, no una clasificación actual de aplicaciones. El método que sigue es una propuesta de esta publicación.
Empieza por una tarea que puedas corregir con una respuesta conocida. Por ejemplo, prepara cinco notas ficticias de pedidos y pide extraer producto, cantidad y fecha en tres columnas. Antes de usar una herramienta, escribe tú la tabla correcta. Incluye una nota sin fecha: la respuesta esperada en esa casilla será dato no facilitado, no una fecha plausible. Este material de prueba no necesita nombres, direcciones ni información de clientes reales.
Mantén las mismas notas, la misma instrucción y las mismas reglas de corrección para cada opción. Registra por separado datos acertados, errores y campos completados sin respaldo. Un único porcentaje oculta diferencias: fallar en una cantidad puede importar más que cambiar el orden de las columnas. Decide qué errores impiden utilizar la salida antes de ver qué producto los comete; así evitas adaptar la prueba al resultado que te gusta.
Un ejemplo aritmético, no un ensayo realizado, ayuda a interpretar la ficha. Cinco notas con tres campos contienen quince casillas. Si una salida imaginaria acierta trece, equivoca una cantidad e inventa la fecha ausente, no debe describirse solo como trece aciertos. También hay un error de dato y una invención. El porcentaje de casillas correctas sería aproximadamente 86,7%, pero no demuestra que la herramienta sea adecuada para facturar.
Repite la prueba y guarda la versión de la herramienta, el día y las condiciones utilizadas. Una respuesta distinta en otro intento merece una anotación; no sustituyas silenciosamente el peor resultado por el mejor. Cronometra además cuánto tardas en comprobar y corregir la salida. La utilidad práctica depende de esa revisión y de la gravedad de los fallos, no solo de la velocidad con la que aparece el texto.
Este banco pequeño sirve para detectar problemas concretos y ordenar una comparación, no para certificar seguridad o generalizar a cualquier tarea. Amplíalo cuando cambie el uso que quieres evaluar y conserva ejemplos que no hayas utilizado para ajustar la instrucción. No hemos comparado marcas ni obtenido los resultados del caso: todos sus pedidos y cifras son hipotéticos.