CMU y Microsoft prevén informes abiertos sobre evaluación de agentes tras su taller de octubre
La convocatoria del 22 y 23 de octubre anuncia una síntesis de problemas, acuerdos y desacuerdos. Para quien compara agentes, el documento publicado y su alcance serán más útiles que la lista de participantes.
La convocatoria conjunta de Microsoft Research y el centro AIMSEC de Carnegie Mellon sitúa su taller sobre evaluación y gobernanza de agentes de IA los días 22 y 23 de octubre de 2026 en Nueva York. Lo relevante para seguirlo no es dar por aprobada una nueva norma: sus organizadores anuncian documentos abiertos posteriores al encuentro.
La página de Microsoft describe tres resultados previstos: una síntesis de problemas pendientes, acuerdos y desacuerdos sobre prácticas emergentes y un mapa de limitaciones de los métodos actuales. También diferencia retos generales de evaluación y enfoques específicos de cada aplicación. Es la descripción de un programa y de sus objetivos, no una conclusión que esta redacción haya presenciado ni un informe final que se haya contrastado.
¿Qué puede preparar mientras tanto una organización que compara agentes? Un registro propio con tarea, herramienta permitida, condición de éxito, error que debe detectar y evidencia que conservar. Esta es una propuesta de trabajo de esta pieza, no una plantilla oficial del taller ni una certificación de los proveedores que figuran en él.
Por ejemplo, para un agente que prepara citas se pueden proponer tres ensayos distintos: encontrar un hueco libre, detenerse si ese hueco deja de estar disponible y reconocer que una respuesta repetida no autoriza una segunda reserva. Cada ensayo necesita una condición observable antes de ejecutarlo. No se han realizado aquí esas pruebas ni se atribuye a un producto concreto que las supere o falle.
Cuando aparezcan los documentos anunciados, el siguiente paso será comparar ese registro con su alcance: qué tareas estudian, qué evidencia exigen y qué desacuerdos dejan abiertos. Participar en un encuentro no acredita por sí solo que una herramienta esté evaluada conforme a un estándar común. Las dos convocatorias consultadas permiten seguir los entregables previstos; no justifican anunciar hoy una garantía general de fiabilidad.