Google reveló el martes que su marco de descubrimiento de vulnerabilidad asistido por el modelo de lenguaje grande (LLM) descubrió una falla de seguridad en el motor de la base de datos de código abierto de SQLite antes de que pudiera haber sido explotado en la naturaleza.
La vulnerabilidad, rastreada como CVE-2025-6965 (Puntuación CVSS: 7.2), es una falla de corrupción de memoria que afecta a todas las versiones antes de 3.50.2. Fue descubierto por Big Sleep, un agente de inteligencia artificial (IA) que Google lanzó el año pasado como parte de una colaboración entre DeepMind y Google Project Zero.
«Un atacante que puede inyectar declaraciones SQL arbitrarias en una aplicación podría causar un desbordamiento entero que resulte en la lectura del final de una matriz», dijo los mantenedores de proyectos SQLite en un aviso.
El gigante tecnológico describió a CVE-2025-6965 como un problema de seguridad crítico que «se conocía solo por los actores de amenaza y corría el riesgo de ser explotados». Google no reveló quiénes eran los actores de amenaza.
«A través de la combinación de inteligencia de amenazas y un gran sueño, Google pudo predecir que una vulnerabilidad se usaría inminentemente y pudimos cortarla de antemano», dijo Kent Walker, presidente de Asuntos Globales de Google y Alphabet.
«Creemos que esta es la primera vez que un agente de IA se ha utilizado para frustrar directamente los esfuerzos para explotar una vulnerabilidad en la naturaleza».
En octubre de 2024, Big Sleep estaba detrás del descubrimiento de otro defecto en SQLite, una vulnerabilidad de bajo flujo del búfer de pila que podría haberse explotado para dar como resultado una ejecución de código de bloqueo o arbitraria.
Coincidiendo con el desarrollo, Google también ha publicado un documento blanco para construir agentes de IA seguros de modo que tengan controladores humanos bien definidos, sus capacidades se limitan cuidadosamente para evitar posibles acciones deshonestas y la divulgación de datos confidenciales, y sus acciones son observables y transparentes.
«Los enfoques de seguridad de sistemas tradicionales (como las restricciones en las acciones de los agentes implementadas a través del software clásico) carecen de la conciencia contextual necesaria para los agentes versátiles y pueden restringir demasiado la utilidad», dijeron Santiago (Sal) Díaz, Christoph Kern y Kara Olive.
«Por el contrario, la seguridad puramente basada en el razonamiento (depender únicamente del juicio del modelo de IA) es insuficiente porque los LLM actuales siguen siendo susceptibles a manipulaciones como inyección rápida y aún no pueden ofrecer garantías suficientemente robustas».
Para mitigar los riesgos clave asociados con la seguridad del agente, la compañía dijo que ha adoptado un enfoque híbrido de defensa en profundidad que combina las fortalezas de los controles tradicionales y deterministas y las defensas dinámicas basadas en el razonamiento.
La idea es crear límites robustos en torno al entorno operativo del agente para que el riesgo de resultados dañinos se mitiga significativamente, específicamente acciones maliciosas llevadas a cabo como resultado de una inyección inmediata.
«Este enfoque de defensa en profundidad se basa en los límites forzados alrededor del entorno operativo del agente de IA para evitar posibles escenarios en los peores casos, actuando como barandillas incluso si el proceso de razonamiento interno del agente se ve comprometido o desalineado por ataques sofisticados o entradas inesperadas», dijo Google.
«Este enfoque de múltiples capas reconoce que ni los sistemas puramente basados en reglas ni el juicio puramente basado en la IA son suficientes por su cuenta».