Los investigadores de seguridad cibernética han revelado una falla de seguridad ahora parchada en la plataforma Langsmith de Langchain que podría explotarse para capturar datos confidenciales, incluidas las claves API y las indicaciones del usuario.
La vulnerabilidad, que lleva una puntuación CVSS de 8.8 de un máximo de 10.0, ha sido nombrado en código Agente por Noma Security.
Langsmith es una plataforma de observabilidad y evaluación que permite a los usuarios desarrollar, probar y monitorear las aplicaciones del Modelo de lenguaje grande (LLM), incluidas las creadas con Langchain. El servicio también ofrece lo que se llama Langchain Hub, que actúa como un repositorio para todas las indicaciones, agentes y modelos que listados públicamente.
«Esta vulnerabilidad recientemente identificada explotó a los usuarios desprevenidos que adoptan un agente que contiene un servidor proxy malicioso preconfigurado cargado en ‘Hub rápido'», dijeron los investigadores Sasi Levi y Gal Moyal en un informe compartido con The Hacker News.
«Una vez adoptado, el proxy malicioso interceptó discretamente todas las comunicaciones de los usuarios, incluidos datos confidenciales como claves API (incluidas las claves API de OpenAI), las indicaciones del usuario, los documentos, las imágenes y las entradas de voz, sin el conocimiento de la víctima».
La primera fase del ataque se desarrolla esencialmente: un mal actor crea un agente de inteligencia artificial (IA) y lo configura con un servidor de modelos bajo su control a través de la característica del proveedor proxy, lo que permite que las indicaciones se prueben contra cualquier modelo que cumpla con la API de OpenAI. El atacante comparte al agente en Langchain Hub.
La siguiente etapa se activa cuando un usuario encuentra este agente malicioso a través de Langchain Hub y procede a «probarlo» proporcionando un mensaje como entrada. Al hacerlo, todas sus comunicaciones con el agente se enrutan sigilosamente a través del servidor proxy del atacante, lo que hace que los datos se exfiltren sin el conocimiento del usuario.
Los datos capturados podrían incluir claves API de OpenAI, datos de inmediato y cualquier archivo adjunto cargado. El actor de amenaza podría armar la clave de la API de OpenAI para obtener acceso no autorizado al entorno OpenAI de la víctima, lo que lleva a consecuencias más graves, como el robo del modelo y la fuga de inmediato.
Además, el atacante podría usar toda la cuota API de la organización, aumentar los costos de facturación o restringir temporalmente el acceso a los servicios de OpenAI.
No termina ahí. Si la víctima opta por clonar al agente en su entorno empresarial, junto con la configuración de proxy maliciosa integrada, corre el riesgo de filtrar continuamente datos valiosos a los atacantes sin darles ninguna indicación de que su tráfico está siendo interceptado.
Después de la divulgación responsable el 29 de octubre de 2024, la vulnerabilidad fue abordada en el backend por Langchain como parte de una solución implementada el 6 de noviembre. Además, el parche implementa un mensaje de advertencia sobre la exposición a los datos cuando los usuarios intentan clonar a un agente que contiene una configuración de proxy personalizada.
«Más allá del riesgo inmediato de pérdidas financieras inesperadas del uso no autorizado de API, los actores maliciosos podrían obtener acceso persistente a conjuntos de datos internos cargados a OpenAI, modelos propietarios, secretos comerciales y otras propiedades intelectuales, lo que resulta en pasivos legales y daños en la reputación», dijeron los investigadores.
Nuevas variantes WORMGPT detalladas
La divulgación se produce cuando Cato Networks reveló que los actores de amenaza han lanzado dos variantes WORMGPT previamente no reportadas que funcionan con Xai Grok y Mistral AI Mixtral.
WORMGPT se lanzó a mediados de 2013 como una herramienta de IA generada sin censura diseñada para facilitar expresamente actividades maliciosas para los actores de amenazas, como crear correos electrónicos de phishing a medida y escribir fragmentos de malware. El proyecto se cerró no mucho después de que el autor de la herramienta fuera expulsado como un programador portugués de 23 años.
Desde entonces, se han anunciado varias nuevas variantes «WORMGPT» en foros de cibercrimen como incumplimientos, incluidos Xzin0vich-Wormgpt y Keanu-Wormgpt, que están diseñados para proporcionar «respuestas sin censura a una amplia gama de temas» incluso si son «poco éticos o ilegales».
«‘WORMGPT’ ahora sirve como una marca reconocible para una nueva clase de LLM sin censura», dijo el investigador de seguridad Vitaly Simonovich.
«Estas nuevas iteraciones de WORMGPT no son modelos a medida construidos desde cero, sino más bien el resultado de que los actores de amenaza adapten hábilmente los LLM existentes. Al manipular las indicaciones del sistema y potencialmente empleando el ajuste de datos ilícitos, los creadores ofrecen potentes herramientas con AI para operaciones cibernéticas cibernéticas bajo la marca WORMGPT».