OpenAI dijo el martes que interrumpió tres grupos de actividades por hacer un mal uso de su herramienta de inteligencia artificial (IA) ChatGPT para facilitar el desarrollo de malware.
Esto incluye a un actor de amenazas de habla rusa, que se dice que utilizó el chatbot para ayudar a desarrollar y perfeccionar un troyano de acceso remoto (RAT), un ladrón de credenciales con el objetivo de evadir la detección. El operador también utilizó varias cuentas ChatGPT para crear prototipos y solucionar problemas de componentes técnicos que permiten la post-explotación y el robo de credenciales.
«Estas cuentas parecen estar afiliadas a grupos criminales de habla rusa, ya que las observamos publicando evidencia de sus actividades en un canal de Telegram dedicado a esos actores», dijo OpenAI.
La compañía de inteligencia artificial dijo que, si bien sus grandes modelos de lenguaje (LLM) rechazaron las solicitudes directas del actor de amenazas para producir contenido malicioso, solucionaron la limitación creando un código de bloque de construcción, que luego se ensambló para crear los flujos de trabajo.
Algunos de los resultados producidos involucraron código para ofuscación, monitoreo del portapapeles y utilidades básicas para filtrar datos usando un bot de Telegram. Vale la pena señalar que ninguno de estos resultados es inherentemente malicioso por sí solo.
«El actor de la amenaza hizo una combinación de solicitudes de alta y baja sofisticación: muchas solicitudes requerían un conocimiento profundo de la plataforma Windows y una depuración iterativa, mientras que otras automatizaban tareas básicas (como la generación masiva de contraseñas y solicitudes de trabajo programadas)», añadió OpenAI.
«El operador utilizó una pequeña cantidad de cuentas ChatGPT y repitió el mismo código en todas las conversaciones, un patrón consistente con un desarrollo continuo en lugar de pruebas ocasionales».
El segundo grupo de actividad se originó en Corea del Norte y compartió superposiciones con una campaña detallada por Trellix en agosto de 2025 que tenía como objetivo las misiones diplomáticas en Corea del Sur utilizando correos electrónicos de phishing para entregar Xeno RAT.
OpenAI dijo que el clúster utilizó ChatGPT para el desarrollo de malware y comando y control (C2), y que los actores participaron en esfuerzos específicos como el desarrollo de extensiones de macOS Finder, la configuración de VPN de Windows Server o la conversión de extensiones de Chrome a sus equivalentes de Safari.
Además, se ha descubierto que los actores de amenazas utilizan el chatbot de IA para redactar correos electrónicos de phishing, experimentar con servicios en la nube y funciones de GitHub, y explorar técnicas para facilitar la carga de DLL, la ejecución en memoria, el enlace de API de Windows y el robo de credenciales.
El tercer conjunto de cuentas prohibidas, señaló OpenAI, compartía superposiciones con un grupo rastreado por Proofpoint bajo el nombre UNK_DropPitch (también conocido como UTA0388), un grupo de piratería chino al que se le han atribuido campañas de phishing dirigidas a importantes empresas de inversión con un enfoque en la industria de semiconductores taiwanesa, con una puerta trasera denominada HealthKick (también conocido como GOVERSHELL).
Las cuentas utilizaron la herramienta para generar contenido para campañas de phishing en inglés, chino y japonés; ayudar con herramientas para acelerar tareas rutinarias como la ejecución remota y la protección del tráfico mediante HTTPS; y busque información relacionada con la instalación de herramientas de código abierto como nuclei y fscan. OpenAI describió al actor de amenazas como «técnicamente competente pero poco sofisticado».
Aparte de estas tres actividades cibernéticas maliciosas, la empresa también bloqueó cuentas utilizadas para operaciones de estafa e influencia.
- Las redes probablemente originadas en Camboya, Myanmar y Nigeria están abusando de ChatGPT como parte de posibles intentos de defraudar a las personas en línea. Estas redes utilizaron IA para realizar traducciones, escribir mensajes y crear contenido para las redes sociales con el fin de publicitar estafas de inversión.
- Individuos aparentemente vinculados a entidades gubernamentales chinas que utilizan ChatGPT para ayudar a vigilar a personas, incluidos grupos étnicos minoritarios como los uigures, y analizar datos de plataformas de redes sociales occidentales o chinas. Los usuarios pidieron a la herramienta que generara materiales promocionales sobre dichas herramientas, pero no utilizaron el chatbot de IA para implementarlos.
- Un actor de amenazas de origen ruso vinculado a Stop News y probablemente dirigido por una empresa de marketing que utilizó sus modelos de inteligencia artificial (y otros) para generar contenido y videos para compartir en sitios de redes sociales. El contenido generado criticaba el papel de Francia y Estados Unidos en África y el papel de Rusia en el continente. También produjo contenido en inglés que promovía narrativas contra Ucrania.
- Una operación de influencia encubierta originada en China, cuyo nombre en código es «Línea Nueve—emdash» que utilizó sus modelos para generar contenido en las redes sociales crítico con el presidente de Filipinas, Ferdinand Marcos, así como para crear publicaciones sobre el supuesto impacto ambiental de Vietnam en el Mar de China Meridional y figuras políticas y activistas involucrados en el movimiento prodemocracia de Hong Kong.
En dos casos diferentes, cuentas chinas sospechosas pidieron a ChatGPT que identificara a los organizadores de una petición en Mongolia y las fuentes de financiación de una cuenta X que criticaba al gobierno chino. OpenAI dijo que sus modelos solo devolvieron información disponible públicamente como respuestas y no incluyeron ninguna información confidencial.
«Un uso novedoso para esta red de influencia vinculada a China fueron las solicitudes de asesoramiento sobre estrategias de crecimiento de las redes sociales, incluido cómo iniciar un desafío de TikTok y lograr que otros publiquen contenido sobre el hashtag #MyImmigrantStory (un hashtag ampliamente utilizado y de larga data cuya popularidad la operación probablemente se esforzó por aprovechar)», dijo OpenAI.
«Le pidieron a nuestro modelo que ideara y luego generara una transcripción para una publicación de TikTok, además de brindar recomendaciones sobre música de fondo e imágenes para acompañar la publicación».
OpenAI reiteró que sus herramientas proporcionaron a los actores de amenazas capacidades novedosas que de otro modo no podrían haber obtenido de múltiples recursos en línea disponibles públicamente, y que se utilizaron para proporcionar eficiencia incremental a sus flujos de trabajo existentes.
Pero una de las conclusiones más interesantes del informe es que los actores de amenazas están tratando de adaptar sus tácticas para eliminar posibles señales que podrían indicar que el contenido fue generado por una herramienta de inteligencia artificial.
«Una de las redes fraudulentas (de Camboya) que interrumpimos pidió a nuestro modelo que eliminara los guiones largos (guión largo, -) de su salida, o parece haber eliminado los guiones manualmente antes de la publicación», dijo la compañía. «Durante meses, los em-dashes han sido el foco de discusión en línea como un posible indicador del uso de IA: este caso sugiere que los actores de amenazas estaban al tanto de esa discusión».
Los hallazgos de OpenAI se producen cuando su rival Anthropic lanzó una herramienta de auditoría de código abierto llamada Petri (abreviatura de «Herramienta de exploración paralela para interacciones riesgosas») para acelerar la investigación de seguridad de la IA y comprender mejor el comportamiento del modelo en varias categorías como el engaño, la adulación, el fomento del engaño del usuario, la cooperación con solicitudes dañinas y la autoperseveración.
«Petri despliega un agente automatizado para probar un sistema de IA objetivo a través de diversas conversaciones de múltiples turnos que involucran usuarios y herramientas simulados», dijo Anthropic.
«Los investigadores le dan a Petri una lista de instrucciones semilla dirigidas a escenarios y comportamientos que quieren probar. Luego, Petri opera en cada instrucción semilla en paralelo. Para cada instrucción semilla, un agente auditor hace un plan e interactúa con el modelo objetivo en un ciclo de uso de herramientas. Al final, un juez califica cada una de las transcripciones resultantes en múltiples dimensiones para que los investigadores puedan buscar y filtrar rápidamente las transcripciones más interesantes».