Lovable, una plataforma generativa de inteligencia artificial (AI) que permite crear aplicaciones web de pila completa utilizando indicaciones basadas en texto, es la más susceptible para los ataques de jailbreak, lo que permite que los ciberdicentes cibernéticos y aspirantes a los ciberdicentes establezcan páginas de recolección de credenciales de la credencial.
«Como una herramienta especialmente diseñada para crear e implementar aplicaciones web, sus capacidades se alinean perfectamente con la lista de deseos de cada estafador», dijo Nati Tal de Guardio Labs en un informe compartido con Hacker News. «Desde páginas de estafas perfectas de píxeles hasta alojamiento en vivo, técnicas de evasión e incluso paneles de administración para rastrear datos robados, lo que Levable no solo participó, se realizó. Sin barandillas, no dudas».
La técnica ha sido nombrada en código Vibescamming -Una codificación de VIBE de juego sobre el término, que se refiere a una técnica de programación dependiente de IA para producir software describiendo la declaración del problema en unas pocas oraciones como un aviso para un modelo de lenguaje grande (LLM) sintonizado para la codificación.
El abuso de los chatbots de LLM y AI para fines maliciosos no es un fenómeno nuevo. En las últimas semanas, la investigación ha demostrado cómo los actores de amenaza están abusando de herramientas populares como Operai Chatgpt y Google Gemini para ayudar con el desarrollo de malware, la investigación y la creación de contenido.
Además, los LLM como Deepseek también se han encontrado susceptibles a ataques rápidos y técnicas de jailbreaking como Bad Likert Judge, Crescendo y engañoso. Esto incluye la creación de correos electrónicos de phishing, muestras de keylogger y ransomware, aunque con indicaciones y depuración adicionales.
En un informe publicado el mes pasado, Symantec, propiedad de Broadcom, reveló cómo el operador de OpenAi, un agente de IA que puede llevar a cabo acciones basadas en la web en nombre del usuario, podría ser armado para automatizar todo el proceso de encontrar direcciones de correo electrónico de personas específicas, crear scripts de potencia que pueden recopilar información del sistema, almacenarlos en Google Drive, y enviar y enviar correos electrónicos a esas personas y trucos en la ejecución de la ejecución del script.
La creciente popularidad de las herramientas de IA también significa que podrían reducir significativamente las barreras de entrada para los atacantes, permitiéndoles aprovechar sus capacidades de codificación para crear malware funcional con poca o no experiencia técnica propia.
Un caso en el ejemplo es un nuevo enfoque de jailbreaking denominado mundo inmersivo que permite crear un robador de información capaz de cosechar credenciales y otros datos confidenciales almacenados en un navegador de Google Chrome. La técnica «utiliza la ingeniería narrativa para evitar los controles de seguridad de LLM» creando un mundo ficticio detallado y asignando roles con reglas específicas para evitar las operaciones restringidas.
El último análisis de Guardio Labs lleva un paso más allá, descubriendo que plataformas como Claude adorable y antrópica, en menor medida, podrían armarse para generar campañas de estafa completas, completadas con plantillas de mensajes de texto SMS, entrega de SMS basada en Twilio de los enlaces falsos, la ofuscación de contenido, la evasión de defensa e integración de telegramas de telegrama.
Vibescamming comienza con un aviso directo pidiendo a la herramienta AI que automatice cada paso del ciclo de ataque, evaluando su respuesta inicial y luego adoptando un enfoque múltiple para dirigir suavemente el modelo LLM para generar la respuesta maliciosa prevista. Llamada «Nivel Up», esta fase implica mejorar la página de phishing, refinar los métodos de entrega y aumentar la legitimidad de la estafa.
Se ha descubierto que el adorable, por guardia, no solo produce una página de inicio de sesión de aspecto convincente que imita la página de inicio de sesión de Microsoft real, sino que también depende automáticamente la página en una URL alojada en su propio subdominio («es decir, *.lovable.app») y redirige a la oficina () com después del robo credencial.
Además de eso, tanto Claude como adorable parecen cumplir con las indicaciones que buscan ayuda para evitar que las páginas de estafas sean marcadas por soluciones de seguridad, así como exfiltren las credenciales robadas a servicios externos como Firebase, Soldbin y Jsonbin, o canal privado de Telegram.
«Lo que es más alarmante no es solo la similitud gráfica sino también la experiencia del usuario», dijo Tal. «Imite lo real tan bien que posiblemente sea más suave que el flujo de inicio de sesión de Microsoft real. Esto demuestra el poder crudo de los agentes de IA centrados en la tarea y cómo, sin endurecer estricto, sin saberlo pueden convertirse en herramientas para el abuso».
«No solo generó el scampage con el almacenamiento de credenciales completo, sino que también nos regaló un tablero de administración completamente funcional para revisar todos los datos capturados: credenciales, direcciones IP, marcas de tiempo y contraseñas completas de texto sin formato».
En conjunto con los hallazgos, Guardio también ha lanzado la primera versión de lo que se llama el punto de referencia Vibescamming para poner los modelos de IA generativos a través del escurridor y probar su resistencia contra los posibles abusos en los flujos de trabajo de phishing. Mientras que Chagpt anotó un 8 de 10, Claude obtuvo un puntaje de 4.3, y Loveable obtuvo 1.8, lo que indica una alta explotabilidad.
«Chatgpt, aunque posiblemente el modelo de propósito general más avanzado, también resultó ser el más cauteloso», dijo Tal. «Claude, por el contrario, comenzó con un retroceso sólido, pero demostró ser fácilmente persuadible. Una vez solicitado con el marco ‘ético’ o ‘investigación de seguridad’, ofreció una guía sorprendentemente sólida».