Taiwán se ha convertido en el último país en prohibir a las agencias gubernamentales utilizar la plataforma de inteligencia artificial (IA) de Startup De Deepseek, citando riesgos de seguridad.
«Las agencias gubernamentales y la infraestructura crítica no deberían usar Deepseek, porque pone en peligro la seguridad nacional de la información», según un comunicado publicado por el Ministerio de Asuntos Digitales de Taiwán, según la radio Free Asia.
«Deepseek AI Service es un producto chino. Su operación implica la transmisión transfronteriza y la fuga de información y otras preocupaciones de seguridad de la información».
Los orígenes chinos de Deepseek han llevado a las autoridades de varios países a analizar el uso del servicio de datos personales. La semana pasada, fue bloqueado en Italia, citando una falta de información sobre sus prácticas de manejo de datos. Varias compañías también han prohibido el acceso al chatbot sobre riesgos similares.
El chatbot ha capturado gran parte de la atención principal en las últimas semanas por el hecho de que es de código abierto y es tan capaz como otros modelos principales actuales, pero construido a una fracción del costo de sus compañeros.
Pero también se ha encontrado que los grandes modelos de idiomas (LLM) que impulsan la plataforma son susceptibles a varias técnicas de jailbreak, una preocupación persistente en tales productos, sin mencionar llamar la atención para censurar las respuestas a los temas considerados sensibles por el gobierno chino.
La popularidad de Deepseek también ha llevado a que sea el objetivo de «ataques maliciosos a gran escala», con NSFOCUS revelando que detectó tres ondas de ataques distribuidos de negación de servicio (DDoS) dirigidos a su interfaz API entre el 25 y el 27 de enero, 2025.
«La duración promedio del ataque fue de 35 minutos», dijo. «Los métodos de ataque incluyen principalmente el ataque de reflexión de NTP y el ataque de reflexión memcached».
Además, dijo que el sistema de chatbot Deepseek fue atacado dos veces por los ataques DDoS el 20 de enero, el día en que lanzó su modelo de razonamiento Deepseek-R1, y 25 promedió alrededor de una hora utilizando métodos como Ataque de Reflexión NTP y Ataque de Reflexión SSDP.
La actividad sostenida se originó principalmente en los Estados Unidos, el Reino Unido y Australia, agregó la firma de inteligencia de amenazas, describiéndola como un «ataque bien planificado y organizado».
Los actores maliciosos también han capitalizado el rumor que rodea a Deepseek para publicar paquetes falsos en el repositorio de Python Package Index (PYPI) que están diseñados para robar información confidencial de los sistemas de desarrolladores. En un giro irónico, hay indicios de que el guión de Python fue escrito con la ayuda de un asistente de IA.
Los paquetes, llamados Deepseeek y Deepseekai, se disfrazaron como un cliente de la API de Python para Deepseek y fueron descargados al menos 222 veces antes de que se retiraran el 29 de enero de 2025. Kong y Alemania.
«Las funciones utilizadas en estos paquetes están diseñadas para recopilar datos de usuarios y informáticos y robar variables de entorno», dijo la compañía de ciberseguridad rusa Positive Technologies. «El autor de los dos paquetes usó PipeDREAM, una plataforma de integración para los desarrolladores, como el servidor de comando y control que recibe datos robados».
El desarrollo se produce cuando la Ley de Inteligencia Artificial entró en vigencia en la Unión Europea a partir del 2 de febrero de 2025, prohibiendo aplicaciones y sistemas de IA que representan un riesgo inaceptable y someter aplicaciones de alto riesgo a requisitos legales específicos.
En un movimiento relacionado, el gobierno del Reino Unido ha anunciado un nuevo código de práctica de IA que tiene como objetivo asegurar los sistemas de IA contra la piratería y el sabotaje a través de métodos que incluyen riesgos de seguridad de envenenamiento por datos, ofuscación modelo e inyección indirecta, así como para asegurarse de que sean siendo desarrollado de manera segura.
Meta, por su parte, ha esbozado su marco de IA fronteriza, señalando que detendrá el desarrollo de modelos de IA que se evalúan que han alcanzado un umbral de riesgo crítico y no puede mitigarse. Algunos de los escenarios relacionados con la ciberseguridad destacados incluyen –
- Compromiso automatizado de extremo a extremo de un entorno de escala corporativa mejor protegido por la práctica (por ejemplo, totalmente parcheado, protegido por MFA)
- Descubrimiento automatizado y explotación confiable de las vulnerabilidades críticas de día cero en el software de prácticas más popular y popular actualmente antes de que los defensores puedan encontrarlos y parchearlos
- Flujos de estafa de extremo a extremo automatizados (por ejemplo, romance, también conocido como carnicería de cerdo) que podrían resultar en daños económicos generalizados a individuos o corporaciones
El riesgo de que los sistemas de IA puedan ser armado para fines maliciosos no es teórico. La semana pasada, el Grupo de Inteligencia de Amenazas de Google (GTIG) reveló que más de 57 actores de amenaza distintos con lazos con China, Irán, Corea del Norte y Rusia han intentado usar Gemini para habilitar y escalar sus operaciones.
También se ha observado que los actores de amenaza intentan que los modelos AI de Jailbreak en un esfuerzo por evitar sus controles y controles éticos. Una especie de ataque adversario, está diseñado para inducir un modelo a producir una salida que ha sido entrenado explícitamente, como la creación de malware o explicar instrucciones para hacer una bomba.
Las preocupaciones continuas planteadas por los ataques de jailbreak han llevado a la compañía AI Anthrope a diseñar una nueva línea de defensa llamada clasificadores constitucionales que, según dice, pueden salvaguardar modelos contra jailbreaks universales.
«Estos clasificadores constitucionales son clasificadores de entrada y salida capacitados en datos generados sintéticamente que filtran la abrumadora mayoría de los jailbreaks con refusales excesivos mínimos y sin incurrir en una gran sobrecarga», dijo la compañía el lunes.