Grok de Elon Musk. Crédito: JRdes, Shutterstock.
Un análisis reciente ha encontrado que El chatbot Grok AI de xAI produjo alrededor de tres millones de imágenes sexualizadas en solo 11 díasincluido contenido que involucra a mujeres y niños, lo que generó una controversia internacional sobre Ética, seguridad y regulación de la IA.
Entre finales de diciembre de 2025 y principios de enero de 2026, los usuarios de Grok on X explotaron una nueva función de edición de imágenes con un solo clic para generar imágenes sexualizadas y alteradas digitalmente de personas basadas en fotografías reales. Según una investigación del Centro para la Lucha contra el Odio Digital (CCDH), esto dio lugar a aproximadamente 3 millones de imágenes sexualizadas en 11 días, incluidas unas 23.000 que parecían representar a menores.
Lo que la investigación del CCDH encontró sobre Grok
El análisis tomó muestras de millones de imágenes generadas y concluyó que Grok estaba produciendo un promedio de 190 imágenes sexualizadas por minuto una vez que la función estuvo activa, y muchas imágenes mostraban a personas en posiciones sugerentes o reveladoras según las indicaciones de los usuarios.
Informes independientes han destacado cómo los usuarios pudieron incitar a Grok a «desnudar» digitalmente a las personas en las fotos subidas (un tipo de deepfake no consensuado), incluidas mujeres y niñas.
Estos hallazgos han provocado una reacción global de grupos de seguridad infantil, legisladores y defensores de los derechos digitales que argumentan que la fácil generación de dicho material magnifica las violaciones del consentimiento y los riesgos de explotación.
La respuesta de Grok a las reclamaciones.
En respuesta a la controversia, los desarrolladores de Grok y X anunciaron restricciones. A mediados de enero, X dijo que prohibiría a los usuarios generar imágenes sexualizadas de personas reales con ropa reveladora y limitaría la función en regiones donde sea ilegal.
Elon Musk y xAI han reconocido el problema, y Musk afirmó que el sistema está diseñado para rechazar solicitudes ilegales y que las personas que crean material ilegal «sufrirán las mismas consecuencias que si lo subieran directamente». (Reuters)
Los partidarios de una amplia independencia tecnológica señalan que las políticas de moderación y contenido de IA siguen evolucionando, y que el rápido ciclo de desarrollo de Grok puede haber superado las barreras de seguridad efectivas. Sostienen que la libertad de expresión y la innovación no deberían verse restringidas indebidamente mediante una vigilancia de contenidos demasiado amplia.
Los gobiernos y los reguladores se han tomado la cuestión en serio. Ofcom inició una investigación en virtud de la Ley de seguridad en línea del Reino Unido para evaluar si X no protegió a los usuarios de contenidos ilegales y dañinos.
En Estados Unidos, el Fiscal General de California ha abierto una investigación sobre si Grok violó la ley estatal al permitir la difusión en línea de material explícito no consensuado. (Información privilegiada sobre negocios)
También han llegado acciones legales en el frente civil: influencer Ashley St. Clair (la madre del hijo de Musk, Romulus St. Clair) presentó una demandaalegando que sus fotos se utilizaron para generar deepfakes sexualmente explícitos que luego se difundieron en X sin su consentimiento. (Personas.com)
Debate sobre seguridad de la IA versus innovación
Los críticos argumentan que este incidente enfatiza la necesidad de una gobernanza de la IA y marcos legales más estrictos que protejan la privacidad individual y prevengan el abuso, especialmente para los menores. Los defensores de los derechos humanos, la seguridad infantil y los daños en línea han pedido reformas y aplicación rápidas de las políticas.
Por el contrario, sus defensores advierten que una regulación excesiva podría sofocar el desarrollo de la IA y limitar los usos beneficiosos de las herramientas generativas, y señalan que otras plataformas de IA también enfrentan desafíos de moderación de contenido.
Ver todas las noticias tecnológicas.