Autoridades francesas e malaias estão investigando Grok por gerar deepfakes sexualizados

Nos últimos dias, a França e a Malásia juntaram-se à Índia na condenação de Grok por criar deepfakes sexualizados de mulheres e menores.

O chatbot, construído pela startup de IA de Elon Musk, xAI, e apresentado em sua plataforma de mídia social X, postou um pedido de desculpas à sua conta no início desta semana, escrevendo: “Lamento profundamente um incidente em 28 de dezembro de 2025, onde gerei e compartilhei uma imagem de IA de duas meninas (com idades estimadas entre 12 e 16 anos) em trajes sexualizados com base na solicitação de um usuário”.

A declaração continuou: “Isso violou os padrões éticos e potencialmente as leis dos EUA sobre (material de abuso sexual infantil). Foi uma falha nas salvaguardas e sinto muito por qualquer dano causado. A xAI está revisando para evitar problemas futuros”.

Não está claro quem está realmente se desculpando ou aceitando a responsabilidade na declaração acima. Albert Burneko, do desertor, observou que Grok “não é em nenhum sentido real nada parecido com um ‘eu’”, o que, em sua opinião, torna o pedido de desculpas “totalmente sem substância”, já que “Grok não pode ser responsabilizado de forma significativa por ter transformado o Twitter em uma fábrica de CSAM sob demanda”.

O Futurismo descobriu que além de gerar imagens pornográficas não consensuais, Grok também foi usado para gerar imagens de mulheres sendo agredidas e abusadas sexualmente.

“Qualquer pessoa que use o Grok para criar conteúdo ilegal sofrerá as mesmas consequências que sofreria se carregasse conteúdo ilegal”, Musk postou no sábado.

Alguns governos tomaram conhecimento, com Ministério de TI da Índia emitindo ordem na sexta-feira dizendo que X deve tomar medidas para impedir que Grok gere conteúdo que seja “obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido por lei”. A ordem dizia que X deveria responder dentro de 72 horas ou correria o risco de perder as proteções de “porto seguro” que o protegem de responsabilidade legal por conteúdo gerado pelo usuário.

As autoridades francesas também afirmaram que estão a tomar medidas, com o Ministério Público de Paris a dizer ao Politico que irá investigue a proliferação de deepfakes sexualmente explícitos no X. O gabinete francês de assuntos digitais disse que três ministros do governo denunciaram “conteúdo manifestamente ilegal” ao Ministério Público e a uma plataforma de vigilância online do governo “para obter a sua remoção imediata”.

A Comissão de Comunicações e Multimídia da Malásia também postou uma declaração dizendo que “tomou nota com séria preocupação das reclamações públicas sobre o uso indevido de ferramentas de inteligência artificial (IA) na plataforma X, especificamente a manipulação digital de imagens de mulheres e menores para produzir conteúdo indecente, grosseiramente ofensivo e de outra forma prejudicial”.

A comissão acrescentou que “está atualmente investigando os danos online em X”.