São Francisco exige que Apple e Google excluam aplicativos AI ‘Nudify’ das App Stores

Apple e Google foram ordenados a remover aplicativos que podem “nudificar” ou “despir” pessoas e disseram que deveriam parar de lucrar com a tecnologia prejudicial, de acordo com cartas de cessar e desistir enviadas às empresas vistas pela WIRED.

Na quinta-feira, o procurador da cidade de São Francisco, David Chiu, enviou avisos legais à Apple e ao Google exigindo que removessem de suas lojas de aplicativos 13 aplicativos de troca de rosto, que permitem aos usuários criar imagens de nudez não consensuais geradas por IA. As cartas dizem que os gigantes do Vale do Silício deveriam parar de “ajudar e encorajar” a venda de imagens deepfake explícitas e “cortar” relações comerciais com os desenvolvedores de aplicativos.

“Gerar imagens íntimas não consensuais é ilegal, prejudicial e completamente inaceitável”, disse Chiu à WIRED. O procurador da cidade, cujo escritório já tomou medidas legais contra 16 sites populares de deepfake, diz que a Apple e o Google provavelmente “ganharam milhões de dólares em taxas” com aplicativos que oferecem nudificação e, em primeiro lugar, deveriam melhorar seus processos de moderação para impedir que eles apareçam em suas lojas.

“Essas empresas têm a responsabilidade de garantir que os aplicativos em suas plataformas não facilitem o abuso sexual”, diz Chiu. As cartas legais da cidade dizem que as leis da Califórnia proíbem serviços de apoio que criam pornografia deepfake. Os aplicativos usam pagamentos dentro do aplicativo, dos quais as empresas de tecnologia recebem uma parte, dizem as cartas. “O facto de algumas das maiores e mais estabelecidas empresas tecnológicas do mundo estarem a facilitar isto tem de acabar.”

Os pesquisadores têm encontrado repetidamente e relatado aplicativos na App Store da Apple e na Play Store do Google que permitem que as pessoas gerem imagens sexuais usando IA – incluindo alguns aplicativos classificados como adequado para uso por crianças. Enquanto novas leis e proibições visam combater o flagelo dos deepfakes explícitos on-line, empresas de tecnologia e mídia social direcionam consistentemente milhões de pessoas em direção a tecnologia prejudicial.

Ambos Maçã e Google têm políticas para desenvolvedores que proíbem pornografia, abuso e assédio em suas plataformas. Eles já removeram dezenas de aplicativos de nudificação e deepfake, após relatos de pesquisadores e jornalistas.

O porta-voz do Google, Dan Jackson, disse à WIRED que a empresa excluiu “centenas” de aplicativos com recursos de nudificação por violações de políticas, incluindo os cinco aplicativos Android sinalizados pelo escritório de Chiu, entre outras etapas para restringir o acesso a eles.

“O Google Play não permite aplicativos que contenham conteúdo sexual e tomamos medidas proativas continuamente para detectar e remover aplicativos com conteúdo prejudicial”, disse Jackson em comunicado. “Quando as violações nos são denunciadas, investigamos e tomamos medidas rápidas, o que, no caso desses aplicativos, incluiu a suspensão de centenas de aplicativos violadores e a restrição de termos de pesquisa relacionados, como ‘nudificar’ em nossa loja.”

A Apple não forneceu comentários antes da publicação.

Nos últimos cinco anos, uma mistura altamente lucrativa de tecnologia de “nudificação” deepfake surgiu online – de forma mais transparente com xAI’s Grok sendo usado para criar milhões de imagens sexualizadas em janeiro. Uma série de aplicativos, sites e bots permitem que pessoas (principalmente homens) carreguem fotos de pessoas (principalmente mulheres e meninas) e “removam” digitalmente roupas ou roupas. coloque-os em cenários sexuais gráficos.

Muitas vezes, para criar deepfakes sexuais, basta uma foto de referência e alguns cliques, com alguns resultados disponíveis em segundos. Imagens e vídeos tornaram-se mais realista à medida que a tecnologia de IA generativa subjacente melhorou, com serviços fornecendo alguns resultados gratuitamente ou cobrando pequenas taxas para criar conteúdo prejudicial. Relatórios anteriores da WIRED e da Indicator Media incidentes descobertos em pelo menos 90 escolas onde foram criadas imagens falsas de abuso sexual de menores.