A Apple removeu da App Store o aplicativo Kromix, que permitia a geração de deepfakes nudify com fotos de pessoas reais, após uma investigação da revista WIRED revelar que a Meta divulgava anúncios para o app em suas plataformas. Um dos anúncios mostrava uma mulher com aparência semelhante a uma política americana proeminente em uma cena pornográfica fabricada por inteligência artificial. O caso acende o alerta sobre o uso irresponsável de inteligência artificial, tema que também vem sendo discutido em relação à proteção de adolescentes em plataformas como o ChatGPT.
O Kromix se apresentava como um “estilista de imagens por IA” e prometia “sem restrições” nos anúncios veiculados pela Meta. Segundo a WIRED, a campanha publicitária contava com 32 anúncios direcionados exclusivamente a usuários do sexo masculino. O material promocional destacava que “todos os personagens são pessoas reais” e se autodenominava “a IA que os homens realmente usam”.
Apple afirma que app adicionou funcionalidades proibidas após aprovação
A Apple explicou que o Kromix adicionou conteúdo e funcionalidades proibidas apenas após passar pela revisão inicial da App Store. A empresa reforçou que “sempre proibiu rigorosamente aplicativos projetados para gerar, distribuir ou consumir pornografia” e que “apps de ‘desnudificação’ violam nossas diretrizes de revisão”. A gigante de Cupertino também afirmou que trabalha de forma agressiva para identificar e remover apps e contas de desenvolvedores que tentam burlar suas políticas.
A remoção ocorreu depois que a WIRED entrou em contato com ambas as empresas para comentários. Tanto a Apple quanto a Meta tomaram providências imediatamente: a primeira removeu o app da loja, enquanto a segunda derrubou toda a campanha publicitária.
Não é o primeiro caso de app nudify na App Store
Em uma investigação separada, a WIRED identificou que outros anúncios problemáticos na Meta estavam ligados ao MaskAI, outro aplicativo da App Store que permitia aos usuários fazer upload de fotos e trocar rostos em situações sexuais. A Apple também removeu esse app depois que a revista solicitou comentários.
O caso se soma a uma série de remoções recentes. Em julho, o procurador de São Francisco, David Chiu, exigiu que a Apple removesse oito apps de nudificação da App Store. A pressão regulatória sobre empresas de tecnologia tem aumentado globalmente no combate a aplicativos que exploram deepfakes íntimos sem consentimento das vítimas, em um cenário onde o desenvolvimento de chips de IA cada vez mais poderosos amplia as capacidades dessas ferramentas.
Meta enfrenta críticas por papéis na veiculação de anúncios
A participação da Meta na veiculação dos anúncios levanta questionamentos sobre a política de revisão publicitária da empresa. Embora a tenha removido após contato da imprensa, o fato de 32 anúncios terem sido aprovados e rodado por tempo indeterminado aponta para lacunas no sistema de moderação da plataforma.
Casos como o do Kromix reforçam a importância de políticas mais rígidas tanto nas lojas de aplicativos quanto nas plataformas de publicidade digital. O uso de IA para criar conteúdo íntimo não consentido tem sido alvo de discussões legislativas em vários países, incluindo o Brasil, onde propostas de regulação de deepfakes seguem em tramitação no Congresso Nacional. Enquanto isso, empresas como a OpenAI, que abriu escritório no Brasil, buscam se posicionar como referência no uso ético da tecnologia.
A Apple afirmou que continuará monitorando a App Store para identificar e remover apps que tentem burlar suas diretrizes, especialmente aqueles voltados à geração de conteúdo sexual sem consentimento. A empresa reforçou seu compromisso com a segurança dos usuários e a integridade de seu ecossistema.