Os motores de busca do GOOGLE e da MICROSOFT têm um problema com vídeos de pornografia deepfake. Desde que os deepfakes surgiram há meia década, a tecnologia tem sido consistentemente usada para abusar e assediar mulheres—usando aprendizado de máquina para transformar a cabeça de alguém em pornografia sem permissão. Agora, o número de vídeos de pornografia deepfake não consensuais está crescendo em um ritmo exponencial, impulsionado pelo avanço das tecnologias de inteligência artificial e por um ecossistema de deepfakes em expansão.
Uma nova análise de vídeos de pornografia deepfake não consensuais, conduzida por um pesquisador independente e compartilhada com a WIRED, mostra quão difundidos esses vídeos se tornaram. Pelo menos 244.625 vídeos foram enviados para os 35 principais sites criados exclusiva ou parcialmente para hospedar vídeos de pornografia deepfake nos últimos sete anos, de acordo com o pesquisador, que pediu anonimato para evitar ser alvo online.
Nos primeiros nove meses deste ano, 113.000 vídeos foram enviados para os sites—um aumento de 54% em relação aos 73.000 vídeos enviados durante todo o ano de 2022. Até o final deste ano, a análise prevê que mais vídeos terão sido produzidos em 2023 do que o número total de todos os anos anteriores combinados.
Esses números alarmantes são apenas um vislumbre de quão colossal se tornou o problema dos deepfakes não consensuais— a escala completa do problema é muito maior e engloba outros tipos de imagens manipuladas. Uma indústria inteira de abuso de deepfakes, que tem como alvo predominantemente mulheres e é produzida sem o consentimento ou conhecimento das pessoas, surgiu nos últimos anos. Aplicativos de troca de rostos que funcionam em imagens estáticas e aplicativos nos quais roupas podem ser “removidas de uma pessoa” em uma foto com apenas alguns cliques também são muito proeminentes. Provavelmente, milhões de imagens estão sendo criadas com esses aplicativos.
“Isso é algo que atinge pessoas comuns, estudantes do ensino médio comuns, adultos do dia a dia—tornou-se uma ocorrência diária”, diz Sophie Maddocks, que pesquisa sobre direitos digitais e violência cibernética sexual na Universidade da Pensilvânia. “Faria muita diferença se pudéssemos dificultar o acesso a essas tecnologias. Não deveria levar dois segundos para potencialmente incitar um crime sexual.”
A nova pesquisa destaca 35 sites diferentes, que existem exclusivamente para hospedar vídeos de pornografia deepfake ou incorporar esses vídeos junto com outro material adulto. (Não inclui vídeos postados em redes sociais, aqueles compartilhados privadamente ou fotos manipuladas.) A WIRED não está nomeando ou vinculando diretamente aos sites, para não aumentar ainda mais sua visibilidade. O pesquisador coletou informações dos sites para analisar o número e a duração dos vídeos de deepfake, e examinou como as pessoas encontram os sites usando o serviço de análise SimilarWeb.
Muitos dos sites deixam claro que hospedam ou espalham vídeos de pornografia deepfake—muitas vezes apresentando a palavra deepfakes ou derivados dela em seus nomes. Os dois principais sites contêm 44.000 vídeos cada, enquanto outros cinco hospedam mais de 10.000 vídeos de deepfake. A maioria deles tem vários milhares de vídeos, enquanto alguns listam apenas algumas centenas. Alguns vídeos analisados pelo pesquisador foram assistidos milhões de vezes.
A pesquisa também identificou mais 300 sites de pornografia geral que de alguma forma incorporam pornografia deepfake não consensual. O pesquisador afirma que sites de “vazamento” e sites que existem para repostar fotos das redes sociais das pessoas também estão incorporando imagens deepfake. Um site que lida com fotografias afirma ter “despido” pessoas em 350.000 fotos.
Medir a escala completa de vídeos e imagens de deepfake online é incrivelmente difícil. Rastrear onde o conteúdo é compartilhado em redes sociais é desafiador, enquanto o conteúdo abusivo também é compartilhado em grupos de mensagens privadas ou canais fechados, frequentemente por pessoas conhecidas das vítimas. Em setembro, mais de 20 meninas com idades entre 11 e 17 anos se apresentaram na cidade espanhola de Almendralejo depois que ferramentas de IA foram usadas para gerar fotos nuas delas sem o conhecimento delas.
“Houve um crescimento significativo na disponibilidade de ferramentas de IA para criar imagens deepfake pornográficas não consensuais, e um aumento na demanda por esse tipo de conteúdo em plataformas de pornografia e redes online ilícitas”, diz Asher Flynn, professora associada da Universidade Monash, Austrália, que se concentra em IA e abuso facilitado pela tecnologia. Isso só tende a aumentar com novas ferramentas de IA generativa.
O acesso a muitos dos sites e ferramentas para criar vídeos ou imagens de deepfake é feito por meio de pesquisas na internet. Milhões de pessoas são direcionadas aos sites analisados pelo pesquisador, com 50 a 80 por cento delas chegando aos sites por meio de pesquisas. Encontrar vídeos deepfake por meio de pesquisas é trivial e não requer que a pessoa tenha qualquer conhecimento especial sobre o que procurar.
O problema é global. Usando uma VPN, o pesquisador testou pesquisas no Google no Canadá, Alemanha, Japão, Estados Unidos, Brasil, África do Sul e Austrália. Em todos os testes, os sites de deepfake foram exibidos de forma proeminente nos resultados das pesquisas. Celebridades, streamers e criadores de conteúdo são frequentemente alvos desses vídeos. Maddocks diz que a disseminação dos deepfakes tornou-se “endêmica” e é o que muitos pesquisadores temiam quando os primeiros vídeos deepfake ganharam destaque em dezembro de 2017.
Desde que as ferramentas necessárias para criar vídeos de deepfake surgiram, elas se tornaram mais fáceis de usar, e a qualidade dos vídeos produzidos melhorou. A onda de ferramentas de geração de imagens também oferece o potencial para a criação de imagens abusivas de maior qualidade e, eventualmente, de vídeos. E cinco anos após os primeiros deepfakes começarem a aparecer, as primeiras leis estão apenas surgindo para criminalizar a divulgação de imagens falsas.
A proliferação desses aplicativos de deepfake combinada com uma maior dependência das comunicações digitais na era da Covid-19 e uma “falha das leis e políticas em acompanhar o ritmo” criou uma “tempestade perfeita”, diz Flynn.
Os especialistas afirmam que, juntamente com novas leis, é necessário um melhor conhecimento sobre as tecnologias, bem como medidas para impedir a disseminação de ferramentas criadas para causar danos. Isso inclui ação por parte das empresas que hospedam os sites e também dos motores de busca, incluindo o Google e o Bing da Microsoft. Atualmente, as reclamações da Lei de Direitos Autorais do Milênio Digital (DMCA) são o principal mecanismo legal que as mulheres têm para remover vídeos dos sites.
Henry Ajder, especialista em deepfake e IA generativa que monitora a disseminação das tecnologias, diz que adicionar mais “fricção” ao processo de as pessoas encontrarem vídeos de pornografia deepfake, aplicativos para mudar os rostos das pessoas e ferramentas que permitem especificamente a criação de imagens não consensuais pode reduzir a disseminação. “Trata-se de tentar tornar o acesso o mais difícil possível”, diz ele. Isso poderia envolver motores de busca reduzindo a classificação de resultados para sites prejudiciais ou provedores de serviços de internet bloqueando sites, diz ele. “É difícil se sentir realmente otimista, dada a quantidade e escala dessas operações, e a necessidade de plataformas—que historicamente não levaram essas questões a sério—começarem a fazê-lo de repente”, diz Ajder.
“Assim como qualquer mecanismo de busca, o Google indexa conteúdo que existe na web, mas nós projetamos ativamente nossos sistemas de classificação para evitar chocar as pessoas com conteúdo prejudicial ou explícito inesperado que elas não desejam ver”, diz o porta-voz do Google, Ned Adriance, apontando para sua página sobre quando remove resultados de pesquisa. As páginas de suporte do Google dizem que é possível para as pessoas solicitar a remoção de “pornografia falsa involuntária”. Seu formulário de remoção exige que as pessoas enviem manualmente URLs e os termos de pesquisa que foram usados para encontrar o conteúdo. “À medida que esse espaço evolui, estamos trabalhando ativamente para adicionar mais salvaguardas para ajudar a proteger as pessoas, com base nos sistemas que construímos para outros tipos de imagens explícitas não consensuais”, diz Adriance.
Courtney Gregoire, diretora de segurança digital da Microsoft, diz que não permite deepfakes, e eles podem ser denunciados por meio de seus formulários na web. “A distribuição de imagens íntimas não consensuais é uma violação grosseira da privacidade pessoal e dignidade, com efeitos devastadores para as vítimas”, diz Gregoire. “A Microsoft proíbe imagens íntimas não consensuais em nossas plataformas e serviços, incluindo a solicitação de tais imagens ou a promoção ou redistribuição de imagens íntimas sem o consentimento da vítima.”
Enquanto o número de vídeos e imagens continua a aumentar rapidamente, o impacto nas vítimas pode ser duradouro. “O assédio online baseado em gênero está tendo um enorme efeito inibidor na liberdade de expressão das mulheres”, diz Maddocks. Como relatado pela WIRED, streamers do Twitch do sexo feminino que foram alvo de deepfakes detalharam sentir-se violadas, serem expostas a mais assédio e perder tempo, e algumas disseram que o conteúdo não consensual encontrou seu caminho até membros da família.
Flynn, a professora da Universidade Monash, diz que sua pesquisa encontrou “altas taxas” de preocupações com a saúde mental—como ansiedade, depressão, automutilação e suicídio—como resultado de abuso digital. “Os impactos potenciais na saúde mental e física de uma pessoa, bem como os impactos em seu emprego, família e vida social podem ser imensos”, diz Flynn, “independentemente de a imagem ser deepfake ou ‘real’.
