Imagine encontrar um vídeo de uma garota, menor de idade, caminhando de biquíni na beira da praia, tomando um sorvete ou pulando na piscina. A princípio, não há nada de errado com isso. Mas e se esse mesmo vídeo fosse um DVD e ele estivesse sendo exibido no meio da seção de vídeos adultos de uma loja?

O contexto faz toda diferença! Pior ainda se outros tantos DVDs parecidos estivessem à venda e a prateleira toda estivesse debaixo de uma placa escrita, em inglês, “Under 15”.

Foi isso o que vimos ao explorar o segundo andar de uma locadora de DVDs em Tóquio no final da década passada. No primeiro andar eram vendidos DVDs de filmes hollywoodianos e dos animes tradicionais. Como ninguém no grupo entendia japonês, sabe-se lá o que era indicado na subida da escada.

Nenhuma das excentricidades sexuais disponíveis em DVD, e organizadas meticulosamente no andar de cima da locadora, me fez tirar da cabeça a noção de que os vídeos mais pervertidos da loja eram justamente os que não tinham qualquer cena de sexo. Intenção e contexto eram a chave da erotização.

Mais de dez anos depois, a internet tratou de levar boa parte das locadoras de DVD à falência. Os sites de vídeo, adultos ou não, levaram toda sorte de conteúdo para dentro das casas, dos computadores e dos celulares. Com isso, a história do combate à disseminação de conteúdos envolvendo pornografia infantil se confundiu com a história da própria rede. Muitas ferramentas foram desenvolvidas para identificar e remover esses conteúdos e elas são usualmente exploradas para mostrar que a internet não é uma terra-sem-lei.

A caça a conteúdos envolvendo pornografia infantil é um jogo de gato e rato. A cada nova tecnologia inventada para controlar esse tipo de conteúdo, novas formas de distribuir esse material aparecem.

O recente caso envolvendo o movimento #WakeupYouTube lembra como esse processo pode ser complexo. Parece evidente que a empresa precisa fazer alguma coisa para evitar que a plataforma seja usada como ponto de encontro de predadores. A discordância surge quando se pergunta: o que ela exatamente deveria fazer?

O YouTube não é um site de vídeos adultos. Para ver conteúdo adulto na internet existem outros lugares que você pode ir. Isso não quer dizer que as pessoas não tentem subir conteúdo adulto na plataforma. Para barrar esses vídeos, que são proibidos nos termos de uso, existem filtros automatizados, além das ferramentas de denúncia.

Mas o que fazer quando o vídeo é de uma menor de idade dançando em uma festa na piscina? Ou mesmo de uma criança brincando sentada no tapete da sala? Esses vídeos não são conteúdo adulto. Todavia, como o movimento #WakeupYouTube mostrou, adultos estão fazendo comentários insinuantes nos vídeos ou mesmo postando time stamps (marcação de tempo no vídeo) em que a menor faz alguma pose que possa ser sugestiva ou que revele suas roupas íntimas.

O que o YouTube tem feito?

Geralmente removido os comentários desses vídeos quando alertado por usuários ou quando os mesmos caem nos filtros automatizados. Mas os vídeos continuam no ar. Vários influenciadores, como o youtuber Felipe Neto, começaram a apontar que isso não é suficiente e que a plataforma precisa cancelar as contas de quem faz os comentários e possivelmente indicar quem está por trás delas, cooperando com as autoridades para que essas pessoas sejam punidas.

A empresa alegou que está tomando todas as providências para banir conteúdo de pornografia infantil do site e que colabora com as autoridades. O YouTube ainda reforçou que esse tipo de conteúdo é expressamente proibido no site.

Crises morais como essa na plataforma geralmente resultam em dois efeitos. O primeiro é a perda de anunciantes. Disney, Nestlé e outras marcas já anunciaram que estão suspendendo os seus anúncios no site até segunda ordem. O YouTube vai precisar mostrar serviço. Entra em cena então o segundo efeito e é aqui que as coisas ficam complicadas de vez.

Vai começar o festival da filtragem. Para caçar conteúdos que possam induzir a disseminação de pornografia infantil, a empresa deve aumentar o rigor dos seus mecanismos de filtragem de materiais, removendo não apenas vídeos ostensivamente proibidos, mas também aqueles que o algoritmo ache que sejam ilícitos.

Um dos resultados desse cenário foi experimentado nessa semana quando dois importantes canais dedicados ao jogo Pokémon GO tiveram vídeos removidos e até mesmo as suas contas canceladas. A razão? No jogo, os Pokémon são mais fortes quanto maior forem os seus pontos de combate. Em inglês, combat points ou simplesmente CP. Acontece que em inglês CP é também a sigla para child porn, ou seja, pornografia infantil.

Um dos vídeos censurados perguntava no título quanto CP teria um novo Pokémon (“how much CP will it be?“). O responsável pelo canal Trainer Tips argumentou que a sua conta foi derrubada por exibir vídeos em que ensinava como conseguir mais CP (“how to get CP“). Os vídeos foram sumariamente derrubados e as contas dos criadores bloqueadas. Depois de muito protesto o YouTube reconheceu o erro e devolveu as contas. O estrago já estava feito.

Isso mostra como o YouTube passou a deixar que os algoritmos façam a limpeza da plataforma sem qualquer noção de contexto ou revisão humana antes da remoção e do cancelamento de contas. Se qualquer ser humano (e nem precisa ser um treinador de Pokémon) visse cinco segundos do vídeo entenderia que o canal não era dedicado à pornografia infantil e que o CP indicado no título queria dizer algo inteiramente diferente.

A lição que se tira dessa história é que não existe resposta fácil quando se relega aos algoritmos de filtragem o controle sobre os conteúdos que podem ser acessados nas plataformas online. Felipe Neto acertou ao mobilizar a audiência brasileira para o movimento #WakeupYouTube. O complicado é saber como deve a empresa atuar para impedir o abuso da plataforma e, ao mesmo tempo, não se valer de ferramentas que vão acabar atingindo os próprios criadores (como filtragens sem sentido).

A ironia de tudo isso é que o mesmo Felipe Neto mexeu com a internet brasileira ao aventar o possível fim do seu canal (e do YouTube como conhecemos) caso o Artigo 13 da Diretiva europeia de direitos autorais passasse a vigorar. O artigo levaria todas as plataformas a filtrar ativamente conteúdos para identificar usos não permitidos de obras autorais (como músicas e trechos de vídeos), ficando as mesmas responsáveis em caso de violações.

O resultado desse artigo seria, como lembra Felipe Neto, uma caça desenfreada a qualquer uso de obra autoral alheia, retirando a monetização ou removendo vídeos mesmo quando apenas pequenos trechos são usados.

Ou seja, de um lado se pede que o YouTube faça alguma coisa para evitar o uso pervertido de vídeos. Isso vai implicar em muita filtragem errada. Por outro, se pede que o YouTube não comece a filtrar indiscriminadamente conteúdos para caçar violações a direitos autorais porque já se sabe que isso vai prejudicar os chamados “usos justos” e inviabilizar diversos canais.

Não tem resposta fácil, mas é certo que apostar todas as fichas na filtragem de conteúdo nunca é uma boa ideia. Especialmente quando intenção e contexto são as chaves para tornar um conteúdo (ou o seu uso) ilícito, é ai mesmo que os filtros não vão pegar.

O que pode então a empresa fazer?

– Revisar o controle do uso da plataforma por menores. Essa é uma medida com fortes consequências econômicas, já que alguns youtubers mirins estão dentre os que mais geram tráfego no site;

– Identificar os responsáveis por contas que postam conteúdos de pornografia infantil e cooperar com as autoridades para a punição dessas pessoas;

– Aperfeiçoar os seus mecanismos de filtragem, especialmente levando em consideração o contexto no qual meras palavras-chaves são inseridas;

– Aumentar a revisão humana de conteúdos que caem no filtro automatizado ou que são denunciados por outros usuários.

– Incentivar as pessoas a denunciar abusos que elas venham a encontrar na plataforma. Com o volume gigantesco de vídeos postados a cada hora, a empresa precisa do olhar dos seus usuários para identificar novas questões e práticas que ainda passam desapercebidas pelo algoritmo.

Se o YouTube fosse a locadora de vídeos que encontramos no Japão ficaria mais fácil controlar os comportamentos abusivos: bastava fechar o acesso ao segundo andar. Na internet o desafio é mais complexo. O segundo andar não está depois de um lance de escada, mas sim na cabeça e nos atos de quem se esconde atrás da tela.