Machine Translated by Google

Capítulo 43

Governando o abuso sexual baseado em imagens:

Políticas, ferramentas e
Práticas

Nicola Henry e Alice Witt

Abstrato

A tomada ou partilha não consensual de imagens nuas ou sexuais, também conhecida

como “abuso sexual baseado em imagens”, é um grande problema social e jurídico na
era digital. Neste capítulo, examinamos o problema do abuso sexual baseado em
imagens no contexto da governação das plataformas digitais. Especificamente,
concentramo-nos em duas questões fundamentais de governação: primeiro, a
governação das plataformas, incluindo os quadros regulamentares que se aplicam às
empresas tecnológicas; e segundo, a governação por plataformas, centrando-se nas
suas políticas, ferramentas e práticas para responder ao abuso sexual baseado em
imagens. Depois de analisar as políticas e práticas de uma série de plataformas
digitais, identificamos quatro deficiências gerais: (1) linguagem inconsistente,
reducionista e ambígua; (2) uma lacuna acentuada entre a política e a prática de
regulação de conteúdos, incluindo défices de transparência; (3) tecnologia imperfeita
para detectar abusos; e (4) a responsabilidade dos usuários em denunciar e prevenir
abusos. Com base num modelo de responsabilidade social empresarial (RSE),
argumentamos que, até que as plataformas resolvam melhor estes problemas, correm
o risco de fracassar como vítimas-sobreviventes de abuso sexual baseado em imagens
e estão implicadas na perpetração de tais abusos. Concluímos apelando a uma
regulamentação estatal razoável e proporcionada que possa ajudar a alinhar melhor a governação das pla

Palavras-chave: Plataformas digitais; governança de plataforma; abuso sexual

baseado em imagens; pornografia não consensual; moderação de conteúdo;
responsabilidade social corporativa

O Manual Internacional Emerald de Violência e Abuso Facilitados pela Tecnologia, 749–768

Copyright © 2021 Nicola Henry e Alice Witt
Publicado pela Emerald Publishing Limited. Este capítulo foi publicado sob a licença
Creative Commons Attribution (CC BY 4.0). Qualquer pessoa pode reproduzir, distribuir, traduzir e
criar trabalhos derivados desses capítulos (para fins comerciais e não comerciais), sujeitos à
atribuição integral à publicação e aos autores originais. Os termos completos desta licença podem
ser vistos em http://creativecommons.org/licences/by/4.0/
legalcode. doi:10.1108/978-1-83982-848-520211054
Machine Translated by Google

750 Nicola Henry e Alice Witt

Introdução

A tomada ou partilha não consensual de imagens nuas ou sexuais, também conhecida como
“abuso sexual baseado em imagens” (Henry et al., 2020; McGlynn & Rackley, 2017) ou
“pornografia não consensual” (Citron & Franks, 2014; Ruvalcaba & Eaton , 2020), é um grande
problema social e jurídico na era digital. Com o desenvolvimento das redes sociais e de outras
tecnologias em rede, que permitem a mais de três mil milhões de utilizadores gerar e partilhar
instantaneamente conteúdos na Internet (Kemp, 2020), o abuso sexual baseado em imagens
não só está a aumentar rapidamente, como também tem impactos significativos ( Henry e
outros, 2020).
Embora as infracções penais sejam um meio importante para punir os perpetradores e
proporcionar justiça às vítimas-sobreviventes, a criminalização pouco fez para prevenir o flagelo
do abuso sexual baseado em imagens ou minimizar os danos quando as imagens (fotografias
ou vídeos) são publicadas online. Por exemplo, as imagens podem ser copiadas e republicadas
em múltiplas plataformas e dispositivos – em alguns casos tornando virtualmente impossível
impedir a propagação de imagens online. Os perpetradores são muitas vezes difíceis de
identificar devido a medidas de anonimato, tais como encriptação, redes privadas virtuais e
servidores proxy que ocultam a natureza do conteúdo, a localização do tráfego da Internet e
outras informações sobre os utilizadores e os seus dispositivos. Além disso, o policiamento do
abuso sexual baseado em imagens (e do crime cibernético em geral) normalmente consome
muitos recursos, uma vez que as agências responsáveis pela aplicação da lei muitas vezes
têm de trabalhar além das fronteiras jurisdicionais.
Em resposta aos complexos desafios levantados pelos conteúdos nocivos online, os
governos de todo o mundo estão a introduzir novos regimes regulamentares para tentar
responsabilizar melhor as empresas tecnológicas pelo alojamento de conteúdos nocivos nas
suas plataformas. Ao mesmo tempo, as próprias empresas tecnológicas estão a tomar medidas
mais proactivas para resolver este problema. Neste capítulo, examinamos o problema do abuso
sexual baseado na imagem à luz destas duas formas de governação. Na primeira secção,
centramo-nos na governação das plataformas digitais, examinando a introdução de regimes
regulatórios governamentais e intergovernamentais mais amplos num cenário em mudança,
que alguns descreveram como um “techlash” global contra as principais plataformas digitais
(Flew, Martin, & Suzor, 2019, p. 33). Na segunda secção, examinamos a governação pelas
plataformas digitais, centrando-nos especificamente nas políticas, ferramentas e práticas que
estão a ser implementadas pelas plataformas digitais para responder e prevenir o abuso sexual
baseado em imagens.
Na terceira secção, recorremos a um modelo de responsabilidade social empresarial (RSE)
para propor caminhos a seguir. A RSE fornece uma linguagem útil, embora contestada, para
examinar a política e a prática de moderação ou regulamentação de conteúdo online.
Embora existam diferentes concepções de RSE, definimo-la como as responsabilidades sociais,
económicas, legais, morais e éticas das empresas para lidar com os efeitos nocivos das suas
actividades. A nossa concepção de RSE está inserida num quadro de justiça social que situa a
lógica da acção não apenas como um exercício de construção de lucros ou de reputação, mas
também como um exercício que depende dos valores comunitários e do “bem comum”.

Argumentamos que, embora muitas plataformas digitais estejam a tomar medidas proactivas para
detectar e abordar o abuso sexual baseado em imagens, quatro deficiências principais são evidentes
nas suas abordagens políticas. Primeiro, algumas plataformas adotam políticas inconsistentes, reducionistas e
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 751

e linguagem ambígua para descrever o abuso sexual baseado em imagens. Em segundo lugar,
embora várias plataformas tenham agora uma posição política explícita sobre o abuso sexual
baseado em imagens, existe muitas vezes uma grande lacuna entre a política e a prática de
regulação de conteúdos, bem como uma falta de transparência sobre como as decisões são
tomadas e quais são as consequências. resultados dessas decisões são. Terceiro, embora as
plataformas recorram cada vez mais a soluções de alta tecnologia para detectar ou prevenir o
abuso sexual baseado em imagens, estas são medidas imperfeitas que podem ser contornadas.
E quarto, a responsabilidade recai predominantemente sobre os utilizadores para encontrar e
denunciar abusos sexuais baseados em imagens às plataformas, o que pode ser traumatizante e altamente stressa
Afirmamos que, devido ao seu poder de governo, carácter público e controlo da informação,
as plataformas digitais têm a responsabilidade ética de detectar, abordar e prevenir o abuso
sexual baseado em imagens nas suas redes. Isto apesar do grau de imunidade legal que as
plataformas têm contra conteúdos nocivos publicados pelos seus utilizadores ao abrigo da secção
230(c) da Lei de Decência nas Comunicações dos Estados Unidos (EUA) de 1996 (CDA 230).
Argumentamos que quando as plataformas governam sem salvaguardas regulamentares
suficientes, tais como processos de recurso e práticas de fundamentação (Suzor, 2019), correm
o risco de falhar nas vítimas-sobreviventes de abuso sexual baseado em imagens e estão
implicadas na perpetração de atos sexuais baseados em imagens. Abuso.

Governança de Plataformas Digitais

Também conhecidas como “intermediários da Internet” ou “provedores de serviços on-line”, as

plataformas digitais são organizações ou entidades corporativas não estatais que facilitam
transações, troca de informações ou comunicações entre terceiros na Internet (ver, por exemplo,
Taddeo & Floridi, 2016). ). Segundo Gillespie (2018), plataformas digitais são “sites e serviços que
hospedam a expressão pública, armazenam-na e a veiculam na nuvem, organizam o acesso a ela
por meio de pesquisa e recomendação ou instalam-na em dispositivos móveis” (p. 254). ). Gillespie
(2018) explica que o que as plataformas digitais têm em comum é o alojamento e organização de
“conteúdo de utilizador para circulação pública, sem o ter produzido ou encomendado” (p. 254).
Embora as plataformas digitais possam parecer canais ou representantes neutros para a troca de
conteúdo online entre terceiros, elas nunca são neutras e têm sido descritas como os “novos
governantes” ou “superpotências” da era digital (Klonick, 2018; Lee). , 2018). Alguns comentadores
argumentam que as empresas tecnológicas estão envolvidas em formas ilícitas de vigilância
digital, saqueando os dados comportamentais dos utilizadores para vender a clientes empresariais
(incluindo anunciantes políticos) para obter lucro económico (por exemplo, Zuboff, 2019), bem
como criando as normas e meios através do qual os utilizadores individuais podem envolver-se
em “vigilância performativa” sob a forma de rastreamento, monitorização e observação de outros
utilizadores online (por exemplo, Westlake, 2008).

Além das formas potencialmente ilícitas de vigilância e recolha de dados, uma das principais
formas pelas quais as plataformas governam as suas redes é moderando o conteúdo gerado
pelos utilizadores. Como forma de regulamentação, a moderação de conteúdo abrange uma série
de processos através dos quais os executivos da plataforma e os seus funcionários definem,
mantêm e impõem os limites dos comportamentos “apropriados” dos utilizadores (Witt, Suzor, &
Huggins, 2019). A norma é que a moderação de conteúdo seja ex post, o que significa que é
realizada depois que um usuário publica conteúdo e reativa em resposta a sinalizações ou
relatórios do usuário (Klonick, 2018; Roberts, 2019). Isto significa que as plataformas geralmente não
Machine Translated by Google

752 Nicola Henry e Alice Witt

selecionam proativamente o conteúdo, cujas decisões são tomadas predominantemente após a

publicação do material. Em algumas plataformas, no entanto, os sistemas automatizados
desempenham cada vez mais um papel mais central na deteção e remoção de conteúdos nocivos
online antes que alguém tenha a oportunidade de ver ou partilhar o material (ver discussão mais
aprofundada abaixo).
Existem défices de transparência significativos em torno das formas como os diferentes tipos
de conteúdo são moderados na prática (Witt et al., 2019, p. 558). Muitas vezes não é claro, por
exemplo, que material é sinalizado para remoção, quanto conteúdo é realmente removido e por
que meios. Também é impossível determinar com precisão quem remove conteúdo (por exemplo,
um moderador de conteúdo da plataforma ou um utilizador) sem acesso ao funcionamento interno
de uma plataforma (Witt et al., 2019, p. 572). O sigilo em torno do funcionamento interno da
moderação de conteúdo é reforçado pela operação da lei contratual, que rege a relação plataforma-
usuário, e pelas poderosas proteções legais sob a lei dos EUA (onde muitas plataformas estão
baseadas principalmente). Especificamente, o CDA 230 protege as plataformas contra
responsabilidade por conteúdo publicado por terceiros. Consequentemente, as plataformas que
alojam ou republicam conteúdos geralmente não são legalmente responsáveis pelo que os seus
utilizadores dizem ou fazem, exceto por conteúdos ilegais ou conteúdos que infrinjam os regimes
de propriedade intelectual. Na verdade, as empresas tecnológicas não só exercem “poder sem
precedentes” sobre “o que [os utilizadores] podem ver ou partilhar” (Suzor, 2019, p. 8), mas
também têm “amplo poder discricionário para criar e fazer cumprir as suas regras de quase
qualquer forma que considerem”. apto” (Suzor, 2019, p. 106). Isto significa que as decisões em
torno do conteúdo podem basear-se numa série de factores, incluindo políticas públicas, como
termos de serviço, directrizes comunitárias, directrizes prescritivas que os moderadores seguem a
portas fechadas, obrigações legais, forças de mercado e normas culturais de utilização.
As plataformas digitais não são, no entanto, completamente “ilegais” (Suzor, 2019, p. 107).
As plataformas estão sujeitas a uma série de leis em jurisdições em todo o mundo, algumas das
quais têm o potencial de ameaçar a estabilidade contínua das disposições do porto seguro CDA
230. A Europa tem sido descrita como o “principal observador tecnológico do mundo”
(Satariano, 2018), especialmente com os reguladores europeus a assumirem uma “postura cada
vez mais activista em relação… às empresas de plataformas digitais” (Flew et al., 2019, p. 34). O
Regulamento Geral de Proteção de Dados (GDPR) da União Europeia e as leis NetzDG da
Alemanha, por exemplo, podem resultar em multas administrativas significativas por proteção de
dados ou violações de segurança (entre outras consequências punitivas por não conformidade)
(ver Echikson & Knodt, 2018; O Parlamento Europeu e Conselho da União Europeia, 2016/679).
Existem também muitos exemplos de tribunais europeus que ordenam aos prestadores de serviços
que restrinjam os tipos de conteúdos que os utilizadores veem e como e quando os veem (por
exemplo, ações judiciais por direitos de autor ou por difamação) (Suzor, 2019, p. 49).
Estas “resistências regulatórias” baseadas no Estado fazem parte de um “techlash” global
contra os poderes governantes das plataformas digitais nos últimos anos (Flew et al., 2019, pp. 33
e 34). No momento da redação deste capítulo, o Reino Unido propôs uma série de medidas no seu
Livro Branco sobre Danos Online, que inclui um dever legal de cuidado que exigirá legalmente que
as plataformas interrompam e impeçam o aparecimento de material prejudicial nas suas redes
(Secretário de Estado do Digital, Cultura, Mídia e Esporte e Secretário de Estado do Ministério do
Interior, 2019). Em 2019, o Canadá lançou a Carta Digital em Acção, que inclui 10 princípios
fundamentais concebidos para garantir a recolha, utilização e divulgação ética de dados (Inovação,
Ciência e Desenvolvimento Económico Canadá, 2019).
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 753

Indo um passo além, após o tiroteio na mesquita de Christchurch na Nova Zelândia em 15 de

março de 2019, o governo federal australiano aprovou a Lei de Alteração do Código Penal
(Compartilhamento de Material Violento Abominável) de 2019 (Cth), que dá ao Comissário
Australiano de Segurança Eletrônica poderes para emitir tomadas avisos de redução para
plataformas digitais que hospedam material violento abominável (AVM). Se um provedor de
serviços não conseguir remover o AVM, ele poderá ser processado de acordo com a lei criminal
federal australiana, entre outras possíveis ações. Além disso, em 2018, o governo federal
australiano introduziu um regime inovador de sanções civis que proíbe a partilha não consensual
de imagens íntimas, bem como a ameaça de partilha de imagens íntimas. Ao abrigo deste regime,
o Comissário da Segurança Eletrónica pode emitir multas substanciais, advertências formais,
avisos de infração ou avisos de remoção a indivíduos e empresas que exijam a remoção de
imagens no prazo de 48 horas.
Estes desenvolvimentos nacionais e internacionais reconhecem que os processos de tomada
de decisão de plataformas digitais ostensivamente “privadas” podem ter impactos significativos
nos utilizadores individuais e implicações de longo alcance para a política, a cultura e a sociedade
(a “esfera pública”) de forma mais ampla. Sugerem também que a imunidade da plataforma
relativamente à responsabilidade legal, tanto por violações de privacidade como por alojamento
de conteúdos nocivos, está a diminuir – pelo menos em alguns contextos jurisdicionais.
As plataformas digitais podem então não ser completamente ilegais, mas na prática governam,
para usar o termo de Suzor (2019), “de uma forma ilegal” (p. 107). As plataformas exercem um
poder extraordinário com salvaguardas limitadas para os utilizadores, tais como justiça, igualdade
e certeza, que muitos cidadãos ocidentais esperam dos intervenientes governamentais (Witt et al.,
2019). O resultado é muitas vezes uma lacuna significativa entre as políticas das plataformas e a
sua governação na prática, bem como uma falta de transparência em torno dos processos de
tomada de decisão das plataformas digitais.

Governança por Plataformas Digitais

Nesta seção, exploramos uma série de políticas, ferramentas e práticas projetadas para detectar,
prevenir e responder ao abuso sexual baseado em imagens em algumas das maiores plataformas
digitais. Dado o ritmo acelerado da inovação no setor tecnológico, selecionámos plataformas de
acordo com o seu tráfego, domínio de mercado e capacidade de alojar conteúdos de abuso sexual
baseados em imagens. Os sites que selecionamos foram predominantemente os sites mais
populares classificados pela empresa de análise Alexa (Alexa Internet, nd).
As plataformas de mídia social e mecanismos de busca que examinamos incluíram Google,
YouTube, Facebook, Yahoo!, Reddit, Instagram, Microsoft, Twitter, Flickr, Snapchat, TikTok e
Tumblr. Os sites de pornografia que examinamos incluíam Pornhub, XVideos e xHamster. Depois
de criar uma lista de sites, usamos o mecanismo de busca Google para identificar os documentos
políticos de cada empresa, incluindo seus termos de serviço, diretrizes da comunidade, relatórios
e blogs oficiais. Cada documento foi analisado para identificar políticas específicas de abuso
sexual baseado em imagens, políticas gerais que poderiam ser aplicáveis ao abuso sexual
baseado em imagens e ferramentas para detectar, denunciar ou bloquear conteúdo, se houver.
Também pesquisamos artigos de notícias ou blogs relevantes sobre as respostas das plataformas
a conteúdo de abuso sexual baseado em imagens.
Machine Translated by Google

754 Nicola Henry e Alice Witt

Nossa abordagem tem quatro limitações principais. A primeira limitação é que só pudemos examinar
documentos políticos disponíveis publicamente. Como tal, não pudemos examinar as diretrizes não
divulgadas que os moderadores seguem a portas fechadas ou informações sobre os sistemas
automatizados privatizados que as plataformas digitais podem utilizar. Em segundo lugar, realizámos a
nossa análise durante um período de três meses entre Janeiro e Março de 2020 e, portanto, não
podemos contabilizar quaisquer alterações nas políticas, ferramentas ou práticas após esse período.
Terceiro, não examinamos empresas de tecnologia não inglesas, nem examinamos plataformas
marginais, “desonestas” ou subterrâneas (por exemplo, na Clear Net ou Dark Net) onde conteúdo de
abuso sexual baseado em imagens está sendo compartilhado e negociado (ver Henry & Flynn, 2019).

Finalmente, não procuramos investigar empiricamente as experiências ou perspectivas das vítimas-

sobreviventes ou dos representantes da plataforma em relação à remoção de conteúdo ou às políticas,
ferramentas e práticas da plataforma. Atualmente existe uma falta generalizada de transparência em
torno da governação da plataforma e é necessária mais investigação para colmatar esta lacuna. A
análise abaixo, no entanto, fornece informações sobre como plataformas selecionadas estão tentando
abordar e prevenir o abuso sexual baseado em imagens. Aqui nos concentramos em três áreas
principais de moderação de conteúdo: políticas de plataforma; opções e práticas de relatórios; e
ferramentas tecnológicas.

Políticas da plataforma sobre abuso sexual baseado em imagens

O termo “pornografia de vingança” tornou-se popular em 2011, após a ampla atenção da mídia ao
compartilhamento não consensual de imagens nuas ou sexuais de músicos e esportistas no site
IsAnyoneUp.com e ao subsequente julgamento criminal de seu fundador, Hunter Moore (Martens,
2011). . O termo, no entanto, é impróprio porque nem todos os perpetradores são motivados por
vingança quando partilham imagens nuas ou sexuais sem consentimento. Em vez disso, podem ser
motivados por outras razões, tais como gratificação sexual, ganho monetário, construção de estatuto
social ou desejo de poder e controlo (Citron & Franks, 2014; Henry et al., 2020). O termo “pornografia
de vingança” tem sido amplamente criticado por ter conotações de culpabilização das vítimas,
minimização de danos ou lascivas. Acadêmicos, ativistas, vítimas-sobreviventes e profissionais também
argumentam que ele não consegue capturar a complexidade e a diversidade de comportamentos que
envolvem o uso e abuso de imagens sexuais ou nuas não consensuais por pessoas conhecidas e
desconhecidas, usando diversos meios e métodos (Henry et al. ., 2020; McGlynn e Rackley, 2017;
Powell, Henry e Flynn, 2018).

Embora um pequeno número de plataformas digitais continuem a referir-se a “pornografia de

vingança” nos seus termos de serviço ou diretrizes comunitárias, outras adotaram termos alternativos,
como “pornografia não consensual”, “pornografia involuntária” ou “partilha não consensual de imagens
íntimas”. .” As diretrizes da comunidade do Tumblr, por exemplo, afirmam: “Absolutamente não publique
pornografia não consensual – isto é, fotos ou vídeos privados tirados ou postados sem o consentimento
do sujeito” (Tumblr, 2020, Violações de privacidade, parágrafo 1). Outras plataformas definem proibições
contra formas mais amplas de conteúdo online. Por exemplo, os termos de serviço do Pornhub proíbem
explicitamente, entre outros comportamentos, a representação de outra pessoa, a publicação de
material protegido por direitos autorais, conteúdo que retrate uma pessoa menor de 18 anos e conteúdo
que
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 755

é “obsceno, ilegal, ilegal, difamatório, calunioso, assediante, odioso, racial ou etnicamente

ofensivo” (Pornhub, 2020, Monitoramento e aplicação, parágrafo 4).
Notavelmente, no entanto, o Pornhub não especifica proibições explícitas contra abuso sexual
baseado em imagens. Nas suas políticas, o xHamster e o XVideos não mencionam especificamente
o abuso sexual baseado em imagens, mas sim a privacidade, abuso, assédio, conteúdo impróprio
ou ilegal (xHamster, 2020; XVideos, sd). Da mesma forma, a Política Comunitária do TikTok não
menciona conteúdo de abuso sexual baseado em imagens e, em vez disso, informa aos usuários
que este “NÃO é o lugar para postar, compartilhar ou promover… conteúdo prejudicial ou
perigoso” (TikTok, 2019; parágrafo 4).
Em algumas plataformas, a proibição do abuso sexual baseado em imagens não é clara. Por
exemplo, o Snapchat afirma que os usuários não devem “tirar Snaps de pessoas em espaços
privados – como banheiros, vestiários ou instalações médicas – sem o seu conhecimento e
consentimento” (Snap Inc., 2019, parágrafo 4). Embora sejam dados exemplos do que um “espaço
privado” pode implicar, não está claro se a partilha não consensual de imagens nuas ou sexuais
também é proibida no contexto de espaços “públicos”.
A política do Facebook sobre a partilha de conteúdos de abuso sexual baseados em imagens, por
outro lado, é muito mais clara, permitindo que a partilha de imagens seja “não comercial” ou
“privada”, com uma definição abrangente do que uma imagem “íntima” inclui.
O Facebook proíbe o compartilhamento não consensual de imagens íntimas de acordo com três
critérios: a imagem não é comercial ou é produzida em ambiente privado; a pessoa está nua, quase
nua, ou praticando um ato sexual ou posando de forma sexual; e há falta de consentimento indicado
por legendas, comentários, título da página, fontes independentes ou relatos de vítimas ou outros
(Facebook, 2020a).
No entanto, o foco em imagens que não são comerciais e que são produzidas num ambiente privado
parece negar aos trabalhadores do sexo ou aos actores pornográficos o direito de controlar a
disseminação das suas imagens.
Pode haver efeitos de fluxo significativos de posições políticas ambíguas sobre abuso sexual
baseado em imagem. As políticas de plataforma com textura aberta ou que utilizam termos
indefinidos podem permitir a tomada de decisões ad hoc em resposta a pressões empresariais e
outras (Witt et al., 2019). A falta de uma linguagem consistente para as plataformas nomearem e
resolverem os problemas do abuso sexual baseado em imagens pode tornar difícil para as partes
interessadas discutirem as preocupações levantadas pelas vítimas-sobreviventes e outros
intervenientes sociais. Além disso, orientações vagas podem limitar fundamentalmente a capacidade
das vítimas-sobreviventes ou dos seus representantes autorizados de aplicarem as políticas da
plataforma às funcionalidades de denúncia ou de informarem os utilizadores sobre os limites do comportamento acei
Dado que as plataformas quase sempre reservam “amplo poder discricionário” para determinar
que resposta, se houver, será dada a uma denúncia de conteúdo prejudicial (Suzor, 2019, p. 106),
cabe essencialmente a sua escolha impor ou não medidas punitivas (ou outras) medidas sobre os
usuários quando seus termos de serviço ou diretrizes da comunidade forem violados (alguns dos
quais têm processos de apelação em vigor). Embora as plataformas não possam efetuar detenções
ou emitir mandados, podem remover conteúdo, limitar o acesso aos seus sites a utilizadores
infratores, emitir avisos, desativar contas por períodos de tempo específicos ou suspender
permanentemente contas a seu critério. O YouTube, por exemplo, implementou um “sistema de
avisos” que primeiro envolve a remoção do conteúdo e um aviso emitido (enviado por e-mail) para
informar ao usuário que as Diretrizes da Comunidade foram violadas, sem penalidade para o canal
do usuário se for um primeiro
Machine Translated by Google

756 Nicola Henry e Alice Witt

ofensa (YouTube, 2020, O que acontece se, parágrafo 1). Após uma primeira infração, os
usuários receberão um aviso contra seu canal e, depois de receberem três avisos, seu canal
será encerrado. Outras plataformas possuem sistemas semelhantes em funcionamento. Tal
como observado por York e Zuckerman (2019), a suspensão das contas dos utilizadores pode
funcionar como um “forte desincentivo” à publicação de conteúdos nocivos onde a reputação
social ou profissional esteja em jogo (p. 144).

Deepfakes
A medida em que as políticas e diretrizes da plataforma cobrem explícita ou implicitamente
“deepfakes”, incluindo pornografia deepfake, é uma questão de governança relativamente nova.
Deepfakes são uma mala de viagem de “aprendizado profundo”, um subcampo de inteligência
artificial (IA) restrita usada para criar conteúdo e imagens falsas. Em dezembro de 2017, um
usuário do Reddit, que se autodenominava “deepfakes”, treinou algoritmos para trocar rostos de
atores em vídeos pornográficos com rostos de celebridades conhecidas (ver Chesney & Citron,
2019; Franks & Waldman, 2019). Desde então, o volume de vídeos deepfake na internet
aumentou exponencialmente; a grande maioria dos quais são pornográficos e têm como alvo
desproporcional as mulheres (Ajder, Patrini, Cavalli, & Cullen, 2019).

No início de 2020, Facebook, Reddit, Twitter e YouTube anunciaram políticas novas ou

alteradas que proíbem conteúdo deepfake. Para que o conteúdo deepfake seja removido do
Facebook, por exemplo, ele deve atender a dois critérios: primeiro, deve ter sido “editado ou
sintetizado… de maneiras que não são aparentes para uma pessoa comum e que provavelmente
levariam alguém a pensar que um sujeito do vídeo disse palavras que na verdade não disse”; e
em segundo lugar, deve ser o produto da IA ou da aprendizagem automática (Facebook, 2020a,
Mídia manipulada, parágrafo 3). O âmbito restrito destes critérios, que parecem visar notícias
falsas manipuladas em vez de diferentes tipos de meios de comunicação manipulados, não
deixa claro se os vídeos sem som serão abrangidos pela política – por exemplo, o rosto de uma
pessoa que está sobreposto ao de outra pessoa. corpo em um vídeo pornô silencioso. Além
disso, esta política não pode abranger técnicas de baixa tecnologia e sem IA que são utilizadas
para alterar vídeos e fotografias – também conhecidas como “shallowfakes” (ver Bose, 2020).

Por outro lado, a nova política de deepfake do Twitter refere-se a “mídia sintética ou
manipulada que pode causar danos” de acordo com três critérios principais: primeiro, se o
conteúdo for sintético ou manipulado; segundo, se o conteúdo foi compartilhado de forma
enganosa; e terceiro, se o conteúdo for suscetível de afetar a segurança pública ou causar
danos graves (Twitter, 2020, parágrafo 1). A publicação de imagens deepfake no Twitter pode
levar a uma série de consequências, dependendo se algum ou todos os três critérios forem
satisfeitos. Isso inclui a aplicação de um rótulo ao conteúdo para deixar claro que ele é falso;
reduzir a visibilidade do conteúdo ou impedir que ele seja recomendado; fornecer um link para
explicações ou esclarecimentos adicionais; remover o conteúdo; ou suspensão de contas onde
houve violações repetidas ou graves da política (Twitter, 2020).

Embora não existam políticas específicas de deepfake em outras plataformas, algumas têm
regras mais gerais relacionadas a “fake/d”, “falso”, “enganoso”, “manipulado digitalmente”,
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 757

Conteúdo “semelhante” e/ou “agregado”, o que pode resultar na remoção de imagens deepfake. O Pornhub
(2020) não menciona deepfakes em seus Termos de Serviço; no entanto, em 2018 anunciou a proibição de
deepfakes (Cole, 2018).
No entanto, o site continua a hospedar pornografia deepfake. Quando pesquisamos por “deepfakes” usando a
função de pesquisa interna do Pornhub, nenhum resultado foi encontrado, mas quando pesquisamos
“deepfakes” e “pornhub” no Google, vários resultados de vídeos falsos de celebridades foram retornados.

Denunciar conteúdo prejudicial

As opções de denúncia são outro meio através do qual as plataformas digitais podem resolver o problema do
abuso sexual baseado em imagens. Todas as plataformas que examinamos possuem algum tipo de protocolo
de denúncia, incluindo os sites pornográficos, que deveriam desencadear a revisão por moderadores de
conteúdo humanos. Em sites pornográficos, por exemplo, os usuários podem denunciar por meio de uma
solicitação de remoção da Lei de Direitos Autorais do Milênio Digital de 1998 ou por meio de um formulário de
remoção de conteúdo. O Facebook anunciou recentemente que o conteúdo de abuso sexual baseado em
imagens agora é triado junto com a automutilação na fila de moderação de conteúdo (Solon, 2019).

Outra forma importante de denúncia de conteúdos ocorre através do sistema de “sinalização”, onde os
utilizadores são alistados como um “corpo voluntário de reguladores” para alertar as plataformas sobre
conteúdos que violam as suas políticas e padrões comunitários (Crawford & Gillespie, 2016, p. 412). Os
usuários do Facebook, por exemplo, sinalizam cerca de um milhão de conteúdos por dia (Buni & Chemaly,
2016). Muitas empresas fornecem recursos de denúncia integrados por meio dos quais os usuários podem
denunciar material que potencialmente viole as políticas de conteúdo (Witt et al., 2019, p. 577). Por exemplo,
o Pornhub permite que os usuários sinalizem vídeos (usando o link “Sinalizar este vídeo” abaixo de cada vídeo)
se forem “ilegais, ilícitos, de assédio, prejudiciais, ofensivos ou por vários outros motivos”, afirmando que
removerão o conteúdo de o site sem demora (Pornhub, 2020, Usos proibidos, parágrafo 2).

Os sistemas de denúncia de plataformas colocam predominantemente sobre as vítimas-sobreviventes ou

outros usuários o ônus de sinalizar ou denunciar conteúdo de abuso sexual baseado em imagens. Por outras
palavras, as plataformas digitais “[responsabilizam os utilizadores] para reduzir o seu próprio risco de [vitimização]”
(Salter, Crofts, & Lee, 2018, p. 301). As principais plataformas online, como o Facebook e o Instagram, sugerem
que os utilizadores tomem uma série de medidas preventivas, como deixar de seguir ou bloquear os
responsáveis pela publicação de conteúdos abusivos, rever as suas configurações de segurança e aceder a
informações com hiperligações. A Micro soft, por exemplo, sugere que os usuários identifiquem a fonte e/ou
proprietário de uma imagem e tentem removê-la antes de denunciá-la como uma possível violação de política
(Microsoft, 2020). Se não tiver êxito, as vítimas são incentivadas a denunciar o conteúdo por meio de recursos
de denúncia integrados ou outros. Pré-condições como esta, em muitos aspectos, são uma “solução prática
para o problema de moderação de grandes quantidades de conteúdo” (Witt et al., 2019, p. 576). No entanto,
embora importantes mensagens de segurança e capacitação devam ser comunicadas aos utilizadores,
isoladamente podem colocar encargos emocionais, financeiros e outros encargos adicionais sobre indivíduos
já vulneráveis.
Machine Translated by Google

758 Nicola Henry e Alice Witt

Ferramentas Tecnológicas

A terceira opção para reforçar a ação proativa da plataforma em relação a conteúdos nocivos é utilizar
soluções tecnológicas para evitar que os utilizadores cometam novos abusos.
Em 2009, a Microsoft e o professor Hany Farid, do Dartmouth College, desenvolveram o PhotoDNA,
uma tecnologia que cria uma assinatura digital única (também conhecida como “hash” ou “impressão
digital”) de imagens de abuso sexual infantil, que pode então ser comparada com imagens conhecidas.
armazenados em um banco de dados com curadoria do Centro Nacional para Crianças Desaparecidas
e Exploradas nos Estados Unidos (Langston, 2018, parágrafo 13).
Esta tecnologia auxilia as plataformas a detectar, remover e bloquear conteúdo de abuso sexual infantil
em suas redes. Também é usado pelas autoridades policiais para detectar, prender e processar os
perpetradores e identificar as vítimas.
A tecnologia PhotoDNA levou a outras inovações tecnológicas na regulação de conteúdo on-line
prejudicial.1 Em novembro de 2017, o Facebook anunciou um teste piloto em parceria com o Escritório
Australiano do Comissário de Segurança Eletrônica para impedir a ocorrência de abuso sexual baseado
em imagens em plataformas de propriedade do Facebook, o que foi então expandido para o Canadá,
os Estados Unidos e o Reino Unido em maio de 2018 (Facebook, 2020b). O teste permite que pessoas
preocupadas com a possibilidade de alguém compartilhar uma imagem delas entrem em contato com
a agência parceira relevante e preencham um formulário on-line. A pessoa recebe então um e-mail
contendo um link de upload único e seguro, onde ela pode fazer upload da imagem. Um analista de
operações da comunidade do Facebook acessa a imagem e cria um “hash” dela. Se algum usuário no
futuro tentar fazer upload ou compartilhar a mesma imagem na plataforma, será automaticamente
bloqueado e a imagem não poderá ser compartilhada (Facebook, 2020b).

Outras empresas adotaram métodos semelhantes. O Pornhub usa um sistema automatizado de

identificação audiovisual de terceiros (chamado MediaWise) que primeiro identifica o conteúdo usando
“impressão digital” e depois impede que ele seja carregado novamente no futuro (Pornhub, sd). Para
ter o conteúdo impresso digitalmente, as vítimas são obrigadas a enviar um e-mail a um serviço
terceirizado para fazer a solicitação.
A vítima então recebe um e-mail informando que o conteúdo foi impresso digitalmente e a vítima pode
denunciar o vídeo preenchendo o formulário online no site. É importante notar que os vídeos com
impressões digitais bloqueados ainda podem aparecer no site, embora por um breve período, o que
pode ter impactos significativos nas vítimas-sobreviventes.

Estas soluções tecnológicas têm recebido críticas significativas. O piloto do Facebook foi
amplamente condenado por pedir a indivíduos vulneráveis que confiassem no Facebook as suas
imagens íntimas na sequência do escândalo Cambridge Analytica (ver, por exemplo, Romano, 2018;
ver também Bailey & Liliefeldt, este volume). Mais recentemente, uma investigação do Motherboard
descobriu que o sistema de impressão digital do Pornhub “pode ser facilmente e rapidamente
contornado com pequenas edições” para alterar os metadados e, portanto, evitar que a imagem
corresponda à imagem original armazenada no banco de dados (Cole & Maiberg, 2020, parágrafo 7 ).
Os investigadores do Motherboard, com o consentimento e a cooperação de várias mulheres que
apareceram em vídeos pornográficos não consensuais, testaram o sistema de remoção de conteúdo
do Pornhub, descobrindo que o Pornhub removeu os vídeos quando denunciou o conteúdo. Os
investigadores
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 759

também testou o sistema de impressão digital usando técnicas de edição para alterar os vídeos.
Eles descobriram que depois que o conteúdo foi sinalizado, removido e impresso digitalmente,
quando tentaram enviar exatamente o mesmo vídeo para o Pornhub, o vídeo foi removido em
uma hora. No entanto, também experimentaram a utilização de técnicas de edição para alterar
ligeiramente uma série de vídeos e descobriram que, quando o fizeram, o método de impressão
digital não funcionou e o vídeo não foi removido (Cole & Maiberg, 2020). O sistema do Pornhub
pode ser comparado ao programa PhotoDNA da Microsoft, onde as imagens hash são resistentes
a alterações complexas de imagem, incluindo redimensionamento e pequenas alterações de cor
(Langston, 2018).
Em 2019, o Facebook introduziu uma nova ferramenta de IA que pode detectar imagens de
“quase nudez” compartilhadas não consensualmente (Davis, 2019). Usando um banco de dados
de imagens íntimas não consensuais previamente confirmadas, a tecnologia funciona treinando
o algoritmo para reconhecer padrões de linguagem e palavras-chave que sugeririam que essas
imagens não são consensuais (semelhante à ferramenta de IA do Google para detectar material
de abuso infantil). Depois que o conteúdo for sinalizado, um membro da equipe de operações
comunitárias do Facebook analisa o conteúdo e decide se o conteúdo violou os padrões da
comunidade do Facebook. Se concluirem que houve uma violação, o Facebook desativará a
conta ou emitirá um aviso ao usuário (Davis, 2019). Esta é uma medida proativa importante por
duas razões principais. Primeiro, devolve à plataforma a responsabilidade de encontrar e remover
conteúdo de abuso sexual baseado em imagens. Em segundo lugar, impede a visualização e/ou
posterior partilha destas imagens. Isto é crucial, uma vez que muitas vítimas-sobreviventes não
saberão que as suas imagens estão a ser partilhadas ou só descobrirão as suas imagens muito
depois de terem sido partilhadas online.
No entanto, é importante notar que esta ferramenta é imperfeita porque, em muitos casos, não
haverá indicação clara de que a imagem foi partilhada sem consentimento (por exemplo,
indicações claras incluem uma vítima que faz uma denúncia, é menor de idade ou o texto que a
acompanha sugerir vingança). Nos casos em que não há uma indicação clara, há pouco que o
Facebook e a sua ferramenta de IA possam fazer para determinar se a imagem foi de facto tirada
ou partilhada sem consentimento.
No geral, estes sistemas automatizados são revolucionários e estão a ajudar algumas
plataformas a abordar e prevenir melhor conteúdos online prejudiciais. No entanto, a criptografia
de ponta a ponta, onde ninguém (incluindo as plataformas) pode ver o conteúdo das mensagens
enviadas, funciona para contornar o uso de sistemas de hashing de imagens, frustrando os
esforços globais para reduzir a circulação de abuso sexual infantil ou abuso sexual baseado em
imagens. material de abuso (ver Green, 2019). Este é um forte lembrete de que não podemos e
não devemos confiar apenas em soluções tecnológicas para lidar com a circulação de conteúdos
nocivos online.

Responsabilidade Social Corporativa e Abuso Sexual Baseado em Imagens

Tendo delineado quatro deficiências principais associadas à governação por plataformas, nesta
secção final exploramos como os quadros de RSE podem fornecer orientação crítica às
plataformas digitais e ajudar a estabelecer novas normas para garantir que estes actores
governamentais tomem medidas mais proactivas para abordar e prevenir a circulação de
conteúdo prejudicial em suas redes. RSE é um termo “essencialmente contestado” (Okoye, 2009) porque
Machine Translated by Google

760 Nicola Henry e Alice Witt

há pouco acordo sobre o que isso implica e nenhuma definição universalmente acordada
(Ihlen, Bartlett, & May 2011). Na sua forma mais ampla, a RSE é definida como “a relação entre
empresas e sociedade” (Laidlaw, 2017, p. 138), ou, na sua forma mais restrita, como
“responsabilidade social” que “começa onde a lei termina” (Davis, 1973, p. 313). Existem
diversas justificativas para uma maior responsabilidade social por parte das plataformas; O
principal deles é o papel que estas empresas desempenham na facilitação e, em alguns casos,
até na promoção de conteúdos nocivos nas suas redes (Slane & Langlois, 2018, p. 46).
Embora haja pouco acordo sobre a natureza e a extensão das responsabilidades éticas ou
morais das empresas (ver Taddeo & Floridi, 2016), as empresas são cada vez mais avaliadas
em relação a um conjunto de parâmetros de referência sobre processos de governação e
respeito pela privacidade e liberdade de expressão dos utilizadores. Por exemplo, o Índice de
Responsabilidade Corporativa do Ranking Digital Rights (RDR) (2019) é uma iniciativa a nível
da indústria que avalia 24 das empresas de tecnologia mais poderosas do mundo de acordo
com três critérios principais: privacidade; liberdade de expressão; e governação. Outras
iniciativas globais, como os Princípios Orientadores das Nações Unidas (UNGP) sobre Empresas
e Direitos Humanos, fornecem igualmente um conjunto de directrizes para corporações
transnacionais, empresas e estados prevenirem, abordarem e remediarem violações de direitos
humanos cometidas em operações comerciais ( ver Nações Unidas, 2011). Existem, claro,
várias limitações associadas a iniciativas de RSC como estas. Em termos do Índice RDR,
apenas um pequeno número de empresas é classificado (nenhum é site pornográfico) de
acordo com 35 indicadores gerais que medem o desempenho. Infelizmente, eles pouco nos
dizem sobre o desempenho de diferentes empresas em relação ao tratamento de
comportamentos online específicos, como o abuso sexual baseado em imagens. Outra
preocupação é que a maioria dos quadros de RSE, como os UNGP, impõem obrigações não
vinculativas – por vezes descritas como “turvas” e “leves” – em matéria de direitos humanos
(ver Jørgensen, 2017, p. 281; ver também Coombs, este volume). No entanto, as iniciativas de
RSE levaram a melhorias tangíveis nas práticas das empresas de tecnologia relacionadas com
a privacidade, a liberdade de expressão e a governação (RDR, 2019, p. 9).
Argumentamos que a RSE fornece uma lente útil através da qual se pode examinar a
governação da plataforma. A concepção de RSC de Crane, Matten e Spence (2013) compreende
seis características principais: (1) participação voluntária; (2) gestão de externalidades, tais
como impactos nas comunidades locais; (3) tratar as partes interessadas como mais do que
apenas acionistas; (4) alinhamento das responsabilidades sociais e económicas; (5) formar
práticas e valores empresariais que abordem questões sociais; e (6) ir além da mera filantropia.
Estas características não só sublinham como deveria ser a ação positiva das plataformas
digitais, mas também fornecem uma linguagem útil para identificar e resolver potenciais
problemas. Baseamo-nos nesta concepção de RSE na nossa discussão abaixo, concentrando-
nos em quatro barreiras principais para abordar e prevenir o abuso sexual baseado em imagens
em plataformas digitais. Especificamente, demonstramos as formas pelas quais a governação
por plataformas entra frequentemente em conflito com estes ideais de RSE.

Barreiras à responsabilidade social corporativa

Em primeiro lugar, há relutância por parte de algumas empresas em intervir voluntária ou

proativamente para resolver o problema dos conteúdos prejudiciais em linha. Esta relutância é
compreensível de uma perspectiva jurídica estrita quando se considera a distinção entre as
responsabilidades das plataformas digitais e os deveres e autoridade dos
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 761

Estados da nação. Como mencionado acima, a CDA 230, por exemplo, não exige (com algumas
exceções) que as plataformas digitais moderem o conteúdo (Tushnet, 2008, pp. 1001–1002). Por
exemplo, os Termos de Serviço do Pornhub (2020) deixam claro que eles não têm a obrigação de
revisar o conteúdo e não o fazem regularmente.2 Existem também dificuldades inerentes em pesar as
demandas potencialmente conflitantes entre a liberdade de expressão e outros direitos, que constituem
a base de alguns argumentos contra a regulamentação corporativa de conteúdo (ver Hintz, 2014, p.
349).
Além disso, existem preocupações bem fundamentadas sobre a atribuição de poder regulamentar, em
grande parte não transparente e irresponsável, a entidades privadas, algumas das quais podem cometer
erros ao moderar conteúdos, dando prioridade a interesses comerciais em detrimento de questões
éticas e de objectivos orientados para a comunidade ou de justiça social.
Uma segunda barreira relacionada à RSE é o lucro económico. As plataformas concentram-se
geralmente em atrair mais utilizadores e, assim, gerar maiores receitas publicitárias, o que pode ter
impactos de longo alcance nos dados e na privacidade dos utilizadores. As plataformas digitais, no
entanto, envolvem-se regularmente em atividades filantrópicas e socialmente responsáveis, procurando
alinhar ostensivamente o lucro económico com a responsabilidade social. A título de exemplo, em Março
de 2020, em resposta à devastação causada pela COVID-19, o Pornhub doou máscaras cirúrgicas e
parte dos seus rendimentos a profissionais do sexo afectados pela pandemia (Iovine, 2020).

Esses atos filantrópicos contrastam fortemente com uma série de práticas antiéticas e criminosas
em sites pornográficos como o Pornhub. Em Março de 2020, quase meio milhão de pessoas assinaram
uma petição online (iniciada por um grupo chamado Exodus Cry) para responsabilizar o Pornhub por
acolher vídeos de violação de crianças e pornografia de menores, alguns dos quais são vítimas de
tráfico sexual (Milne, 2020). A petição também afirma que o Pornhub não possui um sistema confiável
para verificar a idade ou o consentimento das pessoas apresentadas no conteúdo pornográfico do site.
Um dos principais desafios é que, nos sites pornográficos, o conteúdo não consensual é um
empreendimento extremamente lucrativo, gerando milhões de visualizações e atraindo milhões de
dólares em publicidade. Como tal, pode haver muito pouco incentivo para as empresas pornográficas
removerem conteúdo de abuso sexual baseado em imagens e pouco risco de que se não o fizerem
prejudicará a sua imagem corporativa.
As principais plataformas de redes sociais, por outro lado, podem ter mais incentivos para abordar
conteúdos online prejudiciais, porque não o fazer podem resultar em danos significativos à sua reputação
corporativa.
Uma terceira barreira diz respeito aos desafios técnicos, logísticos e emocionais significativos que
surgem com a tentativa de regular volumes massivos de conteúdo online (Laidlaw, 2017; Roberts,
2019). Isto é particularmente verdade em plataformas como o Facebook, que tem atualmente 2,5 mil
milhões de utilizadores ativos (Hutchinson, 2020). A enorme escala do conteúdo significa que não só há
atrasos nos processos de revisão e remoção de conteúdo, mas também que os moderadores de
conteúdo – muitos dos quais são trabalhadores contratados com baixos salários – são regularmente
expostos a conteúdos violentos e prejudiciais, fazendo com que alguns sofram traumas indiretos
significativos ( ver Boran, 2020).
Finalmente, devido a estas barreiras acima mencionadas, existe frequentemente uma lacuna entre
as políticas sobre abuso sexual baseado em imagens e a prática real de revisão e remoção de
conteúdos. A advogada norte-americana Carrie Goldberg (2019) comentou sobre a falta de ação do
Google ao retirar vídeos de mulheres que foram enganadas para atuarem em pornografia ou abusadas
sexualmente nesses vídeos. De acordo com Goldberg: “Se o Google decidir
Machine Translated by Google

762 Nicola Henry e Alice Witt

continuará vinculando a um site que contém suas imagens de nudez, as vítimas estão sem sorte.
E não há órgão de apelação. Não existe lei, apenas política corporativa, que proteja (ou deixe de
proteger) as informações mais privadas das vítimas” (parágrafo 9). No geral, pouco se sabe sobre
o número de imagens sinalizadas pelos utilizadores, denunciadas por vítimas-sobreviventes,
marcadas para análise por sistemas de IA ou com impressões digitais para bloqueio futuro. Isto,
por sua vez, torna difícil para as partes interessadas determinar até que ponto a governação da
plataforma tem sido eficaz na prática para responder e prevenir o abuso sexual baseado em
imagem.
Algumas empresas tecnológicas têm enfrentado o escrutínio público devido aos seus
processos opacos de moderação de conteúdos (ver Hopkins, 2017), levando, em alguns casos, a
uma maior transparência por parte destas empresas. Por exemplo, o Relatório de Transparência
do Facebook é um sistema regular de relatórios que dá “visibilidade à comunidade” sobre como o
Facebook aplica os padrões da sua comunidade, protege a propriedade intelectual, responde a
solicitações legais de dados do usuário ou restrições de conteúdo e monitora interrupções na
Internet em seus produtos (Facebook, 2020c, parágrafo 1). O Facebook também tem um guia
complementar que explica como redigem as suas políticas, como encontram e analisam
potenciais violações e como medem os resultados (Facebook, 2020d). Em relação à aplicação
dos seus Padrões da Comunidade, o Facebook divulga métricas sobre como eles estão
“prevenindo e tomando medidas sobre conteúdo que vai contra essas políticas” em relação a uma
série de questões diferentes, como “nudez adulta e atividade sexual”, “ intimidação e assédio”,
“nudez infantil e exploração sexual de crianças” e discurso de ódio (Facebook, 2020c, Relatório
de aplicação das normas comunitárias, parágrafos 1 e 4).
Em relação à “nudez adulta e atividade sexual”, o Facebook relata métricas sobre a prevalência
desse conteúdo, quanto conteúdo o Facebook tomou medidas, quanto conteúdo foi encontrado
pelo Facebook antes de ser denunciado pelos usuários, quanto conteúdo foi apelado pelos
usuários e quanto conteúdo acionado foi posteriormente restaurado pelo Facebook (Facebook,
2020c, Relatório de aplicação dos padrões comunitários, parágrafo 4). Infelizmente, o relatório
do Facebook não discrimina os diferentes tipos de nudez adulta e atividade sexual – o que inclui
a representação de nudez, bem como conteúdo de abuso sexual baseado em imagens. Em outras
palavras, o Facebook não informa especificamente sobre a prevalência de conteúdo de abuso
sexual baseado em imagens em sua plataforma, nem as ações que o Facebook tomou para
remover esse conteúdo ou as consequências para os usuários violadores. No entanto, as
tentativas do Facebook de maior transparência em relação à moderação de conteúdos são um
exemplo de formas mais responsáveis de RSE, que muitas outras empresas ainda não adoptaram.

Dadas as barreiras para abordar e prevenir o abuso sexual baseado em imagens através de
iniciativas de RSC, bem como as quatro principais deficiências que identificamos nas práticas de
governação das nossas plataformas selecionadas, argumentamos que os governos podem e
devem desempenhar um papel mais importante na resolução das deficiências. na governança por
plataformas. Isto não significa sugerir que as plataformas devam obedecer aos mesmos padrões
que os Estados-nação. As respostas regulamentares de cima para baixo, de comando e de
controlo são geralmente inadequadas para contextos descentralizados como a Internet e não
necessariamente desejáveis para utilizadores, legisladores e outras partes interessadas (Witt et al., 2019, p. 593).
Em vez disso, argumentamos que o que é necessário é mais regulamentação baseada no Estado
(governação de plataformas) que possa ajudar a alinhar melhor a governação por plataformas
com a RSE – especificamente, iniciativas integradas na justiça social e nos direitos humanos.
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 763

estruturas. Um passo positivo seria uma alteração ao CDA 230 para que a disposição do porto
seguro só se aplicasse às plataformas que tomam medidas razoáveis para rever e remover
conteúdos nocivos (ver Citron, 2018).
A sugestão de introduzir mais regulamentação governamental não é, na nossa opinião, radical.
Tal como demonstrámos na primeira secção deste capítulo, o panorama regulamentar em torno
da governação das plataformas está a mudar, com muitos governos em todo o mundo a tomar
medidas para responsabilizar as empresas tecnológicas pelo alojamento de conteúdos nocivos
(Flew et al., 2019). Na verdade, no início de 2019, o cofundador e CEO do Facebook, Mark
Zuckerberg, reconheceu: “Os legisladores dizem-me frequentemente que temos demasiado poder
sobre o discurso e, francamente, concordo. Passei a acreditar que não deveríamos tomar tantas
decisões importantes sobre o discurso por conta própria”
(Zuckerberg, 2019, parágrafo 5). Salientamos, no entanto, que qualquer tentativa de regular as
plataformas deve ser razoável, proporcional e ter em conta guias para uma boa concepção
regulamentar, como os Princípios de Manila sobre Responsabilidade dos Intermediários (2015),
que procuram equilibrar os direitos dos utilizadores à liberdade de expressão, à liberdade de
associação e o direito à privacidade. Estas medidas impulsionariam ainda mais uma nova cultura
de governação de plataformas digitais que se baseia não apenas no lucro económico, mas na
justiça social, na comunidade e na ética.

Conclusão

Este capítulo examinou o problema do abuso sexual baseado em imagens no contexto da

governação de e pelas plataformas online. Em termos de governação das plataformas, prestámos
especial atenção à proteção das plataformas ao abrigo do CDA 230, que desempenha um papel
importante ao permitir que as plataformas governem de forma “ilegal” (Suzor, 2019). Uma das
principais formas pelas quais as plataformas governam as suas redes é moderando o conteúdo
gerado pelos utilizadores (Witt et al., 2019, p. 557).
Os processos de moderação, incluindo regras específicas da plataforma em torno do conteúdo e
da arquitetura online das próprias plataformas, podem tornar mais fácil ou mais difícil para os
utilizadores a realização de determinados tipos de comportamento (Suzor, 2019, p. 91). Nos anos
mais recentes, outras medidas, como opções de denúncia, impressões digitais e outros sistemas
de detecção automatizados, tornaram-se uma parte essencial do repertório para combater o
abuso sexual baseado em imagens.
Apesar das boas intenções e das mudanças significativas na governação das plataformas nos
últimos anos, descobrimos que as políticas, ferramentas e práticas concebidas para abordar e
prevenir o abuso sexual baseado em imagens são muitas vezes fragmentadas e reativas.
Especificamente, identificamos quatro questões principais: (1) linguagem inconsistente,
reducionista e ambígua nas políticas de conteúdo; (2) uma lacuna acentuada entre a política e a
prática de moderação de conteúdo, incluindo défices significativos de transparência; (3) tecnologia
imperfeita para detectar abusos, visto que mesmo quando o conteúdo é removido, as imagens
ainda podem reaparecer nesses sites ou podem circular facilmente em outras plataformas; e (4)
a responsabilidade continua a recair predominantemente sobre as vítimas-sobreviventes para
denunciar e prevenir abusos. No geral, argumentamos que quando as plataformas não conseguem
resolver estas questões, correm o risco de falhar com as vítimas-sobreviventes e estão implicadas na perpetração
Machine Translated by Google

764 Nicola Henry e Alice Witt

de abuso sexual baseado em imagens. Em resposta, apelamos a uma regulamentação estatal que
possa ajudar a alinhar melhor a governação por plataformas com iniciativas de RSE.
Há uma série de medidas que as próprias plataformas podem tomar para melhor enfrentar o
flagelo do abuso sexual baseado em imagens nas suas redes: principalmente, adoptar uma
abordagem regulamentar multifacetada, orientada para a comunidade e baseada na justiça social.
Essa abordagem deve incluir políticas claras e robustas que proíbam especificamente conteúdos
de abuso sexual baseados em imagens, com funções punitivas e educativas claramente associadas;
modificações arquitetônicas, incluindo melhores sistemas para verificar de forma confiável a idade
e o consentimento das pessoas apresentadas em conteúdo hospedado em plataformas; mais
recursos investidos em IA e outros sistemas automatizados para detecção e remoção de conteúdos,
com especial atenção às deficiências destas soluções tecnológicas; maior colaboração e consulta
multilateral entre plataformas digitais com a sociedade civil e intervenientes governamentais para
alcançar objetivos comuns; e aumento do debate público sobre a governação das plataformas e o
que a RSE deve implicar. Mais importante ainda, a governação por plataformas deve ser transparente
e responsável, sujeita ao escrutínio da sociedade civil e flexível num cenário digital em constante
mudança.

Notas

1. A detecção de imagens deepfake usando aprendizado de máquina é outro desafio tecnológico

que requer testes e refinamento vigilantes para acompanhar o desenvolvimento em rápida
mudança da tecnologia deepfake.
2. O Pornhub (2020) também afirma que não é responsável por quaisquer links para sites de
terceiros que não sejam de propriedade ou controlados pelo Pornhub, e que “não irá e não
poderá censurar ou editar o conteúdo de qualquer site de terceiros”. (Sobre nossos sites,
parágrafo 2). Na verdade, os Termos de Serviço do Pornhub, ad nauseum, não reivindicam
nenhuma responsabilidade “por qualquer ação ou omissão em relação a transmissões,
comunicações ou Conteúdo fornecido por qualquer usuário ou terceiro” (Pornhub, 2020,
Monitoramento e aplicação, parágrafo 5). Os seus Termos de Serviço também deixam claro que
os utilizadores são “únicos responsáveis” pelo conteúdo e pelas consequências da publicação de conteúdo (Porn

Referências

Ajder, H., Patrini, G., Cavalli, F., & Cullen, L. (2019, setembro). O estado das falsificações
profundas: cenário, ameaças e impacto. Obtido em https://deeptracelabs.com/mapeamento-the-
deepfake-landscape/
AlexInternet. (nd). Os 500 principais sites da web. Obtido em https://www.alexa.
com/topsites
Boran, M. (2020, 27 de fevereiro). A vida como moderador do Facebook: as pessoas são horríveis.
Isso é o que meu trabalho me ensinou. O Irish Times. Obtido em https://www.irishtimes. com/

Bose, N. (2020, 9 de janeiro). Os legisladores dos EUA dizem que as medidas do Facebook para
combater os vídeos ‘deepfake’ não são adequadas. Reuters. Obtido em https://
www.reuters.com/ Buni, C., & Chemaly, S. (2016, 13 de abril). As regras secretas da internet. A beira.
Obtido em https://www.theverge.com
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 765

Chesney, D. e Citron, D. (2019). Falsificações profundas: um desafio iminente para a privacidade,

a democracia e a segurança nacional. Revisão da Lei da Califórnia, 107(6), 1753–1819. doi:
10.15779/Z38RV0D15J
Citron, D. (2018). O desafio da Seção 230 aos direitos e liberdades civis. (Artigo de pesquisa de
estudos jurídicos nº 2018–18). Obtido em https://ssrn.com/abstract53193214 Citron, D., &
Franks, M. (2014). Criminalizando a pornografia de vingança. Revisão da Lei Wake Forest, 49,
345–391. doi:10.1177/1557085117698752 Cole, S. (2018, 6
de fevereiro). Pornhub está banindo vídeos pornográficos falsos gerados por IA, diz
eles não são consensuais. Vice. Obtido em https://www.vice.com
Cole, S. e Maiberg, E. (2020, 7 de fevereiro). O Pornhub não se importa. Vice. Obtido de
https://www.vice.com
Crane, A., Matten, D., & Spence, LJ (2013). Responsabilidade social corporativa num contexto
global. Em A. Crane, D. Matten e LJ Spence (Eds.), Responsabilidade social corporativa:
leituras e casos em um contexto global (2ª ed., pp. 3–26). Oxon: Routledge.
Crawford, K. e Gillespie, T. (2016). Para que serve uma bandeira? Ferramentas de denúncia nas
redes sociais e o vocabulário de reclamação. Novas Mídias e Sociedade, 18(3), 410–428.
doi: 10.1177/1461444814543163
Lei de Alteração do Código Penal (Compartilhamento de Material Violento Abominável) de 2019,
nº 38. Obtido em https://www.legislation.gov.au/Details/C2019A00038 Davis, K. (1973).
Os argumentos a favor e contra a assunção de responsabilidades sociais pelas empresas.
Jornal da Academia de Administração, 16(2), 312–322. doi:10.2307/255331 Davis, A.
(2019, 15 de março). Detecção de imagens íntimas não consensuais e apoio às vítimas.
Facebook. Obtido em https://about.fb.com/news/2019/03/detecting-non consensual-intimate-
images/
Echikson, W. e Knodt, O. (2018, novembro). NetzDG da Alemanha: um teste fundamental para
combater o ódio online. (Relatório nº 2018/09). Obtido em http://wp.ceps.eu/wp-content/
uploads/2018/11/RR%20No2018-09_Germany's%20NetzDG.pdf O Parlamento Europeu
e o Conselho da União Europeia. (2016/679).
Regulamento Geral de Proteção de Dados. Obtido em https://gdpr-info.eu/Facebook.
(2020a). Padrões comunitários. Obtido em https://www.facebook.com/
padrões da comunidade/introdução
Facebook. (2020b). O piloto. Obtido em https://www.facebook.com/safety/not withoutmyconsent/
pilot Facebook. (2020c).
Relatório de Transparência do Facebook. Recuperado de https://transparência.
facebook.com/
Facebook. (2020d). Compreender o relatório de aplicação dos padrões comunitários.
Obtido em https://transparency.facebook.com/community-standards-enforcement/guide

Flew, T., Martin, F. e Suzor, N. (2019). Regulação da Internet como política de mídia: Repensando
a questão da governança das plataformas de comunicação digital. Journal of Digital Media &
Policy, 10(1), 33–50. doi:10.1386/jdmp.10.1.33_1
Franks, MA e Waldman, AE (2019). Sexo, mentiras e videoteipe: falsificações profundas e delírios
de liberdade de expressão. Revisão da Lei de Maryland, 78(4), 892–898. Obtido em https://
digitalcommons.law.umaryland.edu/cgi/viewcontent.cgi?article53835&context5mlr Gillespie,
T. (2018). Guardiões da internet: plataformas, moderação de conteúdo e as decisões ocultas que
moldam as mídias sociais. New Haven, CT: Yale University Press.
Goldberg, C. (2019, 17 de agosto). Como o Google destruiu a vida de vítimas de pornografia de
vingança. Correio de Nova York. Obtido em https://nypost.com
Machine Translated by Google

766 Nicola Henry e Alice Witt

Verde, M. (2019). Os sistemas criptografados de ponta a ponta podem detectar imagens de

abuso sexual infantil? [Postagem no blog]. Obtido em https://blog.cryptographyengineering.com/
2019/12/08/on-client-side-media-scanning/
Henry, N. e Flynn, A. (2019). Abuso sexual baseado em imagens: canais de distribuição online e
comunidades ilícitas de apoio. Violência contra as mulheres, 25(16), 1932–1955. doi:
10.1177/1077801219863881
Henry, N., McGlynn, C., Flynn, A., Johnson, K., Powell, A. e Scott, AJ (2020).
Abuso sexual baseado em imagens: um estudo sobre as causas e consequências de imagens
sexuais ou nuas não consensuais. Londres e Nova York, NY: Routledge.
Hintz, A. (2014). Terceirização da vigilância – política de privatização: Regulamentação das
comunicações por intermediários comerciais. Revisão da Lei de Birbeck, 2(2), 349–368.
Obtido em http://www.bbklr.org/2-2-10.html
Hopkins, N. (2017, 22 de maio). Revelado: o livro de regras interno do Facebook sobre sexo,
terrorismo e violência. O guardião. Obtido em http://www.theguardian.com Hutchinson, A.
(2020, 30 de janeiro). O Facebook sobe para 2,5 mil milhões de utilizadores activos mensais, mas
o aumento dos custos impede o crescimento dos rendimentos. Mídias Sociais Hoje. Obtido
em https://www.socialmediatoday.com
Ihlen, Ø., Bartlett, J., & May, S. (Eds.), (2011). O manual de comunicação e responsabilidade
social corporativa. West Sussex: Wiley-Blackwell.
Inovação, Ciência e Desenvolvimento Econômico Canadá. (2019). Carta Digital do Canadá em
ação: Um plano de canadenses para canadenses. (Catálogo nº Iu4-259/2019E PDF). Ottawa,
ON: Governo do Canadá. Obtido em https://www.ic.gc.ca/eic/site/062.nsf/vwapj/
Digitalcharter_Report_EN.pdf/$file/Digitalcharter_Report_EN.pdf

Iovine, A. (2020, 25 de março). O Pornhub Premium agora é gratuito para que todos possam
incentivar você a ficar em casa. Mashável. Obtido em https://mashable.com
Jørgensen, RF (2017). O que as plataformas querem dizer quando falam sobre direitos humanos.
Política e Internet, 9(3), 280–296. doi:10.1002/poi3.152 Kemp,
S. (2020, 30 de janeiro). Digital 2020: 3,8 mil milhões de pessoas utilizam as redes sociais.
[Postagem no blog]. Obtido em https://wearesocial.com/blog/2020/01/digital-2020-3-8-billion
people-use-social-media
Klonick, K. (2018). Os novos governadores: as pessoas, as regras e os processos que regem o
discurso online. Harvard Law Review, 131, 1598–1670. Obtido em https://harvar
dlawreview.org/wp-content/uploads/2018/04/1598-1670_Online.pdf
Laidlaw, E. (2017). Mito ou promessa? As responsabilidades sociais corporativas dos prestadores
de serviços online em matéria de direitos humanos. Em M. Taddeo & L. Floridi (Eds.), As
responsabilidades dos provedores de serviços online (pp. 135–154). Cham: Springer
International Publishing.
Langston, J. (2018, 12 de setembro). Como o PhotoDNA para vídeo está sendo usado para
combater a exploração infantil online. Microsoft. Obtido em https://news.microsoft.com Lee,
K. (2018). Superpotências da IA: China, Vale do Silício e a nova ordem mundial.
Boston, NY: Houghton Mifflin Harcourt.
Princípios de Manila sobre responsabilidade de intermediários. (2015). Obtido em https://www.
manilaprinciples.org/
Martens, T. (2011, 4 de dezembro). Rockers, totalmente expostos em Is Someone Up?. Los
Angeles Times. Obtido em https://www.latimes.com/entertainment/la-xpm 2011-dec-04-la-ca-
pop-nudes-20111204-story.html
Machine Translated by Google

Governando o Abuso Sexual Baseado em Imagens 767

McGlynn, C. e Rackley, E. (2017). Abuso sexual baseado em imagens. Oxford Journal of Legal Studies, 37(3),
535–561. doi:10.1093/ojls/gqw033
Microsoft. (2020). Formulário de denúncia de pornografia não consensual. Obtido em https://www.microsoft.com/
en-au/concern/revengeporn Milne, A. (2020, 27 de março). O serviço
gratuito de sites pornográficos durante o coronavírus aumenta temores de tráfico sexual. Reuters. Obtido em
https://www.reuters.com/article/us britain-women-trafficking-trfn/porn-sites-free-service-during-coronavirus-
raises sex-trafficking-fears-idUSKBN21D3E9 Okoye, A. (2009) . Teorizando a responsabilidade social
corporativa como um conceito essencialmente
contestado: é necessária uma definição?. Jornal de Ética Empresarial, 89, 613–627. doi: 10.1007/s10551-008-0021-9

Pornhub. (2020, 9 de março). Termos de serviço. Obtido em https://www.pornhub.com/information#terms

Pornhub. (nd). Solicitação de remoção de conteúdo?. Obtido em https://www.pornhub.com/

remoção de conteúdo
Powell, A., Henry, N. e Flynn, A. (2018). Abuso sexual baseado em imagens. Em W. DeKeseredy, & M. Dragiewicz
(Eds.), Manual Routledge de criminologia crítica (2ª ed., pp. 305–315). Abingdon e Nova York, NY: Routledge.

Classificação dos direitos digitais. (2019, maio). Índice de Responsabilidade Corporativa 2019. Obtido em https://
rankingdigitalrights.org/index2019/assets/static/download/RDRindex 2019report.pdf

Roberts, S. (2019). Atrás da tela: moderação de conteúdo nas sombras das redes sociais
meios de comunicação. New Haven, CT: Yale University Press.
Romano, A. (2018, 24 de maio). O plano do Facebook para acabar com a pornografia de vingança pode ser mais
assustador do que a pornografia de vingança. Vox. Obtido em https://www.vox.com/ Ruvalcaba,
Y., & Eaton, AA (2020). Pornografia não consensual entre adultos nos EUA: uma estrutura de roteiros sexuais
sobre vitimização, perpetração e correlatos de saúde para mulheres e homens. Psicologia da Violência, 10(1),
68–78. doi:10.1037/vio0000233 Salter, M., Crofts, T., & Lee, M. (2018). Para além da criminalização e
da responsabilização: Sexting, género e jovens. Questões Atuais em Justiça Criminal, 24(3), 301–316.
doi:10.1080/10345329.2013.12035963

Satariano, A. (2018, 24 de maio). O GDPR, uma nova lei de privacidade, torna a Europa o principal órgão de
vigilância tecnológica do mundo. New York Times. Obtido em https://www.nytimes.com Secretário de Estado
do Digital, Cultura, Mídia e Esporte e Secretário de Estado do Departamento do Interior. (2019). Livro branco
sobre danos on-line. Londres: HM Government.
Obtido em https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/
793360/Online_Harms_White_Paper.pdf
Slane, A. e Langlois, G. (março de 2018). Desmascarando o mito de “nada mal”: imagens sexuais, consentimento
e responsabilidades de hospedagem online no Canadá. Jornal Canadense de Mulheres e a Lei, 30(1), 42–
81. doi:10.3138/cjwl.30.1.42 Snap Inc. Diretrizes da comunidade. Obtido em https://
www.snap.com/en US/community-guidelines Solon, O. (2019, 18 de novembro). Por dentro dos esforços do
Facebook para impedir a
pornografia de vingança antes
ele se espalha. Notícias da NBC. Obtido em https://www.nbcnews.com
Suzor, N. (2019). Sem lei: as regras secretas que regem nossas vidas digitais. Cambridge:
Cambridge University Press.
Machine Translated by Google

768 Nicola Henry e Alice Witt

Taddeo, M. e Floridi, L. (2016). O debate sobre as responsabilidades morais dos prestadores de

serviços online. Ética em Ciência e Engenharia, 22, 1575–1603. doi:10.1007/s11948-015-9734-1
TikTok. (2019, 12 de
dezembro). Compreender nossas diretrizes da comunidade. Obtido em https://newsroom.tiktok.com/
understanding-our-community-guidelines/ Tumblr. (2020, 23 de janeiro). Diretrizes da
comunidade. Obtido em https://www.tumblr. com/policy/en/community Tushnet, R. (2008). Poder
sem responsabilidade:
intermediários e a Primeira Emenda. Revisão da Lei George Washington, 76(4), 986–1016. Obtido
em https://www.gwlr.org/wp-content/uploads/2012/08/76-4-Tushnet.pdf Twitter. (2020). Política
de mídia sintética e manipulada. Obtido de https: //

help.twitter.com/en/rules-and-policies/manipulated-media
Nações Unidas. (2011). Princípios orientadores sobre empresas e direitos humanos. Obtido em
https://www.ohchr.org/documents/publications/guidingprinciplesbusinesshr_en.pdf

Westlake, EJ (2008). Seja meu amigo no Facebook: Geração Y e vigilância performativa. TDR/The
Drama Review, 52(4), 21–40. doi:10.1162/dram.2008.52.4.21 Witt, A., Suzor, N., & Huggins, A.
(2019). O estado de direito no Instagram: uma avaliação da moderação de imagens que retratam
corpos de mulheres. Jornal Jurídico UNSW, 42(2), 557–596. Obtido em http://
www.unswlawjournal.unsw.edu.au/wp-content/uploads/2019/06/6-UNSWLJ-422-Witt-Suzor-and-
Huggins-Final.pdf xHamster. (2020, 22 de abril). Termos e condições: Contrato do usuário.
Obtido de
https://xhamster.com/info/terms
XVídeos. (nd). Termos de serviço do XVideos. Obtido em https://info.xvideos.com/legal/
para% s/

York, JC e Zuckerman, E. (2019). Moderando a esfera pública. Em RF

Jørgensen (Ed.), Direitos humanos na era das plataformas (pp. 137–161). Cambridge, MA: The
MIT Press.
YouTube. (2020). Políticas de nudez e conteúdo sexual. Obtido de https://sup
port.google.com/youtube/answer/2802002?hl5en
Zuboff, S. (2019). A era do capitalismo de vigilância: a luta por um futuro humano no
nova fronteira de poder. Londres: livros de perfis.
Zuckerberg, M. (2019, 30 de março). Mark Zuckerberg: A internet precisa de novas regras. Vamos
começar nessas quatro áreas. Washington Post. Obtido em https://washingtonpost.com