Escolar Documentos
Profissional Documentos
Cultura Documentos
FACULDADE DE DIREITO
PROGRAMA DE PÓS-GRADUAÇÃO EM DIREITO
CURSO DE MESTRADO EM DIREITO
SALVADOR
2020
DIEGO CARNEIRO COSTA
SALVADOR
2020
DIEGO CARNEIRO COSTA
Aprovada em ____/_____/_____
________________________________________
Prof. Dr. LEANDRO REINALDO DA CUNHA
Doutor em Direito (Pontifícia Universidade Católica de São Paulo)
Docente do PPGD UFBA
_______________________________________
Prof. Dr. MAURÍCIO REQUIÃO DE SANT’ANA
Doutor em Direito (Universidade Federal da Bahia)
Docente do PPGD UFBA
_________________________________________
Prof. Dr. JOÃO VICTOR ROZATTI LONGHI
Doutor em Direito do Estado (Faculdade de Direito da Universidade de São Paulo)
Docente do PPGD Universidade Estadual do Norte do Paraná - UENP
C837 Costa, Diego Carneiro
O viés do algoritmo e a discriminação por motivos relacionados à
sexualidade / por Diego Carneiro Costa. – 2020.
175 f.
CDD – 346.013
Quem se dedica a algum projeto profissional sabe que essa empreitada muitas vezes se
confunde com a nossa própria trajetória de vida. A minha começou muito antes do curso de
mestrado, desde quando ainda iniciava os estudos para concursos, quando uma pessoa em
especial se tornou minha companheira de vida, compartilhando tanto as alegrias do meu
sucesso quanto as tristezas do meu fracasso.
À Patrícia, minha companheira, meu agradecimento mais do que especial pelo apoio
que obtive em todos os momentos necessários dessa árdua caminhada. Juntos, vivemos altos e
baixos, tropeços e reerguidas que nos fortaleceram tanto na vida pessoal quanto na
profissional.
Nesse eterno itinerário em construção que é a vida, tive a oportunidade de recomeçar
minha trajetória profissional quando obtive a aprovação para o curso de mestrado em direito
na UFBA. Desde então, muitas pessoas também foram essenciais nesse percurso que
culminou na presente dissertação.
Dedico especialmente esta dissertação à minha pequena Cecília, que, apesar de não
entender totalmente por que o papai precisa estudar tanto, aprendeu a esperar, todos os dias,
pacientemente, o término das minhas atividades diárias para, enfim, brincarmos juntos. Ceci,
espero que em breve você leia este agradecimento e saiba que sem o seu sorriso o papai
jamais seria capaz de prosseguir. Também peço perdão pelos momentos de reclusão e
ausência em prol deste objetivo.
Agradeço também aos meus pais, Rosa e Carlos, pela preocupação e incentivo, mas,
sobretudo, por serem essenciais na minha formação como ser humano, por sempre me
ensinarem de forma simples os princípios e valores básicos que, antes de mais nada, eu
deveria seguir.
À minha irmã, Gabriela e ao meu primo (igualmente irmão), Tiago, que sempre
acompanharam de perto a minha caminhada, por me apoiarem e sempre me incentivarem
nesse novo projeto de vida. À dinda Carol, pela ajuda na reta final com as traduções.
Ao meu orientador, Leandro da Cunha, a quem agradeço profundamente por ter
sempre confiado em mim e no meu trabalho e por me conduzir na pesquisa de um tema tão
instigante: Estamos juntos!
Ao professor Maurício Requião, pelas sugestões e recomendações bibliográficas que
deram um upgrade na versão final da dissertação, bem como por ter aceitado o convite para
participar da banca.
Aos professores Gabriel Marques, Rodolfo Pamplona Filho, Nelson Cerqueira e
Renata Dutra, verdadeiros mestres que me inspiraram diariamente a seguir a carreira
acadêmica, agradeço pelos ensinamentos, reflexões e discussões tidas ao longo das aulas do
mestrado.
Aos colegas do mestrado e do Grupo de Pesquisa Direito e Sexualidade, em especial a
Bianca Oliveira e Juliana Samões, verdadeiras amigas que tanto me auxiliaram nesses dois
anos na UFBA.
Aos demais professores, coordenadores, funcionários e colegas da UFBA, por sempre
estarem prontamente dispostos a me ajudarem nas difíceis etapas da elaboração deste texto.
Muito obrigado!
RESUMO
O presente trabalho tem por objetivo abordar aspectos relativos à discriminação através dos
chamados vieses algorítmicos, tendo como recorte temático principal os impactos das
decisões automatizadas sobre as minorias sexuais e grupos vulneráveis. Defende-se a ideia de
que a transferência da capacidade decisória dos seres humanos para algoritmos de machine
learning não é capaz de eliminar os preconceitos inerentes à subjetividade humana, pois os
algoritmos podem trazer consigo os vieses sociais embutidos na programação ou “aprender” o
preconceito através da interação com o big data. Assim, as decisões tomadas por algoritmos,
embora aparentemente neutras, são potencialmente capazes de violar o princípio da igualdade
e da não discriminação, impactando de forma negativa especialmente as mulheres, os
homossexuais e os transgêneros. Partindo dessas premissas, os dois primeiros capítulos da
dissertação são dedicados às interlocuções necessárias entre direito e sexualidade, na tentativa
de demonstrar que o ordenamento jurídico brasileiro não tolera quaisquer formas de
discriminação negativa por motivos relacionados a sexo (gênero), orientação sexual ou
identidade de gênero. Em seguida, a partir do terceiro capítulo, busca-se investigar e
compreender as bases filosóficas de uma sociedade cada vez mais regida por algoritmos e
dados, momento no qual também são dissecados os termos e conceitos usualmente utilizados
na descrição dos modernos fenômenos tecnológicos, como machine learning, internet das
coisas (internet of things) e big data. Busca-se também compreender de que forma ocorrem os
vieses dos algoritmos e as soluções para mitigar o seu potencial lesivo e evitar a ocorrência de
discriminações. Ato contínuo, no quarto capítulo são analisadas as decisões tomadas por
algoritmos à luz das normas de proteção aos dados pessoais, tendo por objetivo compreender
e situar a problemática algorítmica no contexto da legislação pertinente. Por fim, o quinto
capítulo é dedicado a investigar especificamente a discriminação algorítmica por motivos
relacionados à sexualidade através da análise de casos concretos, onde tentar-se-á buscar
possíveis soluções para evitar essa forma de discriminação.
This essay aims to address aspects related to discrimination through algorithmic biases,
having as main thematic focus the impacts of automated decisions on sexual minorities. The
defended idea is that the transfer of human beings' decision-making capacity to machine
learning algorithms is not able to eliminate the prejudices inherent to human subjectivity, as
the algorithms can bring with them the social biases embedded in the programming or “learn”
the prejudice through interaction with big data. Thus, decisions made by algorithms, although
apparently neutral, are capable of violating the principle of equality and non-discrimination,
negatively impacting women, homosexuals, and, particularly, transgender people. Based on
these premises, the first two chapters of this essay are dedicated to the necessary
interlocutions between law and sexuality in an attempt to demonstrate that the Brazilian legal
system does not tolerate any forms of negative discrimination for reasons related to sex
(gender), sexual orientation or identity. genre. Then, from the third chapter, we seek to
investigate and understand the philosophical bases of a society increasingly governed by
algorithms and data. It is also where terms and concepts usually used in the description of
modern technological phenomena, such as machine learning, internet of things and big data,
will be discussed. It also seeks to understand how the biases of the algorithms and the
solutions to mitigate their harmful potential and avoid the occurrence of discrimination occur.
In a continuous act, in the fourth chapter, the decisions made by algorithms are analyzed in
the light of the rules for the protection of personal data, aiming to understand and place the
algorithmic problem in the context of the relevant legislation. Finally, the fifth chapter is
dedicated to investigating specifically algorithmic discrimination for reasons related to
sexuality through the legal analysis of specific cases, where an attempt will be made to seek
possible solutions to avoid this form of discrimination.
INTRODUÇÃO ...................................................................................................................... 11
1. A SEXUALIDADE HUMANA .......................................................................................... 15
1.1 SEXUALIDADE É PODER: A CONSTRUÇÃO HISTÓRICA DA HETERONORMATIVIDADE ........ 18
1.2. ELEMENTOS DISTINTIVOS DA SEXUALIDADE HUMANA ............................................................. 22
1.2.1 Sexo ..................................................................................................................................................... 22
1.2.2 Gênero ................................................................................................................................................. 24
1.2.3 Identidade de gênero ........................................................................................................................... 27
1.2.4 Orientação sexual ............................................................................................................................... 30
2. A PROIBIÇÃO DE DISCRIMINAÇÃO POR MOTIVOS RELACIONADOS À
SEXUALIDADE ..................................................................................................................... 33
2.1 O PRINCÍPIO DA DIGNIDADE DA PESSOA HUMANA E OS DIREITOS FUNDAMENTAIS ........... 34
2.1.1 Dignidade, igualdade e o direito às diferenças .................................................................................. 35
2.1.2 Dignidade, solidariedade e reconhecimento ...................................................................................... 38
2.2 A PROIBIÇÃO DE DISCRIMINAÇÃO POR MOTIVOS RELACIONADOS À SEXUALIDADE ......... 42
2.2.1 Conceitos preliminares: preconceito e discriminação ....................................................................... 42
2.2.2 Direitos humanos e a proteção contra a discriminação por motivos relacionados à sexualidade ... 48
2.2.3 Direitos fundamentais e a proibição de discriminação por motivos relacionados à sexualidade: A
existência do direito fundamental à sexualidade ........................................................................................ 51
3. OS ALGORITMOS E AS DECISÕES AUTOMATIZADAS ........................................ 56
3.1 A SOCIEDADE DA INFORMAÇÃO E O CAPITALISMO DE VIGILÂNCIA ........................................ 56
3.2 A SEXUALIDADE E O NOVO BIOPODER NA CULTURA DA VIGILÂNCIA .................................... 62
3.3 ENTENDENDO O ALGORITMO: CONCEITOS ELEMENTARES ........................................................ 68
3.3.1 Algoritmo............................................................................................................................................. 69
3.3.2 Inteligência Artificial (IA) .................................................................................................................. 71
3.3.3 Internet das Coisas (IoT) .................................................................................................................... 74
3.3.4 Aprendizado de máquina (machine learning) e o aprendizado profundo (deep learning) .............. 76
3.3.5 Big Data .............................................................................................................................................. 78
3.4 DECISÕES AUTOMATIZADAS E O VIÉS DO ALGORITMO ............................................................... 80
3.4.1 O viés do algoritmo e o problema na qualidade dos dados ................................................................ 83
3.4.2 O viés do algoritmo e o problema da opacidade algorítmica ............................................................. 86
3.5 O VIÉS DO ALGORITMO E A DISCRIMINAÇÃO ................................................................................. 90
4. A DISCRIMINAÇÃO ALGORÍTMICA E PROTEÇÃO DE DADOS PESSOAIS .... 94
4.1. NORMAS INTERNACIONAIS DE PROTEÇÃO AOS DADOS PESSOAIS .......................................... 95
4.1.1 General Data Protection Regulation - GDPR .................................................................................... 98
4.1.2 Resolução do Parlamento Europeu, de 14 de março de 2017 ......................................................... 100
4.2. NORMAS DE PROTEÇÃO DE DADOS PESSOAIS NO BRASIL ........................................................ 102
4.2.1 Lei Geral de Proteção de Dados - LGPD ......................................................................................... 105
4.3. A DISCRIMINAÇÃO ALGORÍTMICA E A PROTEÇÃO DOS DADOS PESSOAIS SENSÍVEIS ...... 107
5. A DISCRIMINAÇÃO ALGORÍTMICA POR MOTIVOS RELACIONADOS À
SEXUALIDADE ................................................................................................................... 113
5.1. VIÉS DE GÊNERO .................................................................................................................................. 116
5.1.1 Caso nº1: Softwares de reconhecimento facial, de imagens e incorporação de palavras .............. 117
5.1.2 Caso nº 2: Anúncios de emprego discriminatórios .......................................................................... 119
5.1.3 Caso nº 3: Recrutadores digitais e análises de currículo discriminatórias ..................................... 123
5.1.4 Caso nº 4: Algoritmos que remuneram melhor os homens do que as mulheres ............................ 127
5.2. VIÉS RELACIONADO À ORIENTAÇÃO SEXUAL ............................................................................. 132
5.2.1 Caso nº 1: A coleta de dados relativos à orientação sexual e a técnica de profiling ...................... 133
5.2.2 Caso nº 2: O programa Gaydar e a falsa medida da homossexualidade ........................................ 138
5.3. VIÉS RELACIONADO À IDENTIDADE DE GÊNERO ........................................................................ 141
5.3.1 Caso nº 1: Algoritmos não conseguem identificar pessoas trans e não binárias ............................ 142
5.4. ANÁLISE DE RESULTADOS: É POSSÍVEL COMBATER A DISCRIMINAÇÃO ALGORÍTMICA
POR MOTIVOS RELACIONADOS À SEXUALIDADE? ............................................................................ 146
CONSIDERAÇÕES FINAIS ............................................................................................... 152
11
________________________________________________________________
INTRODUÇÃO
O advento de uma nova forma de organização social, tendo por elemento estrutural a
informação, trouxe consigo significativos avanços tecnológicos que impulsionaram a
economia mundial, tais como o surgimento da internet, da robótica e dos primeiros sistemas
de Inteligência Artificial (IA) capazes de simular o raciocínio humano.
Em pouco tempo, a partir do uso de técnicas de aprendizado de máquina (machine
learning) e tratamento de dados em massa (big data), foram criados sistemas inteligentes que
desenvolveram a capacidade de solucionar problemas com custo menor e eficiência muito
maior do que os próprios seres humanos. Isso possibilitou que decisões relevantes, que
sempre foram tomadas por indivíduos, fossem totalmente delegadas para os algoritmos dos
computadores.
Com a disponibilidade desse tipo de tecnologia a preço relativamente acessível, houve
um investimento massivo nos modernos sistemas de IA, o que possibilitou às empresas obter
vantagens competitivas através da otimização de seus processos decisórios internos e aos
governos implementar uma gestão eficiente de forma antes inimaginável.
Acontece que o uso cada vez crescente dos algoritmos em decisões relevantes subtraiu
da sociedade um prévio (e necessário) debate ético e jurídico em torno do tema. Isso porque,
se por um lado a delegação de capacidade decisória às máquinas oferece melhorias
significativas para empresas e governos, por outro, pode implicar riscos significativos no que
tange à garantia dos direitos humanos e fundamentais dos indivíduos.
Atualmente, são os modernos softwares de análises preditivas que escolhem quais
trabalhadores serão selecionados para trabalhar numa empresa, a quem serão concedidos ou
negados empréstimos pessoais e até mesmo se um condenado deve ter ou não sua pena
agravada judicialmente. Tudo isso sem que nem mesmo os desenvolvedores saibam ao certo
as razões pelas quais os algoritmos chegaram a tais conclusões.
Para além da dificuldade de se demonstrar a lógica por detrás da decisão do algoritmo,
ainda se acrescenta ao debate o argumento de parte da comunidade científica de que as
decisões automatizadas são tomadas de forma justa e imparcial, tendo em vista que a
neutralidade e objetividade matemática dos algoritmos seriam capazes de eliminar os vieses e
preconceitos inerentes à subjetividade humana.
Entretanto, em sentido contrário, há evidências empíricas de que os algoritmos de IA,
assim como os seres humanos, podem conter vieses capazes de reproduzir preconceitos e, por
12
________________________________________________________________
1. A SEXUALIDADE HUMANA
1
MERLEU-PONTY, Maurice. Fenomenologia da Percepção. 4. ed. São Paulo: Martins Fontes, 2011.
2
WARMLING, Diego Luiz. O corpo e as três dimensões da sexualidade na fenomenologia da percepção
de Maurice Merleau-Ponty. Disponível em: https://ojs.ufpi.br/index.php/pet/article/view/4854/2945.
Acesso em: 25 nov. 2019.
3
REGO, Yago Lemos. Sexualidade como direito da personalidade: a relação entre o livre desenvolvimento
da personalidade de Alexy e a sexualidade inerente de Freud. Disponível em:
https://portalseer.ufba.br/index.php/revdirsex. Acesso em: 22 nov. 2019.
4
FOUCAULT, Michel. História da sexualidade 1: a vontade de saber. Rio de Janeiro: Graal, 1988, p. 142.
5
Id. História da sexualidade 2: o uso dos prazeres. Rio de Janeiro: Graal, 1984, p. 09.
16
Sexualidade é um aspecto central do ser humano durante toda sua vida e abrange o
sexo, as identidades e os papéis de gênero, orientação sexual, erotismo, prazer,
intimidade e reprodução. A sexualidade é experimentada e expressada nos
pensamentos, nas fantasias, nos desejos, na opinião, nas atitudes, nos valores, nos
comportamentos, nas práticas, nos papéis e nos relacionamentos. Embora a
sexualidade possa incluir todas estas dimensões, nem todas são sempre
experimentadas ou expressadas. A sexualidade é influenciada pela interação de
fatores biológicos, psicológicos, sociais, econômicos, políticos, culturais, éticos,
legais, históricos, religiosos e espirituais6.
Mas, se a sexualidade é um aspecto inerente ao ser humano, por que ainda é um tabu
conversar abertamente sobre o tema? Por que, ao mesmo tempo que não podemos falar
abertamente sobre sexualidade, damos tão grande relevância social a este tema, ao ponto de
classificarmos (e excluirmos) indivíduos levando-se em consideração tais conceitos?
Fato é que na sociedade moderna, o sexo ainda é algo que se reveste de certa dose de
proibição, como se fosse um tema proscrito, censurado e subversivo, enquanto, em
contrapartida, percebe-se em alguns âmbitos sociais uma grande liberalidade relacionada ao
tema7. É subversivo falar sobre sexo numa reunião familiar e, ao mesmo tempo, é cool falar
sobre sexo numa roda de amigos.
O mistério da sexualidade, para Michel Foucault, tem relação direta com o poder,
sendo através do isolamento, da intensificação e da consolidação das sexualidades periféricas
que essas relações se ramificam e multiplicam, medem o corpo e penetram nas condutas8.
Foucault refuta a “hipótese repressiva”, que é a ideia geral de que houve, ao longo da história,
uma forte repressão e silenciamento da sexualidade. Para ele, os dispositivos sexuais
funcionam mais como uma força produtiva das relações sociais do que como simples poder
repressivo9. Assim, para o filósofo francês, o que é próprio das sociedades modernas não é
6
Tradução livre: “Sexuality is a central aspect of being human throughout life and encompasses sex, gender
identities and roles, sexual orientation, eroticism, pleasure, intimacy and reproduction. Sexuality is
experienced and expressed in thoughts, fantasies, desires, beliefs, attitudes, values, behaviours, practices,
roles and relationships. While sexuality can include all of these dimensions, not all of them are always
experienced or expressed. Sexuality is influenced by the interaction of biological, psychological, social,
economic, political, cultural, ethical, legal, historical, religious and spiritual factors” (WORLD HEALTH
ORGANIZATION. Sexual health. Switzerland, 2007. Disponível em: http://www.who.int/reproductive-
health/gender/sexual_ health.html. Acesso em: 24 nov. 2019).
7
CUNHA, Leandro Reinaldo da. Identidade e Redesignação de Gênero: Aspectos da personalidade, da
família e da responsabilidade civil. 2. ed. Rio de Janeiro: Lumen Juris, 2018, p. 9.
8
FOUCAULT, 1988, p. 48.
9
BORRILO, Daniel. O sexo e o Direito: a lógica binária dos gêneros e a matriz heterossexual da Lei.
Meritum: Revista de direito da Universidade FUMEC, v. 5, n. 2, jul./dez. 2010. Belo Horizonte:
Universidade FUMEC, 2010, p. 296.
17
terem condenado o sexo a permanecer na obscuridade, mas sim terem se devotado a falar dele
sempre, valorizando-o como o segredo10.
O que o teórico pretende defender não é que não tenha havido a interdição das
expressões da sexualidade, mas que a questão sobre o sexo não se restringia a tal intento e,
sim, que as negações, proibições e censuras experimentadas correspondiam a elementos de
uma estratégia maior, resultante tanto em uma produção discursiva, de saber e de poder,
quanto nas interações entre tais esferas, uma estratégia dispersa e disseminada por toda a
sociedade, com objetivos de controle e disciplinamento11.
Nesse sentido, a partir dos estudos de Foucault, entendemos que a verdade sobre a
sexualidade está ligada à noção de biopoder, o poder sobre a vida, o controle sobre os corpos.
Também está associado à ideia de um Estado que viabiliza o desenvolvimento do capitalismo
por meio do controle matemático dos corpos, dos fenômenos populacionais, da produção e
dos processos econômicos12. Para o exercício do biopoder, a sociedade deve estar estruturada
de forma hierárquica, disciplinada: os corpos precisam ser dóceis.
Em Vigiar e Punir, Foucault descreve a formação de uma sociedade disciplinar, cuja
estrutura é criada para gerar coerção e controle constante nas relações de poder, em uma
eterna busca para curar e dominar as anomalias sociais13, entre elas as relacionadas à
sexualidade humana, como a homossexualidade, a transexualidade e a intersexualidade (à
época, o hermafroditismo).
Também a partir de Foucault, depreendemos que o método genealógico14 é o mais
indicado para tratar o tema, pois ao invés de se buscar uma essência única em relação à
10
FOUCAULT, 1988, p. 36.
11
GRANT, Carolina. Direito, bioética e transexualidade: um estudo sobre os limites e as possibilidades de
ampliação da tutela jurídica das experiências trans. 2015. Dissertação (Mestrado) - Universidade Federal da
Bahia, Faculdade de Direito, 2015, p. 50.
12
NETO, Elias Jacob de Menezes; MORAIS, Jose Luis Bolzan. Análises computacionais preditivas como um
novo biopoder: modificações do tempo na sociedade dos sensores. Revista Novos Estudos Jurídicos, v. 23,
n. 3, p. 1129-1154, set./dez. 2018. Disponível em:
https://siaiap32.univali.br/seer/index.php/nej/issue/view/518. Acesso em: 15 mar. 2019.
13
GAUDENZI, Paula. Intersexualidade: entre saberes e intervenções. Cad. Saúde Pública [online], v. 34, n. 1,
2018. Disponível em: http://www.scielo.br/pdf/csp/v34n1/1678-4464-csp-34-01-e00000217.pdf. Acesso em:
22 nov. 2019.
14
Utilizado pelo filósofo francês Michel Foucault (1926-1984), em suas reflexões sobre as tecnologias e
dispositivos de saber-poder, o método genealógico consiste em um instrumental de investigação voltado à
compreensão da emergência de configurações singulares de sujeitos, objetos e significações nas relações de
poder, associando o exame de práticas discursivas e não discursivas. O desenvolvimento das análises
genealógicas contribui para o exame do biopoder, poder que governa a vida, o que leva Foucault a investigar
diferentes dispositivos, considerados conjuntos articulados de discursos e práticas constitutivos de objetos e
sujeitos, produtivos e eficazes tanto no domínio do saber quanto no campo estratégico do poder. A
genealogia do sujeito moderno se desdobra no exame de três dispositivos distintos: o disciplinar, que toma o
corpo como foco de estratégias de saber-poder, desenvolvendo tanto uma microfísica do poder quanto uma
anatomia política dos indivíduos; o dispositivo de segurança que desenvolve uma biopolítica das populações,
18
sexualidade ou uma só resposta para as nossas indagações, devemos analisar “os dispositivos
que produzem discursos sobre a sexualidade em determinado contexto histórico que
estabelecem regras de conduta a serem seguidas”15. É o que faremos no tópico seguinte, onde
compreenderemos como a heterossexualidade se tornou um padrão binário de conduta capaz
de excluir todos aqueles que não seguem tal modelo.
considerando o ser humano como espécie; e o dispositivo da sexualidade, que emerge do questionamento e
da intervenção em relação ao sujeito, considerando distintos modos de subjetivação (MORAES, Marcos
Vinicius Malheiros. Genealogia - Michel Foucault. In: ENCICLOPÉDIA DE ANTROPOLOGIA. São Paulo:
Universidade de São Paulo, Departamento de Antropologia, 2018. Disponível em:
http://ea.fflch.usp.br/conceito/genealogia-michel-foucault. Acesso em: 24 jun. 2020).
15
GAUDENZI, 2018.
16
SANTOS, Rodrigo Leonardo de Melo. A discriminação de homens gays na dinâmica das relações de
emprego: reflexões sob a perspectiva do direito fundamental ao trabalho digno. 2016. Dissertação
(Mestrado) - Faculdade de Direito, Universidade de Brasília, Brasília, 2016, p. 23.
17
HARARI, Yuval Noah. Sapiens: Uma breve história da humanidade. 36. ed. Tradução de Janaína
Marcoantonio. Porto Alegre: L&MP, 2018, p. 154.
18
FOUCAULT, 1988, p. 46.
19
que, embora práticas homoeróticas integrassem essas culturas, suas expressões socialmente
aceitas já se enquadravam em determinados padrões convencionados19.
A Roma Clássica herdou dos gregos também a maior permissividade sexual. Nesse
período, as experiências homossexuais alternavam com as relações heterossexuais. Ao mesmo
tempo, contudo, era obrigação do cidadão romano se casar, tornar-se um pater familias, assim
como zelar pelos interesses não só econômicos, mas também referentes à linhagem. Havia
uma série de condições para o livre exercício da sexualidade para os patrícios romanos: não
afastar o cidadão de seus deveres para com a sociedade; não utilizar pessoas de estrato inferior
como objeto de prazer e, por último, evitar absolutamente assumir o papel passivo nas
relações com os subordinados20.
Ocorre que já no século I, surgiu uma maior austeridade e a crescente reprovação das
relações sexuais com o objetivo único da procura de prazer. Com a ideia consolidada de que a
finalidade do sexo era a reprodução, as relações sexuais fora do casamento passaram a ser
associadas ao pecado. Nos séculos seguintes, a visão judaico-cristã, no que diz respeito ao
sexo e ao casamento, triunfou e generalizou-se, ocupando-se os teólogos a discutir a vida
sexual dos casados até ao mais ínfimo pormenor, no sentido de encontrarem respostas
detalhadas para as questões morais que surgiam quotidianamente21.
Com a Igreja Católica, portanto, a sexualidade passou a ser gerida de forma a se tornar
útil e funcional para o controle da sociedade 22. No século XVII, após o Concílio de Trento e a
elaboração dos minuciosos manuais de confissão da Idade Média, encontrava-se sob a égide
da Igreja a missão de determinar os limites entre o sagrado e o profano, instituir o pecado,
controlar o sexo e discipliná-lo23.
Já na era Moderna, o controle sobre o sexo e o discurso unitário, presentes na Idade
Média por força da Igreja Católica, foram decompostos em uma variedade de discursos,
transbordando inclusive para o campo científico, tais como se observou nos discursos sobre
sexualidade presentes nas instituições sociais (pedagogia, medicina, direito) e na própria
concepção do Estado.
19
SANTOS, R., 2016, p. 23.
20
BORRILO, 2010, p. 46.
21
PONTES, Ângela Felgueiras. Sexualidade: vamos conversar sobre isso? Promoção do desenvolvimento
psicossexual na adolescência: implementação e avaliação de um programa de intervenção em meio escolar.
2011. Tese (Programa de Doutoramento em Saúde Mental) - Instituto de Ciências Biomédicas Abel Salazar
ICBAS - Universidade do Porto, Porto, 2011. Disponível em: https://repositorio-
aberto.up.pt/bitstream/10216/ 24432/2/Sexualidade%20vamos%20conversar%20sobre%20isso.pdf. Acesso
em: 6 dez. 2019.
22
VECCHIATTI, Paulo Roberto Iotti. Manual da homoafetividade: da possibilidade jurídica do casamento
civil, da união estável e da adoção por casais homoafetivos. São Paulo: Método, 2012, p. 21-22.
23
GRANT, 2015, p. 51.
20
Na pedagogia escolar, por exemplo, demonstra Carolina Grant que há todo um aparato
posto em andamento para disciplinar os corpos em formação, desde um constante estado de
alerta e vigilância por parte de todos os que detêm alguma parcela de poder, até a organização
dos espaços físicos, salas de aula, banheiros, dormitórios, passando pela escolha das
atividades desenvolvidas, fixação de horários, regras de convivência, interação e contato.
Tudo isso para proteger, separar e prevenir, instaurando uma dinâmica de responsabilidades e
punições, bem como preparando esses jovens para desempenharem o papel que suas famílias,
a sociedade em geral e o Estado lhes designaram24.
O Estado, por seu turno, apropriou-se da vida natural da população, que passou a ser
incluída nos mecanismos e nos cálculos de poder estatal: a política se torna biopolítica, o
poder se torna biopoder, o Estado exerce controle de natalidade, reprodução e mortalidade (e
a biopolítica se torna a tanato-política) dos seus administrados25. Nesse contexto, o direito
serviu como um instrumento de consolidação do poder, transformando as questões morais em
questões jurídicas: o conceito de moralidade se confundiu com o de legalidade no tocante ao
sexo.
No âmbito da medicina, a “verdade” sobre o sexo resultou em um diagnóstico de
confissão paciente-médico que inseria comportamentos no regime do normal ou do
patológico26. Observou-se um esforço concentrado na produção de falsas-verdades, com
pesquisas, análises e classificações que, a partir do estabelecimento de um parâmetro de
normalidade heterossexual e monogâmico, dedicaram-se, com maior afinco, a esmiuçar as
expressões da sexualidade supostamente desviantes - as aberrações e as perversões27.
Em resumo, ao longo da história moderna, a tradição judaico-cristã consolidou no
Ocidente um sistema de dominação masculina do tipo patriarcal, introduzindo uma dicotomia,
"heterossexual/homossexual", que, desde então, serve de estrutura, do ponto de vista
psicológico e social, à relação com o sexo e com a sexualidade28.
A heterossexualidade, a partir de então, constituiu-se o padrão de conduta sexual a ser
seguido, fazendo com que tudo que não se enquadrasse nesta condição viesse a se tornar
anormal e minoria29. A crença de que os comportamentos heterossexuais são os únicos que
merecem ser considerados como “normais” acabou por excluir todos aqueles que fogem desse
24
GRANT, 2015, p. 51.
25
AGANBEM, Giorgio. Homo Sacer: O poder soberano e a vida nua. Tradução de Henrique Burigo. Belo
Horizonte: Editora UFMG, 2002.
26
FOUCAULT, 1988, p. 66.
27
SANTOS, R., 2016, p. 37.
28
BORRILO, 2010, p. 47.
29
ARAÚJO, Luiz Alberto David. A proteção constitucional do transexual. São Paulo: Saraiva, 2000, p. 37.
21
30
BORRILO, op. cit., p.16.
31
CUNHA, 2018, p. 12.
32
BUTLER, Judith. Problemas de gênero: feminismo e subversão da identidade. Rio de Janeiro: Editora
Record, 2003.
33
BENTO, Berenice Alves de Melo. O que é transexualidade. 1. ed. São Paulo: Brasiliense, 2008.
22
1.2.1 Sexo
O conceito de sexo, em seu uso mais comum, possui muitos significados. Pode se
referir tanto ao ato sexual em si quanto às características genitais que distinguem o homem da
mulher. Muitas vezes é também confundido com a noção de gênero, denotando os papéis
sociais atribuídos ao homem e à mulher, o que, como veremos adiante, é uma concepção
equivocada.
Para Leandro Reinaldo da Cunha, a expressão sexo pode ser entendida como
parâmetro de divisão dos seres, em regra entre machos e fêmeas, ou homens e mulheres,
atrelado a uma perspectiva mais voltada ao fenótipo ou à estrutura genital34. Há, ainda, as
34
CUNHA, 2018, p. 19.
23
diversas modalidades de sexo, que são relevantes, não apenas do ponto de vista doutrinário,
mas também, como veremos, possuem importância prática na vida dos sujeitos.
Nesse sentido, o sexo gonadal é a classificação de sexo dos indivíduos através da
presença de gônadas ou glândulas sexuais masculinas ou femininas, respectivamente,
testículos ou ovários, bem como pela produção dos espermatozoides e dos óvulos. A
utilização dessa classificação, de forma isolada, não se mostra apta a aferir, por exemplo, a
condição do intersexual, por isso não deve ser adotada35 36.
O sexo hormonal, por sua vez, é aquele que tem por base a produção hormonal mais
pungente em cada sujeito, aferindo se estes estão vinculados àqueles hormônios
eminentemente masculinos ou femininos, os quais são de suma importância no
desenvolvimento do corpo do sujeito, no que concerne ao determinismo sexual, mormente
antes do nascimento e no período de puberdade. A crítica pertinente que se faz a esta
modalidade de aferição de sexo diz respeito à produção hormonal artificial ou a ocorrência de
anomalias genéticas que fazem com que se produzam mais ou menos hormônios do que se
espera de determinado sujeito37.
Já o sexo genético ou cromossômico leva em conta os caracteres encontrados no DNA
humano através do sistema de cariótipos, em que as fêmeas têm o cariótipo tipo XX
(homogamético), enquanto os machos possuem cariótipo XY (heterogamético). Aqui também
é possível se questionar sobre as possíveis anomalias genéticas que impedem a determinação
exata do sexo, tal qual a síndrome de Kleinefelter.
Há ainda o sexo anatômico ou genital, que observa as características físicas
apresentadas pelo sujeito com base no órgão genital. Esta modalidade é a que tem o condão de
definir, ao menos inicialmente, a condição sexual do recém-nascido38.
Por outro lado, afastando-se dos padrões biológicos, há uma modalidade denominada
sexo psicológico ou social, que leva em consideração a sensação de pertencimento do sujeito
com relação ao seu sexo, não tendo relação com suas características genitais.
35
CUNHA, 2018, p. 20.
36
Intersexual é a pessoa que nasce com uma anatomia, órgãos reprodutivos ou padrões cromossômicos que não
se ajustam à definição típica de homem ou mulher, gerando uma dissonância entre o sexo a ele atribuído no
momento do nascimento e a sua percepção de gênero. GLOSSÁRIO. Grupo de Pesquisa Direito e
Sexualidade. [mensagem pessoal]. Mensagem recebida por direitoesexualidade@gmail.com em 24 de abril
de 2019. Conforme salientado no início do tópico, por limitações inerentes à pesquisa, preferimos não
abordar de forma aprofundada a condição intersexualidade. Sobre o tema vide DIAS, Maria Berenice (Org.).
Intersexo. São Paulo: Editora Revista dos Tribunais, 2018.
37
Ibid., p. 21-22.
38
Ibid., p. 21.
24
1.2.2 Gênero
39
Ibid., p. 23.
40
Cientes que os estudos de gênero, em última análise, envolvem maior aprofundamento nas diversas teorias
feministas do direito, abrindo caminhos para uma profusão de proposições e reflexões, abordagem que
ultrapassaria o objeto do presente trabalho, adotamos como referencial teórico as correntes pós-estruturalistas
feministas, que chamam atenção para a consciência do pluralismo, da instabilidade e da heterogeneidade das
categorias normativas, criticando, igualmente, a persistência da opressão no próprio discurso e no sujeito
feministas ao esconder, por trás de uma ideia unívoca de mulher, um padrão ocidental, branco, cisgênero e
heterossexual. Trata-se da noção de gênero que melhor se adequa a este trabalho, tendo em vista que tende a
colocar a heteronormatividade e o binarismo homem/mulher como cerne da crítica direcionada ao direito,
desconstruindo a neutralidade e a naturalidade das noções de sexo, de gênero e de sexualidade e passando a
questionar o tratamento jurídico dado não só às mulheres, mas também aos homossexuais, aos transexuais e a
todas as várias possibilidades de existência identitária, de expressão corporal e de vivência do desejo
(SANTOS, Marina França. Teorias feministas do direito: contribuições a uma visão crítica do direito. In:
AYUDA, Fernando Galindo; ROCHA, Leonel Severo; CARDOSO, Renato César (org.). Filosofia do direito
I [Recurso eletrônico on-line]. Organização CONPEDI/ UFMG/FUMEC/Dom Helder Câmara.
Florianópolis: CONPEDI, 2015, p. 04-20).
41
SCOTT, Joan. Gender: a useful category of historical analyses. Gender and the politics of history. Tradução
de Christine Rufino Dabat Maria Betânia Ávila. New York: Columbia University Press, 1989. Disponível
em: https://edisciplinas.usp.br/pluginfile.php/185058/mod_resource/content/2/G%C3%AAnero-Joan%20
Scott.pdf. Acesso em: 29 nov. 2019.
42
BORRILO, 2010, p. 293.
25
Como destaca Joan Scott, as preocupações teóricas relativas ao gênero como categoria
de análise estavam ausentes na maior parte das teorias sociais e só apareceram no final do
século XX. No seu uso mais recente, parece ter aparecido primordialmente entre as feministas
americanas que queriam insistir no caráter fundamentalmente social das distinções baseadas
no sexo. A palavra indicava uma rejeição ao determinismo biológico implícito no uso de
termos como “sexo” ou “diferença sexual”. A autora norte-americana, então, define gênero
como “elemento constitutivo de relações sociais baseado nas diferenças percebidas entre os
sexos” e, assim como Foucault fez com a noção de sexualidade, associa a noção de gênero
como uma forma de significar as relações de poder, citando alguns elementos constitutivos
das relações sociais fundadas sobre as diferenças percebidas entre os sexos, tais como os
conceitos expressos nas doutrinas religiosas, educativas, científicas, políticas ou jurídicas que
constituem uma oposição binária que afirma de forma categórica e sem equívoco o sentido de
masculino e feminino43.
Por exemplo, em tradições milenares como a cultura chinesa, existem princípios
denominados yin e yang, que refletem a dimensão humana de pai e mãe. O yin é a terra, a
mãe, o feminino. O yang é o céu, o pai, o masculino44. Em outras culturas mitológicas,
normalmente os princípios masculinos são ligados ao Sol, ao logos, à razão, enquanto o
feminino é ligado à Lua e seus mistérios, o conhecimento pela intuição, aquilo que não segue
o plano lógico.
No mesmo sentido, a passagem bíblica do mito de Lilith também exemplifica a
justificativa social dos papéis atribuídos ao homem e à mulher presente na naturalização da
diferença entre os dois sexos: a ordem (chamada "natural") dos sexos determina uma ordem
social em que o feminino (Eva) deve ser complementar do masculino (Adão) pelo viés de sua
subordinação psicológica e cultural45.
Do mesmo modo, a literatura infantil raramente retrata um mundo no qual meninos e
meninas exercem atividades de modo igualitário. Os clássicos da Disney reproduzem diversas
histórias de donzelas indefesas à espera do príncipe encantado, que geralmente as salvam de
uma situação ruim causada por elas mesmas ou por outra mulher má, reproduzindo e
reforçando na cultura popular o mito de Lilith, como em “Branca de Neve e os Sete Anões”.
Todos esses mitos, se analisados a partir de uma visão teórica foucaultiana, que
enxerga a sexualidade como uma tecnologia, trazem o gênero como produto das diferentes
43
SCOTT, 1989, p. 21-22.
44
CAVALCANTI, Raissa. O casamento do sol com a lua: uma visão simbólica do masculino e do feminino.
9. ed. São Paulo: Editora Cultrix, 1993, p. 22.
45
BORRILO, 2010, p. 30.
26
1) gênero é uma representação – o que não significa que não tenha implicações
concretas nem reais, tanto sociais quanto subjetivas, na vida material das pessoas.
Muito pelo contrário.
2) a representação do gênero é sua construção – e num sentido mais comum pode-se
dizer que toda arte e cultura erudita ocidental são um registro histórico dessa
construção.
3) a construção de gênero vem se efetuando hoje no mesmo ritmo de tempos
passados (...) E ela continua a ocorrer não só onde se espera que aconteça – na
mídia, nas escolas públicas e particulares, nos tribunais, na família nuclear, extensa
ou monoparental – em resumo, naquilo que Louis Althusser denominou “aparelhos
ideológicos do Estado”. A construção do gênero também se faz, embora de forma
menos óbvia, na academia, na comunidade intelectual, nas práticas artísticas de
vanguarda, nas teorias radicais e até mesmo, de forma bastante marcada, no
feminismo [...]47.
46
DE LAURETIS, Teresa. A tecnologia do gênero. In: HOLANDA, Heloisa Buarque de (org.). Tendências e
impasses: o feminismo como crítica cultural. Rio de Janeiro, Rocco, 1994, p. 206-242.
47
DE LAURETIS, 1994, p. 209.
48
REIS, Neilton dos; PINHO, Raquel. Gêneros não-binários: identidades, expressões e educação. Revista
Reflexão e Ação, v. 24, n. 1, Santa Cruz do Sul, p. 7-25, p. 12, jan./abr. 2016. Disponível em:
http://online.unisc.br/seer/index.php/reflex/index. Acesso em: 29 nov. 2019.
27
Se o gênero são os significados culturais assumidos pelo corpo sexuado, não se pode
dizer que ele decorra de um sexo desta ou daquela maneira. Levada a seu limite
lógico, a distinção sexo/gênero sugere uma descontinuidade radical entre corpos
sexuados e gêneros culturalmente construídos. Supondo por um momento a
estabilidade do sexo binário, não decorre daí que a construção de “homens” se
aplique exclusivamente a corpos masculinos, ou que o termo “mulheres” interprete
somente corpos femininos. Além disso, mesmo que os sexos pareçam não
problematicamente binários em sua morfologia e constituição (ao que será
questionado), não há razão para supor que os gêneros também devam permanecer
com número de dois. A hipótese de um sistema binário dos gêneros encerra
implicitamente a crença numa relação mimética entre gênero e sexo, na qual o
gênero reflete o sexo ou é por ele restrito. Quando o status construído do gênero é
teorizado como radicalmente independente do sexo, o próprio gênero se torna um
artifício flutuante, com a consequência de que homem e masculino podem, com
igual facilidade, significar tanto um corpo feminino como um masculino, e mulher e
feminino tanto um corpo masculino como um feminino51.
Nos capítulos seguintes, veremos alguns movimentos que rompem com esta divisão
sexo/gênero, desafiam a concepção simplista do binarismo e o padrão heteronormativo,
fazendo com que a sociedade (e o direito) tenham que se adequar a estas novas formas de
expressão da diversidade sexual. Trataremos das definições de identidade de gênero e da
orientação sexual, suas nuances, expressões e particularidades.
O estudo de gênero a partir das diferenças sexuais não pode ser entendido como a
reafirmação da estrutura binária, mantendo a dicotomia sexo (natureza) x gênero (cultura).
Isto porque, ainda que se aceite a dualidade dos sexos, não há razão para supor que os gêneros
49
GRANT, 2015, p. 177.
50
BENTO, 2008, p. 47.
51
BUTLER, 2003, p. 25.
28
também devam permanecer com o número de dois, nem que a construção social “homens” se
aplique exclusivamente a corpos masculinos e “mulheres” ao sexo feminino52.
Para além dos binarismos, as teorias queer surgiram na esteira dos movimentos
feministas para questionar os dispositivos do biopoder que disciplinam e controlam corpos e
desejos, causando sofrimento a quem ousa ser diferente. Tem como um dos eixos os estudos
dos mecanismos históricos e culturais que produzem as identidades patologizadas, invertendo
o foco de análise do indivíduo para as estruturas sociais53.
Sob esse prisma, as posições de gênero que os corpos ocupam nas estruturas sociais
são interpretadas para além da lógica binária, como um sistema complexo que põe em
movimento múltiplas relações de poder, e no qual é sempre possível intervir e criar espaços
de resistências54.
Sendo assim, o debate atual sobre a diversidade de gênero(s) não pode ser encerrado
na dicotomia homem/mulher, sob pena de excluir e invisibilizar todos aqueles que não
apresentam uma correspondência linear entre a estrutura genital, cromossômica e psicológica.
Daí surge a importância do conceito de identidade de gênero como sendo o gênero com o qual
a pessoa se identifica, independente da definição de sexo atribuído no momento do
nascimento. Por consequência, hoje é possível afirmar que não existe mais um determinismo
biológico quando se fala da construção da identidade de gênero, devendo, portanto, prevalecer
a noção de gênero (ou de sexo psicológico) e não o sexo físico ou anatômico da pessoa55.
O conceito de identidade de gênero foi bem sintetizado nos Princípios de Yogyakarta
sobre a Aplicação da Legislação Internacional de Direitos Humanos em relação à Orientação
Sexual e Identidade de Gênero, da Organização das Nações Unidas (ONU):
52
Ibid., p. 24.
53
BENTO, 2008, p. 53.
54
BENTO, 2008, p. 54.
55
COSSI, Rafael Kalaf, Transexualismo, psicanálise e gênero. 2010. Dissertação (Mestrado) - Instituto de
Psicologia da Universidade de São Paulo, 2010, p. 25.
56
CORRÊA, S. O.; MUNTARBHORN, V. (org.). Princípios de Yogyakarta: princípios sobre a aplicação da
legislação internacional de direitos humanos em relação à orientação sexual e identidade de gênero. [2006?].
Disponível em: http://www.clam.org.br/pdf/principios_de_yogyakarta.pdf. Acesso em 09 dez. 2019.
29
Dentro desse contexto, são chamados cisgêneros aqueles indivíduos que não
apresentam qualquer dissonância entre sua estruturação física e o gênero que lhe foi atribuído
no instante do seu nascimento. Por outro lado, são chamados transgêneros as pessoas que não
se identificam como pertencentes ao gênero que lhe é atribuído no instante do seu
nascimento57.
O conceito de transgênero é amplo o suficiente para enquadrar os transexuais,
travestis, transformistas, crossdressers, drag queen e drag kings, bem como aqueles que não
se identificam com nenhum gênero, chamados de não específicos, gênero fluido,
indeterminado, não binários, andróginos ou simplesmente queer, expressão que tem sido
usada como forma de afirmação e certa transgressão e oposição ao binarismo sexual58.
Nesse sentido, conceitua-se o indivíduo transexual como sendo aquele que revela uma
dissonância entre o gênero esperado em razão do sexo assinalado no momento do nascimento
e a sua percepção quanto ao gênero, apresentando uma inadequação59 com relação à sua
constituição física60.
Por outro lado, pode ser considerada travesti a pessoa que apresenta um impulso
erótico para se paramentar com vestes do sexo oposto, com o objetivo de obtenção de prazer
sexual, diferindo-se, pois, do transexual, que tem como algo natural se vestir com roupas do
sexo oposto, vez que esta é a forma como se reconhece. Por isso, é equivocada a ideia de que
a distinção entre travestis e transexuais seria a realização ou não de operação de
transgenitalização61.
Por sua vez, os drag queen ou drag king são artistas que se vestem de maneira
estereotipada, conforme o gênero feminino ou masculino, para fins artísticos ou de
entretenimento. O termo drag é uma abreviação do termo dressed a girl, ou seja, vestir-se
como mulher/garota62. O personagem criado não tem relação com sua identidade de gênero ou
orientação sexual e nem está necessariamente atrelado ao impulso erótico, sendo este apenas
57
CUNHA, 2018, p. 16.
58
CUNHA, 2018, p. 16.
59
Alguns autores trabalham com os conceitos de “sexo de partida” e “sexo de chegada” para definir esta
inadequação inicial do transexual. Assim se dá, por exemplo, com uma pessoa que partiu do homem e
chegou, ao longo da vida e do viver, à mulher. Formou-se a identidade de gênero feminina e, por isso, a
necessidade de construir um ser-no-mundo mulher, como na expressão clássica de Simone de Beauvoir: “não
se nasce mulher, torna-se mulher” (BONFIM, Urbano Félix Pugliese do. O direito como instrumento
protetor dos vulneráveis na seara das sexualidades. 2015. Dissertação (Mestrado) - Universidade Federal
da Bahia, Faculdade de Direito, 2015, p. 13).
60
GLOSSÁRIO. Grupo de Pesquisa Direito e Sexualidade. [mensagem pessoal]. Mensagem recebida por
direitoesexualidade@gmail.com em 24 de abril de 2019
61
CUNHA, op. cit., p. 33.
62
DIAS, Maria Berenice. Homoafetividade e Direitos LGBTI. 7. ed. rev. atual e ampl. São Paulo: Editora
Revista dos Tribunais, 2016, p. 50.
30
63
CROSSDRESSER: Saiba tudo sobre a prática. [S.l.]: Tudoela, 19 jul. 2018. Disponível em:
https://tudoela.com/crossdresser/. Acesso em: 12 dez. 2019.
64
CUNHA, 2018, p. 29.
65
Quanto às questões terminológicas, é de se observar que a doutrina tem se utilizado da palavra “orientação”
em detrimento do termo “opção”, que tem sido muito criticado pelos movimentos sociais que sustentam que
o indivíduo não faz uma escolha por esta ou aquela conduta, apenas tem interesse, desejo ou vontade sexual
vinculada para tal ou qual sentido (Ibid., p. 41).
31
66
CORRÊA; MUNTARBHORN, [2006?].
67
DINIZ, Maria Helena. O estado atual do biodireito. São Paulo: Saraiva, 2011, p. 316.
68
CUNHA, 2018, p. 40-41.
69
O vocábulo homossexual tem origem etimológica grega, significando homo ou homoe, que exprime a ideia
de semelhança, igual, análogo, ou seja, homólogo ou semelhante ao sexo que a pessoa almeja ter (DIAS,
Maria Berenice. Manual de Direito das Famílias. 5. ed. São Paulo: Revista dos Tribunais, 2009).
70
Já o termo “homossexualidade”, surgido entre os anos de 1868 e 1869, em um panfleto elaborado pelo
austro-húngaro Karl-Maria Kertbeny, foi construído em teor de crítica à persecução estatal aos
homossexuais, contrapondo Homosexualität à Normalsexualität, isto é, ao conjunto de práticas sexuais da
grande maioria da população (SANTOS, R., 2016, p. 38).
71
CUNHA, op. cit., p. 42.
72
VECCHIATTI, 2012, p. 131.
32
Após a revolução científica, o mundo entrou numa era em que a racionalidade das
ciências superou a visão teocrática, passando o homossexualismo a figurar não mais como
pecado, mas como uma doença, sendo Freud uma das vozes dissonantes que considerava a
homossexualidade um objeto pulsional legítimo73.
Apenas no final do século XX a ciência médica mundial deixou de considerar a
homossexualidade uma patologia, porém esta ainda era excluída das categorias de
normalidade da cultura ocidental, pouco importando se fosse nos países de regime
democrático como os Estados Unidos ou estados de feições autoritárias, como a Alemanha
nazista ou a antiga União das Repúblicas Socialistas Soviéticas74.
O cenário começou a mudar a partir da segunda metade do século XX, com a
gradativa modificação dos valores tradicionais que orientavam o mundo ocidental e a
supressão, no plano legislativo, da criminalização dos atos homoeróticos, formou-se um
cenário propício à vocalização dos anseios dessa parcela discriminada da população75.
O fato que foi considerado um marco da luta homossexual (e do movimento LGBTQ+
com um todo) foi a reação da população gay contra as batidas policiais em bares de Nova
York, que ficou conhecida como “Rebelião de Stonewall”, ocorrida em 1969. Desde então,
muita coisa mudou na vida dos homossexuais. Se, por um lado a parcela mais conservadora
da população ainda mantém preconceitos arraigados, de outro, a construção de um ideal de
tolerância e pluralidade na sociedade tornou possível o reconhecimento social de diversas
formas de vivência da sexualidade.
Hoje é possível falar, não apenas em homossexualidade, mas em bissexualidade,
pansexualidades e assexualidade76. Todas essas diversas formas de orientação sexual são
protegidas como aspecto atinente à intimidade e privacidade do indivíduo, não podendo o
Estado ou as instituições sociais terem qualquer alcance e influência sobre seus atos,
sobretudo quando utilizados através de mecanismos de poder e controle para fins
discriminatórios, como veremos no capítulo seguinte.
73
SANTOS, R., op. cit., p. 40.
74
Ibid., p. 43.
75
SANTOS, 2016, p. 45.
76
Por limitações inerentes ao objetivo da pesquisa, optamos por um recorte mais específico da persona do
homossexual. Isso não significa, de forma alguma, que desconsideramos os obstáculos impostos pelo padrão
heteronormativo na realidade vivenciada pelos bissexuais, pansexuais, assexuais e outras minorias sexuais já
reconhecidas que não adotam o modelo dominante de orientação sexual.
33
________________________________________________________________
Um dos principais objetivos das sociedades contemporâneas é oferecer uma vida digna
a todas as pessoas, indistintamente, oferecendo as condições materiais para que cada
indivíduo possa atingir a plenitude de sua própria existência. Nessa linha, o reconhecimento
da diversidade e do respeito ao ser humano são caminhos necessários a serem atingidos por
todas as sociedades democráticas.
Além disso, o fenômeno jurídico na pós-modernidade é cada vez mais adepto do
pluralismo social, passando a espelhar as demandas da coexistência societária, sedimentando-
se a consciência de que o direito é um sistema aberto e inclusivo, suscetível aos constantes
influxos fáticos e axiológicos da vida social.77
Para concretizar esse ideal pluralista, deve-se compreender o ordenamento jurídico a
partir da perspectiva pós-positivista, onde os princípios jurídicos estão inseridos no campo da
normatividade e possuem força cogente, exigindo o respeito à dignidade da pessoa humana e
proibindo condutas antijurídicas que violam a igualdade substancial entre os indivíduos.
Sob esse prisma, a própria Constituição Federal de 1988, que foi lastreada num
preceito de heteronormatividade, estruturando suas normas sob o pálio de uma normalidade
sexual posta (homem-masculino x mulher-feminino e heterossexualidade)78 deve sofrer
influxos principiológicos para se conceber uma normatividade jurídica atenta aos valores
comunitários, capaz de proibir quaisquer discriminações daqueles que não seguem o padrão
dominante.
Sendo assim, como veremos nos tópicos subsequentes, o sexo, o gênero, a orientação
sexual e a identidade de gênero são categorias de análise que atualmente encontram suporte
normativo na Carta Social de 1988, sobretudo a partir da conjunção de três princípios básicos:
a dignidade, a igualdade e a solidariedade, que, articulados, impedem quaisquer formas
ilícitas de discriminação por motivos relacionados à sexualidade.
77
SOARES, Ricardo Maurício Freire. Hermenêutica e Interpretação Jurídica. 3.ed. São Paulo: Saraiva, 2017.
p.65
78
CUNHA, 2018, p.47.
34
79
KOMPARATO, Fábio Conder. Fundamentos dos Direitos Humanos. Instituto Avançado da Universidade
de São Paulo. 2013, p. 27. Disponível em: www.iea.usp.br/artigos. Acesso em: 22 dez. 2019.
80
SARLET, Ingo Wolfgang. As dimensões da dignidade da pessoa humana. Revista Brasileira de Direito
Constitucional, ed. 09. jan./jun. 2007. p. 363-374. Disponível em:
https://bdjur.stj.jus.br/jspui/handle/2011/27252. Acesso em: 02 out. 2018.
35
asseguram uma vida com dignidade) e 4) da solidariedade (que diz com a garantia e promoção
da coexistência humana, em suas diversas manifestações)81.
No subtópico seguinte, analisaremos brevemente dois desses princípios jurídicos, que
são especialmente relevantes para compreender a vinculação da sexualidade com a dignidade
da pessoa humana: i) a igualdade, que englobada à noção de dignidade, pode ser vislumbrada
como princípio da não discriminação, além de possibilitar o exercício do chamado direito às
diferenças; ii) a solidariedade, que se articula com a dimensão intersubjetiva da dignidade da
pessoa humana através do reconhecimento do outro com sujeito de direitos82.
81
MORAES, Maria Celina Bodin de. O Conceito de Dignidade Humana: Substrato Axiológico e Conteúdo
Normativo In: SARLET, Ingo Wolfgang (Org.). Constituição, Direitos Fundamentais e Direito Privado.
Porto Alegre: Livraria do Advogado, 2003, p. 105-148.
82
Antes de se dar prosseguimento, cabe registrar que a presente dissertação tem por objeto investigar a
discriminação algorítmica por motivos relacionados à sexualidade. Considerando a intrínseca relação entre
discriminação e os princípios constitucionais, sobretudo os da igualdade, dignidade e solidariedade, faz-se
imprescindível analisá-los. Porém, adverte-se que tal análise será feita a partir de considerações que possam
ser essenciais para a compreensão da temática principal. Não temos, de forma alguma, a pretensão de exaurir
ou esmiuçar o tema, já que o estudo acerca da construção histórica de tais princípios, suas fontes, teorias,
divergências doutrinárias, dimensões, espécies, características e demais particularidades requereriam uma
abordagem que ultrapassaria o objeto do presente trabalho.
83
PIOVESAN, Flávia. Igualdade, diferença e direitos humanos: perspectivas do constitucionalismo latino-
americano à luz dos sistemas global e regional de proteção. In: JUBILUT, Liliana Lyra (org.). Direito à
diferença: aspectos teóricos e conceituais de proteção às minorias e aos grupos vulneráveis. São Paulo:
Saraiva, 2013, E-book.
84
BITTAR, Eduardo Carlos Bianca; Reconhecimento e direito à diferença: teoria crítica, diversidade e a cultura
dos direitos humanos. Revista da Faculdade da Universidade de São Paulo, v. 104, p. 551-565, p. 553,
jan./dez. 2009.
36
85
DUARTE, Clarice Seixas. Fundamentos filosóficos da proteção às minorias. In: JUBILUT, Liliana Lyra
(org.). Direito à diferença: aspectos teóricos e conceituais de proteção às minorias e aos grupos vulneráveis.
São Paulo: Saraiva, 2013, p. 865. E-book.
86
FRASER, Nancy. Reconhecimento sem ética? Tradução de Ana Carolina Freitas Lima Ogando e Mariana
Prandini Fraga Assis. São Paulo: Lua Nova, 2007.
87
PIOVESAN, Flávia; DA SILVA, Roberto B. Dias. Igualdade e diferença: o direito à livre orientação sexual
na Corte Europeia de Direitos Humanos e no judiciário brasileiro. In: BUGLION, Samantha; VENTURA,
37
Observa-se, sob esse prisma, que a negação do direito às diferenças nas sociedades
contemporâneas está relacionada à adoção de um determinado padrão de conduta majoritário
e à pseudoconcepção de normalidade desse padrão. Por consequência, há a exclusão do
diferente, daquele que não se enquadra no perfil social dominante.
Exatamente como ocorre com a sexualidade humana, quando o considerado “normal”
é a identidade entre o sexo psicológico e biológico, com predominância da
heterossexualidade, como vimos no capítulo anterior. O resultado disso no campo jurídico é a
heteronormatividade: a perspectiva de uma legislação baseada na pseudomoralidade da
heterossexualidade, refratária a qualquer situação que fuja a esta regra88.
Entretanto, para além da heteronormatividade, o princípio igualitário deve reconhecer
como destinatários de direitos fundamentais todos as minorias sexuais, assegurando a todos
uma vida igualmente digna. Trata-se de dar eficácia à dimensão da dignidade da pessoa
humana ligada à vertente material do princípio da isonomia, que tem por base o ideal de
justiça enquanto reconhecimento de identidades, também denominada “direito à diferença” ou
“direito às diferenças”.
Nesse sentido, Maria Berenice Dias, verbis:
Para Leandro Colling, a afirmação das identidades a partir das diferenças foi um
importante passo da luta para melhorar a autoestima das pessoas. Afirma o autor que as
políticas das diferenças não anulam ou negam as nossas igualdades, nem nos tornam mais
divididos. Pelo contrário, elas podem nos dar pistas de como podemos nos enxergar nas
demais diferenças, em como podemos nos unir em prol do respeito às nossas diferenças, que
não cessam de ser criadas, modificadas90.
Miriam. Direito à reprodução e à sexualidade: uma questão de ética e justiça. Rio de Janeiro: Lumen Juris,
2010, p. 65-105, p. 67-68.
88
CUNHA, Leandro Reinaldo da. Identidade e Redesignação de Gênero: Aspectos da personalidade, da
família e da responsabilidade civil. 2014. Tese (Doutorado em Direito Civil Comparado) - Faculdade de
Direito, Pontifícia Universidade Católica, São Paulo, 2014.
89
DIAS, 2016, p. 133.
90
COLLING, Leandro. A igualdade não faz o meu gênero – Em defesa das políticas das diferenças para o
respeito à diversidade sexual e de gênero no Brasil. Contemporânea, v. 3, n. 2, p. 405-427, p. 410, jul./dez.
2013.
38
Como vimos nos tópicos precedentes, uma das teorias acerca da dignidade da pessoa
humana é a que sustenta que há uma dimensão comunitária (ou social) da dignidade,
vinculada à ideia de reconhecimento pelo outro e, em geral, pela sociedade, da condição de
dignidade. Trata-se da dimensão intersubjetiva da dignidade da pessoa humana, que parte da
situação básica do ser humano em sua relação com os demais (do ser com os outros), ao invés
de fazê-lo em função do homem singular, limitado à sua esfera individual91.
Nesse sentido, é importante citar Hegel, que, em oposição a Kant, considerava que a
vida social possui uma base intersubjetiva, obrigando cada sujeito a tratar todos os outros
segundo suas pretensões legítimas, sendo o direito uma forma de reconhecimento recíproco.
Para Hegel, só quando todos os membros da sociedade se respeitarem mutuamente em suas
pretensões legítimas poderão se relacionar socialmente entre si de forma isenta de conflitos92.
Para Nancy Fraser, do mesmo modo, a reprodução da vida social se efetua sob o
imperativo de um reconhecimento recíproco, porque os sujeitos só podem chegar a uma
autorrelação prática quando aprendem a se conceber, da perspectiva normativa de seus
parceiros de interação, como seus destinatários sociais93.
Sob esse prisma, Axel Honneth, filósofo alemão da escola de Frankfurt, buscou
inspiração na fenomenologia de Hegel e na psicologia social empírica de George Mead para
construir a “teoria do reconhecimento”. O eixo central da obra de Honneth é a ênfase que os
conflitos sociais têm origem na luta pelo reconhecimento intersubjetivo e social – esta luta é o
91
SARLET, Ingo Wolfgang; MARINONI, Luiz Guilherme; MITIDIERO, Daniel. Curso de direito
Constitucional. 3. ed. rev. São Paulo: Revista dos Tribunais, 2014, p. 370.
92
HEGEL, Georg Wilhelm Friedrich. Fenomenologia do espírito: Parte I. Tradução Paulo Menezes com a
colaboração de José Nogueira Machado. Petrópolis: Editora Vozes, 1990.
93
FRASER, Nancy; HONNETH, Axel. ¿Redistribución o reconocimiento? Un debate político-filosófico.
Madrid: Morata, 2006.
39
motor das mudanças sociais e consequente da evolução das sociedades94. O autor, em sua
obra Luta por Reconhecimento, citando George Mead, conclui que o indivíduo somente
consegue a dignidade quando é reconhecido como um membro da sociedade em que vive95.
Entende-se, pois, que a dimensão comunitária da dignidade da pessoa humana
somente é adquirida quando os sujeitos se veem reconhecidos como um membro da
sociedade, sentindo-se seguros do valor social de sua identidade. É por isso que afirmamos e
defendemos a necessidade do reconhecimento das diferenças para a construção das
identidades das minorias sexuais.
Utilizando-se da teoria de Honneth, podemos dizer que as minorias sexuais só
formariam suas identidades quando houvesse a aceitação nas relações com o próximo (amor);
na prática institucional (justiça/direito) e na convivência em comunidade (solidariedade). E
esse processo ainda passaria por três momentos: o de desrespeito ao reconhecimento, o de luta
pelo reconhecimento e o de mudança social.
Ao final deste processo, a experiência de ser reconhecido pelos membros da
coletividade como uma pessoa de direito significaria para o sujeito poder adotar em relação a
si mesmo uma atitude positiva, ou seja, é a própria autoafirmação do indivíduo como pessoa
merecedora de respeito e consideração por parte da sociedade.
Para compreender melhor a teoria do reconhecimento, faz-se necessário analisar
detidamente os três estágios do reconhecimento. O primeiro deles, o amor, seria o sentimento
capaz de gerar uma relação de autoconfiança, precedente a toda forma de reconhecimento.
Trata-se, segundo Honneth, de um fundamento e pressuposto psíquico para todas as demais
atitudes futuras96. A experiência do desrespeito no amor corresponderia à prática de maus-
tratos e à violação, que ameaçam a integridade física e psíquica de qualquer pessoa97.
A segunda forma de reconhecimento na teoria de Honneth é o direito. Segundo o
autor:
(...) possuir direitos individuais significa poder colocar pretensões aceitas, dotando o
sujeito individual com a possibilidade de uma atividade legítima, com base na qual
ele pode constatar que goza do respeito de todos os demais. É o caráter público que
os direitos possuem, porque autorizam seu portador a uma ação perceptível aos
parceiros de interação, o que lhes confere a força de possibilitar a constituição do
94
NETO, José Francisco Siqueira. O reconhecimento no direito do trabalho na perspectiva de Axel Honneth.
In: CAVALCANTE, Jouberto de Quadros Pessoa; VILLATORE, Marco Antonio César (org.). A Teoria do
reconhecimento sob a ótica do direito do trabalho. São Paulo: LTr, 2016. cap. 2, p. 18-25.
95
HONNETH, Axel. Luta por reconhecimento: A gramática moral dos conflitos sociais. Rio de Janeiro:
Editora, 34, 2009, p. 136-137.
96
Ibid., p. 177.
97
MEDEIROS, Jorge Luiz Ribeiro de. Reconhecimento, constitucionalismo e casamento homossexual.
Prismas: Dir, Pol. Pub.e Mundial, Brasília, v. 4. p. 151-168, 2007. Disponível em:
http://www.ucs.br/etc/revistas/index.php/conjectura/article/download/895/618. Acesso em: 01 out. 2018.
40
98
SARLET, 2007.
99
HABERMAS, Jürgen. Direito e democracia: entre facticidade e validade. Tradução de Flávio Beno
Siebeneicher. Rio de Janeiro: Tempo Brasileiro, 2003. v. 2, p. 180-181.
41
100
HONNETH, 2009, p. 210-211.
101
Ibid., p. 219.
102
KOMPARATO, Fábio Conder. A afirmação histórica dos direitos humanos. 2. ed. São Paulo: Saraiva,
2001, p. 229.
42
103
COSTA, Diego Carneiro; CUNHA, Leandro Reinaldo da. A Opinião Consultiva 24/17 da Corte
Interamericana de DH e seus reflexos no combate à discriminação contra pessoas trans nas relações de
trabalho. Revista Interdisciplinar de Direitos Humanos, Observatório de Educação em Direitos Humanos,
v. 1, n. 1, São Paulo: OEDH/UNESP, p. 207-226, p. 209, 2020.
43
104
RELATÓRIO do Comitê Nacional I - II Conferência Mundial das Nações Unidas contra o racismo,
discriminação racial, xenofobia e intolerância correlata. Disponível em:
http://www.dhnet.org.br/direitos/sos/discrim/relatorio.htm. Acesso em: 28 abr. 2020.
105
DALLARI, Dalmo de Abreu. Preconceito, intolerância e direitos humanos. In: LEWIN, H. (coord.).
Judaísmo e modernidade: suas múltiplas inter-relações [on-line]. Rio de Janeiro: Centro Edelstein de
Pesquisas Sociais, 2009, p. 11-24.
106
GOFFMAN, Erving. Estigma: notas sobre a manipulação da identidade deteriorada. 4. ed. Tradução de
Márcia Bandeira de Mello Leite Nunes. Rio de Janeiro: Guanabara, 1988.
107
RODRIGUES, Aroldo. Psicologia Social. 17. ed. Petrópolis: Vozes, 1998.
44
Como assevera José Claudio Monteiro de Brito Filho, o que a discriminação produz é
a negação do postulado básico: que os seres humanos são iguais, não obstante possuam cada
um suas diferenças110. Portanto, como já nos referimos anteriormente, a discriminação
constitui violação ao postulado igualitário e à dignidade da pessoa humana, que consagram o
direito à(s) diferença(s) como um direito fundamental.
Sob este prisma, a discriminação pode assumir diversas espécies e modalidades. É
chamada discriminação direta aquela que se caracteriza pela intencionalidade da conduta do
agente, por meio de uma diferenciação que se abate sobre a vítima, com o propósito de
prejudicá-la111. Esta modalidade de discriminação se subdivide em: i) discriminação explícita
(facial discrimination); ii) discriminação na aplicação da legislação ou da medida
(discriminatory aplication); iii) discriminação na elaboração da lei ou da medida
(discriminatory by design) 112.
108
BRITO FILHO, José Cláudio Monteiro de. Discriminação no trabalho. São Paulo: LTr, 2002.
109
BRASIL. Decreto nº 62.150, de 19 de janeiro de 1968. Promulga a Convenção nº 111 da OIT sobre
discriminação em matéria de emprego e profissão. Disponível em:
http://www.planalto.gov.br/ccivil_03/decreto/1950-1969/D62150.htm. Acesso em: 20 jan. 2020.
110
BRITO FILHO, op. cit., p. 41.
111
PERES, Célia Mara. A igualdade e a não discriminação nas relações de trabalho. São Paulo: LTr, 2014, p.
188.
112
A discriminação explícita configura a hipótese mais clara de discriminação direta, porquanto a conduta
discriminatória está estampada diretamente nos atos praticados pelo agente, excluindo-o, injustificadamente,
de um certo regime favorável. A discriminação na aplicação das normas acontece quando a diferenciação
ocorre de modo intencional, no momento da execução da medida ou da lei, com o intuito de prejudicar um
indivíduo ou grupo. Já a discriminação na criação da lei pode acontecer quando um determinado poder
normativo procura, de maneira intencional, produzir normas que, neutras ou não, são direcionadas a
prejudicar certos grupos de pessoas (Ibid., p. 188-189).
45
113
GOMES, Joaquim Barbosa. Ação Afirmativa e Princípio Constitucional da Igualdade. Rio de Janeiro:
Renovar, 2001.
114
CABRAL, Bruno Fontenelle. Aplicação das teorias do disparate treatment e do adverse impact nas
relações de emprego. 2010, p. 337. Disponível em:
http://coad.com.br/app/webroot/files/trab/pdf/ct_net/2010/ct3510.pdf. Acesso em: 28 abr. 2020.
115
Ibid., p. 338.
46
116
BRASIL. Decreto nº 6.949, de 25 de agosto de 2009. A Convenção Internacional sobre os Direitos das
Pessoas com Deficiência e seu Protocolo Facultativo, assinados em Nova York, em 30 de março de 2007.
Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2009/decreto/d6949.htm. Acesso em:
13 jun. 2020.
117
SANTOS, Carolina Maria Mota; TANURE, Betania; NETO, Antonio Moreira de Carvalho. Mulheres
executivas brasileiras: O teto de vidro em questão. Revista Administração em Diálogo: Pontifícia
Universidade Católica de São Paulo, São Paulo, v. 16, ed. 3, p. 56-75, set./out./nov./dez. 2014. Disponível
em:
https://www.pucminas.br/PucVirtual/pesquisa/administracao/Documents/Mulheres%20executivas%20brasile
iras%20o%20teto%20de%20vidro%20em%20quest%C3%A3o.pdf. Acesso em: 20 abr. 2020.
118
GOSDAL, Thereza Cristina. Preconceitos e discriminação nas relações de trabalho. 2014. Disponível em:
https://www.agrinho.com.br/site/wp-content/uploads/2014/09/37_Preconceitos-e-discriminacao.pdf. Acesso
em: 20 abr. 2020.
47
119
FLORES, Joaquin Herrera. Descubriendo al depredador patriarcal. La cólera de Virgina Woolf y la
rebeldia de Gloria Anzaldúa: identificando las overlapping opressions. Disponível em:
https://pt.scribd.com/document/236615931/7-Texto-Joaquin-Herrera-Flores-Descubriendo-Al-Depredador-
Patriarcal. Acesso em: 05 abr. 2020.
120
GOSDAL, 2014.
121
GOMES, 2001, p. 35.
122
GOSDAL, op. cit., p. 12.
48
Muito embora a busca pela afirmação dos direitos humanos seja antiga, remontando à
era cristã e tendo como precedentes na era moderna o Direito Humanitário, a Liga das Nações
e a Organização Internacional do Trabalho (OIT), é consenso que a noção atual de direitos
humanos surgiu apenas com o fim da segunda guerra mundial, principalmente após o
holocausto, a morte sistemática de milhões de civis inocentes, sobretudo judeus, pelo regime
nazista.
Todo esse cenário de genocídio e degradação da humanidade na primeira metade do
século XX levou a comunidade internacional a uma reflexão sobre os rumos da convivência
internacional e da própria humanidade, surgindo uma consciência coletiva pela necessidade
de tentar mudar os rumos da história. Desde então surgiu um novo cenário nas relações
internacionais, que culminou com a criação da Organização das Nações Unidas (ONU), ainda
em 1945123.
Já em 1948 foi aprovada no âmbito da ONU a Declaração Universal dos Direitos do
Homem (DUDH), momento no qual os direitos humanos ganharam a sua visão
contemporânea. Nesse ponto, a DUDH inovou na proteção ao ser humano, proclamando a
universalização da sua proteção, consagrando ainda que os direitos devem ser reconhecidos
sem qualquer tipo de discriminação124.
Contudo, como a DUDH surgiu com status de resolução125, o que, ao lado da pressão
política da União Soviética para reconhecer que os direitos sociais também são direitos
humanos (tudo isso em meio à guerra fria com os EUA), foi motivo suficiente para que, em
1966, a ONU decidisse aprovar dois tratados: O Pacto Internacional de Direitos Civis e
Políticos (PIDCP) e o Pacto Internacional de Direitos Econômicos, Sociais e Culturais
(PIDESC), ambos ratificados pelo Brasil em 1992.
Ademais, dentre os documentos específicos que integram o international bill of rights
da ONU está a Convenção sobre a eliminação de todas as formas de discriminação contra a
123
BARRETO, Rafael. Direitos Humanos. 7. ed. Salvador: Editora Juspodivm, 2017, p. 121.
124
Ibid., p. 155.
125
Por ter natureza jurídica de resolução da Assembleia Geral da ONU, a DUDH não tem, formalmente, força
obrigatória. Entretanto, é considerada por parte da doutrina como norma imperativa de direito internacional
(jus cogens), sendo, por isso, inderrogável por vontade das partes (BELTRAMELLI NETO, Silvio. Direitos
Humanos. 2. ed. Salvador: Editora Juspodvim, 2015, p. 68).
49
mulher, adotada em 1979 e ratificada pelo Brasil em 1984, com reservas, até a sua
promulgação definitiva, em 2002. Nos termos da Convenção, a expressão “discriminação
contra a mulher”, significa:
Toda distinção, exclusão ou restrição baseada no sexo e que tenha por objeto ou
resultado prejudicar ou anular o reconhecimento, gozo ou exercício pela mulher,
independentemente de seu estado civil, com base na igualdade do homem e da
mulher, dos direitos humanos e liberdades fundamentais nos campos político,
econômico, social, cultural e civil ou em qualquer outro campo126.
Demais disso, a ONU não havia tratado de outros temas atinentes à sexualidade, como
orientação sexual e identidade de gênero até o julgamento do caso Toonen vs. Austrália, em
1994. À época, as leis australianas criminalizavam a prática homossexual, levando o Comitê
Internacional de Direitos Civis e Políticos, vinculados ao Conselho de Direitos Humanos da
ONU, a declarar que tais leis que violam os direitos LGBTQIA+ violam as leis de direitos
humanos127.
Também nessa linha, em 2011, a ONU editou uma Resolução no Conselho de Direitos
Humanos, apresentada pelo Brasil e pela África do Sul, denominada “Direitos Humanos,
orientação sexual e identidade de gênero”. Essa foi a primeira Resolução de defesa dos
direitos das pessoas LGBTQIA+, a ser aprovada pela ONU128.
Ainda no âmbito internacional, surgem os Princípios de Yogyakarta, que, muito
embora não possuam força cogente, funcionam como um norte, uma referência à aplicação da
legislação internacional de direitos humanos em relação à orientação sexual e à identidade de
gênero. Trata-se de um documento originado na apreciação de diversos especialistas de 25
países, em encontro realizado na Universidade Gadjah Mada, em Yogyakarta, na Indonésia,
tendo como base a concepção de que compete aos Estados a implementação dos direitos
humanos129.
Especificamente sobre a vedação da discriminação por orientação sexual e identidade
de gênero, destaca o documento de Yogyakarta que:
126
BRASIL. Decreto nº 4.377, de 13 de setembro de 2002. Promulga a Convenção sobre a Eliminação de Todas
as Formas de Discriminação contra a Mulher, de 1979, e revoga o Decreto nº 89.460, de 20 de março de
1984. [S. l.], 13 set. 2002. Disponível em: http://www.planalto.gov.br/ccivil_03/decreto/2002/D4377.htm.
Acesso em: 20 jan. 2020.
127
SIQUEIRA, Dirceu Pereira; MACHADO, Robson Aparecido. A proteção dos direitos humanos LGBT e os
princípios consagrados contra a discriminação atentatória. Revista direitos humanos e democracia, n. 11,
Ed. Unijaí, p. 167-201, jan./jun. 2018. Disponível em:
www.revistas.unijui.edu.br/index.php/direitoshumanose democracia. Acesso em: 09 jan. 2020.
128
Ibid., p. 169.
129
CUNHA, 2014, p. 76.
50
130
CORRÊA; MUNTARBHORN, [2006?].
131
BARRETO, 2017, p. 252.
51
Interamericana para prevenir, punir e erradicar a violência contra a mulher, conhecida como
Convenção de Belém do Pará, de 1994.
Assim, o sistema internacional de proteção aos direitos humanos, a que o Brasil está
submetido, engloba tanto o sistema global (ONU) quanto o sistema interamericano (OEA),
que têm por objetivo subsidiar e complementar o direito nacional, no sentido de que sejam
superadas possíveis omissões e falhas. Os tratados de proteção de direitos humanos
consagram parâmetros protetivos mínimos, cabendo aos direitos fundamentais de cada país
aprofundar essa tutela132.
132
PERES, Célia Mara. A igualdade e a não discriminação nas relações de trabalho. São Paulo: LTr, 2014. p.
38.
52
pode ser reinterpretado como sendo “todos os indivíduos, perante a lei, devem ter
reconhecidas as suas diferenças” ou “todos os indivíduos são iguais perante a lei, devendo ter
respeitadas as suas diferenças”.
É de se considerar, ainda, que os direitos e garantias expressos na Constituição não
excluem outros decorrentes do regime e dos princípios adotados e dos tratados internacionais
em que a República Federativa do Brasil seja parte, nos termos do artigo 5º, §2º da CF, razão
pela qual as normas internacionais alusivas à proibição da discriminação por motivos
relacionados à sexualidade ratificadas pelo Brasil e os princípios da dignidade da pessoa
humana, igualdade e solidariedade integram o que podemos chamar de direito fundamental à
sexualidade.
A consequência do reconhecimento da sexualidade como um direito fundamental é de
suma importância, porque permite trabalhar tais direitos, não só a partir da sua perspectiva
subjetiva, entendida como a possibilidade de impor judicialmente suas pretensões legítimas,
mas, sobretudo, a partir da perspectiva objetiva dos direitos fundamentais. Segundo Sarlet, a
construção da teoria objetiva dos direitos fundamentais constitui uma das mais relevantes
formulações do direito constitucional contemporâneo, de modo especial no âmbito da
dogmática dos direitos fundamentais. Explica o autor:
133
SARLET, Ingo Wolfgang. A eficácia dos direitos fundamentais: uma teoria geral dos direitos fundamentais
na perspectiva constitucional. 12. ed. Porto Alegre: Livraria do Advogado, 2015, p. 149.
53
A Constituição Federal de 1988, no artigo 5º, §1º, prescreveu a aplicação imediata das
normas de direito constitucional, o que, segundo Sarlet, pode ser compreendido como um
mandado de otimização de sua eficácia, pelo menos no sentido de impor aos poderes públicos
a aplicação imediata dos direitos fundamentais, outorgando-lhes, nos termos desta
aplicabilidade, a maior eficácia possível134.
No tocante ao nosso objeto de estudo, considerando-se a Constituição de 1988 como
um sistema aberto de regras e princípios, os direitos fundamentais de sexualidade previstos na
Carta Social, em sua perspectiva objetiva, seriam uma ordem dirigida ao Estado, que os
vincularia no sentido de concretizar e efetivar tais direitos.
Com base na teoria da eficácia irradiante dos direitos fundamentais, estes, na condição
de direito objetivo, apontam uma necessidade de interpretação conforme os direitos
fundamentais de sexualidade de toda a legislação infraconstitucional existente. A título de
exemplo, a ADI 4275, em que o STF conferiu ao art. 58 da Lei 6.015/1973 (Lei de Registros
Públicos) interpretação conforme a Constituição, reconhecendo o direito dos transexuais à
substituição do prenome e do gênero nos assentos do Registro Civil das Pessoas Naturais pela
via administrativa, independentemente da cirurgia de transgenitalização e sem a necessidade
de apresentação de qualquer documento médico prévio, ante à autodeclaração.
Ainda mais recentemente, utilizando-se da teoria da eficácia irradiante dos direitos
fundamentais, o STF deu interpretação conforme a Constituição, em face dos mandados
constitucionais de incriminação inscritos nos incisos XLI e XLII do art. 5ºda Carta Política,
para enquadrar a homofobia e a transfobia, qualquer que seja a forma de sua manifestação,
nos diversos tipos penais definidos na Lei nº 7.716/89, até que sobrevenha legislação
autônoma, editada pelo Congresso Nacional, considerando-se que as práticas
homotransfóbicas se qualificam como espécies do gênero racismo.
Como se percebe, muito embora todos os poderes constitucionais estejam vinculados à
eficácia irradiante dos direitos fundamentais, esta teoria ganha mais aplicação prática na
atuação do Poder Judiciário, que está vinculado simultaneamente à Constituição (e aos
direitos fundamentais) e às leis, devendo interpretar a legislação infraconstitucional com base
na norma de hierarquia superior.
Diferentemente, os deveres ativos de proteção dos direitos fundamentais, outra
decorrência da dimensão objetiva dos direitos fundamentais, em que pesem também
vincularem todos os poderes públicos, estão mais voltados, na prática, para a atuação do
134
SARLET, 2015, p. 383.
54
legislador. Nesta toada, a vinculação do legislador aos direitos fundamentais implica clara
renúncia à crença positivista de onipotência da lei, significando, por outro lado, a expressão
jurídico-positiva da decisão tomada pelo Constituinte em favor da prevalência de valores
intangíveis contidos nas normas de direitos fundamentais.
Destarte, não poderá o legislador, em hipótese alguma, atuar no sentido de restringir os
direitos fundamentais de sexualidade, o que torna inconstitucional, de plano, teratologias
como o Projeto de Lei nº 234/2011, que intentou sustar a aplicação do parágrafo único do art.
3º e o art. 4º, da Resolução do Conselho Federal de Psicologia nº 1/99, de 23 de março de
1999, que proíbe o tratamento e a “cura” de homossexuais.
Também a vinculação dos órgãos da administração estatal do Poder Executivo aos
direitos fundamentais é reconhecida, na medida em que estes atuam no interesse público,
sendo guardião e gestor da coletividade. Isso significa que os órgãos administrativos devem
executar apenas as leis que àqueles sejam conformes, bem como executar essas leis de forma
constitucional, aplicando-as e interpretando conforme os direitos fundamentais.
Nesse sentido, é importante destacar a inconstitucionalidade de quaisquer programas
ou políticas que imponham um “governo da maioria” em detrimento das minorias sexuais,
devendo-se frisar que o Poder Judiciário possui um importante papel contramajoritário,
constituindo-se um freio aos anseios da maioria, razão pela qual deve invalidar atos de outros
poderes que atuem em desacordo com a Constituição e os direitos fundamentais. É fazer valer
a máxima de Ronald Dworkin, de que, nos Estados Democráticos, os direitos fundamentais
são verdadeiros “trunfos contra a maioria”135.
É importante ressaltar ainda que o efeito vinculante dos direitos fundamentais não
alcança apenas os poderes públicos, mas também os particulares, por força da chamada
eficácia horizontal, privada ou externa dos direitos fundamentais, teoria já reconhecida no
direito brasileiro pelo STF através do RE 161.243/DF (caso Air France) e RE 158.215/DF
(caso da exclusão de sócio), bem como no sistema interamericano ao qual o Brasil se vincula,
através da Orientação Consultiva 18/03 da Corte Interamericana de Direitos Humanos.
Tal teoria parte da ideia de que também na esfera privada ocorrem situações de
desigualdade geradas pelo exercício de um maior ou menor poder social, razão pela qual não
podem ser toleradas discriminações ou agressões à liberdade individual que atentem contra o
conteúdo da dignidade da pessoa humana e dos direitos fundamentais, zelando, de qualquer
135
NOVAES, Jorge Reis. Direitos Fundamentais: Trunfos contra a maioria. Coimbra: Coimbra Editora, 2006.
55
modo, pelo equilíbrio entre esses valores e os princípios da autonomia privada e da liberdade
negocial e geral, que, por sua vez, não podem ser completamente destruídos136.
Nesse ínterim, a par da controvérsia existente entre a aplicabilidade da teoria da
eficácia horizontal ser direta ou indireta, sendo que no direito alemão se tem adotado a
eficácia indireta, a doutrina e jurisprudências pátrias têm acolhido a tese da eficácia direta e
imediata dos particulares aos direitos fundamentais, identificando o artigo 5º, §1º da CF como
fundamento jurídico de sua aplicabilidade.
No que se refere ao nosso objeto de estudo, a aplicabilidade direta da teoria da eficácia
horizontal impõe que não só poderes estatais respeitem e promovam os direitos fundamentais
da sexualidade, mas também os particulares. Sendo assim, qualquer forma de discriminação
por motivos relacionados à sexualidade, realizada por particulares, pessoa física ou jurídica,
haja ou não relação simétrica de poder, deve ser entendida como violação direta à
Constituição Federal e aos direitos fundamentais.
Por exemplo, numa relação de trabalho, a remuneração salarial diferenciada para
homens e mulheres ou a dispensa de um empregado em razão da sua orientação sexual ou
identidade de gênero gera um dano não só ao empregado, mas a toda a ordem jurídica objetiva
que protege os indivíduos contra a discriminação arbitrária. É por isso que não só o sujeito
afetado individualmente poderá pleitear a cessação do ilícito ou a reparação judicial, mas
também os entes coletivos legitimados, como Sindicatos e o Ministério Público do Trabalho,
que também terão direito à tutela judicial coletiva da ordem jurídica.
Não é demais lembrar ainda que os direitos fundamentais da sexualidade são também
considerados direitos da personalidade, com claro vínculo com o princípio da dignidade da
pessoa humana137. Nesse diapasão, o livre exercício da sexualidade humana tem relação direta
com alguns dos direitos da personalidade, como o direito à privacidade e intimidade, e, mais
recentemente, o direito à proteção de dados pessoais, tema que iremos aprofundar no capítulo
subsequente, quando trataremos das decisões algorítmicas.
136
SARLET, 2015, p. 397.
137
CUNHA, 2014, p. 151-152.
56
________________________________________________________________
3. OS ALGORITMOS E AS DECISÕES AUTOMATIZADAS
138
BEÇAK, Rubens; LONGHI, João Victor Rozatti. O papel das tecnologias da comunicação em manifestações
populares: a primavera árabe e as jornadas de junho no Brasil. Revista Eletrônica do Curso de Direito da
UFSM, Santa Maria, v.10, n.1, 2015.
139
Ibid., p.389.
57
140
BIONI, Bruno Ricardo. Proteção de dados pessoais: a função e os limites do consentimento. Rio de Janeiro:
Forense, 2019, p. 33.
141
POLANYI, Karl. A grande transformação: as origens de nossa época. Rio de Janeiro: Elsevier, 2011, p. 35-
82.
142
BAUMAN, Zigmunt. Modernidade Líquida. Tradução de Plínio Dentzien. Rio de Janeiro: Jorge Zahar Ed.,
2001.
58
nova sociedade pós-industrial aos poucos se estruturou através de uma lógica que David
Harvey denominou de acumulação flexível, fase do capitalismo marcada por um confronto
direto com a rigidez do fordismo. A era da acumulação flexível se apoiou na flexibilidade dos
processos de trabalho, dos mercados, dos produtos e padrões de consumo143.
Nesse contexto, a evolução tecnológica e as revoluções no campo da comunicação
foram ao encontro dos interesses do capital; em contrapartida, essas inovações também só
foram possíveis a partir dos investimentos realizados em pesquisa pelas grandes empresas.
Nesta nova era, as distâncias foram gradativamente encurtadas e facilitaram o agir, tornando
desnecessária e custosa a manutenção da grandeza da estrutura fordista, enquanto o desfrute
de benefícios equivalentes a partir de estruturas menores e em tempo mais curto se tornou
possível144.
Zygmunt Bauman denominou essa nova fase da humanidade de “modernidade
líquida”, que em oposição aos valores sólidos da era fordista, são caracterizados pela
volatilidade, instabilidade e efemeridade dos laços humanos, expostos na fragilidade de
instituições e locus antes firmes como a família, a comunidade e o ambiente de trabalho.
Nessa dinâmica de flexibilidade e de rápidas mudanças de gostos e necessidades o
próprio conhecimento científico se tornou uma mercadoria. Conhecer a última técnica, o mais
novo produto, a mais recente descoberta científica, o controle do fluxo de informações e dos
veículos de propagação da cultura se tornaram armas vitais na batalha da competitividade
capitalista.145 Como salienta Eduardo Iamundo:
A lógica da acumulação flexível cada vez mais exigia uma mitigação das fronteiras
globais para dar vazão à volatilidade do capital, à globalização dos mercados e à
financeirização da economia. O sistema capitalista era posto à prova mais uma vez, tendo que
buscar formas de mercado que expressassem novas lógicas de acumulação mais bem-
143
HARVEY, David. A Condição Pós-Moderna. São Paulo: Editora Loyola, 2003.
144
SANTOS, 2016, p. 61.
145
HARVEY, 2003, p. 152.
146
IAMUNDO, Eduardo. Sociologia e antropologia do direito. São Paulo: Saraiva, 2013, p. 132.
59
147
ZUBOFF, Shoshana. Big Other: capitalismo de vigilância e perspectivas para uma civilização da informação.
In: BRUNO, Fernanda et al. (org.). Tecnopolíticas da vigilância: perspectivas da margem. São Paulo:
Boitempo, 2018. p. 17-68.
148
CASTEELS, Manuel. A galáxia da internet: reflexões sobre a internet, os negócios e a sociedade. Tradução
de Maria Luiza X. de A. Borges. Rio de Janeiro: Jorge Zahar Ed., 2003.
149
Como explica Felipe Cunha Nascimento, o termo sociedade da informação é “disputado” por norte-
americanos e japoneses. Do lado americano, a explicação mais aceita confere ao economista Fritz Machlup,
na sua obra “A Produção e Distribuição do Conhecimento nos Estados Unidos”. Outros atribuem a Daniel
Bell, que o menciona na obra The Coming Of Post-Industrial Society, de 1973. No lado japonês, o termo é
atribuído a Yujiro Hayashi, que em 1969 se valeu da expressão Joho Sakai (sociedade da informação) em
relatórios do governo japonês. Outros ligam o termo ao antropologista Tadao Umesao, em artigo denominado
“Joho Sangyo ron”, que significa “nas indústrias da informação” em tradução livre. NASCIMENTO, Felipe
Cunha. Já vivemos na sociedade da informação? In: LONGHI, João Victor Rozatti et al (coord.).
Fundamentos do direito digital. Uberlândia: LAECC, 2020. E-book. Também acerca do termo "sociedade
da informação" v. LYON, David. The roots of the information society idea. In: O'SULLIVAN, Tim;
JEWKES, Yvonne (ed.). The media studies reader. London: Arnold, 1998, p. 384-402.
150
O termo “sociedade em rede” é atribuído ao sociólogo e professor holandês Jan van Dijk, na obra The
Network Society, traduzida para o inglês a partir da publicação original, de 1991, intitulada De
Netwerkmaatschappij (em holandês), em que Van Dijk apresenta o conceito de um nova coletividade, na qual
uma combinação de redes sociais e de mídia dá forma a todos os níveis do modelo sócio estrutural:
individual, organizacional e social. JUNIOR, José Luiz de Moura Faleiros. The Network Society, de Jan Van
Dijk. Rev. Fac. Dir., v. 47, n. 1, p. 406-414, jan/jun.2019. Posteriormente, o termo “sociedade em rede” foi
redesenhado por Manuel Casteels. Sobre o tema, v. CASTEELS, op. cit., p. 08.
151
BIONI, 2019, p. 34.
60
152
Explica Shoshana Zuboff que a textualização do ambiente de trabalho, chamada de texto eletrônico, é um
instrumento que criou novas oportunidades de aprendizado, em tempo real, baseadas em informação e
mediadas por computador, institucionalizados em milhões de ações dentro das organizações. Algumas dessas
ações são mais formais: metodologias de aperfeiçoamento contínuo, integração empresarial, monitoramento
de empregados, sistemas de tecnologia da informação e comunicação que proporcionam a coordenação
global de operações dispersas de manufatura, atividades profissionais, formação de equipes de trabalho,
informações sobre clientes, cadeias de fornecedores, projetos Inter empresas, forças de trabalho móveis e
temporárias e abordagens de marketing para diferentes configurações de consumidores. Outras são menos
formais: o fluxo incessante de mensagens eletrônicas, buscas online, atividades de smartphone, aplicativos,
textos, videoconferências, interações em redes sociais etc. (ZUBOFF, 2018, p. 20-21).
153
BIONI, op. cit., p. 35.
154
ZUBOFF, op. cit., p. 24.
155
FIRMINO, Rodrigo José. Securitização, vigilância e territorialização. In: BRUNO, Fernanda et al. (org.).
Tecnopolíticas da vigilância: perspectivas da margem. São Paulo: Boitempo, 2018, p. 69-90.
156
ZUBOFF, op. cit., p. 58-59.
157
LYON, David. Cultura da vigilância: envolvimento, exposição e ética na modernidade digital. In: BRUNO,
Fernanda et al. (org.). Tecnopolíticas da vigilância: perspectivas da margem. São Paulo: Boitempo, 2018, p.
155.
61
Nesse contexto, o modus operandi dessas “cinco grandes” acabou exportado do Vale
do Silício para o mundo e parece ter se tornado o modelo-padrão para a maior parte das
startups e aplicativos atuais158. Trata-se, em apertada síntese, de coletar, extrair e analisar
dados de indivíduos dispersos em rede (seja através de navegação na internet; do uso de
sensores inteligentes nos aplicativos de smartphones, tablets e similares; transações bancárias,
compras on-line, câmaras de vigilância etc., normalmente sem qualquer diálogo ou
consentimento do usuário) com o objetivo de mercantilização e lucro159.
Como aduz Maurício Requião de Sant’Ana, nossos dados pessoais foram
transformados num importante ativo comercial das grandes empresas de tecnologia do
mundo, com o claro objetivo de obtenção de capital160. Isso foi possível porque o capitalismo
de vigilância soube explorar de forma hábil o lapso na evolução social para comercializar e
lucrar com os dados, uma vez que o rápido desenvolvimento das grandes corporações para
vigiar para o lucro em muito suplantou a compreensão pública e eventual desenvolvimento
das leis e regulamentações legais pela sociedade161.
Destarte, a nova lógica da acumulação se valeu da imensa disparidade informacional
entre os que fornecem os dados (que possuem um desconhecimento sobre a real extensão
sobre quais dados estão sendo coletados e para que fins serão utilizados) e aqueles que deles
se apropriam, ou seja, as grandes empresas de tecnologia162.
Além da disparidade informacional, o surgimento de uma “cultura da internet”163
(idealizada, frise-se, pelos próprios criadores da internet) contribuiu para uma ideologia de
liberdade em rede, que possibilitou às grandes empresas do ramo criar um universo no qual
não podemos prescindir do uso das tecnologias que fornecem nossos dados.
É nesse ponto que a cultura da internet encontra intersecção com o capitalismo de
vigilância, convergindo para o que David Lyon designou de “cultura da vigilância”164, termo
que demonstra que a vigilância se tornou parte de um modo de vida (e não algo imposto
158
ZUBOFF, 2018, p. 25.
159
Ibid., p. 24-33.
160
REQUIÃO, Maurício. Covid-19 e proteção de dados pessoais: o antes, o agora e o depois. Revista Consultor
Jurídico, 05 abr. 2020. Disponível em: https://www.conjur.com.br/2020-abr-05/direito-civil-atual-covid-19-
protecao-dados-pessoais-antes-agora-depois. Acesso em: 07 jul. 2020.
161
ZUBOFF, op. cit., p. 34.
162
REQUIÃO, op. cit., p. 01.
163
CASTEELS, 2003, p. 701.
164
Segundo David Lyon: “a expressão ‘cultura da vigilância’, em momento algum, descreve uma situação
unificada ou completamente abrangente. É apenas uma ‘expressão guarda-chuva’ para muitos tipos diferentes
de fenômenos, que aponta para a realidade de ‘todo um modo de vida’ que se relaciona, positiva e
negativamente, com a vigilância” (LYON, 2018, p. 162).
62
externamente pela lógica do capital), onde as pessoas participam ativamente em uma tentativa
de regular sua própria vigilância e a vigilância sobre os outros165.
A cultura da vigilância faz com que haja uma participação mais ou menos voluntária
da população no fornecimento de dados pessoais, na gestão e proteção desses dados166. Como
satiriza Yuval Harari, no século XXI, entregamos nossos dados - o recurso mais valioso que
ainda temos a oferecer - em troca de serviços de e-mail e vídeos com gatos engraçadinhos,
assim como os conquistadores e mercadores, no auge do imperialismo europeu, compravam
ilhas e países inteiros em troca de contas coloridas167.
Sob esse prisma, como sugere Shoshana Zuboff a partir das observações históricas de
Karl Polanyi, há um novo artigo de comércio, atualmente à venda no mercado: a própria
“realidade”, que, monetizada, renasce como “comportamento”. Para a autora norte-americana,
através da coleta massiva de informações em tempo real e das modernas técnicas de análise de
dados, o capitalismo de vigilância tornou possível, a partir da realidade, modificar os
comportamentos dos indivíduos para obter lucro, ao mesmo tempo em que os controla168.
Tendo por base essas premissas, abrem-se diversas dimensões e flancos de análise
dessa nova faceta do capitalismo, que como todas as outras, traz consigo diversas
contradições que lhe são inerentes. Uma das dimensões do capitalismo de vigilância, de
importância central para este trabalho, é constatada a partir do surgimento da cultura da
vigilância, que, aliada às novas tecnologias, concebeu novas possibilidades para o controle
dos corpos através da sexualidade, redesenhando a noção foucaultiana de biopoder, como
analisaremos no tópico subsequente.
165
Ibid., p. 151-153.
166
COSTA, Flavia. Visível/invisível: sobre o rastreio de material genético como estratégica artístico- política. In:
BRUNO, Fernanda et al. (org.). Tecnopolíticas da vigilância: perspectivas da margem. São Paulo:
Boitempo, 2018, p. 293-310, p. 308.
167
HARARI, Yuval. Homo Deus: uma breve história do amanhã. Tradução de Paulo Geiger. 1. ed. São Paulo:
Companhia das Letras, 2016, p. 343.
168
ZUBOFF, 2018, p. 56.
169
FOUCAULT, Michel. Sobre a história da sexualidade. In: MACHADO, R. (org.). Microfísica do poder. Rio
de Janeiro: Graal, 1979, p. 137-162, p. 244.
63
O filósofo francês associou a sexualidade à noção de biopoder, sendo este uma série
de estratégias de controle sobre a vida que abarca a biopolítica, que através das normas
determina lugares e modos de funcionamento dos grupos e populações; e a anátomo-política,
que dociliza os corpos, tornando-os úteis e previsíveis para serem mais facilmente
controlados170.
Foucault situou entre os séculos XVIII e XIX a formação de uma sociedade
disciplinar, criada para assegurar a ordenação das multiplicidades humanas através dos meios
de confinamento171. Como observou Deleuze, na sociedade disciplinar foucaultiana, o
indivíduo não cessava de passar de um espaço fechado a outro, cada um com suas leis:
primeiro a família, depois a escola, depois a caserna, depois a fábrica, de vez em quando o
hospital, eventualmente a prisão, o meio de confinamento por excelência172. E a sexualidade,
em todos estes meios de confinamento, foi um importante instrumento de controle social para
perpetuação das estruturas de poder.
É interessante notar que a estrutura física dos meios de confinamento é bem similar: as
antigas escolas se parecem com prisões, as prisões se parecem com as antigas fábricas. Não se
trata de uma mera coincidência, já que todas elas têm em comum o que Foucault descreveu
como modelo panóptico, estrutura idealizada por Jeremy Bentham para os presídios. Trata-se
de um modelo arquitetônico que parte do princípio de que o poder devia ser visível e
inverificável, com o objetivo de criar um estado permanente de vigilância nos indivíduos173.
A sociedade disciplinar serviu de esteio para o controle rígido e comando autoritário
da era fordista, enquanto o modelo panóptico era adotado para o disciplinamento da força de
trabalho, visando à produção em massa de bens duráveis. Acontece que, com a mudança para
o modo de acumulação flexível, houve também uma flexibilização das estruturas sociais mais
rígidas, gerando um colapso generalizado de todos os meios de confinamento: prisões,
hospitais, fábricas, escolas, famílias174.
A crise desses espaços confinados foi fortalecida pela necessidade de mobilidade
inerente à globalização175, que se chocou frontalmente com as estruturas rígidas das
170
CASSAL, Luan Carpes Barros; GARCIA, Aline Monteiro; BICALHO, Pedro Paulo Gastalho de. Psicologia e
o dispositivo da sexualidade: biopolítica, identidades e processos de criminalização. Psico, Porto Alegre,
PUCRS, v. 42, n. 4, p. 465-473, out./dez. 2011.
171
FOUCAULT, Michel. Vigiar e Punir: nascimento da prisão. Tradução de Raquel Ramalhete. Petrópolis:
Vozes, 1987, p. 241.
172
DELEUZE, Gilles. Post-scriptum sobre as sociedades de controle. In: _______. Conversações. Tradução de
Peter Pál Pelbat. São Paulo: 34, 1992, p. 219-226.
173
FOUCAULT, 1987, p. 296.
174
DELEUZE, 1992, p. 220.
175
NETO; MORAIS, 2018, p. 1144.
64
sociedades disciplinares, tal qual Bauman constatou quando tratou da mudança do mundo
“sólido” para o “líquido”. Deleuze identificou esse momento como sendo a transição gradual
das sociedades disciplinares para as chamadas “sociedades de controle”, surgidas no final
século XX, cuja principal característica é o abandono da lógica industrial e a substituição pela
lógica empresarial: a empresa foi se entronizando como uma espécie de inspiração exemplar
que impregnaria todas as demais instituições, como as escolas, famílias, hospitais, prisões e
até mesmo o Estado. Como parte desse movimento dinâmico, entraram em crise as figuras de
autoridade mais tradicionais: pais, maridos, chefes, mestres, diretores, governantes176.
Observa-se, nesse contexto, que o modelo panóptico, que pressupõe a figura de um
vigilante permanente177, não se prestava mais ao disciplinamento de uma sociedade cada vez
mais difusa, sobretudo após o advento da internet. Outrossim, a noção de biopoder demandou
também uma forma de exercício diferente, mais dócil, menos rígido, ou seja, necessitava
garantir sua manutenção do modo mais assimilável possível, sem causar perturbações ou
dificuldades na vida cotidiana dos indivíduos178.
Dessa forma, o antigo sistema de poder, que exercia uma vigilância vertical e
internalizada por meio de regulamentos e culpas179, representado na figura do panóptico,
tornou-se prosaico, ultrapassado, tendo em vista que o poder e o controle não puderam mais
ser exercidos de modo centralizado (e atomizado), sobretudo no momento em que os
indivíduos passaram a se transformar em bits de computador através dos avatares ou perfis
nas redes sociais e livremente expressar seus modos de ser nesse mundo digitalizado.
Tornou-se necessário, pois, implantar um tipo de controle descentralizado, embora
bem mais sutil e eficaz, que opera em todo momento e em todo lugar, além de exercer o poder
em todas as direções e em fluxo constante, graças à espantosa ubiquidade dos dispositivos
digitais de comunicação e informação180. Para Sandra Braman, o modelo panóptico foi
substituído pela noção de panspectron181, modelo de vigilância do século XXI, capaz de
176
SIBILIA, Paula. Você é o que o Google diz que você é: a vida editável, entre controle e espetáculo.
Visível/invisível: sobre o rastreio de material genético como estratégica artístico-política. In: BRUNO,
Fernanda et al. (org.). Tecnopolíticas da vigilância: perspectivas da margem. São Paulo: Boitempo, 2018, p.
199-216, p. 208-209.
177
Segundo Foucault, Bentham se maravilhava de que as instituições panópticas pudessem ser tão leves: “fim
das grades, fim das correntes, fim das fechaduras pesadas: basta que as separações sejam nítidas e as
aberturas bem distribuídas. O peso das velhas “casas de segurança”, com sua arquitetura de fortaleza, é
substituído pela geometria simples e econômica de uma “casa de certeza” (FOUCAULT, 1987, p. 226).
178
NETO; MORAIS, op. cit., p. 1147.
179
SIBILIA, loc. cit.
180
SIBILIA, 2018, p. 208-209.
181
BRAMAN, Sandra. Change of State: Information, Policy, and Power. The MIT Press, 2006.
65
gerenciar quantos assuntos forem necessários e ainda coletar e analisar padrões de dados e
comportamentos das pessoas182.
Independentemente da nova denominação, percebe-se que funções exercidas pelo
panóptico não deixaram de existir, só tiveram que se adaptar, digitalizar-se, transformar-se em
bits de computador. O novo biopoder agora está por toda parte: Instagram, Twitter, Facebook,
Tinder, Linkedin, Skype, Youtube, Waze, Uber etc. são as novas torres de vigilância no século
XXI183.
Como bem observou Paula Sibilia, a eficácia dessa nova forma de poder,
extremamente ágil e distribuído pela totalidade do tecido social, deve-se, em boa medida, ao
fato de que o uso desses dispositivos é voluntário, e não obrigatório, embora “seja estimulado
em sintonia com as poderosas promessas de felicidade que hoje nos enfeitiçam”184.
Tal estímulo, na verdade, é parte de um projeto de dependência tecnológica idealizado
pelo capitalismo de vigilância, onde as necessidades fortemente sentidas como essenciais para
uma vida mais eficaz se opõem à inclinação para resistir a esse novo biopoder185. Como não
podemos mais prescindir de tecnologia, pouco a pouco, a vigilância vai se tornando um modo
de vida, na medida em que é parte de nossa experiência cotidiana nos aeroportos e ruas da
cidade, na entrada e saída dos edifícios e também dentro das casas, smartphones e redes
sociais186.
O surgimento de uma “cultura da vigilância”, como denominada por David Lyon, é
bem exemplificada através da interação dos indivíduos nas redes sociais: basta assumir um
perfil e interagir no espaço digital para estar sob o controle invisível do panóptico pós-
moderno, onde todos se controlam mutuamente, de forma difusa, invisível e ilimitada. Sobre
o tema, aduzem Marcus Ehrhard Junior e Erick Lucena Campos Peixoto:
O indivíduo começa a interagir com redes de outros indivíduos, expor a sua vida e
abrir mão da sua privacidade em troca de uma satisfação pessoal. Viver parece que
não mais faz sentido se cada segundo não for compartilhado em uma rede social do
ciberespaço. A pessoa se expõe voluntariamente – ele mesmo cuida de sua
exposição, numa vigilância do tipo “do it yourself”. O que se dizia privado agora
182
CARIBÉ, João Carlos Rebello. Vigilância cega, o que as pegadas digitais podem revelar sobre o
indivíduo. Trabalho apresentado no II Simpósio Internacional Network Science, Rio de Janeiro, 2018.
Disponível em:
https://www.academia.edu/38120135/Vigil%C3%A2ncia_cega_o_que_as_pegadas_digitais_podem_revelar_
sobre_o_indiv%C3%ADduo. Acesso em: 09 jun. 2020.
183
RAMOS, Igor Nasser Alves; CASTRO, Rafaela Carvalho de. Mídias sociais e teletrabalho: o hodierno
modelo panóptico que "é muito Black Mirror". In: CARELLI, Rodrigo de Lacerda. Black Mirror, direito e
sociedade: estudos a partir da série televisiva. Rio de Janeiro: Lumen Juris, 2018, p. 47-65.
184
SIBILIA, op. cit., p. 209.
185
ZUBOFF, 2018, p. 50-51.
186
COSTA, 2018, p. 293-294.
66
pode ser realizado em público, e também pode ficar disponível para ser consumido
indeterminadamente, já que a Internet nunca esquece187.
[...] fica claro que qualquer dispositivo conectado a uma rede de dados, como é o
caso dos smartphones, pode, também, servir como sensor. Além de gerarem
informações sobre o seu uso e sobre o usuário, a maioria desses dispositivos possui
diversos sensores que viabilizam suas funções, como é o caso de giroscópios e
sensores de proximidade, de movimento, de luz, de umidade e de campo
magnético191.
Percebe-se, pois, que, atualmente, toda e qualquer interação tecnológica gera fluxos e
inundações de dados sobre preferências, hábitos, opiniões e compromissos de usuários de
tecnologia digital192, inclusive dados personalíssimos, que são extraídos, analisados e
comercializados entre empresas e governos para produzir novas modalidades de
mercantilização, monetização e controle193.
187
PEIXOTO, Erick Lucena Campos; JUNIOR, Marcos Ehrhardt. O direito à privacidade na sociedade da
informação. In: LIMA, Alberto Jorge de Barros et al. (org.). ENPEJUD: Poder Judiciário: estrutura, desafios
e concretização dos direitos. Trabalho apresentado no I Encontro de pesquisas judiciárias da Escola Superior
da Magistratura do Estado de Alagoas. 1. ed. Maceió: FUNDESMAL, 2016, p. 353-369.
188
LYON, 2018, p. 162-163.
189
O termo é atribuído a Shoshana Zuboff, para quem o Big Other é a nova arquitetura de um ubíquo regime
institucional em rede que registra, modifica e mercantiliza a experiência cotidiana, desde o uso de um
eletrodoméstico até seus próprios corpos, da comunicação ao pensamento, tudo com vista a estabelecer novos
caminhos para a monetização e o lucro. Trata-se de “um poder soberano de um futuro próximo que aniquila a
liberdade alcançada pelo Estado de Direito” (ZUBOFF, 2018, p. 43-44).
Em sentido semelhante, Maurício Requião afirma: “Mais do que um Grande Irmão, da célebre obra 1984, de
George Orwell, hoje temos vários, uma família inteira de Grandes Irmãos, coletando dados, vigiando cada
aspecto das vidas dos sujeitos, de maneira insidiosa, dissimulada, seja com o intuito de controle, seja com o
intuito de colocar esses dados a serviço do mercado” (REQUIÃO, Maurício. É preciso entender os prejuízos
da contínua violação à privacidade na Internet. Revista Consultor Jurídico, 01 jan. 2018. Disponível em:
https://www.conjur.com.br/2018-jan-01/direito-civil-atual-preciso-entender-prejuizos-violacao-privacidade-
internet. Acesso em: 20 jul. 2020).
190
NETO; MORAIS, 2018, p. 1132.
191
Ibid., p. 1135.
192
LYON, 2018, p. 162-163.
193
ZUBOFF, 2018, p. 57.
67
194
MULHOLLAND, Caitlin Sampaio. Dados pessoais sensíveis e a tutela de direitos fundamentais: uma análise
à luz da lei geral de proteção de dados pessoais (Lei 13.709/18). Revista de Direito e Garantias
Fundamentais, Vitória, v. 19, p. 159-180, set./dez. 2018.
195
ZUBOFF, op. cit., p. 33.
196
BARRICHELLO, Eugenia Maria Mariano da Rocha; MOREIRA, Elizabeth Huber. A análise da vigilância de
Foucault e sua aplicação na sociedade contemporânea. Intexto, Porto Alegre, UFRGS, n. 33, p. 64-75, p. 72,
maio/ago. 2015.
197
FOUCAULT, 1987, p. 227.
198
ZUBOFF, op. cit., p. 33.
199
PASSOS, Bruno Ricardo dos Santos. O direito à privacidade e a proteção aos dados pessoais na
sociedade da informação: uma abordagem acerca de um novo direito fundamental. 2017. Dissertação
(Mestrado) - Universidade Federal da Bahia, Faculdade de Direito, 2017, p. 35.
200
NETO; MORAIS, 2018, p. 1131.
68
de uma estrutura de poder, diferenciando-os dos demais; ii) agrupar distintos indivíduos em
virtude das semelhanças compartilhadas entre eles; iii) analisar as interações do indivíduo
com o ambiente, com seu grupo e com outros indivíduos, extraindo daí um resultado que pode
ser utilizado para diversos fins, inclusive discriminatórios.
Portanto, o novo biopoder gerencia a vida dos indivíduos de forma contrária ao
modelo panóptico, atuando de maneira difusa, quase imperceptível, valendo-se da emergente
cultura da vigilância, que faz com que não seja mais necessário um poder central controlador.
Outrossim, a (falsa) sensação de liberdade que impera na internet faz com que os usuários das
tecnologias colaborem de forma “voluntária” com o fornecimento de dados pessoais, que,
como veremos nos tópicos seguintes, podem ser processados por modernos algoritmos,
capazes de analisar, prever e modificar o comportamento dos indivíduos, bem como de tomar
decisões relevantes que podem impactar o rumo suas vidas.
201
HARARI, 2016, p. 347.
202
ZUBOFF, 2018, p. 50-51.
203
REGATTIERI, Lorena. Algoritmização da vida: revirando os fundamentos da automação. 19 jun. 2018.
Disponível em: http://medialabufrj.net/projetos/algoritmizacao-da-vida-revirando-os-fundamentos-da-
automacao/. Acesso em: 10 fev. 2020.
204
FIRMINO, 2018, p. 72.
205
RIEMENSCHNEIDER, Patrícia Strauss; MUCELIN, Guilherme Antônio Balczarek. A lógica algorítmica das
plataformas virtuais e a necessidade de proteção da pessoa nas atuais relações de trabalho. Redes: R. Eletr.
Dir. Soc., Canoas, v. 7, n. 1, p. 61-93, abr. 2019.
69
de uma racionalidade neoliberal206, vai sendo cada vez mais pensado como uma grande
empresa, passando a ter seus programas de ação desenhados e estabilizados por corporações
em dispositivos sociotécnicos (softwares ou hardwares) pensados a partir do modelo de
eficiência empresarial207.
Destarte, a transferência da autoridade de humanos para algoritmos de IA se deu
também na tomada de decisões relevantes, públicas e/ou privadas, o que vem sendo um
desafio para os operadores do direito, ainda orientados pelo paradigma antropocêntrico da era
moderna e insipientes para com a realidade cada vez menos ficcional das máquinas
inteligentes da sociedade digital.
Tendo por base tais premissas, faz-se necessário apresentar alguns conceitos
elementares à compreensão deste trabalho, tais como: algoritmo e inteligência artificial (IA),
internet das coisas (Internet of Things ou IoT); big data; aprendizado de máquina (machine
learning) e aprendizado profundo (deep learning), o que faremos nas próximas subseções.
Entretanto, salientamos que não se pretende aqui aprofundar ou esgotar todos os
elementos que compõem os sistemas de informação, já que isso fugiria ao objetivo proposto
neste trabalho, além de exigir um conhecimento técnico especializado em ciência da
computação.
3.3.1 Algoritmo
206
DARDOT, Pierre; LAVAL, Christian. A nova razão do mundo: ensaio sobre a sociedade neoliberal. São
Paulo: Boitempo, 2016.
207
CARDOSO, Bruno. Estado, tecnologias de segurança e normatividade empresarial. In: BRUNO, Fernanda et
al. (org.). Tecnopolíticas da vigilância: perspectivas da margem. São Paulo: Boitempo, 2018. p. 91-106.
208
MEDINA, Marco; FERTIG, Cristina. Algoritmos e Programação - Teoria e Prática: para universitários e
profissionais de informática. São Paulo: Novatec Editora, 2006.
70
etapas. Em outras palavras mais claras: são os códigos e diretrizes seguidas por uma
máquina209ou, ainda, a sequência de instruções que diz a um computador o que fazer210.
Um algoritmo de computador funciona através de um mecanismo de entrada de dados
(input) e outro de saída de dados (output), estando um relacionado com o outro para se chegar
ao resultado pretendido. Por exemplo, um algoritmo de calculadora que receba as informações
para somar 2+2 (input) irá retornar como resultado o número 4 (output)211.
Como explica Paulo Sá Elias, algoritmos podem ser criados “à mão”, isto é: um ser
humano projeta, testa e reconstrói o algoritmo até atingir o resultado desejado212. Nesses
casos, o algoritmo, por si só, não faz nenhum juízo de valor para além de sua programação,
sendo necessário que a relação de “correção” entre o input e o output seja definida de modo
preciso e sem ambiguidade pelo programador213.
Acontece que, com a evolução dos sistemas de informação, os algoritmos se tornaram
cada vez mais complexos, ao ponto de atualmente existirem redes de algoritmos com milhares
de subalgoritmos interligados numa só programação. Para este tipo de tarefa, é possível que o
próprio computador ajuste as ponderações de input do algoritmo, o que é feito através das
técnicas de inteligência artificial que veremos mais adiante.
Nesse contexto, é possível classificar os algoritmos em duas espécies: os programados
e os não programados. Algoritmos programados seguem as operações (“o caminho”)
definidas pelo programador. Assim, a informação “entra” no sistema, o algoritmo faz o que
está programado para fazer com ela, e o resultado (output) “sai” do sistema. Já os algoritmos
não programados criam outros algoritmos que substituem o programador. Nesse caso, os
dados e o resultado desejado são carregados no sistema (input), e este produz o algoritmo
(output) que transforma um no outro214.
209
ELIAS, Paulo Sá. Algoritmos, Inteligência Artificial e o Direito. 2017. Disponível em:
https://www.conjur.com.br/dl/algoritmos-inteligencia-artificial.pdf. Acesso em: 21 nov. 2019.
210
DOMINGO, Pedro. The master algorithm: how the quest for the ultimate machine learning will remake our
world. Nova York: Basic Books, 2015, p. 2.
211
ABRAHAM, Marcus; CATARINO, João Ricardo. O uso da inteligência artificial na aplicação do direito
público: o caso especial da cobrança dos créditos tributários - um estudo objetivado nos casos brasileiro e
português. e-Pública [online], v. 6, n. 2 [citado 2020-03-26], p. 188-219, 2019. Disponível em:
http://www.scielo.mec.pt/scielo.php?script=sci_arttext&pid=S2183-184X2019000200010&lng=pt&nrm=iso
Acesso em: 20 fev. 2020.
212
ELIAS, op. cit., p. 10.
213
VALENTINI, Rômulo Soares. Julgamento por computadores? As novas possibilidades da juscibernética
no século XXI e suas implicações para o futuro do direito e do trabalho dos juristas. 2017. Tese (Doutorado)
- Universidade Federal de Minas Gerais, Faculdade de Direito, 2017, p. 42.
214
FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium ex machina: panorama, riscos e
a necessidade de regulação das decisões informadas por algoritmos. Revista dos Tribunais, v. 995, p. 635-
655, set. 2018.
71
A inteligência artificial (IA) é uma área da ciência da computação que busca fazer
simulações de processos específicos da inteligência humana por intermédio de recursos
computacionais, a partir de conhecimentos de estatística, probabilidade, lógica e linguística216.
O conceito surgiu através da possibilidade das máquinas (computadores, robôs e
demais dispositivos e sistemas com a utilização de eletrônica, informática, telemática e
formas avançadas de tecnologias) executarem tarefas que são características da inteligência
humana, tais como planejamento, compreensão de linguagens, reconhecimento de objetos e
sons, aprendizado, raciocínio, solução de problemas etc. 217.
Como destaca Isabela Ferrari, atualmente a denominação IA é um oxímoro, formulado
para representar qualquer tipo de solução tecnológica que mimetize a inteligência, que,
215
FERRARI, Isabela; BECKER, Daniel. O direito à explicação sobre decisões automatizadas: uma análise
comparativa entre a união europeia e o Brasil. Revista de Direito e as Novas Tecnologias, v. 01, out./dez.
2018.
216
PEIXOTO, Fabiano Hartmann; SILVA, Roberta Z. Martins da. Inteligência artificial e direito. 1. ed.
Curitiba: Alteridade Editora, 2019, p. 21.
217
ELIAS, 2017.
72
218
FERRARI, Isabela. Regulation against the machine. JOTA. 2019. Disponível em: https://www.jota.info/
paywall?redirect_to=//www.jota.info/opiniao-e-analise/artigos/regulation-against-the-machine-26092019
Acesso em: 10 fev. 2020.
219
TURING, Alan. Computing Machinery and Intelligence. Mind, New Series, v. 59, n. 236, p. 433-460, out.
1950.
220
LEIA o texto do convite que criou o termo inteligência artificial: John McCarthy e seus colegas do
Dartmouth College foram responsáveis por criar, em 1956, um dos conceitos mais importantes do século
XXI. Época negócios online, 13 mar. 2019. Disponível em:
https://epocanegocios.globo.com/Tecnologia/noticia/2019/03/ leia-o-texto-do-convite-que-criou-o-termo-
inteligencia-artificial.html. Acesso em: 12 jan. 2020.
221
PEIXOTO; SILVA, 2019, p. 21.
222
Ibid., p. 58.
73
223
NUNES, Dierle; MARQUES Ana Luiza Pinto Coelho. Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista dos Tribunais, v. 285, nov.
2018.
224
PEIXOTO; SILVA, op. cit., p. 59.
225
RACANICCI, Jamile. Judiciário desenvolve tecnologia de voto assistido por máquinas: Justiça do
Trabalho e CNJ trabalham em ferramentas de inteligência artificial. 19 jun. 2018. Disponível em:
https://www.jota.info/justica/judiciario-desenvolve-tecnologia-de-voto-assistido-por-maquinas-05012018.
Acesso em: 04 jan. 2020.
226
INTELIGÊNCIA artificial vai agilizar a tramitação de processos no STF. Notícias STF, Brasília, 30 maio
2018. Disponível em: http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?idConteudo=380038. Acesso
em: 09 jun. 2020.
227
FERRARI; BECKER; WOLKART, 2018, p. 03.
74
diversos utilitários do nosso dia a dia, todos interligados através da IoT, conceito que veremos
a seguir.
site de compras de um supermercado; ii) o despertador avisar a cafeteira para iniciar o preparo
do café, fervendo a água para que o sujeito possa ficar mais alguns minutos em sua cama; iii)
que o seu tênis se conecte com outro dispositivo para registrar suas performances e até
elaborar novos treinos, como já se verifica da parceria firmada entre Nike e Apple; iv) um
marca-passo registrar todo o ritmo cardíaco de um implantado, o que possibilitará
diagnósticos e prognósticos mais precisos; v) automóveis transmitirem os dados de seu
deslocamento para um melhor gerenciamento das rotas de tráfego231.
Indo mais além, Maximiliano S. Martinhão acrescenta que a IoT é a progressiva
automatização de setores inteiros da economia e da vida social com base na comunicação
máquina-máquina: logística, agricultura, transporte de pessoas, saúde, produção industrial e
muitos outros232, tudo isso em breve estará interligado através da IoT.
Nesse sentido, visando estimular o desenvolvimento e a implementação da IoT no
mercado brasileiro, em junho de 2019 o governo lançou o seu Plano Nacional de Internet das
Coisas (PNIC), através do Decreto nº 9.854/2019. O plano tem por objetivos: a) melhora na
qualidade de vida e eficiência nos serviços; b) aumento da produtividade e estímulo da
competitividade das empresas brasileiras pertencentes a esse ramo da tecnologia; c) parceria
com setor público e privado; d) aumento da integração do país no âmbito internacional,
através da participação em fóruns, pesquisa, desenvolvimento e internacionalização das
soluções. Para tal desiderato, foram criadas a Câmara de Gestão e Acompanhamento do
Desenvolvimento de Sistemas de Comunicação Máquina a Máquina e Internet das Coisas,
que tem por objetivo o acompanhamento e implementação do PNIC.
Nesse ínterim, destaca-se que o plano, que visa acelerar a implementação IoT no país,
pode, de fato, possibilitar uma melhoria na qualidade de vida dos indivíduos (através da
difusão dos dispositivos que fazem interligação entre objetos do cotidiano e aparelhos de
saúde, por exemplo), incrementar a produtividade e fomentar a competitividade das empresas
brasileiras, servindo ainda para aumentar a integração do país no cenário tecnológico
internacional.
Entretanto, por outro lado, percebe-se que, em que pese a ressalva de que a finalidade
do PNIC de implementar e desenvolver a IoT no Brasil se dê a partir das diretrizes de
segurança da informação e de proteção de dados pessoais, o citado decreto não dispensou
231
BIONI, 2019, p. 120-121.
232
MARTINHÃO, Maximiliano. A internet das coisas a serviço das pessoas. In: MAGRANI, Eduardo. A
internet das coisas. Rio de Janeiro: FGV Editora, 2018, p. 15-17, p. 15.
76
maior atenção às possíveis violações aos dados pessoais advindos de uma implementação
apressurada da IoT no país, não mais tratando do tema no corpo do seu texto.
Não se trata de uma preocupação desmedida de nossa parte, visto que os aparelhos de
IA ligados à IoT são também sensores que transmitem uma enorme quantidade de dados, que,
como vimos nos tópicos precedentes, fazem parte da complexa arquitetura idealizada pelo
capitalismo de vigilância. Tais dados são extraídos, armazenados e comercializados entre
empresas e governos, que os utilizam para diversas finalidades, desde o direcionamento do
gosto do usuário para fins de consumo de produtos até a tomada de decisões acerca de
concessão de crédito ao consumidor, prestação de serviços públicos à comunidade, seleção de
empregados por empresas etc.
Portanto, através da IoT, o mundo físico é transportado para o mundo virtual por meio
dos objetos presentes no cotidiano233, tornando-se um elemento central na gestão da vida
privada na era da informação. Entretanto, ainda são dispositivos que geram dúvidas sobre a
segurança necessária quanto ao tráfego de dados pessoais dos usuários, oferecendo riscos à
intimidade e à privacidade234.
233
BIONI, 2019, p. 121.
234
ALEXANDRE, Myrlla Carvalho. A algoritmização das pessoas sob a perspectiva do arcabouço jurídico
brasileiro na tutela de dados pessoais. 2019. Monografia (Graduação) - Universidade Federal da Paraíba,
Curso de Direito, Santa Rita, 2019, p. 70.
235
TURING, 1950, p. 433-460.
236
NUNES; MARQUES, 2018, p. 03.
237
ELIAS, 2017 p. 02.
77
A redes neurais artificiais (Artificiais Neural Networks – ANNs) são algoritmos que
imitam a estrutura biológica do cérebro humano. Nas ANNs, existem “neurônios”
que possuem várias camadas e conexos outros “neurônios”. Cada camada (layer)
escolhe um recurso específico para aprender, como curvas e bordas no
reconhecimento de uma imagem, por exemplo. A aprendizagem profunda tem o seu
nome em razão dessas várias camadas. A profundidade é criada com a utilização de
múltiplas camadas em oposição a uma única camada de aprendizado pelo algoritmo.
Esses algoritmos de aprendizado profundo formam as “redes neurais” e estas
rapidamente podem ultrapassar a nossa capacidade de compreender todas as suas
funções241.
238
PEIXOTO; SILVA, 2019, p. 21.
239
ELIAS, loc. cit.
240
MACHINE Learning e Ciência de dados com IBM Watson. IBM, 2018. Disponível em:
https://www.ibm.com/br-pt/analytics/machine-learning? Acesso em 11 fev. 2020.
241
ELIAS, loc. cit.
78
Isto porque algoritmos cada vez mais autônomos implicam em perda de controle do
ser humano no processo decisório. A autonomia dos algoritmos produzidos por meio de deep
learning faz com que as tarefas por eles desempenhadas sejam difíceis de antever e, mesmo
após a decisão, difíceis de explicar242. Nenhum ser humano é capaz de dizer porque
determinado algoritmo dessa natureza faz o que faz, nem pode prever totalmente o que o
algoritmo poderá fazer em dados diferentes daqueles utilizados para o treinamento da
máquina ao longo do tempo243.
Por fim, é importante salientar que para que a máquina possa aprender sozinha, um
grande volume de dados é fundamental, já que são eles que “alimentam” o sistema244. Porém,
ainda mais importante do que a quantidade é a qualidade dos dados que serão utilizados pelo
computador, pois a existência de dados enviesados ensinará a máquina a desempenhar suas
funções também de forma enviesada, perpetuando, de forma automatizada, as desigualdades
sociais, erros e outras mazelas da nossa sociedade245.
A noção de big data vem, inicialmente, designar um grande conjunto de dados que
ultrapassam as capacidades analíticas dos processos tradicionais de computação. O termo
surge em meados da década de 90, cunhado pela NASA, mas ganha notoriedade devido a um
artigo de Doug Laney e sua definição de big data em 3Vs: V de volume, dados massivos de
inúmeras fontes; V de velocidade, capacidade e tempo de processamento sustentável ao
objetivo e a necessidade de processamento em tempo real para diversos segmentos e V de
variedade dos diversos formatos entre vídeos, fotos, transações financeiras etc.246
Posteriormente, o conceito foi expandido para 5Vs, acrescentando-se o V da veracidade, que
está ligada diretamente ao quanto uma informação é verdadeira e o V de Valor, conceito
relacionado com o valor obtido desses dados, ou seja, com a “informação útil”247.
É de se destacar, no entanto, que tais definições são atualmente insuficientes para se
compreender a dimensão e complexidade do que se tornou o big data, posto que tendem a
242
FERRARI; BECKER; WOLKART, 2018, p. 06.
243
ELIAS, 2017, p. 05.
244
FERRARI; BECKER; WOLKART, op. cit., p. 02.
245
NUNES; MARQUES, 2018, p. 07.
246
SAISSE, Renan. Big data contra o crime: efeito Minority Report. Direito & TI: Debates Contemporâneos,
Porto Alegre, 7 jul. 2017. Disponível em: http://direitoeti.com.br/artigos/big-data-contra-o-crime-efeito-
minority-report/. Acesso em: 05 fev. 2020.
247
NASCIMENTO, Rodrigo. Afinal, o que é Big Data? Marketing por dados, 27 mar. 2017. Disponível em:
http://marketingpordados.com/analise-de-dados/o-que-e-big-data-%F0%9F%A4%96/. Acesso em: 12 fev.
2020.
79
designá-lo como um mero objeto, um efeito ou uma simples tecnologia. Como destaca
Shoshana Zuboff, o big data tem origem no social, sendo, acima de tudo, o componente
fundamental da nova lógica de acumulação denominada de capitalismo de vigilância248,
tratada no item 3.1 deste trabalho.
Nota-se, assim, que o advento do big data, inicialmente, revolucionou a ciência da
computação, pois a partir dele os dados passaram a ser analisados não mais em pequenas
quantidades ou por amostras, mas em toda a sua extensão249. Porém, atualmente, o big data
está transformando a própria sociedade e a economia contemporâneas, fazendo com que os
dados que são produzidos na cotidianidade sejam um alvo prioritário das estratégias de
comercialização250.
Nessa linha, é interessante constatar que os dados que formam a grande base sequer
precisam ser relevantes no momento da sua coleta, pois sua importância surgirá somente
depois, com o processamento do big data por meio do algoritmo adequado251. É que a
“inteligência” não está no big data, mas na análise criteriosa dos dados armazenados. Pode-se
dizer, por conseguinte, que o big data é a matéria-prima dos algoritmos de machine
learning252.
Ao se associar o volume massivo de dados do big data à machine learning, que é
capaz de interpretá-los, surge um fenômeno conhecido como big data analytics, que vem
mudando aspectos fundamentais da sociedade contemporânea253. Através desse fenômeno,
tornou-se possível correlacionar uma série de dados, estabelecendo-se entre eles relações para
desvendar padrões e, por conseguinte, inferir, inclusive, probabilidades de acontecimentos em
tempo real. Nesse sentido, destaca David Lyon:
(...) dados em massa são obtidos de diferentes fontes e reunidos antes mesmo de
determinar os seus usos reais e potenciais e mobilizar algoritmos e análises não só
para entender uma sequência de eventos do passado, mas também para prever e
intervir antes que comportamentos, eventos e processos ocorram254.
248
ZUBOFF, 2018, p. 18.
249
BIONI, 2019, p. 57.
250
ZUBOFF, op. cit., p. 57.
251
NETO; MORAIS, 2018, p. 1131.
252
MACHINE..., 2018.
253
FERRARI, Isabela. O panóptico digital: como a tecnologia pode ser utilizada para aprimorar o controle da
administração pública no estado democrático de direito. 2018. p. 11. Disponível em:
https://www.academia.edu/36192135/O_PANOPTICO_DIGITAL_final. Acesso em: 12 fev. 2020.
254
Tradução Livre: “Now bulk data are obtained and data are aggregated from different sources before
determining the full range of their actual and potential uses and mobilizing algorithms and analytics not only
to understand a past sequence of events but also to predict and intervene before behaviors, events, and
processes are set in train” (LYON, David. Surveillance, Snowden, and Big Data: Capacities, consequences,
critique. Big Data & Society, v. 1, n. 2, p. 1-13, p. 4, jul. 2014).
80
Sob esse prisma, observa-se que foi através do big data analytics que o capitalismo de
vigilância pôde aperfeiçoar um regime institucional que atualmente é capaz de prever, intervir
e modificar o comportamento dos indivíduos, transformando-o em lucro. Outrossim, através
de uma dinâmica compilação em tempo real de coisas e pessoas conectadas através da IoT
não há mais dúvidas que estamos diante de uma nova arquitetura universal, um organismo
global inteligente, denominado por Shoshana Zuboff de Big Other255.
Assim, se o advento do machine learning possibilitou o efeito Minority Report, ou
seja, a existência das análises computacionais preditivas capazes de analisar o futuro tendo
por base a probabilidade, o big data analytics foi mais além, propiciando o que ora denomino
de efeito Inception256, capaz de condicionar nossas ações ou modificar nossas escolhas,
tornando a liberdade individual algo irrelevante para a sociedade regida pelo Big Other257.
Demais disso, as potencialidades oferecidas pelo big data também possibilitam que as
diversas correlações existentes entre os dados sejam utilizadas para tomada de decisões sem
nenhuma intervenção humana, a exemplo de algoritmos que concedem crédito pessoal ao
consumidor, selecionam candidatos a emprego e até mesmo auxiliam juízes na tomada de
decisões sobre condenações, como veremos no próximo tópico deste trabalho.
255
ZUBOFF, 2018, p. 55.
256
O termo faz referência ao filme de ficção científica Inception, de Christopher Nolan, traduzido para o
português como “A Origem”, que traz a distopia de um grupo de espiões industriais especializados em
implantar, através do universo dos sonhos, a origem de uma ideia ou de um conceito capaz de modificar o
comportamento, no mundo real, de determinada pessoa.
257
A título de exemplo, citamos a investigação do caso Cambridge Analytica, de ampla repercussão na mídia,
onde a empresa admitiu que os dados fornecidos pelos usuários através do Facebook eram coletados,
analisados e voltavam para os indivíduos em forma de mensagem direcionada, visando mudar o
comportamento de eleitores “persuasíveis”, ou seja, aqueles que ainda tinham dúvidas sobre quem votar nas
eleições americanas de 2016, bem como contra ou a favor do Brexit, também em 2016.
81
O intelecto humano, quando assente em uma convicção (ou por já bem aceita e
acreditada ou porque o agrada), tudo arrasta para seu apoio e acordo. E ainda que em
maior número, não observa a força das instâncias contrárias, despreza-as, ou,
258
O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy.
New York: Crown Publishers, 2016, p. 75.
259
NUNES; MARQUES, 2018, p. 08.
260
NUNES; MARQUES, 2018, p. 05.
261
PEER, Eyal; GAMLIEL, Eyal. Heuristics and Biases in Judicial Decisions. Court Review, v. 49, p. 114-118,
2016. Disponível em: http://aja.ncsc.dni.us/publications/courtrv/cr49-2/CR49-2Peer.pdf. Acesso em: 12 fev.
2020.
82
Além de tais vieses cognitivos e das predileções, o ser humano quando colocado em
situações difíceis, como as que exigem tomadas de decisão, pode se utilizar da clivagem da
personalidade, termo utilizado pelo psicanalista Christophe Dejours para designar a suspensão
da capacidade de pensar, que por sua vez é ocupada pelo recurso aos estereótipos, das
fórmulas feitas, dos lugares-comuns, das opiniões dominantes263.
Através da suspensão da capacidade de pensar e sua substituição pelo recurso aos
estereótipos, o homem é capaz de reproduzir preconceitos e discriminações de forma
inconsciente ou mesmo ser tolerante e indiferente aos preconceitos já existentes na sociedade.
Esse é um dos atributos que Dejours, a partir dos estudos de Hannah Arendt, identifica como
capazes de levar o indivíduo a banalizar o mal e tolerar as injustiças sociais264.
Assim, para além dos inegáveis ganhos de eficiência para o agente de tratamento de
dados265, a utopia de que as decisões tomadas através dos algoritmos eliminariam os vieses e a
subjetividade do ser humano, aumentando significativamente a precisão de julgamento, foi a
grande jogada de marketing das empresas desenvolvedoras dos softwares modernos. Na
prática, porém, tem-se verificado que IA e o processo algorítmico não apenas são incapazes
de evitar o erro humano derivado de seus preconceitos, como também podem reforçar as
discriminações já existentes na sociedade.
Isto se dá porque, muito embora os algoritmos, de fato, sejam mais precisos e
eficientes que seres humanos, eles podem trazer consigo os preconceitos sociais embutidos na
programação ou nos dados com os quais interagem durante o processo decisório, ocasionando
os chamados vieses algorítmicos (machine bias ou algorithm bias).
Como ressaltam Dierle Nunes e Ana Luiza Marques, os vieses algorítmicos podem
ocorrer quando as máquinas se comportam de modo a refletir os valores humanos implícitos
na programação, ainda que estes não sejam propositais. Isto ocorre porque, como os vieses
são características intrínsecas do pensar humano, o algoritmo criado por seres humanos
262
BACON, Francis. Novum Organum ou Verdadeiras interpretações acerca da natureza. São Paulo: Nova
Cultural, 1999.
263
DEJOURS, Christophe. A banalização da injustiça social. Rio de Janeiro: Editora Fundação Getúlio
Vargas, 2006.
264
Ibid.
265
JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo:
Thomson Reuters Brasil, 2020, p. 202.
83
O problema da qualidade dos dados utilizados pelos algoritmos pode ter origem nos
próprios criadores do algoritmo ou na base de dados utilizada pela IA.
No primeiro caso, os programadores de IA, ao criar um modelo de algoritmo,
selecionam inicialmente as informações que serão disponibilizadas ao software que irá fazer
as análises ou tomar as decisões. Isso significa que o viés pode ter causa em falhas na
programação ou execução da tarefa para o qual foi projetado o algoritmo, inclusive refletindo
266
NUNES; MARQUES, 2018, p. 06.
267
JUNQUEIRA, 2020, p. 201.
268
FERRARI, Isabela; BECKER, Daniel. Algoritmo e preconceito. JOTA. 2017. Disponível em:
https://www.jota.info/artigos/algoritmo-e-preconceito-12122017. Acesso em: 10 mar. 2020.
269
O’NEIL, 2016, p. 40.
84
as subjetividades do programador, tais como o seu contexto social, crenças pessoais, emoções,
preconceitos etc.
Um exemplo de viés algorítmico decorrente de falha dos programadores afetou a
estudante do MIT Midia Lab, Joy Buolamwini. A cientista, que é negra, estava trabalhando
com um software de análise facial quando percebeu que o programa não detectou seu rosto
simplesmente porque as pessoas que codificaram o algoritmo, não o ensinaram a identificar
uma ampla variedade de tons de pele e estruturas faciais270.
Observa-se, portanto, que o ponto de partida do software é sempre advindo do
programador. Porém, após a elaboração do modelo, com as sofisticadas técnicas de
aprendizado de máquina, sobretudo o deep learning (vide item 3.3.4), os algoritmos podem
aprender automaticamente com a base de dados pré-selecionada (dataset) ou mesmo aqueles
dados existentes no big data, prescindindo da intervenção humana no controle das etapas até o
final da análise de dados ou do processo decisório.
Em tais casos, mesmo sem a influência direta do programador, o viés algorítmico
poderá ocorrer caso haja uma baixa qualidade e confiabilidade dos dados fornecidos aos
sistemas de IA, visto que tais informações são coletadas da própria sociedade (através das
redes sociais, por exemplo), levando o aprendizado de máquina a confirmar e reforçar os
possíveis padrões discriminatórios encontrados no banco de dados.
O viés algorítmico oriundo de má qualidade nos dados é bem exemplificado através do
robô Tay, mecanismo de IA lançado pela Microsoft para interagir com usuários do Twitter,
que em menos de 24 horas de interação nas redes sociais passou a reproduzir mensagens
xenofóbicas, racistas e antissemitas271. Quando perguntada por um usuário se o holocausto
aconteceu, Tay respondeu: “Ele foi inventado”, postando um emoticon de aplauso em
270
BUOLAMWINI, Joy. How I’m fighting bias in algorithms. TED Talks. 2016. Disponível em:
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms/transcript#t-74828.
Acesso em: 20 jan. 2020.
271
CANO, Rosa Jiménez. O robô racista, sexista e xenófobo da Microsoft acaba silenciado: Projetado para o
mercado dos ‘millennials’ nos Estados Unidos, Tay não foi capaz de lidar com piadas e perguntas
controvertidas. El País, 25 maio 2016. Disponível em:
https://brasil.elpais.com/brasil/2016/03/24/tecnologia/1458855274_096966.html. Acesso em: 10 fev. 2020.
85
seguida272. Em outras de suas publicações ela dizia “Hitler estava certo, eu odeio judeus” e
“eu odeio feministas, elas deviam todas morrer e queimar no inferno” 273.
O exemplo de Tay é grotesco, mas serve bem para ilustrar como os algoritmos podem
adquirir vieses e perpetuarem o preconceito de maneira semelhante ao que acontece na
sociedade. Ao aprender com a categorização de um banco de dados como o Twitter, que
muitas vezes é utilizado por usuários para disseminar hate speech274, os algoritmos
rapidamente passaram a reproduzir tais comportamentos.
Como se percebe, o uso de algoritmos construídos a partir de base de dados viciadas
possui um potencial de causar danos em escala global, visto que os algoritmos associados à
velocidade do tráfego de dados não respeitam fronteiras275.Voltando ao caso de Joy
Buolamwini, ela conta que, quando estava participando de uma competição em Honk Kong,
uma das startups locais resolveu fazer uma demonstração de um robô social, que, novamente,
não conseguiu detectar seu rosto. Após perguntar aos responsáveis pela criação do robô, Joy
descobriu que o software utilizado era o mesmo que ela havia usado para o seu programa de
análise facial. Foi assim que ela percebeu “que o preconceito do algoritmo pode viajar tão
depressa quanto uma descarga de ficheiros da Internet”276.
Desde então, a pesquisadora se dedica a combater o que denomina de “olhar
codificado” (coded gaze), presente no viés algorítmico, ressaltando a necessidade, no que se
refere ao treinamento do algoritmo, de adotar bases de dados de amplo espectro, que reflitam
de forma mais acurada a diversidade existente no mundo277. Outrossim, a cientista fundou a
Algorithmic Justice League, que dentre suas propostas criou as selfies pela inclusão, onde
qualquer pessoa pode ajudar os desenvolvedores a criar e testar os algoritmos enviando suas
próprias fotos.
272
EXPOSTO à internet, robô da Microsoft vira racista em 1 dia: Projeto de inteligência artificial da gigante da
tecnologia foi tirado do ar em menos de 24 horas depois que passou a reproduzir ofensas escabrosas ao
interagir com trolls nas redes. Veja Tecnologia, 24 mar. 2016. Disponível em:
https://veja.abril.com.br/tecnologia/exposto-a-internet-robo-da-microsoft-vira-racista-em-1-dia/. Acesso em:
29 jan. 2020.
273
GERMANI, Leonardo. Inteligência artificial e big data na gestão cultural. Revista do centro de pesquisa e
formação, [s. l.], ed. 7, p. 154-164, nov. 2018. Disponível em: https://centrodepesquisaeformacao.sescsp.org.
br/revista/Revista_CPFn07.pdf. Acesso em: 09 jun. 2020.
274
Como destaca João Victor Rozatti Longhi, não há tradução exata que extraia o real significado da expressão
hate speech. Contudo, o Instituto é tratado pela doutrina como “legitimação do discurso de ódio”,
manifestação de ódio, geralmente ligadas a questões raciais, étnicas, religiosas, de orientação sexual etc.
LONGHI, João Victor Rozatti. #ódio: responsabilidade civil nas redes sociais e a questão do hate speech. In:
GODINHO, Adriano Mateleto et al. Responsabilidade civil e novas tecnologias. Indaiatuba: Editora Foco,
2020. E-book.
275
FERRARI; BECKER; WOLKART, 2018, p. 08.
276
BUOLAMWINI, 2016.
277
FERRARI; BECKER; WOLKART, op. cit., p. 07.
86
278
São três os princípios de criação do movimento pela codificação inclusiva, de que iremos tratar novamente
nesse trabalho: 1) quem codifica? 2) como estamos codificando? 3) por que codificamos? O destaque maior
aos dois primeiros princípios neste tópico se dá porque, quando perguntamos: “quem codifica?”,
pretendemos saber se a equipe de programadores é diversificada o suficiente para gerar algoritmos
inclusivos. Já quando perguntamos: “como estamos codificando?”, indagamos se os algoritmos estão sendo
treinados (e retreinados) para retificar os seus eventuais vieses. Por fim, embora não menos importante,
quando quereremos saber: “por que codificamos?”, buscamos a origem pela qual alguma atividade está sendo
codificada, tema que foi mais bem desenvolvido no item 3.4 deste trabalho (BUOLAMWINI, 2016).
279
FERRARI, Isabela. Accountability de algoritmos: a falácia do acesso ao código e caminhos para uma
explicabilidade efetiva. Inteligência Artificial: 3º Grupo de Pesquisa do ITS, ITS - Instituto de Tecnologia e
Sociedade do Rio, 2018. Disponível em: https://itsrio.org/wp-content/uploads/2019/03/Isabela-Ferrari.pdf.
Acesso em: 22 jan. 2020.
280
DONEDA, Danilo; ALMEIDA, Virgílio. O que é a governança de algoritmos? Politics., out. 2016.
Disponível em: https://politics.org.br/edicoes/o-que-%C3%A9-governan%C3%A7a-de-algoritmos. Acesso
em: 12 fev. 2020.
281
O’NEIL, 2016, p. 52.
87
Nesse sentido, se até mesmo os próprios programadores não têm conhecimento total
do algoritmo, é certo que o usuário final não será capaz de explicar como as decisões
algorítmicas foram geradas ou quais características específicas que foram importantes para se
chegar a uma decisão final, causando desafios quase insuperáveis de interpretabilidade e
transparência284.
Há de se destacar, contudo, que parte da doutrina defende que a opacidade do
algoritmo pode ser resolvida através do acesso ao seu código-fonte, inclusive pela
disponibilização de tais dados no domínio público para que todos possam inspecioná-los.
Com base nessa premissa, recentemente o STF foi questionado por advogados sobre o
funcionamento dos algoritmos que fazem a distribuição automática dos processos no
Tribunal, tendo sido sugerido que as pessoas tivessem acesso ao código-fonte, com base no
princípio da transparência que rege a Administração Pública. Porém, segundo a Corte Maior,
a divulgação do código-fonte do sistema eletrônico poderia afrontar a exigência legal da
alternatividade e a exigência regimental da aleatoriedade, pressupostos para que se alcance a
regra geral da imprevisibilidade das novas relatorias, pois atualmente não se tem a segurança
282
O termo caixa preta é de autoria de Frank Pasquale, que, em seu livro The Black Box Society, tratou dos
desafios da sociedade governada pela big data e pelos algoritmos, que têm uma forma de funcionamento
misteriosa (PASQUALE, Frank. The Black Box Society: The Secret Algorithms that control money and
information. Cambridge: Havard University Press, 2015).
283
HARARI, 2016, p. 395.
284
ELIAS, 2017, p. 16.
88
285
ROVER, Tadeu. Sistema de algoritmo que determina pena de condenados cria polêmica nos EUA. ConJur.,
16 maio 2018. Disponível em: https://www.conjur.com.br/2018-mai-16/stf-aperfeicoar-distribuicao-
processos-mantem-sigilo. Acesso em: 12 fev. 2020.
286
DONEDA; ALMEIDA, 2020, p. 02.
287
FERRARI; BECKER; WOLKART, 2018, p. 02.
288
FERRARI, 2018, p. 11.
289
GUTIERREZ, Andriei. É possível confiar em um sistema de inteligência artificial? Práticas em torno da
melhoria da sua confiança, segurança e evidências de accontability. In: FRAZÃO, Ana; MOLHOLLAND,
Caitlin (org.). Inteligência Artificial e o Direito: ética regulação e responsabilidade. São Paulo: Thomson
Reuters Brasil, 2019, p. 83-96, p. 88.
89
290
A primeira ferramenta que apontam é chamada verificação de software. Diferente da análise de código, que
é estática, a verificação de software é dinâmica, e examina o programa enquanto ele opera. Essa análise
garante que, ao operar, o sistema sempre apresentará certas propriedades, denominadas invariantes. A
segunda são os acordos criptográficos, equivalentes digitais a um documento selado por uma terceira parte,
ou à manutenção de um documento em local seguro. Os acordos criptográficos asseguram que o programa
não foi alterado nem revelado, e são muito utilizados para programas que devem ser mantidos em sigilo por
determinado tempo. O terceiro instrumento indicado são as chamadas zero-knowledge proofs, ferramentas
criptográficas que permitem que de pronto se prove que a política decisória utilizada apresenta certa
propriedade, sem revelar como se sabe disso ou que política decisória é. Finalmente, as fair random choices
são estratégias aptas a garantir que, quando o sistema possuir algum nível de aleatoriedade, esta será justa, e
não poderá haver intromissão indevida de agentes internos na aleatoriedade do sistema. É mecanismo, cuja
aplicação Kroll et al. defendem no sistema de loteria de vistos americanos, que, segundo alguns
programadores, não é exatamente segura, podendo ser fraudada (internamente), ainda que hipoteticamente
(FERRARI, 2018, p. 13-15).
291
ELIAS, 2017, p. 15.
292
NUNES; MARQUES, 2018, p. 07-08.
293
Ibid., p. 10.
90
Como vimos até agora, a crença de que a eliminação do fator humano traria mais
clareza e objetividade a processos sensíveis conduzidos por máquinas não tem se verificado.
Assim como os seres humanos, os algoritmos parecem ser tendenciosos e reproduzir os
preconceitos e vieses existentes na sociedade. Quando os erros e vieses nos algoritmos
ocasionarem distinções, preferências ou exclusões capazes de afetar a igualdade de tratamento
ou de direitos entre seres humanos, estaremos diante de um viés discriminatório ou de uma
hipótese de discriminação algorítmica.
Por outro lado, deve-se deixar claro que a existência de tendências ou erros nos
algoritmos, por si só, não pode ser considerada uma prática discriminatória. Existem vieses
algorítmicos que não causam impacto negativo na vida das pessoas, justamente por serem
inofensivos, como, por exemplo, o caso do reconhecimento errôneo da imagem de um
periquito por uma IA, em que ela indicava haver um gato sentado no banheiro294. Existem
também outros tipos de vieses algorítmicos que até podem causar prejuízos indenizáveis (tal
qual ocorre com bugs em jogos de videogame ou falhas em softwares adquiridos pelo
consumidor), mas que não são consideradas hipóteses discriminatórias.
Percebe-se, pois, que muito embora a discriminação algorítmica esteja diretamente
relacionada ao viés algorítmico, estes dois conceitos não se confundem, pois, somente quando
os erros ou vieses algorítmicos afetarem o princípio da igualdade, é que estaremos diante de
uma hipótese de discriminação algorítmica.
A discriminação algorítmica é, portanto, uma possível consequência do enviesamento
do algoritmo, que no caso cria um efeito denominado feedback loop, conceito que designa a
concretização da estigmatização de grupos vulneráveis, solidificando sua posição de
vulnerabilidade na sociedade295.
Dentre as espécies de discriminação algorítmica, pode-se destacar a discriminação
algorítmica direta e a discriminação algorítmica indireta296. A primeira está estampada
294
CAMPBELL-DOLLAGHAN, Kelsey. This neural network's hilariously bad image descriptions are still
advanced AI. Gizmodo. Disponível em: https://gizmodo.com/this-neural-networkshilariously-bad-image-
descriptions-1730844528. Acesso em: 07 fev. 2020.
295
BRAGA, Carolina. Discriminação nas decisões por algoritmos: polícia preditiva. In: FRAZÃO, Ana;
MOLHOLLAND, Caitlin (org.). Inteligência Artificial e o Direito: ética regulação e responsabilidade. São
Paulo: Thomson Reuters Brasil, 2019, p. 671-693, p. 687.
296
É importante destacar ainda, sobre o tema, que as demais espécies de discriminação, tais como segregação
horizontal e vertical, dentre outras tratadas no item 2.2.1 deste trabalho, também poderão ocorrer, como
veremos mais detalhadamente no capítulo 5 deste trabalho, quando tratarmos dos vieses relacionados à
sexualidade.
91
diretamente nos atos praticados pelo agente (envolve uma intenção de discriminar) e ocorre,
por exemplo, quando um dado sensível (a exemplo de raça ou gênero) é utilizado
intencionalmente para a tomada de uma decisão enviesada. Por outro lado, a discriminação
indireta ocorre quando práticas aparentemente neutras dos algoritmos permitirem inferências
capazes de causar efeitos discriminatórios em grupos historicamente desfavorecidos.
Daí já se observa que, diferentemente do que ocorre na práxis social, a discriminação
indireta é a espécie mais frequente entre os algoritmos, tendo em vista que raramente se
utiliza ostensiva e diretamente um dado suspeito para o treinamento do algoritmo e
consequente tomada de decisão297. Sobre o tema, cumpre trazer a doutrina de Phillipe Hacker:
297
JUNQUEIRA, 2020, p. 308.
298
No original: In machine learning contexts, direct discrimination will be rather rare. It obtains when the
decision maker explicitly uses membership in a protected group as an input for the model and assigns lower
scores to it (for supervised learning). This is certainly the easiest, and most blatant, case of algorithmic
discrimination. However, direct discrimination does not cover indirect proxy discrimination (via correlations
with a seemingly neutral criterion, which may be the basis both for unintentional discrimination and for
intentional masking). Furthermore, it does not capture sampling bias and incorrect labeling unless these
practices directly relate to class membership. For example, if the decision maker expressly constructs the
data set so that black persons are underrepresented, or specifically selects “worse” candidates from one
protected group for training purposes, the resulting algorithmic model will reflect direct discrimination.
However, in most cases in which bias is an accidental feature of the data processing, unfavorable treatment
arguably does not occur “on grounds of” group membership and therefore does not amount to direct
discrimination (HACKER, Phillip. Teaching Fairness to Artificial Intelligence: Existing and Novel Strategies
Against Algorithmic Discrimination Under EU Law. Common Market Law Review, West Sussex, v. 55, p.
9-10, 2018. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3164973. Acesso em: 13
maio 2020).
92
299
Não se pode concluir, todavia, que estas sejam as únicas formas de discriminação possíveis de ocorrer, tendo
em vista que todas as minorias e grupos vulneráveis estão particularmente expostos a preconceitos e
injustiças, podendo o algoritmo aprofundar as desigualdades de grupos já marginalizados.
300
SOARES, Iarema. Como a ausência de negros trabalhando em tecnologia impacta os produtos criados para
facilitar nosso dia a dia: Depois que o vídeo de uma saboneteira cujo sensor só reconhecia peles claras
viralizou, a questão passou a ser debatida. E soluções para o problema começam a aparecer em iniciativas
diversas. Gaúchazh - Ciência e Tecnologia, Porto Alegre, 5 abr. 2019. Disponível em:
https://gauchazh.clicrbs.com.br/tecnologia/noticia/2019/04/como-a-ausencia-de-negros-trabalhando-em-
tecnologia-impacta-os-produtos-criados-para-facilitar-nosso-dia-a-dia-cju32g40e00x001nvv1495xmq.html.
Acesso em: 02 mar. 2020.
301
SALAS, Javier. Google conserta seu algoritmo “racista” apagando os gorilas: Google Photos confundia
pessoas negras com macacos. Este patch mostra a opacidade dos algoritmos. El País, 16 jan. 2018.
Disponível em: https://brasil.elpais.com/brasil/2018/01/14/tecnologia/1515955554_803955.html. Acesso em:
02 mar. 2020.
302
PASCUAL, Manuel. Quem vigia os algoritmos para que não sejam racistas ou sexistas? A discriminação
socioeconômica, racial ou de gênero é muito frequente entre os sistemas automáticos. El País, 17 mar. 2019.
Disponível em: https://brasil.elpais.com/brasil/2019/03/18/tecnologia/1552863873_720561.html. Acesso em:
10 fev. 2020.
93
recorre ao sistema público são as pessoas e famílias que não têm condições de utilizar o
sistema privado.
Destaca Eubanks que as famílias ricas também podem ser disfuncionais, mas o sistema
do condado de Allegheny não reconheceria isso: as clínicas de desintoxicação e
os psiquiatras, por exemplo, não estão dentro do sistema público e, portanto, não computam
para o algoritmo. Em consequência, a autora chega à conclusão que o sistema é
discriminatório para com os mais vulneráveis economicamente, o que a leva a questionar,
através do 3º princípio de codificação inclusiva de Joy Buolamwini, se devemos mesmo
automatizar uma decisão sobre se os pais cuidam bem ou mal de seus filhos303.
Outrossim, já foram registradas diversas hipóteses de discriminação algorítmica por
motivos relacionados à sexualidade, sobretudo impactando negativamente em mulheres,
homossexuais e transgêneros. Por ser tema central ao objeto deste trabalho, dedicamos
inteiramente o capítulo 5 desta obra para tratar mais detalhadamente a discriminação por
motivos relacionados à sexualidade.
Por ora, faz-se necessário destacar que o uso de algoritmos para a tomada de decisões
tem reforçado diversas circunstâncias sociais injustas, seja porque os dados utilizados
reproduzem padrões existentes de discriminação, seja porque refletem preconceitos existentes
na sociedade304. Sobre o tema, é necessário trazer a lição de Paulo Sá Elias:
Isto ocorre porque, como vimos no tópico anterior, o aprendizado de máquina pode
confirmar os vieses existentes desde a programação, reproduzindo o preconceito (consciente
ou inconsciente) do programador. Outrossim, se os dados aos quais os algoritmos expostos
refletirem o preconceito presente na sociedade, as decisões enviesadas daí derivadas irão
refleti-lo e reforçá-lo, ocasionando toda sorte de discriminações.
Além disso, tecnologias que se utilizam do big data podem amplificar a discriminação
por causa de vieses implícitos nos dados. Por exemplo, ao terem contato com bases de dados
303
EUBANKS, Virginia. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor.
New York: St. Martin’s Press, 2018.
304
FERRARI; BECKER; WOLKART, 2018, p. 09.
305
ELIAS, 2017, p. 09.
94
enviesadas de gênero ou raça presentes, por exemplo, nas redes sociais, os algoritmos podem
aprender a reforçar o preconceito e a discriminação contra as minorias sexuais ou étnicas.
Conforme salientam Solon Barrocas e Andrew Selbst:
_______________________________________________________
Tendo em conta que a maioria das decisões algorítmicas envolvem não só a utilização
das modernas técnicas de IA, mas também o processamento de uma imensa quantidade de
dados, e, sobretudo, de dados dos indivíduos, as questões jurídicas surgidas nos processos
automatizados necessariamente serão abrangidas pelas leis de proteção de dados pessoais.
306
Tradução livre. “While discrimination certainly endures in part due to decision makers’ prejudices, a great
deal of modern-day inequality can be attributed to what sociologists call “institutional” discrimination.8
Unconscious, implicit biases and inertia within society’s institutions, rather than intentional choices, account
for a large part of the disparate effects observed. Approached without care, data mining can reproduce
existing patterns of discrimination, inherit the prejudice of prior decision makers, or simply reflect the
widespread biases that persist in society. It can even have the perverse result of exacerbating existing
inequalities by suggesting that historically disadvantaged groups actually deserve less favorable treatment”
(BAROCAS, Solon; SELBST; Adrew D. Big Data’s Disparate Impact. California Law Review, v. 104, p. 2-
6, 2016. Disponível em: http://ssrn.com/abstract=2477899. Acesso em: 01 mar. 2020).
307
MULHOLLAND, Caitlin; FRAJHOF, Isabella. Inteligência Artificial e a Lei Geral de Proteção de dados
pessoais: breves anotações sobre o direito à explicação perante a tomada de decisões por meio de machine
learning. In: FRAZÃO, Ana; MOLHOLLAND, Caitlin (org.). Inteligência Artificial e o Direito: ética
regulação e responsabilidade. São Paulo: Editora dos Tribunais, 2019, p. 265-287, p. 282-283.
95
As novas tecnologias, como a IoT e o big data, que armazenam e coletam inúmeros
dados e informações dos usuários, são a matéria-prima utilizada pelos algoritmos de IA para
tomada de decisão automatizada. Essa arquitetura é facilitada pela existência de uma cultura
de vigilância (vide itens 3.1 e 3.2), onde os dados pessoais são coletados, extraídos e
analisados sem qualquer preocupação prévia com os direitos fundamentais dos indivíduos,
exigindo sacrifícios à intimidade, privacidade e igualdade em troca do “direito” de fazer parte
de uma sociedade mundial interconectada.
Nesse contexto, o Estado teve de intervir para garantir um mínimo de proteção aos
dados pessoais dos cidadãos, chamando para si o grande desafio de regular, ainda que com
algum tempo de atraso, as controvérsias advindas das mudanças sociais que acompanham o
surgimento de cada uma das tecnologias disruptivas.
É por tais razões que, em todo o mundo, vive-se atualmente uma fase de
desenvolvimento progressivo da defesa dos direitos e das liberdades dos indivíduos contra os
arbítrios de empresas e governos no que tange ao controle e tratamento de dados pessoais,
solidificando-se a ideia de uma sociedade orientada por dados mais conscientes308, bem como
adotando estratégias de regulação e utilização de IA, sobretudo para mitigar os potenciais
danos aos usuários e à sociedade. Trata-se, em última análise, de se reconhecer a proteção dos
dados dos titulares como um direito fundamental, tendo em vista o enorme impacto que as
decisões algorítmicas poderão ter na vida das pessoas, sobretudo pelo potencial de ocorrerem
discriminações no tratamento desses dados309.
Nas próximas subseções, iremos analisar, de forma sucinta, de modo a não extrapolar
o objeto deste trabalho, as principais normas internacionais e pátrias que tratam da proteção
de dados pessoais, uma vez que estas já estabelecem maneiras de regular os fenômenos
algorítmicos e proteger os titulares dos dados contra potenciais efeitos discriminatórios
presentes nas decisões automatizadas. Em seguida, investigaremos de que forma se articulam
a discriminação algorítmica e as normas de proteção aos dados pessoais.
308
FERRARI; BECKER, 2018, p. 06.
309
MULHOLLAND; FRAJHOF, 2019, p. 21.
96
310
BIONI, 2019, p. 174.
311
DONEDA, Danilo. A proteção dos dados pessoais como um direito fundamental. Espaço Jurídico Journal
of Law [EJJL], v. 12, n. 2, p. 91-108, 2011.
312
Id. Da privacidade à proteção dos dados pessoais. Rio de Janeiro: Renovar, 2006, p. 24.
313
Ibid., p. 96.
314
BIONI, op. cit., p. 176.
315
BIONI, 2019, p. 180.
316
DONEDA, 2006, p. 231.
97
Parlamento Europeu, que complementou a Diretiva 95/46/CE no que tange à tutela relativa
ao tratamento de dados pessoais e à proteção da privacidade no setor das telecomunicações.
Esta terceira geração de proteção de dados pessoais gira em torno do princípio da
autodeterminação informativa ou informacional (informationelle selbstbestimmung), que é a
importante construção, oriunda do direito alemão, de que o cidadão deve ter o controle sobre
os seus dados pessoais, a fim de que possa autodeterminar suas informações317.
Atualmente, estamos vivenciando um movimento de quebra desse paradigma,
passando da perspectiva da autodeterminação informacional para a do gerenciamento de
riscos das atividades de tratamento de dados318, bem como pela redução da importância do
consentimento do titular dos dados como fator preponderante da licitude ou não da utilização
dos dados pessoais. Isso ocorre por conta do pressuposto de que determinadas modalidades de
tratamento de dados pessoais necessitam de uma proteção no seu mais alto grau, que não pode
ser conferida exclusivamente a uma decisão individual de consentimento319.
Esta quarta geração de leis, destarte, tem como fio condutor a assimetria da
informação320, que parte da ideia de que o titular dos dados deve ser considerado como sujeito
vulnerável no mercado informacional, visto que do outro lado da equação estão as grandes
empresas e Estados soberanos. Sendo assim, é a hipossuficiência do titular dos dados pessoais
que faz com o que o seu consentimento não seja o elemento mais importante da relação
travada com os agentes de tratamento dos dados.
O principal marco normativo da quarta geração de leis é o Regulamento Geral de
Proteção de Dados da União Europeia 2016/679 (General Data Protection Regulation ou
GDPR), que substitui a Diretiva 95/46/CE, surgida na década de 1990, num momento ainda
incipiente de internet, em que diversos conceitos – como big data, machine leaning e IoT–
ainda não existiam321. Ora, como conceber ainda hoje a primazia do consentimento e da
autodeterminação informativa, calcadas numa ideia de especificação e limitação de propósitos
com a tecnologia do big data, em que a mesma base de dados pode ser utilizada para
317
Ibid., p. 925.
318
BIONI, Bruno Ricardo; LUCIANO, Maria. O princípio da precaução na regulação da Inteligência artificial:
seriam as leis de proteção de dados o seu portal de entrada? In: FRAZÃO, Ana; MOLHOLLAND, Caitlin
(org.). Inteligência Artificial e o Direito: ética regulação e responsabilidade. São Paulo: Thomson Reuters
Brasil, 2019, p. 207-228, p. 215.
319
DONEDA, 2011, p. 98.
320
BIONI; LUCIANO, op. cit., p. 216.
321
FERREIRA, Ricardo Barretto et al. Entra em vigor o Regulamento Geral de Proteção de Dados da União
Europeia. Migalhas, 4 jun. 2018. Disponível em: https://www.migalhas.com.br/depeso/281042/entra-em-
vigor-o-regulamento-geral-de-protecao-de-dados-da-uniao-europeia. Acesso em: 12 fev. 2020.
98
322
BIONI, 2019, p. 317.
99
consentimento para o tratamento de dados pessoais que não é necessário para a execução
desse contrato (art.7º, item 4).
Também trata o GDPR da discriminação algorítmica, proibindo, no seu artigo 9º, o
tratamento de dados pessoais que revelem a origem racial ou étnica, as opiniões políticas, as
convicções religiosas ou filosóficas, ou a filiação sindical, bem como o tratamento de dados
genéticos, dados biométricos para identificar uma pessoa de forma inequívoca, dados relativos
à saúde ou dados relativos à vida sexual ou orientação sexual de uma pessoa, exceto nos casos
previstos no item 2.
Demais disso, é importante destacar que o GDPR restringe as tomadas de decisões
exclusivamente automatizadas que produzam efeitos jurídicos similares significativos nos
indivíduos. No artigo 12 do regulamento, há previsão de que os responsáveis pelo tratamento
de dados têm o dever de informar os titulares dos dados acerca da existência de decisões
automatizadas, da lógica envolvida e das consequências previstas para os titulares de dados323.
Outrossim, o artigo 22, item 1, do GDPR permite que o titular dos dados se recuse a
ser submetido a uma decisão exclusivamente automatizada, desde que esta possa vir a
produzir efeitos na sua esfera jurídica ou que o afete significativamente de forma similar. Há
exceções, tais como o consentimento do titular dos dados; a necessidade de celebração de
contrato entre o titular dos dados e o responsável pelo tratamento dos dados e o caso de
autorização Estatal, sempre resguardados os direitos e liberdades fundamentais do titular.
Já no item 3 do artigo 22, também há a previsão da intervenção humana nas decisões
automatizadas, além do direito de manifestar o seu ponto de vista e contestar a decisão. Em
outras palavras, o dispositivo autoriza a intervenção de um agente humano no processo
decisório para referendar ou ajustar eventuais erros de decisão por parte do algoritmo324.
Nesse contexto, é possível concluir das previsões contidas no artigo 22, itens 1 a 4 do
GDPR a possibilidade de o titular de dados ter acesso e conhecimento dos métodos utilizados
pela IA para alcançar o resultado da decisão algorítmica, o que vem sendo denominado pela
doutrina de direito à explicação das decisões informatizadas325.
Outras previsões contidas no GDPR e que são importantes para o desenvolvimento
deste trabalho são o direito à informação e acesso aos dados pessoais e a sua forma e o
procedimento de coleta (arts.13 a 15), que podem ser um alento para se alcançar a tão
esperada transparência algorítmica; o direito de retificação dos dados (art.16) e o direito ao
323
FERRARI; BECKER, 2018, p. 04.
324
Ibid., p. 05.
325
MULHOLLAND; FRAJHOF, 2019, p. 272-273.
100
esquecimento (art.17), que permite ao titular o direito de apagamento dos dados pessoais
quando estes deixarem de ser necessários para a finalidade que motivou a sua recolha ou
tratamento.
Destaca-se, por fim, que o novo regulamento europeu de proteção de dados
influenciou de forma central o tratamento da matéria no Brasil, notadamente com a edição da
Lei Geral de Proteção aos Dados (LGPD), já sendo possível vislumbrar respostas jurídicas a
possíveis questionamentos sobre discriminação algorítmica na legislação pátria.
326
UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017, que contém
recomendações à Comissão sobre disposições de Direito Civil sobre Robótica (2015/2103(INL)). Disponível
em: [http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+
0+DOC +XML+V0//PT]. Acesso em: 01 mar. 2020.
327
Ibid., p. 03.
101
328
Uma questão, nesse particular, que assume grande relevância, mas que transborda os limites deste trabalho, é
a discussão sobre se a proteção de dados pessoais ainda pode ser considerada abrangida pela privacidade ou
se é um direito fundamental autônomo. A tese de que a proteção de dados deriva diretamente da privacidade,
tal qual espécie e subespécie, facilita a proteção constitucional, pois estende uma tutela já reconhecida (a
privacidade) a outra que ainda pode gerar controvérsias por ser uma estruturação mais recente (a proteção de
dados pessoais). Porém, como adverte Danilo Doneda, tal operação acaba por simplificar demasiadamente os
fundamentos da tutela de dados pessoais, o que em alguns casos poderá limitar o seu alcance (DONEDA,
2006, p. 261-262).
329
MULHOLLAND, 2018, p. 168.
330
BIONI, 2019, p. 127.
103
É por isso que, no atual estado da arte, a proteção de dados pessoais é considerada um
direito fundamental autônomo331, cujo propósito e alcance são amplos e nos são fornecidos
pela leitura constitucional da cláusula geral da personalidade, da dignidade da pessoa humana,
igualdade substancial, liberdade de expressão e da informação, juntamente com a proteção da
intimidade e da vida privada 332.
Sob essas premissas, a Constituição Federal de 1988 considera invioláveis a vida
privada e a intimidade (art. 5º, X, CF), bem como o sigilo de dados (artigo 5º, XII, CF), além
de prever o habeas data (art. 5º, LXXII, CF), que trata do direito de acesso e retificação dos
dados pessoais e o direito ao recebimento dos órgãos públicos de informações de seu interesse
particular, ou de interesse coletivo ou geral (art.5º, XXXIII, CF).
Ademais, com o objetivo de proporcionar atualização da previsão constitucional, foi
proposta, em março de 2019, a PEC nº 17, com o intuito de incluir o direito fundamental à
proteção de dados pessoais no rol expresso de direitos fundamentais, alterando o artigo 5º, XII
e 22, XXX, da CF88, estabelecendo-se ainda a competência da União para legislar sobre o
tema333.
Já no direito infraconstitucional, diante da reconhecida hipossuficiência do titular dos
dados que são utilizados por governos e empresas na tomada de decisões algorítmicas, o
Código de Defesa do Consumidor (CDC), ainda que de forma incipiente, por se tratar de uma
legislação dos anos 1990, também é uma fonte normativa importante de proteção de dados
p e s s o a i s .
A título de exemplo, destaca Bruno Bioni que o CDC disciplinou, no art. 43, os bancos
de dados e cadastros de consumidores, o que alcança todo e qualquer dado pessoal do
consumidor, indo muito além, portanto, dos bancos de dados de informações negativas para
fins de concessão de crédito334. Como asseveram ainda Isabela Ferrari e Danilo Becker, o
direito à informação, previsto no artigo 6º, III, do CDC, já serviria para garantir, ainda que de
forma análoga, a possibilidade de o usuário obter uma explicação razoável de uma decisão
algorítmica sobre ele335.
331
Adotamos neste trabalho, portanto, a perspectiva de Danilo Doneda, para quem “o direito à privacidade
atualmente apresenta seu caráter individualista e exclusivista diluídos, e assume as feições de uma disciplina
na qual merecem consideração a liberdade e o livre desenvolvimento da personalidade. Nesse panorama, a
proteção de dados pessoais assume o caráter de um direito fundamental” (DONEDA, 2006, p. 327).
332
Ibid., p. 323.
333
Ibid., p. 264.
334
BIONI, op. cit., p.184.
335
FERRARI; BECKER, 2018, p. 05.
104
336
ELIAS, 2017, p. 10.
105
inspirada na quarta geração de leis, sobretudo no GDPR europeu. Pela importância da LGPD
no escopo do nosso trabalho, iremos tratar desta lei em subseção própria.
A LGPD se constitui num grande ponto de entrada da sociedade brasileira numa nova
era da informação, sendo norma que versa sobre o tratamento de dados pessoais, inclusive nos
meios digitais e que tem por objetivo proteger os direitos fundamentais como os da liberdade,
privacidade, honra, imagem, autodeterminação informativa e o livre desenvolvimento da
personalidade (art.2º).
Com a entrada em vigor da LGPD há, enfim, uma fonte normativa específica para
resolver as questões relativas às decisões automatizadas, inclusive no que tange à prevenção e
correção de vieses algorítmicos e seus impactos negativos na vida das pessoas.
É importante destacar, inicialmente, que dentre os princípios que regem as atividades
de tratamento de dados pessoais estão alguns muito caros às questões relativas às decisões
automatizadas: o princípio do livre acesso aos dados (art.6º, inciso IV), que é a garantia, aos
titulares, de consulta facilitada e gratuita sobre a forma e a duração do tratamento, bem como
sobre a integralidade de seus dados pessoais; o princípio da qualidade dos dados (art.6º, inciso
V), que garante aos titulares a exatidão, clareza, relevância e atualização dos dados pessoais,
de acordo com a necessidade e para o cumprimento da finalidade de seu tratamento; o
princípio da transparência (art.6º, inciso VI), que traz a garantia, aos titulares, de informações
claras, precisas e facilmente acessíveis sobre a realização do tratamento e os respectivos
agentes de tratamento, observados os segredos comercial e industrial; o princípio da não
discriminação, que trata da impossibilidade de realização do tratamento de dados para fins
discriminatórios ilícitos ou abusivos; o princípio da responsabilização e prestação de contas
(art.6º X), que traz a obrigatoriedade de demonstração, pelo agente, da adoção de medidas
eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de
dados pessoais e, inclusive, da eficácia dessas medidas.
Já o artigo 11 da LGPD trata da restrição ao tratamento de dados sensíveis, que são
aqueles dados que atingem o núcleo fundamental da personalidade do indivíduo, tais como
sobre origem racial ou étnica, convicção religiosa, opinião política, filiação a sindicato ou a
organização de caráter religioso, filosófico ou político ou qualquer dado referente à saúde ou à
vida sexual, dado genético ou biométrico, quando vinculado a uma pessoa natural.
106
Como destaca Thiago Junqueira, a princípio, a própria máquina será a responsável por
rever a sua própria decisão, o que afasta a possibilidade de o titular dos dados contar com uma
efetiva “re-visão” daquela que levou ao resultado original338. Assim, em que pese a revisão
337
BRASIL. Mensagem nº 288, de 8 de julho de 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/_
Ato2019-2022/2019/Msg/VEP/VEP-288.htm. Acesso em: 20 jan. 2020.
338
JUNQUEIRA, 2020, p. 240.
107
humana não signifique certeza de alteração do resultado, ao menos permitiria que isso
pudesse acontecer de fato.
Ademais, deve-se destacar na LGPD o §1º do artigo 20, que trata do direito à
explicação, que prevê que o controlador deverá fornecer, sempre que solicitadas, informações
claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão
automatizada, observados os segredos comercial e industrial.
Indene de dúvidas, trata-se de importante instrumento em favor da transparência
algorítmica, que objetiva dar ao titular dos dados as informações compreensíveis para,
querendo, contestar a decisão automatizada. Contudo, na prática, é de difícil aplicação, pois
não é tarefa fácil definir o que deve ser explicado ao titular dos dados, visto que sequer o
conteúdo da expressão “informações claras e adequadas” é determinado, sendo certo que o
simples acesso ao código-fonte não é suficiente para exercício do direito à explicação, como
visto no item 3.4.2 deste trabalho.
Nesse sentido, Rafael Zanatta defende uma “leitura dialógica” do princípio da
transparência para levá-lo a outro patamar, quando se trata de processos de comunicação e
aprendizagem, garantindo-se ao titular dos dados informação significativa sobre a lógica
envolvida em decisões automatizadas, envolvendo seus métodos de funcionamento, sua
importância sobre determinados fins e de como as decisões são tomadas339.
Por fim, é importante destacar a previsão de auditoria ou supervisão algorítmica para
os casos de não recebimento da informação, realizada pela autoridade nacional para verificar
os possíveis aspectos discriminatórios em tratamento automatizado de dados pessoais. Trata-
se de um clamor antigo da doutrina e da militância virtual pela necessidade de uma supervisão
constante dos processos algorítmicos mais sensíveis, como aqueles capazes de causar
impactos discriminatórios340.
339
ZANATTA, Rafael. Perfilização, Discriminação e Direitos: do Código de Defesa do Consumidor à Lei
Geral de Proteção de Dados Pessoais. 2019. Disponível em:
https://www.researchgate.net/publication/331287708_
Perfilizacao_Discriminacao_e_Direitos_do_Codigo_de_Defesa_do_Consumidor_a_Lei_Geral_de_Protecao_
de_Dados_Pessoais/citation/download. Acesso em: 19 jul. 2020.
340
ELIAS, 2017, p. 17.
108
essencial uma proteção efetiva contra a discriminação, sendo que atualmente essa
preocupação está estampada no Considerando 71 da GDPR:
341
UNIÃO EUROPEIA. Regulamento (UR) 2016/679. 2016. Disponível em:
https://www.cncs.gov.pt/content/files/ regulamento_ue_2016-679_-_protecao_de_dados.pdf. Acesso em: 12
abr. 2020.
342
Id., 2017.
109
dados que abrange, na dicção legal da LGPD, qualquer dado pessoal sobre origem racial ou
étnica, convicção religiosa, opinião política, filiação a sindicato ou a organização de caráter
religioso, filosófico ou político, dado referente à saúde ou à vida sexual, dado genético ou
biométrico, quando vinculado a uma pessoa natural (art.5º, II, da LGPD).
Podemos definir os dados sensíveis como aqueles dotados de um grau maior de
fundamentalidade e que, justamente por isso, apresentam um elevado potencial
discriminatório. Em grande medida, os dados sensíveis estão intimamente relacionados aos
direitos da personalidade do seu titular, razão pela qual mereceram um tratamento mais
restritivo e protetivo da LGPD343. Por tais razões, consideramos que o rol do artigo 5º, II, da
LGPD é meramente exemplificativo, pois, como destaca Ana Frazão, devem ser considerados
sensíveis “todos os dados que permitem que se chegue, como resultado final, a informações
sensíveis a respeito das pessoas”344.
É esclarecedor o exemplo trazido por Stefano Rodotà do uso de dados pessoais
sensíveis:
343
JUNQUEIRA, 2020, p. 242.
344
FRAZÃO, Ana. Nova LGPD: o tratamento de dados pessoais sensíveis. Disponível em:
https://www.jota.info/ opiniao-e-analise/colunas/constituicao-empresa-e-mercado/nova-lgpd-o-tratamento-
dos-dados-pessoais-sensiveis-26092018. Acesso em: 14 maio 2020.
345
RODOTÀ, Stefano. A vida na sociedade de vigilância. Rio de Janeiro: Renovar, 2008, p. 175.
346
MULHOLLAND, 2018, p. 164.
110
[...] coletar dados sensíveis e perfis sociais e individuais pode levar à discriminação;
logo a privacidade deve ser vista como “a proteção de escolhas de vida contra
qualquer forma de controle público e estigma social”, como a reivindicação dos
limites que protegem o direito de cada indivíduo a não ser simplificado, objetivado e
avaliado fora de contexto347.
É importante destacar, contudo, que tais princípios não são absolutos e que o LGPD
não proíbe totalmente o tratamento de dados pessoais sensíveis, apenas limitando a sua
abrangência. Permite-se, por exemplo, o tratamento dos dados sensíveis em havendo
consentimento (art.11, I da LGPD), ou seja, a manifestação livre, informada e inequívoca pela
qual o titular concorda com o tratamento de seus dados para uma finalidade determinada
(art.5º, XII da LGPD).
Nesse ponto, contudo, cumpre recordar que atualmente se vivencia uma mudança de
paradigma no que concerne à importância do consentimento do titular dos dados, não sendo
mais esta a matriz principal de tratamento da matéria. Atualmente, reconhece-se a condição de
vulnerabilidade do titular dos dados, caracterizado justamente pela ausência de liberdade
substancial no momento de determinação da sua vontade348.
Outrossim, o artigo 7º da LGPD permite o tratamento pessoal de dados sensíveis nas
seguintes hipóteses: a) cumprimento de obrigação legal ou regulatória pelo controlador; b)
tratamento compartilhado de dados necessários à execução, pela administração pública, de
políticas públicas previstas em leis ou regulamentos; c) realização de estudos por órgão de
pesquisa, garantida, sempre que possível, a anonimização dos dados pessoais sensíveis; d)
exercício regular de direitos, inclusive em contrato e em processo judicial, administrativo e
arbitral; e) proteção da vida ou da incolumidade física do titular ou de terceiro; f) tutela da
saúde, em procedimento realizado por profissionais da área da saúde ou por entidades
sanitárias ou exclusivamente, em procedimento realizado por profissionais de saúde, serviços
de saúde ou autoridade sanitária.
Nesse ínterim, observa-se ser demasiado amplo o rol de exceções que possibilitam o
tratamento de dados pessoais sensíveis. Além disso, houve uma prévia ponderação de direitos
pelo legislador, que escolheu como mais relevantes e preponderantes certos interesses de
natureza pública frente aos interesses do titular, ainda que estes afetem o conteúdo essencial
dos direitos fundamentais.
Demais disso, é de suma importância deixar claro que não são apenas os dados
sensíveis que apresentam potencial discriminatório, pois, os demais dados pessoais (não
347
RODOTÀ, 2008, p. 12.
348
Ibid., p. 90.
111
Hoje, no entanto, o próprio conceito de dados pessoais sensíveis como fator que
fundamenta uma proteção de nível mais elevado tende a ceder à noção de tratamento
sensível de dados pessoais. Esta tendência provém do reconhecimento de que não é
possível, hoje, predizer os efeitos que um tratamento de dados pessoais possa causar
ao seu titular apenas a partir da consideração da natureza dos dados que são tratados.
Com as modernas técnicas estatísticas e de análise de dados, até mesmo informações
pessoais que, em si, não são sensíveis podem causar tanto (i) um tratamento
349
PASSOS, 2017, p. 55.
350
BIONI, 2019, p. 120.
351
BAROCAS; SELBST, 2016, p. 2-6.
352
JUNQUEIRA, 2020, p. 216-217.
353
Ibid., p. 242.
112
354
ESCOLA NACIONAL DE DEFESA DO CONSUMIDOR. A proteção de dados pessoais nas relações de
consumo: para além da informação creditícia. Brasília: SDE/DPC, 2010, p. 27.
355
JUNQUEIRA, 2020, p. 247.
113
________________________________________________________________
O uso de algoritmos para tomada de decisões, como vimos até agora, longe de
conseguir a neutralidade desejada, pode reproduzir circunstâncias sociais injustas e até mesmo
reforçar os preconceitos humanos, inclusive no tocante à discriminação por motivos
relacionados à sexualidade. Grupos historicamente marginalizados, como mulheres,
homossexuais e transgêneros são vítimas potenciais das decisões automatizadas.
Tudo começa quando os próprios programadores envolvidos na construção dos
softwares de IA transferem seus preconceitos para a máquina, de forma consciente ou não.
Ora, numa sociedade em que o padrão de normalidade é a heteronormatividade, nada mais
natural que boa parte dos programas desenvolvidos pelas empresas de tecnologia acabem
reproduzindo o modelo majoritário.
O instituto AI Now, ligado à Universidade de Nova York, publicou recentemente um
relatório que explicita as acentuadas desigualdades desse setor. De modo geral, as estatísticas
refletem a disparidade endêmica de gênero e raça das áreas de ciências da computação. No
Google, por exemplo, menos de 10% de trabalhadores envolvidos com IA são mulheres e
cerca de 2,5% da força de trabalho total são pessoas negras. Não existem sequer dados acerca
de outras minorias, como homossexuais e transgêneros356.
Como todo software de IA, por mais que seja capaz de tomar decisões sem a
intervenção humana, é sempre desenvolvido por pessoas, é imprescindível se preocupar com
quem codifica o algoritmo. Devemos questionar: estamos criando equipes de programação
diversificadas, com indivíduos diferentes que possam verificar “pontos cegos” uns dos
outros? Estamos levando em conta a equidade no desenvolvimento de sistemas?357. A
resposta, evidentemente, é negativa.
Sob esse prisma, para tentar amenizar os impactos da discriminação algorítmica, em
primeiro lugar, é preciso que os programadores reflitam a diversidade existente na sociedade.
É por isso que reiteramos neste trabalho a necessidade da noção de direito às diferenças como
356
MENOTTI, Gabriel. Inteligência artificial, racismo e misoginia na automatização da visão. Revista Zum,
Radar, p. 2-5, 12 jul. 2019. Disponível em: https://revistazum.com.br/radar/inteligencia-artificial-racismo/.
Acesso em: 04 mar. 2020.
357
BUOLAMWINI, 2016.
114
358
BUOLAMWINI, 2016.
359
NUNES; MARQUES, 2018, p. 05.
360
No Brasil, a “equidade desde a concepção” poderia ser extraída, sobretudo, do artigo 46, §2º e dos princípios
da prevenção e da não discriminação dispostos no artigo 6º, ambos da LGPD e, no que se refere à
115
já na coleta dos dados, a sua preparação, a concepção do algoritmo, o seu treinamento e todas
as etapas subsequentes, a tentativa de mitigação da discriminação como uma missão a ser
perseguida361.
Trata-se, em outras palavras, de uma atuação mais consciente e proativa dos
programadores, envolvendo uma preocupação especial para além da alimentação do sistema
(inputs) e da fase de treinamento do algoritmo, envolvendo também um controle dos
resultados (outputs) gerados pelo algoritmo. É que, se a análise dos inputs contribui
decisivamente para a avaliação da discriminação direta, geralmente, ela é insuficiente para
resolver o problema da discriminação indireta362, como ainda veremos neste trabalho.
Nesse sentido, uma das principais estratégias de prevenção à discriminação centradas
no condicionamento dos outputs é trazida por Thiago Junqueira e se refere ao processo de
controle da discriminação envolvendo a coleta de dados pessoais sensíveis como forma de
garantir também uma “equidade por meio da conscientização” (fairness throught awareness).
Vejamos como se dá esse procedimento através do exemplo abaixo:
Digamos que você queira que algo não seja tendencioso em relação ao gênero. Por
exemplo, você pode pegar um conjunto de características como input, extrair o
gênero, treinar o sistema e colocar o gênero novamente em um subconjunto de teste
e ver se há uma variação entre homens e mulheres. Ao projetar o sistema, você deve
tomar nota de onde ele pode estar sendo enviesado. Depois de concluído, você pode
testá-lo para ver esses vieses e se é preciso fazer modificações363.
Convém ressaltar, entretanto, como adverte o próprio autor, que se trata de uma
proposta polêmica, tendo em vista que, a priori, o uso de dados pessoais sensíveis para
tratamento e auditoria do algoritmo não é acolhido pelas normas de proteção aos dados
pessoais (a exemplo da LGPD), o que em tese exigiria uma mudança legislativa para se
encontrar maneiras apropriadas de permitir o uso desses dados no processo de modelagem do
algoritmo. Além disso, exigiria rigorosa fiscalização, a fim de que o dado não seja utilizado
justamente para aquilo que se buscava evitar364. Voltaremos a tratar desse assunto no item 5.5
desta dissertação.
No atual estado da arte, porém, sem o treinamento devido na mineração e análise dos
dados com filtros que busquem evitar preconceito, desigualdade ou quaisquer outros
discriminação indireta, do dever de adaptação razoável presente em sede constitucional (JUNQUEIRA, 2020,
p. 280).
361
Ibid., p. 307.
362
Ibid., p. 383.
363
Ibid., p. 265-271.
364
Ibid., p. 265-384.
116
O sistema binário natural que rege os algoritmos também parece reger a sexualidade
humana. Porém, enquanto no sistema matemático não há distinção hierárquica entre 0 e 1, o
binarismo de gênero pressupõe a dominância do homem, exaltando os atributos socialmente
atribuídos à masculinidade como valores superiores e os da feminilidade como inferiores.
Segundo as feministas pós-estruturalistas, a linguagem tem um papel central na
dominância do homem através da comunicação, interpretação e representação de gênero por
meio de uma repressão dos aspectos femininos365. Do mesmo modo, a construção virtual do
sujeito feminino na era digital também vem acompanhada dos estereótipos de gênero
presentes na linguagem.
Nesse sentido, pesquisas apontam que os modelos de incorporação de palavras, como
o Google Tradutor, possuem vieses de gênero em sua programação. Pesquisadores da Fast,
um laboratório de pesquisa do Instituto de Dados da Universidade de São Francisco – EUA,
traduziram um conjunto de frases como "Ela é médica. Ele é enfermeiro” em inglês para turco
(que tem um pronome singular neutro de gênero) e depois traduziram de volta para o inglês.
Os gêneros misturados e as frases passam a dizer: "Ele é médico. Ela é uma enfermeira" 366.
Também foi encontrado viés de gênero em programas como Word2Vec e no GloVe,
que são bibliotecas de recursos incorporados de palavras. Os pesquisadores encontraram uma
série de preconceitos de gênero entre grupos inteiros de palavras, o que produziu analogias
365
SCOTT, 1989, p. 14.
366
PENCHIKALA, Srini. Analisando e prevenindo o preconceito inconsciente em Machine Learning.
Tradução de Leonardo Muniz. 22 de novembro de 2018. Disponível em:
https://www.infoq.com/br/articles/machine-learning-unconscious-bias/. Acesso em: 08 mar. 2020.
118
como "pai é médico como mãe é enfermeira" e "homem é programador de computador como
mulher é dona de casa"367.
Em mais um exemplo, uma equipe de pesquisadores da Universidade da Virgínia
analisou a rotulação semântica de imagens em um conjunto de dados. Os pesquisadores
notaram que 67% das imagens de pessoas que cozinhavam eram mulheres, mas o algoritmo
encontrou 84% dos cozinheiros como sendo mulheres368.
Como se percebe, os principais vieses de gênero encontrados nos algoritmos
ocorreram quando estes simplesmente reproduziram as noções preconcebidas dos papéis
sexuais atribuídos ao homem e à mulher na sociedade. Como destaca Srini Penchkala, mesmo
se removendo o preconceito de gênero no início do desenvolvimento do modelo, existem
muitos lugares em que o preconceito pode se infiltrar, razão pela qual é bastante difícil
remover um viés que tem origem na sociedade e não na programação369.
Mais recentemente, Joy Buolamwini e Timnit Gebru mediram a precisão de
algoritmos de reconhecimento de imagens (Google, IBM, Microsoft, Face++) numa base de
dados composta por rostos de parlamentares de seis países de continentes diversos, contando
os fenótipos masculino e feminino em diversos tons de pele. A pesquisa revelou que as
mulheres negras são o grupo mais mal classificado (com taxas de erro de até 34,7%),
enquanto que a taxa máxima de erros para homens brancos é 0,8%370.
Note-se que a discriminação que afeta as mulheres tem características específicas,
apresentando-se como um acréscimo às outras possíveis discriminações. A pesquisa nos
mostra que o grau de discriminação incidente sobre a mulher branca não incide do mesmo
modo de uma mulher negra que, além das questões de gênero, sofre as diversas dimensões
superpostas de opressão (“overlapping opressions”)371.
A mulher negra também é um alvo mais frequente da reificação sexual, fenômeno
considerado pelas feministas que estudam o patriarcado como o processo primário da sujeição
das mulheres aos homens372. Nesse ponto, os próprios usuários do Google perceberam que a
combinação de palavras “mulher negra dando aula” retorna conteúdo pornográfico na busca
367
PENCHIKALA, 2018, n.p.
368
Ibid., [n.p.].
369
Ibid., [n.p.].
370
BUOLAMWINI, Joy; GEBRU, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial
Gender Classification. Conference on Fairness, Accountability, and Transparency. Proceedings of Machine
Learning Research, v. 81, p. 1-15, 2018. Disponível em: http://proceedings.mlr.press/v81/buolamwini18a/
buolamwini18a.pdf. Acesso em: 23 abr. 2020.
371
OLIVEIRA, Christiana D’arc Damasceno. (O) Direito do Trabalho Contemporâneo: Efetividade dos
Direitos Fundamentais e Dignidade da Pessoa Humana no Mundo do Trabalho. São Paulo: LTr, 2010, p. 98.
372
SCOTT, 1989, p. 09.
119
por imagens, o que não acontece quando se pesquisa por mulher branca ou apenas mulher, por
exemplo.
Como destaca Tereza de Lauretis, é de se perceber que a sexualização do corpo
feminino é frequente na literatura, na arte, no cinema, na cultura popular de um modo geral,
visto que é fruto da histórica identificação do sexual com o feminino, tão difundida na cultura
ocidental373. A ideia do corpo feminino como locus primário da sexualidade, sobretudo de
mulheres negras, corpos reificados no passado, não por acaso se reflete também nos dados
que são extraídos, coletados e utilizados pelos algoritmos de pesquisas de imagens.
Assim, para romper com a discriminação pelos algoritmos, primeiro é preciso
compreender quais são e como funcionam os estereótipos assinalados para as mulheres na
sociedade para que estes não sejam replicados pelos algoritmos. Ademais, para que seja
possível implementar uma “equidade desde a concepção” nos algoritmos, os programadores
também devem estar cientes de que as discriminações não atuam da mesma forma e com a
mesma intensidade nas mulheres (assim como em qualquer grupo onde há múltiplas
opressões), motivo pelo qual devem ser observadas as diversas formas com que outras
discriminações (como a racial, por exemplo) atuam juntamente como gênero para assim
podermos combatê-las.
373
DE LAURETIS, 1994.
374
Para compreender as qualificações ocupacionais de boa-fé (bona fide ocupational requirement), vejamos o
seguinte exemplo: “Para exercer a função de manequim de roupas íntimas masculinas, é evidentemente
legítimo considerar apenas a admissão de homens, excluindo-se as candidatas do sexo feminino (...) Já para
exercer a função de agente de aeroporto, com incumbência de revistar as passageiras que se apresentam para
120
exemplo. Contudo, nas hipóteses em que não há um fator de descrímen justificável, restará
configurada a prática discriminatória, reprovável do ponto de vista sociojurídico375.
A título de exemplo, destacamos a análise da ProPublica realizada em 2017, que
descobriu que 15 grandes empresas anunciaram oportunidades de trabalho no Facebook,
exclusivamente para o sexo masculino, com muitos dos anúncios sendo exibidos para
estereótipos. Uma empresa de caminhões com sede em Michigan, nos EUA, teve anúncios
direcionados apenas a homens, enquanto um centro de saúde comunitário em Idaho, também
nos EUA, que procurava enfermeiros e assistentes médicos certificados, limitou sua audiência
às mulheres376.
Depois de uma batalha judicial, o Facebook assinou, em 2019, um acordo para
reformular seu algoritmo de exibição de anúncios, tendo sido condenado a divulgar nas
mídias sociais que não permitirá mais que anunciantes de imóveis, empregos e serviços de
crédito mostrem publicidade apenas para usuários de etnias, gêneros ou idades específicas377.
Observa-se, neste caso, que o fato de a empresa inicialmente permitir a publicidade
direcionada levou os algoritmos a reproduzirem os estereótipos existentes na sociedade, que
pressupõem, através da lógica binária dos sexos, que as mulheres no universo profissional
devem se ocupar em postos que exigem o dever de cuidado, como enfermeiras, babás,
secretárias e recepcionistas378.
Esse comportamento discriminatório da máquina, oriundo da própria programação,
reflete bem como os algoritmos se comportam quando não há um filtro inicial para conter os
possíveis vieses de gênero. A estrutura cultural de estereótipos sexistas, que atribui às
embarcar nos voos, somente mulheres poderão ser admitidas. A atividade, por sua natureza, poderia em tese
ser realizada tanto por homens como por mulheres. O “contexto” da sua execução, todavia, limita o gênero de
quem pode realizar (MALLET, Estevão. Igualdade e Discriminação em Direito do Trabalho. São Paulo:
LTr, 2013, p. 90).
375
GOSDAL, Thereza Cristina. Discriminação da mulher no emprego: relações de gênero no direito do
trabalho. Curitiba: Genesis, 2003, p. 91. NOVAIS, Denise Pasello Valente. Discriminação da mulher e o
direito do trabalho: da proteção à promoção da igualdade. São Paulo: LTr, 2005, p. 30.
376
TOBIN, Ariana; MERRILL, Jeremy B. Facebook Is Letting Job Advertisers Target Only Men: A review by
ProPublica found that 15 employers in the past year, including Uber, have advertised jobs on Facebook
exclusively to one sex, with many of the ads playing to stereotypes. Pro Publica, 18 set. 2018. Disponível
em: https://www.propublica.org/article/facebook-is-letting-job-advertisers-target-only-
men?utm_content=buffer 140b8&utm_medium=social&utm_source=twitter&utm_campaign=buffer. Acesso
em: 11 mar. 2020.
377
O‘NEILL, Patrick Howell. Facebook diz que não permitirá mais anúncios discriminatórios por raça, gênero e
idade. Gizmodo Brasil, 21 mar. 2019. Disponível em: https://gizmodo.uol.com.br/facebook-anuncios-
discriminatorios-proibidos/. Acesso em: 30 mar. 2020.
378
BORRILO, 2010, p. 293.
121
mulheres apenas o papel de mãe e dona de casa, fortalecendo o mito da fragilidade feminina
no tocante às atividades laborais, é reproduzido automaticamente379.
Trata-se, pois, de uma modalidade discriminatória chamada de segregação
horizontal380, denominação que se dá à separação de gêneros em determinadas e específicas
profissões tendo por base os estereótipos. Através da segregação horizontal, as mulheres são
excluídas das carreiras de maior prestígio e remuneração em razão da interiorização de
normas de socialização que pregam a necessidade de serem atenciosas e prestativas –
qualidades consideradas conflitantes com a ambição profissional381.
Outro exemplo de discriminação algorítmica pode ser extraído do trabalho das
pesquisadoras Anja Lambrecht e Catherine Tucker, que fizeram testes empíricos de como um
algoritmo exibia anúncios promovendo oportunidades de trabalhos nos campos da ciência e
tecnologia. Os anúncios foram destinados a serem neutros em termos de gênero; contudo, na
prática, eles apareceram 20% a mais para os homens do que para as mulheres382.
Nesse caso específico, a investigação do processo decisório levado a cabo pelas
pesquisadoras chegou à conclusão que o fator preponderante para o comportamento do
algoritmo foi simplesmente o preço pago pelo anunciante para exibir anúncios, que para
mulheres é maior do que para homens. Ainda segundo a pesquisa, isso aconteceu porque as
mulheres são um nicho de mercado mais específico para fins de consumo, que são a maioria
dos anúncios exibidos na rede social. Assim, o algoritmo teria otimizado a relação custo-
benefício como um critério relevante para exibição dos anúncios.
O resultado desta pesquisa demonstra que, mesmo de forma não deliberada (visto que
os algoritmos foram treinados para serem neutros com relação ao gênero), as decisões
algorítmicas ainda podem prejudicar um grupo social em comparação a outro. Nas palavras
das próprias autoras, as conclusões da pesquisa “não significam que os algoritmos não sejam
tendenciosos devido a forças não econômicas, mas sim que as forças econômicas podem levar
a resultados aparentemente discriminatórios”383.
379
BARROS, Alice Monteiro de. Contratos e regulamentações especiais de trabalho. 3. ed. São Paulo: LTr,
2008, p. 353.
380
Tratamos dos conceitos e formas de discriminação de forma mais detalhada no item 2.2.1 deste trabalho.
381
VAZ, Daniela Verzola. O teto de vidro nas organizações públicas: evidências para o Brasil. Economia e
Sociedade, v. 22, n. 3, Campinas, Instituto de Economia/Unicamp, p. 765-790, dez. 2013.
382
LAMBRECHT, Anja; TUCKER, Catherine. Algorithmic Bias? An Empirical Study into Apparent Gender-
Based Discrimination in the Display of STEM Career Ads. 09 mar. 2018. Disponível em:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2852260. Acesso em: 11 mar. 2020.
383
No original: “We emphasize that our findings do not mean that algorithms may not be biased because of non-
economic forces, but instead that economic forces may lead to apparently discriminatory outcomes”
(LAMBRECHT; TUCKER, op. cit., p. 05).
122
384
JUNQUEIRA, 2020, p. 311.
385
BRASIL. Consolidação das Leis do Trabalho. Decreto-Lei nº 5.442, de 01 maio 1943. Disponível em:
http://www.planalto.gov.br/ccivil_03/Decreto-Lei/Del5452compilado.htm. Acesso em: 04 mar. 2020.
123
386
ELIAS, 2017, p. 11.
387
No original: “Humans are prone to unconscious bias. Instead, use objective data to screen applicants. And
‘blind screening’ enhances confidence in your organization and your employer brand”. Disponível em:
https://www.predictivehire.com/why-its-fair/. Acesso em: 10 mar. 2020.
124
seleção que se paute exclusivamente por critérios objetivos orientados pelo dever de
neutralidade.
Isto porque, de acordo com a agência Reuters, o recrutador da Amazon, que
selecionava automaticamente candidatos para vagas na própria empresa utilizando como base
de dados os currículos recebidos ao longo dos últimos 10 anos, tinha uma forte tendência de
preferir os homens para as vagas, simplesmente porque o banco de dados da empresa era
composto majoritariamente por profissionais do sexo masculino. Explica a agência que, muito
embora a empresa tenha editado os softwares para torná-los neutros com relação ao gênero, as
máquinas, por si só, criaram novos métodos de organizar os candidatos que também
acarretaram práticas discriminatórias contra as mulheres388.
Como explicam Isabela Ferrari, Daniel Becker e Erik Wolkart, quando os algoritmos
são utilizados para a contratação de empregados a partir de um banco de dados que tem
milhares de exemplos de vagas anteriores preenchidas por homens, é bastante provável que
um algoritmo dê prioridade para candidatos do sexo masculino, reproduzindo as
discriminações de gênero existentes na sociedade389.
Isto acontece porque, ainda que os algoritmos não sejam programados para discriminar
em razão do gênero, ao entrar em contato com bases de dados enviesadas, eles estabelecem
filtros de entrada e saída que podem ter como resultado o favorecimento aos homens em
detrimento das mulheres.
Conforme observam Solon Barocas e Andrew Selbst, realizada sem cuidado, a
mineração de dados pode reproduzir padrões existentes de discriminação, herdar o
preconceito dos tomadores de decisão anteriores ou simplesmente refletir os difundidos
preconceitos que persistem na sociedade, como ocorreu neste caso390.
Observa-se, porém, que nem mesmo a posterior supervisão do algoritmo pela Amazon
foi capaz de mitigar os impactos discriminatórios. É que, na verdade, as distinções entre
homens e mulheres no que tange à oportunidade de emprego não estão, de fato, presentes no
algoritmo em si, mas sim na própria estrutura patriarcal da sociedade, que relegou à mulher,
durante muitos anos, os papéis de cuidado do lar e da família.
Sendo assim, ainda que não tenha sido programado para discriminar, ao selecionar
pessoas, o algoritmo buscará alguns fatores concretos para recrutar um bom empregado:
388
DASTIN, Jeffrey. Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, San
Francisco, 10 out. 2018. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-
insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G.
Acesso em: 10 mar. 2020.
389
FERRARI; BECKER; WOLKART, 2018. p. 09.
390
BAROCAS; SELBST, 2016, p. 673-674.
125
aquele que permanece no emprego por mais tempo, que tem vendas superiores, que produz
mais rapidamente etc. Mesmo em uma sociedade que dê integral apoio à maternidade,
mulheres grávidas que tirem licença podem “ensinar” ao algoritmo que faz mais sentido
contratar homens. Além disso, em ambientes em que a mulher seja vista como a responsável
primária do casal por cuidar dos filhos em caso de doenças corriqueiras e imprevistas, suas
faltas ao trabalho podem gerar efeitos sistêmicos negativos para a contratação de mulheres391.
Por conseguinte, sob o manto da neutralidade científica, o algoritmo, ainda que não
possua subjetividades, pode acabar reproduzindo, por exemplo, o mesmo resultado de um
empregador que, deliberadamente, adota o estigma sexista de que a mulher “custa mais” do
que o homem, para excluí-la da seleção de emprego.
Como fica claro, todos os preconceitos e discriminações existentes no meio social
acabam refletindo nos dados coletados e que são utilizados pelo algoritmo. O algoritmo
aprende a ser machista mesmo sem ter sido alimentado para tanto. Isto se dá porque, ao terem
como inputs dados criados em uma sociedade machista, naturalmente o resultado do
tratamento automatizado refletirá tais características. Como diz um aforismo bastante repetido
pelos programadores: garbage in garbage out (“lixo entra, lixo sai”)392.
Nesse caso em particular, talvez a única forma de se tentar mitigar a discriminação
fosse aplicar uma “equidade desde a concepção”, notadamente a técnica de restrição de
outputs, para permitir que o algoritmo utilizado no treinamento do sistema de IA tivesse
acesso ao dado de gênero e que o programador verificasse as variáveis que poderiam estar
atuando como proxies, deixando de considerá-las ou dando um peso que não fosse suficiente
para causar um impacto desproporcional393.
Assim, o dado de gênero seria utilizado apenas no momento do treinamento e
calibragem do algoritmo e em eventual auditoria subsequente. Isso significa que, para
implementação dessa proposta, os dados de treinamento teriam de conter o atributo de gênero;
já não mais os dados que alimentariam o sistema em pleno funcionamento394.
391
FERRARI; BECKER; WOLKART, 2018, p. 09.
392
FERRARI; BECKER; WOLKART, loc. cit.
393
“A literatura da ciência da computação tem provado de forma convincente que a redução e, em alguns casos,
a eliminação da discriminação – por associação e indireta – de modelos estatísticos pode ser feita, desde que
sejam utilizados os modelos apropriados. O problema, nessa sede, é que a maioria dos estudos considera que
o agente de tratamento teria à sua disposição o dado sensível (...), algo que, na prática, não é comum. Além
disso, as noções de ‘equidade’, ‘categorias protegidas contra a discriminação’ e ‘impacto desproporcional’
são fluidas. Os dados e as estatísticas podem, no caso concreto, demonstrar flagrante desrespeito a elas.
Dificilmente, porém, seriam capazes de expressá-las de forma apriorística e abstrata, visto que tais noções
são constantemente (re)construídas à luz do contexto histórico-social” (JUNQUEIRA, 2020, p. 332).
394
JUNQUEIRA, 2020, p. 335.
126
Por fim, uma breve e última análise pertinente ao tema se faz necessária. É que, uma
vez superada a barreira da contratação, as mulheres também são vítimas de uma “segregação
vertical” no trabalho, pois têm mais dificuldades para serem promovidas aos principais cargos
de direção nas empresas. Esses obstáculos implícitos derivados do preconceito estrutural
contra as mulheres constituem as chamadas “barreiras invisíveis”395 ou “teto de vidro” (glass
ceiling)396.
Muito embora ainda não tenhamos ciência de casos comprovados de segregação
vertical causada pelos algoritmos, há um excelente exemplo trazido por Isabela Ferrari,
Daniel Becker e Erik Wolkart, que bem ilustra a hipótese:
395
BARROS, Alice Monteiro de. Discriminação no emprego por motivo de sexo. In: RENAULT, Luiz Otávio
Linhares; VIANA, Márcio Túlio; CANTELLI, Paula Oliveira (coord.). Discriminação. 2. ed. São Paulo:
LTr, 2010, p. 59-83, p. 72.
396
VAZ, 2013, p. 07.
397
SAYURI, Juliana. A partir do seu histórico de navegação, ferramentas de inteligência artificial tentam
identificar seu gênero – mas muitas vezes reforçam representações sexistas. RevistaTrip [Online], 29 abr.
2019. Disponível em: https://revistatrip.uol.com.br/tpm/os-algoritmos-tentam-identificar-seu-genero-mas-
muitas-vezes-reforcam-representacoes-sexistas. Acesso em: 05 mar. 2020.
398
Este último é um caso típico de segregação horizontal, como analisamos no tópico precedente (item 5.2.2).
127
399
SOLIMANI, Carlos Henrique; SIMÃO FILHO, Adalberto. As tecnologias disruptivas: os impactos no direito
coletivo e individual do trabalho. In: ANAIS DO V CONGRESSO BRASILEIRO DE PROCESSO
COLETIVO E CIDADANIA, n. 5, p. 571-590, out. 2017.
400
RIEMENSCHNEIDER; MUCELIN, 2019, p. 62.
128
gênero masculino401. Tal fato gerou surpresa em um dos líderes da empresa, que alegou
utilizar um “algoritmo cego”, que não identificava o gênero do motorista402.
Como então explicar esse viés do algoritmo? A conclusão dos pesquisadores é a de
que não houve discriminação direta da empresa quanto ao gênero, mas uma combinação de
três fatores verificados: i) os motoristas do gênero masculino costumam trabalhar mais nos
horários que pagam melhor, com tarifas mais altas; ii) os motoristas do gênero masculino
permanecem mais tempo trabalhando para o aplicativo e iii) os motoristas do gênero
masculino também fazem mais corridas por dia.
O resultado da pesquisa nos mostra, mais uma vez, que os algoritmos são capazes de
reproduzir as concepções de uma sociedade patriarcalista, ainda que não sejam programados
para isso. Verificamos que uma possível explicação para o fato de haver mais motoristas do
gênero masculino do que feminino nos horários noturnos e nos fins de semana (que
remuneram melhor) está diretamente associada a fatores que vão desde o cuidado do lar e dos
filhos a maior vulnerabilidade das motoristas no que tange a violências sexuais nas corridas.
Nesse sentido, há diversos relatos de que passageiros mostraram o próprio pênis
durante uma viagem, beijaram-nas à força, intimidaram ou agrediram as motoristas
mulheres403. Tal fato, inclusive, levou a Uber a permitir que motoristas do gênero feminino
realizem corridas apenas com passageiras de mesmo gênero404.
Além disso, o simples fato de as motoristas recusarem mais corridas (pelas razões
acima expostas) também induz em punições do aplicativo, podendo chegar à eventual
desativação da plataforma, por não terem cumprido o mínimo de percentagem necessária para
se manterem ativas na mesma405.
401
Os dados levam em conta a remuneração de motoristas da plataforma apenas dos Estados Unidos (DANA,
Samy. Homens ganham mais que mulheres no Uber. G1 Economia, [S. l.], p. 2-5, 7 ago. 2018. Disponível
em: https://g1.globo.com/economia/educacao-financeira/blog/samy-dana/post/2018/09/07/homens-ganham-
mais-que-mulheres-no-uber.ghtml. Acesso em: 10 mar. 2020).
402
Ibid.
403
CRUZ, Bruna Souza. Mulheres motoristas... e vítimas: quando a violência sexual pula para o banco da frente.
UOL [Online], 18 jun. 2019. Tilt. Disponível em: https://www.uol.com.br/tilt/reportagens-
especiais/motoristas-mulheres-relatam-casos-de-assedio-durante-o-trabalho/. Acesso em 11 mar. 2020.
404
LAVADO, Tiago. Uber permitirá que motoristas mulheres realizem corridas apenas com passageiras
mulheres: Novidade estará disponível no começo de novembro inicialmente para Curitiba, Campinas e
Fortaleza e deve ser expandida para outras cidades a partir de 2020. G1 Economia, 24 out. 2018. Disponível
em: https://g1.globo.com/economia/tecnologia/noticia/2019/10/24/uber-permitira-que-motoristas-mulheres-
realizem-corridas-apenas-com-passageiras-mulheres.ghtml. Acesso em: 10 mar. 2020.
405
MOREIRA, Tereza Coelho. Principais repercussões da utilização de sistemas de inteligência artificial por
agentes empresariais no âmbito do direito do trabalho - algumas questões. In: FRAZÃO, Ana;
MOLHOLLAND, Caitlin (org.). Inteligência Artificial e o Direito: ética regulação e responsabilidade. São
Paulo: Thomson Reuters Brasil, 2019, p. 397-418, p. 408.
129
Por todos esses motivos, as estatísticas apontam que a cada dez motoristas do gênero
feminino que começam a trabalhar para a plataforma, oito acabam desistindo antes de seis
meses406.
A pesquisa demonstra ainda que irresponsabilidade ao volante também é premiada,
sendo mais lucrativo completar uma corrida rapidamente para iniciar a próxima e continuar
acumulando ganhos. Nesse sentido, os motoristas do gênero masculino dirigem 2,2% mais
rápido do que as mulheres407.
Talvez seja por isso que somente 27% dos motoristas da Uber nos EUA são mulheres.
No Brasil, o número é ainda menor. Segundo a diretora da empresa no país, Claudia Woods,
apenas 6% dos 600 mil motoristas parceiros são mulheres, muito embora elas sejam 42% da
população brasileira economicamente ativa408.
Destarte, apesar de todo esforço da Uber para tentar promover a igualdade
remuneratória entre os gêneros, as estatísticas apontam que as motoristas do gênero feminino
continuam recebendo salários inferiores aos que são pagos aos do gênero masculino para um
trabalho de igual valor, independentemente se a remuneração é feita diretamente pelo
empregador ou através dos algoritmos.
Trata-se de mais uma hipótese de discriminação algorítmica indireta, ou seja, mesmo
com a adoção de um ato ou critério aparentemente neutro pelo algoritmo, as motoristas do
gênero feminino, na prática, sofrem uma desvantagem remuneratória em comparação com o
do gênero masculino, pelas razões acima apontadas.
Como vimos nos tópicos precedentes, para resolver tais problemas, crescente parcela
da doutrina tem sustentado a utilização da “equidade desde a concepção”, técnica que visa
moldar a tomada de decisão, diminuindo espaço de manobra para que ocorra esse tipo de viés
através, principalmente, da restrição de outputs. No caso aqui relatado, entretanto, a técnica de
restrição de outputs utilizada para solucionar o problema do algoritmo recrutador (vide item
5.2.3 precedente), teria de ser adaptada.
Isto porque, apenas calibrar o algoritmo para desconsiderar um dado de gênero
preexistente ou dar um peso incapaz de causar um impacto desproporcional não seria o
bastante: para que homens e mulheres pudessem ser, de fato, remunerados de forma
equitativa pelo algoritmo, este teria de ser calibrado com pesos distintos, suficientemente
406
LAVADO, 2018.
407
Ibid.
408
RIVEIRA, Carolina. Uber lança programa para atrair motoristas mulheres, hoje apenas 6%: Mulheres
motoristas poderão escolher levar somente mulheres quando desejarem e ter desconto para alugar carros.
Revista Exame, 24 out. 2019. Disponível em: https://exame.abril.com.br/negocios/uber-lanca-programa-
para-atrair-motoristas-mulheres-hoje-apenas-6/. Acesso em: 10 mar. 2020.
130
409
Empregadores costumam alegar que a mulher, em média, custa mais do que os homens, em razão da sua
maior mobilidade profissional e da descontinuidade na prestação de serviços em face dos encargos
domésticos ainda desproporcionais. Como o mercado não permite salários flexíveis, capazes de compensar os
custos do trabalho feminino, o empregador prefere contratar homens (HOUSE, William J. Discriminación
professional y em matéria de remuneración; situación de la mujer en el mercado del empleo en Chipre.
Revista Internacional do Trabalho, Ginebra, v. 102, n. 1, p. 116-129, p. 119, ene/mar. 1983).
410
Os principais obstáculos encontrados na aplicação de uma discriminação positiva no que concerne à
remuneração decorrem da circunstância de que o Estado pode estipular um salário mínimo, mas não intervir
diretamente na fixação de salários do setor privado, o que geralmente é fruto de convenção coletiva ou
acordo coletivo de trabalho (BARROS, 2008, p. 64).
411
A própria Constituição Federal, no artigo 7º, inciso XX, permite que o mercado de trabalho da mulher seja
protegido mediante incentivos específicos, nos termos da lei.
131
Além disso, a proposta vai ao encontro do que Thiago Junqueira denominou de “dever
de adaptação razoável” do algoritmo no âmbito das decisões automatizadas, instrumento de
combate à discriminação inspirado no artigo 2º da Convenção das Pessoas com Deficiência-
CDPD, que, em apertada síntese, traz a ideia de que é possível exigir do desenvolvedor uma
alteração razoável do algoritmo quando este estiver causando impacto desproporcional sobre
grupos em desvantagem, como na hipótese aqui tratada412.
Enfim, o tema abrange algumas nuances complexas que merecem maior reflexão e
aprofundamento, sobretudo levando-se em conta o sopesamento das vantagens, dos interesses
e dos riscos envolvidos no estabelecimento de uma discriminação positiva através do
algoritmo, abordagem que extrapola o objeto deste trabalho. Ressalte-se apenas, por fim, para
que não pairem dúvidas, que a proposta não é, simplesmente, estabelecer uma remuneração
mais elevada para a motorista do gênero feminino, mas utilizar uma calibragem de algoritmo
que permita, proporcionalmente, remuneração igual para trabalho igual, o que não se verificou
no estudo de caso aqui proposto413.
Por ora, parece-nos que a solução da disparidade remuneratória entre os gêneros ainda
não pode ser resolvida por uma simples calibragem de algoritmos. Trata-se de um viés social
e procurar resolvê-lo dentro da lógica algorítmica pode ser inadequado414. Deve-se, pois,
avançar na igualdade entre os gêneros através de enfrentamentos sociais e políticos,
412
O autor defende esta tese quando trata dos casos de discriminação racial nos seguros, como se observa no
seguinte trecho “De partida, cabe ressaltar que apesar de o dispositivo em tela ser endereçado aos casos de
discriminação fulcrada na deficiência, a expansão do seu campo de aplicação tem sido defendida em sede
doutrinal, tanto no direito brasileiro, quanto alhures, de modo a abarcar todas as categorias protegidas contra
a discriminação e, consequentemente, a raça. No que interessa nessa sede, o reconhecimento da aplicação do
conceito de discriminação disposto no art.2º da CDPD, que, relembre-se, abrange os atos que tenham o
“propósito” e o “efeito” de discriminar, bem como estipula a necessidade de o agente realizar adaptações
razoáveis para contornar a discriminação, faz com que caiba ao segurador promover as modificações e os
ajustes necessários e adequados que não acarretem ônus desproporcional ou indevido, quando requeridos em
cada caso, a fim de assegurar que as pessoas negras possam gozar ou exercer, em igualdade de
oportunidades com as demais pessoas, todos os direitos humanos e liberdades fundamentais. JUNQUEIRA,
2020, p.341-342.
413
Como aduz Evelyne Sullerot, a igualdade de remuneração deverá fundar-se em um conjunto de operações
realizadas e não nos resultados obtidos, afirmando-se que não se pode levar em consideração que a mão de
obra possa resultar mais custosa em consequência das leis de tutela social (SULLEROT, Evelyne. Igualdad
de remuneración entre hombres y mujeres en los Estados de Europa e membros de la CEE. Las
Trabajadoras y la Sociedad. Ginebra, 1976, p. 102).
414
POWLES, Julia. The Seductive Diversion of ‘Solving’ Bias in Artificial Intelligence: Trying to “fix” A.I.
distracts from the more urgent questions about the technology. OneZero, 7 dez. 2018. Disponível em:
https://onezero.medium.com/the-seductive-diversion-of-solving-bias-in-artificial-intelligence-890df5e5ef53.
Acesso em: 10 mar. 2020.
132
conferindo um intenso debate sobre as instituições que socializam os indivíduos para despojá-
las de todos os estereótipos ainda hoje presentes na sociedade415.
415
TREVISO, Marco Aurélio Marsiglia. A discriminação de gênero e a proteção à mulher. Rev. Trib. Reg.
Trab. 3ª Reg., Belo Horizonte, v. 47, n. 77, p. 21-30, jan./jun. 2008. Disponível em:
https://www.trt3.jus.br/escola/download/revista/rev_77/Marco_Treviso.pdf. Acesso em: 12 mar. 2020.
416
A LGPD poderia ter adotado conceitos semelhantes ao que aqui trazemos como elementos da sexualidade,
considerando como dados sensíveis aqueles relativos ao sexo, gênero, orientação sexual e identidade de
gênero. O termo “vida sexual” não é muito utilizado na comunidade jurídica e pode dar margens a
interpretações restritivas, como não incluir um dado de gênero como dado sensível por não o enquadrar no
conceito de vida sexual, o que não concordamos.
133
Demais disso, por óbvio, a proibição contida no texto constitucional é aplicável a todo
e qualquer caso de discriminação em razão da orientação sexual, inclusive a que acontece nas
decisões automatizadas tomadas por algoritmos. Nada obstante, a própria LGPD fez questão
de reforçar essa vedação ao trazer expressamente o princípio da não discriminação (art. 6º,
IX) como um dos seus alicerces.
É sob este enfoque, portanto, que analisaremos a partir de agora os casos de
discriminações algorítmicas tendo por motivo a orientação sexual. Para fins didáticos,
subdividimos as análises em dois tópicos. O primeiro diz respeito a tecnologias que permitem
coletar e relacionar uma série de dados sensíveis para prever comportamentos, podendo até
mesmo identificar a orientação sexual de uma pessoa e a partir desses dados criar perfis
estereotipados. O segundo tópico diz respeito ao programa Gaydar, uma IA criada para
revelar a orientação sexual de alguém a partir de uma simples análise de foto, que remonta a
discussões antigas (e superadas) sobre determinismo biológico e darwinismo social.
417
BIONI, 2019, p. 120.
418
KOSINSKI, Michael; STILLWELL, David; GRAEPEL, Thore. Private traits and attributes are predictable
from digital records of human behavior. Proceedings of the National Academy of Sciences, v. 110, n. 15, p.
5802-5805, 2013.
134
O profiling é, em regra, prática proibida no continente europeu pela GDPR, que desde
o seu Considerando 71 (item 2) chama atenção para os efeitos discriminatórios das decisões
419
MORAES, Maria Celina Bodin de; TEFFÉ, Chiara. Redes sociais virtuais: privacidade e responsabilidade
civil. Análise a partir do Marco Civil da Internet. Revista Pensar, v. 22, n. 1, p. 120-121, 2017.
420
Há autores, como Rafael Zanatta, Marta Kanashiro e outros, que preferem utilizar o termo perfilização.
ZANATTA, Rafael. Perfilização, Discriminação e Direitos: do Código de Defesa do Consumidor à Lei Geral
de Proteção de Dados Pessoais. In: KANASHIRO, Marta M. Apresentação: vigiar e resistir: a constituição de
práticas e saberes em torno da informação. Ciência e Cultura, v. 68, n. 1, p. 20-24, 2016. PERON, Alcides
Eduardo dos Reis; ALVAREZ, Marcos César; CAMPELLO, Ricardo Urquizas. Apresentação do Dossiê:
Vigilância, Controle e Novas tecnologias. Mediações-Revista de Ciências Sociais, v. 23, n. 1, p. 11-31,
2017.
421
BIONI, op. cit., p. 21.
422
JUNIOR, José Luiz de Moura Faleiros; LONGHI, João Victor Rozatti; MARTINS, Guilherme Magalhães. A
pandemia da covid-19, o “profiling” e a Lei Geral de Proteção de Dados. Migalhas, 28 jun. 2020. Disponível
em:https://www.migalhas.com.br/depeso/325618/a-pandemia-da-covid-19-o-profiling-e-a-lei-geral-de-
protecao-de-dados. Acesso em 20.07.2020.
423
MORAES; TEFFÉ, 2017, p. 121.
424
RODOTÀ, 2008, p. 221.
135
automatizadas em razão da orientação sexual do titular dos dados, impedindo que as medidas
venham a ter tais efeitos através da limitação de definição de perfis automatizados baseados
em categorias especiais de dados, só permitindo o perfilamento em condições específicas. A
GDPR afirma que o titular dos dados possui um direito de não se submeter à decisão
exclusivamente automática, incluindo o profiling (artigo 22, item 1).
Já a legislação brasileira adota uma postura diversa, sendo menos restritiva com
relação ao perfilamento. A LGPD não predispõe que o titular dos dados pessoais possui o
direito de não ser submetido à decisão automatizada incluindo o perfilamento. Ela dispõe que,
se o perfilamento acontecer, o titular dos dados pessoais passa a dispor de um conjunto de
direitos425.
Ademais, a LGPD, em seu artigo 12, §2º, confere status de dados pessoais, reservando
maior proteção jurídica, quando há a identificação e formação de perfil comportamental de
determinada pessoa. Já o artigo 20 inclui as decisões que utilizam o perfilamento entre as
situações que geram direito à revisão das decisões automatizadas em caso de atingir direitos
dos usuários.
A questão do perfilamento ainda ganha contornos mais graves quando se tem a
confirmação de que os dados sensíveis coletados em sites e aplicativos estão sendo
indiscriminadamente comercializados entre empresas e governos. Um estudo realizado pelo
Conselho de Consumidores da Noruega apontou que os aplicativos de relacionamento Tinder,
Grindr e OKCupid compartilham dados relativos à orientação sexual dos usuários com
diversas outras empresas426.
Nesse sentido, deve-se considerar que as possibilidades de perfilamento de pessoas no
mundo do Big Data são infinitas, pois um mesmo conjunto de dados pode ser analisado por
algoritmos distintos na busca por padrões de comportamento427. Por exemplo, a partir de
dados coletados no Facebook sobre a orientação sexual das pessoas, um recrutador
automático poderá excluir ou não recomendar a contratação de um determinado empregado
por este não se enquadrar no “perfil” de funcionários da empresa contratante.
O profiling, portanto, evidencia uma das novas formas de exercício do biopoder de
que tratamos no item 3.2 deste trabalho. Isto porque, no contexto do Big Data, em que o
controle dos corpos se dá através dos algoritmos, estes influenciam o rumo da vida das
425
ZANATTA, 2019, p. 20.
426
TINDER e Grindr compartilham dados pessoais dos usuários, diz estudo. G1 Tecnologia, [S. l.], jan. 2020.
Disponível em: https://g1.globo.com/economia/tecnologia/noticia/2020/01/14/tinder-e-grindr-compartilham-
dados-pessoais-dos-usuarios-diz-estudo.ghtml. Acesso em: 27 jul. 2020.
427
NETO; MORAIS, 2018, p. 1131.
136
pessoas, orquestram a vida íntima dos seres humanos e decidem a respeito das suas
oportunidades428 a partir de dados sensíveis como a orientação sexual.
Exemplificativamente, destacamos que o perfilamento é prática institucional na China,
que desde 2014 implementou um sistema de crédito social digital para ser utilizado
obrigatoriamente a partir de 2020. Por meio de tal sistema, é possível categorizar e taxar os
comportamentos dos cidadãos como positivos ou negativos, indicando uma classificação
única e pública dos indivíduos, que servirá para determinar se um cidadão terá direito a
determinadas políticas públicas, que incluem desde a prestação de serviços médico-
hospitalares até a indicação de escolas em que seus filhos devem ser matriculados429.
Ainda não se sabe como esta medida irá impactar nas discriminações exercidas contra
as minorias sexuais, mas as perspectivas não são animadoras, sobretudo quando analisamos
que, na China, a homossexualidade é aceita por apenas 21% da população, além de ser
considerada uma desonra no seio familiar, sendo comum que as famílias escondam seus filhos
da sociedade em vilas afastadas dos grandes centros430.
Em outro exemplo de exercício do novo biopoder, a Rússia recentemente determinou
que o Tinder compartilhe os dados de usuários com o governo431. É de se imaginar como o
perfilamento social irá potencializar algumas formas de discriminação por meio do tratamento
de dados sensíveis por um governo autoritário. Como previa Yuval Harari, em sua obra Homo
Deus, de 2016, sobre o monitoramento pelos algoritmos: “Imagine-se apenas os usos que
Stálin poderia achar para sensores biométricos onipresentes e que usos Putin ainda pode achar
para eles”432.
Nesse ínterim, é importante lembrar que, muito embora na Rússia a homossexualidade
tenha deixado de ser crime em 1993, vigora no país a chamada lei de propaganda
homossexual, que proíbe “a promoção de relações não tradicionais”, alimentando o
preconceito social já existente433. Além disso, na Chechênia, que pertence oficialmente à
428
BIONI, 2019, p. 123.
429
MULHOLLAND, 2018, p. 161.
430
BIANCHIN, Victor. Os 10 países mais perigosos para ser gay. Super Interessante, [S. l.], Mundo Estranho,
p. 12-13, 14 fev. 2020. Disponível em: https://super.abril.com.br/mundo-estranho/os-10-paises-mais-
perigosos-para-ser-gay/. Acesso em: 15 mar. 2020.
431
RÚSSIA ordena que Tinder compartilhe dados de usuários com governo. G1 Economia, 03 jun. 2019.
Disponível em: https://g1.globo.com/economia/tecnologia/noticia/2019/06/03/russia-ordena-que-tinder-
compartilhe-dados-de-usuarios-com-governo.ghtml. Acesso em: 15 mar. 2020.
432
HARARI, 2018, p. 348.
433
SAHUQUILLO, Maria R. Rússia ‘hétero’: um país de histórias e filmes sem personagens gays. A lei russa,
que proíbe a “promoção” de “relações não tradicionais” a menores, fez que as narrativas LGTBI+
desaparecessem da cultura para o grande público. El País. 09 mar. 2019. Disponível em:
https://brasil.elpais.com/brasil/2019/02/08/internacional/1549624874_256150.html. Acesso em: 15 mar.
2020.
137
Federação Russa, foi descoberto, em 2017, pasmem, uma espécie de campo de concentração
para gays, onde foram relatados torturas e assassinatos de homossexuais434.
No Brasil, o uso indiscriminado de tecnologias capazes de coletar dados sensíveis
sobre a sexualidade, que potencialmente podem ser utilizados para distinguir ou diferenciar
indivíduos, como é o caso do perfilamento, encontra óbice no princípio da igualdade,
sobretudo nas suas vertentes de não discriminação e reconhecimento do direito às diferenças.
Isso não quer dizer que o perfilamento seja vedado em todas as hipóteses, mas deve-se
verificar se os dados sensíveis estão sendo utilizados nos termos da lei e da ética. Valemo-nos
então da lição de Rafael Zanatta, para quem a ação de encaixar uma pessoa ou um grupo a
partir de seus dados pessoais em um perfil social e fazer inferências sobre ela implica em
obrigações de três naturezas, a saber:
No mesmo sentido, uma das propostas mais recentes para combater a discriminação
algorítmica que ocorre por meio do perfilamento é colhida da obra de Sandra Watcher e Brent
Mittelstadt, que propugnam o “direito a inferências razoáveis” (right to reasonable
inferecences) do tratamento de dados. Tal direito teria como escopo controlar ou
supervisionar de que forma os dados pessoais estão sendo utilizados pelo controlador nas
decisões algorítmicas que se utilizam do profiling. Nas palavras dos autores:
434
ATIVISTA russo revela que foi vítima de perseguição e tortura contra gays na Chechênia, Maxim Lapunov
apresentou denúncia formal há três semanas. Ele foi detido em março e afirma que torturadores o agrediram
com cassetetes de borracha. G1 Mundo, 17 out 2017. Disponível em:
https://g1.globo.com/mundo/noticia/ativista-russo-revela-que-foi-vitima-de-perseguicao-e-tortura-contra-
gays-na-chechenia.ghtml. Acesso em: 15 mar. 2020.
435
ZANATTA, 2019, p. 23.
138
436
No original: “To close these accountability gaps and promote justification of inferences, this Article proposes
a new “right to reasonable inferences” applicable to “high risk” inferences that cause damage to privacy or
reputation, or have low verifiability in the sense of being predictive or opinion-based while being used for
important decisions. This right would require ex-ante justification to be given by the data controller to
establish whether an inference is reasonable. This disclosure would address (1) why certain data are
normatively acceptable bases to draw inferences; (2) why these inferences are normatively acceptable and
relevant for the chosen processing purpose or type of automated decision; and (3) whether the data and
methods used to draw the inferences are accurate and statistically reliable. An ex-post mechanism would
allow data subjects to challenge unreasonable inferences (…)”. WACHTER, Sandra; MITTELSTADT,
Brent. A Right to Reasonable Infereneces: Re-Thinking Data Protection Law in the Age of Big Data and AI.
Columbia Business Law Review. New York, v.2019, n.2, p.497-498, May 2019.
437
Vide item 4.4 deste trabalho.
438
VICENT, James. The invention of AI ‘gaydar’ could be the start of something much worse: Researchers
claim they can spot gay people from a photo, but critics say we’re revisiting pseudoscience. The Verge, 21
set. 2017. Disponível em: https://www.theverge.com/2017/9/21/16332760/ai-sexuality-gaydar-photo-
physiognomy. Acesso em: 17 mar. 2020.
139
significando que os homens gays parecem mais femininos e vice-versa. Os dados também
identificaram certas tendências, incluindo homens gays com mandíbulas mais estreitas, nariz
mais comprido e testas maiores do que homens heterossexuais e lésbicas com mandíbulas
maiores e testas menores em comparação com mulheres heterossexuais439.
Como se pode perceber, a pesquisa, muito além de suscitar as questões já discutidas
neste trabalho sobre a coleta e tratamento de dados pessoais sensíveis, traz também em seu
bojo antigos conceitos e abordagens cientificistas estigmatizantes sobre homossexuais,
remontando a teorias como o determinismo biológico e o darwinismo social.
É chamado determinismo biológico o sistema que sustenta que as normas
comportamentais, bem como as diferenças sociais existentes entre os grupos humanos –
principalmente raça, classe e sexo – derivam de distinções herdadas inatas e que, nesse
sentido, a sociedade é um reflexo fiel da biologia440.
Entre as diversas teorias que se sustentaram nesta hipótese, podemos citar a
antropologia criminal, de Cesare Lombroso, que consistia em buscar sinais de morfologia
cranial de macacos entre os membros dos grupos considerados “indesejáveis” (craniometria) e
o darwinismo social, de Francis Galton, que, apoiando-se na teoria da evolução de seu primo
Charles Darwin, difundiu o conceito de que haveria naturalmente humanos “mais evoluídos”
do que outros. Segundo Galton, a partir da sua teoria da eugenia, seria possível, ao analisar
tão-somente a aparência física das pessoas, agrupá-las conforme padrões e, em sequência,
determinar o comportamento e as capacidades de cada uma. Os trejeitos que resultassem em
“pessoas indesejadas” poderiam ser excluídos por meio da seleção artificial, permitindo que
indivíduos notáveis mantivessem a sua predominância441.
O tema comum das teorias deterministas é sempre o mesmo: as hierarquias existentes
entre os grupos mais ou menos favorecidos obedeceriam aos ditames da natureza e a
estratificação social constituiria um reflexo da biologia442. Nesse sentido, o determinismo
439
LEVIM, Sam. New AI can guess whether you‘re gay or straight from a photograph: An algorithm deduced
the sexuality of people on a dating site with up to 91% accuracy, raising tricky ethical questions. The
Guardian, San Francisco, p. 12-13, 8 set. 2017. Disponível em:
https://www.theguardian.com/technology/2017/sep/07/new-artificial-intelligence-can-tell-whether-youre-
gay-or-straight-from-a-photograph. Acesso em: 16 mar. 2020.
440
GOULD, Stephen Jay. A falsa medida do homem. Tradução de Válter Lellis Siqueira. São Paulo: Martins
Fontes, 1991, p. 03.
441
LOPES, André. Preconceito Automático: Softwares guiados por algoritmos que buscam simular o
comportamento humano acabaram por reproduzir também o que há de pior entre nós: a discriminação contra
o outro. Veja. 19 jul. 2019. Tecnologia, p. 1-4. Disponível em:
https://veja.abril.com.br/tecnologia/inteligencia-artificial-pode-reproduzir-racismo-homofobia-e-misoginia/.
Acesso em: 10 fev. 2020.
442
GOULD, op. cit., p. 74.
140
443
VICENT, 2017.
444
SANTOS, 2016, p. 42.
445
DIAS, 2016, p. 75-76.
446
Ibid., p. 76.
141
Como destaca Leandro da Cunha, a sexualidade sempre foi tomada como elemento de
fixação da normalidade ou anormalidade das pessoas, indicando até mesmo a posição que será
conferida ao sujeito dentro da sociedade447, perspectiva injusta que ainda persiste, mesmo
dentro da lógica algorítmica na era digital, em pleno século XXI.
Além disso, atente-se que o fato de a homossexualidade não se revelar por
características externas fisicamente identificáveis faz com que alguns homossexuais prefiram
não expor a sua orientação sexual publicamente para não serem alvo de rejeições,
preconceitos e discriminações448. Nesse ponto, a existência de software que identifica a
orientação sexual dos indivíduos através de imagens também traz questionamentos sobre
violações à privacidade, intimidade e dados pessoais sensíveis.
Ressalta-se que, independentemente de existir ou não uma fonte comum para
identificar a origem da homossexualidade, o fato é que todas as expressões sexuais devem ser
consideradas legítimas e aceitas na mesma medida da heterossexualidade.
Percebe-se, pois, que embora o preconceito e a discriminação sejam registros
históricos da sociedade, a justificação pela suposta cientificidade dos algoritmos impõe mais
um obstáculo a ser ultrapassado pelos grupos menos favorecidos. Por esta razão, o uso da IA
para fins deterministas, longe de favorecer o progresso da ciência e a democratização do
conhecimento, constitui-se, na verdade, prática discriminatória por questões relacionadas à
orientação sexual.
447
CUNHA, 2014, p. 10.
448
DIAS, 2016, p. 81.
449
CUNHA, 2014, p. 16.
142
5.3.1 Caso nº 1: Algoritmos não conseguem identificar pessoas trans e não binárias
450
MARINHO, Julia. IA não consegue identificar pessoas trans e não binárias. TecMundo, 29 out. 2019.
Disponível em: https://www.tecmundo.com.br/software/146888-ia-nao-consegue-identificar-pessoas-trans-
nao-binarias.htm. Acesso em: 16 mar. 2020.
143
451
SATURNO, Ares. Motoristas transgêneras estão tendo seus cadastros bloqueados pela Uber nos EUA.
CanalTec,. 8 ago. 2018. Disponível em: https://canaltech.com.br/apps/motoristas-transgeneras-estao-tendo-
seus-cadastros-bloqueados-pela-uber-nos-eua-119810/. Acesso em: 17 mar. 2020.
452
COSTA; CUNHA, 2013, p. 219.
453
SATURNO, op. cit., p. 01-02.
144
454
CUNHA, Leandro Reinaldo da. Identidade de gênero, dever de informar e responsabilidade civil. Revista
IBERC, Minas Gerais, v. 2, n. 1, p. 01-17, jan./abr. 2019.
455
De modo contrário, entendemos que não há dever de informar o empregador quanto à condição de
transgênero ou a realização prévia de procedimento transexualizador se a mudança acontecer antes da
contratação.
145
Demais disso, o caso supramencionado demonstra apenas uma ponta no iceberg das
dificuldades encontradas pelas pessoas trans para se inserirem socialmente através do
trabalho. É que, em regra, os transgêneros estão envolvidos num círculo vicioso de ocupações
informais, pouco remuneradas e de alta rotatividade, o que torna particularmente difícil o
acesso dessas pessoas aos bens materiais necessários à obtenção de uma vida digna.
Se, por um lado, a nova organização do trabalho através das plataformas virtuais,
como a Uber se mostrou uma alternativa viável para ampliar a inclusão laboral de grupos
historicamente excluídos, por outro, a lógica algorítmica ainda não foi capaz de eliminar o
tratamento desigual e discriminatório de que as pessoas trans sempre foram vítimas no mundo
do trabalho.
Isto se dá principalmente porque, como já nos referimos anteriormente, os algoritmos
aprendem pelo exemplo. Se a máquina não foi capaz de entender o ser humano para além do
binarismo de gênero, nem o reconhecer em toda sua complexidade, é porque não foi ensinada
para tanto456.
Nessa linha, reiteramos que a falta de diversidade nos ambientes corporativos de
empresas do segmento tecnológico contribui para gerar algoritmos enviesados. Por
conseguinte, chamamos novamente atenção para que a codificação e o treinamento do
algoritmo sejam mais inclusivos e que haja uma supervisão realizada por pessoas sensíveis à
diversidade humana, para que assim os erros possam ser devidamente auditados e excluídos.
Além disso, como já destacamos anteriormente, a literatura do tema tem adotado, com
base numa análise integrada entre as normas de proteção de dados e antidiscriminatórias, a
implementação de uma “equidade desde a concepção”, que significa considerar, já na coleta
dos dados, a sua preparação, a concepção do algoritmo, o seu treinamento e todas as etapas
subsequentes, a tentativa de mitigação da discriminação como uma etapa a ser perseguida457.
A ausência de preocupação na fase de modelagem do algoritmo juntamente com a
invisibilidade social (e digital) das pessoas trans poderá ter reflexo direto também nas bases
de dados utilizadas pelos algoritmos. Através do contato com bases de dados incompletas, que
não representam as minorias sexuais, os algoritmos irão excluir os transgêneros de
oportunidades simplesmente por não considerarem a sua existência social através dos dados.
É bastante provável que, caso determinados benefícios sociais sejam concedidos
através de decisões automatizadas, como já acontece nos Estados Unidos, os transgêneros
456
MENOTTI, 2019.
457
JUNQUEIRA, 2020, p. 280.
146
tenham uma maior dificuldade de acesso simplesmente porque seus dados não existem ou não
são reconhecidos pelo algoritmo.
Basta ter como exemplo o que aconteceu no Brasil durante a pandemia do COVID-19,
quando a Associação Nacional de Travestis e Transexuais (ANTRA) estimou que cerca de
60% da população trans não conseguiu ter acesso ao auxílio emergencial concedido pelo
governo federal ou benefício semelhante, seja porque não estão registradas nos bancos de
dados pessoais (estão desempregados, são autônomos e/ou trabalhadores informais) ou porque
o sistema utilizado não reconheceu o nome social dos trabalhadores, mesmo quando houve
prévia retificação no cartório458.
Portanto, seja porque o algoritmo não foi desenvolvido e treinado pelos
desenvolvedores com base na diversidade, seja em razão de as bases de dados apenas
reconhecerem o binarismo de gênero, os algoritmos podem aprender e reforçar a
discriminação contra os transgêneros, impactando de forma a alterar a igualdade de
oportunidades no acesso a determinados direitos, como o direito social ao trabalho.
458
OLIVA, Gabriela. Auxílio emergencial: transgêneros relatam problemas para receber suporte de R$ 600 do
governo usando o nome social. O Globo, 25 maio 2020. Disponível em:
https://oglobo.globo.com/sociedade/auxilio-emergencial-transgeneros-relatam-problemas-para-receber-
suporte-de-600-do-governo-usando-nome-social-24439275. Acesso em: 28 jul. 2020.
459
FRAZÃO, Ana. Responsabilidade Civil de administradores por decisões tomadas com base em sistemas de
inteligência artificial. In: FRAZÃO, Ana; MULHOLLAND, Caitlin (coord.). Inteligência artificial e
direito: ética, regulação e responsabilidade. São Paulo: Editora Revista dos Tribunais, 2019, p. 481-519, p.
484.
147
460
Prefere-se o termo precaução à prevenção, justamente para que a falta completa de certeza científica quanto a
ameaças reais de dano não seja utilizada como escusa para que não sejam empregadas medidas para evitar a
discriminação algorítmica. Como aduzem Bruno Bioni e Maria Luciano: “O princípio da precaução fornece
um substrato importante para se pensar estratégias de regulação de IA, notadamente como lidar com
situações de riscos de danos ou de desconhecimento dos potenciais malefícios e benefícios desse tipo de
tecnologia. A automatização de processos de tomadas de decisão, a partir do emprego de IA, não deve se
constituir como um argumento ingênuo em defesa da sua objetividade e neutralidade. Tais circuitos
decisórios carregam escolhas das entidades e pessoas envolvidas na sua construção, sendo modulado pela
agenda política e aspectos socioeconômicos, de forma implícita ou explícita, que lhes são subjacentes
(BIONI; LUCIANO, 2019, p. 228).
461
DONEDA; ALMEIDA, 2016, p. 2.
462
JUNQUEIRA, 2020, p. 252.
463
GUTIERREZ, 2019, p. 88.
148
464
BIONI; LUCIANO, 2019, p. 208-209.
465
DONEDA; ALMEIDA, 2016, p. 03.
466
BIONI; LUCIANO, op. cit., p. 217.
467
GUTIERREZ, 2019, p. 90.
149
468
PALHARES. Felipe. Revisão de decisões automatizadas. Disponível em: https://www.jota.info/opiniao-e-
analise/artigos/revisao-de-decisoes-automatizadas-29092019. Acesso em: 24 jul. 2020.
469
BIONI; LUCIANO, 2019, p. 217/218.
470
Na GDPR, de forma diversa, o agente de tratamento é obrigado a adotar o relatório, senão vejamos: “A fim de
promover o cumprimento do presente regulamento nos casos em que as operações de tratamento de dados
sejam suscetíveis de resultar num elevado risco para os direitos e liberdades das pessoas singulares, o
responsável pelo seu tratamento deverá encarregar-se da realização de uma avaliação de impacto da proteção
de dados para determinação, nomeadamente, da origem, natureza, particularidade e gravidade desse risco. Os
resultados dessa avaliação deverão ser tidos em conta na determinação das medidas que deverão ser tomadas
a fim de comprovar que o tratamento de dados pessoais está em conformidade com o presente regulamento.
Sempre que a avaliação de impacto sobre a proteção de dados indicar que o tratamento apresenta um elevado
risco que o responsável pelo tratamento não poderá atenuar através de medidas adequadas, atendendo à
tecnologia disponível e aos custos de aplicação, será necessário consultar a autoridade de controlo antes de se
proceder ao tratamento de dados pessoais” (UNIÃO EUROPEIA, 2016).
150
malefícios da sua respectiva atividade, seria possível a ANPD exigir que, nesse caso, ele
tivesse de esperar uma “luz verde” para seguir em frente471.
Não há dúvidas, pois, que os meios legais de governança dos algoritmos previstos na
LGPD constituem ferramentas importantes no combate às discriminações algorítmicas
tratadas neste trabalho, havendo uma nítida convergência entre a proteção de dados pessoais e
o princípio da não discriminação. Contudo, é necessário reconhecer as atuais deficiências dos
instrumentos disponíveis para tentar solucionar as questões aqui propostas, o que torna a
LGPD uma promessa e não uma realidade em termos de prevenção às discriminações472.
Um exemplo claro de descompasso entre a LGPD e a discriminação algorítmica é a
atual forma de tratamento dos dados sensíveis. Por exemplo, conforme constatamos no caso
analisado no item 5.3.1, a partir de uma simples navegação na internet, o processamento pelo
algoritmo de dados aparentemente neutros (não especialmente protegidos como sensíveis),
podem fornecer informações sobre a orientação sexual de um determinado indivíduo passíveis
de serem utilizadas para fins discriminatórios.
Deve-se, por conseguinte, avançar para além da proteção dos dados sensíveis,
reconhecendo verdadeiro direito ao “tratamento sensível de dados pessoais”, protegendo,
dessa forma, também os dados não tradicionais que possam ser utilizados para fins
discriminatórios ou que sejam capazes de acarretar um efeito discriminatório.
Além disso, observamos neste trabalho que a maioria das discriminações algorítmicas
não se manifesta de forma direta. A discriminação algorítmica indireta é a mais comum entre
os vieses de gênero, orientação sexual e identidade de gênero, visto que algoritmos
aparentemente neutros podem causar um impacto desproporcional para os membros dos
grupos que historicamente se encontram numa posição inferior da injusta hierarquia entre os
sexos.
Nesse ínterim, se a análise dos inputs contribui decisivamente para a avaliação da
discriminação direta, é o controle dos outputs que irá garantir a mitigação da discriminação
indireta, muitas vezes através de análises estatísticas473. Com efeito, observamos que uma das
novas soluções apontadas pela doutrina é a chamada “equidade desde a concepção”, que exige
que, desde a concepção do algoritmo e ao longo de todo seu ciclo, o sistema de IA seja
projetado para prevenir discriminações ilícitas e abusivas, facilitando a sua pronta
471
BIONI; LUCIANO, 2019, p. 216-217.
472
JUNQUEIRA, 2020, p. 383.
473
JUNQUEIRA, 2020, p. 383.
151
474
Ibid., p. 384.
475
JUNQUEIRA, 2020, p. 386.
152
_______________________________________________________________
CONSIDERAÇÕES FINAIS
preconceitos como uma cláusula aberta, capaz de vedar o tratamento discriminatório sob
qualquer de suas formas, o que por si só já seria suficiente para proibir a discriminação que
ocorre por meio das novas tecnologias de Inteligência Artificial (IA).
Com efeito, a constatação de que os princípios da dignidade da pessoa humana,
igualdade e solidariedade, formam um complexo direito fundamental à sexualidade, presta-se
a atrair a aplicação da teoria da dimensão objetiva dos direitos fundamentais e seus principais
desdobramentos: i) eficácia irradiante – que direcionam para uma interpretação conforme os
direitos fundamentais de toda a legislação infraconstitucional existente; ii) deveres de
proteção do Estado – no sentido de obrigar os poderes públicos a proteger e promover de
forma efetiva o exercício de direitos fundamentais relacionados à sexualidade; iii) eficácia
horizontal – que diz que qualquer forma de discriminação por motivos relacionados à
sexualidade, realizada por particulares deve ser entendida como violação direta à Constituição
Federal e aos direitos fundamentais.
Ademais, vimos que a dignidade da pessoa humana também é o eixo axiológico
adotado pelas normas internacionais que consagram um arcabouço normativo de proteção à
discriminação por motivos relacionados à sexualidade; citamos, pela importância histórica, a
Declaração Universal dos Direitos Humanos (DUDH), o Pacto Internacional de Direitos Civis
e Políticos (PIDCP); o Pacto Internacional de Direitos Econômicos Sociais e Culturais
(PIDESC); o Pacto de San José de Costa Rica e o Protocolo de San Salvador, da Organização
dos Estados Americanos (OEA); a Declaração de Princípios de Yogyakarta (2006); as
Convenções 100 e 111 da OIT, dentre outras.
No terceiro capítulo, apresentamos a tese de que o capitalismo de vigilância é a nova
lógica de acumulação do século XXI, um novo sistema que tem como componente
fundamental o big data, tecnologia que fornece uma imensa quantidade de dados sobre as
pessoas. Tais dados são utilizados no intuito de modificar, em tempo real, os comportamentos
dos indivíduos, controlando-os e os induzindo a adotar determinadas condutas.
A partir do big data e dos sensores, dispositivos conectados à Internet das Coisas
(IoT), vislumbra-se a existência de um novo biopoder, antagônico àquele descrito por
Foucault (e muito mais eficiente), capaz de gerenciar a vida dos indivíduos de maneira quase
imperceptível. Trata-se de um poder difuso, que se vale da emergente cultura da vigilância,
onde todos se controlam mutuamente nas redes sociais, além de cederem seus dados pessoais
praticamente de forma voluntária para as grandes empresas de tecnologia.
Tais dados constituem a principal matéria-prima dos modernos algoritmos de
Inteligência Artificial (IA), que se utilizam de técnicas de machine learning para analisar,
154
prever e modificar o comportamento dos indivíduos, bem como para tomar decisões
relevantes que podem impactar o rumo de suas vidas através da análise probabilística.
O contexto atual da tecnologia favorece que as decisões empresariais e
governamentais sejam transferidas dos seres humanos para os algoritmos, sobretudo sob a
justificativa de que conferem maior objetividade, eficiência e acurácia a tais processos. A
contratação de um empregado, a concessão de um crédito pessoal e até as decisões judiciais
atualmente estão sendo delegadas a algoritmos preditivos, o que traz uma série de questões
éticas e jurídicas.
Nesse ínterim, analisamos que, em que pese as máquinas sejam, de fato, mais
eficientes que os seres humanos na tomada de decisão, deve-se reconhecer a existência de
erros ou vieses nos algoritmos, que podem ocorrer basicamente de duas maneiras: i) quando
os algoritmos refletirem os preconceitos humanos (conscientes ou não) embutidos desde a
programação; ii) quando entrarem em contato com bases de dados contendo vieses
preconceituosos, o que faz com que o algoritmo “aprenda” a discriminar.
Por conseguinte, conceituamos a discriminação algorítmica como sendo todas aquelas
distinções, preferências ou exclusões realizadas através do algoritmo capazes de afetar a
igualdade de tratamento ou de direitos entre seres humanos. As discriminações algorítmicas
podem ser diretas, quando um dado sensível é utilizado de forma intencional pelo agente ou
indiretas, quando práticas aparentemente neutras permitirem inferências capazes de causar
efeito discriminatório em grupos historicamente desfavorecidos, como é o caso das minorias
sexuais.
No quarto capítulo, averiguamos que a grande maioria dos algoritmos de machine
learning utilizam uma enorme base de dados para fazer inferências probabilísticas, razão pela
qual as questões éticas e jurídicas daí advindas devem ser analisadas sob a ótica das leis de
proteção de dados pessoais. No Brasil, as disposições da Lei Geral de Proteção de Dados
Pessoais (LGPD), inspiradas pela General Data Protection Regulation (GDPR), da União
Europeia, trazem os princípios da não discriminação e da finalidade, o direito à explicação e a
revisão das decisões automatizadas como os principais instrumentos à disposição do titular
dos dados em termos de prevenção e mitigação das discriminações algorítmicas.
Outrossim, houve uma preocupação especial do legislador pátrio com os dados
sensíveis (artigo 5º, item II da LGPD), quais sejam, aqueles dotados de um grau maior de
fundamentalidade e que apresentam um elevado risco discriminatório, a exemplo dos dados
pessoais relativos ao sexo (gênero), orientação sexual e identidade de gênero dos indivíduos.
155
Evidenciamos, todavia, que cada vez mais se fala em “tratamentos sensíveis de dados
pessoais”, como uma constatação de que os dados pessoais não sensíveis (até mesmo os
anonimizados), quando inseridos em um contexto de decisões automatizadas movidas a
algoritmos de machine learning, também podem revelar, a partir dos proxies, dados passíveis
de serem utilizados para fins discriminatórios.
No quinto e último capítulo, observamos através dos estudos de casos paradigmas que
os algoritmos podem trazer consigo os vieses sociais embutidos na própria programação
através dos – inputs ou adquiri-los através da interação com bases de dados enviesadas,
tornando-se passíveis de “aprender” os preconceitos por motivos de sexo (gênero), orientação
sexual e identidade de gênero já existentes na sociedade, gerando resultados – outputs –
discriminatórios.
Dentre as possíveis soluções apontadas pela doutrina está a abordagem de governança
dos algoritmos, que visa a uma mitigação dos problemas causados pelos algoritmos através de
medidas precaucionais, preservando sua eficácia e reduzindo os resultados indesejados.
A governança dos algoritmos é regida pelo princípio do accountability, que envolve
uma série de ferramentas, tais como a auditoria do algoritmo, a revisão das decisões
automatizadas e adoção de relatórios de impacto à proteção de dados pessoais (RIPDP)
objetivando remover o viés discriminatório dos algoritmos.
Acontece que tais ferramentas atualmente disponíveis na LGPD não são capazes de
solucionar todas as hipóteses de discriminação algorítmicas, visto que o legislador voltou a
sua atenção ao controle dos inputs do algoritmo. Particularmente quanto aos vieses
relacionados à sexualidade, estes em sua grande maioria ocorrem a partir de dados e critérios
neutros do algoritmo, mas que causam um “efeito” discriminatório sobre grupos em
desvantagem.
Para mitigar os efeitos dessa forma de discriminação indireta, deve-se primar por uma
“equidade desde a concepção”, de forma a prevenir a discriminação em todas as fases do ciclo
algorítmico, o que vai desde o condicionamento de outputs até a hipótese de uma
discriminação algorítmica positiva.
Ao final, a solução passa também pelas grandes empresas que desenvolvem as
tecnologias de IA, que têm a responsabilidade de serem mais inclusivas, dando oportunidade
para que mulheres, homossexuais e transgêneros façam parte das suas equipes de
programação. Há de se considerar que o ambiente empresarial também deve ser plural e
diversificado, representando um microcosmo da própria sociedade.
156
REFERÊNCIAS
AGANBEM, Giorgio. Homo Sacer: O poder soberano e a vida nua. Tradução de Henrique
Burigo. Belo Horizonte: Editora UFMG, 2002.
ATIVISTA russo revela que foi vítima de perseguição e tortura contra gays na Chechênia
Maxim Lapunov apresentou denúncia formal há três semanas. Ele foi detido em março e
afirma que torturadores o agrediram com cassetetes de borracha. G1 Mundo, 17 out 2017.
Disponível em: https://g1.globo.com/mundo/noticia/ativista-russo-revela-que-foi-vitima-de-
perseguicao-e-tortura-contra-gays-na-chechenia.ghtml. Acesso em: 15 mar. 2020.
BAROCAS, Solon; SELBST; Adrew D. Big Data’s Disparate Impact. California Law
Review, v. 104, p. 2-6, 2016. Disponível em: http://ssrn.com/abstract=2477899. Acesso em:
01 mar. 2020.
BARRETO, Rafael. Direitos Humanos. 7. ed. Salvador: Editora Juspodivm, 2017. (Coleção
Sinopses para concursos).
_______. Discriminação no emprego por motivo de sexo. In: RENAULT, Luiz Otávio
Linhares; VIANA, Márcio Túlio; CANTELLI, Paula Oliveira (coord.). Discriminação. 2. ed.
São Paulo: LTr, 2010. p. 59-83.
157
BEÇAK, Rubens; LONGHI, João Victor Rozatti. O papel das tecnologias da comunicação em
manifestações populares: a primavera árabe e as jornadas de junho no Brasil. Revista
Eletrônica do Curso de Direito da UFSM, Santa Maria, v.10, n.1, 2015.
BENTO, Berenice Alves de Melo. O que é transexualidade. 1. ed. São Paulo: Brasiliense,
2008.
BIANCHIN, Victor. Os 10 países mais perigosos para ser gay. Super Interessante, [S. l.],
Mundo Estranho, p. 12-13, 14 fev. 2020. Disponível em: https://super.abril.com.br/mundo-
estranho/os-10-paises-mais-perigosos-para-ser-gay/. Acesso em 15.03.2020.
BONFIM, Urbano Félix Pugliese do. O direito como instrumento protetor dos vulneráveis
na seara das sexualidades. 2015. Dissertação (Mestrado) - Universidade Federal da Bahia,
Faculdade de Direito, 2015.
BORRILO, Daniel. O sexo e o Direito: a lógica binária dos gêneros e a matriz heterossexual
da Lei. Meritum: Revista de direito da Universidade FUMEC, v. 5, n. 2, jul./dez. 2010.
Belo Horizonte: Universidade FUMEC, 2010.
BRAGA, Carolina. Discriminação nas decisões por algoritmos: polícia preditiva. In:
FRAZÃO, Ana; MOLHOLLAND, Caitlin (org.). Inteligência Artificial e o Direito: ética
regulação e responsabilidade. São Paulo: Thomson Reuters Brasil, 2019. p. 671-693.
BRAMAN, Sandra. Change of State: Information, Policy, and Power. The MIT Press, 2006.
BRITO FILHO, José Cláudio Monteiro de. Discriminação no trabalho. São Paulo: LTr,
2002.
BUOLAMWINI, Joy. How I’m fighting bias in algorithms. TED Talks. 2016. Disponível
em: https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms/
transcript#t-74828. Acesso em: 20 jan. 2020.
CANO, Rosa Jiménez. O robô racista, sexista e xenófobo da Microsoft acaba silenciado:
Projetado para o mercado dos ‘millennials’ nos Estados Unidos, Tay não foi capaz de lidar
com piadas e perguntas controvertidas. El País, 25 maio 2016. Disponível em:
https://brasil.elpais.com/brasil/2016/03/24/tecnologia/1458855274_096966.html. Acesso em:
10 fev. 2020.
159
CARIBÉ, João Carlos Rebello. Vigilância cega, o que as pegadas digitais podem revelar
sobre o indivíduo. Trabalho apresentado no II Simpósio Internacional Network Science, Rio
de Janeiro, 2018. Disponível em:
https://www.academia.edu/38120135/Vigil%C3%A2ncia_cega_o_que_as_pegadas_digitais_p
odem_revelar_sobre_o_indiv%C3%ADduo. Acesso em: 09 jun. 2020.
CASSAL, Luan Carpes Barros; GARCIA, Aline Monteiro; BICALHO, Pedro Paulo Gastalho
de. Psicologia e o dispositivo da sexualidade: biopolítica, identidades e processos de
criminalização. Psico, Porto Alegre, PUCRS, v. 42, n. 4, p. 465-473, out./dez. 2011.
CAVALCANTI, Raissa. O casamento do sol com a lua: uma visão simbólica do masculino e
do feminino. 9. ed. São Paulo: Editora Cultrix, 1993.
COLLING, Leandro. A igualdade não faz o meu gênero – Em defesa das políticas das
diferenças para o respeito à diversidade sexual e de gênero no Brasil. Contemporânea, v. 3,
n. 2, p. 405-427, jul./dez. 2013.
COSTA, Diego Carneiro; CUNHA, Leandro Reinaldo da. A Opinião Consultiva 24/17 da
Corte Interamericana de DH e seus reflexos no combate à discriminação contra pessoas trans
nas relações de trabalho. Revista Interdisciplinar de Direitos Humanos, Observatório de
Educação em Direitos Humanos, v. 1, n. 1, São Paulo: OEDH/UNESP, p. 207-226, 2020.
CROSSDRESSER: Saiba tudo sobre a prática. [S. l.]: Tudoela, 19 jul. 2018. Disponível
em: https://tudoela.com/crossdresser/. Acesso em: 12 dez. 2019.
CRUZ, Bruna Souza. Mulheres motoristas... e vítimas: quando a violência sexual pula para o
banco da frente. UOL [Online], 18 jun. 2019. Tilt. Disponível em:
https://www.uol.com.br/tilt/reportagens-especiais/motoristas-mulheres-relatam-casos-de-
assedio-durante-o-trabalho/. Acesso em: 11 mar. 2020.
160
DANA, Samy. Homens ganham mais que mulheres no Uber. G1 Economia, [S. l.], p. 2-5, 7
ago. 2018. Disponível em: https://g1.globo.com/economia/educacao-financeira/blog/samy-
dana/post/2018/09/07/homens-ganham-mais-que-mulheres-no-uber.ghtml. Acesso em: 10
mar. 2020.
DARDOT, Pierre; LAVAL, Christian. A nova razão do mundo: ensaio sobre a sociedade
neoliberal. São Paulo: Boitempo, 2016.
DASTIN, Jeffrey. Amazon scraps secret AI recruiting tool that showed bias against women.
Reuters, San Francisco, 10 out. 2018. Disponível em: https://www.reuters.com/article/us-
amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-
bias-against-women-idUSKCN1MK08G. Acesso em: 10 mar. 2020.
DIAS, Maria Berenice. Homoafetividade e Direitos LGBTI. 7. ed. rev., atual e ampl. São
Paulo: Editora Revista dos Tribunais, 2016.
_______. Manual de Direito das Famílias. 5. ed. São Paulo: Revista dos Tribunais, 2009.
DINIZ, Maria Helena. O estado atual do biodireito. São Paulo: Saraiva, 2011.
DOMINGO, Pedro. The master algorithm: how the quest for the ultimate machine learning
will remake our world. Nova York: Basic Books, 2015.
DONEDA, Danilo. A proteção dos dados pessoais como um direito fundamental. Espaço
Jurídico Journal of Law [EJJL], v. 12, n. 2, p. 91-108, 2011.
161
_______. Da privacidade à proteção dos dados pessoais. Rio de Janeiro: Renovar, 2006.
ELIAS, Paulo Sá. Algoritmos, Inteligência Artificial e o Direito. 2017. Disponível em:
https://www.conjur.com.br/dl/algoritmos-inteligencia-artificial.pdf. Acesso em: 21 nov. 2019.
EUBANKS, Virginia. Automating Inequality: How High-Tech Tools Profile, Police, and
Punish the Poor. New York: St. Martin’s Press, 2018.
EVANS, Dave. Internet de las cosas: cómo la próxima evolución de Internet lo cambia todo.
Cisco IBCG, abr. 2011. Disponível em: https://www.cisco.com/c/dam/global/es_mx/
solutions/executive/assets/pdf/ internet-of-things-iot-ibsg.pdf. Acesso em: 29 jan. 2020.
EXPOSTO à internet, robô da Microsoft vira racista em 1 dia: Projeto de inteligência artificial
da gigante da tecnologia foi tirado do ar em menos de 24 horas depois que passou a reproduzir
ofensas escabrosas ao interagir com trolls nas redes. Veja Tecnologia, 24 mar. 2016.
Disponível em: https://veja.abril.com.br/tecnologia/exposto-a-internet-robo-da-microsoft-vira-
racista-em-1-dia/. Acesso em: 29 jan. 2020.
_______. O panóptico digital: como a tecnologia pode ser utilizada para aprimorar o
controle da administração pública no estado democrático de direito. 2018. Disponível em:
https://www.academia.edu/36192135/O_PANOPTICO_DIGITAL_final. Acesso em: 12 fev.
2020.
FERRARI, Isabela. Regulation against the machine. JOTA. 2019. Disponível em:
https://www.jota.info/paywall?redirect_to=//www.jota.info/opiniao-e-
analise/artigos/regulation-against-the-machine-26092019. Acesso em: 10 fev. 2020.
_______. O direito à explicação sobre decisões automatizadas: uma análise comparativa entre
a união europeia e o Brasil. Revista de Direito e as Novas Tecnologias, v. 01, out./dez.
2018.
162
_______. História da sexualidade 2: o uso dos prazeres. Rio de Janeiro: Graal, 1984.
FRASER, Nancy. Reconhecimento sem ética? Tradução de Ana Carolina Freitas Lima
Ogando e Mariana Prandini Fraga Assis. São Paulo: Lua Nova, 2007.
GERMANI, Leonardo. Inteligência artificial e big data na gestão cultural. Revista do centro
de pesquisa e formação, [s. l.], ed. 7, p. 154-164, nov. 2018. Disponível em:
https://centrodepesquisaeformacao.sescsp.org. br/revista/Revista_CPFn07.pdf. Acesso em: 09
jun. 2020.
GOULD, Stephen Jay. A falsa medida do homem. Tradução de Válter Lellis Siqueira. São
Paulo: Martins Fontes, 1991.
HACKER, Phillip. Teaching Fairness to Artificial Intelligence: Existing and Novel Strategies
Against Algorithmic Discrimination Under EU Law. Common Market Law Review, West
Sussex, v. 55, p. 9-10, 2018. Disponível em:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3164973. Acesso em: 13 maio 2020.
HARARI, Yuval. Homo Deus: uma breve história do amanhã. Tradução de Paulo Geiger. 1.
ed. São Paulo: Companhia das Letras, 2016.
HARARI, Yuval Noah. Sapiens: Uma breve história da humanidade. 36. ed. Tradução de
Janaína Marcoantonio. Porto Alegre: L&MP, 2018.
HONNETH, Axel. Luta por reconhecimento: A gramática moral dos conflitos sociais. Rio
de Janeiro: Editora 34, 2009.
JUNIOR, José Luiz de Moura Faleiros. The Network Society, de Jan Van Dijk. Rev. Fac.
Dir., v. 47, n. 1, p. 406-414, jan/jun.2019.
JUNIOR, José Luiz de Moura Faleiros; LONGHI, João Victor Rozatti; MARTINS,
Guilherme Magalhães. A pandemia da covid-19, o “profiling” e a Lei Geral de Proteção de
Dados. Migalhas, 28 jun. 2020. Disponível
em:https://www.migalhas.com.br/depeso/325618/a-pandemia-da-covid-19-o-profiling-e-a-lei-
geral-de-protecao-de-dados. Acesso em 20.07.2020.
KOMPARATO, Fábio Conder. A afirmação histórica dos direitos humanos. 2. ed. São
Paulo: Saraiva, 2001.
KOSINSKI, Michael; STILLWELL, David; GRAEPEL, Thore. Private traits and attributes
are predictable from digital records of human behavior. Proceedings of the National
Academy of Sciences, v. 110, n. 15, p. 5802-5805, 2013.
LAVADO, Tiago. Uber permitirá que motoristas mulheres realizem corridas apenas com
passageiras mulheres: Novidade estará disponível no começo de novembro inicialmente para
Curitiba, Campinas e Fortaleza e deve ser expandida para outras cidades a partir de 2020. G1
Economia, 24 out. 2018. Disponível em:
https://g1.globo.com/economia/tecnologia/noticia/2019/10/24/uber-permitira-que-motoristas-
mulheres-realizem-corridas-apenas-com-passageiras-mulheres.ghtml. Acesso em: 10 mar.
2020.
165
LEIA o texto do convite que criou o termo inteligência artificial: John McCarthy e seus
colegas do Dartmouth College foram responsáveis por criar, em 1956, um dos conceitos mais
importantes do século XXI. Época negócios online, 13 mar. 2019. Disponível em:
https://epocanegocios.globo.com/Tecnologia/noticia/2019/03/leia-o-texto-do-convite-que-
criou-o-termo-inteligencia-artificial.html. Acesso em: 12 jan. 2020.
LEVIM, Sam. New AI can guess whether you‘re gay or straight from a photograph: An
algorithm deduced the sexuality of people on a dating site with up to 91% accuracy, raising
tricky ethical questions. The Guardian, San Francisco, p. 12-13, 8 set. 2017. Disponível em:
https://www.theguardian.com/technology/2017/sep/07/new-artificial-intelligence-can-tell-
whether-youre-gay-or-straight-from-a-photograph. Acesso em: 16 mar. 2020.
LONGHI, João Victor Rozatti. #ódio: responsabilidade civil nas redes sociais e a questão do
hate speech. In: GODINHO, Adriano Mateleto et al. Responsabilidade civil e novas
tecnologias. Indaiatuba: Editora Foco, 2020. E-book.
LOPES, André. Preconceito Automático: Softwares guiados por algoritmos que buscam
simular o comportamento humano acabaram por reproduzir também o que há de pior entre
nós: a discriminação contra o outro. Veja, Tecnologia, p. 1-4, 19 jul. 2019. Disponível em:
https://veja.abril.com.br/tecnologia/inteligencia-artificial-pode-reproduzir-racismo-
homofobia-e-misoginia/. Acesso em: 10 fev. 2020.
_______. Surveillance, Snowden, and Big Data: Capacities, consequences, critique. Big Data
& Society, v. 1, n. 2, p. 1-13, jul. 2014.
_______. The roots of the information society idea. In: O'SULLIVAN, Tim; JEWKES,
Yvonne (ed.). The media studies reader. London: Arnold, 1998, p. 384-402.
MACHINE Learning e Ciência de dados com IBM Watson. IBM, 2018. Disponível em:
https://www.ibm.com/br-pt/analytics/machine-learning? Acesso em: 11 fev. 2020.
MARINHO, Julia. IA não consegue identificar pessoas trans e não binárias. TecMundo, 29
out. 2019. Disponível em: https://www.tecmundo.com.br/software/146888-ia-nao-consegue-
identificar-pessoas-trans-nao-binarias.htm. Acesso em: 16 mar. 2020.
MARTINHÃO, Maximiliano. A internet das coisas a serviço das pessoas. In: MAGRANI,
Eduardo. A internet das coisas. Rio de Janeiro: FGV Editora, 2018. p. 15-17.
MEIRA, Silvio. Sinais do futuro imediato, #1: internet das coisas. Ikewai, Recife, dez. 2016.
Disponível em: www.ikewai.com/WordPress/2016/12/12/sinais-do-futuro-imediato-1-
internet-das-coisas/. Acesso em: 08 jul. 2020.
MORAES, Maria Celina Bodin de. O Conceito de Dignidade Humana: Substrato Axiológico
e Conteúdo Normativo In: SARLET, Ingo Wolfgang (Org.). Constituição, Direitos
Fundamentais e Direito Privado. Porto Alegre: Livraria do Advogado, 2003, p. 105-148.
MORAES, Maria Celina Bodin de; TEFFÉ, Chiara. Redes sociais virtuais: privacidade e
responsabilidade civil. Análise a partir do Marco Civil da Internet. Revista Pensar, v. 22, n.
1, p. 120-121, 2017.
NASCIMENTO, Rodrigo. Afinal, o que é Big Data? Marketing por dados, 27 mar. 2017.
Disponível em: http://marketingpordados.com/analise-de-dados/o-que-e-big-data-
%F0%9F%A4%96/. Acesso em: 12 fev. 2020.
167
NETO, Elias Jacob de Menezes; MORAIS, Jose Luis Bolzan. Análises computacionais
preditivas como um novo biopoder: modificações do tempo na sociedade dos sensores.
Revista Novos Estudos Jurídicos, v. 23, n. 3, p. 1129-1134, set./dez. 2018. Disponível em:
https://siaiap32.univali.br/seer/index.php/nej/issue/view/518. Acesso em: 15 mar. 2019.
NOVAES, Jorge Reis. Direitos Fundamentais: Trunfos contra a maioria. Coimbra: Coimbra
Editora, 2006.
NUNES, Dierle; MARQUES, Ana Luiza Pinto Coelho. Inteligência artificial e direito
processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas.
Revista dos Tribunais, v. 285, nov. 2018.
OLIVA, Gabriela. Auxílio emergencial: transgêneros relatam problemas para receber suporte
de R$ 600 do governo usando o nome social. O Globo, 25 maio 2020. Disponível em:
https://oglobo.globo.com/sociedade/auxilio-emergencial-transgeneros-relatam-problemas-
para-receber-suporte-de-600-do-governo-usando-nome-social-24439275. Acesso em: 28 jul.
2020.
O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and
threatens democracy. New York: Crown Publishers, 2016.
O‘NEILL, Patrick Howell. Facebook diz que não permitirá mais anúncios discriminatórios
por raça, gênero e idade. Gizmodo Brasil. 21 mar. 2019. Disponível em:
https://gizmodo.uol.com.br/facebook-anuncios-discriminatorios-proibidos/. Acesso em: 30
mar. 2020.
PASCUAL, Manuel. Quem vigia os algoritmos para que não sejam racistas ou sexistas? A
discriminação socioeconômica, racial ou de gênero é muito frequente entre os sistemas
automáticos. El País, 17 mar. 2019. Disponível em:
https://brasil.elpais.com/brasil/2019/03/18/tecnologia/1552863873_720561.html. Acesso em:
10 fev. 2020.
PASQUALE, Frank. The Black Box Society: The Secret Algorithms that control money and
information. Cambridge: Havard University Press, 2015.
168
PASSOS, Bruno Ricardo dos Santos. O direito à privacidade e a proteção aos dados
pessoais na sociedade da informação: uma abordagem acerca de um novo direito
fundamental. 2017. Dissertação (Mestrado) - Universidade Federal da Bahia, Faculdade de
Direito, 2017.
PEER, Eyal; GAMLIEL, Eyal. Heuristics and Biases in Judicial Decisions. Court Review, v.
49, p. 114-118, 2016. Disponível em: http://aja.ncsc.dni.us/publications/courtrv/cr49-2/CR49-
2Peer.pdf. Acesso em: 12 fev. 2020.
PERES, Célia Mara. A igualdade e a não discriminação nas relações de trabalho. São
Paulo: LTr, 2014.
PERON, Alcides Eduardo dos Reis; ALVAREZ, Marcos César; CAMPELLO, Ricardo
Urquizas. Apresentação do Dossiê: Vigilância, Controle e Novas tecnologias. Mediações-
Revista de Ciências Sociais, v. 23, n. 1, p. 11-31, 2017.
PIOVESAN, Flávia; SILVA, Roberto B. Dias da. Igualdade e diferença: o direito à livre
orientação sexual na Corte Europeia de Direitos Humanos e no judiciário brasileiro. In:
BUGLION, Samantha; VENTURA, Miriam. Direito à reprodução e à sexualidade: uma
questão de ética e justiça. Rio de Janeiro: Lumen Juris, 2010. p. 65-105.
POWLES, Julia. The Seductive Diversion of ‘Solving’ Bias in Artificial Intelligence: Trying
to “fix” A.I. distracts from the more urgent questions about the technology. OneZero, 7 dez.
2018. Disponível em: https://onezero.medium.com/the-seductive-diversion-of-solving-bias-
in-artificial-intelligence-890df5e5ef53. Acesso em: 10 mar. 2020.
RAMOS, Igor Nasser Alves; CASTRO, Rafaela Carvalho de. Mídias sociais e teletrabalho: o
hodierno modelo panóptico que "é muito Black Mirror". In: CARELLI, Rodrigo de Lacerda.
Black Mirror, direito e sociedade: estudos a partir da série televisiva. Rio de Janeiro:
Lumen Juris, 2018. p. 47-65.
REGO, Yago Lemos. Sexualidade como direito da personalidade: a relação entre o livre
desenvolvimento da personalidade de Alexy e a sexualidade inerente de Freud. Disponível
em: https://portalseer.ufba.br/index.php/revdirsex. Acesso em: 22 nov. 2019.
RIVEIRA, Carolina. Uber lança programa para atrair motoristas mulheres, hoje apenas 6%:
Mulheres motoristas poderão escolher levar somente mulheres quando desejarem e ter
desconto para alugar carros. Revista Exame, 24 out. 2019. Disponível em:
170
https://exame.abril.com.br/negocios/uber-lanca-programa-para-atrair-motoristas-mulheres-
hoje-apenas-6/. Acesso em: 10 mar. 2020.
ROVER, Tadeu. Sistema de algoritmo que determina pena de condenados cria polêmica nos
EUA. ConJur., 16 maio 2018. Disponível em: https://www.conjur.com.br/2018-mai-16/stf-
aperfeicoar-distribuicao-processos-mantem-sigilo. Acesso em: 12 fev. 2020.
RÚSSIA ordena que Tinder compartilhe dados de usuários com governo. G1 Economia, 03
jun. 2019. Disponível em:
https://g1.globo.com/economia/tecnologia/noticia/2019/06/03/russia-ordena-que-tinder-
compartilhe-dados-de-usuarios-com-governo.ghtml. Acesso em: 15 mar. 2020.
SAISSE, Renan. Big data contra o crime: efeito Minority Report. Direito & TI: Debates
Contemporâneos, Porto Alegre, 7 jul. 2017. Disponível em:
http://direitoeti.com.br/artigos/big-data-contra-o-crime-efeito-minority-report/. Acesso em: 05
fev. 2020.
SALAS, Javier. Google conserta seu algoritmo “racista” apagando os gorilas: Google Photos
confundia pessoas negras com macacos. Este patch mostra a opacidade dos algoritmos. El
País, 16 jan. 2018. Disponível em:
https://brasil.elpais.com/brasil/2018/01/14/tecnologia/1515955554_803955.html. Acesso em:
02 mar. 2020.
SANTOS, Carolina Maria Mota; TANURE, Betania; NETO, Antonio Moreira de Carvalho.
Mulheres executivas brasileiras: O teto de vidro em questão. Revista Administração em
Diálogo: Pontifícia Universidade Católica de São Paulo, São Paulo, v. 16, ed. 3, p. 56-75,
set./out./nov./dez. 2014. Disponível em:
https://www.pucminas.br/PucVirtual/pesquisa/administracao/Documents/Mulheres%20execut
ivas%20brasileiras%20o%20teto%20de%20vidro%20em%20quest%C3%A3o.pdf. Acesso
em: 20 abr. 2020.
SANTOS, Marina França. Teorias feministas do direito: contribuições a uma visão crítica do
direito. In: AYUDA, Fernando Galindo; ROCHA, Leonel Severo; CARDOSO, Renato César
(org.). Filosofia do direito I [Recurso eletrônico on-line]. Organização CONPEDI/
UFMG/FUMEC/Dom Helder Câmara. Florianópolis: CONPEDI, 2015. p. 04-20.
SARLET, Ingo Wolfgang. A eficácia dos direitos fundamentais: uma teoria geral dos
direitos fundamentais na perspectiva constitucional. 12. ed. Porto Alegre: Livraria do
Advogado, 2015.
SATURNO, Ares. Motoristas transgêneras estão tendo seus cadastros bloqueados pela Uber
nos EUA. CanalTech, 8 ago. 2018. Disponível em: https://canaltech.com.br/apps/motoristas-
transgeneras-estao-tendo-seus-cadastros-bloqueados-pela-uber-nos-eua-119810/. Acesso em:
17 mar. 2020.
SCOTT, Joan. Gender: a useful category of historical analyses. Gender and the politics of
history. Tradução de Christine Rufino Dabat Maria Betânia Ávila. New York: Columbia
University Press, 1989. Disponível em:
https://edisciplinas.usp.br/pluginfile.php/185058/mod_resource/content/2/G%C3%AAnero-
Joan%20 Scott.pdf. Acesso em: 29 nov. 2019.
SIBILIA, Paula. Você é o que o Google diz que você é: a vida editável, entre controle e
espetáculo. Visível/invisível: sobre o rastreio de material genético como estratégica artístico-
política. In: BRUNO, Fernanda et al. (org.). Tecnopolíticas da vigilância: perspectivas da
margem. São Paulo: Boitempo, 2018. p. 199-216.
SIQUEIRA, Dirceu Pereira; MACHADO, Robson Aparecido. A proteção dos direitos
humanos LGBT e os princípios consagrados contra a discriminação atentatória. Revista
direitos humanos e democracia, n. 11, Ed. Unijaí, p. 167-201, jan./jun. 2018. Disponível
em: www.revistas.unijui.edu.br/index.php/direitoshumanose democracia. Acesso em: 09 jan.
2020.
SOARES, Ricardo Maurício Freire. Hermenêutica e Interpretação Jurídica. 3.ed. São Paulo:
Saraiva, 2017.
TINDER e Grindr compartilham dados pessoais dos usuários, diz estudo. G1 Tecnologia, [S.
l.], jan. 2020. Disponível em:
https://g1.globo.com/economia/tecnologia/noticia/2020/01/14/tinder-e-grindr-compartilham-
dados-pessoais-dos-usuarios-diz-estudo.ghtml. Acesso em: 27 jul. 2020.
TOBIN, Ariana; MERRILL, Jeremy B. Facebook Is Letting Job Advertisers Target Only
Men: A review by ProPublica found that 15 employers in the past year, including Uber, have
advertised jobs on Facebook exclusively to one sex, with many of the ads playing to
stereotypes. Pro Publica, 18 set. 2018. Disponível em: https://www.propublica.org/article/
facebook-is-letting-job-advertisers-target-only-men?utm_content=buffer140b8&utm_
medium=social&utm_source=twitter&utm_campaign=buffer. Acesso em: 11 mar. 2020.
TURING, Alan. Computing Machinery and Intelligence. Mind, New Series, v. 59, n. 236, p.
433-460, out. 1950.
VAZ, Daniela Verzola. O teto de vidro nas organizações públicas: evidências para o Brasil.
Economia e Sociedade, v. 22, n. 3, Campinas, Instituto de Economia/Unicamp, p. 765-790,
dez. 2013.
VICENT, James. The invention of AI ‘gaydar’ could be the start of something much worse:
Researchers claim they can spot gay people from a photo, but critics say we’re revisiting
pseudoscience. The Verge, 21 set. 2017. Disponível em:
https://www.theverge.com/2017/9/21/16332760/ai-sexuality-gaydar-photo-physiognomy.
Acesso em: 17 mar. 2020.
VICENTE, João Paulo. Preconceito das máquinas: como algoritmos podem ser racistas e
machistas. UOL [Online], 24 abr. 2018. Tilt. Disponível em:
https://www.uol.com.br/tilt/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-
algoritmos-tomam-decisoes-discriminatorias.htm?cmpid=copiaecola&cmpid=copiaecola.
Acesso em: 03 mar. 2020.
ZUBOFF, Shoshana. Big Other: capitalismo de vigilância e perspectivas para uma civilização
da informação. In: BRUNO, Fernanda et al. (org.). Tecnopolíticas da vigilância:
perspectivas da margem. São Paulo: Boitempo, 2018. p. 17-68.