IA e direitos fundamentais

CENTRO UNIVERSITÁRIO PADRE ANCHIETA
PROGRAMA INSTITUCIONAL DE PESQUISA E INICIAÇÃO CIENTÍFICA
RELATÓRIO FINAL
INTELIGÊNCIA ARTIFICIAL E DIREITOS FUNDAMENTAIS: OS
ALGORITMOS PODEM VIOLAR DIREITOS?
JUNDIAÍ - SP
Agosto - 2021
ALUNO: Marcos De Lucca Fonseca
CURSO: Direito
ORIENTADORA: Me. Rafaela C. Juliatto
SOLICITAÇÃO DA MODALIDADE: BIC
INTELIGÊNCIA ARTIFICIAL E DIREITOS FUNDAMENTAIS: OS
ALGORITMOS PODEM VIOLAR DIREITOS?
Relatório Final apresentado ao Programa

Institucional de Pesquisa e Iniciação
Científica, para análise do Comitê Interno de
Pesquisa e Parecer Final da Diretoria de
Graduação, Pesquisa e Extensão do Centro
Universitário Padre Anchieta.
JUNDIAÍ - SP
2
SUMÁRIO
1. INTRODUÇÃO......................................................................................................3
2. OBJETIVO(S).......................................................................................................3
3. MÉTODO..............................................................................................................3
4. RESULTADOS E DISCUSSÕES ou DESENVOLVIMENTO...............................4
5. CONCLUSÃO.......................................................................................................4
REFERÊNCIAS ........................................................................................................4
3
RESUMO
Um dos maiores desafios para os cientistas que desenvolvem a chamada Ciência da

Inteligência Artificial (I.A) é fazer com que esta tenha a capacidade de conhecimento
que o cérebro humano possui. A aplicação da I.A está crescendo em progressão
geométrica, como utilização de assistentes virtuais, programas e sistemas
governamentais, pesquisa, substituição da mão de obra, linha de montagem,
realização de pesquisas, navegação da internet, aplicativos e sistemas, jurimetria e
demais utilizações que ainda vão ser desenvolvidas. O objetivo da presente
pesquisa foi estudar se a tutela dos direitos fundamentais pode ser ameaçada frente
aos avanços tecnológicos e, em especial, como o fenômeno de recorrência de
padrões comportamentais nos algoritmos de machine learning (conhecidos como
BIAS) podem influenciar nas análises preditivas. A Metodologia utilizada foram as
análises de referências bibliográficas de juristas de Direito Constitucional, Civil,
Direito Digital, bem como livros sobre Sistemas da Informação e pesquisas
desenvolvidas por redes e mídias sociais. Os resultados e discussões analisadas
foram os desafios que as plataformas das redes sociais têm enfrentado para
solucionar os algoritmos de predição e enviesamento. O fato de as próprias
empresas de aplicativos assumirem a ocorrência de tais vieses, e que estão em
contínuo desenvolvimento para aprimorar seus produtos e desenvolverem soluções
para sanar tais problemas, deixa cristalino que tal violação ocorre, e de forma
substancial, como será demonstrado no decorrer da presente pesquisa.
4
1. INTRODUÇÃO
Um dos maiores desafios para os cientistas que desenvolvem a chamada

Ciência da Inteligência Artificial (I.A) é fazer com que esta tenha a capacidade de
conhecimento que o cérebro humano possui. Robert Wiener, considerado como um
dos precursores da cibernética, em sua obra Cibernética ou controle e comunicação
no animal e na máquina (1948) afirmou que “Vemos assim que a lógica da máquina
se assemelha à lógica humana e, de acordo com Turing, podemos empregá-la para
iluminar a lógica humana. Terá também a máquina uma característica mais
eminentemente humana – a capacidade de aprender?” (WIENER, 1948).
Jonh McCarthy foi quem utilizou pela primeira vez o termo Inteligência Artificial,
no ano de 1956, durante a Conferência Dartmouth Summer Research on Artificial
Intelligence (DSRPAI). Porém registros históricos remontam à Antiguidade sobre as
tentativas do homem em construir raciocínios para entender o processo de
memorização e aprendizagem.
Desde a Antiguidade Clássica, através da Mitologia Greco-Romana, o ser

humano quis projetar suas habilidades e características em outros seres, como na
figura dos Centauros – seres da mitologia grega com parte humana e parte animal 1.
Alguns deuses do Egito Antigo também tinham características humana e animais 2.
Os centauros formam uma classe de monstros da mitologia grega que possuem o corpo metade
1
humano, metade cavalo. Segundo a concepção do pensamento mítico grego, o cavalo possuía uma
série de virtudes admiráveis e, por isso, a sua mistura com os homens não era vista como algo
negativo. Diversas narrativas mitológicas contam sobre o relacionamento entre os homens e os
centauros, o que conferia a esse monstro a capacidade de socialização.
(https://brasilescola.uol.com.br/mitologia/centauros.htm acesso em 11/04/2020).
2
Cada cidade-estado egípcia possuía o seu deus protetor. Existiam deuses com formato de animal
(zoomorfismo), outros deuses tinham o formato de homem juntamente com animal (corpo de homem
e cabeça de animal – antropozoomorfismo) e também existiam deuses somente com o formato
humano (antropomorfismo). https://brasilescola.uol.com.br/historiag/os-deuses-egipcios.htm Acesso
em 11/04/2020.
5
Mas foi com Aristóteles (384 a.C – 322 a.C) que o pensamento ocidental
concebe o início do desenvolvimento das bases do que viria a ser o raciocínio
indutivo, muito importante para a evolução do pensamento e metodologia científica.
Em breve síntese, o pensamento aristotélico definiu como “Conclusão” o conceito
em que se aplica uma “Premissa Maior” e uma “Premissa Menor”. Assim tem início,
mesmo que incipiente, aquilo que viria a ser a Metodologia Indutiva.
Porém, os estudiosos da história da I.A afirmam que o cientista Herão de

Alexandria (10 d.C a 85 d.C) foi um dos mais importantes da Antiguidade, uma vez
que criou o conceito de máquinas automáticas (ou simplesmente “autômatos”).
Utilizando materiais básicos como cordas, sacos de grãos, areia e rodas, criou
objetos que ficavam movimentando-se por tempo considerável e sem a intervenção
humana. Alguns de seus objetos são descritos em suas obras Automato e
Pneumática.
Ainda falando da evolução histórica daquilo que viria a ser conhecida por I.A, no
século XVII sugiram as primeiras máquinas de calcular. Desenvolvidas pelo
matemático e físico/inventor Blaise Pascal (1623 – 1662), mesmo com a
funcionalidade básica de somar e subtrair, a chamada máquina de calcular de
Pascal é considerada como um dos precursores dos computadores da era moderna.
O matemático e filósofo alemão Gottfried Leibniz (1646 – 1716) incluiu as demais
operações matemáticas básicas (de multiplicação e divisão), e criou a sua step
reckoner, capaz de realizar de forma mecânica as quatro operações matemáticas
fundamentais.
No decorrer do século XIX e início do XX foram criados vários experimentos e

inventos que foram fundamentais para o desenvolvimento da ciência da computação
e, posteriormente, da I.A. A criação de metodologias como a Álgebra Booleana –
que lançou as bases para os sistemas digitais binários, uma vez que foi baseada em
um alfabeto de apenas dois símbolos – e o Cálculo Lambda – sistema formal que
implementou funções recursivas que foram utilizadas no início da ciência da
computação – contribuíram, e muito, nesse processo. Como o objetivo desta
pesquisa não será aprofundar o estudo histórico desses conceitos, não serão
6
analisados tais aspectos, mas vale a pena uma breve síntese de um dos conceitos
fundamentais da Inteligência Artificial, que são as Redes Neurais Artificiais (RNAs).
O início dos estudos das RNAs foi em 1943, e teve o objetivo de criar um modelo
matemático para produzir microssistemas que funcionassem semelhante a um
sistema nervoso, através da utilização da lógica matemática. Com o
desenvolvimento e aprimoramento dos estudos, foram produzidos modelos
algoritmos que conseguiram fazer inferências e intervir sobre um determinado
problema real.
A aplicação da I.A na sociedade atual está apenas no início, e a tendência é

aumentar cada vez mais. Sua aplicação ocorre cada vez mais em diversos
segmentos da sociedade e da indústria, tais como utilização de assistentes virtuais,
programas e sistemas governamentais, pesquisa, substituição da mão de obra, linha
de montagem, realização de pesquisas, navegação da internet, aplicativos e
sistemas, jurimetria e demais utilizações que ainda vão ser desenvolvidas 3 . Através
da convergência entre as plataformas de automação, de baixo código (low-code),
inteligência artificial e análise de dados, as empresas estão utilizando cada vez mais
a I.A como ferramenta estratégica – mudando inclusive o cenário competitivo 4.
É fato que a Ciência da Computação, em especial com o aumento da utilização

de devices em diversas áreas da sociedade, contribuíram para o desenvolvimento
da chamada Economia de Dados. Muitos cientistas sociais e filósofos, tais como
Manuel Castells (2018)5 e Zygmunt Bauman (2015)6 , afirmam que vivemos em uma
nova etapa do desenvolvimento do sistema capitalista, em que os dados pessoais
dos indivíduos passam a ter valor mercadológico.
3
https://canaltech.com.br/inteligencia-artificial/inteligencia-artificial-e-os-proximos-anos-105988/
Acesso em 04/04/2020
4
https://assets.kpmg/content/dam/kpmg/br/pdf/2019/11/br-ai-transforming-the-enterprise.pdf Acesso
em 04/04/2020
5
CASTELLS, Manuel. A sociedade em redes. ed. Paz e Terra. 2018
6
BAUMAN, Zygmunt. RAUD, Rein. A individualidade numa época de incertezas. ed. Zahar. 2015
7
O preocupante é quando somamos a ampla obtenção, compartilhamento e
utilização de dados pessoais característico da sociedade da informação, com o
aumento e desenvolvimento da utilização da Inteligência Artificial. Ao cruzamos este
cenário com a tutela de direitos fundamentais, o desafio se torna ainda maior.
Os direitos fundamentais foram fruto de um longo, e muitas vezes sangrento,

processo de afirmação histórica - e que ainda carecem de maior tutela em muitos
países, em especial naqueles não democráticos.
A Inteligência Artificial, com a ampliação de utilização e aplicabilidade de seus

algoritmos, poderiam ser uma ameaça de violação aos direitos fundamentais?
Poderiam, ou já estão sendo uma ameaça? Como evitar que o avanço da tecnologia
da I.A não coloque em questionamento direitos tão caros à nossa sociedade? O
objetivo desta pesquisa será justamente trazer ao debate tais desafios, que tendem
a crescer em nossa sociedade.
Por óbvio que o foco não será um viés maniqueísta, em que o desenvolvimento
da tecnologia seria um grande vilão a ser contido. Ora, os jusfilósofos já nos
ensinaram que a função social do direito não é moldar a sociedade, mas criar
normas que possam regular o comportamento humano, evitando e dirimindo os
conflitos. Do contrário, estaríamos vivendo sob uma espécie de ditadura da norma.
Mas é de fundamental importância que laçamos luzes a este debate, pois o avanço
da tecnologia e da I.A não pode ameaçar os direitos fundamentais. O homem não foi
feito para a máquina, mas o contrário. Para tanto, é salutar que analisemos com
maior profundidade este tema, sob a ótica da garantia da tutela dos direitos
fundamentais.
Importa frisar que as aplicações tecnológicas não são objeto de estudo somente
no campo das ciências exatas, mas sua análise e implicações éticas na sociedade
também devem ser estudadas nas ciências humanas.
Um dos temas mais estudados na inter-relação I.A e Ciências Jurídicas diz

respeito à problemática da responsabilidade civil. Sem aprofundar no
8
desenvolvimento deste tema, uma vez que ultrapassa o objeto de análise da
presente pesquisa, em um recente estudo da Escola Superior do Ministério Público
da União7 foi analisada a responsabilidade civil no caso de acidentes envolvendo
veículo autônomos. Neste estudo, uma das conclusões sobre este tema foi que já
existem exemplos na indústria de veículos autônomos sobre casos de acidentes que
poderiam ter sido evitados caso existissem precauções e protocolos de segurança
específicos para a direção de carros autônomos 8,
(...)por mais que seja tentador fazer conjecturas

gerais, seguimos argumentando que as tecnologias
de carros autônomos trazem desafios de
responsabilidade e regulação que não são
facilmente equacionados com formulações
genéricas, apresentando, em sua concretude,
diversas especificidades que podem acabar se
mostrando decisivas (...)9
O considerável aprimoramento e avanços tecnológicos da I.A, especialmente as

suas aplicações cada vez mais presentes no cotidiano de nossa sociedade,
certamente terá por consequência alterações no ambiente social, político e jurídico.
Obviamente que as empresas de tecnologia irão continuar a aplicar investimentos
vultuosos para atender, e até mesmo criar, as demandas. Mas caberá ao Estado e à
sociedade civil organizada acompanhar estas evoluções e os seus potencias
impactos, especialmente nos indivíduos mais que vivem à margem do acesso á
7
GUEDES, Marcelo Santiago. MACHADO, Henrique Felix de Souza. Veículos autônomos inteligentes
e a responsabilidade civil nos acidentes de trânsito no Brasil. Desafios regulatórios e propostas de
solução e regulação. Ed. ESMPU. 2020
8
solução e regulação. Ed. ESMPU. 2020. p. 67
9
solução e regulação. Ed. ESMPU. 2020. p. 71
9
essas inovações, ou que não conseguem se defender (ou mesmo ter ciência) de tais
ameaças.
Para discorrer acercas destes desafios, a presente pesquisa utilizou-se de

juristas das áreas do Direito Constitucional, Civil, Digital e análise de situações e
pesquisas reais acerca da potencial ameaça aos direitos fundamentais decorrentes
da utilização dos algoritmos de predição. As análises e referencias bibliográficas da
presente pesquisa destacam o quanto as ciências jurídicas precisam aprimorar, ou
até mesmo desenvolver, maiores estudos sobre este tema, principalmente em
parceria com as áreas de robótica/automação, engenharia da computação e
segurança da informação.
10
2. OBJETIVO(S)
É notório que a tecnologia ao longo dos anos trouxe grande impacto e alterações
em vários segmentos. Rompeu barreiras, aproximou (ou será que distanciou?)
pessoas, gerou impactos nas relações laborais - seja criando postos de trabalhos,
extinguindo-os, ou até mesmo substituindo o homem pela “máquina” em
determinadas atividades laborais. A forma como o indivíduo se relaciona consigo
mesmo, bem como com seus semelhantes, sofreu grande impacto com o avanço da
chamada “Revolução Industrial 4.0”10 .
Com o objetivo de ampliar a análise deste tema tão salutar em nossos dias, esta
desenvolveu o estudo sobre a potencial ameaça dos direitos fundamentais frente
aos avanços tecnológicos e, em especial, como o fenômeno de recorrência de
padrões comportamentais nos algoritmos de machine learning (conhecidos como
BIAS) poderá violar os direitos humanos.
Para iniciar o desenvolvimento do tema, será feito uma breve contextualização

histórica sobre o desenvolvimento da Inteligência Artificial, demonstrando de forma
sintética os primeiros experimentos e máquinas; o grande, e rápido, crescimento de
utilização durante a o século XX (em especial a década de 1990), e o início do
século XXI; conceituar o que é a chamada Revolução 4.0 e a chamada Internet das
Coisas (que em língua inglesa é conhecida pela siga IoT – Internet of Things);
finalizando o aspecto contextual, serão indicados quais as principais aplicações da
Inteligência Artificial e utilização de algoritmos, pela indústria digital e virtual.
10
Originalmente, a Indústria 4.0 foi concebida no contexto da manufatura, mas isso mudou nos
últimos anos e saiu dos processos de produção, passando pela tecnologia e suas áreas relacionadas.
Com o rápido crescimento da IoT (Internet das Coisas Industrial), torna-se claro quando se olha para
a expansão da Indústria 4.0.
Em essência, podemos dizer que a quarta revolução industrial e as tecnologias digitais é a Internet
das Coisas aplicada à manufatura. Os sistemas físicos se comunicam e cooperam uns com os outros
e trazem novas possibilidades, como o trabalho remoto, que se tornou possível graças à internet.
http://anpei.org.br/industria-4-0-o-que-e/ acesso em 11/04/2020
11
Com o propósito de trazer ao leitor leigo no tema relacionado à Inteligência
Artificial e à Indústria da Internet, será produzido um capítulo para oferecer os
conhecimentos básicos acerca dos temas. Por óbvio que, como o objetivo desta
pesquisa não está centrada nas Ciências da Engenharia da Computação e Robótica,
o conhecimento destes assuntos não será aprofundado, mas tão somente para
elucidar ao leitor iniciante neste tema que obtenha os principais conceitos básicos.
Para tanto, será estudado os conceitos básicos sobre rede de computadores e

de auto-organização em regime digital. Serão analisados os conceitos de
Inteligência Artificial (definição e conceitos fundamentais; técnicas de controle
algorítmico; tecnologias de reconhecimento; conceito de decisões automatizadas;
como a I.A se diferencia dos algoritmos; Algoritmos de Machine Learning (definição
e conceitos; problemática da necessidade de análise de grande volume de dados;
criação de fórmulas e padrões de recorrência classificatória; aplicação em análise de
dados de redes sociais). Por fim, será dedicado um tópico específico para analisar a
BIAS - um fenômeno relacionado à recorrência de um determinado padrão de
comportamento em um algoritmo de machine learning (também conhecido como
“algoritmo de viés”).
Adentrando no estudo do tema relacionado aos direitos humanos, num primeiro

momento será desenvolvido uma análise histórica da afirmação destes direitos.
Como o propósito da pesquisa não é o aprofundamento do conceito histórico sobre
os direitos humanos, será feita uma breve explanação sobre os seus sentidos e sua
evolução, analisando a importância da documentos e movimentos históricos.
Em especial será feita uma análise de como a Lei 12.965/2014 (Marco Civil da
Internet) e a Lei 13.709/2018 (Lei Geral de Proteção de Dados, recente aprovada e
que teve o seu período de vacatio legis extendido para até janeiro de 2021, devido
ao cenário de Pandemia do COVID-19), protegem os direitos fundamentais no Brasil
quanto ao uso da internet.
Será destinado um capítulo para estudar como o Sistema Internacional das

Nações Unidas tem se debruçado pelo tema da tutela de Direitos Humanos e
12
Internet. Serão estudadas a Resolução L.20 do Conselho de Direitos Humanos da
ONU e a Declaração de Toronto.
Como tópico final, antes da conclusão, será analisado de que forma a utilização
da BIAS e demais algoritmos utilizados na Inteligência Artificial podem violar os
direitos humanos, tendo por base análises de casos reais de redes sociais e
plataformas de buscas on-line. Para ilustrar, será feito um Estudo de Caso em que a
utilização deste fenômeno de padrão de recorrência comportamental no meio digital
violou a tutela de direitos fundamentais.
À guisa de conclusão, serão indicados como a violação de direitos humanos

pode ocorrer na utilização de algoritmos na Inteligência Artificial; se existe medidas
de precaução, tanto da Ciência Jurídica quanto da Indústria 4.0, que podem inibir
que tal violação ocorra; se o Sistema Internacional das Nações Unidas está
preparado para enfrentar esses desafios; cenários possíveis frente à sociedade da
informação e economia baseada na utilização das informações dos dados;
3. MÉTODO
13
Para o desenrolar da problemática, serão analisados autores das áreas dos
Direitos Humanos e Constitucional, quais sejam: Ana Frazão, Fábio Konder
Comparato, Flávia Piovesan, Francisco Rezek, Gilmar Ferreira Mendes, Gustavo
Tepedino, Humberto Ávila, José Afonso da Silva, José Joaquim Gomes Canotilho,
Luis Roberto Barroso, Manuel Castells, Maria Cecília Bodin de Moraes, Norberto
Bobbio, Robert Alexy e Zygmunt Bauman.
Para a fundamentação relacionada aos conceitos de Inteligência Artificial,

Machine Learning e Algoritmos, serão utilizados os autores, Ivan Nunes da Silva,
Katti Faceli, Norbert Wiener, Peter Norvig, e Thomas Cormen, além de artigos
científicos publicados sobre esses temas.
Além dos Doutrinadores citados, também serão utilizados fragmentos de livros de

autores especializados na temática da aplicação do Direito no meio digital (termo
cunhado por alguns como “Direito Digital), tais como, Bruno Ricardo Bioni, Danilo
Doneda, Eric Schmidt, Newton De Lucca, Patrícia Peck Pinheiro e Stefano Rodotà.
Como referencial teórico, serão analisados as legislações brasileiras e

internacionais que tratam do tema, tais como a Constituição Federal de 1988 (artigo
5º, X); o Código Civil (artigos 11, 20 e 21), as Leis Especiais, Complementares e
Decretos que tratam do tema: Lei 9.472/97 (Lei Geral de Telecomunicações); Lei
12.965/2014 (Lei do Marco Civil da Internet); a recém aprovada Lei Geral de
Proteção de Dados (LGPD), Lei 13.709/2018.
Em relação aos documentos, resoluções e declarações internacionais, será

analisados a Declaração Universal dos Direitos Humanos, o Pacto Internacional dos
Direitos Civis e Políticos, Pacto Internacional dos Direitos Econômicos, Sociais e
Culturais, Convenção Americana de Direitos Humanos, a Declaração L.20 do
Conselho de Segurança das Nações Unidas (ONU), a Declaração de Toronto e o
Regulamento Europeu de Proteção de Dados (GDPR).
4. DESENVOLVIMENTO
14
a) BREVE HISTÓRICO EVOLUTIVO DO CONCEITO DE INTELIGÊNCIA
ARTIFICIAL, E DA AFIRMAÇÃO DOS DIREITOS HUMANOS
Os primeiros experimentos autômatos
Como mencionado na introdução desta pesquisa, o interesse pelos

mecanismos autômatos datam desde a Antiguidade, uma vez que a humanidade
sempre quis compreender quais os aspectos relacionados à tomada de decisão e de
escolhas que os indivíduos desenvolvem, mesmo que de forma inconsciente, desde
ações triviais até as mais complexas em seu cotidiano.
No entanto, o trabalho que ficou reconhecido como o primeiro a conceituar o

que viria ser a Inteligência Artificial (IA), foi o realizado por Warren McCulloch e
Walter Pitts (1943), que se basearam em três conceitos: i) conhecimentos básicos
de fisiologia, bem como a função dos neurônios; ii) análise da lógica proposicional e;
iii) teoria da computação de Turing. O trabalho destes pesquisadores consistia em
criar um modelo de neurônios artificiais, que se estimulados, eram ligados e
desligados11 .
Mas o primeiro computador (chamado SNARC), com redes neurais, foi

construído somente em 1950, por Marvin Minsky e Dean Edmonds, pesquisadores
de Harvard. Porém, o trabalho mais influente foi o produzido por Turing, que em
1947 apresentou testes de aprendizagem de máquina, algoritmos genéticos e
aprendizagem por reforço.
De toda forma, o primeiro uso oficial do termo IA foi feito por John
McCarthy12 , em 1956, quando ele realizou um estudo de dois meses em Dartmouth
College. A importância desse estudo foi tamanha que os pesquisadores que dele
11
RUSSEL, Stuart. NORVING, Peter. Inteligência artificial. 3ª edição. Ed. Elsevier. 2013. p. 16
12
McCarthy, em 1958, ainda iria desenvolver uma linguagem de programação (Lips) que foi
dominante na IA durante os 30 anos subsequentes. Outro desenvolvimento importantíssimo feito por
ele, também em 1958, foi a criação do Advice Taker, que é considerado como o primeiro sistema
completo de IA.
15
participaram estiveram pelos próximos 20 anos à frente do desenvolvimento e
pesquisas tecnológicas de IA. Inclusive o termo IA foi cunhado como
desdobramentos destes estudos, uma vez que estes tiveram o objetivo de reproduzir
as faculdades humanas como criatividade, autoaperfeiçoamento e uso da
linguagem13 ,
Propusemos que um estudo de dois meses e dez

homens sobre inteligência artificial fosse realizado (...).
O estudo era para prosseguir com a conjectura básica
de que cada aspecto da aprendizagem ou qualquer
outra característica da inteligência pode, em princípio,
ser descrita tão precisamente a ponto de ser construída
uma máquina para simulá-la. Será realizada uma
tentativa de fazer as máquinas utilizarem a linguagem, a
partir de abstrações e conceitos, resolvam os tipos de
problemas hoje reservados aos seres humanos e se
aperfeiçoem14 .
Os anos seguintes do desenvolvimento da IA não foram tão promissores

como os anteriores, uma vez que a escassez de programas capazes de implementar
o que era testado teoricamente, acabaram por diminuir o frenesi. Os computadores
estavam, a princípio, somente utilizados para ampliar a sua aplicabilidade para além
de resolver operações aritméticas.
Outro importante marco da evolução histórica do desenvolvimento de IA foi a

criação do GPS (General Problem Solver), em 1957, por Newwll e Simon 15 . Este
programa foi projetado para imitar protocolos humanos de resolução de problemas.
Desta forma, considera-se que o programa GPS foi o primeiro desenvolvido para
abordagem de “pensar de forma humana”16 .
13
14
15
O GPS (General Problem Solver) em questão não deve ser confundido com o GPS (Sistema de
Posicionamento Global), que é o sistema de navegação por satélite.
16
16
Outra etapa importante no desenvolvimento da IA ocorreu em meados de
1959, na empresa IBM. O pesquisador Arthur Samuel iniciou o que viram a ser o
conceito de Machine Learning17 , que desenvolveu uma programação de computador
para que a máquina, além de aprender a jogar dama, ao aprendendo com os erros
pudesse aprimorar as suas técnicas e não cometer os erros anteriores.
. No ano de 1963, McCarthy fundou o laboratório de IA em Stanford, e que fora
de fundamental importância para que no ano de 1969, o pesquisador Cordell Green
desenvolvesse o seu projeto de robótica Shakey, que foi o primeiro a integrar por
completo o raciocínio lógico e a atividade física.
Vejamos que a ambição dos cientistas em obter o pleno desenvolvimento da IA

vem sendo buscado, com afinco, desde meados do século XX. O pesquisador
Herbert Simon afirmou, em 1957, que
Não é meu objetivo surpreendê-los, ou chocá-los, mas o

modo mais simples de resumir tudo isso é dizer que
agora existem no mundo máquinas que pensam,
aprendem e criam. Além disso, sua capacidade de
realizar essas atividades está crescendo rapidamente
até o ponto – em um futuro visível – no qual a variedade
de problemas com que elas poderão lidar será
correspondente à variedade de problemas com os quais
lida a mente humana
Mas é importante destacar que o excesso de otimismo da década de 1950 e

1960 não foi concretizado em curto espaço de tempo. Dificuldades como ausência
de conhecimento dos temas em que os computadores deveriam aprender, questões
linguísticas como sintaxe para o desenvolvimento de programações de traduções
(devemos considerar que em meados do século XX o mundo estava dividido na
17
A aprendizagem de máquina é um subconjunto da inteligência artificial, o segmento da ciência da
computação que se concentra na criação de computadores que pensam da maneira que os humanos
pensam. Fonte: http://datascienceacademy.com.br/blog/17-casos-de-uso-de-machine-learning/.
Acesso em 21 de fevereiro de 2021
17
bipolaridade política-econômica entre os EUA e a URSS – período conhecido como
Guerra Fria, marcado por espionagens e tentativas de obtenção de documentos,
cuja tradução era de suma importância. Quem conseguisse desenvolver uma
programação capaz de traduzir os documentos, teria um ganho considerável, frente
ao seu openente). Outra dificuldade encontrada foi sair de questões mais “simples”
encontradas nos chamados “micromundos” dos testes laboratoriais, e inserir a
resolução de problemas complexos e que incluíram variáveis que as programações
até então não conheciam. E, por fim, outra dificuldade foi o fato de que mesmo que
os computadores pudessem, de fato, aprendem sobre determinado assunto, não
necessariamente ele conseguisse transformar o aprendizado em representação no
mundo físico.
Entre 1969 e 1979 ocorreram grandes desenvolvimentos de sistemas de IA

para serem aplicados na Bioquímica e na Medicina. Sistemas como DENDRAL, HPP
e MYCIN (Heuristic Programming Project) foram capazes de auxiliar estudo de
estruturas moleculares, no diagnóstico médico e de infecções, respectivamente.
Outros sistemas que foram desenvolvidos foram na retomada da tentativa de
traduções linguísticas, como o Prolog e PLANNER.
Já entre na década de 1980, o foco maior foi desenvolver a chamada indústria

de IA, que estava relacionada com o primeiro sistema especialista comercial bem-
sucedido, chamado de R1. O programa foi bem sucedido em configurar pedidos de
novos sistema de computadores de diversas empresas, e iniciar a construção dos
computadores inteligentes, e a indústria de IA passou das cifras de milhões para
bilhões de dólares18 , com o início do desenvolvimento de softwares, hardwares e
robôs. Mas um dos principais marcos da década de 1980 foi a reinvenção dos
algoritmos de aprendizado por retroprogramação, que foram publicados na Parallel
Distributed Processing, no ano de 1986, por Rumelhart e McClelland.
A partir do final da década de 1980, a IA se consolidou como uma Ciência,

com Metodologia e Teoria própria. Um dos exemplos de grande aplicação da IA que
foi amplamente desenvolvida foi o reconhecimento de fala, que utilizou estudos e
18
18
conceitos desde 1970. Outro grande desenvolvimento a partir da década de 1980 foi
a tentativa das redes neurais aprenderem técnicas de reconhecimento padrão
contribuindo assim para que no aprendizado das máquinas pudessem ser utilizadas
apenas as técnicas mais promissora para cada aplicação. Surge assim as chamadas
teorias da decisão na IA e da probabilidade, que vão ser aplicados cada vez mais
em sistemas especializados. Alguns estudos inclusive sugerem que os sistemas não
deveriam seguir o padrão do pensamento e das decisões humanas, mas sim
aprender e desenvolver caminhos próprios.
Na década de 1990 iniciou o processo do que ficou conhecido como o

surgimento dos agentes inteligentes, que inclusive iriam servir de base para os
mecanismos de pesquisa e sistema de recomendação para os conteúdos na
internet. Criou-se uma visão de que a IA deveria ser cada vez mais especializada,
definindo tarefas e ações em que as máquinas devem ser aplicadas, em substituição
às decisões humanas.
Por fim, a partir dos anos 2000, com a explosão de dados (Big Data) devido à
utilização da internet, foram iniciados estudos com o objetivo de analisar não
somente os algoritmos, mas principalmente os dados que seriam aplicados á eles.
Para fundamentar esta quebrada de paradigma no estudo da IA, em 2001 Banko e
Brill publicaram um estudo que comprovou que “(...) um algoritmo medíocre com 100
milhões de palavras de dados de treinamento não rotulados supera o melhor
algoritmo conhecido com apenas 1 milhão de palavras.”. Ou seja, os dados que
alimentam os algoritmos seriam de maior importância do que o próprio algoritmo
Atualmente a IA está sendo utilizada em diversas indústrias, desde veículos
autônomos, reconhecimento de voz, aplicações em dispositivos móveis, jogos,
planejamento logístico, aplicações de biomedicina e fármacos. Sem falar, na
aplicação da utilização os web sites, através dos aplicativos de viés como o BIAS,
que serão objeto da presente pesquisa.
19
b) CONCEITUANDO INTELIGÊNCIA ARTIFICIAL, ALGORITIMOS, INTERNET
DAS COISAS, MACHINE LEARNING E A QUARTA REVOLUÇÃO
INDUSTRIAL
Quarta Revolução Industrial, Internet das Coisas, Machine Learning e Aplicações de

Inteligência Artificial
A “Quarta Revolução Industrial” é conceituada 19 como um novo capítulo da

continuidade das demais Revoluções Industriais, devido à interação do indivíduo
com tecnologias que podem diminuir consideravelmente a barreira do mundo virtual
com o mundo físico. Mesmo que o conhecimento e recursos digitais utilizados por
esta etapa da Revolução Industrial possa ser entendida como uma continuidade dos
recursos digitais da Terceira Revolução Industrial, mas o que a diferencia desta é a
utilização da Inteligência Artificial (IA), a robótica, a fabricação aditiva, as
neurotecnologias, as biotecnologias, a realidade virtual e aumentada, os novos
materiais, as tecnologias energéticas 20, e as inovações que ainda podem surgir
devidos aos constantes e vultuoso estudos atualmente realizados.
Evidente que além de propiciar o considerável avanço do desenvolvimento

tecnológico, a Quarta Revolução Industrial vai além do desenvolvimento de novas
aplicações de máquina e equipamentos, mas inclui também a nova forma que o
indivíduo irá se relacionar com a tecnologia, e com o meio em que ambos estão
inseridos. Partindo do aspecto social, em especial pela crescente preocupação
existente sobre o potencial risco de substituição da mão de obra humana pelas
aplicações tecnológicas, que não será objeto de análise desta pesquisa, e chegando
até a utilização de máquinas e equipamentos autônomos, que através de algoritmos
aprendem de forma isolada e sem a necessidade de interação humana, é evidente
que a esta etapa da Revolução Industrial irá criar formas de interação indivíduo-
máquina que serão irreversíveis. Mas é cada vez mais necessário que sejam
realizadas análises e pesquisas que tenham por objetivo compreender os impactos
da utilização destas novas aplicações tecnológicas, em especial na garantia e tutela
19
SCHWAB, Klaus. Aplicando a quarta revolução industrial. Ed. Edipro. 2019. p. 35
20
Idem
20
dos direitos fundamentais dos indivíduos. Ou seja, será cada vez mais difícil
pensarmos em políticas, ações coletivas e melhoria de bem-estar das pessoas, sem
analisar a relação indivíduo-máquina/aplicações. Este é justamente o principal
objetivo da presente pesquisa, analisar de que forma os algoritmos de análise de
comportamento podem ameaçar a tutela dos direitos fundamentais.
A Quarta Revolução Industrial traz a possibilidade de impactar positivamente a

sociedade, seja deslocando a mão de obra para atividades laborais mais
intelectualizadas (o que, por outro lado, pode ser um grave problema social em
países com baixo nível de escolaridade), diminuindo as distâncias físicas, bem como
a necessidade das pessoas estarem presentes fisicamente em locais para realizar
determinadas atividades, como ficou evidenciado no aumento da utilização do
teletrabalho devido à crise sanitária iniciada em 2020 pela COVID-19 21 . Isso sem
falar na fantástica aplicação da tecnologia na saúde, que certamente contribuirá para
descobertas de curas, vacinas, aumento na qualidade de vida e expectativa de vida
da população.
Sendo assim, o aumento da interação das pessoas com as aplicações e

máquinas dotadas de Inteligência Artificial não deve ser analisados pela ótica
negativa, pois do contrário estaria desconsiderando as inúmeras aplicações que
favorecerão o indivíduo. O ponto central que deve ser analisado são a interação
daquelas com as
(...) normas, regras, expectativas, objetivos, instituições

e incentivos que norteiam nosso comportamento diário,
bem como as infraestruturas e os fluxos de material e
pessoas que são fundamentais para a nossa vida
econômica, política e social. Coletivamente, eles
influenciam a forma como gerenciamos nossa saúde,
tomamos decisões, produzimos e consumimos bens e
21
Segundo pesquisa da Fundação Instituto de Administração (FIA), durante a panademia da COVID-
10 o teletrabalho foi a estratégia de 46% das empresas brasileiras. Fonte: Home
https://agenciabrasil.ebc.com.br/economia/noticia/2020-07/home-office-foi-adotado-por-46-das-
empresas-durante-pandemia. Acesso em 28 de fevereiro de 2021.
21
serviços, trabalhamos, nos comunicamos, socializamos
e nos movimentamos (...)22
É fato que todas as Revoluções Industriais trazem consigo alterações

econômico-sociais (e algumas refletem até mesmo na esfera política), pois do
contrário não seriam consideradas “Revoluções” 23. Na “Primeira Revolução
Industrial” a indústria têxtil, em meados do século XVIII na Inglaterra, o surgimento
da máquina à vapor criaram novos mecanismos de produção que impactaram
setores que foram da agricultura à manufatura, passando pelas comunicações e
chegando até o setor de transportes 24 . No final do século XIX e meados do XX,
dando continuidade à “Primeira Revolução Industrial”, o surgimento da iluminação
elétrica, do rádio, do telefone, da televisão, a indústria fármaco-química (que teve
um considerável crescimento, em especial devido às duas Grandes Guerras
Mundiais), e em especial do surgimento do motor à combustão, propiciaram à
sociedade um novo padrão e necessidade de consumo que caracterizou a “Segunda
Revolução Industrial” – especialmente com o surgimento da indústria automotiva.
Este período teve por uma das principais características o desenvolvimento dos
sistemas de consumo de eletricidade, água e saneamento, de saúde e aumento da
produtividade agrícula (devido ao surgimento dos “defensivos agrícolas”). Já a
chamada “Terceira Revolução Industrial” a teoria da informação e da computação. A
capacidade de armazenar, processar e transmitir informações em formato digital deu
nova forma à quase todas as indústrias, trazendo alterações econômico sociais
consideráveis.
Ou seja, esta breve síntese dos impactos que as diversas “Revoluções

Industriais” trouxeram à humanidade deixa evidente que estes períodos foram
conceitos não apenas pelos avanços industriais e tecnológicos propiciados, mas sim
devido ao impacto e alteração na realidade social e econômica da sociedade.
22
23
O conceito de revolução é entendido, comumente, como uma transformação radical de determinada
estrutura política, social, econômica, cultural ou tecnológica, isto é, tudo o que diz respeito à vida
humana. Fonte: https://brasilescola.uol.com.br/o-que-e/historia/o-que-e-revolucao.htm Acesso em 28
de fevereiro de 2021.
24
22
Um ponto importante a ser considerado quando tratamos da “Quarta Revolução
Industrial”, é que ela está construída sobre os recursos digitais e redes criadas pela
Terceira Revolução Industrial, mas as novas aplicações disruptivas deverão criar
novos valores não antes vistos. De acordo com Schwab, “(...) no futuro, fará pouco
sentido imaginar algoritmos que aprendem de forma independente a partir de dados
não estruturados como simples aplicações da capacidade da computação digital”
(SCHWAB, 2019). Ou seja, o que impulsiona a “Quarta Revolução Industrial” não é
somente as novas aplicações e algoritmos de I.A, mas sim a sua aplicação na vida e
cotidiano dos indivíduos e dos agentes públicos e privados. Com isso, é salutar
estudar a tutela dos direitos humanos na aplicação dos algoritmos, de forma a
analisar os possíveis impactos que estes podem causar nos indivíduos e na vida em
sociedade.
A “Internet das Coisas” (ou IoT – Internet of Things) é um dos principais

conceitos da “Quarta Revolução Industrial”, que é justamente a utilização de
sensores inteligente inseridos em diversos equipamentos, que utilizam e processam
os dados de acordo com a necessidade de quem os utiliza. Além disso, esses
equipamentos, ao serem interligados com a Internet, ampliam ainda mais a
possibilidade e ganhos de utilização, uma vez que as informações enviadas pelos
equipamentos podem ter como destino outro equipamento, bem como outros
indivíduos. De acordo com uma pesquisa realizada pela empresa inglesa IHS, até o
ano de 2025 o número de dispositivos conectados à internet serão,
aproximadamente, 75,4 bilhões 25. Para termos uma ideia do impacto econômico da
IoT, segundo dados da consultoria McKinsey, o potencial desta indústria é de US$ 4
trilhões a US$ 11 trilhões, por ano26 .
As cifras vultuosas demonstram como é grande o potencial de monetização dos

dados pessoais, bem como de desempenho (atual e futuro) dos próprios
dispositivos. A atual “economia de dados”, que justamente é aquela em que as
aplicações, plataformas digitais e demais empresas utilizam-se do chamado Big
25
26
23
Data, transformando os dados pessoais dos indivíduos em informações com valor de
mercado, que contém dados cobre os costumes, hábitos de consumo e demais
informações comerciais que são de grande valia para as empresas. Além de uma
valiosa fonte de informação sobre padrões de consumo, e mercadológica, as
informações agregadas dos equipamentos da IoT certamente irão resultar em um
novo relacionado do indivíduo com o processo de tomada de decisões (das mais
simples às mais complexas). Inclusive, o conceito de “Internet das Coisas” contribui
para o desenvolvimento do que está sendo entendido por “economia da atração”, em
que o padrão de consumo dos indivíduos será cada vez mais influenciado pelas
informações comportamentais e dados pessoais dos mesmos. Assim, cada vez mais
é de fundamental importância temas relacionados à segurança digital e
regulamentos que visam a tutela dos dados pessoais.
Sobre a necessidade de adequação de normas e regulamentos à essa nova

realidade, além de necessárias leis de proteção de dados pessoais, é salutar que
temas relacionados tanto ao Direito Civil, quanto ao Direito Penal devem ser
adequados. É de fundamental importância que temas como a responsabilidade civil
e penal da IoT, como o acidente de veículos autônomos, por exemplo, devam ser
incluídos na pauta dos operadores do direito – pois a utilização desses veículos está
cada vez mais próxima da realidade do que podemos imaginar.
Outro aspecto da IoT que certamente irá influenciar a “Quarta Revolução

Industrial”, diz respeito à troca de informações coordenadas entre os próprios
dispositivos. Certamente esta comunicação chamada “M2M” (Máquina à Máquina)
contribuirá para a redução dos custos de produção, aumento de competitividade de
diversos segmentos industriais e uma menor dependência do indivíduo para as
diversas etapas do processo produtivo. Cada vez mais o desenvolvimento de
sistemas autômatos garantem às máquinas e equipamentos uma autonomia nunca
antes vista pelas anteriores etapas das “Revoluções Industriais”. Certamente estas
transformações no arranjo produtivo e padrões de consumo, com especial destaque
para a utilização dos dados pessoais e sistemas autônomos, terão como resultado
uma nova realidade de padrões e modelos de negócio, que certamente irão
24
influenciar as transformações sociais econômicas e políticas do século XXI e
seguintes.
Uma das principais camadas dos dispositivos e equipamentos da IoT é

justamente a gestão de dados e as aplicações, que serão analisadas no
desenvolvimento da presente pesquisa. Os dados e informações dos dispositivos,
quando transformados em insumos ou ideias a serem realizadas, geram um fluxo de
grande valor para toda a cadeia da IoT. Ou seja, não basta apenas os equipamentos
e dispositivos estarem conectados, mas sim que gere valor com os dados e
informações que obtém durante a sua utilização.
No curto prazo, a utilização da IoT gera um ganho de eficiência operacional,

através da utilização de ativos que geram uma redução dos custos operacionais.
Ainda no curto prazo, o desenvolvimento de novos produtos e serviços gerados
pelos desenvolvimentos desta indústria tem por consequência a criação de serviços
que são baseados nos próprios dados e informações que são gerados pela
utilização dos equipamentos. Já no longo prazo, a chamada economia de resultados
tem por fundamento os novos ecossistemas que são formados, devido à
conectividade das máquinas e equipamentos (M2M), que tem por último aspecto o
desenvolvimento da chamada economia da atração, através da automação ponta-a-
ponta (end-to-end).
Para adotar a IoT em escala industrial, é necessário vencer os seguintes

desafios: falta de interoperabilidade e ausência de normas, uma vez que se faz
necessário a criação de Protocolos específicos para as máquinas e equipamentos
(tal como o Protocolo IP para a conexão à internet); ausência de expectativas clara
dos investimentos, uma vez que trata-se de uma indústria em constante formação e
transformação; preocupações com a segurança das informações, bem como da
privacidade e dados pessoais dos consumidores – além disso, existe o risco da IoT
não apenas ser vítima dos ataques cibernéticos, mas também delas serem
utilizadas, indevidamente, para realizar tais ataques.
Conceito de agentes inteligentes

25
A definição de agente, na aplicação da tecnologia de Inteligência Artificial, é
tudo que, através da utilização de sensores, pode perceber o ambiente em que está
inserido e tomar decisões que pode influenciar o meio. Assim como os indivíduos
que, através de sua cognição tomam decisões que podem, utilizando de seus
membros, influenciar o meio em que vivem, situação semelhante ocorre com as
máquinas e equipamentos. Mas ao invés de olhos e reações neurais, tais
equipamentos utilizam-se de câmeras e sensores que, através de programações,
podem decidir e também influenciar o meio. Em termos matemáticos, o “(...)
comportamento do agente é descrito pela função do agente que mapeia quaisquer
sequências de percepções específica para uma determinada ação” 27.
Em linhas gerais, inicialmente o que o conceito de agentes inteligentes busca é

justamente fazer com os agentes, através de sensores, tenham percepções do
ambiente em que estão inseridos e, através de funções, possam decidir por tomar
ações tendo por base as programações inseridas em seus sistemas. Porém, as
decisões que um agente inteligente terá que tomar, através da utilização da I.A, não
serão triviais e com grande potencial de interferir no meio em que estão inseridos, e
com consequências aos indivíduos.
Mas é justamente a capacidade dos agentes inteligentes em tomar decisões
independentes que exclui a possibilidade de um controle total por humanos, mas
que, ao mesmo tempo, fundamenta a sua utilidade e, assim, o fato de que sejam
desejados tanto sob o ponto de vista econômico como social 28.
Um dos principais conceitos é justamente como garantir que as decisões

tomadas por agentes inteligentes e a sua consequência no meio em que estão
inseridos, sejam desejáveis. Quando um agente inteligente é inserido no meio ele
toma decisões de acordos com as percepções que recebe, bem como por suas
27
28
BASEL. Sabine Gless. KÖLN, Thomas Weigend. Agentes inteligentes e o direito penal. p. 57
26
programações. E a grande dúvida que surge é: Como garantir que a consequência
seja desejável?
Pela ótica da tecnologia, para que uma consequência seja desejável, existem
medidas de desempenho utilizadas para a análise. Não existem medidas fixas para
todas as tarefas dos agentes, mas uma das possibilidades de análise de
desempenho é justamente maximizar a realização de determinada tarefa, ou ação,
do agente no meio em que ele e inserido. E é justamente o que ocorre com os
motores de busca na internet, que serão analisados no decorrer da presente
pesquisa. De acordo com os especialistas em I.A
(...) Como regra geral, é melhor projetar medidas de

desempenho de acordo com o resultado realmente
desejado no ambiente, em vez de criá-las de acordo
com o comportamento esperado do agente(..)Para cada
sequência de percepção possível, um agente racional
deve selecionar uma ação que se espera venha a
maximizar sua medida de desempenho, dada a
evidência fornecida pela sequência de percepções e por
qualquer conhecimento interno do agente29.
O sobre o critério de racionalidade, analisado pelos cientistas Stuart Russell e

Peter Norvig, existem quatro fatores: (i) a medida de desempenho que define o
critério de sucesso; (ii) o conhecimento prévio que o agente tem do ambiente; (iii) as
ações que o agente pode executar e, (iv) a sequência de percepções do agente até
o momento.
E justamente são esses fatores que, quando os algoritmos de padrões de

comportamentos utilizam em sua tomada de decisão, que podem influenciar o meio
e os padrões de utilização da internet e critérios de busca. Outro aspecto importante,
que deve ser analisado do ponto de vista jurídico da utilização dos algoritmos, é que
os agentes racionais fazem as escolhas dependendo da sequência de percepção
29
27
que possuem, até o momento da decisão. E este conceito está relacionado com as
chamadas “ações com finalidade de modificar percepções futuras” (também
conhecida por coleta de informações) . E o desenvolvimento do desenvolvimento de
aprendizado das máquinas (Machine Learning ou M2M) é de fundamental
importância para a I.A, pois permite que os agentes inteligentes possam aprender
com as percepções que, a partir da configuração inicial da programação do agente,
é permitido à ele coletar as informações do meio e desenvolver aprendizados
próprios, através de suas percepções.
Quando analisamos a importância da I.A para a coleta de dados que, quando

agregados formam informações, até gerar o conhecimento, é salutar que os
algoritmos que orientam os padrões de coleta dos dados, devam ser analisados
quanto à uma potencial ameaça à tutela dos direitos fundamentais. Isso porque os
dados agregados, quando coletados de forma volumosa, geram o conceito de Big
Data Analytics, podem influenciar na padronização de informações, correlações e
associações. Existem critérios para avaliar o Big Data, dentre o eles aquele que
congrega “velocidade, variedade, volume e valor” (conhecido como “4Vs”) 30 . Para
termos uma dimensão sobre qual a abrangência e importância dos algoritmos e da
I.A, para a percepção do meio em que estão inseridos,
(...) em recente entrevista, o professor Martin Hilbert,

considerado um dos especialistas de big data, afirma
que, com 150 “curtidas”, determinados algoritmos
podem saber mais sobre uma pessoa do que o seu
companheiro e que, com 250 “curtidas”, os algoritmos
podem saber mais sobre uma pessoa do que ela
própria(...)31
30
Fonte: https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/big-data-e-
impactos-sobre-a-analise-concorrencial-28112017. Acesso em 04 de março de 2021.
31
Fonte: https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/big-data-e-
impactos-sobre-a-analise-concorrencial-28112017. Acesso em 04 de março de 2021.
28
Em sistemas abertos as regras de decisão pré-estabelecidas serão
normalmente lacunosas, uma vez que nem todas as situações da vida podem ser
previstas e traduzidas por um algoritmo em um determinado comportamento, e
porque o sistema durante a sua própria execução, aprende de forma autônoma”. E a
execução do programa do agente é justamente a implementação concreta desta
função.
Muito se fala em favor de que o fornecedor de agentes de software na internet,

que expõe outras pessoas a risco, “normais” para a proteção de sua personalidade
associados aos algoritmos de mecanismo de busca, sejam já de hoje percebidos
como um risco geral da vida. Tal conceitos podem ser estendidos a outras
aplicações e agente inteligentes.
c) Diretrizes Éticas da União Européia para a Inteligência Artificial Confiável
A Inteligência Artificial, como toda empreitada humana, ao mesmo tempo que

pode trazer benefícios para a sociedade, também pode acarretar impactos, riscos e
erros que podem ter consequências negativas para o indivíduo e a coletividade. De
acordo com esta Diretriz da União Européia 32 , para que que uma I.A seja confiável
ela deve, primeiramente, constar três características iniciais: (i) legal: cumprir toda a
legislação e regulamentação aplicável; (ii) ética: observar princípios e valores éticos
e; (iii) sólida: deve ter solidez técnica e social. O desenvolvimento de uma I.A em
que os indivíduos possam confiar, é de suma importância tanto para a indústria
tecnológica, quanto para os indivíduos. A ausência de confiança pode levar a um
ambiente de incerteza e desconfiança, que certamente não será positivo para a
sociedade, que poderiam ameaçar os ganhos econômicos e sociais que esta
tecnologia poderia viabilizar.
Em relação ao aspecto ético, segundo a Diretriz da U.E, o desenvolvimento

ético de uma I.A está atrelado aos conceitos de uma sociedade democrática, tais
32
Fonte: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai. Acesso
05 de março de 2021
29
como contribuir para a qualidade de vida dos indivíduos, autonomia e liberdade das
pessoas. E a I.A pode cumprir estes desafios, gerando prosperidade, gerando valor
e maximizando os ganhos econômicos possíveis. Ou seja, distribuindo as
oportunidades econômicos, sociais e políticas – mas para isso se faz necessário que
a I.A produza um impacto equitativo na vida dos indivíduos,
(...) pretendemos contribuir para esse esforço mediante

a introdução do conceito de IA de confiança, que
acreditamos ser a forma correta de construir um futuro
com inteligência artificial. Um futuro em que a
democracia, o Estado de direito e os direitos
fundamentais estão subjacentes aos sistemas de IA, e
em que estes últimos melhoram e defendem
continuamente a cultura democrática, também permitirá
criar um ambiente em que a inovação e a
competitividade responsável poderão prosperar (...)33
No que diz respeito à uma abordagem ética da I.A, baseada nos direitos
fundamentais, a Diretriz da U.E menciona o histórico normativo do continente
europeu, bem como do direito internacional. Os direitos fundamentais estão
descritos na Carta da U.E, e todos os países daquele continente devem respeitar a
dignidade, liberdades, igualdade, solidariedade, enfim aos direitos dos cidadãos e à
justiça. Mas o que, de fato, faz os direitos fundamentais serem vinculativos aos
Estados-membros da União Europeia, é a Convenção Europeia dos Direitos
Humanos. Sendo assim, a tutela dos direitos humanos na aplicação da I.A está
relacionada tanto ao aspecto legal quanto à garantia dos valores éticos.
Nesta Diretriz da U.E, existe uma análise de cada direito fundamental e

a sua devida tutela que a Inteligência Artificial deve respeitar. Em relação ao
princípio da dignidade da pessoa humana, todas as pessoas devem ser respeitadas
em sua integridade, não cabendo ás aplicações da I.A resumirem a existência
humana a meras análises de dados segmentados e classificados, mas sim respeitar
a integridade física e mental dos indivíduos e a sua identidade pessoal e cultural.
33
Idem
30
Sobre a liberdade do indivíduo e a interação com a I.A, a utilização dessas
tecnologias não pode atuar, de forma coercitiva (mesmo que de forma indireta),
ameaçando a autonomia individual das pessoas, nem a liberdade de expressão, de
reunião e associação entre as pessoas.
Ainda analisando de forma pormenorizada a garantia dos direitos

fundamentais face á utilização da I.A, em relação ao respeito à democracia, justiça e
ao estado de Direito, os sistemas de Inteligência Artificial devem respeitar as
escolhas políticos-ideológicos dos indivíduos, tão pouco comprometer o processo
democrático e/ou sistemas de votações. Especialmente sobre a justiça e o Estado
de Direito, a utilização das I.A devem respeitar os regulamentos, além de colaborar,
no que for possível, o desenrolar de um processo justo e garantia de acesso
igualitário ao Poder Judiciário.
Um dos aspectos, inclusive que será analisado de forma mais

aprofundado neste trabalho de pesquisa, diz respeito à igualdade e não
discriminação. A Diretriz da U.E diz que traz à tona questão relativas ao impacto que
a utilização dos sistemas de I.A pode ter na garantia da igualdade e não
discriminação, vejamos
(...) Num contexto de IA, a igualdade implica que as

operações do sistema não podem gerar resultados
injustamente tendenciosos (....) Tal exige que as
pessoas e os grupos potencialmente vulneráveis, tais
como trabalhadores, mulheres, pessoas com
deficiência, minorias étnicas, crianças, consumidores,
ou outras pessoas em risco de exclusão, sejam
devidamente respeitados (...)34
Por fim, a I.A pode contribuir para o aumento dos indivíduos ao acesso às
informações e documentos públicos. A utilização desses sistemas pode atuar de
34
Fonte: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai. Acesso
05 de março de 2021
31
forma construtiva para aprimorar o acesso dos indivíduos aos serviços públicos,
inclusive aprimorando a eficiência das administrações públicas.
Sobre os princípios éticos que, segundo a Diretriz da U.E, a Inteligência

Artificial deve seguir são: (i) respeito da autonomia humana; (ii) prevenção de danos;
(iii) equidade e; (iv) explicabilidade, que serão sintetizados abaixo:
(i) autonomia humana: Os indivíduos, ao interagirem com os sistemas de

I.A, devem ter garantidos a autodeterminação plena e efetiva, que não
devem condicionar, manipular, coagir ou subordinar os seres humanos.
Ou seja, as aplicações de I.A devem ser centradas nas pessoas,
deixando ao indivíduo uma significativa oportunidade de exercerem o
seu poder de escolha. Para garantir esses aspectos e autonomia do
indivíduo, a I.A deve ser subordinada à supervisão de pessoas, de
forma a garantir sempre a oportunidade de ser alterada qualquer
decisão que ameace a autonomia do indivíduo. A supervisão pode ser
realizada mediante mecanismos de governação como as abordagens
de intervenção humana (human-in-the-loop — HITL), de fiscalização
humana (human-on-the-loop — HOTL), ou de controlo humano
(human-in-command — HIC) 35;
(ii) prevenção de danos: a utilização e desenvolvimento da I.A não devem

causar danos, ou agravá-los, tão pouco ameaçar a dignidade da
pessoa humana, e a integridade física e mental dos indivíduos;
35
A abordagem HITL refere-se à capacidade de intervenção humana em todos os ciclos de decisão
do sistema, a qual, em muitos casos, não é possível nem desejável. A abordagem HOTL refere-se à
capacidade de intervenção humana durante o ciclo de concepção do sistema e de acompanhamento
do funcionamento do sistema. A abordagem HIC refere-se à capacidade de supervisionar toda a
atividade do sistema de IA (incluindo o seu impacto económico, social, jurídico e ético) e de decidir
quando e como utilizar o sistema em qualquer situação específica. Tal pode incluir a decisão de não
utilizar um sistema de IA numa determinada situação, de estabelecer níveis de apreciação humana
durante a utilização do sistema, ou de assegurar a capacidade de anular uma decisão tomada por um
sistema.
32
(iii) equidade: este conceito deve garantir a inexistência de enviesamentos
injustos, discriminação e estigmatização social contra pessoas ou
grupos, feitos pela I.A. Inclusive, estes conceitos serão analisados de
forma mais aprofundada no trabalho da presente pesquisa, quando da
análise da utilização dos algoritmos BIAS. Um dos principais desafios
daqueles que desenvolvem as aplicações e sistemas de I.A é
justamente garantir o equilíbrio entre os interesses e objetivos finais,
que justificam o desenvolvimento destas aplicações, deve ser limitado
ao minimamente necessário;
(iv) explicabilidade: está relacionado ao fato dos sistemas de I.A serem

transparentes, e com as decisões explicadas para aqueles que serão
afetados. Mesmos nos casos em que sejam utilizados os algoritmos
que, por questões técnicas, não consiga demonstrar porque um modelo
gerou um determinado resultado, outras medidas de explicabilidade
(como a rastreabilidade, auditabilidade e comunicação transparência).
A gravidade da consequência de um resultado, bem como o contexto
de aplicação do sistema de I.A, deve ser considerado a para o grau de
necessidade de explicabildiade.
De fato, a utilização dos sistemas de I.A podem beneficiar as pessoas, mas

também podem ameaçar a defesa dos direitos fundamentais. De acordo com a
Diretiva da U.E, nas situações em que ocorrerem tal ameaça, antes dos sistemas
serem desenvolvidos, devem ser realizada uma avaliação do impacto nos direitos
fundamentais. Nesta avaliação, deve ser analisado a possibilidade de reduzir ou
justificar esses riscos na medida do necessário, respeitando os direitos e as
liberdades individuais.
Sobre a ameaça à autodeterminação dos indivíduos, a Diretiva sugere que,

quando as decisões dos sistemas de I.A tenha efeitos jurídicos na autodeterminação
dos indivíduos, as decisões não sejam tomadas tendo por base exclusivamente o
33
tratamento automatizado. Já sobre o enviesamento e não discriminação, os
conjuntos de dados utilizados pelos sistemas de IA
(...) podem ser afetados pela inclusão de desvios

históricos inadvertidos, bem como por lacunas e por
maus modelos (...) A manutenção de tais desvios pode
dar origem a discriminação e preconceitos (in)diretos
não intencionais contra determinados grupos ou
pessoas, agravando o preconceito e a marginalização.
A exploração intencional de preconceitos já existentes
(entre os consumidores) e as práticas de concorrência
desleal, tais como a homogeneização dos preços
através de conluios ou da falta de transparência do
mercado, também podem causar danos. O
enviesamento identificável e discriminatório deve ser
eliminado na fase de recolha de dados, sempre que
possível. A forma como os sistemas de IA são
desenvolvidos, como a programação de algoritmos,
também pode ser afetada por um enviesamento injusto.
Tal pode ser combatido mediante a adoção de
processos de supervisão para analisar e abordar a
finalidade, os condicionalismos, os requisitos e as
decisões do sistema de forma clara e transparente (...)36
d) Conceitos fundamentais sobre técnicas de controle algorítmico, de

tecnologia de reconhecimento e de decisões automatizadas
A estrutura sequencial de um algoritmo é aquela que realiza comandos que serão

executados em uma sequência que foi predeterminada, em que as estruturas de
36
Fonte: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai. p. 26.
Acesso 05 de março de 2021
34
decisão permitam a escolha do caminho que deve ser seguido por um algoritmo
devidos às variáveis condições que serão ofertadas.
As estruturas de repetição de um algoritmo são de fundamental importância,

especialmente devido à sua estrutura sequencial, pois em um algoritmo aparecem
em primeiro lugar as declarações seguidas por comandos que, se não houver
indicação ao contrário, deverão ser executados em uma sequência linear.
Um dos trabalhos mais antigos de Inteligência Artificial tiveram como objetivo criar
as chamadas Redes Neurais Artificiais (também conhecida pelo nome de
computação neural). Desde a década de 1940 os cientistas e estatísticos
especializado no estudo da I.A desenvolveram modelos de sistemas de neurônios
muito detalhistas e realistas, inclusive alguns chegando ao tamanho maior que o
cérebro humano37. As redes neurais permanecem como um dos conceitos são
populares e utilizados na montagem dos sistemas de Inteligência Artificial.
As redes neurais têm a composição de nós, que são conectadas por ligações
direcionadas, em que cada unidade (ou nó), tem um determinado “peso” numérico,
para determinar a força e o sinal de conexão, que são conectados em formato de
rede. Essas redes podem ser “com alimentação para a frente”, em que as conexões
apresentam somente uma direção, e também podem ser “rede recorrente”, em que
ocorre uma espécie de sistema de retroalimentação, que pode gerar um sistema
muito dinâmico que pode apresentar tanto um estado estável quanto um estado
caótico.
Algoritmos de Machine Learning: definição e conceitos
A aplicação de algoritmos é um tema que está diretamente relacionado ao

conceito de Revolução 4.0 e, em especial, a sua aplicação no Direito. A abrangência
é tamanha que países como a Inglaterra, que através de seu Parlamento, passou a
37
RUSSEL, Stuart. NORVIG, Peter. Intleigência artificial. Ed. Elsevier. 2013. P. 634-635
35
averiguar como a Inteligência Artificial e, de modo especial os algoritmos, estão
sendo utilizados cada vez mais nas decisões dos setores público e privado 38 .
É fato que os algoritmos já são utilizados há um tempo considerável,

especialmente na utilização da Internet, mas com o Big Data e o Machine Learning a
sua aplicação tem ampliado e orientado cada vez mais as decisões em aplicativos,
softwares e sistemas de busca. Como aumentou consideravelmente o contato e
utilização dos indivíduos com o mundo virtual, a interação pessoa-algoritmos
também teve crescimento. Mas um dos questionamentos que deve ser feito, que
inclusive foi uma das diretrizes do Relatório de Investigação do Parlamento Inglês, é
até que ponto os algoritmos podem exacerbar, ou reduzir os vieses, nas buscas na
Internet?39 Estaríamos diante de um novo fenômeno em que os indivíduos enxergam
o mundo através das “lentes” dos algoritmos e suas aplicações na Internet e demais
sistemas? Poderiam eles ameaçar os direitos fundamentais? Se tais ameaças
podem ser reais, como pode ser exercido o direito de contestar tais decisões
tomadas pelos algoritmos nas aplicações mais utilizadas na Internet (mecanismos
de busca, redes sociais, sites de compras e ofertas, e demais utilizações)? Caberia
ao Estado promover tal regulação? E como fica a questão da Propriedade Industrial
dos aplicativos? Inclusive, em recente decisão o TRT-RJ determinou que seja feita
uma perícia no algoritmo de um aplicativo de mobilidade urbana, para verificar a tese
de vínculo empregatício40 . Seria possível o desenvolvimento do conceito de
transparência algorítmica?
Para iniciar o desenvolvimento do tema, é necessário tecer breves linhas

sobre o que vem a ser o Algoritmo. Um algoritmo pode ser definido como “(...) um
conjunto de regras que define precisamente uma sequência de operações, para
várias finalidades, tais como modelos de previsão, classificação e especializações
38
Fonte: https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/351.pdf. Acesso em
24 de maio de 2021
39
Fonte: https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/351.pdf. Acesso em
24 de maio de 2021
40
Fonte: https://www.jota.info/tributos-e-empresas/trabalho/uber-vinculo-empregaticio-pericia-
algoritmo-05052021. Acesso em 24 de maio de 2021
36
(...)”41 . Os algoritmos foram criados e são utilizados para solucionar problemas, e
são
(...) um conjunto finito de instruções que, seguidas,

realizam uma tarefa específica (...) com as
seguintes características: 1) input fornecido
externamente; 2) output quantificável produzido; 3)
definiteness, sendo cada instrução clara e
inequívoca; 4) finiteness, terminando após um
número finito de etapas; 5) effectiveness, com cada
instrução sendo básica o suficiente para ser viável
e executada por uma pessoa42
BIAS: o chamado “algoritmo de viés”
O estágio atual da chamada Revolução 4.0, com o exponencial crescimento

da utilização dos dados pessoais e informações dentro do contexto do big data, os
algoritmos assumiram importantes tarefas de análises tanto qualitativas quanto
subjetivas, especialmente quando estas atividades estão relacionadas à
classificação/ranqueamento, monitoramento de atividades e até a criação de perfil
analítico dos indivíduos. Inclusive, os algoritmos têm assumido tarefas importantes
como a análises de informações pretéritas, atuais e chegando à possibilidade de
predizer o futuro.
Com base nos históricos de informações dos indivíduos na utilização da

internet, ou das redes sociais, os algoritmos conseguem antecipar as decisões que
aquele poderá tomar. Até de programações e parâmetros obtidos pelas análises dos
dados pessoais, os algoritmos podem analisar as pessoas, através dos critérios que
41
PEIXOTO, Fabiano Hartmann. SILVA, Roberta Zumblick Martins da. Inteligência artificial e direito
vol. 1. ed. Alteridade. 2019. p. 71
42
PEIXOTO, Fabiano Hartmann. SILVA, Roberta Zumblick Martins da. Inteligência artificial e direito
vol. 1. ed. Alteridade. 2019. p. 71
37
ele é programado, ou até mesmo criando critérios objetivos analíticos pela
Inteligência Artificial. Inclusive, a análise pode ser feita tendo por objetivo a
coletividade, coo é o caso da criação do chamado social scoring, desenvolvido pelo
governo chinês43 .
A questão central em relação à potencial ameaça dos algoritmos em relação à

tutela dos direitos fundamentais dos indivíduos é que eles podem realizar atividades
analíticas e preditivas sobre o acesso das pessoas nas várias áreas da vida em
sociedade – desde oportunidade de consumo (inclusive poder utilizar os dados
pessoais dos consumidores para definição de preços de produtos, ou então até
quanto ele estaria disposto a pagar por eles), bem como classificações de “risco
social/possibilidade de delinquir” e de crédito, além de classificar os indivíduos em
segmentos de acordo com os seus dados pessoais e padrões de comportamento de
utilização da internet, e mesmo no ambiente off-line.
Além das questões econômica e de acesso a produtos, mencionada no

parágrafo anterior, existem outras aplicações dos algoritmos em que se faz salutar
analisar o risco à tutela dos direitos fundamentais. A presente pesquisa fez a análise
de um Estudo de Caso em que o site de buscas Google está sendo questionado
porquê as respostas a determinadas buscas variam de acordo com os critérios de
buscas de diferentes países. O caso em questão foi uma pesquisa realizada pela
DW para verificar como aquele buscador contribui para perpetuar estereótipos
sexistas, uma vez que a pesquisa de imagens do Google exibe imagens
sexualizadas para mulheres de algumas regiões do mundo. No capítulo 5 da
presente pesquisa este caso será analisado com maior profundidade, mas o fato de
as respostas das pesquisas de imagens relacionados à parâmetros femininos e as
respostas a estas pesquisas aparecerem com algumas imagens com caráter
sexistas demonstram que os algoritmos podem influenciar as respostas mesmo
quando a pergunta é a mesma, trocando apenas a nacionalidade das mulheres.
43
O sistema de crédito social da China é um conjunto de bases de dados e iniciativas que monitoram
e avaliam a confiabilidade de pessoas físicas, empresas e entidades governamentais.
Fonte: https://www.scmp.com/economy/china-economy/article/3096090/what-chinas-social-credit-
system-and-why-it-controversial. Acesso em 25 de junho de 2021.
38
Adentrando na esfera política, a possibilidade dos algoritmos servirem aos
interesses do Estado para categorizar os seus cidadãos de acordo com as
convicções políticas, religiosas ou filosóficas, torna a situação ainda mais sensível
principalmente pelo fato de oferecer aos atores políticos a possibilidade de
explorarem as convicções dos indivíduos em sua esfera íntima para os seus
interesse políticos, eleitorais e religiosos. Inclusive, a Lei Geral de Proteção de
Dados Pessoais (LGPD), que dispõe sobre a proteção dos dados pessoais da
pessoa natural, ofereceu maior proteção aos dados pessoais considerados como
sensíveis,
Art. 5º Para os fins desta Lei, considera-se:

(...)
II - dado pessoal sensível: dado pessoal sobre origem
racial ou étnica, convicção religiosa, opinião política,
filiação a sindicato ou a organização de caráter
religioso, filosófico ou político, dado referente à saúde
ou à vida sexual, dado genético ou biométrico, quando
vinculado a uma pessoa natural;
Quis o legislador tutelar com maior grau de proteção os dados pessoais

especialmente suscetíveis de utilização para fins discriminatórios, como
estigmatização, exclusão ou segregação, de modo que seu tratamento atinja a
dignidade dos titulares dos dados (que são as pessoas naturais), lesionando sua
identidade pessoal ou privacidade 44.
Em relação aos sistemas automatizados para a tomada de decisões

preditivas e o risco de continuação das discriminações, um dos parâmetros que
devem ser analisados é o fato da possibilidade dos dados analisados já inseridos
serem discriminatório. Ou seja, a sugestão das decisões preditivas poderá continuar
com os vieses discriminatórios preditivos. Porém, alpem dos dados utilizados, os
44
TEPEDINO, Gustavo. Lei geral de proteção de dados e suas repercussões no direito brasileiro. Ed.
RT. 2019. 223
39
sistemas de predição podem ser altamente discriminatórios e injustos devido a
problemas no próprio algoritmo, bem como no sistema de predição em si 45.
Ao utilizar os algoritmos para as tomadas das decisões, importante destacar

que tais decisões não livra o resultado dos preconceitos, imparcialidade e
discriminações humanas, como é explicado por Solon Barrocas,
(...) a mineração de dados pode reproduzir padrões de

discriminação existentes, herdar prejuízos de antigos
tomadores de decisão, ou simplesmente refletir as
distorções que persistem na nossa sociedade. Pode até
gerar o resultado perverso de exacerbar desigualdades
existentes ao sugerir que determinados grupos que
sofrem desvantagens históricas na verdade “merecem”
um tratamento menos favorável46
Outro fato que torna a situação ainda mais delicada é que os algoritmos são
protegidos pelas legislações de direito à propriedade industrial, o que pode dificultar
as análises dos algoritmos de vieses.
A entrada desses algoritmos de vieses que podem gerar resultados com

potencial discriminatório possui 03 estágios. i) o que o algoritmo entende por justiça;
ii) a qualidade dos dados utilizados e; iii) a preparação dos dados.
Em relação ao primeiro estágio, deve ser estabelecidos critérios para

definição de justiça, o que se torna um complexo trabalho principalmente quando
ocorrem colisões de direitos fundamentais. Para verificar se um algoritmo pode ser
considerado justo, uma das primeiras análises que devem ser feitas é constatar se
os seus critérios de análise de risco são justos. Desta forma, é necessário confirmar
45
FRAZÃO, Ana. MULHOLLAND, Caitilin. Inteligência artificial e direito. Ética, regulação e
responsabilidade. Ed. RT. 2019. p. 677.
46
BARROCAS, Solon apud FRAZÃO, Ana. MULHOLLAND, Caitlin. Inteligência artificial e direito.
Ética, regulação e responsabilidade. Ed. RT. 2019. p. 680
40
se os mecanismos de quantificação de pontuação em um modelo podem ser
utilizados em outros grupos e indivíduos, e gerarem resultados semelhantes. O
desafio é justamente quando são analisados dados sensíveis, uma vez que tais
dados, como já explicado anteriormente, tem alto risco de gerar parâmetros
discriminatórios.
Sobre a qualidade dos dados utilizados, os vieses com potencial

discriminatório podem porque os dados coletados e utilizados pelos algoritmos não
representam a realidade, ou se tais algoritmos refletem os preconceitos existentes
na própria sociedade. No caso da ausência da representação da realidade, temos
como exemplo dos polêmicos sistemas de reconhecimento facial. Estudos recentes
mostram que negros estão mais expostos a erros cometidos por esses sistemas de
reconhecimento. Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT)
comprovaram que rostos mais escuros são pouco representados nos conjuntos de
dados usados para “treinar” os equipamentos. A mesma pesquisa concluiu que os
algoritmos classificaram as mulheres de pele escura como sendo homens em 34,7%
dos casos, enquanto o índice de falhas na aferição de homens caucasianos foi
inferior a 1%47 . Os resultados levantam questões sobre como as redes neurais são
treinadas pelas empresas que desenvolvem os softwares. Por meio da inteligência
artificial, esses programas “aprendem” ao analisar toneladas de dados. O problema
é que o material apresentado para a máquina aprender está enviesado. Uma das
companhias avaliadas alega que o sistema tem precisão acima de 97%, mas a base
de dados utilizada para alimentá-lo era composta 77% por homens e 83%,
brancos48.
Ainda sobre o polêmico uso dos sistemas de reconhecimento facial, Preso por
engano, Robert Williams, morador de Michigan, nos EUA, moveu uma ação civil
contra o Departamento de Polícia de Detroit, em que pede indenização por danos e
o banimento da tecnologia de reconhecimento facial no estado. Em 2018, a polícia
47
Para saber mais sobre a pesquisa, acesse https://veja.abril.com.br/tecnologia/empresas-
abandonam-reconhecimento-facial-por-identificacoes-equivocadas/
48
Fonte: https://epocanegocios.globo.com/Tecnologia/noticia/2018/02/softwares-de-reconhecimento-
facial-funcionam-bem-mas-apenas-para-homens-brancos.html Acesso em 22 de junho de 2021.
41
da cidade o identificou, falsamente, como autor do furto de cinco relógios em uma
loja de produtos de luxo, no valor de US$ 3.800, devido ao mau funcionamento do
sistema de reconhecimento facial49 .
Já no casos dos algoritmos refletirem as discriminações existentes na

sociedade, as distorções podem ocorrer devido ao fato dos bancos de dados ou
terem determinados parâmetros de forma demasiada ou negligenciada – ou seja, no
exemplo do reconhecimento facial, ou existiam mais dados facial de determinado
grupo étnico, ou determinados grupos étnicos estavam sub representados.
Na maior parte dos casos a discriminações praticadas pelos algoritmos ocorrem,

primeiramente, no “treinamento” dos mesmos. Ou seja, os algoritmos são
fomentados por dados que já possuem os parâmetros discriminatórios. Os
mecanismos utilizados, e que podem levar às discriminações dos resultados, são: i)
definição do problema; ii) treinamento dos dados; iii) seleção dos dados, utilização
de proxies e masking.
A utilização de softwares que analisam dados em um sistema de predição

relacionado à violência urbana50 , que utiliza um algoritmo de aprendizagem para
calcular previsões relacionadas a tipo de crime, local de crime e data/hora do crime.
Estas informações são utilizadas no chamado cálculo de predição, para criar o
mapeamento de risco urbano, e “prever” onde e quando crimes específicos são mais
propensos a ocorrer. A questão é o risco que, ao utilizar softwares de predição
alimentando a base de dados com informações que, ou por excesso de inclusão de
determinados dados, ou faltando-os (como parâmetros relacionados à questões
étnicas e ou de gênero, por exemplo), os sistemas algoritmos passam a processar
os dados e desenvolver processos de aprendizado com base apenas nessas
informações, retroalimentando-se desses dados. Desta forma, as predições de tais
49
Fonte: https://www.conjur.com.br/2021-abr-26/acao-banimento-tecnologia-reconhecimento-facial-
eua Acesso em 22 de junho de 2021
50
Os sistemas baseados em locais, como os software Predopol e HunchLab, utilizam-se de
informações chamadas de hot spots, que determinam os locais com maior incidência de crimes em
uma cidade.
42
sistemas irão replicar ou um viés preconceituoso que já existe na sociedade ou, por
ausências de dados com uma maior abrangência de possibilidades possíveis, irão
resultar em análises que não refletem a diversidade da sociedade. Ou seja, a própria
seleção dos dados que irão alimentar os algoritmos é uma questão subjetiva, tanto
por utilizar os dados de forma indevida excessiva.
O risco é que a predição possa ter como resultado colocar grupos ditos como
vulneráveis em situação de desvantagem frente aos demais, consolidando o efeito
feedback loop, que é justamente quando os resultados de determinadas predições
consolidam posicionamentos de grupos vulneráveis na sociedade, contribuindo para
a manutenção de estereótipos e preconceitos preexistentes.
Para analisar os riscos de viés (BIAS), em março de 2019 o AI Now Institute da

New York University (NYU), reuniu pesquisadores para discutir o preconceito e a
Inteligência Artificial e quais seriam asa regulações necessárias para manter a
garantia dos direitos fundamentais 51. Dentre as questões sociais analisadas por esta
pesquisa estava o fato da I.A já estar tomando decisões sobre questões de acesso a
oportunidades de emprego, sobre quais indivíduos necessitam de benefícios e
proteções sociais. O desafio apontado por aquela pesquisa é como garantir às
pessoas que não estão inseridas nessas predições não terem o seu acesso
bloqueado à estas situações e benefícios. Ou, ao menos, ter instrumentos sociais
para protegerem e criar mecanismos de acesso.
Outra análise de extrema importância da pesquisa citada foi analisar como os

algoritmos de viés podem auxiliar no reconhecimento de dados sensíveis como
etnia, orientação sexual, gênero, nas análises preditivas. Estas análises são de
suma importância principalmente devido ao fato dos sistemas de I.A quando, ao
determinar quais pessoas devem receber oportunidades e/ou recursos e quais não,
fornecem resultados tendenciosos ou errôneos quando, por exemplo, não
conseguem reconhecer determinados tipos de vozes – como as mais aguda,
predominantemente dos indivíduos do biotipo feminino. O trabalho da pesquisa
51
Para acessar o Relatório da pesquisa na íntegra, acesse https://ainowinstitute.org/disabilitybiasai-
2019.pdf Acesso em 12 de junho de 2021
43
mencionada deu especial destaque para o fato que, até o presente momento, as
análises que examinam o preconceito em sistemas de Inteligência Artificial têm se
concentrado nos eixos de raça e gênero, descobrindo que o preconceito da IA
geralmente prejudica mulheres, negros(as), minorias de relacionadas a orientações
sexuais. Uma situação sensível, e que demonstra o preconceito social, é que
pessoas com necessidade especiais, devido às condições físicas, psicológicas ou
mentais, são excluídas da maioria das análises sobre preconceito e I.A – mesmo
que estas pessoas foram sujeitas à marginalização histórica e atual. Ou seja, este
padrão de marginalização reflete a constatação descrita na presente pesquisa de
que, ao não incluir parâmetros nas análises preditivas, ou no banco de dados que
devem compor a análise algorítmica, tem por consequência enviesar ainda mais os
resultados, uma vez que os resultados não irão considerar tais dados para compor
os possíveis resultados preditivos.
As pessoas que sofreram discriminação no passado são aquelas que,

potencialmente, mais estão expostas a sofrerem danos de I.A tendenciosa e
excludente. Assim, as discriminações são reproduzidas e amplificadas através dos
sistemas de I. A. Além dos dados tendenciosos, os riscos adicionais são
comprovados pelas assimetrias de poder entre aqueles que têm recursos para
projetar e implantar sistemas de I.A e aqueles que são segmentados, classificados e
avaliados por esses sistemas.
Os sistemas de IA modelam o mundo com base nos dados fornecidos, sendo

assim, se algum parâmetro está ausente nesse banco de dados, os resultados não
irão considerá-los em seus resultados. Para comprovar como estas inclusões pode
resultar em danos significativos, a pesquisa realizada pela Universidade de New
York utilizou o exemplo da utilização dos sistemas de I.A para o desenvolvimento da
tecnologia dos veículos autônomos. Se os dados usados para treinar um sistema de
reconhecimento de pedestres não inclui representações de pessoas usando
cadeiras de rodas, por exemplo, é provável que tais pessoas não sejam
44
“reconhecidas” como pedestres52 . Ou seja, os algoritmos tomam decisões sobre
riscos futuros com base em distorções e preconceitos ocorridos no passado 53 .
Como sugerido por Carolina Braga 54 , as soluções seriam: i) controlar as

distorções dos dados utilizados nos treinamentos dos algoritmos; ii) integrar critérios
antidiscriminatórios no classificador do algoritmo; iii) realizar uma pós-verificação dos
modelos de classificação de parâmetros e; iv) modificar as predições e decisões
para manter uma justa proporção dos efeitos entre os grupos protegidos, não
protegidos e vulneráveis. Importa destacar que o preconceito é uma questão social e
não caberia ser resolvido apenas com base na automação algorítmica.
Outro aspecto que realça como os bancos de dados pode ameaçar a tutela dos
direitos fundamentais diz respeito às práticas de discriminação do consumidor em
relação à sua localização geográfica. O desequilíbrio de informações entre o
consumidor e o fornecedor de um determinado produto ou serviço é um dos
principais aspectos que balizam o conceito de hipossuficiência na relação
consumidor-empresa. Além de existir uma assimetria de informações entre esses
dois agentes nesta relação econômica, também existem diferenças entre os
conhecimentos técnicos-científicos, que muitas vezes fazem com que o consumidor
fique cada vez mais dependente dos fornecimentos das informações das empresas
para que possa ter condições de decidir – uma vez que o agente que detém a
totalidade das informações é a empresa que o concebeu. Ainda existem a assimetria
a vulnerabilidade jurídica entre o consumidor e empresa, uma vez que na grande
maioria das situações de consumo aquele é submetido à instrumentos e padrões
contratuais pré-concebidos e padronizados, principalmente através dos contratos de
52
Em 2018, um Uber autônomo no Arizona matou Elaine Herzberg, uma pedestre que estava
empurrando uma bicicleta. Uma investigação recente do National Transportation Safety Board
concluiu que é significativa problemas com o sistema autônomo do Uber, incluindo sua chocante falha
em "reconhecer"pedestres fora das faixas de pedestres. Fonte:
https://ainowinstitute.org/disabilitybiasai-2019.pdf Acesso em 12 de junho de 2021
53
responsabilidade. Ed. RT. 2019. p. 690
54
responsabilidade. Ed. RT. 2019. p. 692
45
adesão. Devido à existência de tais situações assimétricas, se fez necessária a
criação do Código de Defesa do Consumidor, para justamente garantir os direitos
dos consumidores frente à esta relação jurídica com desbalanceamento de poder.
A discriminação no mercado de consumo ocorre quando se diferencia ofertas,

preços, condições de pagamentos, e demais parâmetros de consumo de acordo
com as características dos indivíduos, tais como gênero, etnia, idade, renda e
outros. As relações advindas de relações de crédito, contratação de produtos de
seguros, acesso à planos privados de saúde são conhecidos por utilizarem destas
situações. Porém existe a prática de Geopricing e Geoblocking, que estão sendo
cada vez mais utilizadas pelas empresas, principalmente devido ao grande volume
de dados pessoais dos consumidores, que conseguem acessar.
Por Geopricing é conhecido a prática do fornecedor de produtos e serviços

cobrarem valores distintos, para o mesmo objeto de contratação, tendo por variável
a geolocalização do consumidor55 . É uma forma de discriminação que, utilizando do
critério geográfico, desrespeita os direitos relacionados à privacidade, liberdade de
concorrência direitos do consumidor, e a própria dignidade da pessoa humana.
Inclusive, podem existir situações em que os titulares dos dados pessoais (no caso
em questão são os próprios consumidores), devido ao não conhecimento acerca da
aplicação de seus dados pessoais pelas empresas, ou pelo fato do controlador 56
dos dados pessoais não ter realizado as atividades de tratamento com base em uma
das 10 bases legais de tratamento de dados pessoais permitidas pela LGPD, possa
ser vítima de tratamento de seus dados pessoais de forma abusiva, descumprindo
inclusive os princípios de necessidade, adequação e finalidade de tratamento de
dados pessoais determinados pela LGPD. Com isso o controlador de dados
pessoais, ao utilizar os dados pessoais dos titulares para prejudicá-lo, uma vez que
a sua geolocalização será um dos critérios determinantes na precificação das
mercadorias, terá a licitude do tratamento dos dados pessoais comprometida, uma
55
JÚNIOR, Marcos Ehrhardt. CATALAN, Marcos. MALHEIROS, Pablo. Direito civil e tecnologia. Ed.
Forum. 2021. p. 288
56
A LGPD conceitua como controlador dos dados o agente de tratamento que toma as decisões
sobre o que será feito com os dados pessoais coletados.
46
vez que a LGPD tem como um de seus fundamentos da proteção dos dados
pessoais a defesa do direito do consumidor. Inclusive, esta lei supra também dispõe
que os dados pessoais referente ao exercício regular de direitos do titular não
podem ser utilizados em seu prejuízo. Sendo assim, a utilização da geolocalização
para oferecer ofertas de bens e serviços de forma discriminada pode ter a sua
legitimidade contestada, sendo considerada abusiva.
A prática conhecida como Geoblocking é uma prática comercial que também

pode ser considerada como discriminatória, uma vez que bloqueia o acesso à
ofertas de bens e serviços que são oferecidas para outros consumidores, também
de acordo com a sua posição geográfica. Aos consumidores que não recebem a
oferta não é oferecido se quer a oportunidade de visualizar a oferta. Obviamente que
não se enquadra nessa negativa questões relacionadas à impossibilidade de
realização da venda devido a questões relacionadas à logística de entrega dos
produtos, e nem o fato do preço cobrado pelo frete ser maior em locais mais
distantes do local em que a empresa possui seu centro de distribuição. A
discriminação analisada nestas situações é relacionada ao fato das ofertas terem
preços superiores àquelas praticadas pela mesma empresa ou prestador de serviço
apenas baseada no fato do consumidor estar em um local em que os residentes
possuem, em sua maioria, maior poder aquisitivo. Tais práticas discriminatórias,
devido à chamada economia de dados pessoais, impulsionada pelo big data, tem
sido praticada globalmente. Inclusive, a União Europeia editou em 2018 o
Regulamento de Bloqueio Geográfico, que visa evitar a discriminação injustificada
nas vendas online com base na nacionalidade, no local de residência ou no local de
estabelecimento dos clientes no mercado interno 57. Para essas práticas, são
utilizados os algoritmos para conter instruções programadas para oferecer, ou vetar,
ofertas para os consumidores, de acordo com a sua localização geográfica 58 .
57
Para ler este regulamento na íntegra, acesse https://eur-lex.europa.eu/legal-content/PT/TXT/PDF/?
uri=CELEX:32018R0302&from=PT
58
Inclusive, o tema foi objeto de uma Ação Civil Pública nº 0018051-27.2018.8.19.0001, do Ministério
Público do Rio de Janeiro, em face de uma empresa que realizava vendas de passagens aéreas e
acomodações em hotéis através de seu website.
47
Outro exemplo é um estudo do Twitter, onde confirma que o algoritmo tende a
cortar afrodescendentes em fotos 59 . A análise concluiu que um algoritmo criava uma
diferença de 8% em favor das mulheres e de 4% em relação a pessoas brancas.
Entre as razões possíveis para o fenômeno, estão problemas com fundos de
imagens e cor dos olhos. Mas no relatório os pesquisadores ponderaram que a falha
não se justifica. Isso porque algoritmos de aprendizado de máquina, como o usado
pelo Twitter, dependem de vastos conjuntos de dados. Se esses conjuntos de dados
forem ponderados em favor de uma determinada raça, gênero ou qualquer outra
característica humana, o algoritmo resultante pode então refletir esse viés.
O próprio Twitter, em comunicado oficial 60 , diz que começou a usar um algoritmo

de em 2018 para cortar imagens, para aprimorar a utilização de sua plataforma, em
especial garantir que o usuário de seus serviços possa conferir os “Tweets” de forma
mais rápida. O algoritmo funciona estimando o que uma pessoa pode querer ver
primeiro dentro de uma imagem para que o sistema da plataforma possa determinar
como cortar uma imagem para um tamanho facilmente viável. Tais algoritmos são
treinados sobre como o olho humano olha para uma imagem, para priorizar quais
conteúdos são considerados mais relevantes para a maioria das pessoas. O
algoritmo, treinado em dados humanos de rastreamento ocular, prevê uma
pontuação em todas as regiões da imagem e escolhe a de a maior pontuação como
o centro da imagem. Os resultados do Twitter sobre o potencial de enviesamento do
seu algoritmo foi (a paridade demográfica significa que cada imagem tem 50% de
chance de ser saliente):
i. Em comparações entre homens e mulheres, houve diferença de 8% em

relação à paridade demográfica em favor das mulheres;
ii. Em comparações entre indivíduos negros e brancos, houve diferença
de 4% em relação à paridade demográfica em favor dos indivíduos
brancos;
59
Fonte: https://exame.com/tecnologia/twitter-pagara-r-18-mil-para-quem-arrumar-preconceito-racial-
de-algoritmo/ Acesso em 24 de junho de 2021
60
Fonte: https://blog.twitter.com/engineering/en_us/topics/insights/2021/sharing-learnings-about-our-
image-cropping-algorithm Acesso em 24 de junho de 2021
48
iii. Em comparações de mulheres negras e brancas, houve uma diferença
de 7% em relação à paridade demográfica em favor das mulheres
brancas.
A conclusão do Twitter foi que, e, termos qualitativos, a empresa considera o

algoritmo utilizado dentro dos parâmetros de equidade. Mesmo assim, a empresa
afirmou que está trabalhando para que o algoritmo utilizado possa refletir “(...) a
perfeita igualdade entre os subgrupos de raça e gênero (...) 61 . Outra atitude que a
empresa afirma que irá tomar é inicar testes para novas formas técnicas de fotos de,
para dar às pessoas mais controle sobre como suas imagens aparecem, ao mesmo
tempo em que melhoram a experiência das pessoas que viam as imagens em sua
linha do tempo. Depois de obter feedback positivo, lançaram esse recurso para
todos. Esta atualização também inclui uma verdadeira visualização da imagem no
campo do compositor do Tweet, para que os autores do Tweet saibam como seus
Tweets ficarão antes de publicarem62.
e) DIREITOS HUMANOS E PROTEÇÃO DE DADOS PESSOAIS
Breve explanação sobre o Marco Legal Europeu e Norte-Americano de proteção

de dados pessoais;
Com o surgimento da chamada sociedade da informação, o aumento

exponencial da utilização da internet fez com que os dados pessoais passassem a
ser visto não apenas como um atributo do indivíduo, mas também como uma forma
de “mercadoria”. Assim, com o avanço do desenvolvimento e ampliação da internet,
61
Fonte: https://blog.twitter.com/engineering/en_us/topics/insights/2021/sharing-learnings-about-our-
image-cropping-algorithm Acesso em 24 de junho de 2021
62
Idem
49
surgem novos bens jurídicos que devem ser tutelados para garantir a dignidade do
indivíduo63.
Apenas após a Segunda Guerra Mundial que o conceito de privacidade foi

tutelado como um dos direitos fundamentais. No ano de 1948, na Declaração
Americana dos Direitos e Deveres do Homem438, foi quando apareceu pela primeira
vez nas declarações internacionais. Nesta Declaração, em seu Capítulo Primeiro, os
artigos V, IX e X tratam sobre a tutela de direitos humanos relacionados à
privacidade, conceitos basilares para a proteção de dados pessoais que seriam
tutelados pelas leis de proteção de dados pessoais ao longo do século XX em
diversos países64.
A disciplina jurídica da proteção de dados pessoais vem sendo construída há,

ao menos, cinco décadas. A Lei de Proteção de Dados do Land alemão de Hesse,1
de 1970, é identificada como o primeiro diploma normativo que trata especificamente
dessa matéria, e hoje cerca de 140 países contém uma legislação específica sobre
proteção de dados pessoais65 .
Importante ressaltar que as leis de proteção de dados pessoais tiveram uma

grande influência do marco regulatório europeu, muito embora as primeiras
legislações ocorreram nos Estados Unidos, como explica o jurista Danilo Doneda,
devido ao crescimento da automatização do processamento dos dados pessoais e
dos bancos de dados,
(...) a herança mais sistemática (...) é o relatório

compilado em 1973 pelo Department of Health,
63
FONSECA, Marcos De. ALEIXO, Elvis Brassaroto. DELLOVA, Pietro Nardella. A aplicação do
postulado da proporcionalidade de princípios na tutela dos bens jurídicos na sociedade informacional.
Revista de Direito Civil, ISSN 2596-2337, v. 3, n.1, jan./jun. 2021. p. 245
64
FONSECA, Marcos De. ALEIXO, Elvis Brassaroto. DELLOVA, Pietro Nardella. A aplicação do
postulado da proporcionalidade de princípios na tutela dos bens jurídicos na sociedade informacional.
Revista de Direito Civil, ISSN 2596-2337, v. 3, n.1, jan./jun. 2021. p. 253
65
MENDES, Laura Schertel. DONEDA, Danilo. SARLET, Ingo Wolfgang. JÚNIOR Otavio Luiz
Rodrigues. BIONI, Bruno. Tratado de proteção de dados pessoais. Ed. GEN. 2021. p. 22
50
Education and Welfare – HEW, (…) no qual se propõe a
observância dos “princípios para o tratamento leal da
informação” que, além de sugerir fortemente a adoção
de uma normativa federal para a proteção de dados nos
Estados Unidos, enunciou alguns dos princípios que,
até hoje, formam a espinha dorsal da grande maioria
dos marcos regulatórios de proteção de dados, como os
princípios da finalidade, livre acesso, transparência,
segurança e qualidade/correção66.
Desde então, diversos países iniciaram o debate sobre a necessidade da

proteção dos dados pessoais de seus cidadãos, e em 1983 o Tribunal Constitucional
alemão, analisando uma lei sobre o censo alemão de 1982, reconheceu a proteção
dos dados pessoais como uma garantia constitucional daquele país. Além de
aprofundar a análise sobre as questões relacionadas à privacidade e intimidade do
indivíduo, aquele Tribunal frisou que o maciço acesso aos dados pessoais dos
indivíduos poderia ser uma ameaça ás garantias e liberdades civis.
Em 1995, foi publicada a Diretiva 95/45/CE, que regulamentava a proteção dos

dados dos europeus, e a sua livre circulação dos dados nos países europeus. Tal
Diretiva foi a pedra angular para o RGDP (ou, na sigla em língua inglesa, GDPR),
que foi o Regulamento Geral de Proteção de Dados 67.
f) A LEI GERAL DE PROTEÇÃO DE DADOS E A TUTELA DOS DIREITOS

FUNDAMENTAIS
A Lei nº 13.709/2018 - Lei Geral de Proteção de Dados Pessoais (LGPD) teve

inspiração nos regulamentos europeus, em especial o RGPD da União Europeia.
Teve como principais objetivos regulamentar o “(...) tratamento de dados pessoais,
66
MENDES, Laura Schertel. DONEDA, Danilo. SARLET, Ingo Wolfgang. JÚNIOR Otavio Luiz
Rodrigues. BIONI, Bruno. Tratado de proteção de dados pessoais. Ed. GEN. 2021. p. 23
67
Para maiores informações sobre o RGPD, acesse
https://eur-lex.europa.eu/legal-content/PT/TXT/HTML/?uri=CELEX:32016R0679&-from=EN
51
analógicos ou digitais, por entes públicos ou privados, como o objetivo de proteger
os direitos fundamentais de liberdade e de privacidade e a livre desenvolvimento da
personalidade do indivíduo”68. Outro aspecto importante, e que também foi tutelado
por esta lei, foi o conceito de autonomia informação, que trata justamente da decisão
do indivíduo de dispor, ou não, de seus dados pessoais a terceiros, desde que
respeitadas as hipóteses de exceção determinadas pela própria LGPD 69.
Tal lei é de caráter principiológico, determinando mais aspectos e clausulas

gerais. Os primeiros artigos da LGPD estabelecem os valores e princípios 70 que
68
BRANCHER, Paulo Marcos Rodrigues. BEPPU, Ana Claudia. Proteção de dados pessoais no
Brasil. Uma nova visão a partir da Lei nº 13.709/2018. Ed. Forum. 2019. p. 67
69
Como as atividades de tratamento de dados pessoais para cumprimento de obrigações jurídicos-
regulatórias. Mesmo que o titular se oponha a tais atividades de tratamento dos seus dados, o agente
de tratamento (Controlador ou Operador) devem realizá-las, uma vez que necessitam cumprir com
tais obrigações determinadas, ou pelo ordenamento jurídico pátrio, ou pelo regulador a que se
submete.
70
Art. 6º As atividades de tratamento de dados pessoais deverão observar a boa-fé e os seguintes
princípios:
I - finalidade: realização do tratamento para propósitos legítimos, específicos, explícitos e informados
ao titular, sem possibilidade de tratamento posterior de forma incompatível com essas finalidades;
II - adequação: compatibilidade do tratamento com as finalidades informadas ao titular, de acordo
com o contexto do tratamento;
III - necessidade: limitação do tratamento ao mínimo necessário para a realização de suas
finalidades, com abrangência dos dados pertinentes, proporcionais e não excessivos em relação às
finalidades do tratamento de dados;
IV - livre acesso: garantia, aos titulares, de consulta facilitada e gratuita sobre a forma e a duração do
tratamento, bem como sobre a integralidade de seus dados pessoais;
V - qualidade dos dados: garantia, aos titulares, de exatidão, clareza, relevância e atualização dos
dados, de acordo com a necessidade e para o cumprimento da finalidade de seu tratamento;
VI - transparência: garantia, aos titulares, de informações claras, precisas e facilmente acessíveis
sobre a realização do tratamento e os respectivos agentes de tratamento, observados os segredos
comercial e industrial;
VII - segurança: utilização de medidas técnicas e administrativas aptas a proteger os dados pessoais
de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração,
comunicação ou difusão;
VIII - prevenção: adoção de medidas para prevenir a ocorrência de danos em virtude do tratamento
de dados pessoais;
52
respaldam esta análise, e pela leitura fica evidente que esta legislação disciplina o
respeito à privacidade, autodeterminação informativa, liberdade de expressão, de
informação, de comunicação e opinião, a inviolabilidade da intimidade, da honra e da
imagem.
Muito embora a LGPD ressalte a necessidade da proteção dos direitos de

propriedade industrial e intelectual dos agentes econômicos que realizam as
atividades de tratamento de dados pessoais, consolida que a titularidade dos dados
pessoais é do indivíduo - cujo direito se assemelha ao conceito da indisponibilidade
dos direitos da personalidade do indivíduo. Fica cristalino que o legislador teve o
interesse em tutelar os direitos humanos, o livre desenvolvimento da personalidade,
a dignidade e o exercício da cidadania pelas pessoas naturais no ambiente digital.
As conexões entre o princípio da dignidade da pessoa humana e a construção

doutrinária à um direito fundamental à proteção dos dados pessoais são intensas,
principalmente em seus dois principais pontos de intersecção: o conceito da
autodeterminação e os direitos de personalidade.
Outro ponto que a LGPD destacou grande importância foi a questão dos dados
pessoais sensíveis. O art. 5, II, desta lei diz que dados sensíveis são qualquer “(...)
dados pessoais sobre origem social ou étnica, convicção religiosa, opinião política,
filiação a sindicato ou organização de caráter religioso, filosófico ou político, dado
referente à saúde ou à vida sexual, dado genético, quando vinculado a uma pessoa
natural”. Tais dados, pelos parâmetros que utilizam, podem ter consequências
negativas se utilizados de forma inadequada. Ou seja, é evidente que o legislador
teve a sensibilidade de garantir maior tutela aos dados pessoais que possam
ameaçar os direitos fundamentais, e seguindo a garantia constitucional da não
discriminação e igualdade.
IX - não discriminação: impossibilidade de realização do tratamento para fins discriminatórios ilícitos

ou abusivos;
X - responsabilização e prestação de contas: demonstração, pelo agente, da adoção de medidas
eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados
pessoais e, inclusive, da eficácia dessas medidas.
53
Para comprovar como o tratamento abusivo, e em desconformidade à LGPD,
pode ter reflexos nos direitos fundamentais e livre desenvolvimento do indivíduo, é
necessária uma análise crítica sobre o fenômeno da “Datificação” e do profiling. A
classificação e segmentação dos dados pessoais, em que os indivíduos são
separados de acordo com os parâmetros analisados pela obtenção de seus
respectivos dados pessoais, podem contribuir sobremaneira para o aumento dos
estereótipos e estigmatização dos indivíduos. Com tal ocorrência, não apenas a sua
individualidade e personalidade ficam comprometidas, mas o fato de existirem
algoritmos de vieses (como foi explanado na presente pesquisa), podem além de
comprometer a igualdade de acesso aos indivíduos às mais variáveis oportunidades
econômico-sociais, certamente não contribuir para que ele(a) seja visto junto aos
seus pares em condições simétricas. Ou seja, a chamada “categorização social e
econômica”, com base nas informações e dados pessoais das pessoas, é um dos
desafios que as legislações de proteção de dados pessoais devem regular.
Muito embora o direito à privacidade está relacionado à lógica das liberdades

negativas, em que o titular limite quais fatos da sua vida deveriam ser excluídos do
domínio público71 , o direito à proteção dos dados pessoais consiste em um conceito
de liberdade positiva. Isto porque é garantido ao indivíduo o controle sobre os seus
dados pessoais, dentro da autodeterminação informacional já discorrido pela
presente pesquisa.
A doutrina jurídica conceitua o direito à proteção dos dados pessoais como um

dos direitos relacionados à personalidade do indivíduo, uma vez que
(...) fatos públicos, que a priori não gerariam

preocupação atinente à vida privada podem, quando
agregados a outros fatos (dados), revelar detalhes
precisos sobre a personalidade de um indivíduo. Ocorre
o mesmo com relação á agregação de dados trivais que
71
BIONI, Bruno Ricardo. Proteção de dados pessoais: a função e os limites do consentimento. 2ª
edição. Ed. Gen. 2020. p. 93.
54
permite a extração de informações sensíveis e,
portanto, mais intrusivas dos indivíduos72.
Ou seja, as atividades de tratamento de dados pessoais certamente impactam os

direitos fundamentais dos titulares dos dados, especialmente quando são realizadas
por mecanismos de decisões automatizadas preditivas – como a presente pesquisa
demonstrou. Inclusive, a própria LGPD garante ao titular dos dados o direito a
solicitar a revisão das decisões tomadas unicamente com base em tratamento
automatizado de dados pessoais que afetem os interesses dos titulares - incluídas
aquelas para a definir o seu perfil pessoal, profissional, de consumo e de crédito ou
os aspectos de sua personalidade 73 . Com isso, quis o legislador que a LGPD
protegesse o indivíduo de tratamentos automatizados que pudessem ocasionar
práticas discriminatórias, ameaçando os direitos fundamentais, da personalidade e o
princípio da dignidade da pessoa humana. Vejamos o que o jurista João Carlos
Zanon conceitua sobre a relevância da proteção dos dados pessoais e os direitos da
personalidade,
(...) o direito à proteção dos dados pessoais volta-se à

proteção da pessoa, assegurando-lhe e promovendo-lhe
a dignidade, a paridade, a não discriminação e a
liberdade. Correta, pois, a sua inserção entre os direitos
da personalidade74.
Como conceitua o jurista Danilo Doneda, os dados pessoais além de consolidar

uma nova forma de prolongamento da pessoa, passam a interferir em sua própria
esfera relacional, reclamando, por isso, uma normatização específica.
72
BIONI, Bruno Ricardo. Proteção de dados pessoais: a função e os limites do consentimento. 2ª
edição. Ed. Gen. 2020. p. 95
73
Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com
base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as
decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os
aspectos de sua personalidade.
74
ZANON, João Carlos. Direito à proteção de dados pessoais. Ed. RT. 2013. p. 146-151.
55
g) DIREITOS HUMANOS E INTERNET
Conceito de direitos fundamentais pela ótica de Norberto Bobbio e Robert Alexy
A doutrina tradicional, quando aborda o desenvolvimento do tema dos Direitos

Humanos, geralmente aponta como derivado da ideia do “Direito Natural”
jusnaturalista que, em apertada síntese, sintetiza a ideia de que existem direitos que
são inerentes à natureza humana e à sua própria existência.
Evidente que tal conceito não é uníssono na doutrina, pois para doutrinadores
como o jusfilósofo italiano Norberto Bobbio, os direitos humanos são o produto não
da natureza, mas sim da civilização humana. Enquanto direitos históricos, eles são
mutáveis, suscetíveis de transformação e ampliação 75.
A proteção da pessoa humana ocorre tanto no âmbito internacional, como no

nacional, e recebe diversas denominações – tais como “direitos do homem”, “direitos
fundamentais”, “direitos humanos”, “liberdade individuais”, dentre outras 76. Para
efeitos didáticos e, como trata-se de um trabalho de nível acadêmico de graduação
em Direito, não teremos espaço (e tão pouco é este o objeto do trabalho), para
aprofundar as diferenças entre direitos fundamentais e direitos humanos. Em suma,
quando a doutrina trata do termo “Direitos Humanos”, leva-se em conta os direitos
do indivíduo no âmbito internacional. E, quando fizer menção ao termo “Direitos
Fundamentais”, são os direitos do indivíduo positivado no ordenamento jurídico do
país, em especial, na Constituição, que devem ser considerados. Tal conceito será
mais detalhado dentro do espaço possível nesta pesquisa, sobre tais diferenças
conceituais.
75
BOBBIO, Norberto. “A era dos direitos”. ed. Elsevier. 2017.p. 16
76
ZANINI, Leonardo Estevam de Assis. “Direitos da Personalidade”. editora Saraiva. 2011. p. 51
56
Um dos princípios basilares, se não o principal, para a tutela dos Direitos
Humanos é o Princípio da Dignidade da Pessoa Humana. De acordo com Maria
Celina Bodin, a Alemanha foi um dos primeiros países a, através de sua Corte
Constitucional, tutelar os direitos fundamentais do cidadão frente aos excessos
cometidos pelo Estado Alemão 77 e conceituar, assim, o Princípio da Dignidade da
Pessoa Humana.
Um dos principais motivos deste protagonismo alemão foram as atrocidades

realizadas pelo regime nazista que, nas palavras de Hannah Arendt, ocorreu a
“Banalização do Mal” - onde a conhecida Solução Final levou ao extermínio entre 4,5
e 6 milhões de judeus 78 (e ocorreu o triste fenômeno da despersonificação da
pessoa humana). O leading case “Caso Lüth” , de 1950, é emblemático.
Principalmente quando se pensa em como era o ordenamento jurídico antes deste
julgamento, uma vez que “(...) somente o Estado se subordinava aos comandos
constitucionais, e não os indivíduos (...)” 79.
A Constituição alemã de 1949 (Lei Fundamental – GrundGesetz) exerceu uma

considerável influência na Constituição Brasileira de 1988 80. De acordo com os
ensinamentos do jurista português Canotilho, os direitos fundamentais consagrados
nas cartas constitucionais modernas reconduzem o significado do indivíduo como
“pessoa, como cidadão, como trabalhador e como administrado”
Um dos maiores desafios da Ciência Jurídica, e em especial da doutrina do

Direito Constitucional e Civil, é justamente definir e distinguir quais os atributos
intrínsecos à pessoa humana, ou seja, o que nos torna definitivamente humanos?
Seria nossa capacidade (ou seria necessidade?) de vivermos em sociedade? Seria
nossa autonomia de pensamento? Aliás, temos de fato tal autonomia? Ou Seria a
77
MORAES, Maria Celina Bodin. “Na medida da pessoa humana. Estudos de direito civil-
constitucional”. Editora Processo. 2016. p. 73
78
ARENDT, Hannah. “Eichmann em Jerusalém”. Ed. Companhia das Letras. 23ª reimpressão. 2018.
p. 04
79
Mas para aprofundamentos, sugerimos a leitura da obra de Maria Celina Bodin. “Na medida da
pessoa humana. Estudos de direito civil-constitucional”. Editora Processo. 2016. p. 73-74
80
PIOVESAN, Flávia. “Temas de Direitos Humanos”. Ed. Saraiva Jur. 11ª edição. 2018. p. 613
57
nossa capacidade de comunicação e relacionamento com o meio e espaço? Tais
atributos deveriam ser hierarquizados, ou devemos seguir o exercício da
Ponderação, de acordo com a análise do caso concreto? - como nos ensina o
Mestre Robert Alexy, em sua fundamental obra “Teoria dos Direitos Fundamentais”.
De acordo com o jurista Alexandre de Morais, os direitos fundamentais “(..)

surgiram como produto da fusão de várias fontes, desde tradições arraigadas nas
diversas civilizações, até a conjugação dos pensamentos filosóficos-jurídicos, das
idéias surgidas com o cristianismo e com o direito natural” 81. As conquistas dos
direitos fundamentais podem ser considerada como a defesa dos direitos face ao
poder absoluto dos Estados, principalmente devido ao reconhecimento dos direitos
inerentes à dignidade da pessoa humana após a Declaração de Virgínia de 1777, na
Revolução Francesa e Declaração dos Direitos do Homem, que concretizaram as
ideias liberais dos enciclopedistas iluministas Locke, Rousseau e Adam
Montesquieu. Importa destacar que, como ensinado pelo jurista constitucionalista
José Afonso da Silva,
os direitos fundamentais não são a contraposição dos

cidadãos administrados à atividade pública, como uma
limitação ao Estado, mas sim uma limitação imposta
pela soberania popular aos poderes constituídos do
Estado que dele dependem82
Sobre os ensinamentos do jurista italiano Norberto Bobbio, a presente pesquisa

faz uma relação sobre o contexto histórico em que um direito fundamental deve ser
tutelado. Devido à amplitude da Sociedade da Informação, em especial na utilização
cada vez mais ampla da internet e os mais variados devices, os direitos
fundamentais precisam ser protegido frente á utilização dos meios digitais.
Para ele, os direitos humanos podem ser compreendidos como um produto da
História, em que o desenvolvimento histórico pode ter por consequência as
condições de novos valores e direitos que devem ser protegidos – tal qual o direito à
81
MORAES, Alexandre. Os 10 anos da Constituição Federal. São Paulo: Atlas, 1999, p. 178
82
SILVA, José Afonso da. Curso de direito constitucional positivo. 20. ed. São Paulo: Malheiros, 2001,
p. 17
58
proteção de dados pessoais, por exemplo. Para Bobbio, existem ao todo 05
perspectivas no desenvolvimento dos direitos humanos, e são elas: i) filosófica; ii)
histórica; iii) ética; iv) jurídica e; v) política (BOBBIO, 1991, p. 98).
A relação que esta pesquisa fez foi analisar como os direitos humanos poderiam
ser ameaçados frente ao uso de algoritmos. Poderia o indivíduo flexibilizar os seus
direitos, como por exemplo o direito à privacidade, para utilizar inovações
tecnológicas, ou seria este direito não poderia ser visto de forma flexível?
Cada vez é mais frequente os indivíduos não se preocuparem, ou caso mesmo

que tenha preocupação não tem meios de fazer frente à potencial ameaça, se os
dispositivos que ele utiliza fazer uma invasão à sua intimidade e privacidade. Para
utilizarem estes serviços ou produto, os indivíduos não se incomodariam que seus
dados pessoais sejam utilizados como uma espécie de “moeda de troca”. E quando
analisamos apenas os indivíduos brasileiros, essa despreocupação se mostra ainda
maior, uma vez que 84% dos brasileiros nunca entraram em contato com alguma
empresa para checar como ela utiliza os seus dados pessoais – a média
internacional é de 78%83.
Como discorrido na presente pesquisa, as leis de proteção de dados pessoais

têm como objetivo principal desenvolver o conceito de indivíduo – informação -
privacidade – controle, uma vez que os indivíduos não estão mais incomodados se
as empresas, principalmente as de tecnologias, estão utilizando os seus dados
pessoais, mas sim saber o que, e com quem elas irão compartilhar. Logo, segundo a
ótica dos direitos humanos como um produto histórico de uma sociedade, o desafio
que os juristas tem pela frente é entender se os direitos humanos irão sofre uma
“flexibilização” devido à utilização das tecnologias, ou qual seria o marco legal mais
protetivo para o indivíduo, para a tutela dos direitos humanos sem barrar o
desenvolvimento tecnológico. É um desafio que a sociedade da informação,
juntamente com os juristas, tem pela frente.
Resolução L.20 do Conselho de Direitos Humanos da ONU
83
Fonte: https://www1.folha.uol.com.br/mercado/2021/02/84-dos-brasileiros-nunca-checaram-se-
seus-dados-sao-usados-de-maneira-responsavel.shtml Acesso em 26 de junho de 2021
59
O Assembleia Geral da ONU publicou a Resolução L.20, do Conselho de Direitos
Humanos das Nações Unidas, em 27 de junho de 2016, sobre “Promoção, proteção
e gozo dos direitos humanos na internet”. Esta Organização Internacional, ao
publicar tal Resolução, alertou para a preocupação com os abusos e violações
cometidos contra indivíduos por exercerem seus direitos humanos e liberdades
fundamentais através da internet. Para que a internet possa continuar a ter a sua
característica global, interoperável e aberta, cabe aos Estados responderem às suas
obrigações de garantia de segurança, liberdade de expressão, privacidade e direitos
humanos na utilização da rede. Segundo esta Resolução da ONU, a internet é uma
ferramenta importantíssima e que pode garantir o acesso á livre circulação de ideia,
acesso à educação, cultura e colaborar para o desenvolvimento socioeconômico dos
indivíduos.
Esta Resolução também manifestou preocupação com o fato de alguns países

terem dificultado esta livre circulação de ideias, dificultando o acesso a conteúdo
relacionado á temas de direitos humanos e liberdades civis, além de ameaçarem a
liberdade de expressão, violando leis internacionais de direitos humanos.
As Nações Unidas, através desta Resolução, deixa expresso que os direitos

humanos dos indivíduos devem ser garantidos e refletidos na utilização da internet,
em especial a liberdade de expressão. Outro aspecto salutar recomendado por esta
Resolução é acabar com as diferenças de gênero no uso da internet, uma vez que
esta importante ferramenta deve ser utilizar para promover o chamado
“empoderamento digital” das mulheres. Outros indivíduos vulneráveis, e que também
necessitam de maior tutela do Estado para a utilização da internet são as pessoas
com deficiência, uma vez que necessitam que os sistemas de tecnologia de
informações sejam cada vez mais adaptados às suas necessidades, desenvolvendo
cada vez mais uma internet inclusiva.
Também foi recomendado aos Estados a abordagem de temas relacionados à

Segurança da Informação, especialmente para garantir que as obrigações
internacionais relacionadas aos direitos humanas assumidas pelos Estados sejam
60
refletidas na internet. Desta forma estariam garantidos direitos de liberdade de
expressão, privacidade, intimidade, livre associação e acesso ao desenvolvimento
econômico, de forma a contribuir para a manutenção do Estado de Direito.
A ONU também condenou os abusos e violações de direitos humanos contra

pessoas por exercerem seus direitos humanos na internet, e enfatiza a necessidade
dos Estados em combater o chamado discurso do ódio, discriminação e violência,
promovendo o diálogo e o debate livre de ideias e manifestações de pensamentos.
Por fim, insta todos os Estados a considerarem a possibilidade de formular, por

meio de processos transparentes e inclusivos com a participação de todas as partes
interessadas, a adotarem políticas públicas nacionais relacionadas à Internet que
tenham como objetivo básico o acesso universal e gozo dos direitos humanos.
A Declaração de Toronto
A Declaração de Toronto teve o objetivo de propor instrumentos normativos de

proteção aos direitos humanos, o direito à igualdade e não discriminação em
sistemas de machine learning. A Declaração foi liderada pela organização de
direitos humanos Anistia Internacional e pelo grupo de direitos digitais Access Now,,
e foi publicada em maio de 2018 com a orientação de diversos especialistas,
endossada por muitos grupos da sociedade civil e de pesquisa.
Esta Declaração colocou em relevo a capacidade de tais sistemas facilitarem a

discriminação intencional contra indivíduos ou grupos de pessoas. Define a
discriminação como sendo, como consta no direito internacional, como “qualquer
distinção, exclusão, restrição ou preferência baseada em qualquer fundamento,
como raça, cor, sexo, idioma, religião, opinião política ou outra, origem nacional ou
social, propriedade, nascimento ou outro status, e que tem o propósito ou efeito de
anular ou prejudicar o reconhecimento, gozo ou exercício por todas as pessoas, em
igualdade de condições, de todos os direitos e liberdades” 84.
84
Fonte: https://www.torontodeclaration.org/ Acesso em 23 de junho de 2021
61
Uma das questões centrais que a Declaração de Toronto destaca é que os
padrões de discriminação existentes atualmente na sociedade podem ser
reproduzidos e agravados em situações de utilização de tecnologia, como é o caso
da comunicação M2M (Máquina-a-Máquina)85. Nestas situações, os sistemas de
auto-realização reforçam os padrões de desigualdade ou de usos de conjuntos de
dados tendenciosos. Na presente pesquisa foi explanado acerca dos problemas
ocasionados pela utilização dos algoritmos de vieses (BIAS).
A Declaração de Toronto destaca que a inclusão, diversidade e equidade são

componentes chaves na proteção dos direitos à igualdade e não discriminação, e
devem ser considerados no desenvolvimento das tecnologias M2M para prevenir a
discriminação. Esta pesquisa constatou a importância que os algoritmos de predição
possuem para ameaçar a tutela dos direitos fundamentais dos grupos vulneráveis.
Uma das causas, de acordo com a Declaração de Toronto e também analisados na
presente pesquisa, é que os comportamentos discriminatórios estão presentes nos
indivíduos que desenvolvem as tecnologias, que replicam suas contribuições
limitadas sobre temas sensíveis e suscetíveis de preconceito como raça, gênero,
orientação sexual, desenvolvimento socioeconômico e pensamentos político-
ideológicos ou religiosos. Outra análise que deve ser feita, como já analisado pela
pesquisa, é a programação e treinamento dos algoritmos, bem como os dados
obtidos para construir suas predições.
Desta forma, cabe à sociedade em geral, incluindo os usuários das
tecnologias desenvolvidas, além das empresas donas das propriedades industriais,
as plataformas digitais e redes sociais, programadores e desenvolvedores das
tecnologias assumirem suas responsabilidades para garantir que os direitos
fundamentais não sejam ameaçados, principalmente pelos grupos vulneráveis e
marginalizados pela sociedade.
85
M2M (Machine-to-Machine) refere-se à comunicação de máquina para máquina. Esta tecnologia
vai além da conexão ponto-a-ponto, podendo interligar sistemas de rede, tanto com fio quanto sem
fio, a dispositivos remotos.
Fonte: https://www.teleco.com.br/m2m.asp Acesso em 22 de junho de 2021
62
E esta preocupação não deve ser apenas do setor privado, uma vez que cada
vez mais o setor público tem desenvolvido aplicações e desenvolvimento
tecnológico, seja para implementar políticas públicas, ou para realizar estudos e
pesquisas socioeconômicas. Cabe, especialmente ao Estado, garantir aos
indivíduos o amplo acesso aos instrumentos estatais, sem discriminação e, quando
esta ocorrer, criar mecanismos de saída para garantir a equidade de acesso para
situações de assimetrias econômico-sociais. A Declaração de Toronto determina
que cabe aos Estados realizarem avaliações prévias em que seja considerado os
riscos e impactos que a contratação de tecnologias M2M possam ter frente à
discriminação de grupos vulneráveis, especialmente identificando as fontes
potenciais de discriminação destas tecnologias. Quando identificados os riscos, cabe
ao Estado tomar medidas para mitigar a sub-representação de dados nos sistemas
que irão compor a base de dados que será utilizada pelos algoritmos. Desta forma, a
discriminação poderá ser mitigada. Outro aspecto importante é submeter os
sistemas contratados pelos Estados á auditorias regulares, garantindo revisões em
sistemas que poderiam se retroalimentar e desenvolver parâmetros e algoritmos
discriminatórios que não estavam previstos inicialmente.
Em relação à garantia da transparência, é salutar que os Estados devem

utilizar onde esses tipos de tecnologia é utilizada dentro do Poder Público,
especialmente como é formada a tomada de decisões automatizada, além de
possuir sistemas em que tais atividades sejam registradas. Assim, será garantido ao
individuo a possibilidade de garantir a mitigação dos possíveis atos discriminatórios
ocorridos por tais tecnologias, além de oferecer evidências para que a pessoa possa
comprovar que foi vítima de discriminação. Obviamente que estas informações
devem ser publicadas em uma linguagem clara e apropriada, uma vez que a
utilização de termos e linguagem demasiadamente técnica dificultará tanto a
inteligibilidade do indivíduo, como também será mais uma forma de discriminar
aquele que não tem condições de entender determinados níveis de linguagem. No
que tange à reparação dos danos dos direitos fundamentais quando violados pelas
tecnologias M2M, o Estado tem um importante papel para garantir o acesso a
mecanismos judiciais e extrajudiciais para reparar direitos violados por meios destas
tecnologias.
63
Sobre a responsabilidade dos desenvolvedores desta tecnologia, cabe ao setor
privado identificar os potenciais resultados discriminatórios, tanto aquelas realizadas
de forma direta quanto as realizadas de forma indireta (ou seja, as situações que
podem discriminar os indivíduos como consequência da utilização da tecnologia
desenvolvida). Outro aspecto importante é ter condições buscar a diversidade nos
dados que serão utilizados pelos desenvolvedores das aplicações e, corrigir as
discriminações encontradas – tantos as que ainda estão em fase inicial de
desenvolvimento, quanto aquelas já desenvolvidas e que se encontram em fase de
utilização. Caso os resultados preditivos sejam de alta probabilidade de resultados
discriminatórios, tais algoritmos não devem ser utilizados, uma vez que a
transparência deve ser um princípio perquirido não apenas pelo setor público.
Por fim, a Declaração de Toronto sensibiliza os Estados e aos atores do setor

privado a trabalharem juntos e desempenharem um papel ativo, assumindo
compromissos para o combate a prevenção da discriminação contra indivíduos e
grupos vulneráveis. Os sistemas de tecnologia M2M devem levar em consideração
medidas para promover a responsabilidade e os direitos humanos, incluindo, mas
não se limitando, ao direito à igualdade e à não discriminação, de acordo com suas
obrigações e normas internacionais de direitos humanos.
h) ESTUDO DE CASO
Como a utilização de algoritmos podem violar os direitos humanos
O estudo de caso teve como objeto uma pesquisa realizada pelo canal de mídia
alemão DW86 em que foi analisado se o buscador de imagens do Google exibe
respostas de pesquisas de imagens sexualizadas para mulheres de algumas regiões
do mundo. Estaria as respostas apresentada por aquele buscador contribuindo para
a permanência de estereótipos sexistas femininos? Poderiam mulheres de
determinadas nacionalidades, ao serem pesquisadas no buscador, apresentarem
86
Para maiores informações sobre a pesquisa da DW, acesse https://github.com/dw-data/image-
search#data-analysis . Acesso em 22 de junho de 2021
64
como respostas parâmetros mais sexualizados e sensuais, reproduzindo
estereótipos? De acordo com a pesquisa feita pela DW sim, a ferramenta deste
buscador estaria reproduzindo estereótipos sobre mulheres de certas
nacionalidades.
Ao analisar 20 mil imagens, o resultado daquela pesquisa foi que ao realizar

buscas no banco de imagem daquele buscador com os termos brazilian woman, thai
woman e ukrainian women87 , os resultados das pesquisas apresentavam imagens
mais sensualizadas, com mulheres mais joviais, em situações mais provocantes e,
inclusive, com trajes de banho, do que quando pesquisadas imagens com os termos
american woman e german woman88 . Nestas duas últimas os resultados mais
frequentes estão relacionados à mulheres em situações relacionadas à sua vida
profissional, políticas e atletas.
Devido ao fato da definição sobre o que seria uma imagem sensualizada e de

estereótipo sexista pode ser um caráter subjetivo, a pesquisa da DW utilizou um
programa do próprio Google, que classifica as imagens. Este programa é o Cloud
Vision SafeSearch, que inclusive é utilizado para encontrar imagens com conteúdo
sexual ou ofensivo. Segundo a definição da própria empresa, tais imagens "podem
incluir (mas não são limitadas a) vestuário sumário ou transparente, nudez
estrategicamente coberta, poses lascivas ou provocadoras, ou close-ups de áreas
sensíveis do corpo"89 .
Uma das conclusões desta pesquisa da DW é que as buscas que apresentam

como resultados imagens de mulheres sexualizadas e de estereótipo sexista são
mais comuns quando buscadas mulheres de países latino-americanos. Em países
como a República Dominicana ou o Brasil, mais de 40% das fotos encontradas têm
87
Mulheres brasileiras, mulheres tailandesas e mulheres ucranianas, respectivamente.
88
Mulheres americanas e mulheres alemãs, respectivamente.
89
Fonte: https://www.dw.com/pt-br/como-o-google-contribui-para-perpetuar-estere%C3%B3tipos-
sexistas/a-56789034 Acesso em 23 de junho de 2021
65
probabilidade de ser sexualizadas, enquanto para mulheres americanas ou alemãs a
percentagem é de 4% ou 5%, respectivamente90 .
Outro ponto alarmante que a pesquisa da DW constatou é que as imagens

apresentadas nos resultados das buscas, quando estavam relacionadas à conteúdo
de estereótipo sexista ou sensual, os resultados das imagens contêm links para
páginas que publicam conteúdo que estereotipa não somente as mulheres latino-
americanas, mas também do Leste Europeu e do Sudeste Asiático 91 .
O idioma em que a busca é realizada também determina o resultado das

imagens. Segundo a pesquisa da DW, as buscas em inglês por brazilian women, 41
das primeiras 100 imagens foram classificadas pelo Google como "racy" (sexuais).
Mas quando pesquisado no idioma português (ou seja, a pesquisa era feita pela
expressão “mulher brasileira”), apenas nove resultados das buscas apresentavam
conteúdo sexistas ou estereotipados92 .
Uma das conclusões é que os algoritmos que as chamadas Big Techs 93 utilizam
refletem o conteúdo utilizado e divulgado na própria internet. Ocorre que, devido à
grande concentração de mercado existente especialmente no segmento de
buscadores on line, tais empresas deveriam ter uma regulação para evitar a
90
91
Essa objetificação é muito mais rara para as nacionalidades da Europa Ocidental: de 100
resultados para "alemãs" (sempre na busca em inglês), apenas 16% apresentavam as palavras-
chave sexistas; para "francesas", a taxa foi de 6%. Fonte: https://www.dw.com/pt-br/como-o-google-
contribui-para-perpetuar-estere%C3%B3tipos-sexistas/a-56789034 Acesso em 23 de junho de 2021
92
93
As Big Techs são as grandes empresas de tecnologia que dominaram o mercado nos últimos anos.
Inicialmente pequenas startups, essas organizações, geralmente localizadas no Vale do Silício,
criaram serviços inovadores e disruptivos se utilizando de um modelo de negócios escalável,
dinâmico e ágil. Muitas vezes gratuitos, esses produtos passaram a fazer parte do dia a dia de várias
pessoas, como é o caso dos serviços do Google, da Uber e da Netflix. Fonte:
https://blog.simply.com.br/big-techs-o-que-sao-e-seu-impacto-no-mercado-financeiro/ Acesso em 24
de junho de 2021
66
propagação de tais estereótipos. Obviamente não trata-se de uma tarefa fácil, uma
vez que uma regulamentação neste sentido deveria ter como ponderação o direito a
liberdade de expressão, para evitar a realização de censuras.
Por fim, a DW afirma que questionou o Google sobre como os algoritmos que
enviesavam os resultados mencionados nos parágrafos acima, solicitando maiores
esclarecimentos a respeito deste tema. A DW disse que aquele buscador, se limitou
a emitir uma declaração dizendo que as buscas realmente mostram "conteúdo
explícito ou perturbador [...] incluindo resultados que refletem estereótipos negativos
ou preconceitos existentes na rede (...)". Além disse, afirmou que a presença desse
conteúdo nas repostas das buscas das imagens é afetada pela forma como a
informação é organizada e rotulada na internet, e que “está trabalhando para
encontrar soluções em escalas diversas"94.
De acordo com o estudo de caso mencionado no item anterior, os algoritmos de

vieses podem violar direitos humanos, especialmente quando estão analisando
dados e informações relacionadas á conteúdo que ferem diretamente a dignidade da
pessoa humana, como é o caso da sexualidade, gênero, etnia, informações
socioeconômicas e propagação de estereótipos dos indivíduos.
5. CONCLUSÃO
94
67
O objetivo da presente pesquisa foi analisar se a Inteligência Artificial pode
violar os direitos fundamentais. Após uma análise sobre os conceitos de Inteligência
Artificial, algoritmos, algoritmos de vieses e a sua aplicação na utilização da internet,
podemos comprovar que sim.
No decorrer da pesquisa foram analisados diversos casos em que a utilização

de algoritmos de predição e de vieses podem ameaçar os direitos fundamentais.
Quando um algoritmo consegue induzir as decisões dos indivíduos, bloqueando
acesso á produtos, ou precificando-os de forma distinta entre os indivíduos,
permanecer com estereótipos sexistas e preconceitos raciais, ou priorizar
determinadas etnias nas imagens ou buscas, fica comprovado que a Inteligência
Artificial pode, se utiliza sem a devida acuidade, ameaçar as tutelas dos direitos
fundamentais.
O fato de as próprias empresas de aplicativos assumirem a ocorrência de tais

vieses, e que estão em contínuo desenvolvimento para aprimorar seus produtos e
desenvolverem soluções para sanar tais problemas, deixa cristalino que tal violação
ocorre, e de forma substancial.
Cabe aos desenvolvedores de soluções tecnológicas atentarem cada vez

sobre estes desafios, e criarem programações que incluam uma pré análise para ter
a segurança de que não ocorrerá a violação de direitos fundamentais na utilização
de suas soluções tecnológicas.
Do âmbito jurídico, cabe aos legisladores criarem leis protetivas e que se

ocupem neste tema, tal qual o projeto do Marco Legal da Inteligência Artificial que
atualmente está em tramitação no Congresso Nacional. Evidente que o desafio será
justamente não criar barreiras para o desenvolvimento tecnológico e, inclusive, a
produção de um Marco Legal das Startups, como foi aprovado pelo Congresso
Nacional em 2021, criar uma proteção regulatória para que os desenvolvedores de
tecnologia possam ter a segurança jurídica necessária para desenvolverem suas
soluções, antes da entrada em escala comercial – e que a partir daquele momento
estariam sujeitos ao rigor regulatório.
68
Outro desafio que esta pesquisa analisou foi como a Declaração de Toronto
foi importante para aprimoramento da proteção dos direitos fundamentais e a
Inteligência Artificial. É de suma importância que haja uma interação internacional
entre os diversos players (Estados, empresas, ONG e principalmente as Redes
Sociais) para colocarem na pauta este tema tão importante e salutar para a nossa
sociedade atual. A criação de Standards Regulatórios é salutar, principalmente
devido ao fato das soluções atualmente precisarem ser analisadas globalmente,
uma vez que os mercados estão cada vez mais interconectados e a utilização dos
produtos teme escala de consumo global.
As ciências jurídicas têm cada vez mais analisado que cabem às inovações
tecnológicas, tal qual a aplicação da Inteligência Artificial, estarem submetidas aos
aspectos éticos que regulam o comportamento humano em suas distintas inter-
relações. Que seja em algoritmos de redes sociais, sistemas autônomos de decisão
e as demais aplicações que são objetos de constantes inovações tecnológicas .
Importa frisar que as aplicações tecnológicas não são objeto de estudo somente no
campo das ciências exatas, mas sua análise e implicações éticas na sociedade
também devem ser estudadas nas ciências humanas.
Como a aplicação normativa em situações de desenvolvimento tecnológico é

uma tarefa hercúlia, principalmente devido à necessidade da construção do
arcabouço jurídico regulatório, o processo criativo das inovações tecnológicas não
deve se sobrepor aos princípios éticos, nem muito menos às garantias dos direitos
fundamentais. Do contrário, a sociedade estaria renunciando ao seu passado de
lutas e conquistas sociais, bem como ao aprendizado sobre o tão caro e desumano
é aos indivíduos não terem seus direitos fundamentais minimamente garantidos.
Assim como o indivíduo não foi feito para a máquina, a figura de criador e
criatura não deve ter a correlação de força e decisão ter a polaridade invertida, e
trazer por consequência que a humanidade fique ameaçada por padronizações e
decisões preditivas que reflitam, e polarizem, ainda mais os preconceitos e
discriminações já tão latentes em nossa sociedade atual.
69
A saída existe, uma vez que os próprios desenvolvedores destas aplicações
preditivas já sinalizaram que estas ameaças aos direitos fundamentais e atitudes
discriminatórias dos algoritmos são reais, e que estão investindo em soluções
tecnológicas para sanar estes problemas. Mas cabe aos operadores do direito
continuarem a vigilância, a fim de garantir que os direitos fundamentais não sejam
ameaçados, também, por aqueles que não são seus semelhantes – uma vez que os
indivíduos ainda continuam a ameaçá-los.
REFERÊNCIAS
70
ALCANTARA, Larissa Kakizaki. Big data e internet das coisas: desafios da
privacidade e da proteção de dados no direito digital. 2017.
ALEXY, Robert. Teoria dos direitos fundamentais. 2ª edição. Malheiros Editores.

2017.
BELLEIL, Arnaud. @-Privacidade. O mercado dos dados pessoais: proteção da vida

privada na idade da internet. Instituto Piaget. 2001.
BIONI, Bruno Ricardo. Proteção de Dados Pessoais. A função e os limites do

consentimento. 2ª edição. Ed. Forense. 2020
BRANCO, Paulo Gustavo Gonet. Juízo de ponderação na jurisdição constitucional.

Ed. Saraiva, 2009
CANOTILHO, José Joaquim Gomes. Direito Constitucional. Almedina. 2013
CASTELLS, Manuel. A sociedade em rede. Ed. Paz e Terra. 2018
CORNEM, Thomas. Algoritmos. Teoria e prática. ed. Campus. 2012
PEIXOTO, Fabiano Hartmann. DA SILVA, Roberta Zumblick Martins. Inteligência

artificial e direito. vol. 1. Ed. Alteridade. 2019
DINIZ, Maria Helena. Curso de Direito Civil Brasileiro. Teoria Geral do Direito Civil.
35ª edição. Ed. Saraivajur
DINIZ, Maria Helena. Código civil anotado 18ª edição. Ed. Saraivajur
DONEDA, Danilo. Da privacidade á proteção de dados pessoais. Tese.
FRAZÃO, Ana. Inteligência artificial e direito. ed. RT. 2019

71
JÚNIOR, Marcos. Ehrhardt. CATALAN, Marcos. PABLO. Malheiros. Direito civil e
tecnologia. Ed. Forum. 2021.
JÚNIOR, Nelson Nery. NERY, Rosa Maria de Andrade. Constituição Federal

Comentada. Revistas dos Tribunais. 6ª Edição. 2017
MENDES, Laura Schertel. DONEDA, Danilo. SARLET, Ingo Wolfgang. JÚNIOR

Otavio Luiz Rodrigues. BIONI, Bruno. Tratado de proteção de dados pessoais. Ed.
GEN. 2021
MORAES, Maria Celina Bodin de. Na medida da pessoa humana. Estudos de direito
civil-constitucional. editora processo. 2016
NASCIMENTO, Bárbara Luiz Coutinho do. Liberdade de expressão, honra e

privacidade na internet. A evolução de um conflito entre direitos fundamentais. Rio
de Janeiro. 2010.
NETO, Luisa. Informação e liberdade de expressão na internet e a violação de

direitos fundamentais. Comentários em meio de comunicação on-line. Ed. Incm.
2014.
NORVIG, Peter. Inteligência artificial. Ed. campus. 2013
PINHEIRO, Patrícia Peck. #Direito digital. 6ª edição. Ed. Saraivajur. 2017
PIOVESAN, Flávia. Direitos humanos e justiça internacional 9ª edição. saraivajur.

2019
PIOVESAN, Flávia. Temas de direitos humanos. 11ª edição. saraivajur. 2018
RODOTÀ, Stefano. A vida na sociedade da Vigilância. A privacidade hoje. Ed.

Renovar. 2008.
72
SCHMIDT, Eric. A nova era digital. Ed. Intrínseca. 2013.
SILVA, De Plácido e. Vocabulário Jurídico. Editora Forense. 32ª edição. 2016.
SILVA, Ivan Nunes da. Redes neurais artificiais para engenharia e ciências
aplicadas. Ed. Artlibert. 2016
SILVA, José Afonso da. Curso de Direito Constitucional Positivo. Malheiros Editores.
2019
SILVEIRA, Sergio Amadeu da. Tudo sobre todos. Redes digitais, privacidade e
venda de dados pessoais. Edições Sesc.
TEPEDINO, Gustavo. Autonomia provada, liberdade existencial e direitos

fundamentais. editora fórum. 2019.
TEPEDINO, Gustavo. FRAZÃO, Ana. OLIVA, Milena Donato. Lei geral de proteção
de dados pessoais e suas repercussões no direito brasileiro. Ed. RT. 2019.
WIENER, Norbert. Cibernética ou controle e comunicação no animal e na máquina.

ed. Perspectiva. 1948.
73
74

IA e direitos fundamentais

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

IA e direitos fundamentais

Enviado por

Direitos autorais:

Formatos disponíveis

CENTRO UNIVERSITÁRIO PADRE ANCHIETA

PROGRAMA INSTITUCIONAL DE PESQUISA E INICIAÇÃO CIENTÍFICA

INTELIGÊNCIA ARTIFICIAL E DIREITOS FUNDAMENTAIS: OS

ALGORITMOS PODEM VIOLAR DIREITOS?

Relatório Final apresentado ao Programa

Um dos maiores desafios para os cientistas que desenvolvem a chamada Ciência da

Um dos maiores desafios para os cientistas que desenvolvem a chamada

Desde a Antiguidade Clássica, através da Mitologia Greco-Romana, o ser

Porém, os estudiosos da história da I.A afirmam que o cientista Herão de

No decorrer do século XIX e início do XX foram criados vários experimentos e

A aplicação da I.A na sociedade atual está apenas no início, e a tendência é

É fato que a Ciência da Computação, em especial com o aumento da utilização

Os direitos fundamentais foram fruto de um longo, e muitas vezes sangrento,

A Inteligência Artificial, com a ampliação de utilização e aplicabilidade de seus

Um dos temas mais estudados na inter-relação I.A e Ciências Jurídicas diz

(...)por mais que seja tentador fazer conjecturas

O considerável aprimoramento e avanços tecnológicos da I.A, especialmente as

Para discorrer acercas destes desafios, a presente pesquisa utilizou-se de

Para iniciar o desenvolvimento do tema, será feito uma breve contextualização

Para tanto, será estudado os conceitos básicos sobre rede de computadores e

Adentrando no estudo do tema relacionado aos direitos humanos, num primeiro

Será destinado um capítulo para estudar como o Sistema Internacional das

À guisa de conclusão, serão indicados como a violação de direitos humanos

Para a fundamentação relacionada aos conceitos de Inteligência Artificial,

Além dos Doutrinadores citados, também serão utilizados fragmentos de livros de

Como referencial teórico, serão analisados as legislações brasileiras e

Em relação aos documentos, resoluções e declarações internacionais, será

Os primeiros experimentos autômatos

Como mencionado na introdução desta pesquisa, o interesse pelos

No entanto, o trabalho que ficou reconhecido como o primeiro a conceituar o

Mas o primeiro computador (chamado SNARC), com redes neurais, foi

Propusemos que um estudo de dois meses e dez

Os anos seguintes do desenvolvimento da IA não foram tão promissores

Outro importante marco da evolução histórica do desenvolvimento de IA foi a

Vejamos que a ambição dos cientistas em obter o pleno desenvolvimento da IA

Não é meu objetivo surpreendê-los, ou chocá-los, mas o

Mas é importante destacar que o excesso de otimismo da década de 1950 e

Entre 1969 e 1979 ocorreram grandes desenvolvimentos de sistemas de IA

Já entre na década de 1980, o foco maior foi desenvolver a chamada indústria

A partir do final da década de 1980, a IA se consolidou como uma Ciência,

Na década de 1990 iniciou o processo do que ficou conhecido como o

Quarta Revolução Industrial, Internet das Coisas, Machine Learning e Aplicações de

A “Quarta Revolução Industrial” é conceituada 19 como um novo capítulo da

Evidente que além de propiciar o considerável avanço do desenvolvimento

A Quarta Revolução Industrial traz a possibilidade de impactar positivamente a

Sendo assim, o aumento da interação das pessoas com as aplicações e

(...) normas, regras, expectativas, objetivos, instituições

É fato que todas as Revoluções Industriais trazem consigo alterações

Ou seja, esta breve síntese dos impactos que as diversas “Revoluções

A “Internet das Coisas” (ou IoT – Internet of Things) é um dos principais

As cifras vultuosas demonstram como é grande o potencial de monetização dos

Sobre a necessidade de adequação de normas e regulamentos à essa nova

Outro aspecto da IoT que certamente irá influenciar a “Quarta Revolução

Uma das principais camadas dos dispositivos e equipamentos da IoT é

No curto prazo, a utilização da IoT gera um ganho de eficiência operacional,

Para adotar a IoT em escala industrial, é necessário vencer os seguintes

Conceito de agentes inteligentes

Em linhas gerais, inicialmente o que o conceito de agentes inteligentes busca é

Um dos principais conceitos é justamente como garantir que as decisões

(...) Como regra geral, é melhor projetar medidas de

O sobre o critério de racionalidade, analisado pelos cientistas Stuart Russell e

E justamente são esses fatores que, quando os algoritmos de padrões de

Quando analisamos a importância da I.A para a coleta de dados que, quando