Escolar Documentos
Profissional Documentos
Cultura Documentos
INTELIGÊNCIA ARTIFICIAL E
DIREITO PROCESSUAL: VIESES
ALGORÍTMICOS E OS RISCOS DE
ATRIBUIÇÃO DE FUNÇÃO
DECISÓRIA ...
Dierle Nunes, ProcNet - Rede Internacional de Pesquisa - Justiça Civil e Processo Contemporâneo
Int eligência art ificial e direit o processual: vieses algorít micos e os ricos de at ribuição de funç…
Dierle Nunes, Ana Luiza Marques
INT ELIGÊNCIA ART IFICIAL E DIREIT O: O USO DA T ECNOLOGIA NA GESTÃO DO PROCESSO NO SIST EMA…
Ricardo Dalmaso Marques
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
Dierle Nunes
Doutor em Direito Processual pela PUCMinas/Università degli Studi di Roma “La
Sapienza”. Mestre em Direito Processual pela PUCMinas. Professor permanente do PPGD
da PUCMinas. Professor adjunto na PUCMinas e na UFMG. Secretário Adjunto do Instituto
Brasileiro de Direito Processual. Membro fundador do ABDPC. Membro da International
Association of Procedural Law, do Instituto Panamericano de Derecho Procesal e da
Associação Brasileira de Direito Processual – ABDPRO. Diretor Executivo do Instituto de
Direito Processual – IDPro. Membro da Comissão de Juristas que assessorou no novo
Código de Processo Civil na Câmara dos Deputados. Diretor do Instituto de Direito e
Inteligência Artificial – IDEIA. Advogado. dierle@cron.adv.br.
access to justice, so that we can start thinking about ways to overcome this question, by
means of machine learning and algorithmic accountability.
Keywords: Artificial intelligence (AI) – Civil Procedural Law – Due Process of Law –
Algorithm Bias – Cognitive bias
Sumário:
1 Considerações iniciais
O uso de sistemas de inteligência artificial (IA) é crescente nos mais diversos ramos, em
razão do aumento da eficiência e da precisão dos serviços por eles proporcionado. No
Direito, vislumbra-se também esse fenômeno, com a utilização das soluções das
lawtechs, por exemplo, para otimização de serviços, principalmente no que concerne à
litigância de massa.
Nos Estados Unidos, sistemas de inteligência artificial, como o Ross e o Watson, são
utilizados por escritórios advocatícios para realizar pesquisas jurídicas, analisar
1
documentos, redigir contratos e prever resultados. As vantagens do uso de tal
tecnologia, que proporciona maior rapidez, precisão e qualidade na realização de
trabalhos maçantes e repetitivos, têm feito com que cada vez mais escritórios invistam
em sua utilização.
De acordo com uma pesquisa realizada pela CBRE, cerca de 48% dos escritórios
advocatícios de Londres já utilizam sistemas de inteligência artificial e 41% pretendem
implantá-los. Segundo a pesquisa, a IA é utilizada, principalmente, para gerar e revisar
2
documentos e para a eletronic discovery, mas também tem aplicação relevante na
realização de pesquisas jurídicas e na due diligence – investigação prévia de companhias
3
antes da realização de negócios.
Definir inteligência artificial não é fácil. O campo é tão vasto que não pode ficar restrito a
uma área específica de pesquisa; é um programa multidisciplinar. Se sua ambição era
imitar os processos cognitivos do ser humano, seus objetivos atuais são desenvolver
autômatos que resolvam alguns problemas muito melhor que os humanos, por todos os
meios disponíveis. Assim, a IA chega à encruzilhada de várias disciplinas: ciência da
computação, matemática (lógica, otimização, análise, probabilidades, álgebra linear),
ciência cognitiva sem mencionar o conhecimento especializado dos campos aos quais
queremos aplicá-la. E os algoritmos que o sustentam baseiam-se em abordagens
igualmente variadas: análise semântica, representação simbólica, aprendizagem
estatística ou exploratória, redes neurais e assim por diante. O recente boom da
inteligência artificial se deve a avanços significativos no aprendizado de máquinas. As
técnicas de aprendizado são uma revolução das abordagens históricas da IA: em vez de
programar as regras (geralmente muito mais complexas do que se poderia imaginar)
que governam uma tarefa, agora é possível deixar a máquina descobrir eles mesmos.
Dessa forma, neste trabalho, busca-se averiguar alguns riscos trazidos pela utilização da
IA com função decisória no âmbito do Direito, a partir da análise doutrinária e de
sistemas já implantados.
Esses blindspots podem ser irrelevantes para os resultados pretendidos pelos modelos.
Por outro lado, podem ser ignoradas informações importantes para correta análise da
situação, influenciando negativamente nas respostas dadas pelo sistema. Como alerta
Cathy O’Neil,
Algumas vezes esses pontos cegos não importam. Quando perguntamos ao Google Maps
por direções, ele modela o mundo como uma série de estradas, túneis e pontes. Ele
ignora os prédios, porque não são relevantes para sua tarefa. [...] outros (pontos cegos)
são muito mais problemáticos. O modelo aplicado nas escolas de Washington,
retornando para aquele exemplo, avalia os professores em grande parte com base nas
notas de estudantes nos testes, mas ignora o quanto os professores engajam os
estudantes, trabalham com habilidades específicas, lidam com a gestão da sala de aula
ou ajudam seus alunos com problemas pessoais e familiares. O modelo é muito simples,
sacrificando sua exatidão e diferentes percepções em prol da eficiência. No entanto, do
ponto de vista dos administradores ele fornece uma ferramenta efetiva para investigar
centenas de professores aparentemente com um baixo desempenho, mesmo que se
15
corra o risco de interpretar incorretamente alguns deles.
Além do mais, existe o problema de erros nos dados massivos em face de sua baixa
confiabilidade quando extraídos da Internet (além de conterem lacunas em função de
17
interrupções e perdas). Assim sendo, importante considerar que nem sempre o volume
dos dados inseridos nos sistemas de IA refletirá em uma melhor decisão, visto que sua
qualidade é fator ainda mais relevante.
Nota-se, assim, que, na própria constituição dos sistemas de IA se fazem escolhas que
refletem também as opiniões e prioridades dos criadores, as quais influenciam
diretamente as respostas do sistema. Não se pode ignorar, assim, a impossibilidade de
isenção completa, até mesmo ao se falar de inteligência artificial e de sistemas que,
muitas vezes, são tratados como universais e “desenviesados”, porquanto o ponto de
partida é sempre uma atividade humana de seleção de informações e dados, os quais
refletem, também, o contexto social de quem os produziu. E tal preocupação se liga
diretamente ao estudo dos vieses cognitivos (cognitive biases).
E todo esse quadro, vem passando ao largo de muitas das iniciativas narradas no
princípio do presente ensaio no campo do Direito ao se usar algoritmos de IA para
“auxiliar” o trabalho de tribunais e de profissionais jurídicos em geral. Os imperativos de
eficiência do neoliberalismo processual e o próprio desconhecimento da virada
tecnológica no direito vêm induzindo um encantamento com as potenciais simplificações
de atividades jurídicas sem que se gere ao mesmo tempo a fixação de critérios de
respeito a pressupostos jurídicos essenciais, como aqueles inerentes ao devido processo
constitucional, que possam controlar o uso inadequado dessas novas ferramentas na
atuação jurídica.
Página 7
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
12. Realça o princípio da transparência, nomeadamente o facto de que deve ser sempre
possível fundamentar qualquer decisão tomada com recurso a inteligência artificial que
possa ter um impacto substancial sobre a vida de uma ou mais pessoas; considera que
deve ser sempre possível reduzir a computação realizada por sistemas de IA a uma
forma compreensível para os seres humanos; considera que os robôs avançados
deveriam ser dotados de uma “caixa preta” com dados sobre todas as operações
realizadas pela máquina, incluindo os passos da lógica que conduziu à formulação das
31
suas decisões.
A questão dos vieses já vem sendo discutida no âmbito do Direito há algum tempo,
especialmente em relação às decisões judiciais. Como já pontuado, os vieses cognitivos
são características inerentes ao ser humano, vez que nosso cérebro possui recursos
cognitivos limitados e, por isso, cria “atalhos” para a tomada de decisões, de modo a
32
utilizá-los de maneira mais eficiente. Contudo, quando afetam a tomada de decisões
por parte dos juízes, tais vieses são extremamente danosos, pois fatores que não
deveriam interferir no julgamento são levados em consideração, ainda que de forma
33
inconsciente.
Há, ainda, diversos outros vieses que influenciam nosso modo de pensar e decidir, como
o viés social – pelo qual formamos impressões sobre as pessoas com base no grupo
social em que se inserem –, o “efeito de ancoragem” (anchoring effect), que implica
dificuldade de se afastar de uma primeira impressão ou de um primeiro dado que nos é
35
fornecido, o viés de conformidade, segundo o qual as pessoas de um grupo tendem a
evitar o dissenso e aderir à opinião da maioria.
36
Apesar de já existirem diversos estudos sobre os vieses cognitivos, há muitas
dificuldades ao lidar com o tema, porquanto muitos dos julgadores ainda se consideram
37 38
imparciais e não desenvolvem técnicas capazes de superar o enviesamento – as
39
técnicas de “desenviesamento” ou debiasing. O mesmo fenômeno pode ser verificado
nas ferramentas de IA que, conforme previamente exposto, são consideradas por muitos
como isentas.
Há, contudo, um agravante: as decisões tomadas por humano são impugnáveis, pois é
possível delimitar os fatores que ensejaram determinada resposta e o próprio decisor
deve ofertar o iter que o induziu a tal resposta (arts. 93, IX, CF/1988 (LGL\1988\3) e
489 do CPC (LGL\2015\1656)). Por outro lado, os algoritmos utilizados nas ferramentas
de inteligência artificial são obscuros para a maior parte da população – algumas vezes
40
até para seus programadores – o que os torna, de certa forma, inatacáveis. Em função
disso, a atribuição de função decisória aos sistemas de inteligência artificial torna-se
especialmente problemática no âmbito do Direito.
Não se nega que a utilização de máquinas pode trazer diversos benefícios à prática
jurídica. Conforme exposto no início deste trabalho, a implementação de sistemas de IA
para realização de pesquisas, classificação e organização de informações, vinculação de
casos a precedentes e elaboração de contratos tem se mostrado efetiva na prática por
proporcionar maior celeridade e precisão. Todavia, atribuir-lhes a função de tomar
decisões, atuando de forma equivalente a um juíz, pode significar a ampliação ainda
maior de desigualdades que permeiam nosso sistema Judiciário, respaldando-o,
ademais, com um decisionismo tecnológico.
Isso porque, por mais enviesadas que sejam as decisões proferidas por juízes, sempre
se tem certo grau de acesso aos motivos (mesmo errados, subjetivos ou enviesados)
que os levaram a adotar determinada posição, pois, ainda que decidam consciente ou
inconscientemente por razões implícitas, suas decisões devem ser fundamentadas.
Assim, em todos os casos, os afetados podem impugná-las e discuti-las.
Por sua vez, os resultados alcançados por sistemas de inteligência artificial, conforme
abordado anteriormente, são indiscutíveis por aqueles que desconhecem o algoritmo e
seu funcionamento, como é o caso de advogados, juízes e membros do Ministério
Público. Atento a essa questão, o instituto de pesquisa AI Now, da Universidade de Nova
York, fez a seguinte recomendação em seu relatório apresentado no ano de 2017:
Apesar de tais alertas, a Suprema Corte de Wisconsin discutiu, no caso State v. Loomis,
a utilização do sistema COMPAS – algoritmo para análise de risco dos acusados –, tendo
entendido que o uso de tal sistema não violava o direito do acusado ao devido processo,
apesar da metodologia utilizada para o cálculo do índice ser indecifrável para os juízes e
43
para o réu.
[...] como toda tecnologia, seu crescimento pode se tornar exponencial e já foram
colocadas em discussão diversas ideias para a ampliação de suas habilidades. O objetivo
inicial é aumentar a velocidade de tramitação dos processos por meio da utilização da
45
tecnologia para auxiliar o trabalho do Supremo Tribunal.
Nesse sentido, importante considerar o alerta feito por Harry Surden, professor de
Direito da Universidade do Colorado:
Sistemas tecnológicos que utilizam inteligência artificial são cada vez mais utilizados na
aplicação do direito. Estes sistemas podem conter valores sutilmente embutidos no seu
design tecnológico. Essa observação se torna particularmente importante no contexto do
direito, tendo em vista a relevância das questões em jogo, incluindo a perda de
liberdade, propriedade ou direitos. Sistemas tecnológicos legais que empregam
inteligência artificial demandam cuidados e conhecimentos especiais em seu
desenvolvimento, uma vez que o uso da inteligência artificial pode levantar problemas
específicos em relação aos valores embutidos, os quais podem ser relevantes, mas
46
difíceis de observar.
E algo deve ser percebido: tal como no passado da revolução industrial, as novas
tecnologias como as IAs não predeterminam um único resultado benéfico ou maléfico. É
necessário que o Direito e seus estudiosos (e aplicadores) enfrentem o desafio de utilizar
todas essas tecnologias disruptivas mediante a fixação de pressupostos que almejem a
Página 10
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
4 Conclusão
Tal fenômeno decorre tanto do desconhecimento dos profissionais do direito acerca das
potencialidades das tecnologias de IA quanto do modelo neoliberal de processo e a busca
incessante por maior rapidez e simplificação dos procedimentos, com vistas a aumentar
a eficiência do sistema, sob a ótica da produtividade, em detrimento de critérios
qualitativos.
Nesse contexto, essencial perceber que, assim como somente foi possível traçar soluções
para os vieses cognitivos dos julgadores humanos a partir do reconhecimento, por parte
da doutrina e dos decisores, de que não somos naturalmente imparciais, é preciso
reconhecer e ampliar os estudos acerca dos vieses algorítmicos, para que se possa
pensar em mecanismos para contorná-los. O desenvolvimento de programas de
aprendizagem de máquina e de transparência algorítmica são exemplos de ferramentas
que podem auxiliar nesse objetivo, evitando que ocorra a perpetuação das desigualdades
sociais, erros e outras mazelas de nossa sociedade, por meio da ilusão da completa
imparcialidade da matemática.
5 Referências
BOYD, Danah. CRAWFORD, Kate. Six Provocations for Big Data. A Decade in Internet
Time: Symposium on the Dynamics of the Internet and Society, 2011. Disponível em:
[https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1926431]. Acesso em:
01.08.2018.
CAMPOLO, A.; SANFILIPPO, M.; WHITTAKER, M.; CRAWFORD, K. AI NOW 2017 Report,
AI Now Institute. New York (2017). Disponível em:
[https://ainowinstitute.org/AI_Now_2017_Report.pdf]. Acesso em: 23.06.2018.
Página 11
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
DOYLE, Nicholas J. Confirmation Bias and the Due Process of Inter Partes Review. IDEA:
The Journal of the Franklin Pierce Center for Intellectual Property, v. 57, p. 29-70, 2016.
HARVARD LAW REVIEW. State v. Loomis: Wisconsin Supreme Court Requires Warning
Before Use of Algorithmic Risk Assessments in Sentencing. Disponível em:
[https://harvardlawreview.org/2017/03/state-v-loomis/]. Acesso em: 23.06.2018.
KATZ, D.M.; BOMMARITO, M.J. II; BLACKMAN J. (2017). A general approach for
predicting the behavior of the Supreme Court of the United States. PLoS ONE 12(4):
e0174698. Disponível em: [https://doi.org/10.1371/journal.pone.0174698]. Acesso em:
09.05.2018.
NUNES, Dierle José Coelho. O princípio do contraditório. Revista Síntese de Direito Civil e
Processual Civil, Porto Alegre, n. 29, maio-jun. 2004.
NUNES, Dierle; VIANA, Aurélio. Deslocar função estritamente decisória para máquinas é
muito perigoso. Conjur, 2018. Disponível em:
[https://www.conjur.com.br/2018-jan-22/opiniao-deslocar-funcao-decisoria-maquinas-perigoso#sdfootn
Acesso em: 14.05.2018.
O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and
threatens democracy. New York: Crown Publishers, 2016.
PEER, Eyal; GAMLIEL, Eyal. Heuristics and Biases in Judicial Decisions. Court Review, v.
49, p. 114-118. Disponível em:
[http://aja.ncsc.dni.us/publications/courtrv/cr49-2/CR49-2Peer.pdf]. Acesso em:
28.05.2018.
Disponível em:
[https://www.jota.info/justica/judiciario-desenvolve-tecnologia-de-voto-assistido-por-maquinas-080120
Acesso em: 09.05.2018.
THE GUARDIAN. Google says sorry for racist auto-tag in photo app. Disponível em:
[https://www.theguardian.com/technology/2015/jul/01/google-sorry-racist-auto-tag-photo-app].
Acesso em: 06.06.2018.
THE GUARDIAN. Tay, Microsoft's AI chatbot, gets a crash course in racism from Twitter.
Disponível em:
[https://www.theguardian.com/technology/2016/mar/24/tay-microsofts-ai-chatbot-gets-a-crash-course
Acesso em: 06.06.2018.
THE GUARDIAN. The tyranny of algorithms is part of our lives: soon they could rate
everything we do. Disponível em:
[https://www.theguardian.com/commentisfree/2018/mar/05/algorithms-rate-credit-scores-finances-dat
. Acesso em: 06.06.2018.
THE SEATTLE TIMES. How LinkedIn’s search engine may reflect a gender bias. Disponível
em:
[https://www.seattletimes.com/business/microsoft/how-linkedins-search-engine-may-reflect-a-bias].
Acesso em: 06.06.2018.
THE TELEGRAPH. Facebook shuts down robots after they invent their own language.
Disponível em:
[https://www.telegraph.co.uk/technology/2017/08/01/facebook-shuts-robots-invent-language].
Acesso em: 02.06.2018.
THEODORO JÚNIOR, Humberto; NUNES, Dierle José Coelho. Uma dimensão que urge
reconhecer ao contraditório no direito brasileiro: sua aplicação como garantia de
influência, de não surpresa e de aproveitamento da atividade processual. Revista de
Processo, n. 168, p. 107-141, 2009, p. 109.
VIEIRA, Oscar Vieira. Justiça, ainda que tardia. Disponivel em: [https://goo.gl/2DrLRh].
Acesso em: 20.07.2018.
VILLANI, Cédric. Donner uns sens à li’intelligence artificielle: pour une stratégie
Página 13
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
3 Segundo a pesquisa: “Nearly half (48%) of London law firms are already utilising
Artificial Intelligence (AI) and a further 41% have imminent plans to do so, according to
a survey of over 100 law firms from CBRE, the world's leading real estate advisor. Of the
firms already employing AI, 63% of firms are using it for legal document generation and
review, and the same proportion for e-discovery. Due diligence (47%) and research
(42%) were also common applications, along with compliance and administrative legal
support (each 32%)” Disponível em:
[http://news.cbre.co.uk/london-law-firms-embrace-artificial-intelligence/]. Acesso em:
02.05.2018.
5 Disponível em:
[http://www.valor.com.br/legislacao/5259801/escritorios-ja-usam-robos-que-ajudam-
na-escolha-de-estrategias-nos-tribunais]. Acesso em: 07.05.2018.
11 VILLANI, Cédric. Donner uns sens à li’intelligence artificielle: pour une stratégie
nationale et européenne. 2018. Disponível em: [https://www.aiforhumanity.fr].
15 Tradução livre. No original: “Sometimes these blind spots don’t matter. When we ask
Google Maps for directions, it models the world as a series of roads, tunnels, and
bridges. It ignores the buildings, because they aren’t relevant to the task. [...] others
are far more problematic. The value-added model in Washington, D.C., schools, to
return to that example, evaluates teachers largely on the basis of students’ test scores,
while ignoring how much the teachers engage the students, work on specific skills, deal
with classroom management, or help students with personal and family problems. It’s
overly simple, sacrificing accuracy and insight for efficiency. Yet from the administrators’
perspective it provides an effective tool to ferret out hundreds of apparently
underperforming teachers, even at the risk of misreading some of them” (O’NEIL, Cathy.
Op., cit., p. 28).
17 Sobre a questão dos problemas dos dados obtidos via internet: “Large data sets from
Internet sources are often unreliable, prone to outages and losses, and these errors and
gaps are magnified when multiple data sets are used together. Social scientists have a
long history of asking critical questions about the collection of data and trying to account
for any biases in their data (Cain & Finch, 1981; Clifford & Marcus, 1986). This requires
understanding the properties and limits of a dataset, regardless of its size. A dataset
may have many millions of pieces of data, but this does not mean it is random or
representative. To make statistical claims about a dataset, we need to know where data
is coming from; it is similarly important to know and account for the weaknesses in that
Página 15
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
data” (BOYD, Danah; CRAWFORD, Kate. Six Provocations for Big Data. A Decade in
Internet Time: Symposium on the Dynamics of the Internet and Society, 2011.
Disponível em: [https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1926431].
Acesso em: 01.08.2018.
20 Como bem explica a autora: “A key component of this suffering is the pernicious
feedback loop. As we’ve seen, sentencing models that profile a person by his or her
circumstances help to create the environment that justifies their assumptions. This
destructive loop goes round and round, and in the process the model becomes more and
more unfair” (O’NEIL, Cathy. Op., cit., p. 14).
21 Nesse sentido: “[...] the algorithm is more likely to misclassify a black defendant as
higher risk than a white defendant. Black defendants who do not recidivate were nearly
twice as likely to be classified by COMPAS as higher risk compared to their white
counterparts (45 percent vs. 23 percent). However, black defendants who scored higher
did recidivate slightly more often than white defendants (63 percent vs. 59 percent). The
test tended to make the opposite mistake with whites, meaning that it was more likely to
wrongly predict that white people would not commit additional crimes if released
compared to black defendants. COMPAS under-classified white reoffenders as low risk
70.5 percent more often than black reoffenders (48 percent vs. 28 percent). The
likelihood ratio for white defendants was slightly higher 2.23 than for black defendants
1.61 (How We Analyzed the COMPAS Recidivism Algorithm. Disponível em:
[https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm].
Acesso em: 14.05.2018.
24 “Esse caso, ainda que possa ser considerado uma aberração jurídica, oferece uma
amostra do impacto perverso que a profunda e persistente desigualdade causa sobre o
reconhecimento das pessoas como sujeitos de direitos. Embora o princípio da dignidade
determine que todos devam ser tratados com igual respeito e consideração, a miséria e
a marginalização parecem tornar largas parcelas de nossa sociedade moralmente
invisíveis no dia a dia, perdendo, na realidade, sua condição de sujeitos de direitos”
(VIEIRA, Oscar Vieira. Justiça, ainda que tardia. Disponível em: [https://goo.gl/2DrLRh].
Acesso em: 20.07.2018).
25 The Guardian. The tyranny of algorithms is part of our lives: soon they could rate
everything we do. Disponível em:
[https://www.theguardian.com/commentisfree/2018/mar/05/algorithms-rate-credit-scores-
finances-data] . Acesso em: 06.06.2018.
26 A propósito: “Differences in credit scores among racial or ethnic groups and age
cohorts are particularly notable because they are larger than for other populations. For
example, the mean normalized TransRisk Score for Asians is 54.8; for non-Hispanic
whites, 54.0; for Hispanics, 38.2; and for blacks, 25.6 [...]” (Disponível em:
[https://www.transunion.com/resources/transunion/doc/compliance-and-legislative-updates/CreditScore
Acesso em: 06.06.2018.
Página 16
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
27 The Guardian. Google says sorry for racist auto-tag in photo app. Disponível em:
[https://www.theguardian.com/technology/2015/jul/01/google-sorry-racist-auto-tag-photo-app].
Acesso em: 06.06.2018.
28 The Seattle Times. How LinkedIn’s search engine may reflect a gender bias.
Disponível em:
[https://www.seattletimes.com/business/microsoft/how-linkedins-search-engine-may-reflect-a-bias].
Acesso em: 06.06.2018.
29 O robô chegou a twittar que: “bush did 9/11 and Hitler would have done a better job
than the monkey we have now. donald trump is the only hope we've got”. The Guardian.
Tay, Microsoft's AI chatbot, gets a crash course in racism from Twitter. Disponível em:
[https://www.theguardian.com/technology/2016/mar/24/tay-microsofts-ai-chatbot-gets-a-crash-course
. Acesso em: 06.06.2018.
33 PEER, Eyal; GAMLIEL, Eyal. Heuristics and Biases in Judicial Decisions. Court Review,
v. 49. p. 114-118. Disponível em:
[http://aja.ncsc.dni.us/publications/courtrv/cr49-2/CR49-2Peer.pdf]. Acesso em:
28.05.2018.
34 PEER, Eyal; GAMLIEL, Eyal. Op., cit., p. 114-115. NUNES, Dierle, LUD, Natanael;
PEDRON, Flávio. Desconfiando da (im)parcialidade dos sujeitos processuais: Um estudo
sobre os vieses cognitivos, a mitigação de seus efeitos e o debiasing. Cit.
Página 17
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
37 Sobre o tema: “One study found that 97% of US judges believe they are above the
average in their ability to ‘avoid racial prejudice in decision making’, a statistically
unlikely state of affairs which probably reflects judges overestimating their abilities with
respect to those of their peers. Another study of white American judges found that they
displayed the same automatic, ‘implicit’, negative associations with race as found in the
general population” (STAFFORD, Tom. Op., cit.). No mesmo sentido, veja-se: “Several
studies have suggested that ‘judges might be biased in favor of evidence that confirms
their prior hypotheses and might disregard evidence that does not correspond with their
previous assumptions.’ How can this be if judges are supposed to be impartial? Research
suggests that it is because they still perceive themselves to be scrutinizing the evidence
and, thus, impartial” (DOYLE, Nicholas J. Confirmation Bias and the Due Process of Inter
Partes Review, IDEA: The Journal of the Franklin Pierce Center for Intellectual Property,
v. 57 (2016), p. 39.
41 Para uma análise crítica dos precedentes no Brasil: Cf. VIANA, Aurélio; NUNES,
Dierle. Precedentes: a mutação do ônus argumentativo. Rio de Janeiro: GEN Forense,
2018.
42 Tradução livre. No original, “1. Core public agencies, such as those responsible for
criminal justice, healthcare, welfare, and education (e.g “high stakes” domains) should
no longer use “black box” AI and algorithmic systems. This includes the unreviewed or
unvalidated use of pre-trained models, AI systems licensed from third party vendors,
and algorithmic processes created in-house. The use of such systems by public agencies
raises serious due process concerns, and at a minimum they should be available for
public auditing, testing, and review, and subject to accountability standards” (CAMPOLO,
A.; SANFILIPPO, M.; WHITTAKER, M.; CRAWFORD, K. AI NOW 2017 Report. AI Now
Institute, New York (2017). Disponível em:
[https://ainowinstitute.org/AI_Now_2017_Report.pdf]. Acesso em: 23.06.2018.
43 Sobre o caso que originou o julgamento em questão, destaque-se que “In preparation
for sentencing, a Wisconsin Department of Corrections officer produced a PSI that
included a COMPAS risk assessment. [...] As the methodology behind COMPAS is a trade
secret, only the estimates of recidivism risk are reported to the court. At Loomis’s
sentencing hearing, the trial court referred to the COMPAS assessment in its sentencing
Página 18
Inteligência artificial e direito processual: vieses
algorítmicos e os riscos de atribuição de função decisória
às máquinas
determination and, based in part on this assessment, sentenced Loomis to six years of
imprisonment and five years of extended supervision. Loomis filed a motion for
post-conviction relief in the trial court, arguing that the court’s reliance on COMPAS
violated his due process rights. Because COMPAS reports provide data relevant only to
particular groups and because the methodology used to make the reports is a trade
secret, Loomis asserted that the court’s use of the COMPAS assessment infringed on
both his right to an individualized sentence and his right to be sentenced on accurate
information” (Harvard Law Review. State v. Loomis: Wisconsin Supreme Court Requires
Warning Before Use of Algorithmic Risk Assessments in Sentencing. Disponível em:
[https://harvardlawreview.org/2017/03/state-v-loomis/]. Acesso em: 23.06.2018.
46 Tradução livre. No original: “Technological systems that use artificial intelligence are
increasingly being used in the application of law. Such systems can contain values subtly
embedded in their technological design. This observation becomes particularly important
in the context of law, given the significant issues at stake, including loss of liberty,
property, or rights. Legal technological systems that employ artificial intelligence require
special care and awareness in development, as the use of artificial intelligence can raise
specific issues of embedded values that may be impactful but hard to observe”
(SURDEN, Harry. Values Embedded in Legal Artificial Intelligence. U of Colorado Law
Legal Studies Research Paper n. 17-17. Disponível em:
[https://ssrn.com/abstract=2932333]. Acesso em: 01.08.2018.
Página 19