07/10/2019 Discriminação algorítmica – Wikipédia, a enciclopédia livre

Discriminação algorítmica
Origem: Wikipédia, a enciclopédia livre.
Discriminação algorítmica é um conceito que corresponde ao ato de algoritmos tomarem atitudes discriminatórias ou
exclusórias em relação a seres humanos. Estas atitudes podem ser desde simples erros em detecções faciais, até a
condenação de um indivíduo por algoritmos jurídicos baseado em suas características raciais. A discriminação
algorítmica está diretamente relacionada ao viés algorítmico

Em sua maioria, os algoritmos discriminatórios se encontram na área de Inteligência artificial e Aprendizado de

máquina nas quais decisões tem de ser tomadas baseadas em um banco de dados de entradas e outras técnicas de
aprendizado e de tomada de decisões. Tendo isso em vista, se o banco de entradas para o aprendizado for inadequado
para o treino em relação à diversidade, pluralidade e igualdade, ou a função de decisão for baseada em conceitos não
éticos, o algoritmo de tomada de decisão pode vir a ter um comportamento discriminatório.

Índice
Viés algorítmico
Tipos de vieses algorítmicos
Causas do viés algorítmico
Casos reais de discriminações algorítmicas
Problemas de reconhecimento facial em câmeras digitais
Sugestões de anúncios racistas
Análise de currículos discriminatória
Outros exemplos de discriminação algorítmica
Código fechado e o viés algorítmico
Impactos causados pela discriminação algorítmica
Algorithmic Justice League (AJL)
Referências
Veja Também
Referências Externas

Viés algorítmico
O viés (em inglês bias) é um conceito que pode ser descrito como a "distorção do julgamento de um observador por
estar ele intimamente envolvido com o objeto de sua observação". O viés algorítmico é um tipo de viés que está
relacionado à construção de algoritmos. Quando uma máquina é treinada para ter uma inteligência artificial, ela
necessita passar por um processo de aprendizagem para que tome as decisões que o seu criador julguem corretas. Para
que isso ocorra, é necessária uma quantidade grande de dados aprendizado para que ela treine seu conhecimento
sobre a decisão a ser tomada baseada em uma função de decisão escolhida no seu desenvolvimento[1].

Quando os algoritmos de aprendizagem de máquina são relacionadas a pessoas, eles podem possuir um viés
discriminatório por diversos fatores, tanto relacionados ao seu treinamento quanto à sua implementação e isso é
chamado de viés algorítmico.

https://pt.wikipedia.org/wiki/Discriminação_algorítmica 1/5
07/10/2019 Discriminação algorítmica – Wikipédia, a enciclopédia livre

Tipos de vieses algorítmicos

Estes são os principais tipos de viés algorítmico e os que ocorrem com a maior frequência:

Viés racial: Quando o viés é relacionado a alguma discriminação racial.

Viés relacionado ao gênero: Quando o viés é relacionado a alguma discriminação relacionada ao gênero de
indivíduos.
Viés relacionado à nacionalidade: Quando o viés é relacionado a alguma discriminação à nacionalidade de
indivíduos.
Viés relacionado à orientação sexual: Quando o viés é relacionado a alguma discriminação à orientação sexual
de indivíduos.
Viés relacionado à deficiência: Quando o viés é relacionado a alguma deficiência física ou mental de indivíduos.
Viés relacionado à idade: Quando o viés é relacionado a alguma discriminação à idade de indivíduos.

Causas do viés algorítmico

O viés algorítmico é causado por falhas no processo do desenvolvimento de software, estas falhas podem ocorrer na
etapa de design, desenvolvimento, distribuição, teste e distribuição. Na maioria das vezes o viés algorítmico é visto em
softwares que usam inteligência artificial, mas pode ocorrer em outros tipos de software, principalmente por erros na
hora da documentação de requisitos ou implementação. O viés algorítmico pode ser resultado de erros ou falta de
atenção dos criadores do software, mas pode também pode ser proposital e ter sido criado por motivos
preconceituosos e antiéticos [2].

Algoritmos faciais são uns dos principais tipos de software que sofrem do viés algorítmico. Estes algoritmos precisam
de uma base de dados de faces para seu treinamento, quando essa base de dados não possui uma diversidade de rostos
de formas, cores e tipos diferentes, o algoritmo não irá detectar as faces que não possuem características semelhantes
às faces dos dados de aprendizado, resultando em um caso de viés algorítmico. Algoritmos de sugestão de anúncios
também sofrem com o viés, por causa de um treinamento errado ou uma função de decisão mal ajustada, eles podem
realizar sugestões racistas e machistas, como sugerir apenas produtos de limpeza ou beleza para mulheres e sugerir
anúncios de consulta de ficha criminal para quando nomes predominantes em pessoas negras são buscados em
ferramentas de pesquisa[2][3].

Casos reais de discriminações algorítmicas

Problemas de reconhecimento facial em câmeras digitais

Já ocorreram diversos casos de discriminação racial causados por algoritmos de reconhecimento facial em câmeras
digitais e webcams. A câmera Nikon Coolpix S630 é um exemplo disso, a câmera tinha um sistema de detecção de
fotos em que no qual avisava ao usuário quando as pessoas fotografadas haviam piscado. Quando pessoas com
características asiáticas tiravam fotos com esta câmera, ela sempre emitia o alerta em que pessoas haviam piscado na
foto. Há também o caso de webcams da HP que não conseguiam detectar o rosto de usuários negros em qualquer tipo
de iluminação, um vídeo foi divulgado na internet onde uma mulher branca se aproximava da câmera e ela
instantaneamente reagia e davam um zoom na face da mulher. Quando um homem negro se aproximava da mesma
câmera, logo após a mulher, nada acontecia. Estes dois casos são um exemplo de discriminações causadas pelo viés
algorítmico, o banco de dados de faces usado para o aprendizado destes algoritmos não possuía faces com
características de pessoas com características asiáticas ou negras[4][5].

Sugestões de anúncios racistas

https://pt.wikipedia.org/wiki/Discriminação_algorítmica 2/5
07/10/2019 Discriminação algorítmica – Wikipédia, a enciclopédia livre

Em 2013, a Google foi acusada de emitir sugestões de comentários racistas por uma professora da universidade de
Harvard. A professora Latanya Sweeney, após pesquisar seu próprio nome na ferramenta de busca, recebeu um
anúncio de uma plataforma de checagem de histórico criminal com o seu nome nele. Após o ocorrido, Sweeney decidiu
fazer uma pesquisa sobre a influência de aspectos raciais em plataformas de anúncio. Ela pesquisou mais de 2.000
nomes racialmente associados, que correspondiam a nomes que eram mais comumente dados a pessoas negras do que
a pessoas brancas, e obteve o resultado que pesquisas de nomes associados a pessoas negras eram mais suscetíveis a
serem bombardeados com anúncios de checagem de histórico criminal. Sweeney chamou atenção para o impacto que
isso poderia causar aos afetados, se um empregador pesquisasse sobre o nome de um candidato de emprego negro e
ele visse o resultado associado sugerindo que eles foram presos isso provavelmente prejudicaria o candidato e faria ele
possivelmente perder a vaga de emprego. [6][7]

Análise de currículos discriminatória

Um jovem chamado Kyle Behm teve que abandonar seus estudos na universidade de Vanderbilt em Nashville por
conta de um problema de saúde mental conhecido como desordem de bipolaridade. Após seu treinamento ele estava
curado e pronto para ingressar em uma universidade e ficou sabendo de um trabalho de meio expediente em um
supermercado recomendado por seu amigo. O seu amigo que estava de saída deste emprego indicou seu currículo para
a vaga disponível que viria a estar disponível. Apesar da indicação, Kyle não foi chamado para a entrevista e ficou
intrigado por causa disto, após perguntar ao seu amigo, ele descobriu que ele tinha sido marcado como alerta
vermelho no teste de personalidade que ele havia feito para o emprego. O teste fazia parte de um software de seleção
de empregados desenvolvido pela empresa Kronos. Após uma pesquisa de seu pai, Kyle descobriu que este teste
possuía elementos de um mesmo teste que era o mesmo feito em hospitais para detecção de problemas de desordem
de bipolaridade e por isso ele não estava sendo aprovado. Após o ocorrido, Kyle realizou uma aplicação para mais
cinco empregos na área que ele morava e foi rejeitado nos cinco, mais tarde ele descobriu que estes outros empregos
utilizavam o mesmo software para o processo seletivo de candidatos que o supermercado que ele enviou seu currículo
em sua primeira tentativa, por este motivo Kyle não estava conseguindo ser selecionado para nenhum dos 6 empregos
que ele realizou sua aplicação [8][9].

Outros exemplos de discriminação algorítmica

Algoritmos de reconhecimento de voz que só reconheciam vozes masculinas.
Algoritmos de previsão de crimes que apenas sugeriam crimes em vizinhanças que a população era
predominantemente negra.
Plataformas de sugestão emprego que só mostravam empregos que pagavam melhor para clientes homens.
Algoritmos de concessão de empréstimos que tinham preferência por clientes homens [10].

Código fechado e o viés algorítmico

Softwares autorais e que possuem políticas de proteção ao seu código, ou seja, não fazem parte dos softwares livres e
de código aberto são um grande problema para a detecção de viés algorítmico. Muitas vezes softwares que possuem
código fechado tomam decisões importantes sobre a vida das pessoas como a decisão se ela é apta a um emprego, se
ela será aceita em um plano de saúde, se ela receberá permissão para obter um cartão de crédito, se ela deve ser
demitida do seu emprego ou se ela deve ou não permanecer mais tempo na prisão. Como o código destes softwares
não está disponível para análise, justamente por ser um software proprietário, os técnicos e cientistas de universidades
e centros de pesquisa que lutam contra o viés algorítmico não conseguem analisar as linhas de código destes
programas de computador. Pelo motivo da falta de transparência, o viés algorítmico é desconhecido em uma série de
programas que tomam decisões importantes e que de fato impactam na vida das pessoas. Apesar disto, cientistas
utilizam métodos de detecção de viés algorítmico em softwares de código fechado por meio da análise do seu
comportamento e dos resultados que eles produzem ao serem estimulados por determinadas entradas. Artifícios legais

https://pt.wikipedia.org/wiki/Discriminação_algorítmica 3/5
07/10/2019 Discriminação algorítmica – Wikipédia, a enciclopédia livre

também são utilizados para forçar empresas que são suspeitas de produzirem softwares com viés algorítmico a
abrirem seu código para um grupo de analisadores técnicos. Esta falta de transparência é discutida por Cathy O' Neil
em seu livro "Weapons of math destruction" e o grande impacto que isso causa na sociedade[8][11].

Impactos causados pela discriminação algorítmica

Negação de crédito a um indivíduo.
Negação de emprego a um candidato.
Negação de um serviço de um produto a um consumidor.
Desvantagens discriminatórias entre candidatos a um emprego.
Negação de um serviço de plano de saúde.
Injúria moral.
Demissão de funcionários.
Condenação penal injusta.

Algorithmic Justice League (AJL)

A liga de justiça algorítmica (em inglês Algorithmic Justice League) ou AJL, é uma iniciativa criada por Joy
Buolamnwini que tem como objetivo o combate ao viés algorítmico. Ela já conta com diversos membros ao redor do
mundo incluindo cidadãos, artistas, pesquisadores e ativistas. A liga da justiça algorítmica segue uma tríade de
medidas para combater o viés algorítmico:

Identificar o viés algorítmico ao desenvolver ferramentas para o teste de viés em algoritmos de aprendizagem de
máquina.
Mitigar o viés algorítmico ao desenvolver métodos para inclusão em amplo espectro durante o design,
desenvolvimento, teste e distribuição de softwares.
Chamar atenção através de materiais publicitários sobre o problema do viés algorítmico, o impacto causado por
ele nos indivíduos afetados e outras informações importantes sobre este tema. [12][13]

Referências
1. [1] (https://books.google.com.br/books/about/Machine_Learning.html?id=EoYBngEACAAJ&redir_esc=y) Machine
Learning - Tom M. Mitchell - 1997
2. [2] (https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms#t-44733) Joy
Buolamwini:How I'm fighting bias in algorithms - TED - 2016
3. [3] (https://www.youtube.com/watch?v=Bmusl2dOZCw) Harvard Accuses Google Ads of Racism - The Young
Turks - 2013
4. [4] (http://content.time.com/time/business/article/0,8599,1954643,00.html) Are Face-Detection Cameras Racist? -
TIME, 2010
5. [5] (http://news.bbc.co.uk/2/hi/technology/8429634.stm)HP camera 'can't see' black faces - BBC, 2009
6. [6] (http://dl.acm.org/citation.cfm?id=2460278)Sweeney, Latanya. "Discrimination in online ad delivery." Queue
11.3 (2013): 10.
7. [7] (http://www.huffpostbrasil.com/entry/online-racial-profiling_n_2622556)Google's Online Ad Results Guilty Of
Racial Profiling, According To New Study - HuffPost, 2013
8. [8] (http://www.nationalbook.org/nba2016_nf_oneil-weapons-of-math-destruction.html#.WUn_BMaQzIU)
Weapons of math destruction - A book by Cathy O'Neil, 2016
9. [9] (https://www.theguardian.com/science/2016/sep/01/how-algorithms-rule-our-working-lives) How algorithms
rule our working lives - The Guardian, 2016
10. [10] (https://www.theguardian.com/technology/2016/dec/19/discrimination-by-algorithm-scientists-devise-test-to-d
etect-ai-bias) Discrimination by algorithm: scientists devise test to detect AI bias - The Guardian - 2016
11. [11] (http://www.wired.co.uk/article/creating-transparent-ai-algorithms-machine-learning) Holding AI to account:
will algorithms ever be free from bias if they're created by humans? - Wired, 2016
12. [12] (http://www.ajlunited.org/) Algorithmic Justice League - 2016
13. [13] (https://medium.com/mit-media-lab/the-algorithmic-justice-league-3cc4131c5148) The Algorithmic Justice
League - Medium, 2016

https://pt.wikipedia.org/wiki/Discriminação_algorítmica 4/5
07/10/2019 Discriminação algorítmica – Wikipédia, a enciclopédia livre

Veja Também
Aprendizagem de máquina
Responsabilização algorítmica
Algoritmos de decisão
Algoritmo
Inteligência artificial

Referências Externas
When algorithms discriminate - New York Times, 2015 (https://www.nytimes.com/2015/07/10/upshot/when-algorit
hms-discriminate.html)
[AI programs exhibit racial and gender biases, research reveals - The Guardian, 2017 (https://www.theguardian.c
om/technology/2017/apr/13/ai-programs-exhibit-racist-and-sexist-biases-research-reveals) ]
[Bias test to prevent algorithms discriminating unfairly - News Scientist, 2017 (https://www.newscientist.com/articl
e/mg23431195-300-bias-test-to-prevent-algorithms-discriminating-unfairly/)]
[Sandvig, Christian, et al. "Can an Algorithm be Unethical?." Ann Arbor 1001.48109 (2015): 1285. (https://pdfs.se
manticscholar.org/a8eb/6ab55363ad0ffad6a05c3f0b97874a2c3c62.pdf)]
[Chander, Anupam. "The Racist algorithm?." (2016). (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=27952
03)]
[A white mask worked better': why algorithms are not colour blind - The Guardian, 2017 (https://www.theguardian.
com/technology/2017/may/28/joy-buolamwini-when-algorithms-are-racist-facial-recognition-bias)]
[Is an algorithm any less racist than a human? - The Guardian, 2016 (https://www.theguardian.com/technology/20
16/aug/03/algorithm-racist-human-employers-work)]
[Discrimination, Algorithms and Privacy - Yale Law Schoo, 2017l (https://law.yale.edu/system/files/area/center/isp/
documents/discrimination_algorithms_and_privacy.pdf)]

Obtida de "https://pt.wikipedia.org/w/index.php?title=Discriminação_algorítmica&oldid=49901760"

Esta página foi editada pela última vez às 16h47min de 20 de setembro de 2017.

Este texto é disponibilizado nos termos da licença Atribuição-CompartilhaIgual 3.0 Não Adaptada (CC BY-SA 3.0) da
Creative Commons; pode estar sujeito a condições adicionais. Para mais detalhes, consulte as condições de
utilização.

https://pt.wikipedia.org/wiki/Discriminação_algorítmica 5/5