1

Discriminação
Algorítmica
Márcio Galvão
galva.marcio@gmail.com
2022

1. Introdução
Na busca por uma inteligência artificial (IA) mais ética e responsável, os conceitos de fairness
(imparcialidade, justiça) e bias (viés) são provavelmente os que recebem maior atenção e têm maior
literatura acadêmica no estudo de algoritmos. Isso ocorre porque já existem muitos sistemas de IA
em produção, não existem ainda marcos regulatórios adequados, e há grande preocupação com o
fato de que modelos de Machine Learning podem incorporar bias de diferentes tipos, produzindo
discriminação algorítmica (unfairness) contra determinados subgrupos da população.

Como veremos, o tema da discriminação algorítmica é bastante complexo. Trata-se de um problema

“sociotécnico”, que envolve um aspecto tecnológico e também questões normativas ou filosóficas,
tais como:

• O que significa “ser justo”?

• Fazer justiça é promover igualdade ou equidade entre diferentes subgrupos de indivíduos?
• Como a noção de “justiça” (e outros valores eticamente desejáveis, como “transparência”)
pode ser implementada em sistemas de inteligência artificial?
• O que significa “discriminação”?
• Como a discriminação se manifesta nos sistemas de IA?
• Quais as origens possíveis de bias em algoritmos? Quais métricas podem ser utilizadas para
medir bias?
• Que tipo de danos o bias ou parcialidade algorítmica pode causar?
• Quais técnicas (processos, ferramentas) podem ser adotadas para detectar e mitigar o bias
em algoritmos?
• Etc.

Não há espaço aqui para um debate aprofundado destas questões (várias referências foram
compiladas em https://www.etica-ia.com), mas vamos tentar resumir os principais aspectos do
problema.
 2

2. Justiça, discriminação e bias

Como nos ensinou o filósofo liberal John Rawls (1921-2002) em [1], a justiça (“fairness”) é um
requisito fundamental para que se possa ter estabilidade social. Se algum subgrupo da sociedade
sente que não está sendo tratado de uma forma justa (em relação aos demais subgrupos), isso pode
perturbar a paz social e levar a distúrbios, greves e conflitos. Ou seja, as pessoas se comprometem
com a paz social na medida em que percebem que as instituições são “justas”.

Uma dificuldade surge com o fato de que há diferentes princípios para aplicar (e entender) a noção
de “justiça”.

Por exemplo, para os defensores do Princípio da Igualdade (Equality), justiça significa que todos
devem ser tratados da mesma maneira.

Fonte: [2]

Embora pareça uma proposta razoável, este princípio é criticado por não levar em conta diferenças
individuais que podem ser relevantes, como ilustrado, onde a criança mais baixa não tem meios para
alcançar a fruta se tiver que competir em “condições iguais” com a criança mais alta (ou seja, se
estiver “sendo tratada da mesma maneira”). Seria justo deixá-la com fome?

Como alternativa ao Princípio da Igualdade, alguns filósofos sugerem o Princípio da Equidade

(Equity), para o qual a justiça requer que todos tenham acesso aos meios que precisam para que
possam ser bem-sucedidos.
 3

Assim, a Equidade não defende que a justiça seja feita tratando-se todos da mesma maneira, mas,
em vez disso, tentando dar a todos o mesmo acesso nas oportunidades.

Por exemplo, em um país com enormes diferenças sociais e econômicas e péssima distribuição de
renda como o Brasil, é razoável pelo Princípio da Equidade que certos subgrupos (baixa renda) sejam
tratadas de forma diferenciada e recebam mais benefícios sociais do Governo (e paguem menos
impostos), enquanto outros grupos em melhor situação econômica não tenham acesso aos mesmos
benefícios (e paguem mais impostos).

Fonte: [2]

Neste caso, tratar de forma diferente pessoas em situações diferentes é considerado mais “justo”,
pois é o meio de dar a todos (tanto quanto possível) o mesmo nível de acesso em recursos e
oportunidades (educação, saúde, alimentação etc.). Não é muito diferente do que pensava
Aristóteles, que 350 anos antes de Cristo já defendia a noção de Equidade, pois acreditava que “se as
pessoas não são iguais não devem receber coisas iguais”, ou seja, para se fazer justiça, as
circunstâncias importam.

Superada a noção de justiça e duas de suas interpretações comuns (Igualdade e Equidade), convém
deixar mais claro o que queremos dizer com “discriminação” e “bias”. Vamos reproduzir aqui as
definições de [2].

Definição: Discriminação é tratar um indivíduo de forma diferente por conta de ele pertencer a um
determinado grupo.
 4

Esta definição parece seguir o Princípio da Igualdade, que prega que todos devem ser tratados da
mesma forma. Porém, como vimos, o Princípio da Equidade não é incompatível com o tratamento
diferenciado para um determinado grupo de indivíduos (crianças, idosos, mulheres, pobres etc.),
desde que vise promover maior equidade, que pode ser implementada por exemplo através de
políticas públicas.

Assim, pelo menos para os defensores da Equidade, “tratar de forma diferente alguém que pertence
a um determinado grupo” (ou “discriminar”, pela definição acima) pode em certos casos ser uma
ação positiva. O problema não está no tratamento diferenciado em si, mas na existência de
justificativa e no resultado que esta ação trará, já que a diferenciação pode estar cumprindo o
propósito de dar a um grupo menos favorecido maior acesso em oportunidades.

A discriminação no sentido negativo ocorre quando “tratar grupos de forma diferente” prejudica os
grupos afetados, em vez de beneficiá-los. Por exemplo, não é aceitável que certos grupos sociais
recebam tratamento diferente em função de sua idade, gênero, raça, preferência religiosa, inclinação
sexual etc. se isso vai causar impactos negativos na vida delas, como ter acesso negado a crédito e
empréstimos e menos oportunidades de emprego ou educação. Isso não pode ser considerado justo
pois nem o Princípio da Igualdade nem o Princípio da Equidade estariam sendo satisfeitos.

O fato de que a discriminação pode ser positiva ou negativa revela a importância de levar sempre em
conta o contexto nas avaliações de “discriminação”, e também nos alerta sobre o perigo de se tratar
um assunto tão complexo com abordagens por demais ingênuas ou simplistas (inclusive nos marcos
regulatórios em desenvolvimento).

Outra noção importante é bias (viés). Mais uma vez, vamos nos alinhar com as definições
apresentadas em [2], e veremos que o termo pode denotar coisas diferentes, dependendo de quem
o utiliza.

Três definições diferentes para “bias”

1. Para um estatístico, o termo bias significa a discrepância entre um valor estatístico obtido em
um sample (amostra) e o valor verdadeiro daquela mesma estatística para a população. Por
exemplo, diferença entre a média estimada (x) da altura de homens brasileiros em uma
amostra, e a média real das alturas dos homens brasileiros (µ). Em geral este tipo de bias
estatístico pode ser reduzido aumentando-se o tamanho da amostra.

2. Para um cientista cognitivo, o termo bias representa um preconceito cognitivo, uma forma de
pensar que tende a produzir resultados incorretos ou tendenciosos (skewed) de forma
sistemática. Por exemplo, a “falácia do jogador” (pensar que probabilidades futuras serão
afetadas por eventos independentes do passado) é um tipo de bias (Alice jogou dados e
perdeu nove vezes seguidas, então é certo que ganhará na próxima!). Ver [3] e [4].

3. Para um cientista social, o termo bias tem significado mais próximo ao que pensamos ao
discutir “discriminação”, ou seja, bias seria um tratamento diferenciado moralmente
questionável (talvez não justificado nem mesmo pelo Princípio da Equidade), resultando em
vantagens ou danos para certos grupos (comparativamente a outros).
 5

Algumas confusões nos debates sobre “ética na IA” têm origem na mistura de noções de bias acima.
Por exemplo, um estatístico apegado na definição de bias como “a diferença entre o valor esperado
de um estimador e o valor real” pode argumentar que “se um modelo de Machine Learning sumariza
os dados da população corretamente, então não há bias no modelo, e se existe bias sociológico não
é culpa do algoritmo.” Entretanto, esta visão puramente estatística não leva em conta o propósito da
discussão sobre ética na IA, que é “como construir sistemas de IA que suportem valores éticos
humanos”, sem bias em qualquer um dos sentidos acima que possam causar discriminação negativa.

O ideal é que os sistemas de IA sejam desenvolvidos em todas as etapas de seu ciclo de vida com a
inclusão em mente. O diagrama mostra cinco possíveis categorias para diferentes tipos de bias em
sistemas de IA que vamos discutir em seguida (ver [5] e [6]), mas há muitas outras formas de
categorizar as diferentes fontes de bias.

Fonte: [5]

Dataset Bias

Ocorre quando os dados utilizados para treinar um modelo de Machine Learning não são
representativos da diversidade dos diferentes subgrupos na população. Por exemplo, ao se fazer uma
pesquisa sobre meios de transporte mais utilizados pela população, são entrevistados apenas
indivíduos de maior poder aquisitivo que provavelmente têm automóvel e não usam habitualmente
o transporte público.
 6

Fonte: [7]

Associations Bias

Ocorrem quando os dados utilizados para treinar um modelo de Machine Learning reforçam
preconceitos culturais de associação (por exemplo, “soldado" é “profissão de homem”, e
“enfermeiro” é “profissão de mulher”), como no poema adaptado de [8].

Gender
A Poem by Google Translate

he is a soldier
she’s a teacher
he is a doctor
she is a nurse
...

No idioma Turco, há um pronome neutro “o” que pode ser utilizado para qualquer tipo de terceira
pessoa no singular independentemente de gênero, diferentemente do Português (“ele, ela”) e do
Inglês (“he”, “she”, “it”). Assim, quando o Google Translate faz traduções do Turco para o Inglês, ele
precisa “adivinhar” o gênero oculto pelo pronome “o”, e em alguns casos as traduções revelam bias
de gênero por associação [8]. Este tipo de bias pode perpetuar estereótipos.
 7

Automation Bias

Ocorre quando decisões automatizadas tomadas pelo modelo se sobrepõem a valores sociais e
culturais humanos. Por exemplo, filtros com algoritmos em aplicativos para "embelezar" pessoas
podem reforçar nas meninas, meninos e adolescentes uma noção europeia de beleza em imagens
faciais, como peles com tonalidades claras, olhos azuis etc., em detrimento de outros padrões
estéticos. Neste sentido, o bias de automação pode impor os valores de um grupo maior ou mais
poderoso sobre outros grupos menos favorecidos, o que é maléfico para a diversidade.

Fonte: [9]

Havia a expectativa de que no “primeiro concurso de beleza internacional julgado por IA” as
avaliações do “juiz algoritmo” fossem imparciais, mas quase todas das 44 vencedoras eram brancas
(em mais de 6.000 concorrentes). Poucas eram asiáticas, e apenas uma tinha pele escura [10].

Interaction Bias

O bias de interação ocorre quando os próprios humanos (usuários) que interagem com o modelo de
IA fornecem dados que introduzem discriminação nos resultados. Por exemplo, humanos podem
propositalmente enviar mensagens racistas e sexistas para chatbots para que eles sejam "treinados"
para dizer mensagens ofensivas contra certos subgrupos.
 8

Fonte: [11]

Confirmation Bias

O bias de confirmação é de origem cognitiva, e ocorre quando o indivíduo interpreta as informações

de modo a confirmar suas crenças sobre determinado assunto, ignorando outras informações e
evidências contrárias.

Por exemplo, um indivíduo de inclinação negacionista (contra a ciência) que acredita que “tomar
vacina faz mal para a saúde” poderá reforçar esta crença se, ao tomar alguma vacina, tiver algum
problema de saúde, mesmo que não tenha qualquer relação com a vacina tomada. Este tipo de bias
é bastante amplificado em “bolhas” ou “salas de eco” criadas por algoritmos de filtragem de conteúdo
em redes sociais. Ao interagir apenas com pessoas que “pensam da mesma forma” e evitando
posições divergentes, o senso crítico é prejudicado, e o terreno para a desinformação (acidental ou
proposital) é fértil.
 9

Fonte: [12]

No caso dos sistemas de IA, o viés de confirmação pode surgir por exemplo com a tendência do
criador do sistema em selecionar dados de treinamento (ou aplicar labels em dados, no caso de
classificação), ou ainda interpretar os resultados do modelo de modo compatível com suas crenças.

Qualquer que seja a origem ou tipo do bias, o fato é que a partir de 2017 “a ficha caiu” e tanto a
academia quanto as grandes empresas mais envolvidas com sistemas de IA começaram a demonstrar
enorme preocupação com o problema do bias em sistemas de IA.

Fonte: [13]
 10

O recorte de [13] mostra depoimentos de executivos importantes (John Giannandrea da Google,

Mustafa Suleyman da DeepMind, e Satya Nadela, CEO da Microsoft), todos expressando sua
inquietação com a questão da discriminação algorítmica.

Fonte: [13]

3. O problema do alinhamento

Todos desejamos uma IA mais ética e responsável, aderente aos valores como justiça e igualdade (não
discriminação), inclusão, privacidade, confiabilidade e outros. Os princípios para uma IA ética [14]
tentam colocar em palavras os valores que se deseja assegurar. Porém, há uma dificuldade - como
"embutir" valores humanos em uma solução de IA?

Existe consenso de que esta tarefa se torna cada vez mais importante na medida em que vários
sistemas poderosos de IA já estão em uso, alguns operando com grande autonomia para tomar
decisões que antes eram relegadas aos humanos. Porém, a tarefa não é simples, e requer uma
abordagem multidisciplinar envolvendo legisladores, políticos, especialistas em IA, cientistas de
dados, estatísticos, desenvolvedores de software, psicólogos, antropologistas, filósofos e a sociedade
em geral.

Na literatura, o nome usualmente utilizado para denotar esta tarefa é "alinhamento de valores"
(Value Alignment). O propósito do "alinhamento de valores" é assegurar que os sistemas de IA
(sobretudo os mais poderosos e capazes de produzir maior impacto e com mais alcance) estejam
adequadamente alinhados com valores morais humanos. Este tema é discutido pelo cientista da
computação Stuart Russel em seu livro "Human Compatible: AI and the Problem of Control" [15] e em
várias outras referências. Em particular, o assunto é abordado com grande competência no artigo
"Artificial Intelligence, Values, and Alignment" [16] de Iason Gabriel, filósofo eticista da DeepMind
em Londres.
 11

De forma simplificada, o problema de "alinhamento de valores" tem duas partes, uma técnica, e outra
filosófica:

1. Como implementar valores morais em um sistema de IA?

Esta é a parte técnica do problema do alinhamento. Soluções de IA que utilizam Machine Learning
para aprender com dados são projetadas para maximizar eficiência na execução de alguma tarefa (por
exemplo, classificar imagens) - e fazem isso muito bem. Porém, como alerta o já citado Stuart Russell
e também Aaron Roth em seu livro "The ethical algorithm“ [17], não farão nada além disso se não
forem instruídas para tal, de modo objetivo.

Se você otimiza um algoritmo para maior precisão, não ganhará transparência, privacidade e não
discriminação como um bônus a troco de nada. Assim, é preciso encontrar meios técnicos (por
exemplo, através de restrições matemáticas definidas durante o treinamento do modelo) de incluir
os valores morais desejados no design da solução.

O efeito Midas

Um alerta feito por Stuart Russell em sua palestra TED Talk [18] é que devemos “entender exatamente
o que está sendo pedido” para um sistema de IA, pois pela forma como os modelos de Machine
Learning funcionam, os algoritmos vão tentar otimizar a sua performance na tarefa que devem
resolver (por exemplo, classificar imagens), sem se preocupar com outros objetivos se não forem
explicitamente definidos”. Temos que ter muita atenção ao que estamos pedindo, para evitar o
“efeito Midas” na IA – obter resultados ótimos, porém não alinhados ao que realmente desejamos.

Fonte: [18]
 12

Um exemplo relacionado ao “problema do rei Midas na IA” citado pelo filósofo Nick Bostrom é o
seguinte [19, 20]:

“AI, produza a maior quantidade possível de clips de papel”.

Se é este o único propósito (a função utilidade que se deseja maximizar), o algoritmo vai tentar
alcançá-lo dispondo de todos os recursos que estiverem disponíveis, e eventualmente poderá destruir
estruturas para obter mais metal para a produção de clips, até cobrir o planeta Terra com estes
objetos.

Assim, a questão do propósito passado para os sistemas de IA é importante, assim como encontrar
um meio de embutir valores morais nos sistemas de IA (“problema do alinhamento de valores”).

2. Com quais valores morais desejamos que o sistema de IA esteja alinhado?

Esta é a parte mais filosófica ou normativa do "problema do alinhamento".

• Como a sociedade vai decidir sobre quais princípios (ou objetivos) devem ser "codificados" em
sistemas de IA?
• Quem decidirá sobre isso, considerando que vivemos em uma sociedade pluralista com diferentes
visões de mundo e crenças sobre valores morais, em alguns casos, incompatíveis entre si?
• Como fazer isso de forma que um determinado grupo não "imponha" seus valores preferidos
sobre outros grupos?

Iason Gabriel nos ensina que há diferentes concepções sobre como isso pode ser feito. Por exemplo,
em uma abordagem minimalista o foco seria em tentar embutir na IA pelo menos os controles que
impeçam os impactos maiores (por exemplo, que atentem contra a segurança humana ou tragam
outros resultados ruins sobre esta ótica da segurança e confiabilidade). Esta concepção nos levaria ao
que o filósofo chama de "IA segura" (Safe AI).

Já na abordagem maximalista o desafio seria ter não apenas segurança, mas uma "IA boa e justa"
(Good IA), uma meta mais ambiciosa e próxima do que queremos dizer com "IA ética e responsável",
mas também mais difícil, dado que é neste caso justamente que será preciso lidar com a "questão
das definições".
 13

Assim, a parte normativa do "problema do alinhamento" parece ser a mais difícil, até pelo fato de
que enquanto ela não for endereçada não será possível resolver a parte técnica de forma adequada
(não podemos embutir valores morais na IA se não concordamos ainda sobre quais são eles).

Iason Gabriel prossegue explicando que também é necessário entender com maior clareza com o que
desejamos alinhar a IA quando usamos a expressão "princípios" ou "valores morais". Qual deve ser o
portador da moralidade? Vejamos alguns candidatos...

Instruções (o agente faz o que foi instruído para fazer)

Intenções (o agente faz o que eu pretendo que ele realmente faça, para além de instruções)

Preferências (o agente faz o que meu comportamento revela que eu pretendo que ele faça)

Interesses (o agente age no meu melhor interesse)

Etc.

Se formos bem-sucedidos em reproduzir nossos comportamentos morais em sistemas de IA, isso seria
bom?

A pergunta procede, já que por sua natureza, infelizmente o ser humano se comporta mal em muitas
situações e tem muitos preconceitos, nem sempre age de forma ética e se envolve em guerras sem
sentido. Logo, os futuros sistemas de IA precisam ser mais altruístas do que nós, sendo capazes de
respeitar valores morais que o próprio homem ignora em muitos contextos.

Fonte: Adaptado de [18]

 14

Tal como a falta, o “excesso de moralismo” em sistemas de IA pode ser igualmente problemático.

O difícil é encontrar a zona cinza onde os seres humanos operam, onde há regras, mas elas podem
ser quebradas em certos casos, em um complexo julgamento de valores e contextos.

Fonte: Adaptado de [18]

A IA então vai preparar seu jantar, e nota que a geladeira está vazia.

Então, neste momento ela vê o gato....

Será a IA capaz de contrapor o sentimento humano afetivo por animais domésticos com o valor
nutricional deste mamífero?

Fonte: [18]
 15

Enfim, anedotas à parte, o problema do alinhamento de valores é um importante aspecto da busca

pela IA ética e confiável em geral (e da busca pela não discriminação algorítmica em particular). O
mundo é plural, há diferentes sistemas morais e opiniões sobre o que significa ser justo, ou se a
transparência deve ter prioridade sobre a eficiência, ou se a privacidade é mais ou menos importante
que a precisão etc. É preciso definir qual seria o melhor método para discutir sobre a parte normativa.
Sobre isso, Iason Gabriel nos explica [16] que há três principais abordagens.

A primeira é a "Busca da Sobreposição de Valores", ou a ideia que ainda que existam diferenças entre
as visões sobre quais seriam os melhores valores para direcionar a IA, existe consenso sobre um grupo
de valores sobre o qual todos ou a grande maioria concorda. Por exemplo, uma pesquisa em
diferentes fontes de princípios para a IA ética revela que há razoável convergência sobre alguns
princípios éticos como transparência, justiça, igualdade, segurança (confiabilidade),
responsabilização e privacidade. Neste caso, talvez seja possível tomar como base os valores previstos
na carta dos direitos humanos fundamentais [21], que têm uma boa aceitação global.

A segunda é o "Véu da Ignorância", fundamentado nos estudos do já mencionado filósofo John Rawls
[22]. Esta abordagem visa evitar que os princípios sejam criados pensando-se "no interesse próprio e
em cada caso particular", e em vez disso sejam definidos com base apenas em considerações gerais,
como se seus criadores não soubessem quem vai ser afetado, nem onde, nem quando.

A terceira é a "Escolha Social", ou seja, deixar a sociedade votar e decidir sobre quais devem ser os
princípios e noções morais que a IA deve seguir. Neste caso não se pretende obter princípios
universais e categóricos (no sentido Kantiano), ou princípios sobre o qual todos concordem, mas em
vez disso adotar o que foi escolhido pela maioria da sociedade, que afinal é quem será afetada pelas
aplicações de IA. Esta seria, portanto, a "abordagem democrática" para atacar a parte normativa do
"problema do alinhamento". Naturalmente, tem também suas dificuldades. Como assegurar
representatividade e conduzir esta votação? Cada país fará sua análise de escolhas isoladamente, e
depois isso será agregado globalmente de alguma forma? Etc.

Também é preciso considerar que dados os interesses econômicos em jogo e o alcance e importância
da IA hoje no mundo, o problema não é apenas técnico e moral, mas tem também um forte
componente político. Além disso, a IA é uma tecnologia emergente sobre o qual sabemos pouco, e
que, portanto, é preciso cautela e uma abordagem progressiva na sua normatização.

Algoritmos éticos

Em vez de empregar apenas meios reativos (multas, punições etc.) definidos em marcos regulatórios
e políticas corporativas, o ideal seria tentar resolver os problemas éticos da IA de modo preventivo,
por exemplo, detectando e reduzindo o bias em sistemas de IA antes que eles entrem em produção.
Para isso, precisamos aprender a construir "algoritmos éticos“, disciplina interessante que ainda está
em sua infância.

No caso da privacidade, que é um dos princípios que deve nortear os projetos de IA, uma solução
satisfatória já foi desenvolvida [23]. Trata-se da privacidade diferencial, um mecanismo estatístico que
permite definir a “perda de privacidade” como uma restrição matemática que pode ser incorporada
em algoritmos de Machine Learning.
 16

Para o caso da noção de justiça e outros valores morais, porém, o desafio é mais difícil, como
explicado em [24]. Por exemplo, existem muitas métricas de “fairness” diferentes que podem ser
aplicadas como restrições durante a criação dos modelos de Machine Learning [25], como a “paridade
demográfica” ou a “igualdade nas taxas de erros (falsos positivos, falsos negativos)”. Já existem mais
de 70 métricas para fairness compatíveis com a ferramenta AI Fairness 360 da IBM [37].

Infelizmente, não é possível maximizar o modelo para todas estas noções simultaneamente. Isto
significa que um modelo de IA que é "mais justo" por alguma definição de “fairness“ que se escolha
priorizar pode ao mesmo tempo ser “injusto” sobre alguma outra noção de fairness (igualmente
válida!).

Além disso, quase sempre haverá um trade-off inevitável entre os objetivos de se maximizar a
“justiça” (por qualquer definição de fairness) e a performance (por alguma métrica aplicável ao tipo
de modelo). A sociedade precisa compreender que assim como a discriminação produz efeitos ruins
que se deseja combater, a redução da precisão em sistemas de IA também pode trazer impactos
negativos para seus usuários, ou seja, não há lanche grátis.

Outro valor importante no desenvolvimento de aplicações de IA é a transparência [26]. Tais aplicações

têm impactos práticos na vida das pessoas (por exemplo, quem deve ou não ser chamado para uma
entrevista de emprego ou receber um financiamento bancário), e, portanto, é justificável que elas
queiram compreender quais foram os critérios utilizados, ou como estas decisões foram tomadas.

Assim, a transparência é fundamental para que possa existir legitimidade (as pessoas devem ser
capazes de exercer adequadamente o seu direito de avaliar as decisões que as impactam). Isso já é
assim nas decisões tomadas por humanos, e deve valer também para os sistemas de IA com
autonomia para tomar decisões.

Estes são os desejos. Mas para implementar este “desejo” em aplicações de IA, é preciso determinar
por exemplo quem temos em mente ao requisitar “transparência” no sistema de IA, dado que há
diferentes partes interessadas, com variado nível de conhecimento técnico.

Transparente para quem

Usuário final do sistema?

Auditor externo?
Gestor de Conformidade corporativo?
Desenvolvedor?
Cientista de Dados?
Etc.

Da mesma forma, temos que decidir sobre o que desejamos maior transparência (Dados utilizados?
Funcionamento do algoritmo? Decisões tomadas pelo modelo?).

Além disso, assim como no caso do fairness, também no requisito de transparência poderão ocorrer
trade-offs que precisam ser compreendidos, como nas aplicações de Deep Learning que utilizam
redes neurais complexas, onde a performance é maior, mas ao custo de menor interpretabilidade.

Vejamos em seguida alguns exemplos de discriminação em sistemas de inteligência artificial.

 17

4. Exemplos de discriminação em IA
Esta seção reúne alguns exemplos que ilustram os impactos negativos que a discriminação algorítmica
pode causar. Com relação aos danos que podem causar, Kate Crawford sugere dois grandes grupos
[13].

Danos de alocação (Allocation Harms)

Ocorrem quando os sistemas de IA dificultam ou impedem o acesso de determinados subgrupos da

população em recursos, informações, serviços e oportunidades, em comparação com outros
subgrupos. Este tipo de dano por discriminação é encontrado por exemplo em sistemas de IA que
apoiam as seleções de currículos e contratações, a admissão em universidades e na concessão de
créditos e empréstimos bancários.

A parte branca no mapa indica quem

NÃO RECEBE entregas no mesmo dia
pelo serviço de delivery da Amazon
(same day delivery service) em Chicago.

O mapa indica em vermelho onde se

concentram as populações
afroamericanas em Chicago. Algumas
áreas não possuem supermercados e as
pessoas contam com o serviço de
entrega no mesmo dia para receber
alimentos frescos. Se as pessoas não
recebem entregas APENAS por
morarem nestas áreas mais pobres,
está caracterizado um dano de
alocação.

Fonte: [13]
 18

Danos de alocação também podem resultar da má qualidade ou negação de serviços (Quality-of-

service harms), quando um sistema de IA funciona bem para determinados subgrupos, e funciona
mal (com mais erros) para outros subgrupos da população, que ficam sujeitos a um serviço de pior
qualidade. Por exemplo, a performance de aplicações de IA de reconhecimento facial (medida pela
acurácia ou outra métrica de classificação) pode variar entre pessoas conforme o tom da pele, como
veremos mais adiante.

Outros serviços como anúncios on-line e sistemas de recomendação por IA também podem ter
desempenho diferenciado de forma discriminativa, apresentando taxas de erros (falsos positivos,
falsos negativos) significativamente mais altas para determinados subgrupos apenas.

Danos de representação (Representation harms)

Segundo Crawford [13], enquanto os danos de alocação têm relação com o acesso a recursos, os
danos de representação estão relacionados com falhas na identificação de indivíduos, animais,
objetos etc.

Um grave exemplo de dano de representação foi a exibição de imagens de pessoas negras com o label
“Gorillas” [27] pela API de identificação de objetos do Google em 2015.

Fonte: [27]

Para uma discussão mais detalhada ver [13].

 19

Discriminação em processos seletivos

Um algoritmo desenvolvido pela Amazon para ajudar o RH na contratação de novos colaboradores,

que filtrava de forma automática os currículos enviados pelos candidatos para certas posições. Após
algumas queixas e uma análise aprofundada, verificou-se que o algoritmo era "discriminatório contra
mulheres“ [28]. Foi descoberto que eram rejeitados currículos perfeitamente aceitáveis (apenas de
mulheres), com base em certas características (por exemplo, hobbies das pretendentes).

Targeting de ads contaminado por estereótipos de gênero

Fonte: [30]

Em 2020, como um experimento, a organização AlgorithmWatch [29] publicou no Facebook dois

anúncios fictícios de emprego. Uma vaga era para motorista de caminhão e a outra para educador.
Os próprios algoritmos de IA do Facebook decidiram para quem exibir cada anúncio (este era o
objetivo do experimento - verificar como seria a distribuição dos anúncios por gênero).
Como resultado, o anúncio da vaga para motorista de caminhão foi exibido para 4.864 homens e
apenas 386 mulheres, enquanto o anúncio para educador, que foi postado simultaneamente, foi
exibido para 6.456 mulheres, mas apenas 258 homens. Isso revelou estereótipo de gênero nos
algoritmos ("mulher não pode dirigir caminhão", "educador é emprego para mulher").
 20

Discriminação por idade e gênero na concessão de crédito

Fonte: [30]

2021, Alemanha. Uma mulher não conseguiu concluir uma compra on-line, embora tivesse recursos
para pagar, presumivelmente em função de uma combinação "desfavorável" de sua idade e seu
gênero (avaliação de risco de crédito por algoritmo de IA).

Reconhecimento facial não funciona dependendo da cor da pele

Fonte: [30]

Em 2020, Audrey K. foi a uma repartição pública em Hamburgo, na Alemanha, para tirar a carteira
internacional de motorista. Entretanto, o sistema de biometria não foi capaz de reconhecer o rosto
dela, em função do tom de pele escuro. A maior taxa de erro nos algoritmos de reconhecimento
facial para peles escuras cria muitos problemas de autenticação e pode causar dificuldades em vários
serviços para esta população (por exemplo, problemas na biometria facial implementada em
aeroportos).
 21

No projeto The Gender Shade [31] liderado pela pesquisadora Joy Buolamwini três empresas (IBM,
Microsoft e Face++) que oferecem soluções de IA com visão computacional baseados na detecção e
identificação de atributos de rostos (por exemplo, classificação por gênero) tiveram seus produtos
avaliados.

Todas as empresas tiveram desempenho melhor nos rostos com tom de pele clara, ou seja, as taxas
de erro na classificação foram maiores para as peles escuras em todos os produtos avaliados. As
maiores taxas de erro na classificação para peles escuras têm impactos negativos para este grupo no
uso de soluções que utilizam estes modelos (tal como aconteceu com Audrey K. na Alemanha).

Fonte: [31]
 22

Preço do seguro do carro varia conforme a nacionalidade

Fonte: [30]

Udo Enwerenezor mora na Itália e tem dupla nacionalidade (Italiano e Nigeriano). Ele percebeu que
o preço do seguro do seu carro dependia de qual nacionalidade ele informava na contratação do
serviço. Se falasse que era nigeriano, o preço do seguro era mais elevado, mesmo com todos os outros
parâmetros idênticos no perfil. Isso indica um padrão discriminatório na análise.

Discriminação na NLP (processamento de linguagem)

Há modelos de NLP (Natural Language Processing) que fazem correlação semântica com
"proximidade espacial" entre palavras. Ou seja, a similaridade no significado é indicada pela
frequência em que as palavras aparecem próximas umas das outras (há uma forma técnica de medir
a "distância" entre as palavras). Entretanto, constatou-se que estes algoritmos são "contaminados"
por preconceitos da própria sociedade, e assim podem revelar padrões machistas e racistas.

Fonte: [32]

Historicamente, as palavras "médico" e "comandante" aparecem mais próximas de "homem",

enquanto os conceitos de "enfermeiro" e "secretário" são associados com "mulher". O mesmo ocorre
com a profissão de "programador" (computador), cujo termo é aproximado de "homem" pelo
word2vec e outros algoritmos, em outro exemplo clássico de estereótipo de gênero. Analogamente,
as palavras que representam as profissões de "artista", "cabelereiro" e "cozinheiro" são aproximadas
pelos algoritmos de classificação com "homossexualidade", enquanto "carpinteiro" é um termo
"hetero".
 23

Discriminação em algoritmos de policiamento preditivo

Fonte: [33]

Um sistema de IA chamado COMPAS foi utilizado para avaliar "o risco de um criminoso voltar a
cometer um crime nos próximos dois anos" após ser solto da prisão. Foi verificado que a ferramenta
era discriminatória contra pessoas negras.

Comparando os dados para pessoas brancas e negras, foi constatado que o número de erros do tipo
"falso positivo"1 entre as pessoas negras era maior do que para as brancas. Ver [33, 34] nas
Referências.

1
Falso positivo: pessoa que foi classificada como sendo de "alto risco" de reincidência, mas não voltou a cometer
crimes.
 24

Os danos potenciais da discriminação são muitos. Em alguns casos, os danos são “injustos”, e em
outros são ilegais. Os danos podem ser tanto individuais quanto coletivos como ilustrado no quadro.

Fonte: [35]

Perda de oportunidades
- Discriminação em empregos.
- Discriminação em preços de seguros e benefícios sociais.
- Discriminação em programas de casas populares.
- Discriminação no acesso à educação.
 25

Perdas econômicas
- Discriminação na concessão (ou custo) de crédito.
- Preços diferenciados na obtenção de produtos e serviços.
- Limitação de escolhas para determinados subgrupos.

Alienação social
- "Bolhas" em mídias sociais por algoritmos de filtragem.
- Reforço de estereótipos.
- Preconceitos diversos na filtragem de conteúdos disponíveis.

Perda de liberdade
- Riscos de abordagem em policiamento preditivo.
- Vigilância em massa pelo poder público, e no trabalho.
- Encarceramento injusto ou desproporcional.

5. Conclusão

Os sistemas de IA podem apresentar comportamento injusto (parcial, unfair) por vários motivos. Pode
haver bias cognitivo afetando as decisões tomadas durante o desenvolvimento do sistema. Pode ser
que o modelo tenha sido treinado com datasets desbalanceados (má representatividade de algum
subgrupo específico), ou pode ser que o bias reflita um comportamento social real (antes de existir
inteligência artificial já existia racismo no mundo, e ainda existe). Neste caso, o sistema de IA é um
espelho do que ocorre na sociedade - o mensageiro de uma realidade desconfortável – e se
desejamos realmente um mundo melhor, não adianta apenas “atirar no mensageiro”.

"Bias in AI is a reflection of bias in our broader society. Building ethics into AI is fixing the symptoms
of a much larger problem. We must decide as a society that we value equality and equity for all and
then make it in happen in real life, not just in our AI systems. AI has the potential to be the Great
Democratizer or to magnify social injustice and it is up to you to decide which side of that spectrum
you want your product to be on" (Kathy Baxter) [6] - “O viés na IA reflete o viés (preconceito) da
sociedade. Construir ética na inteligência artificial é atacar os sintomas de um problema muito mais
amplo. Nós precisamos decidir como sociedade que valorizamos a igualdade e a equidade para todos,
e então fazer isto acontecer na vida real, não apenas nos nossos sistemas de IA. A IA tem o potencial
de ser o “Grande Democratizador” ou de amplificar a injustiça social, e cabe a você decidir de que
lado do espectro você deseja que seu produto esteja”.

“Bias in systems is commonly caused as we know by bias in training data, and we can only gather
data about the world that we have, which has a long history of discrimination. So the default tendency
of these systems will be to reflect our darker biases” (Kate Crawford) [13]. - “O viés nos sistemas (de
IA) é normalmente causado, como sabemos, por vieses existentes nos dados de treinamento, e nós só
podemos coletar dados sobre o mundo em que vivemos, que tem uma longa história de discriminação.
Então, a tendência (por padrão) destes sistemas é refletir nossos preconceitos mais sombrios”
 26

Não é trivial distinguir entre as diferentes fontes para o bias, dado que elas podem ocorrer
simultaneamente e podem se influenciar mutuamente (um bias cognitivo em um analista pode
resultar em um dataset desbalanceado, que poderá afetar negativamente a parcialidade do sistema).
Assim, em vez de gastar energia na identificação das origens do bias, é mais produtivo avaliar o
sistema de IA em função dos impactos que ele exerce em algum subgrupo da população.

Nesta visão mais pragmática, quaisquer que sejam as origens do bias, os responsáveis devem adotar
medidas para impedir que seus sistemas de IA reproduzam ou amplifiquem [36] situações de
discriminação contra pessoas ou grupos. Neste sentido, existem ferramentas interessantes que
podem ajudar os desenvolvedores, cientistas de dados e outras partes interessadas a identificar e
reduzir bias em seus modelos de Machine Learning, como o Fairlearn [37] e o AI Fairness 360 da IBM
[38].

Entretanto, como esperamos ter deixado claro neste estudo, a imparcialidade (fairness) em sistemas
de IA é um problema sociotécnico muito difícil e que não se resolve apenas com ferramentas de
software, mas requer a análise de contextos particulares e o entendimento dos inevitáveis trade-offs
entre “justiça e performance”, ou entre “diferentes noções de justiça” que não podem ser satisfeitas
simultaneamente. Dificuldades semelhantes surgem na agenda de embutir outros valores morais
humanos nos sistemas da IA.

Diversas abordagens para a construção de “algoritmos éticos” já estão em testes, envolvendo

contrafactuais [39], Otimização Bayesiana [40], Causal Reasoning [41], Value-Sensitive Algorithm
Design [42] e outros métodos, mas ainda deve demorar até que o desafio do “alinhamento de
valores” seja superado de forma satisfatória.

Diante deste cenário, os legisladores envolvidos na construção de marcos regulatórios para a IA

precisam ter consciência da difícil tarefa que enfrentam.
 27

6. Referências

1 – Justice as Fairness
https://en.wikipedia.org/wiki/Justice_as_Fairness
Último acesso em 05/08/2022

2 – The Ethics of AI - free online course created by the University of Helsinki.

https://ethics-of-ai.mooc.fi/
Último acesso em 05/08/2022

3 - List of cognitive biases

https://en.wikipedia.org/wiki/List_of_cognitive_biases
Último acesso em 05/08/2022

4 - 50 Cognitive Biases in the Modern World, Marcus Lu

https://www.visualcapitalist.com/50-cognitive-biases-in-the-modern-world/
Último acesso em 05/08/2022

5 – How to Recognize Exclusion in AI - By Joyce Chou, Oscar Murillo, and Roger Ibars
https://medium.com/microsoft-design/how-to-recognize-exclusion-in-ai-ec2d6d89f850
Último acesso em 02/08/2022

6 – How to Build Ethics into AI - Part II Research-based recommendations to keep humanity in AI. Kathy
Baxter
https://blog.salesforceairesearch.com/how-to-build-ethics-into-ai-part-iiresearch-based-
recommendations-to-keep-humanity-in-ai/
Último acesso em 04/08/2022

7 – Identifying Unknown Unknowns in the Open World: Representations and Policies for Guided
Exploration. Himabindu Lakkaraju et al
https://arxiv.org/pdf/1610.09064.pdf
Último acesso em 02/08/2022

8 - Google Translate’s gender bias pairs “he” with “hardworking” and “she” with lazy, and other
examples. Nikhil Sonnad
https://qz.com/1141122/google-translates-gender-bias-pairs-he-with-hardworking-and-she-with-
lazy-and-other-examples/
Último acesso em 04/08/2022

9 – Welcome to the First International Beauty Contest Judged by Artificial Intelligence - Beauty.AI 2.0
https://beauty.ai/
Último acesso em 04/08/2022
 28

10 - Is AI RACIST? Robot-judged beauty contest picks mostly white winners out of 6,000 contestants
https://www.dailymail.co.uk/sciencetech/article-3781295/Is-AI-RACIST-Robot-judged-beauty-
contest-picks-white-winners-6-000-submissions.html
Último acesso em 05/08/2022

11 - Tay, Microsoft's AI chatbot, gets a crash course in racism from Twitter (@guardian)
https://twitter.com/guardian/status/712903495221903360
Último acesso em 04/08/2022

12 - Terra não é Plana camiseta | Camiseta Stand Up For Science

https://www.amazon.com/Earth-Not-Flat-T-Shirt-Science/dp/B07CVN6CP1
Último acesso em 05/08/2022

13 - The Trouble with Bias - NIPS 2017 Keynote - Kate Crawford

https://youtu.be/fMym_BKWQzk
Último acesso em 04/08/2022

14 - Princípos para IA Ética e Responsável

https://www.etica-ia.com/princ%C3%ADpios
Último acesso em 03/08/2022

15 - Human Compatible: AI and the Problem of Control. Stuart Russell

https://en.wikipedia.org/wiki/Human_Compatible
Último acesso em 03/08/2022

16 - Artificial Intelligence, Values, and Alignment. Iason Gabriel

https://arxiv.org/abs/2001.09768
Último acesso em 03/08/2022

17 - The ethical algorithm. Aaron Roth

https://www.amazon.com.br/Ethical-Algorithm-Science-Socially-Design/dp/0190948205
Último acesso em 03/08/2022

18 - 3 principles for creating safer AI | Stuart Russell

https://youtu.be/EBK-a94IFHY
Último acesso em 03/08/2022

19 - Concerns of an Artificial Intelligence Pioneer. Natalie Wolchover

https://www.quantamagazine.org/artificial-intelligence-aligned-with-human-values-qa-with-stuart-
russell-20150421/
Último acesso em 03/08/2022
 29

20 - Superintelligence: Paths, Dangers, Strategies. Nick Bostrom.

https://www.amazon.com.br/Superintelligence-Dangers-Strategies-Nick-Bostrom/dp/0198739834
Último acesso em 03/08/2022

21 - Declaração Universal dos Direitos Humanos - Assembleia Geral das Nações Unidas (resolução 217
A III) em 10 de dezembro 1948.
https://www.unicef.org/brazil/declaracao-universal-dos-direitos-humanos
Último acesso em 03/08/2022

22 - JOHN RAWLS AND THE “VEIL OF IGNORANCE”. Ben Davies

https://open.library.okstate.edu/introphilosophy/chapter/john-rawls-and-the-veil-of-ignorance/
Último acesso em 03/08/2022

23 – Privacidade Diferencial (Referências)

https://www.etica-ia.com/pdif
Último acesso em 05/08/2022

24 – The Ethical Algorithm: The Science of Socially Aware Algorithm por Michael Kearns (Author),
Aaron Roth (Author)
https://www.amazon.com/-
/pt/dp/0190948205/ref=sr_1_1?crid=14I7JLDV2YQO9&keywords=the+ethical+algorithm&qid=1654
842121&s=books&sprefix=the+ethical+algorithm%2Cstripbooks%2C204&sr=1-1
Último acesso em 05/08/2022

25 - 21 fairness definition and their politics by Arvind Narayanan

https://shubhamjain0594.github.io/post/tlds-arvind-fairness-definitions/
Último acesso em 02/08/2022

26 – Transparência (Referências)
https://www.etica-ia.com/transpar%C3%AAncia
Último acesso em 05/08/2022

27 - Google apologises for Photos app's racist blunder

https://www.bbc.com/news/technology-33347866
Último acesso em 05/08/2022

28 - Amazon built an AI tool to hire people but had to shut it down because it was discriminating
against women
https://www.businessinsider.com/amazon-built-ai-to-hire-people-discriminated-against-women-
2018-10
Último acesso em 03/08/2022
 30

29 – AlgorithmWatch
https://algorithmwatch.org/en/
Último acesso em 05/08/2022

30 - Automated Decision-Making Systems and Discrimination. AlgoritmWatch.

https://algorithmwatch.org/en/wp-content/uploads/2022/06/AutoCheck-
Guidebook_ADM_Discrimination_EN-AlgorithmWatch_June_2022.pdf?utm_campaign=21-06-
2022,%20AutoCheck%20Launch,%20EN&utm_medium=email&utm_source=Mailjet
Último acesso em 03/08/2022

31 – How well do IBM, Microsoft, and Face++ AI services guess the gender of a face?
http://gendershades.org/overview.html
Último acesso em 03/08/2022

32 – Bias in word embeddings. Adrian Colyer

https://blog.acolyer.org/2020/12/08/bias-in-word-embeddings/
Último acesso em 03/08/2022

33 - The bias detectives - As machine learning infiltrates society, scientists grapple with how to make
algorithms fair. Rachel Courtland
https://media.nature.com/original/magazine-assets/d41586-018-05469-3/d41586-018-05469-3.pdf
Último acesso em 03/08/2022

34 - Machine Bias. Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, ProPublica
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
Último acesso em 03/08/2022

35 - UNFAIRNESS BY ALGORITHM: DISTILLING THE HARMS OF AUTOMATED DECISION-MAKING. FPF

Staff.
https://fpf.org/blog/unfairness-by-algorithm-distilling-the-harms-of-automated-decision-making/
Último acesso em 03/08/2022

36 - AI is not just learning our biases; it is amplifying them. Laura Douglas.

https://medium.com/@laurahelendouglas/ai-is-not-just-learning-our-biases-it-is-amplifying-them-
4d0dee75931d
Último acesso em 02/08/2022

37 – Fairlearn - Improve fairness of AI systems

https://fairlearn.org/
Último acesso em 05/08/2022

38 - IBM - AI Fairness 360

https://aif360.mybluemix.net/
Último acesso em 05/08/2022
 31

39 - Counterfactual Fairness - Matt Kusner et al

https://arxiv.org/pdf/1703.06856.pdf
Último acesso em 05/08/2022

40 - Fair Bayesian Optimization. Valerio Perrone et al.

https://assets.amazon.science/58/be/897cb8df41d1b64ffc5da5118f1c/fair-bayesian-
optimization.pdf
Último acesso em 05/08/2022

41 - Avoiding Discrimination through Causal Reasoning. Niki Kilbertus et al.

https://proceedings.neurips.cc/paper/2017/file/f5f8590cd58a54e94377e6ae2eded4d9-Paper.pdf
Último acesso em 05/08/2022

42 - Value-Sensitive Algorithm Design: Method, Case Study, and Lessons - Haiyi Zhu, Bowen Yu, Aaron
Halfaker and Loren Terveen
https://dl.acm.org/doi/10.1145/3274463
Último acesso em 05/08/2022