Projeto - NBR - ISO - IEC - TR - 24027

ABNT/CB-021
PROJETO ABNT ISO/IEC TR 24027

FEV 2024
Tecnologia da informação — Inteligência artificial (IA) — Viés em sistemas

de IA e tomada de decisão auxiliada por IA
APRESENTAÇÃO
Projeto em Consulta Nacional
1) Este Projeto foi elaborado pela Comissão de Estudo de Inteligência Artificial

(CE-021:005.027) do Comitê Brasileiro de Tecnologias da Informação e Transformação Digital
(ABNT/CB-021), com número de Texto-Base 021:005.042-005, nas reuniões de:
13.07.2023 15.09.2023 16.11.2023
a) é previsto para ser idêntico ao ISO/IEC TR 24027:2021, que foi elaborada pelo Joint
Technical Committee Information Tecnology (ISO/IEC JTC 1), Subcommittee Artificial
intelligence (SC 42);
b) não tem valor normativo.
2) Aqueles que tiverem conhecimento de qualquer direito de patente devem apresentar esta
informação em seus comentários, com documentação comprobatória.
3) Analista ABNT – Carolina Martins de Oliveira.
© ABNT 2024
Todos os direitos reservados. Salvo disposição em contrário, nenhuma parte desta publicação pode ser modificada
ou utilizada de outra forma que altere seu conteúdo. Esta publicação não é um documento normativo e tem
apenas a incumbência de permitir uma consulta prévia ao assunto tratado. Não é autorizado postar na internet
ou intranet sem prévia permissão por escrito. A permissão pode ser solicitada aos meios de comunicação da ABNT.
NÃO TEM VALOR NORMATIVO

ABNT/CB-021
FEV 2024

Information technology — Artificial intelligence (AI) — Bias in AI systems and AI aided

decision making
Prefácio Nacional
A Associação Brasileira de Normas Técnicas (ABNT) é o Foro Nacional de Normalização. As Normas

Brasileiras, cujo conteúdo é de responsabilidade dos Comitês Brasileiros (ABNT/CB), dos Organismos
de Normalização Setorial (ABNT/ONS) e das Comissões de Estudo Especiais (ABNT/CEE), são
elaboradas por Comissões de Estudo (CE), formadas pelas partes interessadas no tema objeto
da normalização.
Os Documentos Técnicos internacionais adotados são elaborados conforme as regras da

ABNT Diretiva 3.
A ABNT chama a atenção para que, apesar de ter sido solicitada manifestação sobre eventuais direitos
de patentes durante a Consulta Nacional, estes podem ocorrer e devem ser comunicados à ABNT
a qualquer momento (Lei nº 9.279, de 14 de maio de 1996).
Os Documentos Técnicos ABNT, assim como as Normas Internacionais (ISO e IEC), são voluntários
e não incluem requisitos contratuais, legais ou estatutários. Os Documentos Técnicos ABNT não
substituem Leis, Decretos ou Regulamentos, aos quais os usuários devem atender, tendo precedência
sobre qualquer Documento Técnico ABNT.
Ressalta-se que os Documentos Técnicos ABNT podem ser objeto de citação em Regulamentos
Técnicos. Nestes casos, os órgãos responsáveis pelos Regulamentos Técnicos podem determinar
as datas para exigência dos requisitos de quaisquer Documentos Técnicos ABNT.
O ABNT ISO/IEC TR 24027 foi elaborado no Comitê Brasileiro de Tecnologias da Informação

e Transformação Digital (ABNT/CB-021), pela Comissão de Estudo de Inteligência Artificial
(CE-021:005.027). O Projeto circulou em Consulta Nacional conforme Edital nº XX, de XX.XX.XXXX
a XX.XX.XXXX.
O ABNT ISO/IEC TR 24027 é uma adoção idêntica, em conteúdo técnico, estrutura e redação,
a IEC/TS 24027:2021, que foi elaborado pelo Joint Technical Committee Information Tecnology
(ISO/IEC JTC 1), Subcommittee Artificial intelligence (SC 42).
O Escopo em inglês do ABNT ISO/IEC TR 24027 é o seguinte:
Scope
This document addresses bias in relation to AI systems, especially with regards to AI-aided
decision-making. Measurement techniques and methods for assessing bias are described, with the aim
to address and treat bias-related vulnerabilities. All AI system lifecycle phases are in scope, including
but not limited to data collection, training, continual learning, design, testing, evaluation and use.

ABNT/CB-021
FEV 2024
Introdução
Vieses em sistemas de inteligência artificial (IA) podem se manifestar de diferentes maneiras.

Os sistemas de IA que aprendem padrões a partir de dados podem potencialmente refletir o viés
social existente contra grupos. Embora algum viés seja necessário para abordar os objetivos
do sistema de IA (ou seja, viés desejado), pode ocorrer viés não pretendido segundo esses objetivos,
representando viés indesejado no sistema de IA.
Vieses em sistemas de IA podem ser introduzidos como resultado de deficiências estruturais no projeto
do sistema, surgir de viés cognitivo humano mantido pelas partes interessadas ou ser inerentes
aos datasets usados para treinar os modelos. Isso significa que os sistemas de IA podem
perpetuar ou ampliar vieses existentes ou ainda criar novos.
Desenvolver sistemas de IA com resultados livres de vieses indesejados é um objetivo desafiador.

O comportamento da operação do sistema de IA é complexo e pode ser difícil de entender,
mas o tratamento de vieses indesejados é possível. Muitas atividades no desenvolvimento
e implantação de sistemas de IA apresentam oportunidades para detecção e tratamento de vieses
indesejados permitindo que as partes interessadas se beneficiem de sistemas de IA consonantes
com seus objetivos.
Vieses em sistemas de IA é uma área ativa de pesquisa. Este documento aborda as melhores práticas
atuais para detectar e tratar vieses em sistemas de IA ou na tomada de decisão auxiliada por IA,
independentemente da fonte. O documento aborda temas como:
— visão geral de viés (5.2) e justiça (5.3);
— fontes potenciais de viés indesejado e termos para especificar a natureza do viés potencial (Seção 6);
— avaliação de viés e justiça (Seção 7) por meio de métricas;
— abordagem do viés indesejado por meio de estratégias de tratamento (Seção 8).

ABNT/CB-021
FEV 2024

1 Escopo
Este documento aborda o viés em relação aos sistemas de IA, especialmente no que diz respeito
à tomada de decisão auxiliada por IA. Técnicas de medição e métodos para avaliação de vieses são
descritos com o objetivo de abordar e tratar vulnerabilidades relacionadas a vieses. Todas as fases
do ciclo de vida do sistema de IA estão no escopo, incluindo, entre outras, coleta de dados,
treinamento, aprendizado contínuo, projeto, teste, avaliação e uso.
2 Referências normativas
Os documentos a seguir são citados no texto de tal forma que seus conteúdos, totais ou parciais,
constituem requisitos para este Documento. Para referências datadas, aplicam-se somente as edições
citadas. Para referências não datadas, aplicam-se as edições mais recentes do referido documento
(incluindo emendas).
ABNT NBR ISO/IEC 22989, Tecnologia da informação – Inteligência artificial – Conceitos de inteligência
artificial e terminologia
ISO/IEC 23053, Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)
3 Termos e definições
Para os efeitos deste documento, aplicam-se os termos e definições das ABNT NBR ISO/IEC 22989
e ISO/IEC 23053, e os seguintes.
A ISO e a IEC mantêm as bases de dados terminológicos para uso na normalização nos seguintes
endereços:
— ISO Online Browsing Plataform: disponível em https://www.iso.org/obp
— IEC Electropedia: disponível em https://www.electropedia.org/
3.1 Inteligência artificial
3.1.1
estimador de máxima verossimilhança (maximum likelihood estimator)
estimador que atribui o valor do parâmetro em que a função de verossimilhança atinge ou se aproxima
de seu valor mais alto
Nota 1 de entrada: O estimador de máxima verossimilhança é uma abordagem bem estabelecida para obter
estimativas de parâmetros quando uma distribuição foi especificada (por exemplo, normal, gama, Weibull
e assim por diante). Esses estimadores têm propriedades estatísticas desejáveis (por exemplo, invariância
sob transformação monótona) e, em muitas situações, fornecem o método de estimativa de escolha.
Nos casos em que o estimador de máxima verossimilhança é viesado, às vezes ocorre uma correção
de viés simples.
[FONTE: ISO 3534-1:2006, 1.35]
NÃO TEM VALOR NORMATIVO 1/44

ABNT/CB-021
FEV 2024
3.1.2
sistemas baseados em regras
sistema baseado no conhecimento que extrai inferências aplicando um conjunto de regras “se-então”
a um conjunto de fatos seguindo determinados procedimentos
[FONTE: ISO/IEC 2382:2015, 2123875]

3.1.3
amostra
<estatísticas> subset de uma população constituída por uma ou mais unidades de amostragem
Nota 1 de entrada: As unidades amostrais podem ser itens, valores numéricos ou mesmo entidades abstratas,
dependendo da população-alvo.
Nota 2 de entrada: Uma amostra de uma população normal, gama, exponencial, Weibull, lognormal ou de valor
extremo tipo I será frequentemente referida como uma amostra normal, gama, exponencial, Weibull, lognormal
ou de valor extremo tipo I, respectivamente.
[FONTE: ISO 16269-4:2010, 2.1, modificado - adicionado domínio <estatísticas>]
3.1.4
conhecimento
informações sobre objetos, eventos, conceitos ou regras, seus relacionamentos e propriedades,
organizadas para uso sistemático orientado a objetivos
Nota 1 de entrada: As informações podem existir de forma numérica ou simbólica.
Nota 2 de entrada: A informação é um dado que foi contextualizado de modo interpretável. Dados são criados
por meio de abstração ou medição do mundo.
3.1.5
usuário
indivíduo ou grupo que interage com um sistema ou se beneficia de um sistema durante sua utilização
[FONTE: ISO/IEC/IEEE 15288:2015, 4.1.52]
3.2 Viés
3.2.1
viés de automação
propensão dos seres humanos favorecerem sugestões de sistemas automatizados de tomada de decisão
e ignorarem informações contraditórias feitas sem automação, mesmo que sejam corretas
3.2.2
viés
diferença sistemática no tratamento de certos objetos, pessoas ou grupos em comparação com outros
Nota 1 de entrada: Tratamento é qualquer tipo de ação, incluindo percepção, observação, representação,
predição ou decisão.
3.2.3
viés cognitivo humano
viés (3.2.2) que ocorre quando seres humanos estão processando e interpretando informações
Nota 1 de entrada: O viés cognitivo humano influencia o julgamento e a tomada de decisão.
2/44 NÃO TEM VALOR NORMATIVO

ABNT/CB-021
FEV 2024
3.2.4
viés de confirmação
tipo de viés cognitivo humano (3.2.4) que favorece as predições de sistemas de IA que confirmam
crenças ou hipóteses preexistentes
3.2.5
amostra de conveniência
amostra de dados que é escolhida por ser de fácil obtenção, e não por ser representativa
3.2.6
viés de dados
propriedades de dados que, se não forem abordadas, levam a sistemas de IA com desempenho
melhor ou pior para diferentes grupos (3.2.8)
3.2.7
grupo
subset de objetos em um domínio que estão vinculados porque têm características compartilhadas
3.2.8
viés estatístico
tipo de deslocamento numérico consistente em uma estimativa em relação ao verdadeiro valor
subjacente, inerente à maioria das estimativas
[FONTE: ISO 20501:2019, 3.3.9]
4 Abreviações
— IA inteligência artificial
— ML aprendizado de máquina (Machine Learning)
5 Visão geral de viés e justiça

5.1 Geral
Neste documento, viés é definido como uma diferença sistemática no tratamento de certos objetos,
pessoas ou grupos em comparação com outros, em seu significado genérico além do contexto de IA
ou ML. Em um contexto social, o viés tem uma clara conotação negativa como uma das principais
causas de discriminação e injustiça. No entanto, são as diferenças sistemáticas na percepção humana,
na observação e na representação resultante do ambiente e das situações que tornam possível
a operação dos algoritmos de ML.
Este documento usa o termo ‘viés’ para caracterizar a entrada e os elementos construtivos dos
sistemas de IA em termos de seu projeto, treinamento e operação. Sistemas de IA de diferentes tipos
e propósitos (como rotulagem, clustering, fazer predições ou tomar decisões) dependem desses
vieses para sua operação.
Para caracterizar o resultado do sistema de IA ou, mais precisamente, seu possível impacto
na sociedade, este documento usa os termos injustiça e justiça. A justiça pode ser descrita como
um tratamento, comportamento ou resultado que respeite fatos, crenças e normas estabelecidos,
e não é determinada por favoritismo ou discriminação injusta.

ABNT/CB-021
FEV 2024
Embora certos vieses sejam essenciais para o funcionamento adequado do sistema de IA, vieses
indesejados podem ser introduzidos em um sistema de IA involuntariamente e podem levar a resultados
injustos do sistema.
5.2 Visão geral de viés

Os sistemas de IA possibilitam novas experiências e capacidades para pessoas em todo o mundo.
Os sistemas de IA podem ser usados em várias tarefas, como recomendar livros e programas
de televisão, predizer a presença e a gravidade de uma condição médica, combinar pessoas com
empregos e parceiros ou identificar se uma pessoa está atravessando a rua. Esses sistemas
informatizados de assistência ou de tomada de decisão têm o potencial de serem mais justos, e correm
o risco de serem menos justos do que os sistemas existentes ou humanos, que serão ampliados
ou substituídos.
Os sistemas de IA geralmente aprendem com dados do mundo real; portanto, um modelo de ML

pode aprender ou até mesmo amplificar vieses problemáticos de dados preexistentes. Esses vieses
podem potencialmente favorecer ou desfavorecer determinados grupos de pessoas, objetos, conceitos
ou resultados. Mesmo com dados aparentemente sem vieses, e treinamento e teste multifuncional
mais rigorosos, ainda pode resultar em um modelo de ML com viés indesejado. Além disso, a remoção
ou redução de um tipo de viés (por exemplo, viés social) pode envolver a introdução ou o aumento
de outro tipo de viés (por exemplo, viés estatístico)[3]; ver impacto positivo descrito nesta Seção.
O viés pode ter impacto negativo, positivo ou neutro.
Antes de discutir aspectos de vieses em sistemas de IA, é necessário descrever o funcionamento

de sistemas de IA e o que significa viés indesejado nesse contexto. Um sistema de IA pode ser
caracterizado como o uso do conhecimento para processar dados de entrada para fazer predições
ou tomar ações. O conhecimento dentro de um sistema de IA é geralmente construído por meio
de um processo de aprendizado a partir de dados de treinamento; consiste em correlações estatísticas
observadas no dataset de treinamento. É essencial que tanto os dados de produção quanto os dados
de treinamento estejam relacionados à mesma área de interesse.
As predições feitas pelos sistemas de IA podem ser variadas, dependendo da área de interesse
e do tipo de sistema de IA. No entanto, para sistemas de classificação, é útil pensar nas predições
de IA como processamento do conjunto de dados de entrada apresentados e predizer se a entrada
pertence a um conjunto desejado ou não. Um exemplo simples é fazer uma predição relacionada
a uma solicitação de empréstimo, quanto a se o requerente representa um risco financeiro aceitável
ou não para a organização que o concederá.
Um sistema de IA desejável prediria corretamente se a solicitação representa um risco aceitável sem

contribuir para a exclusão sistêmica de certos grupos. Isso pode significar, em algumas circunstâncias,
considerar características de certos grupos, como etnia e gênero. Pode haver um efeito de viés
no ambiente resultante onde a predição pode alterar os resultados de predições subsequentes.
Exemplos de como determinar se um algoritmo tem vieses indesejados de acordo com as métricas
estabelecidas na Seção 7 são apresentados no Anexo A.
A detecção de vieses pode envolver a definição de critérios apropriados e a análise de compensações

associadas a esses critérios. Dados critérios específicos, este documento descreve metodologias
e mecanismos para identificar e tratar vieses em sistemas de IA.
Algoritmos de classificação (um tipo de aprendizado supervisionado) e clustering (um tipo de aprendizado
não supervisionado) não são aptos para funcionar sem viés. Se todos os subgrupos forem tratados
igualmente, então esses tipos de algoritmos teriam que rotular todas as saídas da mesma forma
(resultando em apenas uma classe ou cluster). No entanto, investigações seriam necessárias para
avaliar se o impacto desse viés é positivo, neutro ou negativo de acordo com os objetivos do sistema.

ABNT/CB-021
FEV 2024
Exemplos de efeitos positivos, neutros e negativos de vieses são os seguintes:
— Efeito positivo: os desenvolvedores de IA podem introduzir vieses para assegurar um resultado

justo. Por exemplo, um sistema de IA usado para contratação de um tipo específico de trabalhador
pode introduzir um viés em relação a um gênero em detrimento de outro na fase de decisão
para compensar o viés social herdado dos dados, e que reflete sua sub-representação histórica
nessa profissão.
— Efeito neutro: o sistema de IA para processamento de imagens em um sistema de carro autônomo

pode sistematicamente classificar de forma errônea “caixas de correio” como “hidrantes”.
No entanto, esse viés estatístico terá impacto neutro, desde que o sistema tenha uma prioridade
igualmente forte por evitar ambos os tipos de obstáculo.
— Efeito negativo: exemplos de impactos negativos incluem sistemas de contratação de IA favorecendo

candidatos de um gênero em detrimento de outro, e assistentes digitais baseados em voz que não
reconhecem pessoas com deficiências de fala. Cada um desses casos pode, como consequência
não intencional, limitar as oportunidades das pessoas afetadas. Embora estes exemplos
possam ser categorizados como antiéticos, o viés é um conceito mais amplo que se aplica mesmo
em cenários sem efeitos adversos sobre as partes interessadas, por exemplo, na classificação
de galáxias por astrofísicos.
Pode ser um desafio determinar a relevância do viés, porque o que constitui um efeito negativo pode
variar dependendo do caso de uso específico ou do domínio da aplicação. Por exemplo, a definição
de perfis com base na idade pode ser considerada inaceitável nas decisões de candidatura a emprego.
No entanto, a idade pode desempenhar um papel crítico na avaliação de procedimentos e tratamentos
médicos. A customização apropriada específica para o caso de uso ou o domínio da aplicação
poderia ser considerada.
Em sistemas de ML, o resultado de qualquer operação individual é baseado em correlações entre

características no domínio de entrada e saídas observadas anteriormente. Quaisquer saídas incorretas
(incluindo, por exemplo, decisões automatizadas, classificações e variáveis contínuas preditas)
são potencialmente devidas à fraca generalização, a saídas usadas para treinar o modelo de ML
e aos hiperparâmetros usados para calibrá-lo. O viés estatístico no modelo de ML pode ser introduzido
inadvertidamente ou devido ao viés na coleta de dados e no processo de modelagem. Em sistemas
de IA simbólica, o viés cognitivo humano pode levar à especificação imprecisa do conhecimento
explícito, por exemplo, especificando regras que se apliquem a si mesmo, mas não ao usuário-alvo,
devido ao viés de grupo.
Outra preocupação com o viés é a facilidade com que pode ser propagado em um sistema; após
sua propagação, pode ser difícil reconhecê-lo e mitigá-lo. Um exemplo é quando os dados refletem
um viés que já existe na sociedade e esse viés se torna parte de um novo sistema de IA, que então
propaga o viés original.
As organizações podem considerar o risco de viés indesejado em datasets e algoritmos, incluindo

aqueles que, à primeira vista, parecem inofensivos e seguros. Além disso, uma vez feitas as tentativas
de remover o viés indesejado, a categorização não intencional e algoritmos não sofisticados têm
o potencial de perpetuar ou ampliar o viés existente. Como consequência, a mitigação de viés
indesejado não é um processo do tipo “definir e esquecer”.
Por exemplo, um algoritmo de análise de currículos que favoreça candidatos com anos de serviço
contínuo automaticamente prejudicaria os cuidadores que estão retornando à força de trabalho depois
de terem se afastado por responsabilidades de cuidado. Um algoritmo semelhante também pode
rebaixar trabalhadores temporários cujo histórico de trabalho consiste em muitos contratos curtos com

ABNT/CB-021
FEV 2024
uma ampla variedade de empregadores: uma característica que pode ser interpretada como negativa.
Depois de reduzir o viés indesejado e retreinar o algoritmo, seria importante reavaliar cuidadosamente
os novos resultados obtidos.
Quanto mais automatizado o sistema e menos eficaz a supervisão humana, aumenta a probabilidade
de consequências negativas não intencionais. Essa situação se agrava quando várias aplicações
de IA contribuem para a automação de uma determinada tarefa. Nestes sistemas de IA de múltiplas
aplicações, a maior demanda por transparência e explicabilidade em relação aos resultados

que produz poderia ser antecipada pelas organizações que os implantam.
5.3 Visão geral de justiça

Justiça é um conceito distinto, mas relacionado ao viés. A justiça pode ser caracterizada pelos
efeitos de um sistema de IA em indivíduos, grupos de pessoas, organizações e sociedades
que o sistema influencia. No entanto, não é possível assegurar a justiça universal. A justiça como
um conceito é complexa, altamente contextual e, por vezes, contestada, variando entre culturas,
gerações, geografias e opiniões políticas. O que é considerado justo pode ser inconsistente nesses
contextos. Este documento, portanto, não define o termo justiça, devido à sua natureza altamente
contextualizada social e eticamente.
Mesmo dentro do contexto da IA, é difícil definir justiça de maneira que se aplique igualmente
bem a todos os sistemas de IA em todos os contextos. Um sistema de IA pode, potencialmente,
afetar indivíduos, grupos de pessoas, organizações e sociedades de muitas maneiras indesejáveis.
Categorias comuns de impactos negativos que podem ser percebidas como “injustas” e incluem:
— Alocação injusta: ocorre quando um sistema de IA estende ou retém injustamente oportunidades

ou recursos de maneira que causa efeitos negativos sobre algumas partes em comparação
a outras.
— Qualidade de serviço injusta: ocorre quando um sistema de IA funciona de forma menos

adequada em algumas partes do que em outras, mesmo que nenhuma oportunidade ou recurso
seja estendido ou retido.
— Estereotipagem: ocorre quando um sistema de IA reforça estereótipos sociais existentes.
— Difamação: ocorre quando um sistema de IA se comporta de forma depreciativa ou humilhante.
— “Sobre” ou “sub” representação e apagamento: ocorre quando um sistema de IA sobrerrepresenta

ou subrepresenta algumas partes em comparação com outras, ou mesmo falha em representar
sua existência.
O viés é apenas um dos muitos elementos que podem influenciar a justiça. Observa-se que entradas
viesadas nem sempre resultam em predições e ações injustas e predições, e ações injustas nem
sempre são causadas por vieses.
Um exemplo de um sistema de decisão viesado que, no entanto, pode ser considerado justo,
é uma política de seleção universitária viesada em favor de pessoas com qualificações relevantes,
na medida em que seleciona uma proporção muito maior de detentores de qualificações relevantes
do que a proporção de detentores de qualificações relevantes na população. Desde que a determinação
das qualificações relevantes não distinga dados demográficos específicos, esse sistema pode ser
considerado justo.
Um exemplo de um sistema sem viés que pode ser considerado injusto, é uma política que rejeita
todos os candidatos sem distinção. Tal política seria, de fato, sem viés, pois não diferenciaria nenhuma
categoria. Mas seria percebida como injusta por pessoas detentoras de qualificações relevantes.

ABNT/CB-021
FEV 2024
Este documento distingue entre viés e justiça. O viés pode ser social ou estatístico, pode ser refletido
ou surgir de diferentes componentes do sistema (ver Seção 6) e pode ser introduzido ou propagado
em diferentes estágios do ciclo de vida de desenvolvimento e implantação da IA (ver Seção 8).
Alcançar justiça em sistemas de IA muitas vezes significa fazer compensações. Em alguns casos,
diferentes partes interessadas podem ter prioridades legitimamente conflitantes, que não possam
ser conciliadas por um projeto de sistema alternativo. Como exemplo, considerar um sistema de IA
que decida a concessão de bolsas de estudo para candidatos a programas de pós-graduação em uma
universidade. A parte interessada em diversidade no departamento de admissões quer que o sistema
de IA forneça uma distribuição justa dessas bolsas para candidaturas de várias regiões geográficas.
Por outro lado, um professor, que é outra parte interessada, quer que um determinado aluno merecedor
interessado em uma determinada área de pesquisa seja contemplado com a bolsa. Nesse caso,
existe a possibilidade de o sistema de IA negar um candidato merecedor de uma determinada região
para atender aos objetivos da pesquisa. Assim, atender às expectativas de justiça de todas as partes
interessadas nem sempre é possível. Consequentemente, é importante ser explícito e transparente
sobre essas prioridades e quaisquer pressupostos subjacentes, a fim de selecionar corretamente
as métricas pertinentes (ver Seção 7).
6 Fontes de viés indesejado em sistemas de IA

6.1 Geral
Esta seção descreve possíveis fontes de viés indesejado em sistemas de IA. Isso inclui viés cognitivo
humano, viés de dados e viés introduzido por decisões de engenharia. A Figura 1 mostra a relação
entre esses grupos de vieses de alto nível. Os vieses cognitivos humanos (6.2) podem causar vieses
a serem introduzidos por meio de decisões de engenharia (6.4), ou vieses de dados (6.3).
Figura 1 – Relacionamentos entre grupos de vieses de alto nível
Por exemplo, a linguagem escrita ou falada contém vieses sociais que podem ser amplificados por
modelos de incorporação de palavras[4]. Como o viés social é refletido na linguagem existente usada
como dados de treinamento, esse, por sua vez, causa viés de dados de amostragem não representativa
(ver 6.3.4), o que pode levar a vieses indesejados. Esse relacionamento é apresentado na Figura 2.

ABNT/CB-021
FEV 2024
Figura 2 – Exemplo de viés social que se manifesta como viés indesejado
É provável que os sistemas apresentem múltiplas fontes de viés simultaneamente. Analisar um sistema
para detectar uma fonte de viés provavelmente não revelará todas. No mesmo exemplo, vários modelos
são usados para processamento de linguagem natural. As saídas do modelo de incorporação
de palavras, que podem ser afetadas por viés de amostragem não representativa, são então
processadas por um modelo secundário. Nesse caso, o uso de incorporação de palavras como
recursos para o modelo torna o modelo secundário suscetível a viés na engenharia de recursos.
Nem todas as fontes de viés relacionam-se com vieses cognitivos humanos; vieses podem ser
causados exclusivamente pelas características dos dados. Por exemplo, os sensores ligados
a um sistema podem falhar e produzir sinais que podem ser considerados outliers (ver 6.3.10).
Esses dados, quando usados para treinamento ou aprendizado por reforço, podem introduzir vieses
indesejados, conforme apresentado na Figura 3.
Figura 3 – Exemplo de características de dados que se manifestam como viés indesejado
6.2 Vieses cognitivos humanos

6.2.1 Geral
Seres humanos podem ser preconceituosos de diferentes maneiras, consciente e inconscientemente,

e influenciados por dados, informações e experiências de que dispõem para a tomada de decisões[5].
O pensamento é, muitas vezes, baseado em processos opacos que levam os seres humanos a tomar
decisões sem nem sempre saber o que os leva a tomá-las. Esses vieses cognitivos humanos afetam
as decisões sobre coleta e processamento de dados, projeto do sistema, treinamento de modelos

ABNT/CB-021
FEV 2024
e outras decisões de desenvolvimento que os indivíduos tomam, bem como decisões sobre como
um sistema é usado.
6.2.2 Viés de automação
A IA auxilia a automação da análise e a tomada de decisão em vários sistemas, por exemplo, em carros
autônomos e sistemas de saúde, que podem provocar viés de automação. O viés de automação ocorre
quando um tomador de decisão humano privilegia recomendações feitas por um sistema de tomada
de decisão automatizado em detrimento de informações feitas sem automação, mesmo quando
a automação comete erros.
6.2.3 Viés de atribuição de grupo
O viés de atribuição de grupo ocorre quando um ser humano assume que o que é verdadeiro para
um indivíduo ou objeto também é verdadeiro para todos, ou todos os objetos, desse grupo. Por exemplo,
os efeitos do viés de atribuição de grupo podem ser exacerbados se uma amostra de conveniência
for usada na coleta de dados. Em uma amostra não representativa, podem ser feitas atribuições
que não refletem a realidade. Esse também é um tipo de viés estatístico.
6.2.4 Viés implícito
O viés implícito ocorre quando um ser humano faz uma associação ou suposição com base
em seus modelos mentais e memórias. Por exemplo, ao construir um classificador para identificar
fotos de casamento, um engenheiro pode usar a presença de um vestido branco em uma foto como
característica. No entanto, vestidos brancos são comuns apenas em certas épocas e em certas culturas.
6.2.5 Viés de confirmação
O viés de confirmação ocorre quando as hipóteses, independentemente de sua veracidade, têm maior
probabilidade de serem confirmadas pela interpretação intencional ou não intencional das informações.
Por exemplo, os desenvolvedores de ML podem inadvertidamente coletar ou rotular dados de maneiras

que influenciam um resultado que apoia suas crenças existentes. O viés de confirmação é uma forma
de viés implícito.
O viés do experimentador é uma forma de viés de confirmação em que um experimentador continua

treinando modelos até que uma hipótese preexistente seja confirmada.
O viés cognitivo humano, em particular o viés de confirmação, pode causar vários outros vieses,
por exemplo, viés de seleção (ver 6.3.2) ou viés nos rótulos de dados (ver 6.3.3).
Outro exemplo é o viés “O que você vê é tudo o que existe” [What You See Is All There Is (WYSIATI)].
Ocorre quando um humano busca informações que confirmem as suas crenças, negligencia
informações contraditórias e tira conclusões com base no que lhe é familiar[6].
6.2.6 Viés de grupo
O viés de grupo ocorre quando se apresenta parcialidade em relação ao próprio grupo ou às próprias
características. Por exemplo, se os testadores ou avaliadores forem amigos, familiares ou colegas
do desenvolvedor do sistema, o viés de grupo pode invalidar o teste do produto ou o dataset.
Isso pode ser expresso na avaliação dos outros, alocação de recursos e de muitas outras formas.
Foi demonstrado que as pessoas procurarão fazer atribuições mais internas (disposicionais) para
eventos que refletem positivamente nos grupos aos quais pertencem e atribuições mais externas
(situacionais) para eventos que refletem negativamente em seus grupos.

ABNT/CB-021
FEV 2024
6.2.7 Viés de homogeneidade fora do grupo
O viés de homogeneidade fora do grupo ocorre quando os membros do grupo externo são vistos
como mais parecidos do que os membros do grupo interno ao comparar atitudes, valores, traços
de personalidade e outras características. Por exemplo, os europeus podem ser vistos como um grupo
homogêneo pelos americanos e vice-versa. No entanto, cada grupo seria capaz de identificar
muitos subgrupos e traços específicos no seu interior para provar a grande diversidade que,
na realidade, existe.
O efeito de homogeneidade fora do grupo é a percepção individual dos membros do grupo externo
como mais semelhantes uns aos outros do que os membros do grupo interno, por exemplo, “eles são
parecidos; nós somos diversos”. O termo “efeito de homogeneidade fora do grupo” ou “homogeneidade
relativa fora do grupo” geralmente tem sido contrastado explicitamente com o termo “homogeneidade
fora do grupo”, este último referindo-se à variabilidade percebida fora do grupo não relacionada
às percepções dentro do grupo.
O efeito de homogeneidade fora do grupo é parte de um campo de pesquisa mais amplo que examina
a variabilidade percebida do grupo. Essa área inclui efeitos de homogeneidade dentro do grupo, bem
como efeitos de homogeneidade fora do grupo. Os efeitos de homogeneidade dentro do grupo ocorrem
quando os membros do grupo são percebidos como semelhantes em relação às características
positivas. Essa área de pesquisa também lida com os efeitos percebidos da variabilidade do grupo
que não estão ligados à participação dentro ou fora do grupo, como efeitos relacionados ao poder,
status e tamanho dos grupos.
O efeito de homogeneidade fora do grupo foi observado em uma ampla variedade de grupos sociais,
desde grupos políticos e étnicos até grupos etários e de gênero.
6.2.8 Viés social
O viés social ocorre quando vieses cognitivos semelhantes (conscientes ou inconscientes) são
compartilhados por muitos indivíduos na sociedade. Consequentemente, esse viés pode ser codificado,
replicado e perpetuado por meio de políticas das organizações.
Isso se manifesta em ML quando os modelos aprendem ou amplificam padrões históricos preexistentes

de vieses em datasets. Esse viés social tem origem na sociedade em geral e pode estar profundamente
relacionado a outros vieses cognitivos ou estatísticos. Manifesta-se como dados disponíveis sobre
a sociedade que refletem padrões históricos. O viés social também pode ser considerado um tipo
de viés de dados (ver 6.3).
O viés social também se manifesta quando pressupostos culturais sobre dados são aplicados sem
considerar a variação transcultural. Por exemplo, muitos grupos tratam os dados genômicos como
inteiramente seculares, mas alguns grupos consideram que a genômica também contém propriedades
sagradas ou espirituais. Um modelo construído com base nesses dados pode predizer doenças
entre populações de forma equilibrada. No entanto, se esses dados envolverem grupos sociais que
considerem os dados sagrados e o desenvolvedor não reconhecer ou acomodar essa diferença
cultural, o modelo pode perpetuar o viés social, independentemente da saída numérica.
Um exemplo de viés social é quando os registros de dados históricos são inadequados para as inferências
que estão sendo feitas, possivelmente reforçando visões sociais comuns, mas imprecisas. Por exemplo,
predizer se um detento cometerá outro crime se for colocado em liberdade condicional (ou seja, taxa
de reincidência) depende da disponibilidade de dados sobre quais detentos cometeram anteriormente
quais tipos de crime(s)[7], se houver, depois que foram colocados em liberdade condicional.
Os dados disponíveis, no entanto, restringem-se a ex-detentos que foram detidos ou condenados

ABNT/CB-021
FEV 2024
por um crime depois de soltos. Está bem documentado que as detenções policiais e as condenações
judiciais são fortemente influenciadas por atitudes em relação à etnia, pobreza e detenções anteriores.
Por exemplo, qualquer detenção e condenação sistemática de um determinado grupo de pessoas
levaria à sobreclassificação sistemática de reincidência entre essa população de detentos.
O viés sistêmico, também chamado de viés institucional, é uma forma de viés social encontrada nos
sistemas. O viés sistêmico é a tendência inerente de um sistema ou processo sociotécnico de apoiar

resultados específicos.
O termo viés sistêmico é usado historicamente no contexto de sistemas e processos humanos que
operam dentro de organizações ou dentro de uma sociedade ou cultura, e é amplamente discutido
no campo da economia da organização industrial.
Por exemplo, o viés sistêmico desempenha um papel no racismo sistêmico. Racismo sistêmico
é uma forma de racismo que pode estar inserida na sociedade, em uma determinada cultura
ou em uma organização.
6.2.9 Projeto de sistema baseado em regras
A experiência do desenvolvedor e o aconselhamento de especialistas podem ter uma influência

significativa no projeto de sistemas baseados em regras, ao mesmo tempo em que potencialmente
introduzem várias formas de viés cognitivo humano. Um desenvolvedor pode, por exemplo, implementar
uma regra explícita com base em uma suposição sobre a renda dividindo uma população de forma
que modelos distintos sejam aplicados para pessoas que recebem uma renda regular em suas contas
bancárias versus aquelas que não recebem. Esta divisão pode estar incorporando um viés contra
aqueles que trabalham por conta própria versus aqueles empregados por terceiros. A regra também
pode discriminar injustamente dados demográficos diferentes de pessoas em que há vínculos entre
o tipo de emprego e a demografia social em uma determinada localização geográfica.
6.2.10 Viés de requisitos
A criação de requisitos apresenta ocasiões para que os vieses cognitivos humanos, listados
em 6.2, se manifestem. Por exemplo, suposições implícitas sobre recursos de hardware feitas por
desenvolvedores de IA de alto status socioeconômico não necessariamente serão verdadeiras para
todos os usuários do sistema de IA. Geralmente, o viés cognitivo humano tenderá a chamar a atenção
dos desenvolvedores de IA para condições semelhantes às suas e que não são representativas
da base geral de usuários-alvo. Ver Seção 8 para obter exemplos de estratégias de tratamento
para mitigar vieses durante o desenvolvimento de requisitos.
O valor numérico que está sendo otimizado durante o treinamento do modelo também pode introduzir
viés de requisitos no sistema. Traduções ingênuas de requisitos do sistema em funções de utilidade
podem criar viés de requisitos.
6.3 Viés de dados
6.3.1 Geral
Uma das principais fontes de viés são os dados utilizados para treinar e desenvolver sistemas de IA.
A Seção 6.3 apresenta em detalhes maneiras específicas como os dados podem ser viesados.
O viés de dados surge de decisões técnicas de projeto e restrições, e pode ser causado por viés
cognitivo humano, metodologia de treinamento escolhida e variações na infraestrutura de treinamento.
Essas fontes não são exclusivas de sistemas de IA e podem ser encontradas em outras aplicações.
No entanto, a forma como se manifestam em sistemas de IA segue certos padrões. Por exemplo, o viés

ABNT/CB-021
FEV 2024
causado pelo dataset de treinamento pode ser baseado em uma aplicação incorreta ou desrespeito
a métodos e regras estatísticas.
6.3.2 Viés estatístico
6.3.2.1 Viés de seleção

6.3.2.1.1 Geral
O viés de seleção ocorre quando as amostras de um dataset são escolhidas de uma forma que não
reflete sua distribuição no mundo real. O viés de seleção pode ser atribuído ao viés cognitivo humano
no processo de seleção de dados (ver 6.2).
6.3.2.1.2 Viés de amostragem
O viés de amostragem ocorre quando os registros de dados não são coletados aleatoriamente
da população-alvo.
Se um dataset for viesado no número de amostras obtidas de diferentes grupos, o modelo não refletirá
com precisão o ambiente no qual será implantado. Por exemplo, um sistema de reconhecimento facial
treinado em apenas um gênero ou apenas uma raça de pessoas, provavelmente não será capaz
de reconhecer com sucesso os rostos de tipos de pessoas que não constam no dataset de treinamento[8].
6.3.2.1.3 Viés de cobertura
O viés de cobertura ocorre quando uma população representada em um dataset não corresponde
à população sobre a qual o modelo de ML está fazendo predições. Por exemplo, se a construção
de um modelo de ML para predizer o gosto por filmes dramáticos fosse baseada em uma pesquisa
com espectadores de comédias, haveria claramente um viés de cobertura que pode ser fundamental.
6.3.2.1.4 Viés de não resposta
O viés de não resposta (também chamado de viés de participação) ocorre quando pessoas
de determinados grupos optam por não participar de pesquisas de mercado em taxas diferentes dos
respondentes de outros grupos.
6.3.2.2 Variáveis de confusão
Uma variável de confusão é uma variável que influencia tanto a variável dependente quanto a variável
independente, causando uma associação espúria. Como consequência, um relacionamento percebido
entre duas variáveis pode ser demonstrado como parcial ou totalmente falso.
6.3.2.3 Não normalidade
A maioria dos métodos estatísticos assume que o dataset está sujeito a uma distribuição normal.
No entanto, se o dataset estiver sujeito a uma distribuição diferente (por exemplo, Qui-Quadrado,
Beta, Lorentz, Cauchy, Weibull ou Pareto), os resultados podem ser viesados e enganosos.
6.3.3 Rótulos de dados e processos de rotulagem
O próprio processo de rotulagem potencialmente introduz nos dados os vieses cognitivos ou sociais
descritos em 6.2. Por exemplo, ao decidir classificar as pessoas em masculino ou feminino, ou idosos
e jovens, as pessoas são enquadradas em categorias discretas que não representam necessariamente

ABNT/CB-021
FEV 2024
toda a realidade que está sendo modelada. É possível selecionar rótulos que podem ser interpretados
de forma muito ampla, ou que reduzem um espectro contínuo a uma variável binária. Outras vezes,
o processo de rotulagem cai naturalmente em um espaço discreto, mas os verdadeiros rótulos são
inacessíveis. Nesses casos, são frequentemente usados proxies que se correlacionam com os rótulos
verdadeiros e são considerados suficientemente próximos para a maioria dos propósitos. Se as imprecisões
introduzidas por esse proxy não forem aleatórias, elas podem introduzir vieses no sistema. Por exemplo,
um sistema de IA que recomenda a elegibilidade para liberdade condicional, conforme descrito

em 6.2.8, também pode ser descrito como não tendo acesso amplo a informação de se pessoas que
não foram libertadas podem ter cometido outros delitos.
Por último, é possível que o próprio processo de rotulagem seja inerentemente falho. Durante
a rotulagem dos dados, é possível que o viés cognitivo humano dos rotuladores dos dados seja
introduzido nos dados. Também é possível que esse viés seja incorporado nas instruções de rotulagem.
6.3.4 Amostragem não representativa
O viés pode se manifestar de várias maneiras durante a seleção dos dados de treinamento, como
resultado dos vieses cognitivos humanos descritos em 6.2, ou devido ao viés de amostragem
ou cobertura conforme descrito em 6.3.2. Às vezes, todos os datasets disponíveis têm propriedades
herdadas do viés cognitivo humano que os produziu. O viés cognitivo humano no processo de seleção
pode impedir o uso ou a criação de datasets sem vieses. A amostragem não representativa
é um exemplo de seleção viesada de dados de treinamento. A maioria das técnicas de modelagem
trata os dados de treinamento como uma imagem verdadeira e precisa do fenômeno que está sendo
modelado. Se um dataset não for representativo do ambiente-alvo de implantação, o modelo terá
o potencial de aprender o viés com base nas maneiras pelas quais o dataset não é representativo.
A representatividade pode assumir diferentes formas em diferentes domínios de aplicação. Por exemplo,
no domínio do reconhecimento facial, há várias maneiras diferentes de um dataset não ser
representativo em relação a atributos como o tom de pele. O número de imagens de pessoas com
um determinado tom de pele, as condições de iluminação das imagens e a entropia relativa das
imagens de pessoas com um determinado tom de pele são exemplos de como um dataset não
representativo pode introduzir viés a um modelo.
Um modelo de ML pode usar características dos dados para inferir indiretamente a associação
ao grupo, mesmo que as características de associação ao grupo não estejam incluídas na entrada
do modelo de ML (ver 8.3.3.1).
6.3.5 Características e rótulos ausentes
Os dados do mundo real raramente são completos. Em particular, muitas vezes faltam características
em amostras individuais de treinamento. Se a frequência de características ausentes for maior para
um grupo do que para outro, então outro vetor de viés é introduzido. Por exemplo, o histórico médico
para certos grupos de pessoas é muitas vezes menos completo em comparação com outros grupos
devido ao cuidado mais fragmentado que, em média, recebem. Esse desequilíbrio na qualidade dos
dados tem o potencial de levar a predições médicas de menor qualidade.
6.3.6 Processamento de dados
O viés também pode ocorrer devido ao pré-processamento (ou pós-processamento) dos dados,
mesmo que os dados originais não tenham introduzido nenhum viés. Por exemplo, imputar dados
faltantes, corrigir erros, remover outliers ou assumir modelos de distribuição de dados específicos
também pode levar a vieses na operação de um sistema de IA. Isso pode ser causado pelos vieses
cognitivos humanos descritos em 6.2.

ABNT/CB-021
FEV 2024
6.3.7 O paradoxo de Simpson
O paradoxo de Simpson ocorre quando uma tendência indicada em grupos individuais de dados
é revertida quando os grupos de dados são combinados. Isso pode acontecer quando grupos diferentes
têm pesos diferentes.
6.3.8 Agregação de dados

Agregar dados que englobam diferentes grupos de objetos com diferentes distribuições estatísticas
pode introduzir viés nos dados usados para treinar sistemas de IA[9]. Isso pode ser causado pelo
viés cognitivo humano, como o viés de homogeneidade fora do grupo.
6.3.9 Treinamento distribuído
Devido à privacidade e a considerações regulatórias relacionadas, é possível realizar o aprendizado

mais próximo da fonte dos dados usando metodologias e técnicas distribuídas. O ML distribuído
pode introduzir sua própria causa de viés de dados, pois as diferentes fontes de dados podem ter uma
distribuição diferente de características. Se todas as fontes de dados que contribuem cumulativamente
para a integridade do espaço de características não participarem do treinamento, pode ocorrer viés
correspondente ao espaço de características de fontes de dados não participantes. A não participação
pode ocorrer devido a problemas de rede, a menor capacidade dos dispositivos de computação
para as respectivas fontes de dados ou a não seleção da fonte de dados.
6.3.10 Outras fontes de viés de dados
Os dados e quaisquer rótulos também podem ser viesados por artefatos ou outras influências
perturbadoras. Esse viés seria considerado por um algoritmo de IA como parte do modelo a ser
generalizado e, portanto, levaria a resultados indesejados. Por exemplo:
— outliers são valores de dados extremos que, se reais, representam eventos de probabilidade
muito baixa dos dados a serem modelados;
— ruído é uma distorção caracterizada por uma variação estatisticamente distribuída de uma
grandeza física. O ruído é causado por processos estocásticos e não pode ser descrito
deterministicamente. O ruído pode ter uma influência negativa no modelo se ocorrer overfitting.
Além disso, ruído gerado artificialmente pode ser usado para criar exemplos adversários que
causarão resultados indesejados.
6.4 Viés introduzido por decisões de engenharia
6.4.1 Geral
Arquiteturas de modelo de ML – abrangendo todas as especificações do modelo, parâmetros

e características projetadas manualmente - podem ser viesadas de várias maneiras. O viés de dados
e o viés cognitivo humano podem contribuir para esses vieses.
6.4.2 Engenharia de recursos
Durante o processo de engenharia de recursos na construção de um modelo de ML, os desenvolvedores

de IA podem usar diretamente qualquer uma das características de entrada ou podem criar
características complexas para o modelo de ML a partir das características de entrada, de forma
que possam ser combinações lineares ou não lineares de algumas das características de entrada.
Etapas como codificação, conversão de tipo de dados, redução de dimensionalidade e seleção

ABNT/CB-021
FEV 2024
de características estão sujeitas a escolhas feitas pelo desenvolvedor de IA e podem introduzir

vieses no modelo de ML.
Por exemplo, o desenvolvedor de IA pode optar por representar a altura das pessoas por meio
de valores categóricos como alto, médio ou baixo e, em seguida, escolher os intervalos de forma que
a maior parte de um gênero caia nas categorias média e baixa, enquanto a maior parte do outro caia
nas categorias alta e média. Isso pode introduzir um viés indesejado no modelo. Como outro exemplo,
o desenvolvedor de IA pode usar uma característica complexa como o índice de massa corporal
(IMC) composto a partir da altura e peso de uma pessoa e, em seguida, criar o modelo para usar
a característica de IMC em vez das características originais de altura e peso. Isso pode introduzir
vieses que são injustos para alguns grupos, como lutadores profissionais de sumô e halterofilistas.
Às vezes, quando um modelo não é complexo o suficiente para capturar todas as correlações entre
as características, algumas correlações importantes que estão ocultas ou implícitas podem se perder,
o que pode ser acentuado devido ao underfitting ou quando não há parâmetros suficientes no modelo
para capturá-las. Isso pode refletir como um viés indesejado nas predições do sistema.
6.4.3 Seleção de algoritmos
A seleção de algoritmos de ML incorporados ao sistema de IA pode introduzir vieses indesejados nas

predições feitas pelo sistema. Isso ocorre porque o tipo de algoritmo utilizado introduz uma variação
no desempenho do modelo de ML.
No exemplo mais simples, isso pode envolver o uso de um modelo linear para um problema não linear.
Em um exemplo mais complexo, existem diferentes configurações possíveis de modelos de memória
de curto e longo prazo (LSTM) e estes modelos podem ser compostos por várias camadas. O número
de camadas influencia diretamente na complexidade da função que a rede é capaz de aproximar.
Outras arquiteturas de redes neurais, como modelos de transformador-codificador-decodificador
(transformer-encoder-decoder), têm funcionalidades que podem introduzir vieses indesejados nas
predições feitas pelo sistema.
Pode haver muitos submodelos dentro de um modelo de ML que podem interagir com uma combinação
linear ou uma combinação mais complexa dos submodelos. Isso pode introduzir muitos problemas
complexos, que podem incluir vieses indesejados nas predições do sistema de IA.
Por exemplo, em um modelo de ML para um sistema de resposta a perguntas em linguagem natural,

pode haver uma combinação de um modelo de predição de predicado, um modelo de identificação
de valor, um modelo de ligação de predicado-valor e um modelo de identificação de restrições.
A maneira como esses submodelos são combinados ou sequenciados pode introduzir vieses
indesejados nas predições do sistema.
O Gradient-boosting também pode ser usado para combinar um conjunto de submodelos

de aprendizado de máquina em um único aprendiz forte de forma iterativa. No entanto, o conjunto
destes submodelos pode introduzir vieses indesejados nas predições finais. Por exemplo, um modelo
de ML pode usar uma construção sequencial de árvores de regressão rasas para formar um conjunto
e fornecer uma predição como uma soma das probabilidades de predição das árvores. A maneira
como o conjunto é construído pode introduzir viés no sistema.
6.4.4 Ajuste de hiperparâmetros
Ao criar um modelo de aprendizado de máquina, as escolhas de projeto definem a arquitetura

do modelo. Frequentemente, a arquitetura de modelo ideal evolui por meio do ajuste de hiperparâmetros.
Os hiperparâmetros incluem o número de camadas de rede, o número de neurônios em uma camada

ABNT/CB-021
FEV 2024
(também chamado de largura de cada camada), a taxa de aprendizado para gradiente descendente,
o grau de polinômios a serem usados para o modelo linear e o número de árvores em uma floresta
aleatória etc.
Os hiperparâmetros definem como o modelo é estruturado e não é possível que sejam treinados
diretamente a partir dos dados, como os parâmetros do modelo. Assim, os hiperparâmetros afetam
o funcionamento e a precisão do modelo e, portanto, podem potencialmente levar a vieses.
Existem muitas funções de ativação possíveis para uma rede neural. A escolha das funções
de ativação pode afetar a precisão e as predições feitas pelo modelo de ML. Isso pode levar a vieses
nas predições feitas pelo sistema.
Além disso, muitas vezes é necessário escolher um limite de decisão para um determinado modelo
executar alguma ação. Frequentemente esses limites são definidos manualmente. Assim, se um modelo
for atualizado com novos dados, o limite anterior definido manualmente pode se tornar inválido
ou levar a viés nas próximas predições. Isso é especialmente importante para sistemas dinâmicos.
6.4.5 Informatividade
Para alguns grupos, o mapeamento entre as entradas presentes nos dados e as saídas são mais
difíceis de aprender. Isso pode acontecer quando algumas características são altamente informativas
sobre um grupo, enquanto um conjunto diferente de características é altamente informativo sobre
outro grupo. Se for esse o caso, um modelo que possui apenas um conjunto de características disponível
pode ser viesado contra o grupo cujas relações são difíceis de aprender com os dados disponíveis.
Esse conceito se aplica tanto ao treinamento quanto à avaliação de um modelo. A expressividade
do modelo (ver 6.4.7.2) também é um fator de informatividade.
6.4.6 Viés de modelo
Considerando que o ML geralmente usa funções como um estimador de máxima verossimilhança

para determinar parâmetros, se houver viés de dados ou sub-representação presente nos dados,
a estimativa de máxima verossimilhança tende a amplificar qualquer viés subjacente na distribuição.
Por exemplo, se a distribuição de homens e mulheres representados em um dataset for 60 % homens
e 40 % mulheres, um modelo pode representar essa distorção em 80 % homens e 20 % mulheres,
utilizando limiares que não consideram o viés inicial. Funções de ativação a jusante (Downstream
activation functions), como a função sigmoide, podem amplificar pequenas diferenças nas
características resultantes do viés de dados.
6.4.7 Interação do modelo
6.4.7.1 Geral
É possível que a estrutura de um modelo crie predições viesadas. Por exemplo, supor que
as variáveis X e Y sejam relevantes para predizer resultados em dois grupos, mas sejam
independentes em um grupo e dependentes no outro. Um modelo em que as duas variáveis
estão presentes, mas não podem ser isoladas, produzirá resultados potencialmente viesados.
6.4.7.2 Expressividade do modelo
Os modelos têm diferentes capacidades expressivas e alguns incorporam uma maior variedade
de funções do que outros. O número e a natureza dos parâmetros em um modelo, bem como
a topologia da rede neural, podem afetar a expressividade do modelo. Qualquer característica que
afete a expressividade do modelo de forma diferente entre os grupos tem o potencial de causar vieses.

ABNT/CB-021
FEV 2024
Arquiteturas de modelo que permitem recursão também podem permitir mais expressividade.
Para alguns grupos suas propriedades podem ser totalmente compreendidas por meio de uma
representação estática do estado atual. Para outros grupos, as mesmas propriedades podem ser
compreendidas como o resultado de uma sequência de estados. Nesse caso, um modelo não
recorrente terá melhor desempenho para o primeiro grupo do que para o segundo.
7 Avaliação de viés e justiça em sistemas de IA

7.1 Geral
Ao desenvolver e implantar um sistema de IA, é importante estar ciente de possíveis vieses (incluindo
estatísticos e sociais) que podem levar a um comportamento injusto do sistema. Uma maneira
de detectar evidências de viés indesejado é avaliar as saídas do sistema usando uma ou mais métricas
de justiça. O viés indesejado detectado nessa avaliação pode ser tratado usando as técnicas descritas
na Seção 8.
As métricas de viés estatístico buscam avaliar diferenças entre valores médios observados e valores
verdadeiros. Com a proliferação de sistemas de IA e preocupações relacionadas à sua justiça,
também há uma consciência crescente de que estas métricas de viés estatístico são insuficientes para
detectar comportamentos injustos ou discriminatórios. Isso levou ao desenvolvimento de métricas[10],
que visam capturar várias percepções de justiça.
Estas métricas são descritas na literatura sobre “justiça algorítmica”[11] e são referidas como “métricas
de justiça” ou “métricas de justiça algorítmica”. Por exemplo, algumas métricas de justiça são
desenhadas para comparar diferentes tipos de taxas de erro entre diferentes grupos de pessoas.
Observar que não há uma correspondência um para um entre a noção ampla de viés (conforme definido
neste documento) e as métricas de viés estatístico. Também não há correspondência um para
um entre a noção ampla de justiça (conforme discutido em 5.3) e as métricas de justiça. O principal
desafio continua sendo determinar as métricas mais apropriadas em um determinado contexto[12].
Até o momento, a maioria dos trabalhos sobre métricas de justiça têm se concentrado na justiça
de sistemas de IA baseados em classificação ou regressão em relação a grupos definidos em termos
de um ou mais atributos demográficos. Abordagens para avaliar o viés e a justiça dos sistemas
de IA baseados em classificação são introduzidas nesta Seção. Conceitos semelhantes existem
para sistemas de regressão de IA - ver[13][14] para exemplos.
Vieses nos sistemas de classificação podem ser detectados por meio de medições de diferentes
tipos de erros em relação a vários grupos. Para assegurar que o sistema seja justo, a abordagem
de dividir os dados em datasets de treinamento, validação e teste é aprimorada pela subdivisão
desses datasets com base nas características em relação às quais se espera que o sistema seja justo.
Se houver múltiplas características relevantes para detectar possíveis vieses em um determinado sistema,
então essas características podem ser consideradas independentes ou dependentes. Por exemplo,
um sistema sem viés em relação ao gênero e à raça de forma independente pode ser viesado por
uma combinação específica dos dois.
Antes dos testes, os objetivos de justiça podem ser explicitados, o que inclui a determinação
de características demográficas relevantes, seleção e justificativa de métricas de justiça a serem
usadas na detecção de vieses e fixação da margem de diferença permitida (“delta”).
Uma vez que os dados tenham sido adequadamente divididos, as métricas de justiça predeterminadas
são calculadas em cada grupo e comparações são feitas entre os grupos. Um sistema

ABNT/CB-021
FEV 2024
de classificação pode ser considerado suficientemente justo (ou “sem viés”) em relação
às características relevantes, se as medições baseadas em métricas entre os grupos estiverem
dentro de um delta suficientemente pequeno.
7.2 Matriz de confusão
Uma matriz de confusão[15] (ver Figura 4) é uma ferramenta que pode ser usada para avaliar
o desempenho de um classificador. Ela relata o número de falsos positivos, falsos negativos,

verdadeiros positivos e verdadeiros negativos e inclui outros critérios de desempenho derivados
desses valores. Como uma matriz de confusão contém e compara várias métricas, permite uma
análise detalhada do desempenho de um classificador e é útil para contornar ou revelar os pontos
fracos de métricas individuais.
Figura 4 – Matriz de confusão e métricas de desempenho de classificação derivadas[16]
7.3 Probabilidades equalizadas
Probabilidades equalizadas significam que as decisões de um algoritmo são independentes de uma

categoria A, dada a entrada Y.
Um preditor Ŷ atende probabilidades equalizadas em relação à categoria A e ao resultado Y, se Ŷ e A

forem condicionalmente independentes em Y:
P(Ŷ=ŷ|Y=y, A=m) = P(Ŷ=ŷ|Y=y, A=n)
para todos os valores de Y, todos os valores m, n de A.

ABNT/CB-021
FEV 2024
Isso implica que as taxas de verdadeiros positivos [True Positive Rate (TPR)] sejam iguais entre
as categorias demográficas e as taxas de falsos positivos [False Positive Rate (FPR)] sejam iguais
entre as categorias demográficas.
Observar que essa definição permite que os modelos levem em consideração informações demográficas.
TPR é igual a [1 menos taxa de falsos negativos [False Negative Rate (FNR)], portanto, isso também
incentiva taxas iguais de falsos negativos em todas as categorias demográficas. Comparar a taxa
de falsos negativos e a taxa de falsos positivos pode ajudar a compreender as compensações
entre falsos negativos e falsos positivos.
7.4 Igualdade de oportunidades
Igualdade de oportunidades significa que as decisões de um algoritmo em que Ŷ=1 são independentes
de uma categoria A, dada a entrada Y=1.
Um preditor binário Ŷ atende a oportunidades iguais em relação a A e Y, se Ŷ=1 e A forem

condicionalmente independentes em Y=1. Formalmente:
P(Ŷ=1|Y=1, A=m) = P(Ŷ=1|Y=1, A=n)
para todos os valores de m, n de A.
Isso implica em Taxas de Verdadeiros Positivos (TPR) iguais em todas as categorias demográficas.
7.5 Paridade demográfica
Paridade estatística significa que há taxas de predição iguais entre as categorias. A paridade
demográfica (também conhecida como justiça de grupo) diz que há taxas de predição iguais entre
categorias demográficas, como etnia. A paridade demográfica, que é um caso de paridade estatística,
significa que uma decisão – como aceitar ou negar uma solicitação de empréstimo – é independente
de um atributo demográfico. Formalmente, dada a variável demográfica A:
P(Ŷ=ŷ|A=m) = P(Ŷ=ŷ|A=n)
para todos os valores m, n que A pode assumir.
A paridade não captura casos em que a decisão de saída está correlacionada com um dos grupos
ou atributos que estão sendo avaliados[17] e não há garantia de que as predições feitas serão
igualmente boas para cada categoria.
7.6 Igualdade preditiva
A igualdade preditiva implica taxas iguais de falsos positivos (FPR) em todas as categorias demográficas.
Formalmente:
P(Ŷ=1|Y=0, A=m) = P(Ŷ=1|Y=0, A=n)
para todos os valores m, n que A pode assumir.
7.7 Outras métricas
Métricas alternativas podem incluir justiça minimax e justiça de Pareto[18].

ABNT/CB-021
FEV 2024
8 Tratamento de vieses indesejados ao longo do ciclo de vida de um sistema de IA

8.1 Geral
Um sistema ou serviço de IA normalmente passa por um ciclo de vida desde a necessidade do negócio
e o estágio inicial, passando pelo projeto e desenvolvimento, verificação e validação, até a operação
e desativação. O ciclo de vida do sistema de IA é determinado na ABNT NBR ISO/IEC 22989[19].

Há diferentes maneiras de instanciar um ciclo de vida para um serviço ou produto específico.
Esta seção descreve os estágios do ciclo de vida importantes apenas para este documento.
Em muitas implementações de sistemas de IA, partes do sistema serão adquiridas em vez

de desenvolvidas pela mesma organização. Reconhecendo isso, diferentes partes desta seção
serão aplicadas a diferentes contextos de implementação e pode haver propriedade intelectual,
transparência ou considerações comerciais que dificultem a identificação e a redução de vieses.
Podem ocorrer riscos na cadeia de suprimentos relacionados com vieses indesejados, em especial
quando não há transparência do código-fonte, dos modelos, da procedência dos dados de treinamento
ou dos processos de rotulagem. Pode ser benéfico que considerações relacionadas a vieses sejam
adicionadas a qualquer acordo comercial.
8.2 Início
8.2.1 Geral
A análise de requisitos do sistema é uma atividade importante na mitigação de vieses indesejados.

É nessa etapa que os requisitos internos e externos são analisados, as partes interessadas do sistema
são determinadas e os objetivos do sistema são avaliados. Nessa etapa, os riscos apresentados
pelo sistema são identificados, o impacto sobre as partes interessadas são avaliado e os níveis
de envolvimento das partes interessadas são definidos.
As considerações e potenciais requisitos descritos nesta seção não são aplicáveis apenas ao tratamento
de vieses indesejados. Existe uma análise formal e uma lista mais completa de considerações
em um conjunto de normas na área de governança e gestão. Estas incluem:
— ABNT NBR ISO/IEC 38507[20], Tecnologia da informação – Governança de TI – Implicações

de governança do uso de inteligência artificial pelas organizações;
— ISO/IEC 42001, Information technology – Artificial intelligence – Management system;
— ABNT NBR ISO/IEC 23894, Tecnologia da informação – Inteligência artificial – Gestão de riscos
Todas as atividades de mitigação de vieses são implementadas com base na política definida pelo
corpo diretivo e por meio da atividade de gestão.
8.2.2 Requisitos externos
A identificação de requisitos externos como parte da atividade de análise de sistemas é uma etapa
normal do ciclo de vida de desenvolvimento e aquisição de sistemas. Durante esse processo, atenção
especial pode ser dada às seguintes estruturas regulatórias:
— instrumentos internacionais de direitos humanos, igualdade e direitos indígenas que impõem

obrigações às entidades para assegurar que certas liberdades, por exemplo, a prestação de serviços
financeiros seja fornecida sem discriminação;

ABNT/CB-021
FEV 2024
— leis e orientações específicas relativas ao fornecimento de soluções técnicas, por exemplo,

regulando a acessibilidade do software para usuários com diferentes habilidades ou regulando
um setor específico (como o Health Insurance Portability and Accountability Act (HIPAA)[21]
nos Estados Unidos);
— legislação sobre privacidade [22] e proteção de dados pode incluir disposições relativas à tomada
de decisões automatizadas. Pode se tratar de legislação supranacional, nacional ou regional.
No momento da elaboração desta norma, exemplos de legislação de privacidade e proteção

de dados incluem: Lei de Privacidade do Consumidor da Califórnia de 2018[23], a Lei Japonesa
de Proteção de Informações Pessoais de 2016[24] e o Regulamento Geral de Proteção de Dados
da UE e da EAA[25];
NOTA BRASILEIRA No Brasil, aplica-se a Lei Geral de Proteção de Dados Pessoais, de 2018.
— direito concorrencial e empresarial.
Abaixo estão exemplos de possíveis tipos de obrigações relacionadas à entidade responsabilizada:
— a necessidade de uma avaliação de risco, que possa incluir preocupações sociais sob a perspectiva
das partes interessadas afetadas;
— a notificação aos usuários de que estão sujeitos a uma decisão automatizada, a exigência de obter
consentimento explícito e fornecer uma alternativa não automatizada quando o consentimento
não é dado;
— a garantia de um certo nível de auditabilidade ou explicabilidade na solução, a fim de apoiar

a análise de uma determinada decisão ou evento;
— as atividades para quantificar ou mitigar riscos, como coletar metadados sobre as fontes de dados
para entender a procedência e a qualidade [26];
— a provisão para o envolvimento significativo de um ser humano no processo de tomada de decisão;
— a provisão e preços equivalentes de serviços para grupos de pessoas com determinadas

características. Isso pode incluir a capacidade de demonstrar que a igualdade é alcançada
na prática.
8.2.3 Requisitos internos
Além dos requisitos regulatórios, muitos outros fatores podem contribuir para o desejo das partes
interessadas de mitigar vieses, como:
— metas, estratégias e políticas internas de uma organização;
— valores morais ou culturais;
— evitar preocupações sociais ou danos reputacionais.
O processo de análise pode dar atenção especial a cinco áreas específicas: a inclusão de especialistas
transdisciplinares, a identificação das partes interessadas, a seleção das fontes de dados, mudanças
externas e a especificação de critérios de aceitação, incluindo níveis aceitáveis de viés.
8.2.4 Especialistas transdisciplinares
Embora o viés indesejado seja um tópico relativamente novo no contexto da tecnologia, é um tópico bem
compreendido nas ciências sociais. Como parte do processo de análise de requisitos (e, na verdade,

ABNT/CB-021
FEV 2024
de todo o ciclo de vida do sistema), é relevante considerar a expertise disponível para mitigar totalmente
as preocupações da sociedade sobre viés e considerar várias perspectivas. Isso pode incluir:
— cientistas sociais e especialistas em ética;
— cientistas de dados e especialistas em qualidade;

— especialistas jurídicos e de privacidade de dados;
— representantes de usuários ou grupos de partes interessadas externas.
Por exemplo, os projetistas de um sistema de reconhecimento facial podem dar importância

à característica de contorno facial em seu projeto e se esquecerem do fato de que o contorno pode ser
(parcial ou completamente) coberto por pessoas com origens culturais ou religiosas específicas.
Uma equipe suficientemente diversa tem maior probabilidade de identificar estas limitações
em projetos, suposições e datasets.
8.2.5 Identificação das partes interessadas
A análise de requisitos tradicional inclui a identificação das partes interessadas. No entanto, para
atender a aspectos das estruturas regulatórias mencionadas e mitigar adequadamente as preocupações
da sociedade, a definição tradicional das partes interessadas pode ser ampliada para incluir aqueles
afetados direta e indiretamente pelo sistema implementado.
Com base nos tipos de dados usados para tomar decisões automatizadas, os projetistas podem
decompor listas de partes interessadas em grupos de pessoas afetadas de forma diferente pelo viés
no sistema, têm diferentes habilidades no uso do sistema ou têm diferentes níveis de conhecimento
e acesso. É importante considerar quais vieses, experiências negativas ou resultados discriminatórios
podem ocorrer.
Esses podem ser considerados por meio de uma variedade de projetos participativos ou métodos
etnográficos, os quais envolvem divulgação ativa e discussão com os grupos afetados. Normalmente,
é insuficiente observar quem teoricamente poderia ser impactado sem a contribuição direta desses
grupos. Muitas vezes, também é insuficiente ter um membro do grupo afetado (que possivelmente
também trabalha como parte da equipe de projeto) avaliando como esse grupo é afetado.
Os grupos não são monolíticos, e uma pessoa nem sempre representa adequadamente a gama
de perspectivas possíveis.
É possível incluir a identificação e o envolvimento das partes interessadas em uma descrição formal
e na documentação de áreas de preocupação previstas e potenciais consequências para os grupos
afetados. Essa documentação pode incluir consequências positivas e negativas. A partir disso,
requisitos mais qualificados e quantitativos podem ser derivados. Uma avaliação de impacto humano
realizada em fases posteriores pode então revisitar essas áreas de preocupação e avaliar se foram
mitigadas com sucesso.
8.2.6 Seleção e documentação de fontes de dados
A seleção dos dados usados para formar regras explícitas dentro de um sistema especialista baseado
em regras, ou dos dados usados para treinar modelos de ML, é uma atividade essencial que tem
uma influência significativa no viés.
No caso do conhecimento explícito, é importante considerar o viés cognitivo humano já presente

naqueles que especificam o conhecimento. O viés cognitivo humano pode estar presente

ABNT/CB-021
FEV 2024
em um julgamento humano, que então se torna codificado em um sistema baseado em regras,

e depois é propagado em uma escala maior por toda a vida útil do sistema. Embora possa ser
considerado aceitável que esse viés cognitivo esteja presente em uma única decisão humana,
propagar esse viés por meio da tomada de decisão automatizada pode ter um impacto muito maior.
Os sistemas estatísticos de IA que aprendem com os dados sem que o conhecimento explícito seja
especificado correm muitos riscos. Na medida do possível, a coleta pode obter dados justos para
cada grupo, especialmente no que diz respeito aos resultados. Por exemplo, para reduzir o viés
de um classificador binário, os dados coletados podem apontar para proporções iguais de exemplos
de treinamento de classificação positiva e negativa para cada grupo de interesse.
Podem-se considerar fontes de dados individuais para determinar:
— integridade. Uma fonte de dados que exclui determinados registros, porque esses não possuem
as mesmas características para todos os registros, pode fornecer uma imagem incompleta
e resultar em defeitos no processo de treinamento. É improvável que os dados disponíveis
publicamente (por exemplo, na Internet) tenham uma distribuição equivalente entre grupos
de pessoas;
— precisão. Uma fonte de dados que contém dados imprecisos propagará essas imprecisões
em um modelo de ML. Isso pode resultar em problemas gerais de precisão, mas esses problemas
também podem ser direcionados a certos grupos de pessoas, por exemplo, aqueles com menos
histórico de crédito;
— procedimentos de coleta. É importante entender a linhagem dos dados, como são coletados,
como são inseridos e se esses processos afetam sua integridade e precisão. O local e o ambiente
de onde os registros de dados são obtidos podem ser considerados;
— pontualidade. A frequência com que os registros de dados são coletados ou atualizados pode
ser relevante para assegurar sua exatidão. Por outro lado, a atualização pode exigir uma nova
avaliação. Um sistema que passa por uma auditoria pode sair da conformidade, especialmente
se as atualizações vierem de um processo diferente daquele dos dados iniciais;
— consistência. A consistência com a qual as observações de entrada (ou rótulos) são determinadas
pode ser importante. Por exemplo, se um ser humano está categorizando observações que
não possuem um limite claro entre as categorias, diferentes categorias ou rótulos podem
resultar dos mesmos dados.
8.2.7 Mudança externa
Pode-se atentar em como podem ocorrer mudanças no uso do sistema desenvolvido ou adquirido.
Exemplos incluem:
— a implantação de um sistema existente em um ambiente diferente, incluindo diferentes usuários,

mercados-alvo e fontes de dados, pode alterar os riscos relacionados ao sistema;
— com o tempo, o relacionamento entre as entradas e as saídas do sistema pode mudar.

Por exemplo, um sistema que usa um modelo de ML para tomar decisões com base em correlações
estabelecidas durante o treinamento inicial do modelo pode se prejudicar se essas correlações
mudarem com o tempo. Isso é conhecido como desvio de dados;
— os casos de uso para o sistema podem se desenvolver, de forma deliberada ou orgânica,

requerendo uma reavaliação dos riscos;

ABNT/CB-021
FEV 2024
— as normas sociais mudam ao longo do tempo (por exemplo, atitudes em relação às normas
comportamentais de gênero, forma ideal do corpo ou tabagismo). O viés nos sistemas de IA pode
ser reavaliado para considerar as mudanças resultantes (como métricas, riscos, partes interessadas
ou requisitos) e essas mudanças podem ser tratadas de acordo.
8.2.8 Critérios de aceitação

Requisitos efetivos são testáveis, pois, ao serem avaliados, é possível determinar se um sistema
os atende. O desempenho do sistema de IA é comparado frequentemente ao dos humanos. Ainda
assim, é benéfico poder especificar o desempenho de maneira estatística. Por exemplo, as partes
interessadas podem especificar um limite para decisões de falso positivo ou falso negativo, além
de uma métrica de precisão geral.
Estabelecer a aceitação em termos de características específicas do sistema e do seu grau

de compliance antecipadamente permite a avaliação e a tomada de decisão eficazes.
Os critérios de falha podem ser usados para estabelecer limites claros para o desempenho aceitável
de um modelo. Esses limites podem ser o nível mínimo de desempenho aceitável. Sem que esses
critérios sejam definidos e monitorados, um sistema de IA pode se desviar de forma que um viés
indesejado surge sem ser notado ou corrigido. A maneira como um sistema falha também pode ser
cuidadosamente considerada como parte do processo de projeto para evitar a ocorrência de casos
extremos de viés indesejado.
8.3 Projeto e desenvolvimento

8.3.1 Geral
Os próprios modelos podem conter vieses indesejados se cuidados não forem tomados para evitá-los.
O viés humano pode ser codificado em sistemas de ML por meio de suposições implícitas que entrem
no projeto. Assim, esses cuidados ajudam a identificar suposições implícitas e torna-las explícitas.
Além do conteúdo desta seção, as ferramentas de código aberto listadas no Anexo A podem ajudar
no tratamento de problemas de viés no processo de projeto e desenvolvimento.
8.3.2 Representação e rotulagem de dados
8.3.2.1 Geral
Uma etapa fundamental no desenvolvimento de um sistema de ML é decidir como melhor representar

os dados de treinamento em características que são interpretáveis pelo modelo. Isso também é chamado
de engenharia de recursos, e alguns tipos de vieses de dados que podem afetar esse processo
são descritos em 6.3. Existem vários critérios frequentemente implícitos que entram nesse processo,
incluindo os critérios pelos quais os dados são julgados como “bons” ou “ruins” (por exemplo, se uma
foto superexposta pode ser mantida em um dataset). Esses critérios sobre quais registros de dados
são incluídos nos dados de treinamento e quais características são selecionadas podem ser explícitos.
É importante considerar como os dados se relacionam com o objetivo de construir o sistema, o processo
pelo qual as características são escolhidas e os indivíduos que estão escolhendo as características
e sua lógica (incluindo quaisquer suposições associadas explicitamente identificadas). É importante
avaliar as características escolhidas para quaisquer dados e vieses cognitivos humanos, como valores
de características faltantes, valores de características inesperadas ou viés de dados. Qualquer um desses
pode indicar que determinados grupos ou características não estão representados com precisão
nos dados.
Valores de características faltantes pode ser o resultado de um viés implícito no processo de coleta
de dados, que pode ser identificado e mitigado.

ABNT/CB-021
FEV 2024
Em algoritmos de aprendizado profundo em que as características são criadas durante o treinamento,

os rótulos corretos são críticos. Anotações feitas por humanos para criar rótulos para os dados
podem ser propensas a vieses devido ao viés cognitivo humano ou erros decorrentes de dificuldades
na própria tarefa de rotulagem. É importante assegurar que os rótulos estejam corretos, avaliando
os rotuladores e os dados rotulados finais. Além disso, mesmo com rótulos corretos, os tipos
de rótulos especificados pelos rotuladores podem ser a causa de viés indesejado ou não detectado
no modelo final.
8.3.2.2 Usando trabalhadores de crowdsourcing para rotulagem
Trabalhadores de crowdsourcing geralmente anotam e rotulam dados a serem usados para

o treinamento supervisionado de ML. Erros ou vieses cognitivos humanos que se manifestam
durante esse processo são propagados em um modelo treinado [27].
Quando trabalhadores de crowdsourcing são alocados na rotulagem de dados, pode ser útil entender
a diversidade e os objetivos das pessoas que anotam os dados e como elas são incentivadas.
Por exemplo, pode-se considerar como o sucesso é percebido por diferentes trabalhadores, pelo que
são pagos (qualidade ou quantidade) e as compensações entre o tempo gasto na tarefa e o prazer
da tarefa, bem como suas origens culturais e sociodemográficas.
Os projetistas podem desenvolver tarefas que considerem as diferenças humanas (e o viés cognitivo)
na anotação, por exemplo, usando perguntas de teste de ouro com respostas conhecidas ou outras
formas de pré-seleção de participantes.
A clareza das instruções, bem como a obtenção de feedback dos trabalhadores de crowdsourcing
sobre tarefas potencialmente confusas, podem ser importantes para reduzir vieses indesejados.
A variabilidade humana, incluindo acessibilidade, memória muscular e viés cognitivo humano na anotação,
pode ser contabilizada usando um conjunto-padrão de perguntas com respostas conhecidas.
8.3.3 Treinamento e ajuste
8.3.3.1 Dados de treinamento
Em muitos casos, a preparação ou seleção de um dataset balanceado pode ocupar a maior parte
do tempo de desenvolvimento. Uma abordagem aparentemente simples para a mitigação de vieses
é remover as características relevantes que podem ser responsáveis diretamente pelo viés
indesejado. Por exemplo, em um caso de uso que seleciona automaticamente candidatos com
base nas informações do currículo, exemplos de características podem ser etnia, gênero e idade.
Ao mesmo tempo, as características relevantes para o caso de uso incluem experiência, habilidades,
qualificações, certificações e associação profissional. Embora a remoção de etnia, gênero e idade
possa parecer resolver o problema, outras características, atuando como variáveis proxy, podem
refletir indiretamente o viés. Por exemplo, características como saudação ou prefixo (Sr./Sra./Srta.)
ou ocupação podem representar uma variável proxy para gênero. Assim, remover apenas algumas
das características óbvias associadas ao viés indesejado nem sempre resulta em mitigação de viés.
Outros exemplos de variáveis proxy incluem gosto musical e idade, padrões de compra e gênero,
códigos postais e etnia e níveis de renda, situação familiar e gênero, educação (em qual universidade
ou faculdade uma pessoa se formou) e etnia, peso ou altura e gênero etc.
Métodos baseados em dados podem ser usados para mitigar vieses nos dados de treinamento.
A reponderação de dados, por exemplo, pode aumentar o peso de amostras que se alinham com
um objetivo. Essas técnicas incluem:
— técnicas de amostragem para medir a representatividade de amostras de diferentes fontes para

que o viés de seleção seja identificado e mitigado;

ABNT/CB-021
FEV 2024
— amostragem estratificada para superar um fenômeno de raridade. A amostragem estratificada

pode ser utilizada aumentando-se a frequência relativa dos casos positivos em relação aos
negativos. Isso pode ser feito usando várias técnicas, incluindo técnicas de superamostragem
sintética de minorias [synthetic minority oversampling techniques (SMOTE)] [28];
— seleção cuidadosa das características nos casos em que as características da amostra têm forte
correlação com o viés a ser excluído (por exemplo, gênero ou cor).
Outra abordagem é identificar a quantidade de viés indesejado presente nos dados e ajustar
o resultado para compensar o viés. Usando uma série de etapas, é possível identificar a contribuição
e o significado relativo de cada característica na predição de um modelo. É possível, então, compensar
toda a influência de cada característica que causa viés. O processo de determinação da significância
relativa de cada característica pode incluir o seguinte:
— Projeção Iterativa de Características Ortogonais [Iterative Orthogonal Feature Projection (IOFP)].

Dada a entrada e a saída para um modelo de ML, o método busca produzir uma classificação
de entrada que corresponda à dependência do sistema de Aprendizado de Máquina de cada
entrada em seu processo de tomada de decisão e, assim, possa detectar vieses envolvendo
determinadas características [29];
— Mínima redundância, máxima relevância [Minimum redundancy, maximum relevance (MRMR)].

A seleção de características identifica subsets de dados que são relevantes para os parâmetros
usados. Um esquema é selecionar as características que mais fortemente se correlacionam
com a variável de classificação e que também sejam mutuamente distantes umas das outras.
Esse esquema, denominado de seleção Mínima Redundância, Máxima Relevância (MRMR),
mostrou-se mais poderoso do que outros modos de seleção de características [30];
— Regressão Ridge ou Regressão LASSO. Regressão Ridge e Regressão LASSO são métodos
de regressão linear com regularização para evitar o overfitting aos dados de treinamento. Essas
técnicas também são utilizadas para ajudar na seleção de características [31];
— Floresta aleatória. A floresta aleatória é uma abordagem que combina várias árvores de decisão
aleatórias e agrega suas predições por média. Essa técnica tem mostrado excelente desempenho
em ambientes onde o número de variáveis é muito maior do que o número de observações [32].
Observar que, embora essas abordagens tenham sido utilizadas para realizar a seleção de características
ou a relevância de características, elas nem sempre são diretamente aplicáveis para determinar
vieses presentes nos dados.
8.3.3.2 Ajuste
Algoritmos de mitigação de vieses foram criados para atingir vários objetivos. Os algoritmos de mitigação
de vieses (também chamados de algoritmos justos) podem ser classificados da seguinte forma:
— métodos baseados em dados, como a sobreamostragem de populações sub-representadas

ou o uso de dados sintéticos;
— métodos baseados em modelos, como a adição de termos ou restrições de regularização

que impõem um objetivo durante a otimização, ou o aprendizado de representação para ocultar
ou reduzir o efeito de uma variável específica;
— métodos post-hoc, como a identificação de limites de decisão específicos do grupo com base
em resultados preditos para equalizar taxas de falsos positivos ou outras métricas relevantes.

ABNT/CB-021
FEV 2024
Exemplos de algoritmos de mitigação de viés aplicados são:
— Removedor de impacto desigual: Uma técnica de pré-processamento que edita valores que serão
usados como características de forma a reduzir o tratamento diferente entre os grupos.
— Detetor e removedor de viés individual: Uma técnica que cria um novo modelo de ML para
indivíduos no grupo desfavorecido recebendo uma decisão diferente em comparação com

indivíduos semelhantes no grupo favorecido. Às vezes, isso? pode aplicar diferentes limites
para a classificação positiva entre os grupos.
— Classificadores desacoplados: Uma técnica para treinar um classificador separado em cada

grupo. Os classificadores separados podem ser considerados como um único classificador que
se ramifica na característica do grupo.
— Função de perda conjunta: Uma técnica para capturar a paridade de grupo usando uma função
de perda conjunta que penaliza as diferenças nas estatísticas de classificação entre os grupos.
— Aprendizado por transferência: Uma técnica [33] para mitigar os problemas de baixo volume
de dados para grupos nos quais há uma população menor de dados.
8.3.4 Métodos adversários para mitigar vieses
Um método para mitigar vieses é incorporar um componente adversário na arquitetura do modelo

[34]. Nesses métodos, um “adversário” prediz alguma propriedade ou característica que define grupos
em relação aos quais se deseja justiça. A saída do modelo para o qual o viés está sendo mitigado
é a entrada para o modelo adversário. A atualização do peso do modelo para o qual o viés está sendo
mitigado é então modificada para que, além de ser otimizado para a tarefa que está executando,
também reduza a quantidade de informações disponibilizadas ao adversário que são úteis para
sua predição. O efeito líquido é que o sistema aprende como executar sua tarefa sem ser influenciado
pelas características para as quais o viés é indesejado.
8.3.5 Viés indesejado em sistemas baseados em regras
A diversidade na formação e nas experiências dos projetistas, juntamente com o aproveitamento

de especialistas transdisciplinares (ver 8.2.4), pode ajudar a reduzir as chances de introduzir
vieses indesejados no projeto de um sistema. Por exemplo, considerar um sistema de identificação
automática de possíveis contrabandistas com regras codificadas com base no conhecimento
de alguns especialistas no assunto. Se os especialistas no assunto forem mais experientes em uma
área específica de contrabando, o uso do sistema em uma área diferente pode resultar em perfilamento
não intencional de classes específicas de pessoas. Isso, por sua vez, pode levar a uma diferença
sistemática em como essas classes serão tratadas em relação a outras classes no novo contexto.
Uma consequência comum nesse cenário seria chances desequilibradas de sinalizar alguém
erroneamente entre diferentes grupos.
8.4 Verificação e validação
8.4.1 Geral
A verificação e a validação de um modelo de ML recém-desenvolvido podem identificar e mitigar

possíveis vieses indesejados antes da implantação. Um dataset de retenção obtido de uma fonte
de dados independente do dataset de treinamento é normalmente utilizado na verificação e validação.
Essa salvaguarda para a generalização do modelo também é importante para proteger contra qualquer
viés indesejado implícito no dataset de treinamento. Em geral, quaisquer medidas tomadas durante

ABNT/CB-021
FEV 2024
o processamento do dataset e o treinamento do modelo seriam benéficas para serem aplicadas

aos dados e procedimentos de validação, quando aplicável.
Embora a verificação dos sistemas de ML seja realizada intensivamente utilizando datasets

de treinamento e teste (ver 8.3.3.2), limita-se à verificação dos resultados com base na seleção
e variação dos dados disponíveis. Um sistema de IA pode ser avaliado em um contexto específico.
Ter equipes separadas trabalhando em treinamento e avaliação, prática comum no desenvolvimento

de software, também pode evitar a influência do viés cognitivo individual.
A investigação de defeitos aparentes no modelo pode revelar por que o modelo não está maximizando
a precisão geral. A resolução desses defeitos pode então melhorar a precisão geral. Datasets
sub-representativos de certos grupos (ver 6.3.4) podem ser aumentados com dados de treinamento
adicionais para melhorar a precisão na tomada de decisões e reduzir resultados viesados.
O teste de software tradicionalmente se baseia em um “corpo de conhecimento usado como base

para o projeto de testes e os casos de teste” [35]. O sucesso de qualquer atividade de teste empírico
é normalmente limitado pelo grau em que os requisitos circundantes ou os processos de gestão
de riscos identificaram explicitamente potenciais vieses indesejados ou fontes de vieses indesejados.
Mais informações sobre a gestão de riscos relacionados à IA estão descritas no Anexo B.
As técnicas descritas nesta Seção destinam-se a ser conduzidas em uma escala estatisticamente
significativa. As técnicas geralmente medem a sensibilidade do resultado a um subgrupo não
explicitamente incluído nos dados de entrada (ver 8.3.3.1).
O viés em sistemas de IA é medido de maneiras comparáveis à forma que outras propriedades,

como o desempenho agregado, são medidas. No entanto, métricas de desempenho agregadas
em relação a todo o conjunto de teste não indicam necessariamente se o viés indesejado está
presente no modelo. As métricas gerais na matriz de confusão (ver 7.2) podem parecer funcionar
bem em todo o conjunto. No entanto, calcular a precisão e a revocação em subsets de categorias
demograficamente importantes ou determinadas pode frequentemente revelar vieses, como menor
precisão para um gênero identificado em relação a outro ou menor precisão para um grupo demográfico
específico. Essas diferenças de desempenho provavelmente indicam que o viés não detectado
está presente nos estágios iniciais do processo de desenvolvimento. Por exemplo, um determinado
grupo pode estar sub-representado (ver 6.3.4) nos dados de treinamento. Esta seção destina-se
a aplicar-se ao desenvolvimento de novos sistemas, à implantação de sistemas existentes e à avaliação
da manutenção da qualidade dos sistemas ao longo do tempo. Uma mudança no relacionamento
entre os dados de entrada esperados e reais pode ser motivo de avaliação. A avaliação também
pode incluir os resultados da implantação em usuários do sistema e espectadores (como pessoas
ou objetos que estão presentes por acaso, mas não são o alvo ou sujeito de uma implantação
de sistema de IA). Por exemplo, um sistema que é injusto em relação a gênero e etnia independentemente
pode ser justo em relação a uma combinação específica dos dois.
8.4.2 Análise estática de dados de treinamento e preparação de dados
A análise dos dados de treinamento e produção pode revelar vieses de dados, conforme descrito
em 6.3. Métodos de Clustering e visualização nos dados de treinamento, características derivadas
ou predições resultantes podem ajudar a detectar desequilíbrios ou vieses potenciais nos dados
de treinamento ou no sistema.
Os avaliadores podem identificar o perfil dos dados de treinamento e produção e validar se a dispersão
de uma determinada variável representa o dataset real esperado. Um exemplo é identificar que registros
de uma determinada faixa etária foram usados para o treinamento, quando uma distribuição diferente
de idades é esperada em datasets reais. Essa atividade pode ter como objetivo validar o potencial

ABNT/CB-021
FEV 2024
de viés de seleção, viés de amostragem e viés de cobertura, mas não pode fazê-la exaustivamente,
pois é limitada pelo conhecimento do avaliador.
Os avaliadores podem identificar etapas no processo de preparação de dados que podem

potencialmente introduzir vieses por meio de “dados faltantes”. Por exemplo, se observações específicas
não estiverem disponíveis de forma consistente em um dataset de entrada, os engenheiros podem
imputar essas informações aos registros restantes ou removê-los. Se a ausência dessas observações
estiver correlacionada com grupos específicos de registros, isso pode resultar em vieses indesejados
que normalmente não seriam detectados no teste de modelo.
8.4.3 Verificações de amostras de rótulos
O risco de rotulagem incorreta descrito em 6.3.3, ou seja, rotuladores humanos especificando

incorretamente os rótulos para um conjunto de dados de entrada utilizados para treinar o modelo,
pode ser avaliado por meio de verificações de amostras de rótulos submetidos.
A rotulagem baseada na opinião de especialistas pode ser mais complicada de avaliar. Análises críticas
duplo-cego podem ser conduzidas, ou pode-se considerar a avaliação de múltiplos especialistas, a fim
de avaliar a qualidade do rótulo inicial.
8.4.4 Teste de validade interna
O teste de validade interna avalia a correlação entre características de dados de entrada individuais
e as saídas do sistema. Em seguida, analisa criticamente se essas correlações são adversas
no contexto de requisitos específicos ou critérios de aceitação.
Esse processo depende da inclusão de características de dados que causam distorções indesejadas
no domínio de dados de entrada. Ele pode detectar vieses nos modelos e sua interação, como
a expressividade do modelo descrita em 6.4.7.2, amostragem não representativa conforme descrito
em 6.3.4 ou problemas de processamento de dados conforme descrito em 6.3.6.
Isso pode incluir a avaliação em um ambiente totalmente integrado, a fim de detectar qualquer viés
indesejado nas atividades de coleta ou preparação de dados usadas durante o desenvolvimento
do sistema de IA. A integração também pode detectar amostragem não representativa. Por exemplo,
os dados coletados em um ambiente integrado podem ter características variadas, como níveis
de iluminação ou frequência de atualização do sensor. Essas variações podem influenciar os dados
de entrada do sistema de IA.
8.4.5 Teste de validade externa
Os testes de validade externa podem envolver a reavaliação de observações anteriores usando fontes
de dados externas. Essa é uma técnica útil que pode detectar muitos dos tipos de vieses indesejados
descritos neste documento, incluindo o viés indireto. O aspecto dos dados de entrada ao qual
o viés indireto se relaciona não está explicitamente contido nas características, mas é uma derivação
de segunda ordem [36].
Por exemplo, alguns relatos da mídia sobre os vieses da IA [37] se concentraram em pesquisas
que correlacionaram resultados de modelos com dados de censos ou códigos postais para ilustrar
a disparidade de resultados.
Os testes de validade externa também podem incluir a integração de novos dados de entrada
e a validação de que os resultados são consistentes com os testes de validade interna.
O teste de validade externa é particularmente importante para detectar o viés indireto introduzido
por variáveis proxy. Se um projetista de modelo tentar mitigar o viés simplesmente removendo

ABNT/CB-021
FEV 2024
as informações demográficas da entrada, é provável que o viés indesejado ainda exista por meio
de variáveis proxy. Por exemplo, o modelo pode perpetuar o racismo “daltônico” [38][39], um conceito
sociológico que descreve como as alegações de não “ver” a cor da pele de uma pessoa impedem
a compreensão e o enfrentamento da persistência da desigualdade racial na sociedade. Para evitar
esse resultado, os testes de validade externa podem, de fato, incluir dados demográficos originalmente
excluídos ou uma exploração dos efeitos da variável proxy. Uma investigação mais profunda pode
ser conduzida para entender por que estas proxies existem e se o propósito pode ser cumprido sem
as mesmas. Os testes de validade externa podem incluir dados qualitativos que demonstram impactos
díspares da mesma classificação. Por exemplo, se um determinado modelo é usado para identificar
pessoas antes de embarcar em um avião, o dano emocional de um falso negativo pode ser maior
para aqueles grupos estereotipados como prováveis “terroristas” do que para outros grupos.
Nesse contexto, a integração de datasets de entrada com observações adicionais pode ser útil para
avaliar adequadamente o sistema quanto a vieses indesejados.
8.4.6 Teste de usuário
Testar com diferentes tipos de usuários finais pode ser útil quando a interação de um usuário com
o sistema influencia resultados e predições de forma correlacionada com a associação do usuário
a um grupo.
Avaliar a experiência do usuário em cenários do mundo real em um amplo espectro de usuários,

casos de uso e contextos de uso é uma técnica útil para detectar vieses indesejados nas interações
do modelo (ver 6.4.7), problemas de processamento de dados (ver 6.3.6) e problemas com os rótulos
de dados (ver 6.3.3).
8.4.7 Testes exploratórios
Os desenvolvedores de sistemas podem organizar um pool de testadores confiáveis e diversos

que podem atuar como adversários para testar o sistema e incorporar uma variedade de entradas
potencialmente prejudiciais em testes unitários ou funcionais. Isso pode ajudar a identificar maneiras
imprevistas pelas quais um sistema pode ser viesado, especialmente se o pool de testadores incluir
representantes de grupos que podem ser afetados pelo sistema e que podem ser seus usuários finais.
8.5 Implantação
8.5.1 Geral
Uma vez implantados, o treinamento e o suporte adequados do sistema de IA são importantes

para possibilitar aos usuários o uso eficaz do produto. Isso inclui a orientação para os desenvolvedores
de sistemas sobre o que constitui a implantação adequada e a implantação inadequada de um sistema
de IA. Por exemplo, um sistema de rastreamento de atenção pode ser percebido como inadequado
se usado em um sistema educacional para monitorar o comportamento dos alunos, mas pode
ser percebido de modo diferente se o mesmo sistema for usado como ferramenta de pesquisa
em um experimento psicológico.
Os sistemas implantados também podem incluir orientação para os usuários finais. Por exemplo,
é desejável que os recrutadores que usam um sistema de recomendação de contratação entendam
as capacidades e limitações do sistema. Tanto os desenvolvedores de IA quanto os usuários finais
podem ser informados sobre áreas conhecidas de viés indesejado. Isso pode ser conseguido por meio
de uma ferramenta de transparência (ver 8.5.3), que contém informações sobre os dados em que
o modelo foi treinado, distribuições para populações de seus erros falsos positivos e falsos negativos
e outras informações associadas.

ABNT/CB-021
FEV 2024
Os titulares dos dados, as pessoas a quem os dados de treinamento se referem, não são necessariamente
usuários do sistema. Eles não precisam de treinamento, mas podem ser informados de qualquer
viés dentro do sistema que possa impactá-los, em linguagem apropriada ao contexto. Falhas no treinamento
ou no suporte podem resultar em vieses adicionais que podem ser difíceis de detectar antecipadamente.
8.5.2 Monitoramento e validação continuados

Os modelos podem perder desempenho ao longo do tempo. A degradação do desempenho pode ser
atribuída a mudanças no ambiente, como tendências, práticas e normas sociais, surgimento de novos
comportamentos, mudança na composição da população de entrada e mudanças nos requisitos.
Além disso, um sistema pode ser viesado em relação a uma posição histórica [17].
O desempenho continuado, usando as técnicas descritas em 8.4, pode ser monitorado quando o sistema
é implantado. Isso inclui a verificação do desempenho do sistema, por exemplo, resultados outliers,
utilizando a exploração visual de dados e técnicas para avaliar os vieses e a justiça, incluindo meios
automatizados. Ver a Seção 7 para obter mais informações sobre métricas. Se houver indícios
de viés indesejado, o sistema pode ser retreinado ou reprojetado. O monitoramento é um processo
conhecido em muitos setores que alavancam a tomada de decisão automatizada em seus processos.
Por exemplo, no setor bancário, modelos de scorecard estão sendo desenvolvidos e introduzidos
juntamente com os seus processos aprovados de monitoramento. Os processos de monitoramento
não se aplicam apenas à precisão e desempenho de modelos (ou sistemas), mas também podem
ser usados para identificação e rastreamento de tendências indesejadas em sistemas ou modelos.
8.5.3 Ferramentas de transparência
Para esclarecer os casos de uso pretendidos dos modelos de ML e minimizar seu uso em contextos
para os quais não são bem adaptados, os releases dos modelos podem ser acompanhados
por documentação detalhando suas características de desempenho. As ferramentas de transparência
do modelo podem fornecer uma estrutura para relatórios transparentes de ML sobre a origem
do modelo, seu uso e uma avaliação de justiça informada. A documentação do modelo pode incluir:
— informações qualitativas, como considerações éticas, usuários-alvo e casos de uso;
— informações quantitativas, que consistem em um modelo de avaliação de desagregado (dividido nos

diferentes subgrupos-alvo) e abrangente (incluindo avaliação em múltiplos subgrupos em combinação,
por exemplo, etnia e gênero). Ver a Seção 7 para obter mais informações sobre métricas;
— informações sobre os dados, se possível, que possam ser formalizadas como uma ferramenta
de transparência de dados.
A utilidade e precisão de uma ferramenta de transparência depende da integridade do(s) criador(es)

da própria ferramenta e pode ser armazenada como documentação ou metadados associados
a cada modelo. Os cartões-modelo [40] são uma ferramenta de transparência entre muitas, que
podem incluir, por exemplo, auditoria algorítmica por terceiros (tanto quantitativa quanto qualitativa),
“testes adversários” por analistas técnicos e não técnicos, e mecanismos de feedback de usuários
mais inclusivos (ver 8.4.6).
Ao usar (ou fornecer) modelos e aplicações de terceiros (também conhecidos como IA como
serviço ou aprendizado de máquina como serviço), “FactSheets” [41] podem ser usados para aumentar
a transparência e a confiança em torno dessas ofertas.

ABNT/CB-021
FEV 2024
Anexo A
(informativo)
Exemplos de vieses
A.1 Exemplo 1
Considerar um algoritmo utilizado no processo de solicitação de empréstimo para fazer uma predição
sobre se o requerente representa um risco aceitável ou não.
Um sistema de IA desejável prediria corretamente se a solicitação representa um risco aceitável

sem contribuir para a exclusão sistêmica de certos grupos.
Um exemplo hipotético de uma predição incorreta seria rejeitar uma solicitação de empréstimo
de um candidato de “risco aceitável”. Nesse cenário, um sistema de IA está automatizando um processo
existente no qual os agentes de crédito determinam se as solicitações representam riscos aceitáveis.
Ao longo de muitos anos, esse processo conduzido por humanos pode resultar na rejeição de 25 %
das solicitações de imigrantes. Antes de testar o algoritmo quanto ao viés, foi acordado, devido aos
níveis existentes de viés social e uma vez que falsos negativos (ou seja, rejeitar candidatos que
eram, de fato, dignos de crédito) eram considerados mais importantes do que falsos positivos, que
a paridade demográfica e a igualdade de oportunidades dentro de 2 % seriam suficientes para
aceitar um modelo de predição como “sem viés”.
Em uma primeira versão, o sistema de IA, em funcionamento e treinado em todas as solicitações

de empréstimo anteriores, rejeitou 20% das solicitações de imigrantes, mas apenas 10 % das solicitações
de não imigrantes. O sistema de IA aprendeu e está emulando a tomada de decisão humana e,
embora o algoritmo esteja tendo um desempenho melhor do que o processo histórico conduzido
por humanos, falha no teste de paridade demográfica e é rejeitado como inadequado. Após a remoção
dos fatores sensíveis dos dados de treinamento, o novo modelo funcionou conforme apresentado
nas Tabelas A.1 e A.2. Nessas tabelas, uma condição positiva representa um candidato digno
de crédito e uma condição negativa representa um risco de crédito.
Tabela A.1 – Matriz de confusão para solicitações de imigrantes no exemplo 1

Condição verdadeira
População total Condição positiva Condição negativa Predição total
Predição
88 0 88
positiva
Condição
predita
Predição
2 10 12
negativa
Condição total 90 10 100
TPR = 0,98 TNR = 1,00 ACC = 0,98
FPR = 0,00 FNR = 0,02

ABNT/CB-021
FEV 2024
Tabela A.2 – Matriz de confusão para solicitações de não imigrantes no exemplo 1

Predição
89 1 90
positiva
Condição
predita
Predição
1 9 10
negativa
TPR = 0,99 TNR = 0,90 ACC = 0,98
FPR = 0,10 FNR = 0,01
Uma vez que a taxa de rejeição para os imigrantes está dentro de 2 % da taxa de rejeição para os não
imigrantes, a Paridade Demográfica se mantém. E uma vez que o TPR para imigrantes está dentro
de 2 % do TPR para não imigrantes, a Igualdade de Oportunidades também se mantém. Portanto,
de acordo com os critérios de viés estabelecidos antes dos testes, o novo modelo pode ser considerado
sem vieses e está pronto para ser implantado.
A.2 Exemplo 2
Em outro cenário hipotético, a empresa quer aplicar a IA para entrar em uma nova área de negócios
com base em dados anonimizados que acredita serem úteis, mas que não fornecem insights
completos sobre a capacidade de crédito. A empresa decide usar a Paridade Demográfica
como métrica para determinar o grau de viés injusto no modelo treinado, estabelecendo o limite de 1 %
de diferença para aceitar o modelo. Testes no sistema de IA revelam a rejeição de 30 % das solicitações
– independentemente do status de imigração. Embora o sistema de IA rejeite muitas solicitações,
isso não está vinculado a nenhum grupo específico; de acordo com a escolha da métrica e do limite,
o modelo é considerado sem viés. A empresa decide que a alta taxa de erro geral é um risco aceitável
a ser assumido, dado que o custo marginal de entrada nesse segmento de mercado é baixo pode valer
a pena o custo da automação. No entanto, essa decisão pode ser bastante controversa. Por exemplo,
nos cenários apresentados na Tabela A.3 e na Tabela A.4, o modelo realmente atende a Paridade
Demográfica, mas falha em todos os outros testes de justiça algorítmica estabelecidos na Seção 7.
Também tem um desempenho sensivelmente pior em termos de precisão para as populações
de imigrantes versus não imigrantes, deixando a organização suscetível a acusações de discriminação.

ABNT/CB-021
FEV 2024
Tabela A.3 – Matriz de confusão para solicitações de imigrantes no exemplo 2
Predição
65 5 70
positiva
Condição
predita
Predição
15 15 30
negativa
TPR = 0,81 TNR = 0,75 ACC = 0,80
FPR = 0,25 FNR = 0,19
Tabela A.4 – Matriz de confusão para solicitações de não imigrantes no exemplo 2

Predição
65 5 70
positiva
Condição
predita
Predição
5 25 30
negativa
TPR = 0,93 TNR = 0,83 ACC = 0,90
FPR = 0,17 FNR = 0,07

ABNT/CB-021
FEV 2024
Anexo B
(informativo)
Ferramentas de código aberto relacionadas

B.1 Geral
Ferramentas de código aberto, incluindo as listadas neste Anexo, estão disponíveis para auditar
vieses e explicar a saída de um sistema de IA. A lista abaixo não é exaustiva e outras ferramentas
estão disponíveis e em desenvolvimento. Essas ferramentas são listadas como exemplos.
B.2 Ferramentas
ELI5: Pacote Python [42] que ajuda a depurar classificadores de ML e explicar suas predições.
Fornece suporte para uma série de pacotes, como scikit-learn, Keras, XGBoost.
FairML: Caixa de ferramentas [43] escrita em python para auditar modelos de ML quanto a justiça e viés.
Ajuda a quantificar a significância das entradas do modelo. Utiliza quatro algoritmos de classificação
de entrada para quantificar quanto cada variável de entrada contribui para as predições do modelo.
Google What-If Tool (WIT): Plug-in de placa tensora [44] que ajuda a entender uma classificação
de caixa preta ou modelo de ML de regressão.
LIME: Projeto de código aberto [45] destinado a explicar e interpretar como funcionam os modelos
de ML. O LIME oferece suporte a uma ampla variedade de modelos de ML. É capaz de interpretar
classificação de texto, classificação multiclasse, classificação de imagem e modelos de regressão.
AI Fairness 360: Uma biblioteca de código aberto [46] que detecta e mitiga vieses em modelos de ML
usando um conjunto de algoritmos de mitigação de vieses.
Fairlearn: Kit de ferramentas de código aberto [47] que tem dois componentes: um painel de visualização
interativo e algoritmos de mitigação de injustiça. Esses componentes são projetados para avaliar
e melhorar a justiça dos sistemas de IA navegando em compensações entre justiça e desempenho
do modelo.
Skater: Uma estrutura unificada [48] para permitir a interpretação de modelos para todas as formas
de modelos. Uma biblioteca Python de código aberto que ajuda a entender as estruturas aprendidas
de um modelo de caixa preta tanto globalmente (inferência baseada em um dataset completo) quanto
localmente (inferência sobre uma predição individual).
SHAP: Shapley Additive exPlanations é uma ferramenta[49] que pode explicar a saída de qualquer
modelo de ML conectando a teoria dos jogos com uma explicação local. Emprega a visualização para
explicar os modelos.
FairTest: Ferramenta de código aberto que “permite que desenvolvedores ou entidades de auditoria
identifiquem e testem associações injustificadas entre as saídas de um algoritmo e certas subpopulações
de usuários identificadas por características protegidas”. [50]
Themis: Uma abordagem de teste e uma ferramenta para medir a discriminação em um sistema
de software [51].

ABNT/CB-021
FEV 2024
Anexo C
(informativo)
ABNT NBR ISO 26000 – Exemplo de mapeamento

C.1 Geral
Este Anexo apresenta como as considerações sobre responsabilidade social descritas
na ABNT NBR ISO 26000 [52] estão relacionadas ao tratamento de vieses em sistemas de IA,
conforme descrito neste documento. A relação entre preocupações sociais adicionais e uma lista
extensa de “vulnerabilidades” de IA pode ser demostrada da mesma maneira usando a metodologia
de gestão de riscos.
As tabelas deste Anexo utilizam exemplos bem conhecidos da ABNT NBR ISO 31000 [53] para
demonstrar como a identificação dos objetivos, os riscos associados e seu possível tratamento
ocorrem em diferentes camadas (ou níveis) da sociedade e da organização. Os exemplos
mostram que, à medida que a gestão de riscos se propaga pelas camadas, os controles identificados
em uma camada superior geralmente se tornam os objetivos da(s) camada(s) inferior(es).
A ABNT NBR ISO 26000 identifica sete “temas centrais” com várias “questões” em cada um e descreve
como podem ser considerados pelo corpo diretivo das organizações.
C.2 Nível da sociedade

Como exemplo, a Tabela C.1 apresenta como vários temas sob o tema central de “direitos humanos”
podem ser (re)considerados na era da IA.
Tabela C.1 – Nível da sociedade (por exemplo, ABNT NBR ISO 26000)
Objetivo Fonte de risco Estratégias de tratamento de viés
Tema central: – Discriminação baseada – Fornecer feedback aos formuladores
Direitos humanos na etnia, gênero etc. de políticas específicas para o uso
Tema 5: – Não proporcionar igualdade de IA.
Discriminação de acesso a oportunidades – Testar ou validar independentemente
e grupos econômicas, sociais os sistemas de IA para obter
vulneráveis e culturais. resultados justos.
Tema 7: Direitos – Tornar transparentes as informações
econômicos, sobre os sistemas de IA para todas
sociais e culturais as partes interessadas.
– Envolver as partes interessadas dos
grupos afetados durante o projeto,
teste e a avaliação do sistema para
ajudar a identificar e mitigar vieses.

ABNT/CB-021
FEV 2024
C.3 Nível da governança organizacional

Conforme descrito na ABNT NBR ISO 26000, as preocupações da sociedade estão entre os insumos
essenciais para o corpo diretivo das organizações. A Tabela C.2 apresenta exemplos das estratégias
de tratamento disponíveis nos diferentes níveis de governança.
Tabela C.2 – Nível da governança organizacional

Justiça – Os sistemas de IA podem – Estabelecer um comitê de análise
ser usados contra a lei crítica ética.
ou de forma antiética. – Identificar e integrar requisitos legais
– Limitações da tecnologia relacionados a vieses.
de IA ou ML.
Transparência – IA ou ML envolvem cadeias – Definir procedimentos de
de valor complexas. gerenciamento interorganizacional
– Os modelos de ML para alcançar
escaláveis são opacos. a transparência do ML; ver 8.5.3.
Inclusão – Os direitos ou expectativas – Promover a inclusão no

das partes interessadas desenvolvimento de sistemas como
relevantes são um dos princípios da organização
negligenciados. interna e externamente, ver 8.2;
– Envolver os trabalhadores ou seus
representantes.

ABNT/CB-021
FEV 2024
C.4 Nível da gestão organizacional

A Tabela C.3 contém exemplos de possíveis mitigações, tratamentos e controles, para demostrar como
os vieses podem ser tratados e abordados em diferentes níveis (ou camadas) de uma organização.
Tabela C.3 – Nível da gestão organizacional


Justiça – Sistemas de IA contendo – Coletar e documentar (estabelecer
vieses ou exibindo injustiça. um catálogo de) métodos técnicos
para redução de vieses e medições.
Transparência – Projetos que lidam com – Criar um modelo de transparência
sistemas de IA podem a ser usado para sistemas de IA
ter uma compreensão (ou seja, produtos ou serviços).
diferente do que significa Por exemplo, os registros de IA
“transparência”. pelas cidades de Amsterdam [54]
e Helsinki [55].
– Estabelecer um catálogo
de abordagens para explicabilidade.
Inclusão – Partes interessadas podem – Estabelecer uma equipe
ser negligenciadas. interorganizacional voltada para
– Partes interessadas podem organizações acadêmicas, sociais
não estar disponíveis. e outras em relação a tópicos
relacionados à IA.
– Envolver os trabalhadores ou seus
representantes.

ABNT/CB-021
FEV 2024
C.5 Nível de projeto de IA

A Tabela C.4 apresenta exemplos de estratégias de tratamento de vieses que podem ser aplicadas
no nível de projeto.
Tabela C.4 – Nível de projeto de IA


Justiça – Dilemas éticos. – Identificar e, se necessário, escalar
– Interesses conflitantes das novos dilemas éticos na cadeia
partes interessadas. de gestão e governança,
por exemplo, para o comitê
– Leis ou regulações
de análise crítica ética (C.3).
conflitantes.
– Envolver reguladores e grupos
– Falta de consciência ou
sociais tanto no nível de governança
conhecimento.
quanto no nível de requisitos.
– Encerrar o projeto.
– Utilizar métodos técnicos
e qualitativos (ver 8.3) para tratar
vieses.
– Conduzir ou criar oportunidades
de treinamento ético.
Transparência – Um projeto está sob um – Preencher o modelo de
cronograma apertado. transparência conforme descrito na
– Um projeto é confidencial. Tabela C.3.
– Um projeto requer o uso – Utilizar modelos interpretáveis.
de redes neurais altamente – Fornecer ferramentas de
escaláveis, mas não explicabilidade.
facilmente inteligíveis
Inclusão – Um projeto está sob um – Identificar e envolver as partes
cronograma apertado. interessadas relevantes em cada
– Um projeto é confidencial. estágio do projeto ou do ciclo
de vida do sistema de IA.
– Falta de diversidade.
– Assegurar a representação
diversificada entre a equipe
do projeto e os testadores
do sistema.

ABNT/CB-021
FEV 2024
C.6 Exemplos de estratégias de tratamento de vieses

A Tabela C.5 apresenta exemplos de estratégias de tratamento de vieses deste documento que podem
ser aplicadas.
Tabela C.5 – Exemplos de estratégias de tratamento de vieses


Reduzir vieses – Viés cognitivo humano. – Envolver especialistas e partes
de requisitos – Omissão de características interessadas relevantes (ver
importantes. Inclusão).
– Suposições contextuais (por
exemplo, geográficas).
Reduzir vieses – Amostragem não – Identificar possíveis fontes de viés.
de dados representativa. – Avaliar rotuladores e rótulos.
– Definição e geração de – Medir possíveis vieses.
rótulos.
– Omissão de características
importantes.
– Alterações não intencionais
durante o pré- ou pós-
processamento.
– Codificações redundantes.
– Vieses históricos e sociais.
– Vieses da coleta de dados.
Reduzir vieses – Características do modelo – Testar.
do modelo projetadas manualmente. – Avaliar e Medir.
– Informatividade. – Ajustar.
– Interação entre modelos.
– Expressividade.

ABNT/CB-021
FEV 2024
Bibliografia
[1] ISO 3534-1:2006, Statistics – Vocabulary and symbols – Part 1: General statistical terms and
terms used in probability
[2] ISO/IEC 2382:2015, Information technology – Vocabulary
[3] KLEINBERG,J., MULLAINATHAN,S. & RAGHAVAN,M., Inherent Trade-Offs in the Fair

Determination of Risk Scores. 67(2017) pp: 43:1-43:23.
[4] CALISKAN A., BRYSON, J.J., and NARAYANAN, A. Semantics derived automatically from
language corpora contain human-like biases. Science, 356:183–186, 2017.
[5] GILVOICH, T., & GRIFFIN Dale W. (2010). Judgement and decision-making. In S. T. Fiske, D.T.
Gilbert and G. Lindzey (Eds.). Handbook of Social Psychology, Fifth Edition, (Vol 1, pp. 542-589)
[6] KAHNEMAN, D, FARRAR, STRAUS and GIROUX, [2013]. Thinking, Fast and Slow
[7] MACHINE BIAS – PROPUBLICA. [2016]. [online]. [Visto em 23 Setembro 2020]. Disponível em:
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[8] TRENTA A. “ISO/IEC 25000 quality measures for A.I.: a geometrical approach” in Proceedings
APSEC IWESQ 2020 (http://ceur-ws.org/Vol-2800/, ISSN 1613-0073)
[9] SURESH. H and GUTTAG, J. V., 2020. A Framework for Understanding Unintended Consequences
of Machine Learning. arXiv:1901.10002 [cs, stat] [online]. 17 de fevereiro 2020. [Visto em 22
de Fevereiro 2020]. Disponível em: https://arxiv.org/abs/1901.10002
[10] VERMA. S and RUBIN, J, 2018. Fairness definitions explained. In: Proceedings of the International
Workshop on Software Fairness - FairWare ’18 [online]. Gothenburg, Sweden: ACM Press. 2018.
p. 1–7. [Visto em 6 de maio 2019]. ISBN 978-1-4503-5746-3. Disponível em: https://dl.acm.org/
citation.cfm?doid=3194770.3194776
[11] MITCHELL. S, POTASH, E, BAROCAS, S, D’AMOUR, A and LUM, K, 2020. Prediction-Based

Decisions and Fairness: A Catalogue of Choices, Assumptions and Definitions. arXiv:1811.07867
[stat] [online]. 24 Abril 2020. [Visto em 30 de setembro 2020]. Disponível em: https://arxiv.org/
abs/1811.07867
[12] SALEIRO. P, KUESTER, B, HINKSON, L, LONDON, J, STEVENS, A, ANISFELD, A, RODOLFA,

K.T. and GHANI, R, 2019. Aequitas: A Bias and Fairness Audit Toolkit. arXiv:1811.05577
[cs] [online]. 29 Abril 2019. [Visto em 30 de setembro 2020]. Disponível em: https://arxiv.org/
abs/1811.05577
[13] GAJANE. P and PECHENIZKIY, M, 2018. On Formalizing Fairness in Prediction with Machine
Learning. arXiv:1710.03184 [cs, stat] [online]. 28 de maio 2018. [Visto em 30 de outubro 2020].
Disponível em: https://arxiv.org/abs/1710.03184 arXiv: 1710.03184
[14] AGARWAL. A, DUDÍK, M and WU, Z.S., 2019. Fair Regression: Quantitative Definitions and
Reduction-based Algorithms. arXiv:1905.12843 [cs, stat] [online]. 29 de maio 2019. [Visto em 30
Outubro 2020]. Disponível em: https://arxiv.org/abs/1905.12843 arXiv: 1905.12843

ABNT/CB-021
FEV 2024
[15] HARWAT. A, 2020. Classification assessment methods. Applied Computing and Informatics
[online]. 3 Agosto 2020. Vol. ahead-of-print, no. ahead-of-print. [Visto em 30 de setembro2020].
DOI 10.1016/j.aci.2018.08.003. Disponível em: https://www.emerald.com/insight/content/doi/10.1016/
j.aci.2018.08.003/full/html
[16] Confusion matrix, 2020. Wikipedia [online]. [Visto em 30 de Outubro2020]. Disponível em :

https://en.wikipedia.org/w/index.php?title=Confusion_matrix&oldid=980584181 Page Version ID:

980584181
[17] DWORK. C, HARDT, M, PITASSI, T, REINGOLD, O and ZEMEL, R, 2011. Fairness Through
Awareness. arXiv:1104.3913 [cs] [online]. 28 de novembro 2011. [Visto em 22 Fevereiro 2020].
Disponível em: https://arxiv.org/abs/1104.3913
[18] MARTINEZ. N, BERTRAN, M, SAPIRO, G, 2020. Minimax Pareto Fairness: A Multi Objective
Perspective. Disponível em: http://proceedings.mlr.press/v119/martinez20a/martinez20a.pdf
[19] ISO/IEC JTC 1/SC 42, Artificial intelligence, [no date]. [online]. [Visto em 30 de outubro 2020],
Disponível em https://www.iso.org/committee/6794475/x/catalogue/p/0/u/1/w/0/d/0
[20] ABNT NBR ISO/IEC 38507:2023, Tecnologia da informação – Governança de TI – Implicações

de governança do uso de inteligência artificial pelas organizações
[21] UNITED STATES. Health Insurance Portability and Accountability Act, 1996.
[22] CHAUDHURI, A, SMITH, A.L., GARDNER, A, GU, L, SALEM, M.B. and LÉVESQUE, M., [2019].
Regulatory frameworks relating to data privacy and algorithmic decision-making in the context
of emerging standards on algorithmic bias
[23] UNITED STATES. California Consumer Privacy Act. AB-375 Privacy: personal information:
businesses, 2018.
[24] JAPAN, Act on the Protection of Personal Information 2016
[25] EUROPEAN PARLIAMENT. REGULATION (EU) 2016/679 OF THE EUROPEAN PARLIAMENT

AND OF THE COUNCIL on the protection of natural persons with regard to the processing
of personal data and on the free movement of such data and repealing Directive 95/46/EC (General
Data Protection Regulation). 2016.
[26] GEBRU. T., MORGENSTERN, J., VECCHIONE, B., VAUGHAN, J.W., WALLACH, H., DAUMEÉ
III, H. and CRAWFORD, K., 2018. Datasheets for Datasets. arXiv:1803.09010 [cs] [online]. 23
de Março 2018. [Visto em 10 de outubro 2019]. Disponível em: https://arxiv.org/abs/1803.09010
[27] STEED. R. & CALISKAN.A., Image Representations Learned With Unsupervised Pre-Training
Contain Human-like Biases. ACM Conference on Fairness Accountability and Transparency
(FAccT ‘21), 2021, Virtual Event, Canada. ACM, New York, NY, USA, pp. 701-713. Disponível em:
https://doi.org/10.1145/3442188.3445932.
[28] CHAWLA, N. V., BOWYER, K. W., HALL, L. O. and KEGELMEYER, W. P., 2002. SMOTE: Synthetic
Minority Over-sampling Technique. Journal of Artificial Intelligence Research. 1 de junho 2002.
Vol. 16, p. 321–357. DOI 10.1613/jair.953. Disponível em: https://jair.org/index.php/jair/article/
view/10302/24590

ABNT/CB-021
FEV 2024
[29] ADEBAYO. J. and KAGAL, L., 2016. Iterative Orthogonal Feature Projection for Diagnosing Bias
in Black-Box Models. arXiv:1611.04967 [cs, stat] [online]. 15 de novembro 2016. Visto em 26 de
Abril 2020]. Disponível em: https://arxiv.org/abs/1611.04967
[30] DING. C. and PENG, H., [no date][no date]. Minimum Redundancy Feature Selection from
Microarray Gene Expression Data [Visto em 26 de abril 2020]. Disponível em: https://ranger.uta.
edu/~chqding/papers/gene_select.pdf
[31] GINESTET. C.E, [no date][no date]. Regularization: Ridge Regression and Lasso. Linear Models.
Available from: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf
[32] BIAU. G. and SCORNET, E., 2016. A random forest guided tour. June 2016. Vol. 25, no. 2, p.
197–227. DOI 10.1007/s11749-016-0481-7.Disponível em: http://www.lsta.upmc.fr/BIAU/bs.pdf
[33] RYU. H.J., ADAM, H. and MITCHELL, M., 2017. InclusiveFaceNet: Improving Face Attribute
Detection with Race and Gender Diversity. arXiv:1712.00193 [cs] [online]. 1 de dezembro 2017.
[Visto em 10 de Outubro 2019]. Disponível em: http://www.lsta.upmc.fr/BIAU/bs.pdf
[34] ZHANG. B.H., LEMOINE, B. and MITCHELL, M., 2018. Mitigating Unwanted Biases with Adversarial
Learning. In Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics and Society [online].
New Orleans LA USA: ACM. 27 de dezembro 2018. P. 335–340. [Visto em 30 Setembro 2020].
ISBN 978-1-4503-6012-8. Disponível em: https://dl.acm.org/doi/10.1145/3278721.3278779
[35] ISO/IEC/IEEE 29119-1:2013, Software and systems engineering – Software testing – Part 1:
Concepts and definitions
[36] BEUTEL. A, CHEN, J, ZHAO, Z and CHI, E H., 2017. Data Decisions and Theoretical Implications
when Adversarially Learning Fair Representations. arXiv:1707.00075 [cs] [online]. 30 de junho
2017. [Accessed 10 October 2019]. Available from: https://arxiv.org/abs/1707.00075
[37] BLOOMBERG. Amazon Doesn’t Consider the Race of Its Customers. Should It? [2016]. [online].
[Visto em 30 de setembro 2020]. Disponível: https://www.bloomberg.com/graphics/2016-amazon-
same-day/
[38] BONILLA-SILVA, E. Racism without racists: Color-blind racism and the persistence of racial
inequality in the United States. 2010. Rowman & Littlefield Publishers.
[39] BONILLA-SILVA, The Structure of Racism in Color-Blind, “Post-Racial” America
[40] MITCHELL. M, WU, S, ZALDIVAR, A, BARNES, P, VASSERMAN, L, HUTCHINSON, B,

SPITZER, E, RAJI, I.D. and GEBRU, T, 2019. Model Cards for Model Reporting. Proceedings of
the Conference on Fairness, Accountability and Transparency - FAT* ’19. 2019. P. 220–229. DOI
10.1145/3287560.3287596. Disponível em: https://arxiv.org/pdf/1810.03993.pdf
[41] ARNOLD. M, BELLAMY, R.K.E., HIND, M, HOUDE, S, MEHTA, S, MOJSILOVIC, A, NAIR, R,

RAMAMURRTHY, K.N., REIMER, D., OLTEANU, A., PIORKOWSKI, D., TSAY, J. and KUSH R.V.,
2019. FactSheets: Increasing Trust in AI Services through Supplier’s Declarations of Conformity.
Disponível em: https://arxiv.org/abs/1808.07261v2
[42] Overview – ELI5 0.9.0 documentation, [no date][no date]. [online]. [Visto em 30 de setembro
2020]. Disponível em: https://eli5.readthedocs.io/en/latest/overview.html

ABNT/CB-021
FEV 2024
[43] ADEBAYO. J., 2020. adebayoj/fairml [online]. Python. [Visto em 30 de setembro 2020].
Disponível em: https://github.com/adebayoj/fairml
[44] Using the What-If Tool | AI Platform Prediction | Google Cloud, [no date][no date]. [online]. [Visto
em 30 de setembro 2020]. Disponível em: https://cloud.google.com/ai-platform/prediction/docs/
using-what-if-tool
[45] RIBEIRO. M.T.C., 2020. Lime: Explaining the predictions of any machine learning classifier,
marcotcr/lime [online]. JavaScript. [Visto em 30 de setembro 2020]. Disponível em: https://github.
com/marcotcr/lime
[46] FAIRNESS A.I. 360, [no date][no date]. [online]. [Visto em 30 de setembro 2020]. Disponível em:
http://aif360.mybluemix.net
[47] Fairlearn: A toolkit for assessing and improving fairness in AI - Microsoft Research, [no date]
[no date]. [online]. [Visto em 30 de setembro 2020]. Disponível em: https://www.microsoft.com/
en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/
[48] oracle/Skater, 2020. [online]. Python. Oracle. [Visto em 30 de setembro 2020]. Disponível em:
https://github.com/oracle/SkaterPythonLibraryforModelInterpretation/Explanations
[49] LUNDBERG. S., 2020. slundberg/shap [online]. Jupyter Notebook. [Visto em 30 de setembro
2020]. Disponível em: https://github.com/slundberg/shap A game theoretic approach to explain
the output of any machine learning model.
[50] FAIR TEST. Columbia/fairtest. Disponível em: https://github.com/columbia/fairtest
[51] Themis. LASER-UMASS/Themis. https://github.com/LASER-UMASS/Themis
[52] ABNT NBR ISO 26000, Diretrizes sobre responsabilidade social
[53] ABNT NBR ISO 31000, Gestão de riscos - Diretrizes
[54] City of Amsterdam, Algorithmic Systems of Amsterdam. [online]. [Visto em 15 de julho 2021].
Disponível em: https://algoritmeregister.amsterdam.nl/en/ai-register/
[55] City of Helsinki, Artificial Intelligence Systems of Helsinki. [online]. [Visto em 15 de julho de 2021].
Disponível em: https://ai.hel.fi/en/ai-register/

Projeto - NBR - ISO - IEC - TR - 24027

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Projeto - NBR - ISO - IEC - TR - 24027

Enviado por

Direitos autorais:

Formatos disponíveis

ABNT/CB-021

PROJETO ABNT ISO/IEC TR 24027

Tecnologia da informação — Inteligência artificial (IA) — Viés em sistemas

1) Este Projeto foi elaborado pela Comissão de Estudo de Inteligência Artificial

13.07.2023 15.09.2023 16.11.2023

b) não tem valor normativo.

3) Analista ABNT – Carolina Martins de Oliveira.

NÃO TEM VALOR NORMATIVO

Tecnologia da informação — Inteligência artificial (IA) — Viés em sistemas

Information technology — Artificial intelligence (AI) — Bias in AI systems and AI aided

A Associação Brasileira de Normas Técnicas (ABNT) é o Foro Nacional de Normalização. As Normas

Os Documentos Técnicos internacionais adotados são elaborados conforme as regras da

O ABNT ISO/IEC TR 24027 foi elaborado no Comitê Brasileiro de Tecnologias da Informação

O Escopo em inglês do ABNT ISO/IEC TR 24027 é o seguinte:

NÃO TEM VALOR NORMATIVO

Vieses em sistemas de inteligência artificial (IA) podem se manifestar de diferentes maneiras.

Desenvolver sistemas de IA com resultados livres de vieses indesejados é um objetivo desafiador.

— visão geral de viés (5.2) e justiça (5.3);

— avaliação de viés e justiça (Seção 7) por meio de métricas;

— abordagem do viés indesejado por meio de estratégias de tratamento (Seção 8).

NÃO TEM VALOR NORMATIVO

Tecnologia da informação — Inteligência artificial (IA) — Viés em sistemas

— ISO Online Browsing Plataform: disponível em https://www.iso.org/obp

— IEC Electropedia: disponível em https://www.electropedia.org/

3.1 Inteligência artificial

[FONTE: ISO 3534-1:2006, 1.35]

NÃO TEM VALOR NORMATIVO 1/44

[FONTE: ISO/IEC 2382:2015, 2123875]

[FONTE: ISO 16269-4:2010, 2.1, modificado - adicionado domínio <estatísticas>]

Nota 1 de entrada: As informações podem existir de forma numérica ou simbólica.

[FONTE: ISO/IEC/IEEE 15288:2015, 4.1.52]

Nota 1 de entrada: O viés cognitivo humano influencia o julgamento e a tomada de decisão.

2/44 NÃO TEM VALOR NORMATIVO

[FONTE: ISO 20501:2019, 3.3.9]

— ML aprendizado de máquina (Machine Learning)

5 Visão geral de viés e justiça

NÃO TEM VALOR NORMATIVO 3/44

5.2 Visão geral de viés

Os sistemas de IA geralmente aprendem com dados do mundo real; portanto, um modelo de ML

Antes de discutir aspectos de vieses em sistemas de IA, é necessário descrever o funcionamento

Um sistema de IA desejável prediria corretamente se a solicitação representa um risco aceitável sem

A detecção de vieses pode envolver a definição de critérios apropriados e a análise de compensações

4/44 NÃO TEM VALOR NORMATIVO

Exemplos de efeitos positivos, neutros e negativos de vieses são os seguintes:

— Efeito positivo: os desenvolvedores de IA podem introduzir vieses para assegurar um resultado

— Efeito neutro: o sistema de IA para processamento de imagens em um sistema de carro autônomo

— Efeito negativo: exemplos de impactos negativos incluem sistemas de contratação de IA favorecendo

Em sistemas de ML, o resultado de qualquer operação individual é baseado em correlações entre

As organizações podem considerar o risco de viés indesejado em datasets e algoritmos, incluindo

NÃO TEM VALOR NORMATIVO 5/44

aplicações, a maior demanda por transparência e explicabilidade em relação aos resultados

5.3 Visão geral de justiça

— Alocação injusta: ocorre quando um sistema de IA estende ou retém injustamente oportunidades

— Qualidade de serviço injusta: ocorre quando um sistema de IA funciona de forma menos

— Estereotipagem: ocorre quando um sistema de IA reforça estereótipos sociais existentes.

— Difamação: ocorre quando um sistema de IA se comporta de forma depreciativa ou humilhante.

— “Sobre” ou “sub” representação e apagamento: ocorre quando um sistema de IA sobrerrepresenta

6/44 NÃO TEM VALOR NORMATIVO

6 Fontes de viés indesejado em sistemas de IA

Figura 1 – Relacionamentos entre grupos de vieses de alto nível

NÃO TEM VALOR NORMATIVO 7/44

Figura 2 – Exemplo de viés social que se manifesta como viés indesejado

Figura 3 – Exemplo de características de dados que se manifestam como viés indesejado