Machine Translated by Google

2018 ACM/IEEE 1º Workshop Internacional sobre Igualdade de Gênero na Engenharia de Software

Viés de gênero em inteligência artificial: a necessidade de

diversidade e teoria de gênero em aprendizado de máquina
Susan Leavy
University College Dublin
Dublin, Irlanda
susan.leavy@ucd.ie

ABSTRATO inteligência artificial; “Como todas as tecnologias anteriores, a inteligência

A inteligência artificial está influenciando cada vez mais as opiniões e o comportamento das
artificial refletirá os valores de seus criadores” [10]. Os valores sociais que são

pessoas na vida cotidiana. No entanto, a super-representação dos homens no design dessas

tendenciosos contra as mulheres podem ser profundamente incorporados na

tecnologias pode desfazer silenciosamente décadas de avanços na igualdade de gênero.

maneira como a linguagem é usada e impedir que algoritmos de aprendizado

Ao longo dos séculos, os humanos desenvolveram a teoria crítica para informar as decisões
de máquina treinados em texto perpetuem preconceitos requer uma

e evitar baseá-las apenas na experiência pessoal. No entanto, a inteligência de máquina

compreensão de como a ideologia de gênero se manifesta na linguagem.

aprende principalmente observando os dados que são apresentados. Embora a capacidade Os desenvolvedores de inteligência artificial são predominantemente do sexo masculino.

de uma máquina de processar grandes volumes de dados possa resolver isso em parte, se Aqueles que reconheceram e estão procurando resolver esse problema são

esses dados estiverem carregados de conceitos estereotipados de gênero, a aplicação predominantemente mulheres (Kate Crawford, Fei-Fei Li e Joy Buolamwini, para citar

resultante da tecnologia perpetuará esse viés. Embora alguns estudos recentes tenham apenas algumas). Segue-se que, para evitar que algoritmos tendenciosos de gênero

procurado remover preconceitos de algoritmos aprendidos, eles ignoram em grande parte influenciem as decisões em nossa sociedade, a diversidade na área de aprendizado de

décadas de pesquisa sobre como a ideologia de gênero está incorporada na linguagem. O máquina é essencial. Os benefícios da diversidade no local de trabalho estão bem

conhecimento dessa pesquisa e sua incorporação em abordagens de aprendizado de documentados e derivam em grande parte da inclusão de uma série de perspectivas críticas.

máquina a partir de texto ajudaria a evitar a geração de algoritmos tendenciosos. A diversidade no desenvolvimento de tecnologias de aprendizado de máquina pode acelerar
soluções para a questão do preconceito de gênero por meio de uma melhor avaliação dos
dados de treinamento, incorporação de conceitos de justiça em algoritmos [16] e a avaliação

Os principais pensadores no campo emergente que abordam o viés na inteligência artificial do impacto potencial do preconceito de gênero no contexto do pretendido uso da tecnologia.

também são principalmente mulheres, sugerindo que aqueles que são potencialmente
afetados pelo viés são mais propensos a ver, entender e tentar resolvê-lo. O equilíbrio de
gênero no aprendizado de máquina é , portanto, crucial para evitar que os algoritmos
perpetuem ideologias de gênero que desfavorecem as mulheres.
PALAVRAS-CHAVE
Preconceito de gênero, aprendizado de máquina, análise de texto
1. INTRODUÇÃO
Houve tentativas de abordar o viés de gênero no aprendizado
de máquina por meio da revisão de associações baseadas em
gênero aprendidas e modificação dos algoritmos para excluir
estereótipos [4]. No entanto, há pouca consideração das décadas
de pesquisa que existem sobre a relação entre ideologia de gênero e linguagem.
Incorporar a teoria de gênero, em particular a teoria linguística feminista , na abordagem
do aprendizado de máquina a partir de dados textuais pode impedir o aprendizado do viés
de gênero e evitar a necessidade de modificar os algoritmos.

Há uma crescente conscientização sobre os efeitos do viés no aprendizado de máquina.

Por exemplo, em um sistema usado por juízes para definir a liberdade condicional, a
avaliação da probabilidade de ofender foi considerada tendenciosa novamente para réus
negros [1]. O software de reconhecimento facial embutido na maioria dos smartphones
também funciona melhor para brancos e homens [5]. Sistemas de pontuação, alimentados
por algoritmos potencialmente tendenciosos, estão sendo cada vez mais usados para tomar
decisões sobre a vida das pessoas em relação a finanças, empregos e seguros [9]. Kate
Crawford capturou apropriadamente a causa final da prevalência do preconceito de gênero
em
A permissão para fazer cópias digitais ou impressas de todo ou parte deste trabalho
para uso pessoal ou em sala de aula é concedida sem taxa, desde que as cópias não
sejam feitas ou distribuídas com fins lucrativos ou vantagens comerciais e que as cópias
contenham este aviso e a citação completa na primeira página .
Os direitos autorais de componentes deste trabalho de propriedade de outros que
não o(s) autor(es) devem ser respeitados. Abstraindo com crédito é permitido. Para
copiar de outra forma, ou republicar, postar em servidores ou redistribuir para listas,
requer permissão específica prévia e/ou taxa. Solicite permissões de
Permissions@acm.org.
GE'18, 28 de maio de 2018, Gotemburgo, Suécia ©
2018 Os direitos autorais pertencem ao proprietário/autor(es). Direitos de publicação
licenciados para ACM.
ACM ISBN 978-1-4503-5738-8/18/05…$15,00 https://
doi.org/10.1145/3195570.3195580
2 PRECONCEITO DE GÊNERO NA LINGUAGEM
Muitos dos debates em inteligência artificial sobre o tema do preconceito de gênero refletem
aqueles relacionados à igualdade de gênero na sociedade desde os anos 1960. É importante
que os cientistas da computação olhem para esses debates para que as consequências
negativas para as mulheres devido ao preconceito de gênero não se repitam. Estudos
feministas da década de 1960 analisaram como as mulheres eram frequentemente
representadas como passivas, emocionais e irracionais na literatura [21] e como a mídia
apresentava retratos idealizados da feminilidade[11]. Na parte final do século 20 feministas
os oristas questionaram o papel ativo da linguagem na perpetuação das ideologias de
gênero na sociedade [6]. Esses trabalhos seminais identificaram maneiras pelas quais a
ideologia de gênero está inserida na linguagem e como isso pode influenciar as concepções
das pessoas sobre as mulheres e as expectativas de comportamento associadas ao gênero.
Essas ideologias de gênero ainda estão embutidas em fontes de texto e resultam em
algoritmos de aprendizado de máquina aprendendo conceitos estereotipados de gênero [4].
Para verificar a importância de abordar o preconceito de gênero no aprendizado de
máquina, muito pode ser aprendido com experimentos na década de 1970

14
Machine Translated by Google
GE'18, 28 de maio de 2018, Gotemburgo, Suécia
mostrando seus efeitos danosos [3, 19]. Esses estudos levaram ao desenvolvimento
de diretrizes para evitar o uso de linguagem tendenciosa ou sexista [8, 20]. Por
exemplo, a editora McGraw-Hill adotou diretrizes editoriais para evitar linguagem
sexista [25]. Seria lamentável ter que esperar até que os algoritmos de aprendizado
de máquina com viés de gênero repetissem as injustiças do passado antes que uma
ação que impedisse o viés de gênero fosse tomada.
3 APRENDENDO A VISIBILIDADE DO TEXTO
O trabalho no campo da estilística sobre gênero e linguagem identificou
características linguísticas recorrentes da linguagem que são atribuíveis ao
viés de gênero [22]. Este trabalho se presta a uma abordagem computacional
para identificar o viés de gênero e pode ser usado para removê-lo de dados
de treinamento para um algoritmo de aprendizado de máquina. O que se
segue demonstra como um conceito abstrato como o viés de gênero pode
ser operacionalizado em características mensuráveis do texto que podem
ser identificadas computacionalmente. Essa conexão de perspectivas
teóricas e críticas sobre a linguagem com o estágio de extração de recursos
do aprendizado de máquina é a chave para abordar o viés na inteligência artificial. pares comuns: 'mestre/servo'
3.1 Nomeação O
mulher', 'menina/menino', títulos de nobreza como 'dama/cavalheiro', 'princesa/
preconceito de gênero pode ser reconhecido em termos usados para descrever
príncipe', realeza termos como 'esposa/marido', ocupações como 'atriz/ator' e pronomes
grupos de homens e mulheres. Por exemplo, um pai é frequentemente descrito como um
como 'ele/ela' [24]. Embora houvesse variações na ordem de nomeação dos pares, o
'homem de família' sem equivalente comumente usado, como ' mulher de família' [27].
gênero foi o fator de influência mais importante sobre qual dos pares de termos foi
Termos como 'mãe solteira', 'mãe trabalhadora', ' mulher de carreira' e 'mãe'
nomeado primeiro.
comumente usados na mídia também revelam preconceitos sociais das mulheres [22].
Verificou-se que os termos ocupacionais usados em relação às mulheres eram
frequentemente pré-modificados por uma especificação de gênero, como 'advogada'
e 'mulher juíza', identificando sua existência como contrária às expectativas da
sociedade [28].
Outra manifestação de preconceito de gênero que está em declínio é o uso de
termos androcêntricos como 'ele', 'ele', 'homem' e 'humanidade' para se referir
tanto a homens quanto a mulheres [2, 15]. No entanto, ao se referir a grupos, onde
há uma expectativa de que os indivíduos em questão sejam mais provavelmente
de um determinado gênero, esse gênero será usado para se referir a homens e
mulheres no grupo [18].
Por exemplo, em referência a um grupo de bombeiros, é mais provável que os
indivíduos sejam referidos em termos masculinos. No contexto do aprendizado de
máquina, enquanto certos recursos linguísticos podem ser menos usados em
fontes textuais atuais, algoritmos de aprendizado de máquina treinados em corpora
mais antigos podem refletir maneiras desatualizadas de se referir a homens e
mulheres.
As mulheres são descritas como meninas com mais frequência do que os
homens são descritos como meninos [27]. Em uma análise do uso dos termos
girl(s) e boy(s) em um corpus de texto do inglês britânico, americano e
neozelandês , [28] descobriu que o termo 'girl' é 3 vezes mais provável do que o
termo 'menino' para se referir a um adulto e que as mulheres foram descritas como
meninas para caracterizá-las como imaturas, inocentes, de aparência jovem,
subordinadas, emocionalmente fracas ou financeiramente dependentes. Usar
'menina' em conjunto com ocupações também reduziu o status dos empregos. Em
[2] verificou-se que os termos 'boy' e 'girl' ocorreram com igual frequência em uma
análise de exemplos de textos em inglês britânico, incluindo literatura e conteúdo
de mídia de 2006. No entanto, 52% dos usos do termo 'girl' referiam mulheres
enquanto 28 por cento dos usos de 'menino' pertenciam a homens. O termo
'menina' também foi usado de forma mais depreciativa e
S. Folhado
contextos sexuais. Isso demonstra como técnicas para analisar não apenas a
frequência de menções, mas o contexto mais amplo do uso de termos para homens e
mulheres em textos podem detectar viés de gênero nos dados de treinamento para
aprendizado de máquina.
Títulos honoríficos como 'Miss' e 'Mrs' refletem o estado civil
de mulheres, mas o equivalente masculino não, demonstrando como as mulheres são
retratadas em termos de seus relacionamentos com os outros [20, 22]. Na década de
1970, 'Ms' foi introduzido como um equivalente de 'Mr' para resolver essa assimetria.
No entanto, há provas de que 'Ms' está a ser utilizado para substituir 'Mrs', mas não
'Miss' [15].
3.2 Ordenação O
preconceito de gênero na linguagem é evidente na ordenação dos itens nas listas.
Em inglês, é convenção ao nomear pares de cada gênero, nomear
primeiro o masculino (por exemplo, filho e filha, marido e mulher, Sr
e Sra) [22]. Essa prática demonstra um viés que apresenta uma
ordem social baseada no gênero [22-24, 30]. Esta prática de nomear
primeiro o mais poderoso de um par é evidenciada pelos seguintes
enfermeiro'
, 'professor/aluno'
[23]. e 'médico/
Um estudo abrangente da ordenação de binômios pessoais no British National
Corpus descobriu exemplos de pares de palavras estudados incluindo 'homem/
3.3 Descrições tendenciosas Em uma
análise dos adjetivos usados para descrever homens e mulheres em jornais
britânicos, [7] descobriu que os homens eram mais frequentemente descritos em
termos de seu comportamento, enquanto as mulheres eram descritas
em termos de aparência e sexualidade. Em uma análise do contexto de uso
do termo 'menina', a pesquisa mostrou que meninas e meninos são
representados de forma diferente, sendo as meninas mais objetificadas [ 29]
e retratadas em contextos mais negativos [2]. A extração de adjetivos usados
para descrever mulheres em dados de treinamento poderia, portanto, ser
incorporada como parte da prova de gênero dos dados textuais usados para
treinar algoritmos de aprendizado de máquina.
Como a incorporação de palavras aprende estereótipos tem sido o foco de
pesquisas recentes sobre preconceito de gênero e inteligência artificial [4].
Avaliar o que constitui uma associação estereotipada tem sido em grande parte
resultado da interpretação do pesquisador. Entretanto [26] analisaram o Corpus
nacional britânico e extraíram colocações de homens e mulheres e identificando
aqueles que foram usados apenas para cada gênero, revelando estereótipos de
gênero marcantes (Tabela 1). Outros tipos de estereótipos foram identificados em
relação à sexualidade, beleza [12] e níveis de agência [22].
3.4 Metáfora A metáfora
é difícil de identificar automaticamente, mas é uma ferramenta poderosa na construção
do gênero na sociedade [14, 17, 22]. Na tentativa de sistematizar a identificação de
metáforas no texto [19] delineou cinco passos que poderiam ser aplicados às
características linguísticas de um texto para identificar se seu uso era metafórico ou
não. Pesquisas sobre o tipo de metáforas usadas para retratar homens e mulheres
identificaram uma
15
Machine Translated by Google
Viés de gênero na inteligência artificial: a necessidade de diversidade e teoria de gênero
Adjetivos de gênero
Feminino Mandona, tagarela, fofoqueira, submissa, vadia, histérica, chorosa
Masculino Gregário, cauteloso, afável, amável, avuncular, mais divertido, bem-
humorado, jovial, simpático, educado, gentil, cruel, severo,
insuportável, mais corajoso, humano, digno da lei, paciente, sincero,
tolerante, confiável, verdadeiro, honesto, ansioso, insano, astuto,
erudito, autodidata, ignorante
Tabela 1: Adjetivos de Personalidade de Gênero do BNC
preconceito de gênero pelo qual essas metáforas usadas para retratar as mulheres
são “mais prolíficas e mais depreciativas do que aquelas usadas exclusivamente
para homens” [14, 17].
3.5 Presença de Mulheres no Texto
Contagens diretas de frequência de mulheres no texto podem ser um poderoso
indicador de preconceito de gênero. No British National Corpus, 'Mr' ocorre com mais
frequência do que 'Mrs', 'Miss' e 'Ms' combinados [27]. Além disso, menções de
homens individuais, diferentemente de menções de homens como uma categoria
geral, ocorreram duas vezes mais que menções de mulheres individuais [26]. Em
uma análise da literatura de negócios, [13] também descobriu que as menções de
homens ocorreram 10 vezes mais do que as menções de mulheres e que do total de
menções de termos de endereço (incluindo Sr, Sra, Sra e Srta), 93,5 por cento eram
ocorrências de 'Mr'. Em um estudo de 3,5 milhões de artigos de jornais britânicos,
métodos automatizados foram desenvolvidos para identificar o gênero de sujeitos
referenciados em artigos de jornal [1] . Verificou- se que os homens foram
referenciados em 49% das principais notícias, enquanto as mulheres foram
referenciadas em 18%. Com base nisso, um sistema de cotas simples para o
equilíbrio de gênero nos dados de treinamento para algoritmos de aprendizado de
máquina pode servir para combater grande parte do viés latente em fontes de dados
de treinamento baseadas em texto.
4. CONCLUSÕES
Identificar o viés de gênero em dados de treinamento para algoritmos de
aprendizado de máquina é uma tarefa complexa, mas não intransponível. A
seção anterior mostra como um conceito tão abstrato pode ser operacionalizado
e capturado em características linguísticas computacionalmente identificáveis
da linguagem. Embora o fato de que algoritmos de aprendizado de máquina
possam aprender preconceito de gênero possa ser de interesse para
pesquisadores que procuram entender sua prevalência na sociedade, não é
uma vantagem em aplicações práticas que tomam decisões sobre a vida das
pessoas. Há um foco emergente na justiça no aprendizado de máquina em
geral e é essencial que as mulheres estejam no centro de quem define o conceito de justiça.
Avançar na carreira das mulheres na área de Inteligência Artificial não é apenas um
direito em si; é essencial evitar avanços na igualdade de gênero apoiados por
décadas de desfazimento do pensamento feminista .
REFERÊNCIAS
[1] Omar Ali, Ilias Flaounas, Tijl De Bie, Nick Mosdell, Justin Lewis e Nello Cristianini. 2010.
Automatizando a análise de conteúdo de notícias: Uma aplicação ao preconceito de gênero e
legibilidade. Em Anais do Primeiro Workshop sobre Aplicações de Análise de Padrões. 36-43.
[2] Paulo Baker. 2008. Textos sexuados: linguagem, gênero e sexualidade. Equinócio.
16
GE'18, 28 de maio de 2018, Gotemburgo, Suécia
[3] Sandra L Bem e Daryl J Bem. 1971. Capacitando a mulher para conhecer seu lugar: Os
antecedentes sociais da mulher no mundo do trabalho. Departamento de Psicologia,
Universidade de Stanford.
[4] Tolga Bolukbasi, Kai-Wei Chang, James Y Zou, Venkatesh Saligrama e Adam T Kalai. 2016. O
homem está para o programador de computador como a mulher está para a dona de casa?
debiasing word embeddings. Em Avanços em Sistemas de Processamento de Informação
Neural. 4349-4357.
[5] Joy Buolamwini e Timnit Gebru. 2018. Tons de Gênero: Disparidades de Precisão Interseccional
na Classificação Comercial de Gênero. Em Conferência sobre Justiça, Responsabilidade e
Transparência. 77-91.
[6] Judith Butler. 1990. Problemas de gênero e a subversão da identidade. Nova York e
Londres: Routledge (1990).
[7] Carmen Rosa Caldas-Coulthard e Rosamund Moon. 2010. “Curvy, hunky, kinky”: Usando
corpora como ferramentas para análise crítica. Discurso e Sociedade 21, 2 (2010), 99-133.
[8] Miller Casey, Swift Kate e Dowrick Stephanie. 1981. O Manual da Escrita Não Sexista: Para
Escritores, Editores e Palestrantes. Imprensa Feminina.
[9] Danielle Keats Citron e Frank Pasquale. 2014. A sociedade pontuada: devido processo legal
para previsões automatizadas. Wash. L. Rev. 89 (2014), 1.
[10] Kate Crawford. 2016. O problema do cara branco da inteligência artificial. O novo
York Times (2016).
[11] Betty Friedan. 2001. A Mística Feminina. 1963. Nova York (2001).
[12] Katherine Frith, Ping Shaw e Hong Cheng. 2005. A construção da beleza: Uma análise
transcultural da publicidade em revistas femininas. Jornal de comunicação 55, 1 (2005), 56–70.
[13] Pedro A Fuertes-Olivera. 2007. Uma visão baseada em corpus de gênero lexical em Inglês de
Negócios escrito. Inglês para Fins Específicos 26, 2 (2007), 219–234.
[14] Caitlin Hines. 1999. Refazendo a torta: a mulher como metáfora da sobremesa. Reinventando
identidades: O eu de gênero no discurso (1999), 145-162.
[15] Janet Holmes. 2002. Identidade de gênero em inglês da Nova Zelândia. Gênero em todas as
línguas. A representação linguística de mulheres e homens 1 (2002).
[16] Niki Kilbertus, Mateo Rojas Carulla, Giambattista Parascandolo, Moritz Hardt, Dominik Janzing
e Bernhard Schölkopf. 2017. Evitar a discriminação por meio de raciocínio causal. Em Avanços
em Sistemas de Processamento de Informação Neural. 656-666.
[17] Veronika Koller. 2004. Empresárias e metáforas de guerra: “possessivas, ciumentas e
belicosas”? Journal of Sociolinguistics 8, 1 (2004), 3-22.
[18] Lia Litosseliti e Jane Sunderland. 2002. Identidade de gênero e análise do discurso.
Vol. 2. Publicação de John Benjamins.
[19] Wendy Martyna. 1978. O que significa "ele"? Uso do masculino genérico.
Journal of communication 28, 1 (1978), 131-138.
[20] Casey Miller e Kate Swift. 2001. O manual da escrita não sexista. iUniverso.
[21] Kate Millett. 2016. Política sexual. Imprensa da Universidade de Columbia.
[22] Sara Mills. 1995. Estilística feminista. Routledge Londres.
[23] Sandra Mollin. 2012. Revisitando a ordem binomial em inglês: Restrições de ordenação e
reversibilidade. Língua Inglesa e Linguística 16, 1 (2012), 81–103.
[24] Heiko Motschenbacher. 2013. Cavalheiros antes de damas? Um estudo baseado em corpus de
ordem conjunta em binômios pessoais. Journal of English Linguistics 41, 3 (2013), 212–242.
[25] Janice Moulton, George M Robinson e Cherin Elias. 1978. Preconceito sexual no uso da
linguagem: pronomes "neutros" que não são. American Psychologist 33, 11 (1978), 1032.
[26] Michael Pearce. 2008. Investigando o comportamento colocacional de HOMEM e MULHER no
BNC usando Sketch Engine. Corpora 3, 1 (2008), 1–29.
[27] Suzanne Romaine et al. 1998. Comunicando o gênero. Imprensa Psicologia.
[28] Robert Sigley e Janet Holmes. 2002. Olhando para meninas em corpora de inglês.
Journal of English Linguistics 30, 2 (2002), 138–157.
[29] Charlotte Taylor. 2013. Em busca de similaridade usando estudos de discurso assistidos por
corpus. Corpora 8, 1 (2013), 81-113.
[30] Gülÿen Musayeva Vefali e Fulya Erdentuÿ. 2010. As estruturas coordenadas em um corpus de
palestras da Nova Era: “homem e mulher”/ “mulher e homem”.
Text & Talk-An Interdisciplinary Journal of Language, Discourse & Communication Studies 30,
4 (2010), 465–484.