A partir da bibliografia sugerida para os encontros 4 e 5, cada aluno deve realizar um

estudo de caso de discriminação algorítmica. A análise deve conter: (i) uma breve
descrição das principais características do caso com uma imagem ilustrativa, (ii) uma
justificativa para a escolha do caso, (iii) uma análise das consequências sociais,
econômicas e jurídicas do caso, e (iv) a indicação de propostas para a solução do caso. O
documento não deve ter mais de 2 páginas.

O caso escolhido foi o da “Apple Card”, ocorrido em 2019 nos Estados Unidos, o
qual surgiu após um dos usuários do cartão reclamar, publicamente, que o algoritmo
responsável por determinar a credibilidade do cliente, seria discriminatório, pois sua esposa
recebeu um limite vinte vezes menor que o seu. De acordo com o reclamante, sua esposa teria
um score de crédito melhor que ele, além de compartilharem contas bancárias e cartões de
crédito. Nesse sentido, seria injustificado o limite tão inferior, definido pelo algoritmo. Além
disso, em resposta ao reclamante, Steve Wozniak, um dos fundadores da Apple, compartilhou
uma experiência semelhante, na qual sua esposa teria recebido um limite dez vezes menor.

(capa do artigo da PressReader sobre o

Apple Card)

O caso foi escolhido, pois reflete um preconceito social histórico, o qual restringia e
impedia mulheres de terem contas bancárias e até terem propriedade em seu nome. Por
exemplo, antes do Equal Credit Opportunity Act, nos EUA, grande parte dos bancos relutava
em ceder crédito para mulheres sem um fiador homem. Outro exemplo, é o Brasil, que só
permitiu que as mulheres tivessem o direito a uma conta bancária, independente do pai ou do
marido, na década de 1960. Assim, embora legalmente as mulheres tenham conquistado a
igualdade formal, casos como esse refletem que a igualdade material está longe de ser
alcançada, especialmente diante das novas tecnologias, que refletem o pensamento social, a
partir do Machine Learning. Isto é, embora esteja positivado que as mulheres são iguais, o
comportamento social ainda reflete comportamentos misóginos e preconceituosos, que são
aprendidos pelo algoritmo.
As consequências do caso são, especialmente, sociais e econômicas, visto que o
algoritmo impõe um limite patrimonial, a partir de critérios de gênero. Ou seja, há uma
limitação direta sobre a possibilidade das mulheres disporem sobre um crédito adequado a
sua vida financeira, sem nenhum critério objetivo.
Há também, a consequência jurídica pela quebra do direito fundamental de igualdade
de gênero, pois embora estabelecido como um direito nos EUA, se o algoritmo realmente
agiu a partir de uma base discriminatória, há um claro rompimento com a norma vigente.
Como demonstração dessa consequência, está a posição de Linda Lacewell, superintendente
do Departamento de Serviços Financeiros de Nova York, que declarou que qualquer
algoritmo que resulte em um tratamento discriminatório, intencionalmente ou não, viola a lei
de Nova York e que haveria uma investigação para determinar se houve uma violação e para
garantir o tratamento isonômico dos consumidores.
Os critérios hoje utilizados para determinar o limite são: renda e o perfil do pagador,
ambos critérios que podem ser medidos por fatores objetivos. Nesse sentido, uma possível
solução seria implementar uma fase de revisão, feita por profissionais do banco, do limite de
crédito concedido pelo algoritmo, a fim de impedir que decisões parciais, baseadas em
critérios subjetivos, vigorem.