Cidadania e ética na informação: por que se imp... https://www.infoq.

com/br/articles/data-ethics

Cidadania e ética na informação: por que se

importar?
por Caitlin McDonald Caitlin McDonald Seguir 0 Seguidores, traduzido por Andrea Mussap
Andrea Mussap Seguir 7 Seguidores em 28 ago 2018. Tempo estimado de leitura: 9 minutos
Dê sua opinião
Links
patrocinados
Pontos Principais
Os cidadãos são impactados por modelos, métodos, e algoritmos criados pelos
cientistas de dados, mas seu poder é limitado para afetar as ferramentas que estão
agindo sobre eles.
A ética da ciência de dados pode se basear nas estruturas conceituais dos campos
existentes para orientação sobre como abordar questões éticas - especificamente,
neste caso, a área civil.
Os cientistas de dados também são cidadãos. Eles são influenciados pelas ferramentas
da ciência de dados, bem como influenciam em sua construção. Geralmente, quando
esses papéis colidem é que se tem uma melhor compreensão da importância em
desenvolver sistemas éticos.
Um modelo para garantir os direitos dos cidadãos, por exemplo, é buscar o mesmo
nível de transparência para práticas éticas em ciência de dados que existem para
advogados e legisladores.
Tal como aconteceu com outros movimentos éticos anteriores, como a busca de maior
proteção ambiental ou condições de trabalho mais justas, a implementação de novos
direitos e responsabilidades em grande escala exigirá muito lobby e suporte público.

Não sou uma cientista de dados, mas ainda assim, me importo com a ética na ciência de
dados (informação). Preocupo-me com isso pela mesma razão pela qual me preocupo com a
educação cívica: não sou advogada nem legisladora, mas as leis afetam minha vida de uma
forma que quero entender bem o suficiente para que eu saiba como navegar efetivamente
pela paisagem cívica. Por analogia, os cidadãos são impactados pelos modelos, métodos, e
algoritmos criados pelos cientistas de dados, mas temos poder limitado para afetá-los.

Assim, devemos apelar aos cientistas de dados para garantir que seus dados sejam tratados
eticamente. A ética da ciência de dados é um campo novo e pode parecer que teremos que
inventar todas as ferramentas e métodos que precisaremos para construir esse campo a
partir do zero. No entanto, podemos nos basear nos quadros conceituais de campos
existentes - especificamente, neste caso, civis - para criar algumas das novas ferramentas,
1 of 5 métodos, processos, e procedimentos que precisamos construir na ética dos dados. 9/1/18, 11:37 AM
Cidadania e ética na informação: por que se imp... https://www.infoq.com/br/articles/data-ethics

Tanto a lei quanto a ciência de dados são conceitos com limites e hierarquias
incertos.

Reconheço isso, mas, para os propósito deste artigo, vou fingir que são uma coisa única e
não uma bricolagem de partes diferentes.

Na vida civil, os cidadãos têm mecanismos para influenciar as decisões dos legisladores e
advogados. Como muitos sistemas, estes são imperfeitos e refletem as estruturas de poder
social que são desiguais, mas temos opções: podemos votar e fazer campanha em favor das
partes e dos indivíduos que consideramos que representam melhor nossas opiniões sobre
como as leis devem ser criadas e executadas. Podemos peticionar e fazer lobby para que
nossas opiniões sejam ouvidas. Quando tudo o mais falha, podemos protestar ou às vezes
buscar reparação por meio de investigações e ações judiciais.

No mundo da cidadania dos dados esses mecanismos são menos bem definidos. Até mesmo
para descobrir esse viés pode ser um desafio, já que muitos resultados da ciência de dados
são de conhecimento proprietário. Pode não ser óbvio para qualquer pessoa que não tenha
recursos para conduzir um estudo em grande escala que a contratação de algoritmos esteja
conduzindo inadvertidamente a ciclos viciosos de pobreza, ou que o software de avaliação
de risco seja consistentemente fraco na avaliação de riscos, mas é ótimo para categorizar
pessoas por raça; ou que o software de tradução impõe estereótipos de gênero, mesmo
quando traduz de uma linguagem sem gênero.

Estes são, evidentemente, exemplos que foram descobertos e investigados publicamente,

mas existem muitos outros que não sabemos. Em seu livro "Weapons of Math Destruction",
Cathy O'Neil descreve um jovem que é consistentemente rejeitado pelos principais
empregadores com base em um teste de personalidade comum. O'Neil aponta que esses
testes rejeitam as pessoas por serem inadequadas, mas nunca recebem feedback sobre se a
pessoa rejeitada foi bem em outro lugar, o que significa que não há nenhuma evidência real
sobre se os testes são eficazes. Felizmente, o pai desse jovem é um advogado, e desafia o
uso desses testes de personalidade na prática de contratação.

2 of 5 9/1/18, 11:37 AM
Cidadania e ética na informação: por que se imp... https://www.infoq.com/br/articles/data-ethics

Percebendo um exemplo de injustiça, este advogado é capaz de pressionar por um

tratamento mais igualitário para todos. Mas, mesmo reconhecendo que esse bloqueio
repetitivo, a falha em passar no teste de personalidade, pode ser uma evidência de
discriminação que requer uma especialização não disponível para todos.

Em seu podcast para o InfoQ, logo após a publicação de Weapons of Math Destruction,
O'Neil esclarece que os algoritmos de sentenciamento em particular são "equivalentes a um
tipo de lei" e podem ser vistos como "leis algorítmicas digitais". Ao contrário de outras partes
da lei, não há visibilidade para os cidadãos sobre como esses algoritmos funcionam. Mesmo
quando o "como" é esclarecido, não há nenhum recurso para os cidadãos questionarem
como eles foram categorizados ou as previsões geradas sobre eles por esses algoritmos.

O'Neil acredita que, como cidadãos, todos merecemos ter "... o mesmo tipo de proteção que
temos com as leis, que é basicamente constitucional. Devemos ter permissão para saber
quais são as regras, e isso também deve valer para esses algoritmos poderosos." Para todos
os tipos de práticas algorítmicas tendenciosas em sentenciamento, contratação e além,
O'Neil aponta que "os algoritmos de aprendizado de máquina não perguntam o por quê...
apenas procuram por padrões e os repetem...

Se temos um sistema imperfeito e o automatizamos, estamos repetindo os erros

do passado.

"Só porque um sistema é numérico ou matemático, isso não o torna automaticamente mais
justo, mas os cidadãos (e muitas vezes os cientistas de dados) frequentemente assumem
que os resultados sistematizados são mais objetivos, mas não é assim que funciona."

Os papéis nesse modelo triangular se sobrepõem: um legislador também é cidadão; um

cientista de dados também pode ser classificado incorretamente por um algoritmo ruim.
Geralmente, quando esses papéis colidem é que as pessoas têm um melhor entendimento
para desenvolver práticas éticas para a ciência de dados e a maior parte das agências para
desenvolver essas práticas. No podcast, O'Neil aponta que

...os cientistas de dados literalmente precisam tomar decisões éticas durante o

trabalho, mesmo que não estejam cientes disso, e muitas vezes não estão.

Ajudar os cientistas de dados a reconhecerem essa responsabilidade, talvez por meio de

exemplos pessoais em que foram impactados como cidadãos pela tomada de decisões
automatizada, são cruciais para negociar a relação entre cidadãos e a ciência de dados.

Então, como podemos pressionar por uma "ciência de dados" mais eficaz e justa? Um
primeiro passo pode ser insistir no mesmo nível de transparência para práticas éticas em
ciência de dados que existem para advogados e legisladores. Por suas falhas e frustrações,
a GDPR de certa forma codifica os direitos dos cidadãos e penaliza as organizações quando
esses direitos são violados.

Especificamente para a ciência de dados, quatro cláusulas principais se destacam:

3 of 5 9/1/18, 11:37 AM
Cidadania e ética na informação: por que se imp... https://www.infoq.com/br/articles/data-ethics

Em primeiro lugar, o direito de acesso, segundo o qual os proprietários dos dados têm
o direito de entender como e com que finalidade os dados pessoais sobre eles estão
sendo processados, bem como o direito a uma cópia desses dados.
Segundo, o direito de ser esquecido, onde os indivíduos podem pedir que seus dados
sejam apagados e não mais compartilhados com terceiros.
Terceiro, portabilidade de dados, onde os indivíduos podem solicitar que seus dados
sejam transferidos para outro processador.
Finalmente, o princípio da privacidade desde a concepção, não é mais apenas um
conceito de design reconhecido pelo setor, mas agora é uma exigência legal focada no
uso dos dados mínimos necessários para executar as obrigações.

Esses direitos terão impacto sobre como os cientistas de dados que projetam modelos.
Novas considerações entram em cena para construir ferramentas de dados científicos
quando a forma dos dados muda porque as pessoas solicitam que seus dados sejam
removidos, ou quando a quantidade mínima de dados está sendo usada para criar a
modelagem.

Bem como a GDPR, existem numerosas tentativas dentro da comunidade de ciência de

dados para codificar e operacionalizar meios para gerenciar considerações éticas. O gráfico
de ética de dados do Open Data Institute é um exemplo, o framework de ética da ciência de
dados do Gov.uk é outro, as "Dez regras simples para pesquisa responsável de big data" da
Public Library of Science é mais um.

Os serviços de consultoria, como o Cathy O'Neil ORCAA, oferecem auditoria algorítmica; e

grandes empresas de tecnologia, como Microsoft e Facebook, estão trabalhando no
desenvolvimento de kits de ferramentas de auditoria. A Accenture é pioneira com o
lançamento do protótipo da Fairness Tool, projetado para identificar e corrigir vieses em
algoritmos.

No entanto, para que a ferramenta realmente funcione, "sua empresa também precisa ter
uma cultura de ética", diz Rumman Chowdhury, líder global da Accenture em IA ética. Caso
contrário, as empresas acharão muito fácil ignorar as recomendações da ferramenta e
continuar a perpetuar práticas tendenciosas.

A maioria dos cidadãos não são cientistas de dados, e não fazemos as compensações éticas
no momento em que eles decidem usar uma determinada biblioteca de códigos ou atribuem
uma ponderação a uma variável em detrimento de outra. Não escolhemos quais informações
incluir e o que deixar de fora ao desenvolver nossos modelos. Mas o que podemos fazer é
nos familiarizarmos com as histórias do que deu errado e por que, e exemplos de onde as
coisas estão indo bem.

4 of 5 9/1/18, 11:37 AM
Cidadania e ética na informação: por que se imp... https://www.infoq.com/br/articles/data-ethics

Podemos usar essas histórias para examinar criticamente nossas próprias interações com
dados, onde nossos dados estão sendo usados para tomar decisões sobre nós, e para ver
padrões sobre onde isso está indo mal ou bem para nós. Mas há pessoas que usam os dois
chapéus: os cientistas de dados estão na posição de entender como as decisões éticas
tomadas por outras pessoas em seu campo podem afetar a si mesmas, suas famílias,
amigos e, mais imediatamente, os cidadãos usando seus serviços. Como construtores
desses sistemas, os cientistas de dados têm a responsabilidade de usar bem os dados.

Como aconteceu em outros movimentos éticos anteriores, na busca de maior proteção

ambiental ou condições de trabalho mais justas, comunicar isso em escala exigirá muito
lobby e defesa. Felizmente, grupos como o doteveryone e o Coed: Ethics estão enfrentando
o desafio de pressionar nossos governos e as empresas que nos servem para criar um
mundo algorítmico mais justo.

Caitlin McDonald falou sobre o impacto civil dos algoritmos na conferência Coed: Ethics, em
Londres, em julho, a primeira conferência que visa discutir a ética técnica do ponto de vista
de um desenvolvedor.

Sobre a autora
A Dra. Caitlin E McDonald é uma estudiosa e escritora premiada sobre
comunidades digitais e ciência de dados. Com experiência em métodos de
pesquisa qualitativa e quantitativa, é especializada na interseção entre a
imaginação humana e os sistemas digitais. Caitlin obteve seu PhD pela
Universidade de Exeter em 2011, concentrando seus estudos em como as
comunidades culturais e artísticas da prática se adaptam em um mundo cada vez mais
globalizado.

5 of 5 9/1/18, 11:37 AM