Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

Artigo de pesquisa original

Big Data & Society julho a dezembro de

2017: 1 a 21 !Autor(es) 2017 Reimpressões

Governança algorítmica: desenvolvendo uma e permissões: sagepub.co.uk/

journalsPermissions.nav DOI:

agenda de pesquisa por meio do poder da 10.1177/2053951717726554

journals.sagepub.com/home/bds

inteligência coletiva

John Danaher1, Michael J Hogan1, Chris Noone1, Ronan Kennedy1,

Anthony Behan2, Aisling De Paor3, Heike Felzmann1, Muki Haklay4
, Su-Ming Khoo1, John Morison5, Maria Helena Murphy6, Niall
O'Brolchain1, Burkhard Schafer7e Kalpana Shankar8

Abstrato
Estamos vivendo em uma era algorítmica em que a matemática e a ciência da computação estão se unindo em novas e poderosas formas de influenciar, moldar e orientar nosso comportamento e a governança de nossas sociedades. À medida que essas

estruturas de governança algorítmicas proliferam, é vital garantirmos sua eficácia e legitimidade. Ou seja, precisamos garantir que sejam um meio eficaz para alcançar um objetivo político legítimo que também sejam processualmente justos, abertos e

imparciais. Mas como podemos garantir que as estruturas de governança algorítmica sejam ambas? Este artigo compartilha os resultados de uma oficina de inteligência coletiva que abordou exatamente essa questão. O workshop reuniu um grupo

multidisciplinar de acadêmicos para considerar (a) as barreiras à governança algorítmica legítima e eficaz e (b) os métodos de pesquisa necessários para abordar a natureza e o impacto de barreiras específicas. Uma técnica de workshop de gerenciamento

interativo foi usada para aproveitar a inteligência coletiva desse grupo multidisciplinar. Esse método permitiu que os participantes produzissem uma estrutura e uma agenda de pesquisa para aqueles que se preocupam com a governança algorítmica.

Descrevemos essa agenda de pesquisa abaixo, fornecendo um mapa detalhado dos principais temas de pesquisa, questões e métodos que nosso workshop considerou que deveriam ser seguidos. Isso se baseia no trabalho existente em agendas de pesquisa

para estudos de algoritmos críticos de uma maneira única por meio do método de inteligência coletiva. Uma técnica de workshop de gerenciamento interativo foi usada para aproveitar a inteligência coletiva desse grupo multidisciplinar. Esse método

permitiu que os participantes produzissem uma estrutura e uma agenda de pesquisa para aqueles que se preocupam com a governança algorítmica. Descrevemos essa agenda de pesquisa abaixo, fornecendo um mapa detalhado dos principais temas de

pesquisa, questões e métodos que nosso workshop considerou que deveriam ser seguidos. Isso se baseia no trabalho existente em agendas de pesquisa para estudos de algoritmos críticos de uma maneira única por meio do método de inteligência coletiva.

Uma técnica de workshop de gerenciamento interativo foi usada para aproveitar a inteligência coletiva desse grupo multidisciplinar. Esse método permitiu que os participantes produzissem uma estrutura e uma agenda de pesquisa para aqueles que se

preocupam com a governança algorítmica. Descrevemos essa agenda de pesquisa abaixo, fornecendo um mapa detalhado dos principais temas de pesquisa, questões e métodos que nosso workshop considerou que deveriam ser seguidos. Isso se baseia no

trabalho existente em agendas de pesquisa para estudos de algoritmos críticos de uma maneira única por meio do método de inteligência coletiva. fornecendo um mapa detalhado dos principais temas de pesquisa, questões e métodos que nosso workshop

sentiu que deveriam ser seguidos. Isso se baseia no trabalho existente em agendas de pesquisa para estudos de algoritmos críticos de uma maneira única por meio do método de inteligência coletiva. fornecendo um mapa detalhado dos principais temas de pesquisa, questões e méto

Palavras-chave
Governança algorítmica, Big Data, algocracy, inteligência coletiva, gestão interativa, participação pública

Introdução
Estamos vivendo em uma era algorítmica em que a matemática e a 1Universidade Nacional da Irlanda - Galway, Irlanda

ciência da computação estão se unindo de maneiras poderosas 2IBM, Irlanda

3Escola de Direito e Governo, Dublin City University, Irlanda
para influenciar, moldar e orientar nosso comportamento e a
4Departamento de Geografia, University College London, Reino Unido
governança de nossas sociedades. Com a disseminação das
5Faculdade de Direito, Queen's University, Belfast, Reino Unido
tecnologias de vigilância e o crescimento da internet das coisas, 6Faculdade de Direito, Maynooth University, Irlanda
estamos criando uma vasta rede interconectada de dispositivos de 7Faculdade de Direito, Old College, Universidade de Edimburgo, Reino Unido

coleta de dados (Greengard 2015; Kellermeit e Obodovski, 2013). 8University College Dublin, Irlanda

Essa rede produz conjuntos de dados cada vez maiores de

Autor correspondente:
informações potencialmente úteis, atualizadas em tempo real
John Danaher, Universidade Nacional da Irlanda – Galway, University Road,
(Kitchin, 2014; Mayer-Schonberger e Cukier, 2013). Nenhum ser Galway, Irlanda.
humano pode E-mail: john.danaher@nuigalway.ie

Creative Commons Não Comercial CC BY-NC: Este artigo é distribuído sob os termos da Licença Creative Commons
Attribution-NonCommercial 4.0 (http://www.creativecommons.org/licenses/by-nc/4.0/) que permite uso, reprodução
e distribuição do trabalho sem permissão adicional, desde que o trabalho original seja atribuído conforme especificado nas páginas SAGE e Open Access
(https://us.sagepub.com/en-us/nam/open-access-at-sage).
2 Grandes dados e sociedade
dar sentido a esses dados sem ajuda. Portanto, há uma
dependência significativa de algoritmos para minerar, analisar,
classificar e configurar os dados em pacotes úteis.
Freqüentemente, esses sistemas são mantidos e ajustados por
designers e engenheiros humanos, e as informações são então
utilizadas por humanos em sistemas tradicionais de tomada de
decisões corporativas e burocráticas. Mas também há uma
disposição crescente de terceirizar a autoridade de tomada de
decisão para sistemas de tomada de decisão baseados em
algoritmos. Alguns até sonham em criar 'algoritmos mestres' que
serão capazes de aprender e se adaptar a qualquer situação de
tomada de decisão sem a necessidade de entrada ou controle
humano (Domingos, 2015).
Podemos nos referir a essas tendências convergentes
usando o rótulo 'governança algorítmica' ou, talvez mais
provocativamente, 'algocracia' (Aneesh, 2006, 2009; Danaher,
2016). Quer gostemos ou não, os algoritmos estão sendo cada
vez mais usados para cutucar, influenciar, guiar, provocar,
controlar, manipular e restringir o comportamento humano.
Às vezes isso é benéfico; às vezes benigno; às vezes
problemático (Danaher, 2016; Pasquale, 2015; Zarsky, 2016).
Para garantir que seja mais o primeiro do que o segundo, um
sistema de governança algorítmica deve ser projetado e
implementado de forma a garantir sua eficácia e legitimidade
(Peter, 2017). Ou seja, devemos garantir que seja um meio
eficaz para alcançar algum objetivo político, embora
permaneçamos processualmente justos, abertos e imparciais.
Mas como podemos garantir que os sistemas de governança
algorítmica sejam ambos?
Este artigo compartilha os resultados de um workshop de
inteligência coletiva (CI) que realizamos na NUI Galway em
março de 2016, que abordou exatamente essa questão. O
workshop reuniu um grupo multidisciplinar de acadêmicos
para considerar (a) as barreiras à governança algorítmica
legítima e eficaz e (b) os métodos de pesquisa necessários
para abordar a natureza e o impacto de barreiras específicas.
Uma técnica de workshop de gerenciamento interativo (IM)
(Warfield e Cardenas, 1994) foi usada para aproveitar o IC
desse grupo multidisciplinar. Esse método permitiu que os
participantes produzissem uma estrutura e uma agenda de
pesquisa para aqueles que se preocupam com a governança
algorítmica. Descrevemos a seguir essa agenda de pesquisa.
Começamos explicando alguns dos antecedentes de nosso
workshop, colocando seus resultados no contexto da literatura
atual sobre governança algorítmica. Em seguida, explicamos
os métodos e resultados do nosso workshop. Por fim,
encerramos oferecendo reflexões sobre a agenda de pesquisa
proposta pelo grupo. A agenda proposta é fornecida na Tabela
2.
Contexto: Entendendo a governança
algorítmica
As tendências tecnológicas aludidas no parágrafo
inicial são relativamente recentes, mas têm um
história mais profunda. O fenômeno da governança
algorítmica faz parte de uma tendência histórica
mais longa em direção à mecanização da
governança. Os sociólogos desde a época de Weber
destacaram maneiras pelas quais a organização
legal-burocrática do Estado está sujeita às mesmas
tendências modernizadoras que o projeto de
fábricas industriais (Kanter, 1991; Weber, 1947). O
resultado é um sistema de governança de natureza
mecânica: as tarefas são subdivididas e as funções
são especializadas para executar o negócio de
governança da maneira mais eficiente possível. Isso
sempre dependeu da coleta de dados sobre a
sociedade e os cidadãos aos quais o sistema se
aplica (Hacking, 2006), e desde o início da era do
computador foram feitas tentativas de automatizar
parte ou todo o processo. Figuras-chave no
movimento cibernético, por exemplo,
Isso não significa que a governança algorítmica não seja
novidade. Os sistemas que consideramos neste artigo e
que consideramos em nosso workshop são diferentes de
seus antepassados históricos. As diferenças são em
grande parte uma questão de grau e não de tipo. As
tecnologias que facilitam a automação da governança
certamente se baseiam em estruturas pré-existentes,
aproveitando-se de inovações mecanicistas anteriores. Mas
a velocidade, escala e onipresença das tecnologias que
possibilitam a governança algorítmica são maiores agora
do que eram no passado. Avanços em aprendizado de
máquina e coleta de dados permitem a automação de
processos que antes não seriam possíveis. Eles também
permitem um processamento e manuseio de dados muito
mais eficientes. Junte isso ao fato de que as tecnologias de
vigilância se tornaram mais profundamente integradas em
nossas vidas cotidianas e parece que estamos em um
ponto de inflexão significativo para o futuro da governança
algorítmica. Muitos estudiosos começaram a prestar
atenção a essa realidade emergente e isso deu origem a
uma crescente literatura acadêmica sobre o tema da
governança algorítmica.
Nosso workshop teve como objetivo contribuir e
desenvolver essa literatura. Três aspectos da literatura foram
de particular interesse para nós, especificamente, os aspectos
focados em (a) as formas/modos de governança algorítmica,
(b) os problemas de governança algorítmica e (c) os métodos
para estudar a governança algorítmica. Descrevemos
brevemente esses aspectos abaixo, observando como eles
lançam luz sobre o fenômeno da governança algorítmica e
como nosso estudo tenta desenvolvê-los.
As formas de governança algorítmica
A primeira tendência diz respeito àclassificação de diferentes
sistemas de governança algorítmica.Trabalho considerável
Danaher et ai.
foi feito na identificação das principais propriedades dos
sistemas de Big Data que permitem a governança
algorítmica contemporânea. Em 2001, Doug Laney, do
Gartner, propôs a agora clássica estrutura de 'três Vs' para governança algorítmica e na observação de como eles se
entender o surgimento de sistemas de Big Data. Essa
estrutura sugeria que o Big Data era "grande" em termos
devolume, velocidadeevariedade.Desde então, frameworks colaboradores desta literatura. Eles sãocoleta, processamento,
mais complexos foram propostos (Kitchin e McArdle, 2016). utilizaçãoeopiniãoeaprendizado (Cidra e Pasquale, 2014;
Kitchin, por exemplo, argumentou que existem pelo menos Pasquale, 2015; Zarski, 2013). Costuma-se dizer que esses
sete dimensões para a grandeza, acrescentando
exaustividade, resolução e indicialidade, relacionalidadee
extensionalidade e escalabilidadeaos três Vs (Kitchin,
2014). Essas elaborações são úteis na medida em que nos
ajudam a compreender as propriedades do Big Data e
entender melhor os desafios e oportunidades que ele
apresenta no contexto do design de sistemas de
governança algorítmica. Dito isso, qualquer sistema de
classificação desse tipo tende a ser carregado de valores e
pouco ou muito inclusivo (Kitchin e McArdle, 2016). Este
comentário aplica-se igualmente bem aos outros sistemas
de classificação aos quais nos referimos abaixo e tem
implicações para a definição e alcance da avaliação normativa algorítmica. Consequentemente, consideráveis sistemas
de governança.
Outro aspecto da literatura em andamento refere-se à
classificação dos próprios algoritmos. Novos algoritmos são
projetados o tempo todo, mas eles geralmente se enquadram
em um conjunto de tipos gerais que foram categorizados
exaustivamente por cientistas da computação (para uma
introdução básica, consulte Cormen, 2013; para uma
introdução mais abrangente, consulte Cormen et al., 2009). .
Por exemplo, existem algoritmos de pesquisa e classificação
que se dividem em subtipos, como pesquisa binária,
classificação por seleção, classificação por inserção,
classificação por mesclagem e classificação rápida.
Compreender esses diferentes tipos é importante quando se
trata de avaliar as propriedades sociais e normativas dos
sistemas de governança algorítmica. Por exemplo, uma das
mudanças de alto nível mais importantes no projeto de
algoritmos nos últimos anos é a mudança de algoritmos 'de
cima para baixo' (nos quais um programador ou equipe de
programadores define exaustivamente o conjunto de regras
para o algoritmo) para máquina 'de baixo para cima'
-algoritmos de aprendizado (nos quais o algoritmo recebe uma
regra de aprendizado e é treinado em grandes conjuntos de
dados para desenvolver suas próprias regras). Essa mudança é
importante porque o uso de algoritmos de baixo para cima
cria certos problemas quando se trata da transparência e
opacidade dos sistemas de governança algorítmica,
particularmente quando tais algoritmos são incorporados em
estruturas de governança já opacas. A consciência desse
problema fazia parte da motivação original para nosso
workshop e algo que foi repetidamente destacado pelos
participantes. Um grande objetivo, portanto,
Um aspecto final da literatura em andamento sobre a
classificação de sistemas de governança algorítmica é mais
3
de natureza explicitamente avaliativa. É realizado
principalmente por teóricos éticos e jurídicos e se concentra na
identificação dos principais estágios do processo de
relacionam com os sistemas de governança pré-existentes.
Quatro estágios são identificados pela maioria dos
estágios definem um 'loop' de governança: o sistema adquire
informações, processa-as, usa-as e, em seguida, realimenta-se
aprendendo com o que fez (Carr, 2015; Citron e Pasquale,
2014; Zarsky, 2013 ). Nesse sentido, um sistema de governança
algorítmica funciona como um sistema quase inteligente e
adaptativo. De uma perspectiva normativa, uma das principais
preocupações é descobrir como os humanos estão envolvidos
nos diferentes estágios. A participação humana e a
compreensão da governança são normalmente consideradas
um importante determinante da legitimidade social e política.
E, claro, o impacto de tais sistemas no comportamento
humano é muitas vezes a chave para sua ética e
atenção tem sido dada aos sistemas de classificação com
base no tipo e grau de envolvimento humano. Citron e
Pasquale (2014), por exemplo, adotam um sistema de
classificação utilizado em contextos militares para
distinguir entre sistemas nos quais os humanos sãono
loop, no loopoufora do circuito.
Identificando os problemas com a governança
algorítmica
Embora não tenhamos procurado adicionar complexidade
adicional a esses sistemas classificatórios com nosso
estudo, achamos que eles são valiosos quando se trata de
entendimentoeidentificando as possíveis deficiências ou
problemasno uso de sistemas de governança algorítmica.
Esta é a segunda grande tendência da literatura atual e
aquela para a qual tentamos contribuir mais diretamente.
Existem muitos benefícios propostos para a governança
algorítmica, incluindo velocidade, eficiência, abrangência e
justiça (Domingos, 2015; Mayer-Schonberger e Cukier,
2013; Zarsky, 2012). Mas também há um campo crescente
de estudos críticos de algoritmos que buscam localizar os
problemas sociais, éticos, políticos e legais que podem ser
produzidos ou reforçados por esses sistemas (Gillespie e
Seaver, 2016). Existe uma literatura ampla e bem
conhecida sobre questões de privacidade e proteção de
dados associadas aos sistemas de vigilância que
fundamentam a governança algorítmica (Polonetsky e
Tene, 2013). Existem vários estudos que destacam
possíveis vieses na coleta e utilização de dados (Crawford,
2013; Kraemer et al., 2011; O'Neil, 2016). Existem outros
estudos que expressam preocupação com a emergente
'divisão de Big Data', que garante que apenas grandes
4 Grandes dados e sociedade
as instituições podem perceber os benefícios da revolução
de dados (Mittelstadt e Floridi, 2016). Há muitos estudiosos
falando sobre a opacidade e a falta de transparência que
podem ser inerentes à governança algorítmica,
particularmente quando o sistema de governança é
conduzido por aprendizado de máquina (Burrell, 2016;
Danaher, 2016) e quando é protegido por uma rede de leis
de sigilo protegendo tais algoritmos (Pasquale, 2015).
Também há preocupações sobre imprecisões, ineficiências
e consequências não intencionais desses sistemas. Todos
esses problemas ameaçam minar a eficácia e a
legitimidade da governança algorítmica.
Zarsky (2016) fornece uma taxonomia para classificar todos
os problemas discutidos na literatura até o momento. Ele
argumenta que os sistemas algorítmicos de tomada de
decisão têm duas propriedades principais: são potencialmente
opacos e podem ser automatizados. Ele então argumenta que
essas duas propriedades dão origem a uma taxonomia
particular de objeções. Essa taxonomia divide o espaço de
problemas em dois grandes ramos: (i) um ramo de eficiência
(que abrange problemas decorrentes da imprecisão de
decisões tomadas com base na assistência algorítmica); e (ii)
um ramo de equidade (que cobre problemas decorrentes do
tratamento injusto de pessoas sob sistemas de governança
algorítmica). Esses ramos se dividem em
Figura 1.A taxonomia de objeções de Zarsky à tomada de decisão algorítmica.1
sub-ramos (problemas de previsão, problemas de dados
incorretos, problemas de transferência injusta de riqueza,
problemas de arbitrariedade e assim por diante), permitindo-nos
mapear um espaço razoavelmente abrangente de problemas que
podem surgir da governança algorítmica (consulte a Figura 1).
Estar ciente desses problemas potenciais pode, de acordo com
Zarsky, ser um benefício para pesquisas futuras.
Embora o trabalho de Zarsky sobre isso seja útil e
perspicaz, é em grande parte o produto de sua perspectiva
pessoal, embora altamente informada, sobre o assunto.
Uma das coisas que procuramos fazer por meio de nosso
workshop de CI foi aproveitar os insights de um grupo de
estudiosos com diversas experiências acadêmicas,
aplicadas e industriais em um esforço para mapear um
espaço abrangente de problemas, especificamente focado
em barreiras à governança algorítmica legítima e eficaz .
Esperávamos que as barreiras identificadas por nossos
participantes complementassem as identificadas por
Zarsky, mas também fornecessem uma perspectiva mais
diversificada disciplinarmente sobre o espaço do
problema. Além disso, estávamos conscientes do fato de
que Zarsky não vinculava sua taxonomia de problemas a
uma agenda de pesquisa explícita para superar barreiras à
governança algorítmica legítima e eficaz.
Danaher et ai. 5

deriva da mente de um único estudioso e não é o produto

Métodos para estudar governança algorítmica
Isso nos leva à tendência final da literatura atual,
para a qual também procuramos contribuir mais
diretamente. Este diz respeito à identificação de
chaves questões de pesquisaemétodosque poderiam
aprimorar ainda mais nossa compreensão da
governança algorítmica e avançar na agenda crítica
de estudos de algoritmos. Tem havido relativamente
pouco trabalho sistemático feito sobre este tópico
até o momento. O esforço mais concentrado é o de
Kitchin (2017). Ele argumenta que um dos principais
objetivos dos estudos críticos de algoritmos deve ser
entender melhor os processos pelos quais os
sistemas de governança algorítmica são projetados e
implementados. Em particular, ele argumenta que
atenção deve ser dada aos problemas de 'tradução'
que surgem quando objetivos políticos precisam ser
convertidos em código de computador. Ele então
identifica três grandes desafios enfrentados por
quem deseja entender esses processos e seis
possíveis abordagens metodológicas para superá-
los. Cada uma dessas abordagens metodológicas
traz consigo uma série de métodos de pesquisa
plausíveis.
Kitchin fornece, portanto, um ponto de partida útil e uma
estrutura para qualquer pessoa que deseje fazer uma
pesquisa séria nessa área. Mais uma vez, porém, o quadro
de diversas perspectivas disciplinares. Além disso, não está
diretamente ligado a um mapa mais abrangente,
categorizado e coerente do espaço do problema associado
à governança algorítmica. Com base na IC de um grupo de
estudiosos, esperamos fornecer, por meio de nosso
workshop, uma estrutura mais diversificada, inovadora e
abrangente de questões e metodologias de pesquisa
diretamente ligadas a um mapa do espaço do problema.
Acreditamos que isso ajudará a desenvolver e
complementar a estrutura de Kitchin e sugerir maneiras de
progredir na pesquisa na área de governança algorítmica.
Agora nos voltamos para a metodologia de nossa oficina e
os resultados que obtivemos dela.
Métodos – Inteligência coletiva
Para nosso workshop, usamos uma metodologia de IC
conhecida como 'gerenciamento interativo' (Warfield e
Cardenas, 1994). Isso forneceu uma abordagem
sistemática ao trabalhar com os participantes do workshop
para identificar as barreiras à legitimação e eficácia3
governança algorítmica e desenvolver uma agenda de
pesquisa que ajudaria a lidar com essas barreiras.
O IM foi originalmente projetado para ajudar grupos a
lidar com questões complexas (Warfield, 1976). As
construções teóricas que informam o MI são provenientes
das ciências comportamentais e cognitivas, com forte base
no pensamento sistêmico geral. A abordagem IM delineia
cuidadosamente o que é conhecido como 'conteúdo' e

Tabela 1.Estrutura de pesquisa de Kitin (2017)2.

Foco de pesquisa
- Problema de tradução:Como a política é convertida em código?

Desafios de pesquisa
- Caixa-preta:Os algoritmos geralmente são proprietários. Eles pertencem e são controlados por empresas e governos, e seus mecanismos
precisos geralmente ficam ocultos.
- Heterogeneidade e incorporação contextual:Os algoritmos geralmente são criados por grandes equipes, montados a partir de pacotes de código pré-
existentes e incorporados a redes complexas de outros algoritmos.
- Ontogenética e performativa:Algoritmos não são estáticos e imutáveis. Eles são frequentemente modificados e adaptados em resposta às interações do
usuário; eles se desenvolvem e mudam de maneiras incontroláveis e imprevisíveis.

Abordagens metodológicas e métodos

- Código de exame:Desconstrua o código examinando a documentação, mapeie genealogias de algoritmos, examine como a mesma tarefa é traduzida em
linguagens de codificação separadas e executada em diferentes plataformas.
- Código de produção reflexiva:O método autoetnográfico, ou seja, refletir sobre como você converteria o problema em um conjunto de regras e código
associado.
- Engenharia reversa:Selecione dados fictícios e veja o que é gerado em vários cenários (por exemplo, testando o Pagerank do Google ou o Edgerank do
Facebook), acompanhe os debates entre os usuários, entreviste aqueles que tentam manipular os sistemas algorítmicos e assim por diante.
- Entrevistas e etnografias de codificadores:Observar e entrevistar cuidadosamente os membros das equipes de codificação à medida que constroem um algoritmo.

- Desempacotando o agenciamento sociotécnico:isto é, análise discursiva de documentos da empresa, material da indústria, licitações,
padrões e estruturas legais.
- Estudando os efeitos do mundo real:Realizar experimentos com usuários, entrevistas com usuários e/ou etnografias e explorar os efeitos
sociais dos algoritmos.
6 Grandes dados e sociedade

funções de 'processo', atribuindo aos participantes da oficina a Conferência de governança algorítmica na NUI Galway.
responsabilidade de contribuir com ideias de conteúdo, e ao Todas as despesas relacionadas ao evento, incluindo
facilitador da oficina a responsabilidade de escolher e viagens e hospedagem, foram custeadas pelo Whitaker
implementar processos selecionados, especificamente, Institute em NUI Galway e pelo Irish Research Council. A
metodologias para gerar, esclarecer, estruturar, interpretar e participação foi apenas por convite. Os participantes foram
corrigir ideias. Em um workshop de IM, a ênfase é dada ao selecionados pelo primeiro e quarto autores. Eles foram
equilíbrio das demandas comportamentais e técnicas do selecionados com base em seus interesses de pesquisa e
trabalho em grupo (Broome e Chen, 1992), respeitando as leis experiência, com o objetivo de garantir um conjunto
de design relativas razoavelmente diversificado de suporte disciplinar.
variedade, parcimônia e saliência (Ashby, 1958; motivos, e para alcançar algum equilíbrio razoável rep-
Boulding, 1966; Miller, 1956). IM foi aplicado em ressentimento de ambos os sexos. Não conseguimos atingir o
uma variedade de situações para alcançar muitos objetivos equilíbrio ideal neste último aspecto, mas conseguimos atingir
diferentes, incluindo o desenvolvimento de unidades instrucionais uma meta mínima de um terço de participantes do sexo
(Sato, 1979), a concepção de uma agenda nacional para feminino. Mais participantes foram convidados (20) do que
enfermagem pediátrica (Feeg, 1988), a criação de sistemas de poderiam comparecer e participar (15), e dois dos
informação baseados em computador para organizações (Keever, participantes foram auto-selecionados (divulgamos o evento
1989), auxiliando os conselhos municipais em fazer cortes dentro de nossa própria instituição e para os colegas de outros
orçamentários (Coke e Moore, 1981), melhorar o processo de participantes convidados e pedimos que os interessados
aquisição do Departamento de Defesa dos EUA (Alberts, 1992), expressassem seu interesse por e-mail antes de receber um
promover a paz mundial (Christakis, 1987), melhorar o processo de convite para participar). As formações dos participantes
governança tribal nas comunidades nativas americanas (Broome, incluíam ciência da computação, direito, biblioteconomia,
1995) e treinar facilitadores (Broome e Fulbright, 1995). O IM filosofia, geografia, psicologia, ciência de dados, ciência
também foi usado recentemente em uma variedade de aplicações política e sistemas de informação. Um dos participantes era
científicas básicas, por exemplo, para projetar um um ex-funcionário eleito, e
sistema nacional de medição de bem-estar (vários Hogan tiveram alguma experiência anterior na seret al.,
2015b), para entender as funções adaptativas de vice. Três dos participantes tinham formação em
ouvir música (Groarke e Hogan, 2015), habilidades de programação de computadores e haviam trabalhado na
pensamento crítico (Dwyer et al., 2014) e competências indústria. Um dos participantes era na época empregado
empreendedoras (Rezaei Zadeh et al., 2016).4 de uma empresa com interesse comercial na tecnologia,
Em uma sessão típica de IM, um grupo de participantes mas isso foi declarado e ficou claro que ele estava
que conhece uma situação particular (a) desenvolve uma participando de forma pessoal e não comercial. Todos os
compreensão de uma situação que enfrenta, (b) estabelece participantes foram informados sobre o procedimento do
uma base coletiva para pensar sobre seu futuro em relação estudo e deram seu consentimento informado.
a essa situação e (c) produzir uma estrutura para uma ação Há questionamentos a serem feitos quanto à
eficaz. O IM utiliza um conjunto de metodologias de grupo, representatividade do grupo. Procuramos participantes
adaptadas às diferentes com base em sua experiência acadêmica e técnica
diferentes fases de interação do grupo e não com base em outros critérios. Eu reflito exigências da situação.
Estes incluem o nome sobre algumas das questões que isso pode levantar para os
técnica de grupo final (NGT), redação de ideias, resultados do workshop na seção de conclusão.
modelagem estrutural interpretativa e representações de
campo e perfil. As duas primeiras metodologias são usadas
O processo
para gerar ideias que são então estruturadas usando uma
ou mais das três últimas metodologias. Nosso workshop Havia quatro etapas envolvidas no processo de IM: (1) os
usou uma combinação de NGT, redação de ideias e participantes foram solicitados a gerar e esclarecer barreiras à
representações de campo (consulte a seção 'O processo'). governança algorítmica legítima e eficaz usando um método
Até onde sabemos, isso representa a primeira aplicação de NGT modificado, (2) os facilitadores categorizaram essas
IM para examinar as barreiras à governança algorítmica barreiras para criar uma representação de campo de barreiras,
legítima e eficaz e à pesquisa que ajudaria a lidar com ( 3) os participantes se envolveram em várias rodadas de
essas barreiras. redação de ideias e discussão em grupo para gerar e
esclarecer opções de pesquisa em resposta a barreiras, (4) as
folhas de redação de ideias resultantes foram transcritas e
participantes
analisadas para sintetizar opções de pesquisa para uma
Um total de 15 participantes (10 homens, 5 mulheres) de agenda de pesquisa proposta.
diversas formações acadêmicas e industriais foram convidados Otécnica de grupo nominal (NGT; Delbeq et al., 1975) é
a participar de um workshop de IC como parte de um um método que permite que ideias individuais sejam
Danaher et ai.
agrupados. Uma versão modificada do método NGT
presencial padrão foi usada no estudo atual, com um
conjunto inicial de ideias reunidas por e-mail. O método
NGT envolveu quatro etapas: (a) os participantes
receberam uma declaração de contexto e uma pergunta de
estímulo (a pergunta era 'quais são as barreiras para uma
governança algorítmica legítima e eficaz?') por e-mail; (b)
os participantes geraram cinco respostas para essa
pergunta-estímulo trabalhando sozinhos e depois
enviaram suas respostas aos facilitadores por e-mail; (c) os
facilitadores registraram essas ideias para afixar nas
paredes ao redor do grupo na oficina; (d) os participantes
se envolveram em uma discussão seriada das ideias
listadas com o único propósito de esclarecer seu
significado (durante a primeira hora do workshop).
o firepresentações de campoforam gerados antes da
reunião presencial e do workshop com os participantes
usando o método de comparação pareada (Rezaei Zadeh et al.,
2016) para comparar barreiras em pares e identificar
categorias de barreiras relacionadas. Os rótulos de categoria
foram gerados após o agrupamento de ideias relacionadas,
com três codificadores interdependentes trabalhando juntos
para categorizar um total de 57 ideias.
Oredação de ideiasO método (Paulus e Yang, 2000) foi
então usado pelos participantes para propor ideias de
pesquisa, juntamente com métodos e metodologias
declarados, que poderiam facilitar a compreensão e ajudar a
enfrentar as barreiras à governança algorítmica legítima e
eficaz. Os membros do grupo escreveram suas ideias em
folhas de papel e as trocaram em uma mesa de ideias, lendo
silenciosamente as ideias uns dos outros e acrescentando ao
conjunto de ideias, antes da discussão em grupo sobre o
conjunto completo de ideias e apresentação de ideias para a
facilitação equipe. Dois facilitadores de IM treinados
facilitaram a sessão de redação de ideias, que durou 2 horas.
Resultados – Barreiras, questões de pesquisa
e métodos de pesquisa
Os participantes identificaram 12 categorias principais de
barreiras à governança algorítmica efetiva e legítima (consulte
a Figura 2) e um desafio adicional representado pela natureza
interdisciplinar do tópico. Eles também identificaram uma
ampla gama de temas de pesquisa (ver Figura 3) e métodos
(ver Figura 4) que poderiam ser usados para lidar com essas
barreiras. O que se segue é uma descrição de todas as 13
barreiras, juntamente com o conjunto de questões de
pesquisa e métodos que os participantes propuseram para
abordar e superar essas barreiras. Esta constitui a agenda de
pesquisa proposta pela oficina.
Opacidade dos algoritmos
Uma grande preocupação que surgiu na literatura
sobre governança algorítmica é a real e
7
opacidade potencial de tais sistemas. Os participantes
concordaram que isso é um problema, destacando em
particular como a falta de entendimento público e
governamental funcionou junto com a opacidade
intrínseca e fabricada na construção de estruturas
algorítmicas de governança.
Para resolver esses problemas, os participantes sugeriram
que tentássemos entender melhor como os sistemas
algorítmicos funcionam: como eles são codificados e como
podem ser decodificados. Vários métodos de pesquisa foram
recomendados. Alguns participantes sugeriram que
estudássemos os codificadores enquanto eles programavam e
desenvolviam algoritmos 'em tempo real', por exemplo,
seguindo o processo de codificação por meio de serviços de
transmissão de vídeo ao vivo, como o Periscope, ou
'crashing' (ou seja, participando e observando) hackathons.
Outros recomendaram análises forenses e estudos de caso
etnográficos para desenvolver uma compreensão de como os
sistemas são desenvolvidos, com foco particular em como os
sistemas de aprendizado de máquina desenvolvem conjuntos
de regras que acabam sendo usados em sistemas de tomada
de decisão. Os participantes também recomendaram que
mapeássemos a compreensão das partes interessadas sobre
sistemas algorítmicos, prestando atenção especial à lacuna
entre a compreensão pública e especializada de como esses
sistemas funcionam. Isso pode ser alcançado por meio de uma
combinação de métodos, incluindo pesquisas, estudos de
caso, abordagens de ciência cidadã, entrevistas e métodos
qualitativos visuais que representam graficamente a aparência
dos sistemas algorítmicos para as comunidades afetadas. Os
participantes recomendaram que estudássemos mais de perto
como esses sistemas são usados na governança e o impacto
que eles têm nas comunidades e grupos sociais visados.
Novamente, entrevistas, estudos etnográficos, análises
comparativas e estudos longitudinais foram sugeridos como
métodos apropriados para isso. Por fim, um participante
sugeriu que desenvolvêssemos um índice de transparência
algorítmica que pudesse ser usado para examinar e auxiliar no
desenvolvimento de sistemas algorítmicos de governança.
tecno-utopismo
Outra barreira levantada pelos participantes dizia respeito
ao tecno-otimismo ingênuo ou utopismo entre políticos e
partes interessadas tecnológicas. Isso pode levá-los a
adotar rapidamente sistemas de governança algorítmica
sem refletir adequadamente sobre seus possíveis vieses e
efeitos negativos. Ao abordar essa barreira, os
participantes sentiram que era necessário avaliar o quão
difundido era esse tecno-utopismo e esclarecer suas
causas. O uso de grupos de discussão e estudos
observacionais foi identificado como uma forma de
mapear as atitudes atuais em relação a essas tecnologias.
 8

Figura 2.Categorias de barreiras à governança algorítmica legítima e eficaz, incluindo exemplos de declarações de barreira.
Grandes dados e sociedade
Danaher et ai.
Figura 3.Principais temas de pesquisa em resposta às barreiras à governança algorítmica legítima e eficaz.
Um participante sugeriu que analisássemos os discursos feitos
por políticos e outros tomadores de decisão importantes para
ver com que frequência eles adotam ideias de 'ciência popular'
em suas discussões sobre a tecnologia. A análise cuidadosa
das representações culturais e das tecnologias também foi
sugerida como importante quando se trata de entender as
causas e origens do tecno-utopismo. Os participantes sentiram
que era importante entender os efeitos de longo prazo do
tecno-utopismo com uma pessoa sugerindo que uma análise
longitudinal do corpus poderia ser usada para mapear as
mudanças nas atitudes emocionais em relação à tecnologia ao
longo do tempo. Observacional e comparativo
9
estudos de caso de codificadores, desenvolvedores e agências
governamentais relevantes durante o projeto e implementação de
sistemas de governança algorítmica também foram sugeridos
como uma forma de identificar as limitações e vieses que podem
resultar do tecno-utopismo. Além disso, os participantes sentiram
que deveríamos explorar várias maneiras de aumentar a
conscientização sobre o tecno-utopismo, talvez por meio do uso de
videogames e histórias em quadrinhos. Ao refletir sobre essas
sugestões após o workshop, sugerimos que, para que essas
metodologias de pesquisa sejam eficazes, os pesquisadores
precisariam de uma definição e medida clara de 'tecno-utopismo'.
10 Grandes dados e sociedade

35
33
31
30 29

25

20

15
13

10
10
8 8
7 7
6
5 4
3 3
2 2 2 2
1 1 1 1 1
0
A B C D E F G H EU J k eu M N O P Q R S T vocêV

Um estudo de caso L – Estudo Histórico e

B – Levantamento M – Observação
C – Entrevista N – Análise Visual
D – Pesquisa-ação E – O – Análise de Modelo Mental
Análise do Discurso F – P – Análise Forense
Experimento Q – Comparação internacional R –
G – Grupo Focal Análise de dados secundários S –
H – Modelagem de Sistemas I Análise de custo econômico
– Revisão T – Intervenção
J – Etnografia U - Rastreamento de Processo

K – Análise de Caso Jurídico

Figura 4.Contagem de frequência dos métodos de pesquisa propostos.

investigações sobre a prevalência do tecnopessimismo,

tecnopessimismo
Contrastando com a barreira anterior, vários de nossos
participantes sugeriram que o pessimismo em relação aos
avanços da tecnologia poderia ser uma barreira para uma
governança algorítmica efetiva e legítima. Eles propuseram
várias linhas de pesquisa para entender mais sobre esse
tecnopessimismo. Eles identificaram a necessidade de
formar um entendimento comum sobre o que constitui
tecnopessimismo, quando pode ser justificado e sob quais
condições se aplica a uma tecnologia específica ou à
tecnologia em geral. Os participantes sugeriram que
investigássemos se os malefícios da proliferação de
aparatos tecnológicos na vida dos jovens são evidentes.
Isso poderia esclarecer se o tecnopessimismo generalizado
é justificado. Investigações sobre os possíveis danos que a
governança algorítmica apresenta, como difamação e
danos ao crédito também foram sugeridos ao examinar
um tipo mais restrito de tecnopessimismo. Outra sugestão
foi examinar experiências históricas análogas de
tecnopessimismo na governança.
Após o desenvolvimento de uma definição coerente
do tecnopessimismo, os participantes sugeriram que abordagens.
particularmente entre os reguladores, seriam apropriadas.
Isso exigiria o desenvolvimento e validação de medidas de
tecnopessimismo. O desenvolvimento de tais medidas
facilitaria duas outras linhas de pesquisa sugeridas por nossos
participantes, uma das quais se concentraria na causa do
tecnopessimismo e a outra em seus efeitos. Os participantes
mencionaram causas específicas de tecnopessimismo que
podem merecer investigação. Estes foram: experiências
negativas de tecnologia, hype de proteção de dados, falta de
conhecimento, efeitos da idade, nível de engajamento político
e velocidade de lançamento de tecnologias. Os participantes
também mencionaram possíveis efeitos do tecnopessimismo
que podem merecer investigação, incluindo a possível
desvantagem de certos setores da sociedade devido ao seu
medo da tecnologia. Metodologias quantitativas e qualitativas
foram propostas como adequadas para o progresso dessas
linhas de pesquisa, embora uma gama mais ampla de
metodologias qualitativas tenha sido sugerida, incluindo
entrevistas, estudos de caso, grupos focais e métodos
observacionais. Levantamentos e experimentos foram
propostos como possíveis
Danaher et ai. 11

em relação a si mesmos, seu trabalho e aqueles fora de sua

Incerteza tecnológica
disciplina. Em particular, eles sentiram que os pesquisadores
A aparente incerteza em relação aos efeitos do deveriam descobrir até que ponto os tecnólogos estão
desenvolvimento tecnológico foi vista como uma desenvolvendo sua própria cultura interna e pensamento de
barreira significativa para a governança algorítmica grupo, até que ponto eles resistem a perspectivas externas
efetiva e legítima. Os participantes pensaram que a críticas e sua consciência geral de preconceitos implícitos. O
incerteza tinha dimensões subjetivas e objetivas. desenvolvimento desse entendimento pode ser alcançado
Do lado objetivo, sugeriu-se que, em gen- através de estudos de caso, pesquisas e entrevistas. geral,
temos uma má compreensão do contingente Além disso, uma vez que as atitudes e a conscientização sobre o
maneiras pelas quais a tecnologia se desenvolve. Isso foi direito eram uma preocupação particular, nossos participantes
vinculado em nossas discussões participantes à natureza sentiram que a pesquisa deveria se concentrar no conhecimento
experimental e eticamente incerta de todas as novas jurídico e nas reações ao direito entre os tecnólogos. Isso pode
tecnologias. As estratégias de pesquisa propostas incluíram a incluir testes de conhecimento jurídico, análise da medida em que
investigação dos efeitos do desenvolvimento tecnológico do os programadores incorporam mudanças legais em seu código e
ponto de vista histórico e ético. A abordagem histórica foi até que ponto os codificadores tentam se defender de litígios em
considerada útil para examinar as consequências não suas decisões de codificação. Pesquisas, estudos de caso e
intencionais de novos sistemas de informação e para mapear a entrevistas foram novamente sugeridos como métodos
evolução dinâmica da tecnologia. Uma sugestão foi adquirir preferenciais. Por fim, vários participantes recomendaram que
todos os documentos em um algoritmo completo examinássemos a educação
sistema de governança micro usando um fundo nacional de liberdade de tecnólogos e considere a
solicitação de informações para examinar como isso benefícios de um amplo modelo de aprendizagem ao longo da vida
sistema mudou do desenvolvimento para a implementação. para tecnólogos.
Do lado subjetivo, a incerteza tecnológica foi vista
como uma questão de percepção, causada pela falta Capacidade entre servidores públicos e
de compreensão tecnológica ou falta de interesse do
representantes
público e dos formuladores de políticas. Os
participantes sugeriram que nossas estratégias de Na mesma linha, vários de nossos participantes estavam preocupados com o fato de que a falta de competência entre

pesquisa se concentrassem em determinar a políticos e funcionários do setor público poderia ser uma barreira para uma governança algorítmica efetiva e legítima. As

extensão dessa incerteza e suas causas. Eles preocupações variaram de questões sobre habilidades matemáticas entre os políticos, a questões sobre aquisições e

sentiram que a pesquisa poderia ser feita para ver a capacidades de sistemas de informação em organizações do setor público. Para pesquisar essas barreiras, os participantes

melhor forma de abordá-lo por meio de entrevistas, sugeriram, em primeiro lugar, que temos uma noção clara das definições de 'capacidade' e 'competência' no contexto do

grupos focais e projetos de conscientização. Os serviço público. A clareza poderia ser alcançada recrutando grupos focais de trabalhadores do serviço público para agrupar e

participantes também sentiram que a falta de refinar as definições. Compreender a extensão do problema de capacidade no setor público também foi considerado uma

clareza em relação à contribuição dos funcionários importante prioridade de pesquisa. Os participantes disseram que a pesquisa deve se concentrar na identificação dos níveis

do governo para o desenvolvimento de algoritmos de competência necessários para os principais tomadores de decisão. Isso pode ser alcançado por meio de estudos de caso

no setor público era uma fonte significativa de históricos de organizações do setor público, entrevistas qualitativas e narrativas com atores-chave, entrevistas e grupos

incerteza tecnológica. Isso sugeriu que havia a focais que analisam a compreensão da incerteza e estudos comparativos de diferentes agências governamentais e

necessidade de investigar como os principais trabalhadores do setor privado. Obter um melhor controle sobre as competências dos políticos com raciocínio matemático e

sistemas de governo eletrônico são desenvolvidos e sistemas de informação também foi considerado uma estratégia de pesquisa chave. Finalmente, os participantes

sugeriu-se que isso poderia ser feito usando recomendaram que a pesquisa se concentrasse em como os problemas de competência surgem e são gerenciados no setor

métodos etnográficos. público. Em particular, eles sugeriram que estudos fossem conduzidos Isso pode ser alcançado por meio de estudos de caso

históricos de organizações do setor público, entrevistas qualitativas e narrativas com atores-chave, entrevistas e grupos

focais que analisam a compreensão da incerteza e estudos comparativos de diferentes agências governamentais e
Capacidade/Conhecimento entre tecnólogos
trabalhadores do setor privado. Obter um melhor controle sobre as competências dos políticos com raciocínio matemático e

Os especialistas técnicos têm muito poder quando se trata do sistemas de informação também foi considerado uma estratégia de pesquisa chave. Finalmente, os participantes

projeto de sistemas de governança eficazes e legítimos, mas vários recomendaram que a pesquisa se concentrasse em como os problemas de competência surgem e são gerenciados no setor

de nossos participantes se preocupam com a falta de público. Em particular, eles sugeriram que estudos fossem conduzidos Isso pode ser alcançado por meio de estudos de caso

conhecimento dos especialistas técnicos sobre os sistemas de históricos de organizações do setor público, entrevistas qualitativas e narrativas com atores-chave, entrevistas e grupos

governança legais (e outros) com os quais eles interagem. Eles focais que analisam a compreensão da incerteza e estudos comparativos de diferentes agências governamentais e

também temiam que tais especialistas pudessem não estar cientes trabalhadores do setor privado. Obter um melhor controle sobre as competências dos políticos com raciocínio matemático e

de seus próprios vieses implícitos e como eles afetam o processo sistemas de informação também foi considerado uma estratégia de pesquisa chave. Finalmente, os participantes

de codificação, e pudessem ser hostis a pessoas de fora que não recomendaram que a pesquisa se concentrasse em como os problemas de competência surgem e são gerenciados no setor

tivessem seus conhecimentos técnicos. público. Em particular, eles sugeriram que estudos fossem conduzidos e estudos comparativos de diferentes agências

Para lidar com essas barreiras, os participantes sugeriram que governamentais e trabalhadores do setor privado. Obter um melhor controle sobre as competências dos políticos com

tivéssemos uma noção mais clara das atitudes dos programadores raciocínio matemático e sistemas de informação também foi considerado uma estratégia de pesquisa chave. Finalmente, os participantes recomendaram
12
sobre quem é recrutado para o setor público, quem recebe
autoridade para tomar decisões, qual é a relação entre o
setor público e privado e como as pessoas são
responsabilizadas quando as coisas dão errado. Vários
métodos foram recomendados a esse respeito, incluindo
métodos da teoria ator-rede, para mapear as relações
entre indivíduos e organizações sociais, análise
comparativa e entre países de destinos de pós-graduação,
solicitações de liberdade de informação para coletar
informações relevantes e estudos de caso detalhados.
Capacidade entre advogados e sistemas jurídicos
Se a governança algorítmica é algo que, em última análise, é
possível e responsabilizado por meio da lei, então é
importante entender a capacidade dos sistemas jurídicos e dos
atores jurídicos de gerenciá-la. Nossos participantes foram
sensíveis a essa necessidade, com vários expressando
preocupações sobre o treinamento de advogados, a natureza
inflexível e conservadora dos códigos legais e a possibilidade
de abertura de lacunas regulatórias que impedem as pessoas
de contestar os resultados negativos da governança
algorítmica. Para superar essas barreiras, os participantes
sugeriram que pesquisássemos até que ponto os problemas
legais já estão surgindo dos sistemas de governança
algorítmica. Isso pode ser alcançado por meio de revisões de
literatura e entrevistas com figuras jurídicas importantes (por
exemplo, promotores ou reguladores). A exploração criativa de
possíveis problemas legais também foi recomendada, com um
participante sugerindo que isso poderia ser alcançado por
meio de tribunais simulados experimentais (julgamentos
simulados). Os participantes também sugeriram que
identificássemos problemas relacionados à capacidade
analisando o código existente e categorizando os erros que
surgem desse código de acordo com sua natureza 'técnica' ou
'legal'. Isso pode ser possibilitado por meio de estudos de caso
que combinem entrevistas com análise de documentos.
Complexidade legal e institucional
A complexidade e a falta de transparência sobre os algoritmos
costumam ser consideradas barreiras à governança legítima.
Nossos participantes expressaram algumas preocupações sobre
como a complexidade dos sistemas jurídico-burocráticos que
implementam sistemas de governança algorítmica pode contribuir
para esses problemas. Várias preocupações distintas foram
expressas. Alguns participantes se preocuparam com a
complexidade dos próprios sistemas burocráticos; alguns
preocupados com o aumento da complexidade resultante do uso
de TIC dentro desses sistemas; e alguns preocupados com as
maneiras pelas quais as leis contribuem para a falta de
transparência associada aos sistemas de governança algorítmica.
Os participantes recomendaram que pesquisas fossem realizadas
para abordar cada um desses três
preocupações. Alguns participantes sugeriram que ernancenciamos e regulamentamos, e conscientizamos sobre
Grandes dados e sociedade
investigar complexidades anteriores e existentes em sistemas
burocráticos, usando estudos de caso históricos, cartografias
visuais das relações entre diferentes organizações,
rastreamento de processos e estudos comparativos. Um
participante sugeriu que usássemos nossa experiência com os
regimes regulatórios existentes que exigem a coleta e o
rastreamento de informações ambientais e conduzíssemos um
estudo detalhado de como as instituições respondem às
mudanças regulatórias. Outros sugeriram que nos
concentrássemos em como as TIC são adotadas e implantadas
nos sistemas burocráticos. Isso pode ser feito comparando o
uso de sistemas proprietários e de código aberto no
gerenciamento de dados e conduzindo uma análise de modelo
mental das principais partes interessadas que comparam
como eles pensam que os sistemas de TIC funcionam com sua
operação real. Finalmente, um participante recomendou que
investigássemos a maneira como os sistemas de governança
algorítmica são descritos e enquadrados em casos legais
envolvendo questões de privacidade e proteção de dados. Já
existem muitos casos sobre essas questões e eles fornecem
informações sobre como os sistemas jurídicos podem lidar
com a governança algorítmica de maneira mais geral.
Interesse comercial e público
A falta de equilíbrio entre os interesses privados orientados para o lucro e os interesses públicos socialmente
orientados foi vista como outra barreira significativa. Um participante observou que essa falta de equilíbrio
levou a uma lacuna entre o ritmo do desenvolvimento comercial de sistemas algorítmicos de tomada de
decisão e as aplicações mais limitadas no setor público. O participante sugeriu que as pessoas do setor privado
estavam relutantes em desacelerar o desenvolvimento para garantir a eficácia, pois isso limitaria o sucesso
comercial. Subjacente a essa preocupação está o conflito mais amplo entre os valores e objetivos dos órgãos
privados e públicos, que outro participante disse não ter sido suficientemente reconhecido. Deram o exemplo
da falta de regulamentação após a privatização de áreas sensíveis como a saúde. Várias estratégias de pesquisa
para investigar tanto o equilíbrio entre interesses comerciais e públicos quanto o equilíbrio entre interesses
comerciais e individuais foram recomendadas. Com relação ao primeiro, os participantes sugeriram que as
diferenças de perspectiva entre os departamentos de TI do governo e os contratados do setor privado
deveriam ser exploradas por meio da análise de conteúdo dos documentos de política do governo eletrônico e
dos folhetos e sites dos fornecedores. Isso poderia ajudar a informar o desenvolvimento de um modelo dos
objetivos e valores dos atores privados e públicos. Em relação ao equilíbrio entre interesses comerciais e
direitos individuais, os participantes recomendaram que exploremos as atitudes e perspectivas atuais em
relação ao governo algorítmico. os participantes sugeriram que as diferenças de perspectiva entre os
departamentos de TI do governo e os contratados do setor privado deveriam ser exploradas por meio da
análise de conteúdo dos documentos de política de governo eletrônico e dos folhetos e sites dos fornecedores.
Isso poderia ajudar a informar o desenvolvimento de um modelo dos objetivos e valores dos atores privados e
públicos. Em relação ao equilíbrio entre interesses comerciais e direitos individuais, os participantes
recomendaram que exploremos as atitudes e perspectivas atuais em relação ao governo algorítmico. os
participantes sugeriram que as diferenças de perspectiva entre os departamentos de TI do governo e os
contratados do setor privado deveriam ser exploradas por meio da análise de conteúdo dos documentos de
política de governo eletrônico e dos folhetos e sites dos fornecedores. Isso poderia ajudar a informar o
desenvolvimento de um modelo dos objetivos e valores dos atores privados e públicos. Em relação ao equilíbrio
entre interesses comerciais e direitos individuais, os participantes recomendaram que exploremos as atitudes e
perspectivas atuais em relação ao governo algorítmico.
Danaher et ai.
governança algorítmica. Os participantes identificaram uma dimensão ética do Big Data. Em resposta a esse número de
métodos de dados secundários que poderiam avançar barreiras, os participantes sugeriram que seria
essa estratégia de pesquisa. Estes incluíram estudos de caso e
métodos tradicionais de pesquisa de análise jurídica e
econômica. Os participantes também identificaram uma série
de métodos de dados primários, incluindo consulta pública,
entrevistas, grupos focais e pesquisas. A estratégia de
pesquisa final recomendada pelos participantes em relação a
essa barreira foi examinar os efeitos que um maior foco na
privacidade pode ter sobre a legitimidade e eficácia da
governança algorítmica. Os participantes sugeriram que a
prática de 'privacidade desde o design' fosse pesquisada e
possivelmente acompanhada por treinamento de
conscientização em ambientes comerciais. Estudos de caso de
sobrecarga de dados também podem ser usados para
esclarecer se mais dados são sempre melhores. Além disso, os
métodos da economia podem estabelecer se há benefícios em
uma coleta de dados mais criteriosa.
Governança efetiva versus direitos individuais
Os participantes sentiram que, ao considerar o desenvolvimento
de tecnologias algorítmicas de tomada de decisão, deve-se ter
cuidado para garantir que o foco seja mantido nos direitos
individuais e no tratamento justo, em vez de apenas na
governança eficaz. Por exemplo, os participantes sugeriram que
priorizássemos a pesquisa sobre as maneiras pelas quais a
desigualdade e o viés podem ser incorporados aos algoritmos. Já
existem vários estudos de caso olhando para isso e sentiu-se que
mais deveria ser realizado. Os participantes também sugeriram
que uma das principais prioridades de pesquisa era examinar a
competição entre eficiência e justiça na governança, pesquisando
o público sobre sua concepção de governança eficaz. Isso poderia
ser combinado com uma investigação de como a tecnologia pode
ser empregada para aumentar a transparência do governo e a
participação do cidadão. Essa estratégia foi sugerida em resposta à
percepção de apatia em relação às práticas de governança
participativa entre os líderes políticos. Um participante sentiu que
a pesquisa sobre cidades inteligentes e seu potencial para permitir
a governança participativa seria uma contribuição útil para esta
agenda de pesquisa. A pilotagem de blocos
a tecnologia da cadeia como uma alternativa de interesses de governança, e a falha em informar totalmente os cidadãos sobre o
mecanismo também foi sugerida como um meio de aumentar
transparência e participação.
Consciência ética (ou falta dela)
Em relação à consciência ética, os participantes destacaram a
consideração inadequada de preocupações éticas com
algoritmos e a falha em integrar o pensamento social e ético
profundo na educação tecnológica como barreiras
significativas. Eles também destacaram a falta de consciência
das implicações éticas de algoritmos aparentemente neutros e
a falha em reconhecer as implicações políticas
13
importante examinar os níveis atuais de
conscientização e conhecimento de questões éticas na
área de governança algorítmica entre codificadores,
políticos e o público. Eles destacaram o valor de
análises históricas e análises de estudo de caso para
lançar luz sobre como a compreensão de questões
éticas desenvolvidas em domínios análogos (por
exemplo, o desenvolvimento da ética médica no campo
da medicina) e como a análise de casos específicos de
governança algorítmica pode lançar luz sobre questões
éticas fundamentais na tomada de decisões políticas.
Os participantes também destacaram a importância de
analisar diretamente as consequências éticas da
governança algorítmica, por exemplo, em áreas como
policiamento preditivo e criação de perfis, onde há
potencial para perpetuar preconceitos étnicos e
dinâmicas sociais nas comunidades. Relacionado a isso
está a necessidade de uma análise da linguagem da
política e dos estudos de Big Data, e como a ética se
reflete na linguagem da agência, despolitização e
hegemonia; e como o viés político pode ser refletido
nas decisões de Big Data. Análises de estruturas éticas e
códigos de prática existentes usados na educação em
tecnologia e aplicações de Big Data também foram
consideradas importantes, juntamente com uma
análise das práticas éticas de tomada de decisão de
cientistas de dados e da deliberação ética de políticos.
Do ponto de vista tecnológico, os participantes
propuseram que analisássemos até que ponto o
desenvolvimento ético pode ser incorporado ao
aprendizado de máquina. Os participantes também
recomendaram alguns objetivos de pesquisa aplicada,
Privacidade e consentimento informado
Em relação à privacidade e consentimento informado, os
participantes destacaram proteções de privacidade inadequadas,
falha em proteger adequadamente os direitos humanos,
dissonância entre sistemas algorítmicos e estruturas regulatórias/
legislativas, conflito entre o privado e o público
os múltiplos e inúmeros usos de seus dados como barreiras. Em
resposta a essas barreiras, os participantes destacaram a
importância de explorar a compreensão do público sobre o
consentimento informado, seu conhecimento sobre os usos de
seus dados e os usos de algoritmos usando pesquisas, entrevistas,
estudos de vinheta e estudos de laboratório. Eles também
propuseram estudos de caso e estudos de pesquisa destinados a
examinar as atitudes públicas em relação à conveniência versus
proteção de direitos (ou seja, até que ponto as pessoas estão
dispostas a sacrificar direitos de privacidade em troca de serviços
mais baratos e eficazes?). Eles destacaram a necessidade de revisar
a literatura sobre privacidade conforme definido na lei e
14
a necessidade de adotar estudos interdisciplinares que comparem
padrões de consentimento em diferentes campos jurídicos.
O desafio da interdisciplinaridade
O cenário de barreiras interdependentes descrito acima e o alcance e o escopo da
pesquisa necessária para entender e superar essas barreiras destacaram, para
todos os participantes, a necessidade de cooperação interdisciplinar. Isso foi
sentido pela maioria como um desafio genérico, presente em muitos campos
interdisciplinares de pesquisa, mas que não deve ser ignorado. Os participantes
observaram uma série de questões que podem ter um efeito negativo sobre o
progresso a esse respeito, incluindo a rejeição de diferentes perspectivas no
campo, uma lacuna contínua de conhecimento e a falta de perspectivas
compartilhadas entre tecnólogos e outros, o que resulta na natureza subteorizada
de ambas as abordagens para governança algorítmica. Os participantes
destacaram uma separação entre especialistas em nível de domínio e
desenvolvedores que levaram a sistemas que não atendem aos requisitos éticos e
legais. Eles observaram que a comunicação inadequada e a falta de linguagem e
causa comuns entre acadêmicos, formuladores de políticas e atores do setor
privado, e a falta de oportunidades para um envolvimento multidisciplinar
profundo, também eram barreiras para uma governança algorítmica eficaz e
legítima. Em resposta, os participantes destacaram o valor de pesquisas,
entrevistas e estudos etnográficos que exploram atitudes concorrentes de
tecnólogos e cientistas sociais e a linguagem usada por diferentes disciplinas para
descrever fenômenos semelhantes. Eles propuseram pesquisas focadas na
natureza da colaboração bem-sucedida e estudo de caso, análise de documentos e
entrevistas de projetos multidisciplinares existentes e o desenvolvimento
colaborativo iterativo de compreensão. Eles destacaram a necessidade de uma
revisão dos currículos disponíveis, e entrevistas e pesquisas com alunos e
profissionais de ensino para examinar a forma de formação realizada em diferentes
disciplinas e como diferentes práticas educativas podem perpetuar dificuldades
associadas à comunicação interdisciplinar. Os participantes destacaram o potencial
de teorizar e estabelecer uma abordagem comum ao multiperspectivalismo usando
metodologias de escrita colaborativa. Eles também propuseram o estabelecimento
de novas redes de pesquisadores interdisciplinares que podem trabalhar juntos
para superar desafios interdisciplinares e avançar na compreensão da governança
algorítmica efetiva e legítima. Os participantes destacaram o potencial de teorizar e
estabelecer uma abordagem comum ao multiperspectivalismo usando
metodologias de escrita colaborativa. Eles também propuseram o estabelecimento
de novas redes de pesquisadores interdisciplinares que podem trabalhar juntos
para superar desafios interdisciplinares e avançar na compreensão da governança
algorítmica efetiva e legítima. Os participantes destacaram o potencial de teorizar e
estabelecer uma abordagem comum ao multiperspectivalismo usando
metodologias de escrita colaborativa. Eles também propuseram o estabelecimento
de novas redes de pesquisadores interdisciplinares que podem trabalhar juntos
para superar desafios interdisciplinares e avançar na compreensão da governança
algorítmica efetiva e legítima.
Conclusão: Mapeando a agenda de
pesquisa
Apresentamos o mapa completo de barreiras, questões de
pesquisa e métodos/estratégias de pesquisa que foi produzido
Grandes dados e sociedade
através de nosso workshop de CI na Tabela 2. Queremos
concluir explicando a contribuição que acreditamos que
este mapa traz para a literatura existente sobre
governança algorítmica, destacando as limitações do que
fizemos e identificando maneiras pelas quais a agenda de
pesquisa que produzimos poderia ser desenvolvida e
aprimorado no futuro.
Podemos explicar a contribuição mais facilmente
comparando o que o workshop produziu com as estruturas
existentes que discutimos na seção 'Contexto:
Compreendendo a governança algorítmica'. Considere, por
exemplo, as estruturas apresentadas por Zarsky (Figura 1)
e Kitchin (Tabela 1). A de Zarsky era uma taxonomia dos
problemas que surgem do uso de sistemas algorítmicos de
governança. Essa taxonomia se concentrou em duas
categorias principais de problemas (eficiência e justiça) e as
decompôs em uma série de subproblemas. As barreiras
identificadas em nosso workshop de IC cobriram grande
parte do mesmo território, com os participantes também
destacando preocupações específicas sobre ineficiências,
preconceitos, falta de transparência e injustiça na
implementação desses sistemas. Mas os participantes
foram muito além de Zarsky, destacando como os
problemas de eficiência e justiça estavam conectados a
outros problemas na educação, compreensão do público,
competência técnica, recrutamento, complexidade
institucional, lacunas nos padrões legais e muito mais. O
resultado é uma compreensão muito mais rica do espaço
do problema envolvido neste debate. Além disso, nossos
participantes vincularam esses problemas a questões e
metodologias de pesquisa específicas e, assim,
identificaram maneiras pelas quais poderíamos entender
melhor esses problemas e contribuir para sua solução.
Algo semelhante é verdadeiro quando
comparamos os resultados de nosso workshop com
a estrutura de pesquisa proposta por Kitchin. Onde
ele destacou um foco principal, três desafios de
pesquisa e seis estratégias de pesquisa, nossos
participantes identificaram 12 grandes barreiras à
governança efetiva e legítima e um desafio adicional
relacionado ao estudo multidisciplinar, pelo menos
48 questões de pesquisa distintas e 65 aplicações de
pesquisa. Há, portanto, um nível diferente de
abrangência e amplitude para os resultados de
nosso workshop do que o encontrado atualmente na
literatura. Certamente, nossos participantes
identificaram desafios e métodos semelhantes aos
de Kitchin, mas seus esforços coletivos produziram
uma análise mais refinada dos desafios e um
mapeamento mais completo da pesquisa que
precisa ser feita para enfrentar cada um desses
desafios.
Danaher et ai.
de cartografias visuais e o uso de atores-redes participantes consistiram em enunciados/proposições, teoria para melhor
compreender os componentes institucionais e legais
complexidade, entre muitos outros métodos propostos.
Claro que existem limitações para o que
produzimos. É importante que qualquer pessoa que
se proponha a usar nossa agenda esteja ciente disso.
Uma limitação óbvia diz respeito à
representatividade do grupo envolvido. A agenda de
pesquisa que desenvolvemos foi o produto de um
determinado grupo de pessoas, trabalhando juntas
durante um determinado período de tempo. Não há
dúvida de que importantes perspectivas faltaram no
que fizemos. Como mencionamos na seção
'Contexto: Compreendendo a governança
algorítmica', os participantes foram convidados com
base em conhecimentos e interesses acadêmicos e
técnicos. Apenas um dos 15 estava atualmente
empregado na indústria, os 14 restantes estavam
todos empregados em instituições acadêmicas.
Alguns dos atualmente empregados na academia
tinham experiência na indústria e no governo, e esse
foi um dos critérios de seleção, mas sua forma atual
de emprego sem dúvida limitava sua perspectiva
sobre o assunto. Além disso, embora houvesse
alguma tentativa de alcançar a diversidade
disciplinar e de gênero, não se buscavam outras
formas de representatividade. Como a literatura de
pesquisa atual e nossa própria agenda de pesquisa
sugerem, os sistemas de governança algorítmica
podem incorporar certas formas de viés e podem
afetar desproporcionalmente membros de grupos
minoritários (étnicos, raciais, sexuais, relacionados a
deficiências, etc.). Embora alguns de nossos
participantes possam pertencer a tais grupos, não os
selecionamos por esse motivo e, portanto, a
ausência de um reconhecimento e envolvimento
mais explícitos com as perspectivas minoritárias
significa que pode haver lacunas no que produzimos.
5 mais abrangente da agenda de pesquisa até o
Aliado a isso, o fato de a agenda de pesquisa ter sido
produzida por um determinado grupo em um determinado
dia significa que nossos participantes, sem dúvida, terão
negligenciado ou ignorado outras possíveis questões e
métodos de pesquisa. Mais trabalho precisa ser feito para
adicionar as perspectivas que faltam e preencher as
lacunas, talvez reconciliando e harmonizando nossa
agenda com as já fornecidas. Uma preocupação particular
a esse respeito, levantada por vários dos revisores deste
artigo, foi a aparente ausência de perspectivas mais
críticas/radicais sobre o tema da governança algorítmica
em nossa agenda de pesquisa. Vale notar que tais
perspectivas não estão totalmente ausentes do que tem
sido produzido. As barreiras inicialmente identificadas pelo
15
que então agrupamos e reduzimos a rótulos
descritivos simples (como 'opacidade',
'tecnopessimismo', 'interesses públicos versus
interesses privados' e assim por diante). Várias
dessas declarações6– particularmente aqueles
relacionados ao tecno-utopismo, desigualdade
versus direitos e interesses públicos versus privados
– foram explicitamente radicais/críticos em seu foco,
desafiando o foco político liberal mais dominante
adotado por outros. Essas falas foram expostas a
todos os participantes no dia da oficina nas paredes
da sala em que ocorreu a sessão. Além disso, o
próprio workshop ocorreu após uma conferência
acadêmica mais tradicional, consistindo em breves
apresentações de artigos. Vários desses artigos
adotaram uma perspectiva mais radical e crítica
sobre o tema e essas perspectivas continuaram a ser
discutidas na própria sessão do workshop.7A agenda
de pesquisa que produzimos (ver Tabela 2) pode
parecer desprovida dessas perspectivas, mas
argumentaríamos que esse não é necessariamente o
caso. Reduzimos as discussões e conversas do dia a
uma série de questões e métodos de pesquisa
razoavelmente concretos. Nós argumentaríamos
que várias dessas questões e métodos estão abertos
para aqueles que desejam seguir uma agenda de
pesquisa mais radical/crítica. Dito isso, certamente
reconhecemos que a maneira como estruturamos o
workshop (pedindo aos participantes que se
concentrem nas questões de legitimidade e eficácia)
teve uma orientação liberal/política dominante.
Incentivamos os participantes a não considerar esse
enquadramento como garantido em suas
contribuições, mas isso poderia ter afetado os
resultados que produzimos.8
Apesar dessas limitações, argumentaríamos que, ao
aproveitar o poder da IC, produzimos o mapeamento
momento – algo que os pesquisadores podem começar
a usar e desenvolver agora mesmo. Mas nenhuma
agenda de pesquisa é completa e definitiva. Eles estão e
devem estar sujeitos a crítica, mudança iterativa e
desenvolvimento. Futuros workshops de IC desse tipo
podem ser usados para facilitar colaborações
interdisciplinares adicionais sobre esse importante
tópico, talvez tentando representar diferentes grupos
na conversa e discussão. É provável que isso seja
necessário de qualquer maneira pela natureza fluida e
em rápida mudança das tecnologias subjacentes às
estruturas de governança algorítmica. No entanto,
pensamos que a metodologia que adotamos para
produzir esta agenda de pesquisa, e a agenda que foi
efetivamente produzida,
16
Mesa 2.Uma agenda de pesquisa para governança algorítmica
Barreiras para eficácia
e legítimo
algorítmico
governança Possíveis questões de pesquisa
Opacidade de Como os algoritmos são codificados?
algoritmos Eles podem ser decodificados?
Como eles são compreendidos por aqueles
afetado?
Como eles são usados na governança? Como
eles afetam as comunidades relevantes?
nidades?
Podemos medir a transparência de
algoritmos?
tecno-utopismo Quão difundido é o tecno-utopismo?
Com que frequência são feitos apelos a
ideais tecno-utópicos nos círculos
políticos?
Quais são os efeitos a longo prazo de
tecno-utopismo?
Quais são as limitações e vieses que
resultado do tecno-utopismo?
tecnopessimismo Podemos formar um entendimento comum
de tecno-pessimismo?
Quando o tecnopessimismo é justificado?
Em que condições o tecnopes-
simismo estritamente focado em uma
tecnologia ou amplamente focado na
tecnologia em geral? Quão prevalente
é o tecnopessimismo? Quais são as
causas da tecnologia
pessimismo?
Tecnológica As pessoas entendem o contingente
incerteza e formas incertas em que a tecnologia
se desenvolve?
Que exemplos históricos existem de
consequências não intencionais
decorrentes da incerteza tecnológica?
Podemos aprender com tais exemplos?
Existe uma falta de compreensão e
interesse no desenvolvimento tecnológico
entre o público e os formuladores de
políticas?
Capacidade/ Os especialistas técnicos não têm conhecimento de
Conhecimento os sistemas legais e de governança com
entre os quais eles interagem?
tecnólogos Os especialistas técnicos estão cientes de suas
próprias tendências implícitas e como elas
podem afetar o processo de codificação? Os
especialistas técnicos são hostis aos externos?
s que carecem de seus conhecimentos
técnicos?
Grandes dados e sociedade
Potenciais aplicações de pesquisa
Estude codificadores enquanto eles programam em tempo real usando streaming de vídeo
serviços como periscópio ou em hackathons.
Análise forense de algoritmos (código-fonte; pseudo-código, etc.)
Estudos de caso etnográficos de programadores
Pesquisas, estudos de caso, ciência cidadã, entrevistas e qualidade visual
métodos para descobrir como as partes interessadas entendem esses
sistemas. Entrevistas, estudos etnográficos, análises comparativas e longitudi-
estudos finais de comunidades afetadas pela governança algorítmica.
Desenvolver um índice de transparência algorítmica, trabalhando em consultoria
com organizações que medem a transparência política
Grupos de discussão e estudos observacionais para mapear
atitudes em relação à tecnologia
Análise de discursos políticos e representações culturais da tecnologia
nologias.
Análise longitudinal de corpus para mapear mudanças nas atitudes emocionais
para a tecnologia ao longo do tempo.
Estudos observacionais e comparativos de codificadores, desenvolvedores e
agências governamentais relevantes durante o projeto e implementação
de sistemas de governança algorítmica.
Exercícios de sensibilização do tecno-utopismo através do uso de
videogames e histórias em quadrinhos.
Investigações empíricas (pesquisas, entrevistas, experimentos, etc.) de
danos às pessoas devido à proliferação de dispositivos mediados
por algoritmos.
Investigação de danos específicos resultantes do tecnopessimismo, como
como difamação e danos ao crédito.
Análise de casos históricos de períodos de tecnopessimismo na governança.
Pesquisas, experimentos, entrevistas, estudos observacionais e foco
grupos com reguladores e outras figuras-chave envolvidas na
governança algorítmica para determinar a prevalência e as causas
do tecnopessimismo.
Solicitações de FOI e análise documental em todos os documentos relacionados ao
construção de um sistema de governança algorítmica para
examinar como o sistema mudou do desenvolvimento para a
implementação.
Entrevistas, grupos focais e estudos etnográficos de formuladores de políticas
e especialistas tecnológicos à medida que os sistemas são desenvolvidos.
Entrevistas, grupos focais, estudos etnográficos e sensibilização
projetos, a fim de rastrear a falta de compreensão e a lacuna entre
conhecimento especializado e público.
Estudos de caso, pesquisas e entrevistas dirigidas a:
- Avaliar a consciência geral do viés implícito
- Cultura interna e pensamento de grupo entre as organizações que constroem sistemas
de governança algorítmica
- Compreensão e conhecimento dos sistemas de governança.
- Descobrir até que ponto os codificadores tentam se defender de
litígios nas decisões de codificação
Testes e questionários de conhecimentos jurídicos e regulamentares.
(contínuo)
Danaher et ai.
Mesa 2.Contínuo
Barreiras para eficácia
e legítimo
algorítmico
governança Possíveis questões de pesquisa
Capacidade entre O que significa capacidade e competência
servidores públicos significa no contexto do serviço
e público? Os políticos e servidores públicos
representantes entende como funcionam os sistemas de
governança algorítmica?
Que níveis de competência são necessários
entre os principais tomadores de decisão
quando se trata de governança algorítmica?
Como surgem os problemas de competência
e ser gerenciado dentro do setor
público?
Qual é a relação entre o
setor público e privado? Como os atores
são responsabilizados quando
algo deu errado?
Quem é contratado no serviço público para
lidar com governança algorítmica?
Capacidade entre Quais são os problemas jurídicos decorrentes
advogados e legais o surgimento de sistemas de
sistemas governança algorítmica?
As lacunas regulatórias estão se abrindo como um
resultado da governança algorítmica? A
formação dos advogados é adequada para
lidar com os desafios emergentes
da governança algorítmica?
Institucional e Quão complexos são os sistemas burocráticos
complexidade legal neles mesmos?
O nível de complexidade aumenta
como resultado do aumento do uso das TIC
dentro dos sistemas burocráticos?
As leis contribuem para a falta de algo-
transparência rítmica?
Choque entre Existe alguma relutância em desacelerar a tecnologia?
comercial e desenvolvimento lógico para baixo, a
interesses públicos fim de garantir a eficácia e
legitimidade?
Existe uma falha em reconhecer o
choque de valores entre órgãos públicos e
privados, particularmente quando estão
sendo criados sistemas algorítmicos de
governança?
Somos/podemos equilibrar comercial
interesses e direitos individuais? Quais
são os efeitos comerciais/públicos
de um maior foco na privacidade?
17
Potenciais aplicações de pesquisa
Grupos de foco de trabalhadores do serviço público para agrupar e refinar a definição
ções de capacidade e competência.
Estudos de casos históricos sobre problemas relacionados à capacidade no serviço
público. Entrevistas narrativas e grupos focais para avaliar os níveis necessários de
competência.
Estudos comparativos de competência e compreensão entre governos
agências de governo e trabalhadores do setor privado.
Métodos da teoria da rede de atores para mapear as relações entre
indivíduos e organizações sociais.
Análise comparativa e entre países de destinos de pós-graduação. Solicitações de
liberdade de informação combinadas com estudos de caso detalhados
de falhas/sucessos de competência.
Estudos de caso e revisões de literatura de problemas emergentes em
litígio.
Entrevistas com os principais atores jurídicos, por exemplo, promotores e reguladores.
Tribunais simulados experimentais para explorar novos problemas e lacunas que
pode estar surgindo.
Analisar o código existente e categorizar os erros que surgem de acordo
se são de natureza técnica ou jurídica. Combine isso com
entrevistas e análise de documentos.
Estudos de casos históricos de complexidade burocrática
Cartografias visuais para mapear relacionamentos entre diferentes organizações
ções, combinadas com rastreamento de processos e estudos comparativos. Estude
sistemas que já rastreiam e coletam informações (por exemplo, ambiente
sistemas regulatórios mentais) e conduzir análises detalhadas de
resposta a mudanças regulatórias.
Compare o uso de sistemas proprietários e de código aberto no gerenciamento de dados
agement.
Conduza a análise do modelo mental das principais partes interessadas na regulamentação
sistemas para comparar como eles acham que os sistemas de TIC funcionam com sua
operação real.
Investigue as maneiras pelas quais os sistemas de governança algorítmica são
descritos e enquadrados na jurisprudência existente sobre privacidade e proteção de
dados.
Análise de conteúdo de documentos e brochuras de política de governo eletrônico
e sites de provedores de serviços comerciais. Estudos de casos
econômicos e jurídicos de atitudes e uso de
sistemas de governança algorítmica.
Análise de custo-benefício em relação aos riscos/recompensas de uma maior coleta de dados
ção.
Consulta pública, entrevista, grupos focais e pesquisas para explorar
atitudes existentes e compreensão dos valores subjacentes aos
sistemas de governança algorítmica.
Investigação empírica (entrevistas, etnografias, pesquisas) de 'privacidade
pelas práticas de design.
(contínuo)
18
Mesa 2.Contínuo
Barreiras para eficácia
e legítimo
algorítmico
governança Possíveis questões de pesquisa
Governança eficaz A governança eficaz está sendo buscada em
ance versus indi- em detrimento dos direitos individuais e
direitos individuais da justiça?
Como a desigualdade e o viés podem ser
embutido na governança
algorítmica?
Como o aprimoramento da tecnologia pode
transparência governamental e
participação cidadã?
consciência ética Quais são os níveis atuais de ética
(ou falta dela) conscientização e conhecimento entre
codificadores, políticos e o público? Como
são os preconceitos e os problemas éticos
atualmente criados através de sistemas
de governança algorítmica?
Poderiam os códigos éticos para algoritmos
governança seja desenvolvida?
Privacidade e Como o público entende
informado consentimento informado?
consentimento O público sabe como seus dados são
usado em sistemas de governança
algorítmica?
São privacidade e consentimento informado
protocolos eficazes na proteção de
abusos de direitos humanos?
Desafio de pesquisa Pergunta-chave
Interdisciplinaridade Como garantimos o sucesso interdis-
colaboração disciplinar em problemas
desse tipo?
Declaração de interesses conflitantes
Um dos autores (Behan) trabalha para uma empresa (IBM)
com interesse comercial no tipo de tecnologia em
discussão. No entanto, sua contribuição para este artigo é
estritamente pessoal.
Financiamento
Os autores gostariam de agradecer o financiamento do
Irish Research Council (New Horizons Grant) e o
Grandes dados e sociedade
Potenciais aplicações de pesquisa
Mais estudos de caso sobre efeitos tendenciosos de sistemas de governança algorítmica
tem.
Pesquisas de opinião pública sobre o que eles entendem por governo eficaz
ernance.
Estudos de caso de programas existentes (por exemplo, cidades inteligentes) para ver como
eles facilitam a transparência e a governança participativa. Estudos
piloto de sistemas alternativos de governança, como blockchain
tecnologias para ver se elas facilitam uma maior transparência e
participação.
Análises históricas e de estudo de caso de como a compreensão da ética
questões desenvolvidas em domínios análogos (por exemplo, ética médica)
Pesquisas, entrevistas e testes de consciência ética entre codificadores,
políticos e público.
Estudos empíricos (experimentos, pesquisas, etnografias) da ética
consequências da governança algorítmica, por exemplo, sistemas de policiamento
preditivo.
Análise linguística da linguagem utilizada nas discussões de Big Data e
governança algorítmica.
Análise forense dos códigos de prática existentes na educação tecnológica
e aplicações de Big Data.
Exame empírico de práticas éticas de tomada de decisão entre
cientistas de dados e políticos.
Desenvolva modelos de aprendizado de máquina que possam incorporar ética
aprendizagem – medir a sua eficácia. Escreva uma
carta de ética algorítmica de código aberto.
Estudos de caso, pesquisas e entrevistas sobre a compreensão pública da
consentimento informado.
Estudos de caso e pesquisas de atitudes do público em relação à conveniência de
tecnologia versus proteção de direitos.
Revisões de literatura sobre proteção de privacidade e consentimento informado em
lei.
Análise comparativa dos padrões de consentimento em diferentes áreas da
lei.
Estratégias para enfrentar o desafio
Estudo de caso, análise documental e entrevistas de profissionais multidisi-
agendas de pesquisa plinar.
Revisar currículos e entrevistar e pesquisar alunos e professores
entre as disciplinas existentes.
Metodologias de escrita colaborativa para teorizar uma abordagem comum
para pesquisas multiperspectivas.
Estabelecer novas redes de pesquisadores interdisciplinares.
Whitaker Institute, NUI Galway, sem cujo apoio este artigo
não teria sido possível.
Notas
1. Esta figura foi criada pelo autor principal do presente
artigo e é baseada na discussão de Zarsky (2016). Foi
aprovado por Zarsky em correspondência com o autor
principal.
Danaher et ai.
2. Esta tabela foi criada pelo autor principal com base na
discussão em Kitchin (2017). Não aparece no artigo
original de Kitchin.
3. Focamos nos conceitos de 'legitimidade' e 'eficácia' pelo fato
de (a) eles parecerem suficientemente amplos para cobrir
uma série de preocupações que alguém possa ter sobre
essa tecnologia, (b) serem semelhantes aos conceitos
usados no literatura pré-existente sobre os problemas de
governança algorítmica (por exemplo, Danaher, 2016;
Zarsky, 2016) e (c) eram amplamente aceitáveis dentro da
teoria liberal-democrática dominante (Peter, 2017).
Estávamos conscientes, no entanto, que focar a
investigação nesses dois conceitos poderia enviesar/
restringir os resultados de nosso estudo, uma vez que eles
podem ser pensados para excluir perspectivas teóricas
mais radicais e críticas sobre governança algorítmica. Para
superar esse problema, incentivamos os participantes de
nosso workshop a se sentirem à vontade para questionar a
estrutura conceitual que usamos.
4. As metodologias de trabalho em grupo têm seus problemas. Por
exemplo, os diferentes processos usados por um grupo para gerar,
criticar e refinar um conjunto de ideias podem levar a um
pensamento excessivamente convergente e ser excessivamente
dependente do conhecimento comum (e, portanto, não do
conhecimento fornecido pelas perspectivas individuais únicas que
estão presentes no grupo). Estávamos conscientes dessas questões
no projeto de nosso workshop e as técnicas de IM que usamos
(NGT, redação de ideias, representações de campo) foram
projetadas para superar algumas das armadilhas comuns do
trabalho em grupo. Para uma discussão mais longa sobre os
problemas do trabalho de grupo e as técnicas que podem ser
utilizadas para os resolver, recomendamos que o leitor consulte
alguns dos trabalhos publicados anteriormente pelo segundo autor
(Hogan et al., 2014, 2015a), bem como os próprios discussão
abrangente em Straus et al. (2009).
5. Como apontou um de nossos revisores, existem questões
mesmo dentro da academia sobre a representatividade de
nosso grupo. Afinal, nem todo mundo tem tempo de viajar para
assistir e participar de um workshop desse tipo. Tentamos
mitigar isso até certo ponto, garantindo que o evento ocorresse
fora do horário de aula (para os participantes irlandeses) e
durante o dia normal de trabalho. Pouco mais de um terço dos
participantes residia localmente (ou seja, participando de um
evento que ocorreu em seu local habitual de trabalho),
portanto, não deveriam ter enfrentado maiores dificuldades
para comparecer do que normalmente enfrentariam para
comparecer ao trabalho. Para os que vinham de outras
instituições, a dificuldade em arranjar tempo para atender
certamente seria um problema maior e foi o motivo declarado
para a maioria dos convites rejeitados.
6. Estas declarações estão arquivadas com os autores.
7. Aproximadamente metade dos artigos foram publicados de
forma abreviada na edição de setembro/outubro de 2016
da revistaInformática e Direito.A perspectiva mais radical/
crítica está em exibição em pelo menos um desses artigos
publicados: Morison 'Algorithmic Governmentality: Techno-
Optimism and the Move to the Dark Side' – disponível em
https://www.scl.org/articles/3714 -governamentalidade-
algorítmica-tecno-otimismo-e-mover-para-o-lado-negro
19
8. Outra questão, como apontou um dos revisores do
artigo, tem a ver com a natureza 'algorítmica' do
método de inteligência coletiva. Pode parecer irônico e
estranho termos usado um método quase algorítmico
para produzir uma agenda de pesquisa sobre
governança algorítmica. Nós apreciamos esta ironia.
Mas pensamos que há interpretações amplas (qualquer
processo de seguimento de regras) e estreitas (um
sistema computadorizado e automatizado de
seguimento de regras) do que significa algo ser
'algorítmico'. Nosso método de pesquisa foi algorítmico
em sentido amplo, mas não temos certeza de que seja
algorítmico em sentido estrito e o sentido estrito é
aquele abrangido pela agenda de pesquisa proposta.
No entanto,
Referências
Alberts H (1992, março) Aquisição: passado, presente e
futuro. Artigo na reunião do Institute of Management
Sciences and Operations Research Society, Orlando, FL.
Aneesh A (2006)Migração Virtual.Durham, Carolina do Norte: Duke
Jornal universitário.
Aneesh A (2009) Trabalho global: modos algocratas de organização
ção.teoria sociológica27(4): 347–370.
Ashby WR (1958) Variedade necessária e suas implicações para
o controle de sistemas complexos.cibernética1(2): 1–17.
Boulding KE (1966)O Impacto das Ciências Sociais.Novo
Brunswick, NJ: Rutgers University Press.
Broome BJ (1995) Projeto coletivo do futuro: Estrutural
análise de declarações de visão tribal.American Indian
Quarterly19: 205–228.
Broome BJ e Chen M (1992) Diretrizes para computador
resolução de problemas em grupo assistida: enfrentando os desafios de
questões complexas.Pesquisa em pequenos grupos23(2): 216–236.
Broome BJ e Fulbright L (1995) Uma influência em vários estágios
modelo de barreiras para resolução de problemas em grupo.Pesquisa em
pequenos grupos26: 25–55.
Burrell J (2016) Como a máquina pensa: Compreendendo opa-
cidade em sistemas de aprendizado de máquina.Big Data e
Sociedade. Epub antes da impressão 2016. DOI: 10.1177/
2053951715622512. Disponível em: http://journals.sagepub.
com/doi/abs/10.1177/2053951715622512 (acessado em 1 de
setembro de 2017).
Carr N (2015)The Glass Cage: onde a automação está tomando
Nós.Londres: The Bodley Head.
Christakis AN (1987) Perfil de sistemas: O Clube de Roma
revisitado.Pesquisa de Sistemas4: 53–58.
Citron D e Pasquale F (2014) A sociedade pontuada: Devido
processo para previsões automatizadas.Revisão da Lei de
Washington86: 101.
Coke JG e Moore CM (1981) Lidando com um orçamento
crise: Ajudar um conselho municipal a decidir onde devem ser
feitos os cortes de gastos. Em:Construindo habilidades de
liderança do conselho municipal: um livro de casos de modelos
e métodos, Washington, DC: Liga Nacional das Cidades, pp. 72–
85. Cormen T (2013)Algoritmos desbloqueados.Cambridge, MA:
Imprensa MIT.
20
Cormen T, Leiserson CE, Rivest RL, et al. (2009)
Introdução a Algoritmos,3ª ed. Cambridge, MA: MIT
Press.
Crawford K (2013) Os vieses ocultos do Big Data.Harvard
Revisão de negócios.Epub antes da impressão em 1º de abril de
2013. Disponível em: https://hbr.org/2013/04/the-hidden-biasesin-
big-data (acessado em 1º de setembro de 2017).
Danaher J (2016) A ameaça da algocracia: realidade, resistência
e acomodação.Filosofia e Tecnologia29(3): 245–268.
Domingos P (2015)O algoritmo mestre: como a busca por
O Ultimate Machine Learning irá refazer nosso mundo.Nova
York, NY: Livros Básicos.
Dwyer CP, Hogan MJ, Harney OM, et al. (2014) Usando inter-
gerenciamento ativo para facilitar uma conceituação de
pensamento crítico centrada no aluno: um estudo de caso.Pesquisa
e Desenvolvimento de Tecnologia Educacional62(6): 687–709. Feeg R
(1988) Fórum do futuro da enfermagem pediátrica:
Olhando para o século XXI.enfermagem pediátrica14:
393–396.
Gillespie T e Seaver N (2016) Estudos críticos de algoritmos: A
lista de leitura. Disponível em: https://socialmediacollective.
org/reading-lists/critical-algorithm-studies/ (acessado em 1 de
setembro de 2017).
Greengard S (2015)A Internet das Coisas.Cambridge, MA:
Imprensa MIT.
Groarke JM e Hogan MJ (2015) Melhorando o bem-estar: uma
modelo emergente das funções adaptativas de ouvir
música.Psicologia da Música44(4): 769–791.
Hackeando I (2006)O Surgimento da Probabilidade,2ª ed.
Cambridge, MA: Cambridge University Press. Hogan MJ, Harney
O e Broome B (2014) Integrando argumentos
mapeamento mental com ferramentas de pensamento sistêmico –
Avanço da ciência de sistemas aplicada. In: Okada A, Buckingham
Shum S e Sherborne T (eds)Cartografia do Conhecimento:
Ferramentas de Software e Técnicas de Mapeamento.Londres:
Springer.
Hogan MJ, Harney O e Broome B (2015a) Catalisando col-
aprendizagem laborativa e ação coletiva para uma mudança
social positiva por meio da educação científica sistêmica. In:
Wegerif R, Kaufman J e Li L (eds)O Manual Routledge de
Pesquisa sobre o Ensino do Pensamento.Londres: Routledge.
Hogan MJ, Johnston H, Broome B, et al. (2015b) Consultoria
com os cidadãos na concepção de medidas e políticas de bem-estar:
lições de uma aplicação de ciência de sistemas.Pesquisa de
Indicadores Sociais123: 857–887.
Kanter RM (1991) O futuro da burocracia e da hierarquia
na teoria organizacional. In: Bourdieu P e Coleman J (eds)Teoria
Social para uma Sociedade em Mudança.Boulder, CO:
Westview.
Keever DB (1989, abril) Complexidades culturais na participação
projeto patativo de um sistema de informação
organizacional baseado em computador. Trabalho
apresentado na Conferência Internacional sobre Apoio,
Sociedade e Cultura: Usos Mútuos de Cibernética e Ciência,
Amsterdã, Holanda.
Kellermeit D e Obodovski D (2013)A Inteligência Silenciosa:
A Internet das Coisas.DND Empreendimentos LLC.
Grandes dados e sociedade
Kitchin R (2014)A Revolução dos Dados: Big Data, Dados Abertos,
Infraestruturas de Dados e suas Consequências.Londres:
Sage.
Kitchin R (2017) Pensando criticamente e pesquisando
algoritmos.Informação, Comunicação e Sociedade 20(1):
14–29.
Kitchin R e McArdle G (2016) O que torna Big Data, Big
Dados? Explorando as características ontológicas de 26 conjuntos
de dados.Big Data e Sociedade.Epub antes da impressão 2016. DOI:
10.1177/2053951716631130. Disponível em: http://journals.
sagepub.com/doi/abs/10.1177/2053951716631130 (acessado em 1
de setembro de 2017).
Kraemer F, van Overveld K e Peterson M (2011) Existe
uma ética dos algoritmos?Ética e Tecnologia da Informação
13(3): 251–260.
Laney D (2001) Gerenciamento de dados 3D: Controlando dados
volume, velocidade e variedade.Gartner. Mayer-Schonberger V
e Cukier K (2013)Big data: uma revolução
solução que transformará a forma como vivemos, trabalhamos e
pensamos. Londres: John Murray.
Medina E (2011)Revolucionários Cibernéticos: Tecnologia e
A política no Chile de Allende.Cambridge, MA: MIT Press.
Miller GA (1956) O número mágico sete, mais ou menos
dois: Alguns limites em nossa capacidade de processar
informações.Revisão de psicologia63: 81–97.
Mittelstadt B e Floridi L (2016) A ética do Big Data:
Questões atuais e previsíveis em contextos biomédicos.
Ética em Ciência e Engenharia22(2): 303–341. Morozov E
(2014) A máquina de planejamento: Projeto cybersyn
e as origens da nação Big Data.O Nova-iorquino. Disponível em:
http://www.newyorker.com/magazine/2014/ 10/13/planning-
machine (acessado em 15 de junho de 2017).
O'Neil C (2016)Armas de Destruição Matemática.Nova Iorque:
Editora Coroa.
Pasquale F (2015)A Sociedade da Caixa Preta.Cambridge, MA:
Harvard University Press.
Paulus PB e HC Yang (2000) Geração de Ideias em Grupos:
Uma base para a criatividade nas organizações.Comportamento
organizacional e processos de decisão humana82(1): 76–87. Peter F
(2017) Legitimidade política. In: Zalta EM (ed.)
Enciclopédia de Filosofia de Stanford.Disponível em: https://
plato.stanford.edu/entries/legitimacy/ (acessado em 15 de
junho de 2017).
Polonetsky J e Tene O (2013) Privacidade e Big Data:
Fazendo face às despesas.Revisão da Lei de Stanford66: 25–
33. Rezaei Zadeh M, Hogan M, O'Reilly J, et al. (2016)
Competências empreendedoras essenciais e suas
interdependências: insights de um estudo de empresários
irlandeses e iranianos, estudantes universitários e
acadêmicos. Revista Internacional de Empreendedorismo e
Gestão 13(1): 1–39.
Sato T (1979) Determinação de redes hierárquicas de
unidades instrucionais usando o método ISM.Pesquisa em
Tecnologia Educacional3: 67–75.
Straus S, Parker A, Bruce J, e outros. (2009) Assuntos do grupo: A
revisão dos efeitos dos processos de interação de grupo e
resultados em equipes analíticas.Documento de trabalho da
RAND. Disponível em: http://www.rand.org/content/dam/rand/
Danaher et ai.
pubs/working_papers/2009/RAND_WR580.pdf (acessado em 15 de
junho de 2017).
Warfield JN (1976)Sistemas Sociais: Planejamento, Política e
Complexidade.Nova York, NY: Wiley.
Warfield JN e Cárdenas AR (1994)Um manual de
Gerenciamento interativo,2ª ed. Ames: Iowa State
University Press.
Weber M (1947)A teoria do social e econômico
Organização.Nova York, NY: The Free Press.
21
Zarsky T (2012) Previsões automatizadas: percepção, lei e
política.Comunicações da ACM15(9): 33–35. Zarsky T (2013)
Previsão transparente.Universidade de Illinois
Revisão da Lei4: 1504.
Zarsky T (2016) O problema com decisões algorítmicas: uma
roteiro analítico para examinar a eficiência e a justiça na
tomada de decisão automatizada e opaca.Ciência,
Tecnologia e Valores Humanos41(1): 118–132.