Inteligência Artificial

Aplicações e Desafios

ITS RIO

OBLIQ LIVROS

RIO DE JANEIRO
Inteligência Artificial — Aplicações e desafios, por ITS Rio, está protegido com a seguinte licença: Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).

Texto revisto pelo Acordo Ortográfico de 1990.

Produção editorial
Obliq Livros

Preparação dos originais

ITS Rio

eISBN: 978-85-65404-29-7

Obliq Edição e Produção Ltda.

E-mail: comercial@obliq.com.br
http://obliq.com.br

Para citação:

BRANCO, Sérgio; MAGRANI, Eduardo (Coords.). Inteligência Artificial: Aplicações e desafios. Rio de Janeiro: Instituto de Tecnologia e Sociedade do Rio de Janeiro; ITS/Obliq, 2022.
Sumário

Apresentação

1. Reposicionando a interação humano-computador: “profiling” e discriminação algorítimica para além da inclusão — Maru Arvigo
2. Automação e o futuro do trabalho: Elementos de um roteiro estratégico para a educação e a formação profissional — Ana Paula Camelo e Cláudio
Lucena
3. Inteligência artificial e big data: o processamento de dados como instrumento de uma inclusão sócio digital — Camila Maria de Moura Vilela
4. Responsabilidade civil e inteligência artificial: quem responde pelos danos causados por robôs inteligentes? — Christine Albiani
5. A inteligência artificial e o ecossistema financeiro — Fernanda Borghetti Cantali
6. Inteligência artificial, self-driving cars, e suas consequências jurídicas em caso de acidentes — Gregório Soria Henriques
7. Accountability de algoritmos: a falácia do acesso ao código e caminhos para uma explicabilidade efetiva — Isabela Ferrari
8. Softwares de tomada de decisão e poder público: estudo de casos e efeitos regulatórios — Carlos Eduardo Rabelo Mourão e Davi Teofilo Nunes
Oliveira
9. Artificial intelligence in government: creating a framework for transparency and accountability — Laura Nathalie Hernández Rivera
10. Inteligência artificial e o direito autoral: o domínio público em perspectiva — Luca Schirru
11. Qualificação profissional face aos sistemas produtivos da Quarta Revolução Industrial — Marco Brandão
12. New perspectives on ethics and the laws of artificial intelligence — Eduardo Magrani
13. Inteligência artificial: riscos para direitos humanos e possíveis ações — Paula Gorzoni
14. Crowdsourcing e machine learning - uma revisão sistemática com discussão do uso para a participação pública dos cidadãos — Ricardo Mendes Jr.
Apresentação

A inteligência artificial impulsiona cada vez mais o desenvolvimento de tecnologias e de negócios mundialmente. Com ela, dispositivos inteligentes e
robôs vêm sendo aplicados para as mais variadas finalidades e nos mais diversos setores, como o financeiro, da saúde, de seguros, da propriedade
intelectual e automobilístico, impondo grandes desafios para os criadores e consumidores de aplicações tecnológicas.
O intenso uso de algoritmos, inteligência artificial e big data traz uma série de facilidades e otimiza processos, contudo questões relacionadas à
segurança dessas tecnologias e aos tratamentos de dados realizados precisam ser mais bem discutidas, de forma plural e multissetorial.
Pergunta-se: como analisar essas questões diante do cenário regulatório brasileiro? Nossa estratégia brasileira de inteligência artificial hoje é
satisfatória para abordar a temática e sua complexidade? É necessário estabelecer um marco regulatório para a IA? Quais são as principais questões
relativas à segurança, ética e bem-estar dos seres humanos quando tratamos de dispositivos inteligentes e robôs?
As questões acima foram amplamente discutidas em nosso grupo de pesquisa sobre inteligência artificial, sendo a presente obra resultado desse
importante e sério debate. O conteúdo específico de cada artigo não reflete necessariamente a opinião institucional do ITS, ou de qualquer de seus
membros, representando livre expressão de seu autor acerca da temática.
Os grupos de pesquisa do ITS são projetos anuais cujos participantes são selecionados por meio de edital público. Podem participar pesquisadores
de qualquer lugar do mundo, uma vez que os encontros são todos ao vivo e online. Até o momento, já foram desenvolvidos grupos sobre privacidade e
proteção de dados; cidades inteligentes; moderação de conteúdo em plataformas; metaverso; e, claro, inteligência artificial. Os frutos desses trabalhos
encontram-se em varandas e em publicações, as quais podem ser acessadas em nossos canais e site: https://itsrio.org/pt/home/ .
O ITS é um centro de pesquisa multidisciplinar totalmente independente, que trabalha em parceria com diversas instituições brasileiras e
estrangeiras, em temas voltados à proteção dos direitos humanos e à aplicação da tecnologia em nossa sociedade. Suas atividades apresentam quatro
áreas principais: direito e tecnologia; democracia e tecnologia; inovação e tecnologia; e educação.
Acreditamos na importância da difusão e do acesso ao conhecimento, por essa razão o presente livro encontra-se disponível de forma gratuita e sob
a licença Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).
Esperamos que, nos próximos anos, mais temas sejam acrescidos e que possamos continuar com a nossa missão de promover debates e conteúdos
de alto nível sobre questões de interesse público relacionadas à tecnologia e aos desafios que ela nos impõe.

Rio de Janeiro, 25 de abril de 2022

[1] [2]
Os coordenadores

1. Sérgio Branco é Cofundador e diretor do Instituto de Tecnologia e Sociedade do Rio de Janeiro (ITS Rio). Doutor e Mestre em Direito Civil pela Universidade do Estado do Rio de Janeiro (UERJ).

Especialista em propriedade intelectual pela Pontifícia Universidade Católica do Rio de Janeiro – PUC-Rio. Pós-graduado em cinema documentário pela FGV Rio. Graduado em Direito UERJ. Sócio

de Rennó Penteado Sampaio Advogados. ↵

2. Eduardo Magrani é Doutor em Direito, afiliado ao Berkman Klein Center na Universidade de Harvard e Pós-Doutor pela Universidade Técnica de Munique (TUM) em Proteção de Dados e

Inteligência Artificial. Sócio do Demarest Advogados, nas áreas de "Propriedade Intelectual" e "Privacidade, Tecnologia e Cybersegurança". Consultor Sênior na área de TMT do CCA Law Firm em

Portugal. Eduardo é Presidente do Instituto Nacional de Proteção de Dados no Brasil. Autor de diversos livros e artigos na área de Direito e Tecnologia, entre eles, a "Coleção de Cultura Digital",

composta pelos livros "Democracia Conectada", "A Internet das Coisas", "Entre Dados e Robôs" e "Vida em Rede". ↵
Reposicionando a interação humano-computador: “profiling” e discriminação algorítimica para além da inclusão

[1]
Maru Arvigo

“If we use machine learning models to replicate the world as it is today,

we’re not actually going to make social progress.”
Fala de Meredith Broussard no documentário “Coded Bias”
(Dirigido por Shalini Kantayya; 7th Empire Media)

Resumo: Este artigo tem como pretensão principal mapear três debates teóricos sobre inteligência artificial e inclusão: (i) a criação de perfis de
comportamento online (“profiling”) por meio de algoritmos de inteligência artificial que, se reduzidos às linhas de código, são construídos sobre
equações matemáticas, destacando-se certos aspectos de sua natureza, (ii) a manutenção de um perfil homogêneo de atores nos espaços de criação e
tomada de decisão a respeito dos mecanismos tecnológicos, e (iii) a importância do estímulo ao pensamento crítico nos desenvolvedores envolvidos na
modelagem e manipulação de tais informações. Observa-se, de um lado, que a técnica de “profiling” utiliza algoritmos de inteligência artificial para
encontrar padrões de comportamento entre usuários da rede, o que, pela natureza matemática dos modelos embutidos em IA, levantam
questionamentos sobre justiça, igualdade e discriminação algorítmica. Por outro lado, observa-se que algoritmos são criações humanas e, como tal, são
um reflexo do comportamento humano. Neste campo, são pautadas preocupações relacionadas a se de fato mecanismos tecnológicos são neutros ou,
pelo contrário, abrigam visões (e determinam pontos cegos) daqueles que desenvolvem o código em si e participam do processo criativo e decisório a
respeito dos mecanismos tecnológicos. Por isso, a inclusão de grupos sub-representados é essencial. Em uma terceira e introdutória discussão,
levanta-se o debate sobre a centralidade do componente humano na interação humano-computador para além da diversidade, visto que autores
apontam que seria necessário, além de uma composição mais diversa das equipes responsáveis pelo design dos algoritmos, também a capacitação dos
operadores na difícil tarefa de traduzirem valores humanos para o código. Neste cenário, este artigo propõe que endereçar as questões éticas
subjacentes ao debate teórico sobre modelos, tomadas de decisão automatizadas e “profiling” é paradoxal e desafiador, porém essencial para que a
tecnologia alcance seu potencial emancipatório.
Introdução: conceitos e aspectos essenciais sobre inteligência artificial

[2]
Abaixo os principais termos técnicos e conceitos empregados pela literatura acadêmica nos temas transversais à inteligência artificial são dispostos
com maior detalhamento para a melhor compreensão e fluidez dos próximos tópicos, nos quais a interlocução entre autores e a relação entre
conceitos é mais profunda.
Algoritmo é uma sequência finita de instruções bem definidas e não ambíguas, cujas características são: finitude (de passos, tempo e recursos),
exatidão (clareza e precisão), e efetividade. Neste sentido, quanto maior a complexidade da tarefa a ser realizada, maior deve ser o detalhamento das
instruções a fim de evitar ambiguidade. Também vale citar a concepção de Letouzé (2015, apud Cetic.br, 2018):

“Na ciência da computação, um algoritmo é uma série de instruções ou regras predefinidas, escritas em uma linguagem de programação
destinada para dizer a um computador como resolver sequencialmente um problema recorrente, especialmente ao envolver a realização de
cálculos e o processamento de dados. Há um crescente uso de algoritmos para fins de tomada de decisão em uma progressiva gama de
atividades e indústrias, tais como policiamento e serviços bancários”.

Para fins deste artigo, adota-se a concepção de Schermer (2011), para quem inteligência artificial é o conceito usado para descrever sistemas
computacionais que são capazes de aprender a partir de suas próprias experiências e resolver problemas complexos em diferentes situações –
[3]
habilidades que anteriormente pensamos ser únicas em seres humanos . Trata-se, também, de um termo guarda-chuva que engloba diversos tipos de
“machine learning” (“aprendizado de máquina”), que pode ser definido como “um conjunto de técnicas e mecanismos que permite que computadores
‘pensem’ ao criar algoritmos matemáticos baseados em dados acumulados”.
Aprendizado de máquina, por outro lado, engloba o conceito de “deep learning” (“aprendizado profundo”), considerando-se que alguns tipos de
aprendizado profundo são criados com os mesmos princípios de redes neurais do cérebro e geralmente são baseados em um conjunto conhecido de
“training data” (“dados de treinamento”) que auxilia os algoritmos de autoaprendizado a desenvolver uma tarefa. Também fazendo referência a Letouzé
(2015, apud Cetic.br, 2018):

“[aprendizado de máquina] refere-se à construção e estudo de algoritmos computacionais – procedimentos, passo a passo, para cálculos e/ou
classificação – que podem aprender a crescer e mudar quando expostos a novos dados. Representa a capacidade das máquinas de ‘aprender’ a
fazer previsões e tomar decisões melhores com base em experiências passadas, como na filtragem de spam, por exemplo”.

Sistemas construídos sobre algoritmos de aprendizado de máquina desenvolvem modelos, termo que designa um programa computacional relacionado
a uma finalidade analítica determinada pelas instruções contidas em seu código. Quando falamos de modelos, a capacidade de entender (ou, sob a
ótica dos desenvolvedores do código, de explicar) como os “outputs” (“resultados”) foram produzidos a partir dos “inputs” (“dados de entrada”) varia de
acordo com a complexidade do modelo em si. Vale mencionar, não sem motivo, que é possível expressar modelos como equações matemáticas, se
reduzidos às linhas de código.
[4]
Ainda que seja possível elencar uma grande variedade de métodos, abordagens e modelos , o de maior interesse para este artigo diz respeito às
“neural networks” (“redes neurais”), conforme explicitado abaixo.
Redes neurais são construídas sobre uma metodologia que é em muito inspirada pelo nosso entendimento da forma como o cérebro funciona. Tais
redes são estruturadas sobre componentes individuais denominados “perceptron” que, se engatilhados uns aos outros, podem criar redes grandes e
complexas. Note-se que “perceptron” é um modelo matemático que recebe “inputs” (“dados de entrada”) e produz uma única saída binária (“output”) de
[5]
acordo com os pesos atribuídos a cada um dos dados de entrada .
Em outras palavras, cada variável tem um peso que determina o quanto a característica presente no “input” (“dado de entrada”) respectivo
influenciará no “output” (“resultado”) final. Uma rede neural consiste em três partes, na seguinte ordem: “input layer” (“camada de entrada”), “hidden
layer” (“camada oculta”), e “output layer” (“camada de saída”). Se há mais de um “hidden layer” (“camada oculta”), então o “machine learning”
(“aprendizado de máquina”) é considerado um “deep learning” (“aprendizado profundo”). Na perspectiva estrita de redes neurais, por outro lado, a
presença de mais de uma camada oculta entre a camada de entrada e a camada de saída caracteriza uma rede neural como “deep neural network”
(“rede neural profunda”).
Um dos desafios das redes neurais é que, da forma como descritas acima, cada “input” (“dado de entrada”) é visto de forma isolada. Ocorre que, em
muitas situações, trabalha-se com informações que têm um contexto. Algumas palavras, por exemplo, possuem um significado diferente a depender do
contexto em que estão inseridas, e este contexto nem sempre é expresso pela mesma sentença. É também por isso que algumas redes neurais possuem
a forma de uma memória de curto tempo (“short-term memory”). Isso tanto permite diferentes “outputs” (“resultados”) baseados nos “inputs” (“dados de
entrada”) inseridos previamente, quanto significa que pode ser muito difícil simplesmente examinar os algoritmos para entender como eles funcionam
e quais decisões eles tomam.
Disso decorre que as capacidades de aprendizagem e de tomada de decisão das redes neurais estão relacionadas ao que Pasquale (2015) conceitua
[6]
como “black box” (“caixa preta”) devido à obscuridade de seu processo decisório . No mais, a literatura acadêmica também trata sistemas de
aprendizado de máquina, em especial de aprendizado profundo, como sendo, na maior parte dos casos, quase impossíveis de terem seu caminho lógico
refeito para entender o porquê de uma operação (ROBERTO, 2020).
Note-se também que, nas palavras de Cathy O’Neil, modelos matemáticos, por sua natureza, são baseados no passado e nas suposições de que os
[7]
padrões se repetirão (O’NEIL, 2016, p. 38, tradução nossa) . A autora ainda afirma (2016, p. 20-21):

“There would always be mistakes, however, because models are, by their nature, simplifications. […] Inevitably, some important information
gets left out. […] To create a model, then, we make choices about what’s important enough to include, simplifying the world into a toy version
 that can be easily understood and from which we can infer important facts and actions. […] A model’s blind spots reflect the judgements and
priorities of its creators.”

Conforme será exposto a seguir, a “codificação do passado” e o aspecto decisório (ou os “blind spots” fundados nas crenças do cientista de dados que
escreve as linhas de código) pode representar uma ameaça ao potencial emancipatório da tecnologia.
Profiling: representando indivíduos em grupos com base em padrões de comportamento fundados em
estatísticas

O que é “profiling”?
De acordo com a literatura acadêmica, a técnica de “profiling” pode ser definida como:

“Profiling is the process of discovering correlations between data in databases that can be used to identify and represent a human or
nonhuman subject (individual or group) and/or the application of profiles (sets of correlated data) to individuate and represent a subject or to
[8]
identify a subject as a member of a group or category” .

[9] [10] [11]

Desde táticas antiterrorismo , passando por microdirecionamento e impulsionamento de conteúdo em época eleitoral , credit scoring até chegar à
[12] [13]
publicidade comportamental , a técnica de perfilhamento está tão presente em nosso cotidiano quanto os documentários sobre os “perigos
[14] [15]
ocultos” e “efeitos nocivos” de algoritmos de redes sociais. As mensagens de “este site utiliza cookies – e tecnologias semelhantes para otimizar sua
experiência de navegação” ou similares, exibidas a cada nova janela aberta em um navegador web (e que se tornaram mais frequentes ainda após a
entrada em vigor da Lei Geral de Proteção de Dados Pessoais em setembro de 2020) denunciam: estamos sendo “perfilhados”.
Os riscos associados à técnica de “profiling”: uma crítica ao “viés” de privacidade no olhar sobre “profiling”
Conforme aponta Schermer (2011), há atualmente uma supervalorização dos riscos associados entre a técnica de “profiling” e a privacidade dos
usuários da rede. O excesso de enfoque dado a esta perspectiva de análise acaba ofuscando outros riscos que a criação de perfis de comportamento
[16]
online e a mineração de dados podem representar para grupos e indivíduos. Para o autor, os riscos mais significativos associados à criação de perfis
e à mineração de dados são:

1. Discriminação: A classificação e divisão estão no centro da mineração de dados, sobretudo a preditiva. Como tal, a discriminação (em sua acepção
relativa à “capacidade de distinguir”) é parte integrante da criação de perfis de comportamento online e da mineração de dados. No entanto, há
[17]
situações em que a discriminação é considerada antiética e ilegal .
2. Desindividualização: Em muitos casos, a mineração de dados é, em grande parte, relacionada à classificação e, portanto, há o risco de que as
pessoas sejam julgadas com base nas características do grupo e não em suas próprias características individuais. Os perfis de grupo geralmente
contêm estatísticas e, portanto, as características dos perfis de grupo podem ser válidas para o grupo e para indivíduos como membros desse
grupo, embora não para indivíduos como tal.
3. Assimetrias de informação: A mineração de dados pode levar a informações valiosas para as organizações que lançam mão desse artifício. Quando
este mecanismo visa obter mais informações sobre indivíduos ou grupos, encontramos o problema da assimetria informacional, o que gera um
desequilíbrio de poder entre as partes.

A questão sobre a qual este artigo se debruça é o primeiro problema listado por Schermer, sem, no entanto, desprezar os riscos associados às demais
problemáticas levantadas pelo autor.
Uma proposta conceitual sobre “profiling”: as três camadas de dados dos perfis de comportamento na Internet
Szymielewicz (2019) defende a tese, com a qual este artigo está alinhado, de que a identidade digital dos usuários da rede possui três camadas, das
[18]
quais é possível proteger, a priori, somente uma. A autora discorre que as camadas que compõem os perfis são :

1. O que você compartilha: Trata-se dos dados que você escolhe compartilhar nas redes sociais e aplicativos móveis. Em tradução autorizada por
[19]
Szymielewicz , diz-se que “[são] dados que você alimenta em mídias sociais e aplicativos móveis. Isso inclui o que você revelou em suas
informações de perfil, suas postagens públicas e mensagens privadas, curtidas, consultas de pesquisa, fotos enviadas, testes e enquetes que você
realizou, eventos que participou, sites visitados e outros tipos de interações conscientes”.
2. O que seu comportamento diz aos algoritmos (padrão de comportamento): São os dados cuja contextualização permite aos algoritmos
correlacionarem metadados e, a partir deles, criar padrões do seu comportamento na rede e fora dela.
3. O que a máquina pensa sobre você (inferências e categorizações em perfis de grupo): É a análise preditiva que relaciona seu comportamento a
padrões (principalmente de consumo) que você não imagina – pelo menos não conscientemente – por meio da correlação do seu padrão
comportamental ao de um grupo com comportamento parecido e cujo “match” é estatisticamente alto. Logo, as chances de você pertencer àquele
grupo (ou seja, responder da mesma forma aos mesmos estímulos) é – frise-se, do ponto de vista estatístico – muito alta. Em outras palavras,
trata-se da inferência de conclusões sobre seus dados – sejam eles compartilhados (in)voluntariamente por você (primeira camada), sejam eles o
rastreamento de padrões sobre o qual você não tem escolha (segunda camada).

A literatura acadêmica sobre discriminação algorítmica e sua intersecção com práticas baseadas em “profiling” e decisões automatizadas demonstram
que decisões auturiais, ou estatísticas, a respeito de seres humanos não só são comuns em qualquer sistema jurídico e indispensáveis, como também
alegadamente têm sob si uma racionalidade econômica – como formulam Mendes e Mattiuzzo (2019, p. 50): “Em outras palavras, agentes oferecem
opiniões sobre outros indivíduos baseadas em características observáveis, as quais, por sua vez, são utilizadas como substitutas de outras
[20]
características não observáveis”. As autoras elencam quatro tipos de discriminação algorítmica : discriminação por erro estatístico; discriminação
por generalização; discriminação por uso de informações sensíveis; e discriminação limitadora do exercício de direitos.
Há que se examinar, neste sentido, que a automação e a generalização enquanto conceitos isolados e descontextualizados podem não ser
considerados nocivos. É o que parece ter concluído o legislador pátrio ao determinar a redação do princípio da não discriminação consagrado no art.
6º, IX da Lei Geral de Proteção de Dados Pessoais (Lei 13.709, de 14 de agosto de 2019), visto que a proibição ao tratamento de dados pessoais é restrita
a finalidades discriminatórias “ilícitas” (a exemplo do que dispõe o art. 11, § 5º da Lei) ou “abusivas”, conforme delimitado acima.
A ausência de diversidade no perfil dos atores nos espaços de criação e tomada de decisão dos mecanismos
tecnológicos

Algoritmos são criações humanas, afinal – e as implicações de times pouco diversos sobre tomadas de decisão automatizadas
Neste tópico, será tratada a sub-representação de minorias no ecossistema da tecnologia, sobretudo nos espaços próprios para a criação e tomada
de decisão a respeito de diretrizes de desenvolvimento da tecnologia na sociedade contemporânea. Conforme discorre Saboya (2013):

“Segundo pesquisas realizadas por essa mesma autora (ROSSITER, 1982, 1995, 2003), os preconceitos se revelam na alocação de postos de
trabalho: delegam-se às mulheres tarefas repetitivas e consideradas femininas, como por exemplo, as que demandariam qualificações
específicas – expressão essa que seria um eufemismo para tarefas repetitivas e consequentemente mal pagas – que exigiriam maior cuidado e
atenção (como as relacionadas ao posto de auxiliar nos laboratórios) e que, por conseguinte, deixariam as mulheres fora dos círculos de
decisão; em outras palavras, atividades que as impossibilitariam de subir na carreira acompanhando seus colegas homens. Além disso, as
mulheres fariam carreiras mais longas, demorando-se mais que os homens nos diferentes níveis, em razão de casamento e/ou filhos, o que lhes
[21]
exigiria uma dupla jornada de trabalho” .

Dito isso, importante pontuar que os mecanismos tecnológicos incorporam pelas linhas de código um certo olhar e entendimento de mundo próprio
do cientista de dados responsável pela modelagem e manipulação das informações a seu dispor, o que nos recorda o aspecto decisório de quais pontos
cegos (ou os “blind spots”) serão deixados para trás em determinada circunstância. Reitere-se, portanto: a simplificação do mundo transcrita no
aspecto decisório de um modelo matemático embutido em um algoritmo de aprendizado de máquina pode representar uma ameaça ao potencial
emancipatório da tecnologia.
Desde a seleção de quais dados são relevantes para que se direcione o alvo do mecanismo, passando pelo dimensionamento do valor (“peso”) dado
aos diferentes dados coletados (“inputs” ou “dados de entrada”) e pelas inferências de padrão possíveis a partir de tais dados, até chegar à tomada de
decisão em si, o algoritmo não passa de um arquétipo idealizado por um ser humano.
Nas palavras da publicação “Panorama Setorial da Internet” (Ano 10, N. 2) do Cetic.br:

“Algoritmos são um reflexo do comportamento humano; até quando não expressos explicitamente, certos vieses presentes nos dados e nas
decisões de projeto podem ser influentes no comportamento do sistema. Por isso, em alguns casos, decisões baseadas em algoritmos podem
reproduzir ou reforçar um viés negativo, com padrões de discriminação e manutenção de estereótipos, como herança de decisões
preconceituosas de pessoas ou simplesmente pelos dados refletirem aspectos culturais, históricos e socio-demográficos existentes na
[22]
sociedade” .

O que em um primeiro momento pode parecer pouco factível agrega em um só caso os quatro apontamentos mais importantes levantados pela Casa
[23]
Branca sobre a escolha de alguns dados de entrada em detrimento de outros no desenho de uma rede neural treinada por inteligência artificial. São
eles:

1. Dados mal selecionados, em que os projetistas do sistema algorítmico decidem que certos dados são importantes para a decisão, mas não para
outros. No exemplo da “rota mais rápida”, o arquiteto do sistema pode incluir apenas informações sobre estradas, mas não sobre horários de
transporte público ou rotas de bicicleta, o que prejudica indivíduos que não possuem um veículo. Tais questões podem ser consideradas como
erros qualitativos, em que as escolhas humanas na seleção de certos conjuntos de dados como entradas algorítmicas sobre outras são mal
aconselhadas. Escolhas descuidadas de entrada podem levar a resultados tendenciosos – no exemplo da “rota mais rápida”, resultados que podem
favorecer rotas para carros, desencorajar o uso do transporte público e criar desertos em trânsito. De forma semelhante, os projetistas podem
selecionar dados com muita ou pouca granularidade, resultando em efeitos potencialmente discriminatórios.
2. Dados incompletos, incorretos ou desatualizados, em que pode haver falta de rigor técnico e abrangência na coleta de dados, ou onde inexatidões
ou lacunas podem existir nos dados coletados. No exemplo da “rota mais rápida”, isso poderia ocorrer se, por exemplo, o sistema algorítmico não
atualizasse as programações de ônibus ou trem regularmente. Mesmo que o sistema funcione perfeitamente em outros aspectos, as instruções
resultantes podem desencorajar novamente o uso do transporte público e prejudicar aqueles que não têm alternativas viáveis, como muitos
passageiros e residentes de baixa renda.
[24]
3. “Bias” (“viés”) de seleção, por meio do qual o conjunto de entradas de dados para um modelo não é representativo de uma população e, portanto,
resulta em conclusões que podem favorecer determinados grupos em detrimento de outros. No exemplo da “rota mais rápida”, se os dados de
velocidade forem coletados apenas dos indivíduos que possuem smartphones, os resultados do sistema podem ser mais precisos para populações
mais ricas com concentrações mais altas de telefones inteligentes e menos precisos nas áreas mais pobres onde as concentrações de smartphones
são mais baixas.
[25]
4. Perpetuação não intencional e promoção de “bias” (“vieses”) históricos , em que um loop de feedback faz com que o “bias” nas entradas ou nos
resultados do passado se replique nas saídas de um sistema algorítmico. Por exemplo, quando as empresas enfatizam a “contratação por fit
cultural” em suas práticas de emprego, elas podem inadvertidamente perpetuar os padrões de contratação passados se a cultura atual do local de
trabalho for baseada principalmente em um conjunto específico e restrito de experiências. Em um local de trabalho ocupado principalmente por
homens brancos jovens, por exemplo, um sistema algorítmico projetado principalmente para contratar por cultura (sem levar em conta outras
metas de contratação, como diversidade de experiência e perspectiva) pode recomendar desproporcionalmente contratar mais homens brancos
porque eles pontuam melhor em se encaixar com a cultura.
A síntese das problemáticas listadas acima é condensada no documentário “Coded Bias”, que reflete as preocupações mais recentes sobre proteção de
direitos civis contra vigilância e discriminação baseada em algoritmos com vieses. De quebra, a produção conta com a estimulante participação de
pesquisadoras conceituadas na intersecção entre ética, inteligência artificial e discriminação – Joy Buolamwini, Cathy O’Neil, Safiya Noble e Timnit
Gebru. O filme é um primado da documentação artística por conciliar conceitos científicos complexos e o cotidiano e realidade de usuários da
Internet, o que tem um alto potencial de impacto.
Assim, como herança de decisões discriminatórias de pessoas ou simplesmente pelos dados refletirem aspectos culturais, históricos e
sóciodemográficos existentes na sociedade (Cetic.br, 2018), é importante que haja a expansão de iniciativas de inclusão e diversidade nos setores
público e privado para que o perfil dos atores envolvidos no processo criativo e decisório sobre mecanismos tecnológicos abranja grupos sub-
representados no ecossistema da tecnologia, pois estes são os principais afetados pela perpetuação dos preconceitos estruturais da sociedade
contemporânea.
Para além da composição dos times do ecossistema de tecnologia – um breve apontamento sobre a
importância do pensamento crítico nas carreiras de TICs

Contudo, iniciativas de inclusão e ampliação da diversidade no ambiente corporativo (sobretudo em espaços criativos e decisórios) não são o suficiente
para endereçar os tópicos levantados ao longo do artigo. Conforme pontuam autores como Sorelle Friedler (apud Sara Wachter-Boettcher, 2017, p.
[26]
136), Cathy O’Neil (2016, p. 155; 204) e Mendes e Mattiuzzo (2019, p. 60), a redução dos vieses presente nos modelos tecnológicos tem no componente
[27]
humano seu aspecto central .
Neste sentido, as pessoas que lidam diretamente com as linhas de código dos modelos (isto é, os próprios “modelers”, os cientistas de dados em si)
deveriam ser capacitados a pensar de forma crítica sobre os dados que estão manipulando, as escolhas que estão fazendo, os efeitos do uso daquele
mecanismo no mundo real e, talvez mais importante, os aspectos éticos e morais de seu próprio processo de tomada de decisão.
Nessa esteira, o ensinamento de Cathy O’Neil (2016, p. 218) é basilar:

“Predictive models are, increasingly, the tools we will be relying on to run our institutions, deploy our resources, and manage our lives. But as
I’ve tried to show throughout this book [Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy], these
models are constructed not just from data but from the choices we make about which data to pay attention to – and which to leave out. Those
choices are not just about logistics, profits, and efficiency. They are fundamentally moral.
If we back away from them and treat mathematical models as a neutral and inevitable force, like the weather or the tides, we abdicate our
responsibility.”
Conclusão

Este artigo teve como objetivo mapear os debates teóricos sobre inteligência artificial e inclusão, dando ênfase a um possível e paradoxal
reposicionamento da interação humano-computador.
De um lado, a técnica de “profiling” possui riscos associados principalmente a discriminação algorítmica, visto que modelos matemáticos embutidos
em sistemas de inteligência artificial operam à base de padrão, correlação e predição, para então relacionar um perfil individual ao de um grupo de
acordo com estatísticas. Contudo, conforme demonstrado ao longo do texto, automação e generalização não são conceitos que, isolados e
descontextualizados devem ser considerados nocivos, mas sim quando o tratamento de dados pessoais for realizado com finalidade “ilícita” ou
“abusiva”.
Por outro, percebe-se que algoritmos são arquétipos humanos e, por isso, carregam consigo aspectos culturais, históricos e sócio demográficos
existentes na sociedade. Não é por outra razão que políticas de inclusão no setor privado e público são urgentes a fim de que os mecanismos
tecnológicos sejam menos excludentes e não mais reproduzam a “codificação do passado”.
Por fim, uma terceira e incipiente questão é levantada em atenção ao que pesquisadores têm proposto sobre a interação humano-computador: a
centralidade do componente e da inteligência humana (alguns diriam que a única de fato inteligente nesta relação) para que a projeção do passado para
o futuro não perpetue nossas estratificações sociais, com todas as injustiças existentes (O’NEIL, 2016, p. 70). Assim, o aprimoramento e o
desenvolvimento tecnológico passam necessariamente pelo pensamento crítico dos “modelers”, cientistas de dados ou, de forma mais ampla, das
pessoas responsáveis pela manipulação e modelagem das informações à sua disposição para a criação de modelos.
O’Neil (e o autor deste artigo) não fogem da responsabilidade de assumir que a proposta é um paradoxo, se considerarmos o histórico do mercado
financeiro e da construção de algoritmos de scoring de crédito. Contudo, assim como não é possível retornar a uma realidade em que o cartum de
[28]
Peter Steiner no The New Yorker faz sentido , também não há e tampouco haverá espaço para um horizonte tecnológico que não enderece questões
éticas relacionadas a seu próprio desenvolvimento.
Bibliografia

BIGONHA, Carolina. (2018). Panorama setorial da Internet: Inteligência Artificial em perspectiva. In: Inteligência Artificial e ética, Ano X, Número 2.
Cetic.br.
BIONI, Bruno R. Privacidade e proteção de dados pessoais em 2018: Três pautas que prometem esquentar o debate brasileiro.
BOLUKBASI, Tolga et al. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. arXiv preprint arXiv:1607.06520,
2016.
BKRAN, Maja. AI-Supported Decision-Making under the General Data Protection Regulation.
BROWNSWORD, Roger. Knowing me, knowing you – Profiling, Privacy and the Public Interest, pp. 345 – 363. In: Profiling the European Citizen.
BYGRAVE, L. (2001) Automated Profiling, Minding the Machine: Article 15 of the EC Data Protection Directive and Automated Profiling. Computer
Law & Security Review 17(1):17-24. COGITAS, Ergo Sum. The Role of Data Protection Law and Non-discrimination Law in Group Profiling in the Private
Sector.
DATATILSYNET, The Norwegian Data Privacy Authority (2018). AI and Privacy.
DEIGHTON, John. “Market Solutions to Privacy Problems?” Chap. 6 in Digital Anonymity and the Law – Tensions and Dimensions. Vol. II, edited by C.
Nicoll, J.E.J. Prins, and M.J.M. van Dellen, 137 – 146. Information Technology & Law Series. The Hague: T.M.C. Asser Press, 2003.
ELECTRONIC FRONTIER FOUNDATION (2021). Google’s FLoC Is a Terrible Idea.
FEDERAL TRADE COMMISSION OF THE UNITED STATES OF AMERICA (2014). Data Brokers: A Call for Transparency and Accountability.
INSTITUTO IGARAPÉ (2018). Existe um direito à explicação na Lei Geral de Proteção de Dados do Brasil? Artigo Estratégico 39 | Dezembro 2018.
KAMARINOU, Dimitra et al. “Machine Learning with Personal Data: Profiling, Decisions and the EU General Data Protection Regulation”.
KAMBER, Micheline; PEI, Jian. (2012). Data mining: concepts and techniques. 3rd ed. ISBN 978-0-12-381479-1.
LETOUZÉ, Emmanuel (2018). Big Data e desenvolvimento: uma visão geral. In: Big Data para o desenvolvimento. Ano X, Número 1. Cetic.br.
LUCENA, Pedro Arthur Capelari de. Policiamento preditivo, discriminação algorítmica e racismo: potencialidades e reflexos no Brasil.
McCLURG, Andrew J. (2003) A Thousand Words Are Worth a Picture: A Privacy Tort Response to Consumer Data Profiling, 98 Nw. U. L. Rev. 63
(2003).
MENDES, Laura Schertel; MATTIUZZO, Marcela (2019). Discriminação Algorítmica: Conceito, Fundamento Legal e Tipologia. Direito Público, [S.I.], v.
16, n. 90, dez. 2019. ISSN 2236-1766.
O’NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing Group, USA (2016).
POWLES, J; NISSENBAUM, H (2018). The Seductive Diversion of ‘Solving’ Bias in Artificial Intelligence: Trying to “fix” A.I. distracts from the more
urgent questions about the technology.
PROGRAMARIA; C.A. Technologies. Por que o machismo cria barreiras para as mulheres na tecnologia.
NAVARRO, Ana Maria. N. P. O Direito Fundamental à Autodeterminação Informativa. In: CONPEDI/UFF. (Org.). XXI Congresso Nacional do CONPEDI.
1ed.: FUNJAB, 2012.
ROCHA, Elisa Corrêa da. (2015). O direito à autodeterminação informativa e a proteção de dados pessoais.
SABOYA, Maria Clara Lopes (2013): “Relações de Gênero, Ciência e Tecnologia: Uma Revisão da Bibliografia Nacional e Internacional”. Educação,
Gestão e Sociedade: revista da Faculdade Eça de Queirós, ISSN 2179-9636, Ano 3, número 12, novembro de 2013.
SCARISBRICK-HAUSER, Anne Marie. Data analysis and profiling.
SCHERMER, Bart W (2011). The limits of privacy in automated profiling and data mining. In: Computer law & security review 27.
SZYMIELEWICZ, Katarzyna (2019) Your digital identity has three layers, and you can only protect one of them. In: Quartz online, Ideas Series.
TEIXEIRA, Lucas (2015). Data Brokers e Profiling: vigilância como modelo de negócios.
WHITE HOUSE (2016). “Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights”.

1. Bacharel em direito pela Universidade de São Paulo (USP). Participou do Grupo de Pesquisa em Inteligência Artificial e Inclusão do ITS Rio como ouvinte. E-mail: maru.arvigo@gmail.com. ↵

2. O uso do termo “inteligência” no que se denomina “inteligência artificial” tem sido contestado por pesquisadores. Neste sentido, dois livros são indicativos autores têm pontuado a respeito da

“inteligência” de algoritmos: “Algorithms Are Not Enough: Creating General Artificial Intelligence”, de Herbert L. Roitblat, e “Artificial Unintelligence: How Computers Misunderstand the World”, de

Meredith Broussard. Uma indicação de leitura mais breve é a contribuição de Elizabeth Fernandez em sua coluna na Forbes que, em 2019, escreveu: “AI Is Not Similar To Human Intelligence.

Thinking So Could Be Dangerous”. Ver também artigo publicado por Ragnar Fjelland, Professor Emérito do Centro de Estudos das Ciências e Humanidades da Universidade de Bergen, Noruega, na

Nature: “Why general artificial intelligence will not be realized”. ↵

3. É importante que seja feita a ressalva, contudo, de que a disputa a respeito do termo “inteligência” (cf. nota de rodapé n. 2) é de extrema relevância e deve ser acompanhada de perto por juristas,

cientistas sociais, cientistas da computação e todos os interessados no desenvolvimento ético da tecnologia. ↵

4. Paulo Sá Elias detalha outros modelos em seu artigo “Algoritmos, Inteligência Artificial e o Direito”. Disponível em: https://www.conjur.com.br/dl/algoritmos-inteligencia-artificial.pdf. Acesso em:

23.03.21. ↵

5. Para uma compreensão mais profunda do que são redes neurais e o que é um perceptron, recomenda-se a leitura “Deep Learning Book”, cujo capítulo a respeito do tema está integralmente

disponível na Internet para acesso gratuito. ↵

6. Pesquisas e debates têm sido conduzidos sobre “Explainable AI” (XAI). Desenvolvidos sobretudo no Hemisfério Norte e com diferentes abordagens sobre o que de fato significa uma IA “explicável”,

os papers abordam soluções, arquiteturas e técnicas que poderiam diminuir a opacidade dos algoritmos de aprendizado de máquina. ↵

7. No original: “[That was a concern, because] mathematical models, by their nature, are based on the past, and on the assumption that patterns will repeat”. ↵

8. Hildebrandt, M. (2008): Defining Profiling: A New Type of Knowledge? In: Profiling the European Citizen, Cross-Disciplinary Perspectives (Hildebrandt, M., Gutwirth, S., eds.), Springer Science, p. 17.
 ↵

9. “In the wake of the 9/11 terror attacks against the United States, John Poindexter, the highest-ranking official to be criminally convicted in the Iran-Contra debacle in the mid-1980s, successfully

pitched an idea to the U.S. Defense Department to create a computerized surveillance system to track the everyday activities of all American citizens with the goal of ferreting out terrorists. The

program, known originally as Total Information Awareness (TIA) would apply sophisticated computer data-mining techniques to sift through virtual mountains of data of everyday transactions, such

as credit card purchases, e-mail and travel itineraries, in an attempt to discover patterns predictive of terrorist activity. If implemented, TIA's exercise in data mining would, in the words of one

critic, ‘amount to a picture of your life so complete it's equivalent to somebody following you around all day with a video camera’.” Andrew J. McClurg, A Thousand Words Are Worth a Picture: A

Privacy Tort Response to Consumer Data Profiling, 98 Nw. U. L. Rev. 63 (2003). Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1628724. Acesso em: 20.02.2019. ↵

10. "Online political microtargeting involves ‘creating finely honed messages targeted at narrow categories of voters’ based on data analysis ‘garnered from individuals’ demographic characteristics and

consumer and lifestyle habits’. Online political microtargeting can take the ‘form of political direct marketing in which political actors target personalized messages to individual voters by applying

predictive modelling techniques to massive troves of voter data’. Online political microtargeting could also be seen as a type of behavioural advertising, namely political behavioural advertising.

Behavioural advertising is a modern marketing technique that involves tracking people’s online behaviour to use the collected information to display individually targeted advertisements. Online

political microtargeting is used, for example, to identify voters who are likely to vote for a specific party and therefore can be targeted with mobilising messages. (For ease of reading, we also refer

to ‘microtargeting’). Microtargeting also enables a political party to select policy stances that match the interests of the targeted voter – for instance family aid for families, or student benefits for

students." Borgesiues et al: Online Political Microtargeting: Promises and Threats for Democracy, Utrecht Law Review, v. 14, issue 1, 2018. Disponível em:

https://www.ivir.nl/publicaties/download/UtrechtLawReview.pdf. Acesso em: 20.02.2019. Para mais informações a respeito, sugiro a leitura do conteúdo disponível em

http://www.internetlab.org.br/pt/tag/microdirecionamento/. Também é interessante visitar o site a seguir, cujo projeto monitora o microdirecionamento e perfilhamento psicológico durante as

eleições em diversos países do mundo: https://whotargets.me. ↵

11. Para mais informações a respeito, sugiro a leitura de “O que esperar do patrocínio de posts de candidatos durante a eleição” (VENTURINI, 2018). Disponível em:

https://www.nexojornal.com.br/expresso/2018/01/07/O-que- esperar-do-patroc%C3%ADnio-de-posts-de-candidatos-durante-a-elei%C3%A7%C3%A3o. Acesso em: 20.02.2019. ↵

12. Uma interessante intersecção pode ser feita com o artigo publicado por Fernando Inglez de Souza Machado e Regina Linden Ruaro: “PUBLICIDADE COMPORTAMENTAL, PROTEÇÃO DE DADOS

PESSOAIS E O DIREITO DO CONSUMIDOR”. Disponível em: https://indexlaw.org/index.php/conpedireview/article/view/3745. Acesso em: 28.03.21. ↵

13. Tradução livre do termo “profiling”, o termo “perfilhamento” foi adotado em referência ao artigo de Bruno Bioni no JOTA, em que o autor sugere quais seriam 3 pautas quentes para a temática de

privacidade e proteção de dados pessoais em 2018. Disponível em: https://www.jota.info/opiniao-e-analise/colunas/agenda-da-privacidade-e-da-protecao-de-dados/privacidade-e-protecao-

de-dados-pessoais-em-2018-15012018. Acesso em: 28.03.21. ↵

14. “Cookies são arquivos criados pelos websites que você visita. Eles tornam sua experiência on-line mais fácil, economizando informações de navegação. Com os cookies, os sites podem manter você

conectado, lembrar suas preferências do site e fornecer conteúdo relevante localmente. Existem dois tipos de cookies: (i) Cookies primários: criados pelo site que você acessa. O site é exibido na

barra de endereços; e (ii) Cookies de terceiros: criados por outros sites. Esses sites possuem uma parte do conteúdo, como anúncios ou imagens, que você vê na página da Web que acessa.”

Disponível em: https://support.google.com/chrome/answer/95647?co=GENIE.Platform%3DDesktop&hl=pt-BR. Acesso em 05.04.21. ↵

15. A respeito disso, é interessante notar as recentes propostas do Google - e as reações da sociedade civil e empresas concorrentes - pelo bloqueio de cookies de terceiros, tecnologia utilizada para

rastrear a navegação de usuários, por meio do Privacy Sandbox. Para isso, a empresa anunciou que substituirá tal tecnologia por um mecanismo de agrupamento de usuários com comportamentos

semelhantes, o que, alega o Google, não mais permitirá a identificação individualizada dos usuários da Internet. Contudo, a Electronic Frontier Foundation, uma das organizações não

governamentais mais proeminentes do mundo na defesa da liberdade de expressão e privacidade na Internet, rebateu dizendo que a iniciativa é uma “terrível ideia”. Nota da EFF disponível em:

https://www.eff.org/pt-br/deeplinks/2021/03/googles-floc-terrible-idea. Acesso em: 23.03.21. ↵

16. "Data mining is the process of discovering interesting patterns and knowledge from large amounts of data. The data sources can include databases, data warehouses, the Web, other information

repositories, or data that are streamed into the system dynamically" (HAN, KAMBER & PEI, 2012). ↵

17. Sob a perspectiva da proteção de dados e da privacidade, o ordenamento jurídico brasileiro incorporou o princípio da não discriminação ao inseri-lo dentre o rol de princípios da Lei Geral de

Proteção de Dados (Lei 13.709, de 14 de agosto de 2019), consagrados no art. 6º da Lei. ↵

18. Um gráfico, criado pela Panoptykon Foundation (Polônia), que demonstra de forma lúdica quais dados estão associados a cada uma dessas camadas está disponível em:

https://panoptykon.org/sites/default/files/3levels.png. Acesso em: 20.02.2019. ↵

19. À época da re-publicação deste trabalho, o link para a versão traduzida do artigo de Szymielewicz estava quebrado. Por este motivo, disponibilizo a versão original: “Your digital identity has three

layers, and you can only protect one of them”. Disponível em: https://qz.com/1525661/your-digital-identity-has-three-layers-and-you-can-only-protect-one-of-them/. Acesso em: 23.03.21. ↵

20. Conforme explicitam as autoras, o significado de “discriminação algorítmica” para o artigo expressa: “Feitas estas observações, vale esclarecer que o termo ‘discriminação algorítmica’ utilizado,

neste artigo, para englobar tanto cenários que envolvem afirmações estatisticamente inconsistentes quanto cenários em que as afirmações, embora estatisticamente lógicas, de alguma forma

tomam os indivíduos que dela são objeto não de forma efetivamente individualizada, mas apenas como parte de um grupo. Isso porque, a nosso ver, uma classificação, ainda que consistente sob o

ponto de vista estatístico, pode em alguns casos se mostrar injusta.” ↵

21. SABOYA, Maria Clara Lopes (2013): "Relações de Gênero, Ciência e Tecnologia: Uma Revisão da Bibliografia Nacional e Internacional". Educação, Gestão e Sociedade: revista da Faculdade Eça de

Queirós, ISSN 2179-9636, Ano 3, número 12, novembro de 2013. Disponível em: http://uniesp.edu.br/sites/_biblioteca/revistas/20170509155548.pdf. Acesso em: 20.02.2019. ↵

22. Cetic.br (2018): "Panorama Setorial da Internet", Ano 10, N. 2. Disponível em: https://cetic.br/media/docs/publicacoes/1/Panorama_outubro_2018_online.pdf. Acesso em: 20.02.2019. ↵

23. “Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights”. Disponível em:

https://obamawhitehouse.archives.gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf. Acesso em 20.02.2019. Cite-se, apenas a título de curiosidade, que a inteligência

artificial utilizada para gerar os resultados dito aleatórios (mas que escondem um padrão curioso) é conceituada como uma Generative Adversarial Network (GAN), cujo funcionamento está descrito

em: https://www.lyrn.ai/2018/12/26/a-style-based-generator-architecture-for-generative-adversarial-networks/. Acesso em: 20.02.2019. ↵

24. Interessante notar, conforme aponta Pedro Arthur Capelari de Lucena (2019), que, em países de língua inglesa (notadamente os Estados Unidos), “bias” é o termo utilizado para o impacto dos

processos algorítmicos provocados por interpretação de Big Data. O mesmo termo é utilizado em países de língua italiana (sem tradução, portanto “bias”) e espanhola (com tradução, para “sesgo en

los algoritmos”). No Brasil, “bias” é entendido como “viés”, acepção distinta de “discriminação”, vocábulo mais comum empregado em textos midiáticos e acadêmicos para refletir os processos

algorítmicos preditivos com vieses embutidos. Menção especial deve ser feita à doutrina sobre discriminação algorítmica construída por Laura Schertel Mendes e Marcela Mattiuzzo (2019). ↵

25. Um exemplo expressivo desta problemática é concretizada em uma estrutura conhecida como “word embedding”, uma abordagem de mineração de textos em que as palavras são representadas de

forma matemática em um vetor. Como demonstram Bolukbasi et al. (2016, p. 3) “word-embeddings contain biases in their geometry that reflect gender stereotypes present in broader society. Due

to their wide-spread usage as basic features, word embeddings not only reflect such stereotypes but can also amplify them. This poses a significant risk and challenge for machine learning and its

applications”. ↵

26. Ou “discriminação”, conforme debate linguístico apontado na referência n. 38. ↵

27. O que, para estudiosas como Powles e Nissenbaum, não deixa de ser uma tentativa de resolver um problema computacional estreito (vieses e preconceitos embutidos em sistemas de inteligência
 artificial) quando, na verdade, a realidade social subjacente a ele é mais ampla, possui uma assimetria imensa entre custos sociais e ganhos privados na esteira da implementação de sistemas

automatizados. A tradução e o link para o artigo original pode ser encontrados em: https://dataprivacy.com.br/o-diversionismo-sedutor-de-resolver-os-vieses-na-inteligencia-artificial/. Acesso

em: 04.04.21. ↵

28. A respeito, sugere-se a leitura: https://web.archive.org/web/20171229172420/http://www.nytimes.com/2000/12/14/technology/cartoon-captures-spirit-of-the-internet.html. Acesso em:

05.04.21. ↵
Automação e o futuro do trabalho: Elementos de um roteiro estratégico para a educação e a formação profissional

[1]
Ana Paula Camelo
[2]
Cláudio Lucena

Resumo: Nenhuma tradição ou modelo de acreditação profissional consegue se isolar dos enormes impactos e das consequências do
desenvolvimento tecnológico. À luz deste choque iminente, as instituições que são responsáveis pela formação, preparação e pela acreditação de
diversas categorias profissionais em cada sociedade precisam considerar que a incorporação da dimensão digital na visão de mundo que transmitem a
seus alunos é um ponto chave. Há uma estratégia global para encapsular uma visão adequada do ambiente digital na educação superior e na formação
profissional atual? Que iniciativas poderiam constituir um roteiro possível? Neste artigo, discute-se como esse processo é marcado pela gradativa
necessidade de se incorporar competências digitais nas habilidades que são transmitidas e depois cobradas dos alunos em formação das mais distintas
áreas do conhecimento e atuação. Paralelamente, mostra-se fundamental refletir sobre o próprio futuro das profissões nesse contexto. Para tanto, o
trabalho examina iniciativas que incorporam habilidades de programação à educação especialmente em áreas não-computacionais, como é o caso da
área jurídica. Observa-se um movimento de construção de conhecimentos valorizando a multi e interdisciplinaridade e, de certa forma, pelo viés
colaborativo através de intercâmbio entre professores, alunos e pesquisadores de históricos e experiências profissionais diferentes, de modo a
enriquecer a troca de perspectivas e solucionar problemas comuns. Como desafios, ressalta-se o fato de que as universidades e associações
profissionais precisam discutir conjuntamente e de forma crítica o impacto que uma combinação de tecnologias tem tido, redefinindo a forma como
atividades e serviços profissionais vêm sendo oferecidos ao longo de séculos. Espera-se que a discussão mobilizada possa contribuir sugerindo passos
estratégicos para um roteiro de educação e de acreditação profissional que, ao oferecer oportunidades continuadas de aprendizado, seja instrumento
de redução de desigualdades, valorize a realização humana, promova o desenvolvimento sustentável.
Introdução

A velocidade e o impacto da incorporação de novas tecnologias no cotidiano das pessoas, tanto do ponto de vista pessoal, quanto profissional, se
mostra cada vez mais evidente e complexo, demandando um olhar contínuo e crítico para e sobre as transformações em curso não só na indústria, mas
na sociedade como um todo: na economia, na forma como nos relacionamos, nos hábitos de consumo de produtos e serviços, como nos comunicamos
e como trabalhamos. Nesse contexto, vêm ganhando destaque discussões em torno da ideia de indústria 4.0 ou quarta revolução industrial, na qual “se
verificam novos modelos de negócio, bem como remodelações acentuadas nos negócios já existentes” (SCHWAB, 2017, p. 2) em torno de produtos,
procedimentos e processos inteligentes.
O termo Indústria 4.0 se tornou, de fato, publicamente conhecido somente a partir de 2011 em um contexto de discussão sobre meios e
instrumentos para se fortalecer a competitividade da indústria manufatureira alemã naquele contexto (KAGERMANN et al, 2013).
A quarta revolução industrial cria um mundo em que os sistemas de fabrico virtual e físico cooperam entre si, de forma flexível. Uma indústria muito
mais digital, com fábricas inteligentes, processamento e armazenamento de dados em cloud (nuvem), significativos avanços tecnológicos de
inteligência artificial e um conceito apelidado de “Internet das Coisas” (FERREIRA, MARTINS, 2018).
Apesar da origem do conceito, das suas raízes no contexto de discussão sobre inovações tecnológicas de automação e tecnologia de informação no
âmbito de processos de manufatura, o que se observa hoje são transformações e mudanças em curso atreladas a essa ideia permeando os mais
distintos contextos sociais e estilos de vida.
É a partir dessa conjuntura que nos interessa observar, com cuidado, a configuração do mercado de trabalho ao longo desse processo e as mudanças
ali já ocorrendo. Dentre as várias características, chamam atenção os desafios que podem configurar novos paradigmas no que diz respeito a como e
onde se trabalha, quais competências e habilidades passam a ser valorizadas, o papel das instituições de educação e formação educacionais, dentre
outros elementos que, de diferentes formas, acabam forçando pessoas e instituições a, de alguma forma, se reinventarem na relação com a inovação e
tecnologia em decorrência de pressões internas e externas, a fim de acompanhar a velocidade dessas transformações.
Segundo o relatório “The Future of Jobs – Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution” (2016), essas
transformações podem levar a um corte de aproximadamente 7,1 milhões de postos de trabalho dentre os anos de 2015 e 2020 em função de uma série
de reformulações que se dão e se darão desde o chão de fábrica. Ainda segundo o documento, a expectativa é que as ocupações serão diferentes e a
mão de obra tradicional, braçal, passará a contar com mais engenheiros e programadores, a partir de sua relação cada vez mais direta com os sistemas
tecnológicos.
Ao abarcar os desenvolvimentos em robótica, inteligência artificial, nanotecnologia, impressão 3D e biotecnologia, tal conjuntura será marcada por
“uma ruptura generalizada não apenas nos modelos de negócios, mas também nos mercados de trabalho nos próximos cinco anos, com enormes
mudanças previstas nos conjuntos de habilidades necessárias para prosperar” (WORLD ECONOMIC FORUM, 2016). A partir de então, a principal
reflexão que emerge endereça “como os negócios, o governo e os indivíduos reagirão a esses desenvolvimentos” (Ibidem).
Ainda de acordo com o documento do Fórum Econômico Mundial, “embora muito tenha sido dito sobre a necessidade de reforma na educação
básica, simplesmente não é possível enfrentar a atual revolução tecnológica esperando que a força de trabalho da próxima geração esteja mais bem
preparada”. E é por esse motivo que este artigo, em especial, foca na dimensão educacional relacionada ao futuro das profissões.
O artigo inicia com o desenvolvimento da ideia de indústria 4.0. Abordam-se, principalmente, as características, os componentes e princípios desta
que também é conhecida por a quarta revolução industrial. Logo em seguida, apresenta-se o método utilizado na pesquisa, sobretudo pesquisa
bibliográfica sobre o tema. Na terceira parte, discute-se o perfil dos profissionais nesse “novo” mercado em expansão e como algumas estratégias
educacionais se mostram fundamentais na definição de maior ou menor sucesso de determinados indivíduos. Por fim, mapeia-se possíveis riscos e
desafios correlacionados.
Componentes, princípios e pilares da Indústria 4.0

De acordo com Jorge Eduardo Braz de Amorim no artigo “A Indústria 4.0 e a sustentabilidade do modelo de financiamento do regime geral da
segurança social” (2017), indústria 4.0 ou quarta revolução industrial trata de um conceito que engloba as principais inovações tecnológicas da
atualidade. “É baseada em processos industriais descentralizados, controlados de forma autônoma por sistemas cyber físicos e pela internet das
coisas” que, como já mencionado, têm seus impactos e influências ultrapassando as barreiras industriais e atingindo todos os setores da economia
(AMORIM, 2017).
Dentre os princípios constituintes dessa ideia, que a diferenciam da indústria convencional – da fabricação em massa -, estão (a) interoperabilidade;
(b) virtualização; (c) descentralização; (d) trabalho em equipe; (e) orientação dos serviços e (f) sistema modular que funcionam a partir de alguns pilares
fundamentais: (i) análise de dados e big data; (ii) volume; (iii) variedade; (iv) veracidade e (v) valor das informações processadas.
Essas mudanças em interação, por sua vez, implicaram transformações disruptivas nos modelos de negócios e terão um impacto profundo no
mercado de trabalho nos próximos anos, bem como na preparação dos profissionais de diversas áreas para ocupar novas e velhas posições. Tais
mudanças abarcam desde a criação de empregos antes impensáveis, até o deslocamento e/ou extinção de funções que só se tornaram possíveis pelo
uso cada vez mais intensivo de tecnologias digitais, rápido desenvolvimento tecnológico nos últimos anos e uma configuração social, econômica e
política que se coproduzem juntamente com esses processos.
São igualmente centrais nesses processos a massiva difusão de aparelhos celulares; crescente acesso à Internet móvel e serviços em nuvem; avanços
no poder computacional das máquinas e amplo uso do Big Data; desenvolvimento e expansão da Internet das coisas por meio de sensores,
comunicação e processamento de dados remotos para incontáveis fins; difusão de produtos e serviços baseados na economia do compartilhamento;
desenvolvimento e adoção de processos autônomos; e uso de robótica avançada em diferentes atividades do cotidiano, apenas para citar alguns.
Paralelamente, observa-se algumas tendências de cunho demográfico e socioeconômico como: mudanças na natureza dos trabalhos, novos modelos
de mercados e novos tipos de produtos e serviços, questões em torno da privacidade, gênero, ética, urbanização e maior acesso a bens e produtos
tecnológicos.
Schwab (2017, p. 39), por sua vez, identifica como profissões mais propensas à automação: telemarketing, avaliadores de seguros, secretário
executivo, recepcionistas, agente imobiliário, dentre outras. Ou seja, atividades marcadas por alto grau de repetição de tarefas e baixa complexidade.
Ainda segundo o pesquisador, as profissões com menor propensão de automação seriam: profissionais de saúde mental, coreógrafos, médicos,
psicólogos, gestores de recursos humanos, para citar alguns exemplos.
Essa dinâmica, contudo, seria acompanhada por uma crescente e significativa oportunidade de trabalho a ser criada, sobretudo relacionada à
computação e matemática, para analistas e cientistas de dados, para especialistas em inteligência artificial e automação, marcando uma separação
entre humanos, máquinas e algoritmos, e suas respectivas atuações na cadeia produtiva e social. Mas não apenas. É nesse momento também que se faz
necessário mencionar a discussão sobre a emergência de empregos híbridos, combinando habilidades de funções anteriores em um novo papel
(DELOITTE, 2017).
Dessa forma, o que se tem é um cenário no qual se valoriza e se exige profissionais com qualificações técnicas para analisar dados, lidar com o
mundo digital e que tenham flexibilidade, competências específicas da sua área de atuação e habilidades como: pensamento analítico e crítico,
criatividade, iniciativa, trabalho em equipe, inteligência emocional, assim não desempenhando tarefas repetitivas que poderiam ser automatizadas e
devem ter um aumento de demanda significativo tendo em vista o cenário atual (DELOITTE; MANUFACTURING INSTITUTE, 2011).

Esse cenário, da forma que se apresenta, coloca em questão a importância e o desafio da formação dos futuros profissionais e a atualização daqueles
que já estão no mercado. Isso implica olhar com cuidado para a formação de jovens e desempregados. Em muitos casos, o sistema educacional passa a
ter um papel de destaque na construção de valores e condições distintivas para a competitividade (AIRES; KEMPNER-MOREIRA; FREIRE, 2017).
Como desdobramentos desses processos, outros efeitos tendem a ser observados, como uma maior aproximação entre empresas e instituições de
ensino (escolas e universidades), para ajudar os alunos a desenvolver as habilidades de que precisam. Em outras palavras, discute-se como “dada a
complexidade do gerenciamento de mudanças necessário, as empresas precisarão perceber que a colaboração em questões de talentos, em vez de
competição, não é mais uma estratégia boa, mas sim necessária” (WEF, 2016, p.32).
O que isso significa para as estratégias e sistemas educacionais?

Esta é apenas uma dentre várias perguntas que se tornam centrais quando se discute o futuro das profissões. Quais são as habilidades que se tornarão
“obrigatórias” e quais seriam as possibilidades em termos de treinamento e educação para propiciar tais habilidades? Por isso a importância de se
ponderar o papel da educação básica em prover as habilidades fundamentais necessárias para a aprendizagem dinâmica, compatível com o ritmo
constante e acelerado de transições que os indivíduos enfrentarão, por exemplo, passando da economia informal para a formal ou da manufatura para
o setor de serviços (INTERNATIONAL LABOUR ORGANIZATION, 2018).
Trabalhadores mais instruídos e qualificados terão, em média, mais capacidade de se adaptar às novas tecnologias e se beneficiarão dos salários reais
mais altos que esses trarão, aumentando a produtividade. Trabalhadores menos instruídos geralmente arcam com mais custos de automação,
potencialmente ampliando ainda mais as desigualdades existentes de renda e riqueza. Aumentar sua capacidade de adaptação e habilidades será
fundamental para permitir que esses grupos compartilhem os ganhos das novas tecnologias e trabalhem mais efetivamente com eles (PWC, 2018, P.34).
O reconhecimento da complexidade desses processos, por sua vez, coloca como fundamental o engajamento não somente entre empresas e
instituições de ensino, mas também na relação com agentes e instituições governamentais, tendo em vista a importância do tema enquanto objeto de
política pública de educação e treinamento compatíveis com um mundo cada vez mais automatizado e em uma economia cada vez mais digital.

Isso exigirá programas eficazes de reciclagem para os trabalhadores mais velhos, bem como ajuda na procura de emprego. É claro que os
trabalhadores também precisam assumir responsabilidade pessoal pela sua aprendizagem ao longo da vida e desenvolvimento de carreira, mas os
governos e as empresas precisam apoiá-los na consecução desses objetivos (PWC, 2018, P.34).
Segundo GIFFI et al (2018), a escassez de profissionais com habilidades e competências específicas demandadas pelo mercado de trabalho, dentre
vários problemas, é um risco para a economia. Estudo da Deloitte e The Manufacturing Institute (2018) mostra que o mercado já tem experienciado um
fenômeno de escassez de talentos que, por sua vez, impactam negativamente na sua atividade fim.
É por essas e outras razões que justificamos a necessidade e oportunidade de se discutir sobre o papel das instituições e dos atores que atuam na
formação dos novos e velhos profissionais.
Por uma estimativa popular, 65% das crianças que entram nas escolas primárias hoje em dia acabarão por trabalhar em novos tipos de emprego e
funções que ainda não existem. Tendências tecnológicas, como a Quarta Revolução Industrial, criarão muitas novas funções multifuncionais para as
quais os funcionários precisarão de habilidades técnicas, sociais e analíticas. (…) As empresas devem trabalhar em estreita colaboração com governos,
provedores de educação e outros para imaginar como seria um currículo verdadeiro do século XXI (WEFF, 2016).
(Trans)formações na área jurídica

A tecnologia está mudando, de diversas formas e intensidades, de maneira a impactar na forma como os produtos e serviços são oferecidos,
precificados e avaliados. E esse fenômeno não seria diferente na área jurídica. Significativas transformações já podem ser observadas na forma como os
serviços estão sendo prestados – como os escritórios de advocacia estão se organizando e quem faz parte desse processo.
Dentre os fatores que constituem esse processo, chama a atenção a importância já atribuída às ferramentas e técnicas de inteligência artificial (IA) e
seu impacto na prática jurídica, que se materializa em soluções como assistentes digitais e inteligentes, chatbots, ou até mesmo sistemas autônomos
de inteligência e aprendizado de máquina que são usados para fazer previsões e tomar decisões, tal como ocorre nos campos da saúde, educação, e
atividades de comunicação.
Muitas são as promessas de que, no contexto de escritórios de advocacia, soluções baseadas em IA e aprendizado de máquina podem ajudar, ou
mesmo desempenhar o trabalho completo de revisão/redação de documentos jurídicos, além da própria pesquisa em si, assim eliminando tarefas
rotineiras. A expectativa é que atividades como revisão de contratos, cálculo de riscos e previsões sobre os resultados dos processos judiciais sejam
executadas mais rapidamente e com mais eficiência quando executadas pelas máquinas. Como desdobramento, o profissional em questão poderia ter
acesso a insights adicionais e se dedicar a tarefas mais complexas e estratégicas para o seu negócio, aumentando a produtividade, minimizando riscos
e melhorando a prestação de serviços jurídicos, como argumentam muitos pesquisadores na área.
Para dar conta desses processos e desafios já em curso, muitas instituições de ensino, no Brasil e no exterior, estão repensando e transformando
suas realidades considerando a formação dos futuros profissionais, a partir da incorporação de competências digitais no rol de habilidades a serem
desenvolvidas. A título de exemplificação, chamamos atenção para alguns exemplos, como a Escola de Direito de São Paulo da Fundação Getúlio
Vargas, a iniciativa da Rede INNOVATE no contexto da Ordem dos Advogados do Brasil da Paraíba, além de mencionar outras iniciativas mapeadas no
contexto europeu e norte-americano.
Desde 2017, o Centro de Ensino e Pesquisa em Inovação (CEPI) da Faculdade de Direito de São Paulo da Fundação Getúlio Vargas vem realizando
pesquisas sobre o futuro das profissões jurídicas, identificando novas tecnologias (por exemplo, algoritmos de aprendizado, sistemas especialistas, etc.)
que mudaram as atividades e profissões jurídicas no país, e refletindo sobre como esse processo pode impactar a formação jurídica em relação a
conhecimentos, competências e habilidades requeridos para lidar com essa nova realidade.
As iniciativas da FGV baseiam-se na ideia de que é fundamental uma reorientação de objetivos e métodos de ensino jurídico, a fim de proporcionar
[3]
uma experiência educacional relevante e significativa para todos os envolvidos. Os experimentos foram divididos em duas frentes com objetivos
específicos. Os Laboratórios de Tecnologia foram cursos opcionais que privilegiaram a produção de um projeto de tecnologia pelos alunos que
impactasse na forma como serviços jurídicos são prestados, como automação de documentos jurídicos (e.g. briefings e contratos jurídicos
automatizados, ou desenvolvimento de chatbots que ajudassem o público em geral a conhecer a viabilidade de alguns instrumentos legais). A outra
iniciativa diz respeito a imersões em Direito e Tecnologia dentro das quais, durante uma semana, os alunos se dedicam integralmente a entender um
desafio legal advindo dessas mudanças tecnológicas e são instigados a propor uma solução baseada em desafios reais.
Na Paraíba, a Rede INNOVATE, vinculada à Ordem dos Advogados do Estado da Paraíba (OAB-PB), surgiu a partir da mobilização de um grupo de
jovens advogados que criou uma startup social cuja proposta era identificar como o mundo digital trouxe oportunidades e desafios para o ingresso de
jovens profissionais no mercado. A startup também se propunha a discutir, por meio de webinars e cursos on-line, questões como a própria “advocacia
4.0”, blockchain, marketing jurídico digital, dentre outras.
Em âmbito internacional, instituições como a Universidade do Minho (Portugal), possui cursos de pós-graduação, a exemplo do mestrado em Direito
e Informática, cujo objetivo é dar aos alunos uma perspectiva sobre como o direito e a informática influenciam um ao outro. Um dos principais
diferenciais do programa é o incentivo à cossupervisão da dissertação final do curso por membros do corpo docente de ambas as unidades
acadêmicas, que estão diretamente envolvidos no programa, a saber, Direito e Ciências da Computação.
Na Universidade de Michigan, EUA, por sua vez, o Centro de Inovação em Serviços Jurídicos ofereceu aulas interdisciplinares, como a LegalRnD, que
trata da prestação de serviços jurídicos na relação com inteligência artificial, análise quantitativa para advogados, lei de privacidade e segurança da
informação. Eles também têm cursos que abordam inteligência artificial e conexões com a lei, ou ética e regulamentação, destacando a necessidade de
entender como leis e códigos interagem.
Como último exemplo, cabe citar a iniciativa interdisciplinar da Universidade de Georgetown, nos Estados Unidos, chamada “Legislação de
Privacidade na Prática: Direito e Tecnologia” que consiste em um curso ministrado em conjunto pelo corpo docente do Massachusetts Institute of
Technology (MIT) e da Georgetown University Law School. Ao longo da disciplina os alunos são divididos em grupos mistos e são incumbidos da tarefa
de explorar questões de política de privacidade em profundidade sobre uma tecnologia emergente e propor soluções políticas que poderiam ser
adotadas. Ao final do curso, eles apresentam suas propostas em uma sessão pública aberta a um júri convidado composto por executivos de políticas
públicas de tecnologia, funcionários da administração, legisladores e professores de outras áreas acadêmicas.
Em comum, essas iniciativas têm demonstrado que, tendo em vista as novas configurações do mercado de trabalho na sua coprodução com o
desenvolvimento tecnológico, sobretudo digital, além do conhecimento legal, os advogados devem incorporar e demonstrar ter as habilidades digitais
básicas que lhes permitirão lidar com os desafios que os esperam.
As experiências e iniciativas concretas mencionadas acima corroboram as discussões levantadas em torno da complementação entre competências
técnicas que devem ser adquiridas por meio de educação formal, de cunho acadêmico e prático, independentemente da área (hard skills ou
qualificação formal) e competências comportamentais, mais associadas a traços de personalidade, por exemplo, que facilitam a interação com outros
(soft skills) para atender aos novos papéis e funções que estão se (trans)formando junto com essa nova conjuntura sociotécnica.
Considerações finais

Além de impactar a quantidade de empregos, as novas tecnologias, sobretudo aquelas relacionadas à inteligência artificial e automação de processo,
influenciam a relação entre mercado de trabalho e o tipo de profissionais almejados para essas novas e velhas funções. Essa relação, por sua vez,
implica em novas demandas direcionadas para as instituições que formam esses profissionais para adentrarem o mercado de trabalho e ali
permanecerem de forma bem-sucedida.
Contudo, é necessário reconhecer que este é um processo de longo prazo, especialmente o de reflexão, adaptação e/ou inovação nos sistemas
educacionais. De acordo com o Fórum Econômico Mundial, “a maioria dos sistemas educacionais existentes em todos os níveis oferece treinamento
altamente em silos e continua uma série de práticas do século XX que estão impedindo o progresso dos talentos atuais e das questões do mercado de
trabalho” (2016).
Essa constatação instiga discussões como “Qual é o papel das escolas no trabalho do futuro? Parece que nosso sistema educacional foi modelado
para treinar pessoas para uma forma de trabalho, e não está claro se elas estão focadas no trabalho do futuro” (HAGEL, 2017).
Além disso, reitera-se a necessidade de as empresas trabalharem em estreita colaboração com governos, provedores de educação e outros “para
imaginar como seria um currículo verdadeiro do século XXI” (Ibid.).
Em média, até 2020, mais de um terço dos conjuntos de habilidades essenciais desejadas para a maioria das ocupações será composto por
habilidades que ainda não são consideradas cruciais para o trabalho atual, de acordo com nossos entrevistados. De modo geral, as habilidades sociais –
como persuasão, inteligência emocional e ensino de outras pessoas – terão maior demanda nas indústrias do que habilidades técnicas restritas, como
programação ou operação e controle de equipamentos. Em essência, as habilidades técnicas precisarão ser complementadas com fortes habilidades
sociais e de colaboração. (WEC, 2016, p.20). Tradução nossa.
Tendo em vista a literatura levantada e os casos apresentados, nenhuma tradição ou modelo de formação profissional pode ou deve isolar suas
atividades, sejam elas jurídicas ou não, dos enormes impactos e das consequências do recente desenvolvimento tecnológico. Nesse contexto, as
instituições responsáveis pela educação, preparação e acreditação dos operadores legais devem incorporar a dimensão digital na visão de mundo que
transmitem aos seus alunos e identificar quais iniciativas podem constituir um possível roteiro.
Este trabalho sugere que pelo menos dois caminhos devem ser perseguidos na direção de tal roteiro. O primeiro é incorporar as competências
digitais nas habilidades que as instituições transmitem e exigem de seus estudantes de direito / candidatos. A segunda é uma reflexão mais profunda
sobre o futuro da profissão em si. E não se pode deixar de considerar também que nem todo mundo e nem todos os setores terão o mesmo acesso a
instituições que priorizam esse tipo de aproximação entre Direito e Tecnologia, e que algumas tecnologias podem reforçar problemas de gênero, de
discriminação e de assédio, mesmos em âmbito de trabalho – o que não deve ser ignorado.
Referências bibliográficas

AIRES, R. W. A.; KEMPNER-MOREIRA, F. K.; FREIRE, P. S. Indústria 4.0: competências requeridas aos profissionais da quarta revolução industrial. In:
Congresso Internacional de Conhecimento e Inovação (CIKI), 7., 2017, Foz do Iguaçu. Anais… Foz do Iguaçu: EGC, UFSC, 2017.
AMORIM, E. A indústria 4.0 e a sustentabilidade do modelo de financiamento do Regime Geral da Segurança Social. Cadernos de Dereito Actual,
Portugal, n.5, 2017, p. 243-254.
DELOITTE, Navigating the future of work: can we point business, workers, and social institutions in the same direction?, Deloitte University Press,
[Westlake], viewed 28 Feb 2019, https://dupress.deloitte.com/dup-us-en/deloitte-review/issue-21/navigating-new-forms-of-work.html .
DELOITTE; THE MANUFACTURING INSTITUTE. “The Skills Gap in U.S. Manufacturing”, 2011. Disponivel em:
https://www2.deloitte.com/content/dam/insights/us/articles/4736_2018-Deloitte-skills-gap-FoW-manufacturing/DI_2018-Deloitte-MFI-skills-
gap-FoW-study.pdf Acesso em: 25 fev. 2019.
FERREIRA, C.; MARTINS, E.. A importância das competências na era 4.0: The importance of competences in era 4.0. Atas do IV Encontro Científico
da UI&D. SLA Santarém – Instituto Superior de Gestão e Administração de Santarém, Portugal, 2018.
GIFFI, C. et al. The jobs are here, but where are the people? Deloitte Insight, 2018. Disponível em:
https://www2.deloitte.com/insights/us/en/industry/manufacturing/manufacturing-skills-gap-study.html Acesso em: 25 fev. 2019.
HAGEL, J. Radically open: Tom Friedman on jobs, learning, and the future of workDeloitte Review, issue 21. 31/07/2017. Disponível em:
https://www2.deloitte.com/insights/us/en/deloitte-review/issue-21/tom-friedman-interview-jobs-learning-future-of-work.html Acesso em: 25
fev. 2019.
INTERNATIONAL LABOUR ORGANIZATION. Skills policies and systems for a future workforce. Issue Brieg #8; 2018. Disponível em:
https://www.ilo.org/wcmsp5/groups/public/—dgreports/—cabinet/documents/publication/wcms_618170.pdf Acesso em: 25 fev. 2019.
HERMANN, M.; PENTEK, T.; OTTO, B. Design Principles for Industrie 4.0 Scenarios: A Literature Review. Working paper, 2015. Disponível em:
<http://rgdoi.net/10.13140/RG.2.2.29269.22248>. Acesso em: 25 fev. 2019
Kagermann, H., W. et al. Recommendations for implementing the strategic initiative Industrie 4.0: Final report of the Industrie 4.0 Working Group,
2013. Disponível em: http://www.acatech.de/fileadmin/user_upload/Baumstruktur_nach_Website/Acatech/root/de/Material_fuer_Sonderse
iten/Industrie_4.0/Final_report__Industrie_4.0_accessible.pdf. Acesso em: 25 fev. 2019.
PWC. Will robots really steal our jobs?: An international analysis of the potential long term impact of automation 2018. Disponível em:
https://www.pwc.com/hu/hu/kiadvanyok/assets/pdf/impact_of_automation_on_jobs.pdf Acesso em: 25 fev. 2019.
RAINIE, L.; e ANDERSON, J.. The Future of Jobs and Jobs Training. Pew Research Center, 2017. Disponível em:
http://www.pewinternet.org/2017/05/03/the-future-of-jobs-and-jobs-training/ Acesso em: 25 fev. 2019.
SCHWAB. K.. The Fourth Industrial Revolution. London: Editor Penguin Random House, 2017.
FORUM ECONOMICO MUNDIAL. The Future of Jobs Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution, 2016.
Disponível em: http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf. Acesso em: 25 fev. 2019.

1. Pesquisadora e gestora de projetos no Centro de Ensino e Pesquisa em Inovação (CEPI) da FGV Direito SP. Líder de pesquisas em futuro do trabalho, tecnologias emergentes e inovação responsável.

Atualmente, é pós-doutoranda no Centro Brasileiro de Análise e Planejamento (CEBRAP). É doutora em Política Científica e Tecnológica pela Universidade Estadual de Campinas (Unicamp), com

doutorado sanduíche na Science Policy Research Unit (SPRU), Universidade de Sussex (Reino Unido). Mestre em Divulgação Científica e Cultural, também pela Unicamp. Bacharel em Comunicação

Social pela Universidade Federal de Viçosa. ↵

2. “Foi membro da Comissão Especial de Estudos Permanentes sobre Compliance do Conselho Federal da Ordem dos Advogados do Brasil, colaborador do Observatório Digital Watch da Geneva

Internet Platform e Pesquisador Visitante no Center for Cyber, Law and Policy da Universidade de Haifa, em Israel, na Faculdade de Direito da Universidade de Georgetown, em Washington. D.C. e

na O.P. Jindal Global University, Nova Deli, Índia. Bacharel em Ciência da Computação pela Universidade Federal de Campina Grande. Integra o grupo de especialistas do Forum de Governança de

Internet da Organização das Nações Unidas (ONU). É Fellow da ICANN (Internet Corporation for Assigned Names and Numbers), do Latin American Internet Governance Forum (LACIGF) e da South

School on Internet Governance (SSIG). Professor Convidado do Programa LAST-JD Ph.D. pela Universidade de Turim, da International Summer School on CyberLaw da Escola Superior de Economia,

em Moscow e de diversas outras universidades e instituições de ensino. Membro da Comunidade Octopus Cybercrime do Conselho da Europa, dos Capítulos Brasil e Portugal da Internet Society e

da International Law Association, onde é membro do Comitê Internacional de Estudos sobre a Privacidade. Foi também Professor da Escola Superior da Magistratura, da OAB e da Academia de

Ensino da Polícia Civil do Estado da Paraíba. Pesquisa e desenvolve trabalho em temas jurídicos relacionados à tecnologia há mais de 20 anos, durante os quais foi consultor e assessor junto a

entidades públicas e agências governamentais, instituições policiais e de segurança pública, Tribunais de Justiça, CNJ e Congresso Nacional, bem como junto ao setor privado, o Programa das

Nações Unidas para o Desenvolvimento (PNUD), o Tribunal Internacional da ECOWAS e o Centro Europeu do Consumidor.” ↵

3. Cada uma das frentes de ensino já teve duas edições, cada uma com um tema diferente e diferentes parceiros. ↵
Inteligência artificial e big data: o processamento de dados como instrumento de uma inclusão sócio digital

[1]
Camila Maria de Moura Vilela

Resumo: O presente artigo pretende analisar como características atribuídas à big data colocam diversos desafios dentro da Inteligência Artificial.
Para tanto, observa-se a discriminação no cenário contemporâneo no setor da Tecnologia da Informação de Comunicação (TIC). Em síntese, a
Inteligência Artificial (IA) é a chave da sociedade da informação e do conhecimento, o que supõe diferentes técnicas para resolver problemas e
processar informações. As discussões apresentadas constituíram-se por meio de uma abordagem descritiva e de caráter qualitativo, tendo sido
imprescindíveis o recurso à pesquisa bibliográfica e documental.
Introdução

Ultimamente muito temos ouvidos sobre Inteligência Artificial (IA) e também sobre Big Data. Mas afinal a IA e Big Data têm alguma relação? Quando
falamos em Big Data, estamos falando de uma grande quantidade de dados. Dados cujo crescimento é exponencial e a velocidade com que são
processados é cada vez maior.
O combustível de IA são os dados. A IA opera por meio dos dados que possui e aprende com eles, de modo a usar esses dados como padrões e aplicar
estatísticas, sendo capaz de fazer previsões. A manifestação da nossa inteligência nos remete a pensarmos em um futuro repleto de robôs cada vez
mais dotados de capacidades múltiplas. No entanto, a IA só trará benefícios se movida pela diversidade.
Ademais, as desigualdades socioeconômicas e culturais determinaram a maneira pela qual diferentes indivíduos e grupos se apropriaram de
ferramentas e redes digitais e acessaram oportunidades. Para entender o impacto que a IA terá sobre a sociedade, economia, política e cultura, e
também para ajudar a sua disseminação a se dar de maneira mais justa, ética e humana, é necessário reconhecer a existência de múltiplas lacunas
digitais que vão além do simples acesso à tecnologia.
Temos que endereçar a necessidade de fortes princípios éticos, a evolução das leis, o treinamento para novas habilidades e até mesmo as reformas
do mercado de trabalho. Isso tudo deve se juntar se quisermos aproveitar ao máximo a Inteligência Artificial para nos beneficiarmos e construirmos
uma sociedade civil e digital mais inclusiva.
Podemos assim, criar séries de treinamento mais inclusivas, criar um mundo onde a tecnologia trabalhe em favor de todos, não apenas em favor de
alguns, ou favorecendo alguns, além de pensarmos no bem-estar do ser humano, na conexão de homens e máquinas, na integração do mundo físico
com o virtual e dos serviços com a ética.
O maior desafio é como conectar, integrar e extrair valor desse volume de dados imenso. Como construir um ambiente em que a inteligência
artificial seja motivo de inclusão e não de exclusão? A partir disso, poderemos devemos acreditar que a IA ajudará a resolver grandes problemas sociais
e olhar para este futuro com uma visão mais crítica. Haverá desafios e oportunidades, disso não podemos nos eximir.
Para tanto, este trabalho tem como principal objetivo trazer uma análise acerca da aplicação da IA e do uso de dados em um contexto de promoção
da igualdade e inclusão sócio digital analisando os aspectos jurídicos, tecnológicos e sociais e, por fim, analisando as violações digitais existentes, bem
como os problemas e desafios para novas tecnologias de informação e comunicação.
1. Cibernética, inteligência artificial e robótica

Este artigo interliga a IA com a análise de dados, colocando em perspectiva as principais oportunidades e cuidados necessários para que essa
tecnologia traga uma transformação positiva para a sociedade.
Quando falamos de IA, remetemos a sistemas classificadores, baseados em regras, aprendizado de máquina (machine learning), processamento de
linguagem natural, lógica bayesiana, armazenamento em cluster e outros. Com certeza os sistemas de IA desenvolvidos são importantes, entretanto,
devemos considerar um fator crucial nos projetos de IA: os dados.
Assim, apesar do conceito de IA ter seus primeiros marcos já em 1943, mais recentemente é que tem sido bastante discutido. Atualmente, passa a
fazer parte do nosso dia a dia, impactando o nosso cotidiano e requer, geralmente, uma grande quantidade de dados. Vários desenvolvimentos estão a
marcar esta onda de IA, como capacidade de processamentos, algoritmos e modelos de IA cada vez mais sofisticados, que geram volumes inimagináveis
de dados, o combustível da IA.
A IA é o ramo da ciência da computação que se propõe e elaborar dispositivos que simulem a capacidade humana de raciocinar, perceber, tomar
decisões e resolver problemas. Por sua vez, a cibernética está ligada à IA, na medida em que é a sua concretização prática. Assim, a Inteligência
Artificial relacionada com as ciências cognitivas, compreende e reproduz os processos mentais, ao mesmo tempo que, a cibernética e a robótica
[2]
compreendem e reproduzem os processos biológicos e motores dos seres humanos (PASK, 1968) .
Considerando que desde o Frankenstein de Mary Shelley ao mito clássico do Pigmaleão, passando pela história do Golem de Praga pelo robô de Karel
Čapek, que cunhou o termo, as pessoas têm fantasiado acerca da possibilidade de construir máquinas inteligentes, frequentemente androides com
características humanas. Do mesmo modo que o visionário Isaac Asimov, cientista de origem russa estabeleceu premissas básicas referentes as “Leis
da Robótica”, qual objetivo era regular a ação de robôs em um mundo compartilhado entre homens e máquinas inteligentes.
Agora a humanidade encontra-se em uma era em que robôs, bots, androides e outras manifestações de IA, cada vez mais sofisticadas, parecem estar
preparados para desencadear uma nova revolução industrial, com a interconexão de todos estes dispositivos inteligentes e a descentralização do
controle dos processos, bem como a Revolução 4.0 e a Internet das Coisas.
Se olharmos para o Parlamento Europeu, a Resolução de 16 de fevereiro de 2017 (doravante Resolução), contém recomendações à Comissão sobre
disposições de Direito Civil sobre Robótica. Tal Resolução debruça-se sobre o desenvolvimento, a utilização e regras em matéria da IA e da Robótica,
convergindo com diversas disciplinas jurídicas, como a Responsabilidade Civil derivada das ações ou omissões dos robôs e a eventual Personalidade
Jurídica atribuída a estes; sobre questões que envolvem o Direito da Família (mais concretamente, proteção das crianças e dos idosos), o Direito da
Propriedade Intelectual, o Direito à Proteção de Dados e Privacidade, o Direito do Trabalho e da Segurança Social ou o Direito Fiscal (FIDALGO, 2018).
A IA e a robótica têm ainda gerado discussões em outros ramos do Direito, principalmente assuntos não abordados quanto aos problemas essenciais
que estão ligados às revoluções tecnológicas, o seu impacto nas várias classes sociais e a concentração de capitais gerada por estas mudanças.
O objeto de estudo da IA continua cercado de certas arestas, no sentido em que o homem ainda não possui uma definição suficientemente
satisfatória de inteligência e para se compreenderem os processos da IA e da representação do conhecimento terão de se dominar os conceitos de
inteligência humana e conhecimento. Neste ponto, podemos vislumbrar a hibridez entre a máquina e a humanidade.
Devemos estar atentos aos dados para aproveitarmos ao máximo a inteligência artificial, o aprendizado de máquina e a computação cognitiva. Ao
mesmo modo de como podemos utilizar os dados, gerar padrões e tendências e como tomar sólidas decisões baseadas nessas decisões.
Nesta perspectiva, ao conectarmos os conceitos de big data e IA percebemos o quão necessária é a IA para interpretar os dados que podem ter sido
produzidos por algo conectado, como um aplicativo, um automóvel, entre outros. Salientamos o quanto o uso de algoritmos pela IA em big data
facilitou a vida humana em diversos aspectos. Entretanto, interferimos nossos questionamentos também no que concerne a criatividade, o senso
crítico e a análise profunda dos dados para resolução de problemas.
Por isso, nos atentamos ao uso de algoritmos para levar inclusão. Por algoritmos autônomos, nos referimos a métodos automáticos de
processamento de dados, em que determinados dados são inseridos, direta ou indiretamente pelo utilizador, em um algoritmo que os processa para
providenciar ao um resultado (FERREIRA, 2018).
2. Big data, aprendizado de máquina, privacidade e proteção de dados

Big data é o nome genérico que se dá ao imenso volume de dados gerados disponíveis na atualidade. Parte desses dados são estruturados, como os
recibos e tráfego web, e outra parte não, como Facebook, Twitter, entre outros.
Quando falamos em big data, não estamos atentos apenas ao grande volume de dados. Cada vez mais há o interesse na proteção dessas informações.
Porém, essa proteção deve ir além da mera proteção legislativa sobre o tema, devemos pensar no que queremos fazer com esses dados.
No Fórum Econômico Mundial do ano de 2012, em Davos, Suíça, big data já era um tópico de marquise. Um relatório emitido pelo Fórum, intitulado
“Big Data, Big Impact: New Possibilities for International Development”, declarou os dados como uma classe nova de recurso econômico, comparando-
[3]
os a uma moeda corrente ou ouro .
Com informações atuais do Fórum Econômico Mundial, tem-se o exemplo do Oriente Médio e da África que terão uma expansão de tráfego de
computação em nuvem mais alta do que qualquer outro mercado no mundo até 2021, com uma taxa de crescimento anual composta de 35%. Segundo
Khalid Rumaihi, Presidente do Conselho de Desenvolvimento Econômico do Bahrein, “Os dados – coletados e mantidos eticamente, protegidos e
anonimizados – representam a agulha essencial da bússola que pode reorientar as aspirações digitais da região e liberar o potencial econômico
[4]
harmonizado” .
Uma das principais questões envolvidas quanto ao tema é como fica a privacidade de dados nas análises de big data. A legislação nesse caso pode
ajudar. Após o caso da Cambridge Analytica, a União Europeia resolveu revisar suas leis de proteção de dados, que resultou na criação do GDPR
(General Data Protection Regulation, ou Regulamento Geral de Proteção de Dados).
O GDPR passou a valer em maio de 2018 e trata-se do maior conjunto de regras de proteção à privacidade na Internet até o momento. Isso significa
que o GDPR tem repercussões não só no continente europeu, como também em outros países, incluindo o Brasil. Por sua vez, no Brasil, foi aprovada a
Lei Geral de Proteção de Dados (LGPD), que entrou em vigor em agosto de 2020.
Considerando os principais aspectos e implicações práticas destas duas legislações para o cenário digital, sem big data, data analytics e aprendizado
de máquina, empresas como Amazon, Netflix, Facebook, Google ou Spotify não seriam o que conhecemos. Legisladores, empresários e profissionais
precisam trabalhar para garantir um nível adequado de privacidade sem prejudicar os avanços que estão para surgir.
Um exemplo de implementação de machine learning pode ser observado por meio do Facebook. Os algoritmos de aprendizado de máquina do
Facebook reúnem informações comportamentais para cada usuário na plataforma social. Com base no comportamento passado, o algoritmo prevê
interesses e recomenda artigos e notificações no feed de notícias. Da mesma forma, quando a Instagram recomenda produtos na aba “Explorar”, ou
quando a Netflix recomenda um filme baseado em experiências passadas, o aprendizado de máquina está em ação.
A diferença que podemos ressaltar entre IA e aprendizado de máquina, é pensar sobre a IA como uma disciplina, por exemplo a Física. A IA tem a ver
com teoria e métodos – neste caso com teoria e métodos para criar máquinas que pensam e agem como seres humanos.
O aprendizado de máquina, por outro lado, é um conjunto de ferramentas mais ou menos como as leis da mecânica de Newton. Assim como dá para
usar as leis de Newton para descobrir quanto tempo leva para uma bola cair no chão se você soltá-la de um penhasco, você pode usar o aprendizado de
máquina para resolver alguns problemas de IA. A diferença básica entre aprendizado de máquina e outras técnicas em IA, por exemplo, em sistemas
especializados, é que, no aprendizado de máquina, as máquinas aprendem. Elas não começam inteligentes, mas ficam inteligentes.
Com efeito, a IA leva-nos para outro nível de utilização, mineração e manipulação de dados. Não se trata apenas de conceituar algoritmos e
automação, mas sim a melhor forma prática de usar algoritmos para analisar dados.
Ademais, entramos num paradoxo, de forma clara a tecnologia evolui com velocidade extrema, por outro lado, as normas jurídicas que visam regular
essa mesma tecnologia evoluem com uma lentidão extrema.
Com isso, para reconstruir a confiança nas plataformas de tecnologia, as empresas e os representantes do governo devem priorizar a segurança e
definir diretrizes claras sobre como os dados são compartilhados.
3. A dignidade digital e os algoritmos inteligentes

O desenvolvimento de IA pode gerar inúmeros riscos e implicações para os direitos humanos e fundamentais sob o ponto de vista jurídico, social e
ético, tanto da perspectiva individual quanto coletiva. Bem como pode gerar oportunidades em muitos campos, entretanto, podemos observar alguns
riscos ligados à inclusão social, que incluem populações indígenas, mulheres, pessoas LGBTQ+, entre outros.
Nos questionamos sobre alguns quesitos, considerando que a abordagem binária de código e dados legíveis para computadores não é compatível
com o vasto espectro de gênero e sexualidade. Como por exemplo, um algoritmo de orientação sexual pode conhecer melhor a sexualidade de alguém
do que a própria pessoa? Existe um preconceito das máquinas? É possível falar sobre um direito de acesso com a IA? Como fazer com que a IA não
afunde com a desigualdade social das pessoas?
As respostas para essas perguntas e tantas outras exigem um esforço transcendente para repensar e inovar sobre os desafios de uma revolução que
estamos vivenciando.
Inicialmente, devemos tecer algumas ponderações, visto que as empresas do setor de Tecnologia da Informação de Comunicação (TIC) evoluem ao
mesmo tempo em que diversas áreas se desenvolvem dentro da economia global. A aprendizagem autônoma ou aprendizado de máquina é um
subconjunto da IA que proporciona aos sistemas a capacidade de aprender e de melhorar as necessidades. Ademais, a base da programação e da
computação é a lógica matemática.
No entanto, devemos estar atentos à relevância que estas tecnologias trazem para os direitos humanos. Para que o desenvolvimento de IA seja
compatível com os direitos humanos é necessário termos uma regulação que incorpore uma série de princípios que se vinculem com três categoria:
dignidade algorítmica, identidade algorítmica e vulnerabilidade algorítmica.
Como mencionamos, um dos riscos mais importantes que está presente na aprendizagem automática é o de ampliar a discriminação e os
preconceitos existentes contra certos grupos, as comunidades frequentemente excluídas e vulneráveis, tendo como embasamento a dignidade e o
respeito.
É necessário que certifiquemo-nos de que a IA seja orientada pela ética, e não apenas pela tecnologia. Em maio de 2018, diversas organizações, como
a Amnesty Internacional e a Access Now, apresentaram a Declaração de Toronto sobre a proteção dos direito à igualdade e não discriminação nos
sistemas de aprendizagem automática. Esta Declaração busca ampliar as normas internacionais de direitos humanos existentes no desenvolvimento e
[5]
uso de sistemas da IA, visando construir discussões, princípios e documentos existentes explorando os danos decorrentes desta tecnologia .
Embora esta Declaração esteja focada em tecnologias de aprendizado de máquina, muitas das normas e princípios incluídos são igualmente
[6]
aplicáveis à IA, bem como aos sistemas de dados relacionados .
Os direitos à igualdade e à não discriminação são apenas dois dos direitos humanos que podem ser adversamente afetados pelo uso de sistemas de
aprendizado de máquina: privacidade, proteção de dados, liberdade de expressão, participação na vida cultural, igualdade perante a lei e acesso à
justiça são apenas alguns dos outros direitos que podem ser prejudicados com o uso indevido desta tecnologia.
Nesse contexto, em uma entrevista à rede britânica BBC, Iyad Rahwan, professor do MIT envolvido no projeto “Norman”, argumentou que
experiências que envolvam algoritmos de IA são válidas por provarem que “dados são mais importantes que algoritmos”. Ou seja, os dados usados para
treinar a inteligência artificial têm influência maior no comportamento do sistema do que o algoritmo usado para articular essa inteligência artificial.
“Os dados são refletidos na forma como a IA percebe o mundo e como ela se comporta”, afirmou (RAHWAN, 2018).
Ora, um ponto crucial e indispensável é assegurar os princípios de igualdade e não discriminação quando estamos frente à IA e aos direitos
fundamentais. Ou seja, devemos ter princípios jurídicos para uma IA que respeite e promova a vigência de um Estado Constitucional, a partir dos
paradigmas que surgem dos pactos internacionais, e que em essência está baseado na dignidade humana.
Desta forma, dentro deste enfoque jurídico e protetivo, pressupõe-se haver uma inovação inclusiva para o desenvolvimento sustentável, para que o
desenvolvimento da IA seja compatível com os direitos humanos e fundamentais. O desafio geral diz respeito a regulações que incorporem uma série
[7]
de princípios ligados ao processamento de informação e aos dados que levam os resultados dos sistemas de IA .
Proteger os direitos humanos e fundamentais perante a IA apresenta-se como um desafio ao uso do big data e da IA, considerando que um dos
principais desafios consiste em entendermos sobre o que estamos falando, de modo a podermos pensar o mais acertadamente sobre as características
atribuídas a estes.
4. A eliminação da discriminação tecnológica e a busca pela inclusão digital

Existe uma enorme oportunidade de impacto social a partir do surgimento de algoritmos de IA e aprendizado de máquina. Além disso, há uma série de
preocupações relacionadas à maneira como os algoritmos podem ser responsabilizados em áreas que afetam a esfera pública e privada (SHAH, 2018).
Conforme afirma Hetan Shah, “Os algoritmos na maior parte estão refletindo o preconceito em nosso próprio mundo”. Podemos interpretar dessa
afirmação que existem muitos exemplos de problemas referentes à parcialidade em algoritmos que aumentaram a preocupação social. Entre estes, o
[8]
aplicativo de fotos do Google, que identifica erroneamente um casal negro como gorila , preocupações com preconceito racial nos resultados de
[9]
algoritmos nos EUA usados para prever a probabilidade de reincidência do réu e estudos de mineração de texto mostrando associações de palavras
[10]
com estereótipos .
Devido a questões inerentes à programação, os algoritmos funcionam com uma black box, ou seja, nem o próprio programador, enquanto
“monitorizador” do algoritmo, conseguirá perceber o porquê de aquele ter chegado a um determinado resultado (FERREIRA, 2018).
Neste sentido, Afonso José Ferreira ainda tece o seguinte:

“Uma destas falhas (…) relaciona-se com a processamento de dados por algoritmos autônomos. Por algoritmos autônomos, refiro-me a
métodos automáticos de processamento de dados, em que determinados dados são inseridos, direta ou indiretamente, pelo utilizador, num
algoritmo que os processa para providenciar ao utilizador um resultado. O processamento de dados através de algoritmos autônomos funciona
como uma black box – isto é, não é possível perceber o seu funcionamento interior, sendo apenas possível conhecer os inputs e outputs da
operação de processamento.”

Não obstante, convém destacar que é necessário garantir o funcionamento adequado dos algoritmos. Visto que, é inegável que deve haver a garantia da
independência e da imparcialidade dos algoritmos cujos resultados possam produzir efeitos nas esferas jurídicas (FERREIRA, 2018).
Também em síntese, destacamos o uso do big data e da IA em decisões administrativas, policiais e judiciais. Dessa forma, os algoritmos estão se
tornando cada vez mais parte de nossa infraestrutura pública. Frente a estas situações é necessário redescobrir novas formas de proteção da igualdade
e ao direito a não discriminação, pois as dificuldades para atuar, vigiar e controlar são complexas.
No que respeita a algorithmic accountability, há algumas formas de iniciativa que podem ajudar essa responsabilidade em torno do algoritmo.
Primeiro, o modelo deve ser testado para verificar o viés de várias maneiras, usando vários conjuntos de dados de treinamento, sempre que possível.
[11]
Como a Algorithmic Justice League que oferecem ajuda na verificação de preconceitos .
Em segundo lugar, há um papel ligado à transparência, principalmente no desenvolvimento de políticas públicas de IA. Aparentemente seria uma
forma útil publicar o modelo, os dados e os metadados explicando sua proveniência. Entretanto, quanto a transparência ressaltamos dois pontos, um é
o debate de até que ponto a transparência pode dar sentido aos modelos de aprendizado de máquina, e o outro é quanto que a própria transparência
não é a chave para a responsabilização (O’NEILL, 2002).
O viés algorítmico, como o preconceito humano, pode resultar em experiências excludentes e práticas discriminatórias. Segundo Joy Buolamwini
“Quem quer que codifique o sistema, incorpora suas visões. Uma chamada para código inclusivo”, isto significa que, como muitos programadores utilizam
bibliotecas de códigos populares, o código reutilizado às vezes reflete a falta de inclusão no espaço tecnológico de maneiras não óbvias e os pedidos de
[12]
inclusão de tecnologia geralmente perdem o viés que está embutido no código escrito gerando experiências frustrantes .
A leitura biométrica do rosto, igualmente denominada reconhecimento facial, torna-se cada vez mais comum e isso ainda é mais frequente
justamente pela reutilização de códigos. Por mais que códigos reutilizáveis sejam mais eficientes, é preciso criar código que funcione para pessoas de
todos os tipos.
Portanto, em vez de concentrar-se apenas em examinar a black box, um terceiro aspecto da responsabilidade seria monitorar os resultados dos
impactos diferenciais, com um enfoque particular nas comunidades mais pobres ou minoritárias.
A Lei de Proteção de Dados do Reino Unido, de 1998, permite o direito de contestar decisões significativas automatizadas baseadas apenas no
processamento automatizado, e isso continua a existir no Regulamento Geral de Proteção de Dados da União Europeia.
Seja na Diretiva ou no Regulamento Geral de Proteção de dados, por exemplo, o profiling é visto como uma forma anormal de processamento de
dados, e como uma exceção a ser evitada (FERREIRA, 2018)
A ideia de construir valores libertadores em sistemas tecnológicos não é algo novo. Por exemplo, o movimento Appropriate Technology defende
abordagens sustentáveis para o desenvolvimento tecnológico nos países do Sul Global. Como esses países são grandes consumidores de alta
tecnologia, faz-se necessário ter uma inclusão e acrescentar pessoas em grupos e núcleos que antes não faziam parte através da automatização de
atividades.
Os desafios e limitações para novas tecnologias de informação e comunicação nos leva à pergunta que mencionamos no início deste trabalho: afinal,
como construir um ambiente em que a inteligência artificial seja motivo de inclusão e não de exclusão? Dentro do contexto apresentado, precisamos
explorar as formas como a IA se relaciona com os níveis pessoais, comunitário e institucional, contra a redução otológica, em direção ao design para o
pluriverso.
5. Conclusão

Com foco em todo o exposto, este estudo enfatizou que precisamos considerar abordagens que estão além da inclusão e da justiça, e que centralizem a
autonomia e a soberania.
Assim, não podemos abordar questões sociotécnicas, concentrando-nos apenas na parte técnica dos problemas que refletem a discriminação e
exclusão. Como a IA é usada, em última análise, refletirá quais vidas nós escolhemos valorizar e quais vozes escolhemos ouvir. Então, passamos a
discussão da necessidade de inteligência artificial mais inclusiva e conjuntos de dados mais representativos.
O surgimento da IA requer atenção ao viés inadvertido que pode perpetuar práticas discriminatórias e experiências excludentes para pessoas de
todas as tonalidades e gênero. Em síntese, podemos trabalhar com o design da IA em torno do bem-estar humano, pensando também em abordagens
que incluam movimentos sociais.
A IA tem o poder de melhorar a sociedade. Há uma ampla gama de mecanismos que podem ajudar a melhorar sua utilidade fazendo com que hajam
boas práticas. Quando também mencionamos neste estudo alguns princípios à proteção humana ressaltamos que os direitos de personalidade são
inerentes aos seres humanos, não podendo ser repassados para as máquinas, ainda que estas tenham uma grande autonomia.
Precisamos considerar também abordagens que estão além da inclusão e da justiça, e que centralizem a autonomia e a soberania, bem como alguns
princípios jurídicos que norteiam a dignidade humana, frente a possíveis exclusões que possam haver com IA. As tecnologias se desenvolvem
aceleradamente na Revolução Industrial 4.0 e são empregadas em todos os setores de atividades,
Por fim, com a inclusão em mente, podemos melhorar a coleta de dados e os algoritmos de treinamento. Desde que se consiga coletar os dados
corretos, pode-se fazer isso usando o aprendizado de máquina. Portanto, o objetivo é obter os dados apropriados e encontrar o equilíbrio certo entre
bom aprendizado e os resultados, pois, a tecnologia sempre visou ser utilizada para melhorar as capacidades humanas e dar uma maior qualidade de
vida àqueles que a utilizam.
Referências bibliográficas

Obras de caráter geral e monografias

BEITZ, Charles R. La idea de los derechos humanos. Marcial Pons – Ediciones Jurídicas y Sociales: Madrid, 2012. pp. 141-142; 244.
CALISKAN, Aylin; BRYSON, Joanna J.; NARAYANAN, Arvind. Semantics derived automatically from language corpora contain human-like biases.
Science. Vol. 356, Issue 6334, pp. 183-186. Disponível em: < http://science.sciencemag.org/content/356/6334/183>.
FERREIRA, Afonso José. (2018). Profiling e algoritmos autónomos: um verdadeiro direito de não sujeitção? Em F. P. Coutinho, & G. C. Moniz, Anuário
da Proteção de Dados (pp. 35-43). Lisboa: CEDIS.
FIDALGO, Vítor Palmela. (2018). Inteligência Artifical e Direitos de Imagem. Em M. G. Aline Mapelli, Os impactos das novas tecnologias no Direito e na
Sociedade. (p. 233). Deviant.
PASK, Gordon. Uma Introdução à Cibernética. Coimbra, Arménio Armando- Editora, Colecção Studium, 1970, 252 p. (Tradução do inglês An Approach
to the Cybernetics, de Luis Moniz Pereira. Londres, Hutchinson & Co., 1968).
RAHWAN, I. (03 de junho de 2018). Are you scared yet? Meet Norman, the psychopathic AI. Fonte: BBC News. Disponível em:
<https://www.bbc.com/news/technology-44040008>.
SHAH, Hetan. Algorithmic accountability. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2018, vol.
376, no 2128, p. 20170362.

Outros documentos consultados

ANGWIN Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias, 23 de maio de 2016 . Propublica. Disponivel em:
<https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>.
GRIFFIN, Andrew. Google photos tags black people as ‘gorillas’, puts pictures in special folder. The Independent, 1 de julho de 2015. Disponivel em:
<https://www.independent.co.uk/life-style/gadgets-and-tech/news/google-photos-tags-black-people-as-gorillas-puts-pictures- in-special-
folder-10357668.html>.
LOHR, Steve. The age of big data. New York Times, 2012, vol. 11, no 2012. Disponível em: <
https://s3.amazonaws.com/academia.edu.documents/34393761/2_The_New_York_Times_on_The_Age_of_Big_Data.pdf?
AWSAccessKeyId=AKIAIWOWYYGZ2Y53UL3A&Expires=1548817263&Signature=dqfRrEJ0HeJwoUVHqzv3m%2B5r7ZY%3D&response-content-
disposition=inline%3B%20filename%3D2_The_New_York_Times_on_The_Age_of_Big_D.pdf>.
O’NEILL, O. (2002). The Reith Lectures, A Question of Trust Lecture 4: Trust and Transparency. Fonte: BBC Radio. Disponível em:
<https://www.bbc.co.uk/programmes/p00ghvd8>.
RUMAIHI, Khalid. World Economic Forum Annual Meeting 2019. Three ways to enable the flow of data in the Fourth Industrial Revolution. Disponível
em: <https://www.weforum.org/agenda/2019/01/enabling-flow-data-fourth-industrial-revolution-cloud-middle-east-bahrain/>.

1. Advogada. Pós-Graduada em Direito Público (ASCES-UNITA). Mestranda em Direito Intelectual pela Faculdade de Direito da Universidade de Lisboa. E-mail: camilavilela@outlook.com ↵

2. PASK, Gordon. Uma Introdução à Cibernética. Coimbra, Arménio Armando- Editora, Colecção Studium, 1970, 252 p. (Tradução do inglês An Approach to the Cybernetics, de Luis Moniz Pereira.

Londres, Hutchinson & Co., 1968). ↵

3. LOHR, Steve. The age of big data. New York Times, 2012, vol. 11, no 2012. Disponível em: <

https://s3.amazonaws.com/academia.edu.documents/34393761/2_The_New_York_Times_on_The_Age_of_Big_Data.pdf?

AWSAccessKeyId=AKIAIWOWYYGZ2Y53UL3A&Expires=1548817263&Signature=dqfRrEJ0HeJwoUVHqzv3m%2B5r7ZY%3D&response-content-

disposition=inline%3B%20filename%3D2_The_New_York_Times_on_The_Age_of_Big_D.pdf>. Acesso em: 20 dez. 2018.

http://www3.weforum.org/docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf ↵

4. RUMAIHI, Khalid. World Economic Forum Annual Meeting 2019. Three ways to enable the flow of data in the Fourth Industrial Revolution. Disponível em:

<https://www.weforum.org/agenda/2019/01/enabling-flow-data-fourth-industrial-revolution-cloud-middle-east-bahrain/>. Acesso em: 25 jan. 2019. ↵

5. The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems. Acces Now, 16 de maio de 2018. Disponível em: <https://www.accessnow.org/the-

toronto-declaration-protecting-the-rights-to-equality-and-non-discrimination-in-machine-learning-systems/>. Acesso em: 20 jan. 2019. ↵

6. RightsCon Toronto. Disponível em: <https://www.rightscon.org/>. Acesso em: 20 jan. 2019. ↵

7. Como afirma Charles Beitz, no resulta plausible encontrar un fundamento único o formular una lista de derechos. BEITZ, Charles R. La idea de los derechos humanos. Marcial Pons – Ediciones

Jurídicas y Sociales: Madrid, 2012. pp. 141-142; 244. ↵

8. GRIFFIN, Andrew. Google photos tags black people as 'gorillas', puts pictures in special folder. The Independent, 1 de julho de 2015. Disponivel em: <https://www.independent.co.uk/life-

style/gadgets-and-tech/news/google-photos-tags-black-people-as-gorillas-puts-pictures- in-special-folder-10357668.html>. Acesso em: 15 jan. 2019. ↵

9. ANGWIN Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias, 23 de maio de 2016 . Propublica. Disponivel em: <https://www.propublica.org/article/machine-bias-risk-

assessments-in-criminal-sentencing>. Acesso em: 15 jan. 2019. ↵

10. CALISKAN, Aylin; BRYSON, Joanna J.; NARAYANAN, Arvind. Semantics derived automatically from language corpora contain human-like biases. Science. Vol. 356, Issue 6334, pp. 183-186. Disponível

em: < http://science.sciencemag.org/content/356/6334/183>. Acesso em: 15 jan. 2019. ↵

11. Cfr. informação em: <https://www.ajlunited.org/>. Acesso em 23 jan. 2019. ↵

12. Um exemplo quanto a utilização de códigos é o Aspire Mirror, projeto do Media Lab que permite que você olhe para si mesmo e veja uma reflexão em seu rosto com base no que o inspira.

Desenvolvido 2015 por Joy Buolamwini, também fundadora do projeto Algorithmic Justice League. ↵
Responsabilidade civil e inteligência artificial: quem responde pelos danos causados por robôs inteligentes?

[1]
Christine Albiani
Introdução

O presente artigo tem como principal objetivo perquirir quais as possíveis soluções acerca da responsabilização pelos danos causados por atos que a
inteligência artificial executa de forma autônoma, isto é, sem qualquer controle ou comando dado por um ser humano.
Deve-se ter em vista que, em que pese a existência de normas jurídicas voltadas para o campo da ciência, tecnologia e inovação (como a Lei n.
10.973/2004 – Lei da Inovação – e Lei n. 12.965/2014 – Marco Civil da Internet), questões como a responsabilidade civil por danos decorrentes de atos
praticados por sistemas autônomos de inteligência artificial não foram regulados pelo legislador, provavelmente por nos encontrarmos num estágio
ainda inicial do debate sobre o assunto, demandando maior reflexão e desenvolvimento.
Para compreensão dessa temática devemos observar que robôs inteligentes e cada vez mais autônomos já fazem e vão progressivamente fazer parte
do nosso cotidiano e eles efetivamente podem agir de forma equivocada e causar danos aos seres humanos. Quanto mais complexas são as soluções
apresentadas pelas máquinas, é de se verificar que o Direito numa relação simbiótica com o desenvolvimento tecnológico avance para buscar
compreender o que são robôs inteligentes e como deverá ser a resposta do ordenamento jurídico à sua atuação.
Questiona-se se os regimes de responsabilidade civil existentes seriam suficientemente flexíveis para lidar com os novos danos derivados da relação
entre humanos e robôs, precipuamente quando observarmos robôs autônomos, que conseguem por meio de aprendizagem constante, desenvolver
novas habilidades, dispensando cada vez mais interferências externas para tanto, sendo capaz de agir de forma imprevista pelo seu programador e/ou
proprietário.
Pretende-se, portanto, analisar quem deve ser responsabilizado civilmente pelos danos causados por robôs autônomos ou por programas que
utilizam inteligência artificial, perpassando por questões necessárias, como: quem deve garantir a segurança dessas novas tecnologias; se poderia ser
atribuída responsabilidade civil à própria máquina mesmo sem personalidade jurídica ou se deveria ser atribuída personalidade jurídica para tanto; e se
essa seria a melhor alternativa de regulação.
Surge, ainda, a necessidade de observar qual seria o momento mais adequado para se instituir uma normatização sobre o referido tema, tendo em
vista que com o crescente desenvolvimento e utilização da inteligência artificial nas mais diversas áreas da vida moderna, seu impacto na sociedade
será maior, demandando reflexão e debate quanto à necessidade de regulação dessas novas tecnologias.
Num primeiro momento, verifica-se que, conforme o ordenamento jurídico brasileiro, apenas pessoas podem titularizar direitos e contrair
obrigações, e, assim, surgem uma série de dúvidas no âmbito da reparação civil, fazendo-se necessário observar a experiência de outros países com o
intuito de que se investigue e se elejam formas de responsabilização que promovam a dignidade da pessoa humana (como valor maior do nosso
ordenamento) – possibilitando a reparação integral da vítima – e, ao mesmo tempo, sejam compatíveis com o presente estágio tecnológico e não
representem um desestímulo à ciência e inovação e ao desenvolvimento de novas tecnologias.
Aparentemente, diante da sistemática de responsabilização civil adotada no Brasil, as vítimas poderão imputar responsabilidade pela reparação ao
proprietário ou responsável final pela inteligência artificial e/ou seu fabricante, a depender da situação, da tecnologia e grau de autonomia.
Todavia, diante do crescente progresso da Inteligência Artificial e aperfeiçoamento do Machine Learning – meio através do qual máquinas e
softwares aperfeiçoam o desenvolvimento cognitivo humano, acumulando experiências próprias e extraindo delas aprendizados – se torna possível
que robôs inteligentes ajam de forma independente e tomem decisões de forma autônoma. Nessa perspectiva, em que há uma maior preocupação com
casos em que a máquina ou sistema se torne autossuficiente, surge uma discussão relevante sobre a possibilidade de se criar uma espécie de
personalidade jurídica para esses robôs autônomos e inteligentes.
Dessa forma, considerando que robôs gradativamente conseguem efetuar atividades que, de forma geral, costumavam ser realizadas exclusivamente
por humanos (como cuidar de idosos e pessoas doentes; dirigir carros; fazer cirurgias e etc.) e que possuem cada vez mais autonomia e certas
habilidades decorrentes de aprendizado, tomando decisões praticamente de forma independente (sendo capazes de, por si próprios, criar comandos
sem que sejam programados para tanto), tornou-se urgente discutir a responsabilidade jurídica decorrente de uma conduta lesiva por parte deles.
O desenvolvimento da inteligência artificial implica na reflexão de que, a depender da situação, a máquina não mais pode ser tratada como mero
objeto do direito, o que remete à observação do conceito de pessoa jurídica e se esta seria uma alternativa compatível com a integral reparação de
danos.
De fato, não há dúvidas que quanto maior for a autonomia do robô, menos deveremos encará-lo como um instrumento, uma ferramenta, na mão de
outros intervenientes como o fabricante, o operador, o proprietário, o utilizador e etc. Identificar o grau de autonomia e inteligência dessas máquinas
será essencial para se estabelecer o regime de responsabilidade a ser aplicado.
Assim, se mostrará necessário o desenvolvimento de um sistema de responsabilidade civil diferenciado, que englobe os diversos agentes
relacionados ao dano causado pela máquina e que leva em consideração alguns fatores, como o grau de participação do agente na cadeia causal, o tipo
de tecnologia utilizado, e o grau de autonomia e conhecimento científico (estado da técnica) da época.
Ante a complexidade das questões relacionadas à responsabilização civil por danos causados por robôs, o Parlamento Europeu, no início do ano de
[2]
2017, adotou uma Resolução com recomendações sobre regras de Direito Civil e Robótica , que indica a necessidade de se regular o desenvolvimento
de robôs autônomos e inteligentes, além de sugerir que se crie uma personalidade jurídica para tais robôs e que haja o estabelecimento de uma espécie
de seguro obrigatório (conforme já ocorre, por exemplo, com veículos tradicionais). Num momento posterior, irá se fazer uma análise mais
aprofundada da proposta de regulação da União Europeia para melhor compreensão do tema.
Examinado esse panorama, destaca-se o papel do direito enquanto complexo de normas sistematizadas que regula e pacifica as relações sociais, e a
necessidade de sua constante reestruturação, principalmente por causa da relação simbiótica existente com a tecnologia.
Nesse sentido, ele deve atuar de forma a, de um lado, não desestimular o desenvolvimento econômico e tecnológico em crescimento, garantindo
previsibilidade de que regras devem ser aplicadas (segurança jurídica) e, de outro, evitar que danos ocasionados pela utilização de tecnologias de
inteligência artificial fiquem sem reparação, coibindo abusos e protegendo direitos fundamentais. A regulação deve vir não só para resguardar os
direitos das partes relacionadas, mas, sobretudo, o da própria sociedade.
 Diante dessa necessidade de se compreender e buscar soluções referentes à responsabilização civil por atos autônomos de inteligência artificial, o
primeiro tópico deste artigo é destinado a traçar um breve panorama da responsabilidade civil no ordenamento jurídico pátrio, como forma de se
observar sua possível inflexibilidade e insuficiência frente à demanda da reparação por atos de robôs autônomos.
O segundo tópico será um exame mais detalhado da proposta de regulação da União Europeia no que diz respeito à responsabilização decorrente de
atos autônomos de máquinas que utilizam inteligência artificial, observando as sugestões dadas e as discussões a ela correlatas. Nesse ponto, será
abordada principalmente a discussão acerca da viabilidade e eficácia de se atribuir personalidade jurídica ao robô autônomo e como seria a forma de
reparação de danos a ser utilizada.
Por fim, o terceiro e último tópico é destinado a tratar dos novos rumos da responsabilidade civil, trazendo uma análise dos meios alternativos,
inclusive já utilizados em outros países, como estímulo à inovação e ao progressivo desenvolvimento de novas tecnologias.
Responsabilidade Civil no Ordenamento Jurídico Pátrio

Diante do ordenamento jurídico vigente, apenas pessoas físicas ou jurídicas são titulares de direitos e podem contrair obrigações, trazendo à tona
questionamentos acerca da reparação civil por danos decorrentes de atos de sistemas autônomos de inteligência artificial, já que se caracterizam pela
tomada de decisões independente e muitas vezes imprevisível ao programador ou proprietário.
Nesse sentido, vale observar que a inteligência não é tratada como entidade autônoma, detentora de personalidade jurídica, e, portanto, ainda não
pode ser responsabilizada civilmente pelos atos praticados de forma independente – sem controle prévio ou previsibilidade – restando o
questionamento sobre quem será responsabilizado pelos danos oriundos de tais atos.
Para tanto, deve-se analisar os regimes de responsabilidade civil existentes para saber se estes são suficientemente flexíveis para tratar desses novos
conflitos oriundos da relação entre o sistema de inteligência artificial, robô inteligente, e humano, mesmo que adaptações sejam feitas para adequá-los
a essa nova realidade.
A responsabilidade civil numa visão tradicional consiste na obrigação, imputada por lei, de reparação de danos causados a outrem, de ordem material
ou moral, em decorrência de uma conduta antijurídica, omissiva ou comissiva. Ela deriva da concepção de que há uma obrigação originária, de não
acarretar danos, e, outra, sucessiva, no sentido de repará-los. Observa-se que o dano civil causa um desequilíbrio social, cujo retorno à normalidade
passa pela necessidade de reparação, sendo este o objetivo da responsabilidade civil.
Há quem entenda que pelo fato de a responsabilidade civil atual incidir sobre um ato voluntário (mesmo não pretendido), cujo resultado é o dano ou
riscos de dano ao direito de outrem, e a inteligência artificial ser produto de uma programação complexa de algoritmos, e, portanto, desprovida de
vontade, discernimento ético ou sensibilidade social – qualidades inerentes ao ser humano – seria incoerente sua responsabilização. Assim, caberia ao
programador ou empresário que comercializa ou fabrica o produto arcar com os danos decorrentes dos atos de robôs inteligentes.
A regra vigente no nosso ordenamento acerca da responsabilidade civil aquiliana ou extracontratual é a responsabilidade subjetiva, prevista no art.
927 do CC/02, pautada na comprovação da culpa em qualquer das suas modalidades (imprudência, negligência ou imperícia) como forma de haver a
sua configuração.
Com o decorrer do tempo, no entanto, em função da complexidade das relações que foram sendo estabelecidas, surgiu a necessidade de se inserir,
no ordenamento jurídico pátrio, situações em que a responsabilidade civil restará configurada independentemente de culpa, com o intuito de se
tutelar a parte hipossuficiente da relação jurídica e facilitar a reparação integral da vítima, pois se vislumbraria um ônus muito grande a comprovação
da culpa para se obter a reparação do dano.
Dessa forma, o próprio CC estabelece expressamente situações de responsabilidade objetiva (como no caso de responsabilidade civil do incapaz; dos
donos de animais; do empregador pelos atos do seu empregado, previstos no art. 932), trazendo no art. 927, parágrafo único uma cláusula geral de
responsabilidade objetiva genérica, que estabelece que aquele que desenvolve atividade essencialmente perigosa – seja porque se centram em bens
intrinsecamente danosos ou porque empregam métodos de alto potencial lesivo – deve arcar com os riscos de danos a ela inerentes sem necessidade
de comprovação de culpa.
Outros diplomas legais, como o CDC, preveem outras hipóteses de responsabilidade objetiva. A larga aplicação da legislação consumerista (no que se
refere aos artigos 12, 14 e 18 do CDC) consolidou a responsabilização objetiva fundada na teoria do risco da atividade, segundo o qual devem suportar os
efeitos maléficos da atividade aqueles que recebem seu bônus, principalmente quando a atividade desenvolvida é passível de causar prejuízos a
terceiros. Assim, as pessoas jurídicas que desenvolvem atividade empresária passaram a ser responsabilizadas objetivamente pelos danos causados .
Dessa forma, paralelamente ao CC que trata das relações privadas não abrangidas pela relação de consumo, está o CDC que estipula dentre os
direitos básicos do consumidor (art. 6º) o direito à vida, saúde e segurança contra os riscos provocados por práticas no fornecimento de produtos e
serviços. Nesse sentido, existe um movimento de defesa da necessidade de se compreender a responsabilidade civil das inteligências artificiais sob
uma ótica consumerista, tendo em vista que as relações entre fornecedor e consumidor envolvendo produtos dotados de inteligência artificial
estariam sob a égide do CDC.
No direito consumerista brasileiro temos como regra geral a responsabilidade civil objetiva daqueles envolvidos com o fornecimento de um produto
ou serviço que ocasionou algum dano ao consumidor. A noção de defeito que caracteriza essas hipóteses baseia-se na ideia de legítima expectativa de
segurança. Dessa forma, o serviço ou produto é defeituoso se não fornecer a segurança esperada ao consumidor, levando em consideração as
circunstâncias do caso concreto, o resultado e os riscos que razoavelmente dele se esperam.
Corroborando com essa proteção, o art. 8º estipula que produtos e serviços colocados no mercado de consumo não devem acarretar riscos aos
consumidores, exceto os considerados normais e previsíveis em decorrência da sua natureza ou fruição – o que pode ser considerado um conceito
extremamente aberto a ser delimitado pelo operador do direito –, obrigando-se os fornecedores a prestar as informações necessárias e adequadas a
esse respeito.
Aqui vislumbra-se um ponto muito delicado quando se trata de inteligência artificial, porque considerando a sua capacidade de acumular
experiências e dela extrair aprendizados, há possibilidade de que, ao agir autonomamente, a ferramenta pratique atos não cogitados pelo seu
fabricante e/ou programador. Dessa forma, ainda que empregada a máxima diligência, os desdobramentos da inteligência artificial não são totalmente
previsíveis no atual estado da técnica, de forma que seu desenvolvimento poderá extrapolar previsões iniciais.
Assim, questiona-se se seria possível ao fornecedor prever os riscos esperados pela comercialização da inteligência artificial, tendo em vista ser
intrínseco ao produto a sua capacidade de autoaprendizagem e desenvolvimento, podendo alcançar, portanto, objetivos e resultados não previstos. Se
a resposta for negativa e as ferramentas dotadas de inteligência artificial não fornecerem a segurança exigida, não podem entrar no mercado de
consumo? Isso não desestimularia o desenvolvimento de novas tecnologias e inovação, já que muito sistemas precisam de treinamento empírico para
se desenvolver e aperfeiçoar?
Assim, indaga-se se seria possível a arguição, em contrapartida, do risco do desenvolvimento para afastar a responsabilidade do fabricante ou
[3]
proprietário de tecnologias dotadas de inteligência artificial . Essa tese consiste na possibilidade de que um determinado produto ou serviço seja
colocado no mercado sem que possua defeito cognoscível, ainda que exaustivamente testado, ante ao grau de conhecimento disponível à época da sua
introdução. Ocorre, todavia, que após determinado período do início da sua circulação no mercado de consumo, venha se detectar defeito – ante a
evolução dos meios técnicos e científicos – capaz de gerar danos aos consumidores. Assim, os riscos só vêm a ser descobertos após um período de uso
do produto, seja em razão de acidentes ou danos, ou de avanços nos estudos e testes realizados.
Em razão da condição narrada, há quem entenda que, nessa hipótese, deveria haver a exclusão da responsabilidade do fornecedor como medida para
se garantir o desenvolvimento tecnológico nesta seara. A ideia central é a de que o dano ocorreria não porque o fornecedor falhou nos seus deveres de
segurança e diligência, mas sim porque a incognoscibilidade do defeito era absoluta diante do presente estado da técnica.
Diante disso, não haveria frustação da legítima expectativa do consumidor, porque nenhuma expectativa deveria ser considerada legítima se
pretende ir além do estado mais avançado da tecnologia da sua época. Por outro lado, há quem entenda que sua aplicação poderia acabar permitindo
que o consumidor arcasse sozinho com a incerteza da tecnologia adquirida. Além de não ter plena consciência dos riscos e do grau de conhecimento
alcançado pela ciência, ele ainda assumiria integralmente os danos que viesse a sofrer decorrentes do uso normal do produto ou serviço.
Isso pareceria contraditório para o ordenamento jurídico brasileiro, porque existiriam danos sem reparação, ferindo até mesmo o neminem laedere
(dever geral de não causar danos a outrem), uma vez que o legislador se preocupou em estabelecer responsabilidade independentemente de culpa,
reconhecendo a vulnerabilidade dos consumidores de bens e serviços.
Vale lembrar que existem casos excepcionais em que o CDC (art. 12, §3º) prevê a não responsabilização do fabricante, destacando-se a culpa
exclusiva do consumidor ou de terceiro, podendo ser utilizada como excludente de responsabilidade do fornecedor ou desenvolvedor do produto que
utiliza inteligência artificial.
Além dessa excludente, indica-se outra aplicável à responsabilidade objetiva que também rompe o nexo casual, sendo o caso fortuito fato inevitável
que se mostra como causa necessária para a ocorrência do dano. Quando a responsabilidade objetiva é fundada na teoria do risco, relevante se faz
diferenciar o fortuito interno do externo, já que o interno não exonera a obrigação de reparar, porque está vinculado aos objetivos da atividade
causadora do dano.
Nas hipóteses em que se configura a responsabilidade objetiva, ou seja, onde se verifica a conduta ilícita, o dano material ou moral, bem como o nexo
causal entre a conduta e o dano, e impõe-se o dever de indenizar capaz de restaurar o status quo ante, ou ao menos compensar o dano sofrido e evitar
a prática de novos ilícitos.
Transportando as noções de responsabilidade civil do ordenamento jurídico brasileiro para o âmbito da inteligência artificial, tendo em vista que
atualmente ela não é considerada uma entidade autônoma que possui personalidade jurídica e, portanto, não seria diretamente responsável pelos
próprios atos, a responsabilidade civil objetiva em decorrência do seu uso, inevitavelmente acabará recaindo, pelo menos num momento anterior à
regulação específica do tema, sobre o empresário que a produz e aufere lucros, com fundamento no risco da atividade.
É evidente que a opção pela responsabilização objetiva, quando levada ao extremo, acarreta um desestímulo ao desenvolvimento tecnológico,
científico e à inovação. Deve-se observar que se o empresário faz uma análise de custo-benefício, sopesando vantagens e desvantagens na utilização
da inteligência artificial e chega à conclusão que os riscos ultrapassam os benefícios econômicos pretendidos, ele deixará de investir nessa seara. Esse
risco se mostra ainda mais evidente quando a máquina age de maneira autônoma, independente, sem interferência e/ou controle externo,
desenvolvendo novos comandos não contidos na sua programação original, já que seu comportamento deixa de ser previsível, impossibilitando a
prevenção de danos.
Vale ressaltar que, se em face do empresário seria possível aplicar a teoria do risco, o mesmo não ocorre quanto ao programador, já que este só
poderia ser responsabilizado subjetivamente (por ser profissional liberal). Ou seja, ele só poderia ser responsabilizado quando comprovada a ocorrência
[4]
de falha na programação ou a previsibilidade quanto à conduta lesiva (ainda que não programada) . Vale observar, no entanto, que só seria necessário
perquirir a responsabilidade do programador quando este não estivesse vinculado a nenhuma sociedade empresária, já que esta responderia de forma
objetiva.
Outra situação a ser solucionada é a que envolve apenas pessoas físicas, já que há, como regra, a aplicação da responsabilidade subjetiva. Dessa
forma, uma vez não demonstrada a culpa de uma das partes no dano ocasionado em razão do uso de inteligência artificial, a vítima não será indenizada
pelos prejuízos sofridos e, portanto, o dano ficaria sem reparação.
Neste ponto, no entanto, a depender do caso concreto e do grau de autonomia da máquina, se entendermos a inteligência artificial como
ferramenta, poderia ser aplicada conforme se vê da regulação da União Europeia (que analisaremos à seguir) a responsabilização por fato de terceiro, já
que se evidenciaria um dever de cuidado, cautela, fazendo surgir a responsabilização objetiva. Porém, à medida em que o grau de autonomia do
sistema de inteligência artificial fosse maior, essa solução se mostraria incompatível, assim como as demais soluções tradicionais encontradas no
ordenamento jurídico pátrio.
Há ainda a hipótese de Inteligência artificial construída a partir de softwares livres, que podem ser usados livremente, adaptados e melhorados, de
modo que com o decorrer do tempo diversas pessoas ao redor do mundo podem contribuir para a sua programação e para o desenvolvimento de suas
funcionalidades, o que torna a identificação do programador um desafio, assim como a reparação de danos.
Diante de todo o exposto, observa-se que o sistema de responsabilização atualmente em vigor no Brasil apenas se adequa àqueles casos em que os
sistemas de inteligência artificial não tenham alcançado um nível de autonomia que lhes permita desempenhar comandos não programados.
Assim, premente se faz analisar alternativas de regulação para a responsabilidade civil por atos independentes da inteligência artificial – discussão
ainda incipiente no Brasil –, utilizando como referência a abordagem já iniciada no âmbito da União Europeia, já que o Parlamento Europeu em 2017
editou uma resolução com recomendações sobre o tema, assim como outras propostas adotadas internacionalmente.
Proposta de Resolução da União Europeia

Conforme citado anteriormente, o Parlamento Europeu, em razão da complexidade da atribuição de responsabilidade pelos danos causados por robôs,
editou, no início de 2017, uma Resolução com recomendações (a serem integradas às legislações dos seus Estados-membros) sobre regras de Direito
Civil e Robótica, com o intuito de estabelecer princípios éticos básicos para o desenvolvimento, a programação e a utilização de robôs e da inteligência
artificial.
Os danos decorrentes do desenvolvimento de sistemas de inteligência artificial, como carros autônomos e outros robôs inteligentes, foram a mola
propulsora para a adoção de tal Regulamento, servindo de ponto de partida para a busca de uma resposta razoável ao se realizar a seguinte pergunta:
quem responde pelos danos causados por um robô inteligente?
A Resolução leva em consideração, logo na sua exposição de motivos, o fato de que em alguns anos a inteligência artificial pode ultrapassar a
capacidade intelectual humana, de forma que a própria aptidão do criador em controlar a sua criação seja questionada. Essas e outras razões levariam
a uma preocupação quanto à responsabilização civil.
Indica-se, assim, a necessidade de se regular o desenvolvimento de robôs autônomos e inteligentes, inclusive, com a recomendação (até certo ponto
imprevisível) de que se crie uma espécie de personalidade jurídica própria para tais robôs.
Além disso, o Parlamento Europeu, diante da complexidade da atribuição de responsabilidade civil por atos autônomos decorrentes da inteligência
artificial, sugeriu o estabelecimento de um regime de seguros obrigatórios (para fabricantes e usuários da tecnologia), conforme já ocorre, por
exemplo, com veículos automotores tradicionais.
Esses seguros abrangeriam danos decorrentes de atos autônomos do sistema e não só os decorrentes de atos e falhas humanas, levando-se em
consideração todos os elementos potenciais da cadeia de responsabilidade. Esse regime de seguros seria, ainda, complementado (à semelhança do que
[5]
ocorre com os veículos tradicionais), por um fundo de garantia de danos para arcar com os casos não abrangidos por qualquer seguro .
Recomendou-se, na Resolução, que independentemente da solução jurídica encontrada para a questão da responsabilidade civil pelos danos
causados por robôs, na hipótese de danos extrapatrimoniais não seria admitida ao instrumento normativo que estabelece qualquer limitação em
relação ao tipo de lesão, extensão dos danos e forma de reparação. Declarou-se, de início, que uma vez identificadas as partes as quais caberia a
responsabilidade, esta deveria ser proporcional ao nível de autonomia do robô e de instruções dadas a ele, na medida em que, quanto maior fosse sua
capacidade de aprendizagem e autonomia e mais longo o seu treinamento, maior seria a responsabilidade de quem o treinou (usuário ou proprietário).
Levando-se em consideração os riscos, a corrente prevalente, pelo menos como ponto de partida, principalmente quanto aos atos de inteligência
artificial que infirmem previsibilidade ao fabricante e/ou proprietário, ou seja, que não possuam ainda efetiva autonomia, defende a aplicação da
responsabilidade objetiva de quem está em uma melhor posição para oferecer garantias e arcar com prejuízos, em uma concepção alinhada à gestão de
riscos.
Observa-se, desde logo, que as conclusões da Resolução não se afastam dos avanços da responsabilidade civil, que desloca o enfoque do ato ilícito de
quem causa o prejuízo para o dano de quem injustamente o suporta, de modo a se alcançar a finalidade precípua da reparação, a distribuição das
consequências econômicas geradas pelo evento danoso.
A perspectiva de que o desenvolvimento da Inteligência artificial possa culminar em robôs autônomos, que se tornem ou sejam autoconscientes,
alinhada à atual Teoria Geral da responsabilidade civil que preconiza, como regra, que responde pelo dano aquele que dá causa por conduta própria,
são razões que justificam a solução aventada pelo Parlamento Europeu, defendida por alguns autores da doutrina, de se criar os agentes artificiais um
estatuto jurídico próprio, uma espécie de personalidade jurídica para o robô em si, chamada por vezes de “e-personality” ou “personalidade
[6]
eletrônica” .
Os países da civil law, de uma maneira geral, atribuem responsabilidade e consequente dever de compensar danos ao infrator ou alguma pessoa que
seja responsável pelas ações do infrator (como nos casos de responsabilidade por ato de terceiro). Se a inteligência artificial for totalmente autônoma,
realizando ações de forma independente e sem comando prévio para tanto, pode-se supor que ela deve ser ciente das suas ações, podendo, portanto,
ser responsabilizada por elas.
O reconhecimento pelo direito da inteligência artificial como entidade autônoma significa que esta terá direitos e um conjunto de deveres
correspondentes, que devem ser debatidos com mais profundidade. Direitos e deveres só são atribuídos a pessoas, sejam naturais ou jurídicas. Assim,
para que a inteligência artificial seja responsável por suas ações, devemos atribuir-lhe personalidade jurídica. Isso significa que os legisladores devem
rever o arcabouço legal existente e adaptá-lo às necessidades mutáveis da sociedade. A regulação estipulada deverá, ao menos, a princípio, conter
normas fundamentais, genéricas e princípios gerais do direito, de modo que não necessite de constantes alterações conforme haja mudanças na
tecnologia.
O que se observa, assim, é a proposta de se criar um estatuto jurídico específico para os robôs a longo prazo, na medida em que, ao menos os robôs
autônomos mais sofisticados possam se enquadrar juridicamente como detentores do estatuto de pessoas eletrônicas, responsáveis por sanar
quaisquer danos que eventualmente venham causar. E, se for o caso, atribuir personalidade eletrônica nas hipóteses em que os robôs tomem decisões
autônomas (sem programação prévia para tal) ou em que interajam por qualquer outro modo com terceiros de forma independente.
Muitos estudiosos ainda se questionam se atribuir personalidade jurídica a um robô inteligente é efetivamente o melhor caminho para a
responsabilização ou se a adaptação dos meios de responsabilização civil já existentes seria suficiente, tendo em vista que se verifica a personalidade
sob um viés estritamente patrimonial, sem uma análise mais aprofundada dos desdobramentos dessa solução jurídica, do que seria um robô inteligente
e do seu estatuto jurídico.
Nesse sentido, Carlos Affonso Souza, explicita:

No cenário europeu, impulsionado por indagações sobre responsabilidade, a questão da personalidade aparece muito mais ligada à construção
 de um mecanismo de reparação à vítima de danos do que como resultado de uma discussão mais aprofundada sobre o que é um robô
[7]
inteligente e seu estatuto jurídico de forma mais abrangente.

Uma questão interessante para a compreensão da proposta realizada é perquirir a razão de um ordenamento jurídico conferir personalidade jurídica a
uma entidade. Se, de um lado temos as pessoas físicas, que naturalmente são detentoras de personalidade jurídica, de outro, temos situações em que o
ordenamento jurídico confere ao ente personalidade jurídica autônoma, como é o caso das sociedades, associações e fundações. Se no nosso
ordenamento se considerou razoável conferir personalidade jurídica a uma fundação, em razão do deslocamento de um patrimônio, não seria razoável
conceder a um robô autônomo?
Aí entra a discussão de se a solução de se estabelecer um estatuto jurídico próprio para a inteligência artificial como pessoas jurídicas, as dotando,
assim, de personalidade jurídica, seria mesmo a resposta jurídica adequada sob o âmbito da responsabilidade civil.
[8]
Salienta-se que houve muitas críticas a essa recomendação feita pelo Parlamento Europeu por ser considerada uma concepção ligada
excessivamente à ficção científica e que não acarretaria benefícios à efetivação das finalidades da proposta, de mitigação dos riscos e facilitação da
compensação de danos às possíveis vítimas.
Dessa forma, essa questão referente à personalidade jurídica dos robôs autônomos, diante da necessidade de mudança radical legislativa, de se
pensar as repercussões jurídicas e se essa seria a melhor resposta à reparação de danos, acabou se restringindo a uma hipótese a ser debatida no
futuro.
Efetivamente, no entanto, projetos legislativos mais avançados sobre a matéria, como o ROBOLAW (título completo: Regulating Emerging Robotic
[9]
Technologies in Europe: Robotics Facing Law and Ethics) , ao buscar compreender se é necessária nova regulamentação ou se os problemas colocados
pelas tecnologias robóticas podem ser tratados no âmbito das leis existentes, não atribuem responsabilidade jurídica à inteligência artificial, tratando-
se de questão, ainda, eminentemente teórica.
Portanto, no litígio por danos, a inteligência artificial não poderia ser reconhecida como uma entidade dotada de personalidade jurídica para a
compensação de danos. No entanto, nos termos da lei, uma situação em que os danos não são compensados não é admitida. O sistema legal atribui
responsabilidade aos responsáveis pela lesão. Mas se a Inteligência Artificial não for uma pessoa jurídica, quem deverá compensar os danos causados
por ela?
Vale observar, primeiramente, o artigo 12 da Convenção das Nações Unidas sobre o Uso de Comunicações Eletrônicas em Contratos Internacionais
que determina que uma pessoa (seja física ou jurídica) em cujo nome um computador foi programado deve ser responsável por qualquer mensagem
gerada pela máquina. Assim, a negociação estabelecida pelo sistema de inteligência artificial é considerada perfeita, e válida sua manifestação de
vontade, bem com as obrigações daí advindas, sem, contudo, haver o reconhecimento da sua personalidade jurídica, atribuindo a responsabilidade
pelos seus atos à pessoa em cujo nome agiu.
Esta concepção está de acordo com a ideia da inteligência artificial como ferramenta, devendo ser atribuída a responsabilidade ao responsável por
ela, uma vez que a ferramenta não possui vontade própria, independente. Dessa forma, se aplicaria a responsabilidade objetiva pelos atos dessa
máquina, vinculando a pessoa física ou jurídica em nome da qual ela atua, independentemente de tal conduta ter sido planejada ou prevista.
[10]
Para alguns autores como Pagallo , a responsabilidade, no âmbito dos contratos, dos direitos e obrigações estabelecidos por meio da IA, é
geralmente interpretada do ponto de vista jurídico tradicional, que define a IA como ferramenta (AI-as-tool ou robot-as-tool).
Isso significa vincular a responsabilidade objetiva pelo comportamento da máquina à pessoa física ou jurídica em nome de quem ela age ou que está a
supervisionando – usuários e proprietários –, independentemente de tal comportamento ser planejado ou previsto, com consequências similares à
[11]
responsabilidade vicária , que justifica a responsabilidade daqueles que possuem dever de vigilância ou controle (como a responsabilidade dos pais
perante os atos dos filhos ou do empregador pelos atos dos seus empregados). No direito pátrio corresponde à responsabilidade por ato de terceiro,
prevista no art. 932 do CC.
Vale salientar que a inteligência artificial como ferramenta implicaria reconhecer responsabilidade distinta a depender de que está fazendo seu uso.
Se é utilizada por empresas para prestar serviços ou oferecer produtos, situação em que a inteligência artificial age em nome do fornecedor, ele
responde; se, por outro lado, é empregada pelo usuário para desempenhar determinadas atividades sob a supervisão deste, ele responde. A justificativa
para isso se dá pela constatação de que se a inteligência artificial tem, efetivamente, a capacidade de aprender com sua própria experiência, surge para
o proprietário ou usuário um dever de vigilância, pois é quem seleciona ou proporciona experiências à inteligência artificial.
[12]
A Resolução , faz menção a essa hipótese, especialmente quando as partes responsáveis por “ensinar” os robôs, cujos atos causarem danos,
acabarem por serem identificados, confirmando a possibilidade de se determinar que a responsabilidade de quem o “treinou” seja proporcional ao nível
efetivo de instruções dadas e da autonomia da inteligência artificial, de modo que quanto maior a capacidade de aprendizagem ou de autonomia e
quanto mais longo o treinamento, será maior a responsabilidade do seu “treinador”, o que qualificaria o mal uso da tecnologia pelo proprietário ou
usuário. Havendo possibilidade de agir regressivamente contra o fabricante ou criador, quando demonstrado que o defeito já existia.
Assim, vale observar, ainda, que as aptidões resultantes do “treinamento” do robô não devem se confundir com aquelas estritamente dependentes da
sua capacidade de autoaprendizagem, quando se procurar identificar a pessoa que deve responder pelo comportamento danoso do robô, o usuário ou
o criador.
Casuisticamente, portanto, os danos causados pela IA poderiam atrair as disposições sobre a responsabilidade pelo produto, conforme abordado
anteriormente. No âmbito da União Europeia, a solução apresentada está de acordo com o convencionado na Diretiva 85/374/CEE do Conselho, de 25
[13]
de julho de 1985, sobre a responsabilidade pelo produto defeituoso, que possibilita a aplicação da teoria do risco do desenvolvimento , como
excludente de responsabilidade do fabricante ou criador.
Questiona-se, neste âmbito se os danos decorrentes dos atos autônomos dos robôs inteligentes poderiam ser abrangidos pelo risco do
desenvolvimento ou se os fabricantes ou criadores deveriam responder pelo fato do produto, mesmo se a máquina agisse de forma inesperada, como
forma de possibilitar a reparação da vítima.
[14]
Essa segunda é a opinião de alguns autores , especialmente quanto à responsabilização pelos acidentes causados por carros autônomos. Para essa
corrente adota-se a premissa de que há presunção de que qualquer dano causado pela inteligência artificial é resultado de falha humana (seja no
projeto, fabricação, montagem ou dever de informação).
[15]
ČERKA et al. ressaltam o fato de que a responsabilização por fato do produto aos casos em que a IA causar danos deve gerar um ônus probatório
extremamente gravoso a quem incumbir, justamente por causa da sua característica essencial: a autoaprendizagem conforme as suas experiências e a
capacidade de tomar decisões autônomas. Se a inteligência artificial é um sistema de autoaprendizagem, por este motivo pode ser impossível traçar a
tênue linha entre os danos resultantes do processo da autoaprendizagem próprio da inteligência artificial e o defeito preexistente, decorrente da
fabricação produto.
Trata-se de consenso doutrinário o fato de que a inteligência artificial apresenta riscos, provavelmente um risco excepcional, podendo ser
considerada inerente à própria natureza da tecnologia, haja vista sua falta de limites e previsibilidade.
Por tais razões, a Resolução entendeu que o atual enquadramento jurídico não seria suficiente para comportar as hipóteses de danos causados por
robôs autônomos, mais sofisticados, em virtude das suas eventuais capacidades adaptativas e de aprendizagem que inferem na imprevisibilidade do
[16]
seu comportamento .
A Resolução, então, sugere que os futuros instrumentos legislativos devem basear-se numa avaliação da Comissão de Direito Civil sobre Robótica,
determinando-se que deve ser aplicada a responsabilidade objetiva pela abordagem da gestão de riscos. Se exigiria, pois, a prova de que ocorreu o
dano e o estabelecimento de uma relação de causalidade entre o funcionamento do robô e os danos sofridos pela parte lesada. Por essa abordagem de
gestão de riscos a responsabilidade não se concentra em quem atuou de forma negligente, como responsável individualmente, mas como a pessoa
capaz de minimizar os riscos e lidar com os impactos negativos.
Nesse ponto, é interessante a abordagem da teoria Deep-Pocket, conforme denominação definida no direito norte-americano. Por meio da sua
aplicação, toda pessoa envolvida em atividades que apresentem riscos, mas que ao mesmo tempo são lucrativas e úteis para a sociedade, deve
compensar os danos causados pelo lucro obtido. Seja o criador da inteligência artificial, o fabricante de produtos que empregam inteligência artificial,
empresa ou profissional que não está na cadeia produtiva da inteligência artificial, mas que a utiliza em sua atividade (como transportadora que utiliza
carros autônomos) – isto, é, aquele que tem “bolso profundo” e usufrui dos lucros advindos dessa nova tecnologia – deve ser garante dos riscos
[17]
inerentes às suas atividades, sendo exigível, inclusive, que se faça um seguro obrigatório de danos .
Diante da complexidade de se atribuir responsabilidade pelos danos causados por robôs inteligentes, a Resolução sugeriu o estabelecimento de um
regime de seguros obrigatórios (conforme já acontece, por exemplo, com carros tradicionais), que deverá impor aos criadores ou proprietários de
robôs a subscrição de um seguro para cobrir danos que vierem a ser causados pelos seus robôs, sugerindo, ainda, que esse regime de seguros seja
[18]
complementado por um fundo de compensação, para garantir, inclusive, a reparação de danos não abrangidos por qualquer seguro.
Novos Rumos da Responsabilidade Civil: caminhos alternativos como estímulo à inovação

Diante da possibilidade, de num futuro próximo, se observar eventos danosos provocados autonomamente pela inteligência artificial, tornando-se
incongruente a responsabilização de uma pessoa natural ou jurídica e impossível a compensação do dano sofrido, vem à tona a discussão acerca da
personificação da inteligência artificial e/ou outras tentativas de se encontrar meios alternativos de responsabilização civil nestes casos.
No contexto dos Estados Unidos, em relação à moderna legislação que abrange a limited liability company (LLC) o autor Shawn Bayern, em seu artigo
“The implications of modern business-entity law for regulation of autonomous systems”, indica a possibilidade de as LLCs servirem de roupagem jurídica
para que sistemas autônomos de inteligência artificial possam legalmente agir de forma autônoma. Diante da sua flexibilidade, a legislação permitiria,
segundo o autor, a constituição de pessoas jurídicas sem membros, cujas ações são estipuladas contratualmente ou por meio de algoritmos.
[19]
Nesse sentido, vale transcrever um trecho da obra do autor :

“Specifically, modern LLC statutes in the United States appear to permit the development of “memberless” legal entities – that is, legal persons
whose actions are determined solely by agreement or algorithm, not in any ongoing fashion by human members or owners. Such autonomous legal
entities are a strong candidate for a legal “technology” or technique to respond to innovations in autonomous systems. Such memberless entities
can encapsulate a physically autonomous system and provide a mechanism for that system to take legally autonomous action”.

Compartilhando da mesma essência das LLCs, paralelamente, estão as organizações autônomas descentralizadas (DAO – Decentralized autonomous
[20]
organization ), que também não são reconhecidas legalmente no Brasil, mas já existem na prática, tendo suas regras estipuladas a partir de
programas de computador, gerando contratos inteligentes.
Verifica-se, portanto, uma tendência de se possibilitar que a inteligência artificial seja abarcada por figuras jurídicas já existentes com alguma
adaptação, apesar de representar uma realidade completamente nova e sui generis, ou de se criar entidades de inteligência artificial, com estatuto
jurídico próprio, implicando na necessidade de regulação.
Em relação à última hipótese, vale ratificar que os problemas enfrentados quanto à possível personificação da inteligência artificial não são inéditos,
uma vez que também existiam quando do surgimento das sociedades, enquanto entidades imateriais (ficção jurídica). Como consequência da
relevância dessas entidades para a sociedade, diante do estabelecimento de relações jurídicas com particulares e com o próprio Estado, que o direito
passou a reconhecê-las como pessoas jurídicas, com personalidade jurídica própria, independente daquela de seus membros.
Diante dessa reflexão, pode-se averiguar que há possibilidade de estarmos diante de processo evolutivo assemelhado quando se trata de inteligência
artificial, já que incumbirá ao direito, num futuro não distante, encontrar uma solução, evitando-se de um lado que o dano fique sem reparação e, de
[21]
outro, que a regulação prejudique o desenvolvimFento tecnológico, científico e de inovação , prejudicando a sociedade como um todo, diante dos
evidentes benefícios que a inteligência artificial pode trazer.
Se a opção realizada for a da personificação da inteligência artificial com a extensão do conceito de pessoa jurídica, possibilitando a abrangência de
robôs e sistemas inteligentes, haverá a necessidade de se designar uma autoridade certificadora que analise o grau de autonomia dessas máquinas, que
justifique a atribuição de personalidade jurídica própria, bem como a adoção de mecanismos de prevenção de riscos e de segurança.
Além disso, deverão ser instauradas penalidades para a prática de condutas ilícitas que desincentivem a reincidência de condutas danosas, podendo
consistir em ferramentas de coerção como multas, bem como indenizações, e até mesmo, na suspensão temporária de funcionamento ou desativação
[22]
definitiva do sistema de inteligência artificial.
Vale ainda, a observação de que deveria ser considerada a possibilidade de instituição de tributos específicos para tributar esses sistemas
autônomos, que considerem suas peculiaridades, como a diminuição dos postos de trabalho. Além disso, estas entidades deverão subscrever um
seguro que possibilite o ressarcimento de eventuais prejuízos decorrentes de atos autônomos da inteligência artificial, de forma a assegurar o
cumprimento de suas obrigações.
Por fim, salienta-se que, nenhuma alternativa adotada pelo Direito na regulação desse tema poderá acarretar o estabelecimento de procedimentos
burocráticos, que impossibilitem o desenvolvimento científico e tecnológico. O Direito deve atuar com a finalidade de garantir maior segurança
jurídica às relações travadas a partir da inteligência artificial e estabelecer limites éticos, que inviabilizem o uso arbitrário desses sistemas autônomos
contra a própria sociedade.
Conclusão

Por todo o exposto, podemos chegar à algumas conclusões e questões que devem ser debatidas com mais afinco pelos operadores do direitoFC,
estudiosos da tecnologia, membros da sociedade civil e governamental, como forma de garantir um desenvolvimento seguro da inteligência artificial
perante à sociedade.
A regulamentação desse tema de forma específica deve ocorrer preferencialmente após ampla consulta de caráter multisetorial, de preferência,
quando o potencial da tecnologia for mais conhecido. Deve-se considerar as consultas e propostas regulatórias relevantes de outros países sobre o
assunto, bem como discussões relativas a temas correlatos, como proteção de dados.
Assim sendo, as leis em vigor sobre responsabilidade civil deverão ser submetidas a testes, devendo haver, provavelmente, adaptações para se
adequar à realidade da inteligência artificial. Salienta-se, desde logo, a importância do debate em relação à atribuição à máquina de uma personalidade
jurídica autônoma , nem que seja para dotar a mesma de patrimônio para compensar eventuais danos, sendo esta uma solução a ser discutida e levada
em consideração – conforme indicou a Resolução Europeia –, sendo necessário analisar mais profundamente o que significa dotar robôs inteligentes
de personalidade à luz do nosso ordenamento jurídico e haver alterações legislativas nesta hipótese.
Neste âmbito, evidencia-se, ainda, a necessidade de que a comunidade técnica (academia) das ciências do direito e da tecnologia não apenas
dialogue entre si, mas se esforce para que justamente agora, no início da implementação massiva da inteligência artificial, não sejam propagados
conceitos equivocados que promovam uma regulação inadequada.
É evidente que a inteligência artificial ainda não encontra parâmetros teóricos muito bem definidos e que inúmeros danos podem dela derivar. É
premente, portanto, a necessidade de avanços na temática para se determinar a quem deverá ser imputada a responsabilidade, principalmente, quando
a inteligência artificial executa atos de forma autônoma.
Conclui-se, de todo modo, pela necessidade de adoção de métodos que possibilitem a minimização e compensação dos danos decorrentes dos atos
executados por inteligência artificial, utilizando, por exemplo, a sugestão aventada pelo Parlamento Europeu, de instituição de um regime de seguros
obrigatórios e fundo de compensação.
O enfoque da responsabilidade civil deve ser no sentido de compatibilizar a reparação do dano injusto, como forma de promoção da dignidade
humana, com os avanços da tecnologia e da inovação, estimulando o desenvolvimento de novas tecnologias que possuem o crescente potencial de
melhorar a qualidade de vida das pessoas na sociedade.
Diante do não reconhecimento da inteligência artificial como pessoa jurídica, sujeito de direitos e obrigações, para o direito nacional e internacional,
de uma forma geral, ela ainda não pode ser responsabilizada pessoalmente pelos danos que causa, a não ser que sobrevenham alterações legislativas
que tragam esse reenquadramento jurídico.
Dessa forma, buscou-se analisar as soluções jurídicas existentes, com adaptações do regime de responsabilidade civil em vigor, principalmente,
observando as recomendações do Parlamente Europeu sobre o tema.
Concluiu-se, portanto, que a adoção da responsabilidade objetiva, seja pela gestão de riscos, ou pelo vício do produto, visa proporcionar a absorção
dos riscos por aqueles que tem a melhor oportunidade de contratar o seguro, impondo-se até mesmo a sua obrigatoriedade. No entanto, salienta-se
que a responsabilidade objetiva, se aplicada de forma indiscriminada pode acarretar um desestímulo ao desenvolvimento científico, tecnológico e à
inovação, devendo ser analisada formas alternativas para evitar que isso ocorra, como, por exemplo, com atribuição de personalidade jurídica ao robô e
a sua própria responsabilização.
Por outro lado, a teoria da inteligência artificial como ferramenta com a imputação de responsabilidade à pessoa em cujo nome a inteligência
artificial age, ou seja, o usuário ou o proprietário, pode gerar repercussões a serem examinadas, já que impõe dever de cuidado e vigilância aos
“treinadores” da inteligência artificial ou mesmo uma responsabilidade compartilhada pelos usuários na rede. Essa opção deve ser vista com cautela,
pela dificuldade de se determinar com certeza se a conduta danosa decorreu simplesmente da autoaprendizagem da máquina de forma natural, ou se
deu pelo “treinamento” dela, através das experiências proporcionadas. Isso deverá ser amplamente discutido na doutrina no futuro, pela tendência de
se permitir ao usuário o desenvolvimento de suas próprias aplicações a partir da inteligência artificial de código aberto.
Deve-se continuar analisando essa possibilidade de atribuição da responsabilidade ao “treinador” que convive de forma harmônica com as demais
teorias, lembrando que conforme abordagem do Parlamento Europeu, a responsabilização civil decorrente de atos executados pela inteligência
artificial depende da autonomia e instruções dadas ao robô, devendo pelo menos num primeiro momento, se aplicar em maior grau a responsabilidade
objetiva de quem está mais bem colocado para minimizar riscos e oferecer garantias, havendo a adoção de seguros obrigatórios para absorver os riscos
existentes com a introdução dessas novas tecnologias no mercado.
Por fim, temos que ter como objetivo principal referente à temática que os estudos da legislação aplicada à inteligência artificial avancem,
permitindo, com amplo debate e participação multissetorial. Esse avanço deve caminhar para a adoção de critérios determinados de responsabilização
que conciliem o desenvolvimento científico, tecnológico e de inovação à reparação de danos, de forma a garantir a segurança jurídica para os usuários
e empresários dessa tecnologia e a promoção da dignidade humana, diante do estabelecimento de limites éticos que impossibilitem o uso arbitrário
dessas novas tecnologias.
Referências bibliográficas

ASARO, Pete M. The Liability Problem for Autonomous Artificial Agents. Disponível em:
http://peterasaro.org/writing/Asaro,%20Ethics%20Auto%20Agents,%20AAAI.pdf
BARBOSA, Miranda Mafalda. Inteligência artificial, e-persons e direito: desafios e perspetivas. Congresso Direito e Robótica, organizado pelo grupo
de investigação Contrato e Desenvolvimento Social, no âmbito do projeto UID/DIR04643/2013 «De- safios sociais, incerteza e direito», desenvolvido
pelo Instituto Jurídico da Faculdade de Direito de Coimbra.
ČERKA, Paulius; GRIGIENĖ, Jurgita; SIRBIKYTĖ, Gintarė. Liability for damages caused by Artificial Intelligence. Computer Law & Security Review,
Elsevier, v. 31, n. 3, p. 376-389, jun. 2015.
CHAVES, Natália Cristina. Inteligência artificial: os novos rumos da responsabilidade civil. Direito Civil Contemporâneo, organização CONPEDI/
UMinho. Disponível em: https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf (P. 54 a 72)
PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A responsabilidade civil pelos atos autônomos da inteligência artificial: notas iniciais sobre a
resolução do Parlamento Europeu. Revista Brasileira de Pol. Públicas, Brasília, Vol. 7, nº 3, 2017, p. 238-254 Disponível em:
https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf
SOUZA, Carlos Affonso; PADRÃO, Vinicius. IA transformará o direito, mas o direito transformará a IA? JOTA, 26/09/2017. Disponível em:
https://www.jota.info/opiniao-e-analise/artigos/ia-transformara-o-direito-mas-o-direito-transformara-ia-26092017
SOUZA, Carlos Affonso. O debate sobre personalidade jurídica para robôs. JOTA, 10/10/2017. Disponível em: https://www.jota.info/opiniao-e-
analise/artigos/o-debate-sobre-personalidade-juridica-para-robos-10102017
TEFFÉ, Chiara Spadaccini de. Quem responde pelos danos causados pela IA? JOTA, 22/10/2017. Disponível em: https://www.jota.info/opiniao-e-
analise/artigos/quem-responde-pelos-danos-causados-pela-ia-24102017

1. Advogada, pós-graduanda em Direito Processual Civil e Direito Tributário pelo Curso Fórum. Graduada com Láurea Acadêmica Summa Cum Laude pelo Instituto Brasileiro de Mercado de Capitais

(IBMEC - RJ). ↵

2. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, 16 de fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica (2015/2103(INL)). 2017. Disponível em:

http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP// TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-12 . Acesso em: 11/07/2018. ↵

3. Nesse sentido: TEFFÉ, Chiara Spadaccini de. Quem responde pelos danos causados pela IA? JOTA, 22/10/2017. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/quem-responde-

pelos-danos-causados-pela-ia-24102017. Acesso em: 23/09/2018. ↵

4. Nesse sentido: CHAVES, Natália Cristina. Inteligência artificial: os novos rumos da responsabilidade civil. Direito Civil Contemporâneo, organização CONPEDI/ UMinho. Disponível em:

https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf (P. 68 e 69). Acesso em: 23/09/2018. ↵

5. Nesse sentido: TEFFÉ, Chiara Spadaccini de. Quem responde pelos danos causados pela IA? JOTA, 22/10/2017. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/quem-responde-

pelos-danos-causados-pela-ia-24102017 . Acesso em: 23/09/2018. ↵

6. Nesse sentido: SOUZA, C.A. O debate sobre personalidade jurídica para robôs: Errar é humano, mas o que fazer quando também for robótico? Jota. Disponível em: https://www.jota.info/opiniao-e-

analise/artigos/o-debate-sobre-personalidade-juridica-para-robos-10102017. Publicado em: 10/10/2017. Acesso em: 20/09/2018. ↵

7. SOUZA, C.A. O debate sobre personalidade jurídica para robôs: Errar é humano, mas o que fazer quando também for robótico? Jota. Acesso em: https://www.jota.info/opiniao-e-analise/artigos/o-

debate-sobre-personalidade-juridica-para-robos-10102017 . Publicado em: 10/10/2017. Acesso em: 20/09/2018. ↵

8. NEVEJANS, Nathalie. European civil law rules in robotics. European Union, 2016. Disponível em: http://www.europarl.europa. eu/committees/fr/supporting-analyses-search.html. Acesso em: 17

out. 2017. ↵

9. Projeto lançado oficialmente em março de 2012 e financiado pela Comissão Europeia para investigar formas em que as tecnologias emergentes no campo de bio-robótica (na qual está incluída a IA),

vem influenciando os sistemas jurídicos nacionais europeus. A matéria desafia as categorias e qualificações jurídicas tradicionais, expondo quais os riscos para os direitos e liberdades fundamentais

que devem ser considerados, e, em geral, demonstra a necessidade de regulação e como esta pode ser desenvolvida no âmbito interno de cada país. A esse respeito, cf.: PALMERINI, Erica. The

interplay between law and technology, or the RoboLaw. In: PALMERINI, Erica; STRADELLA, Elettra (Ed.). Law and Technology: The Challenge of Regulating Technological Development. Pisa: Pisa

University Press, 2012. p. 208. Disponível em: http://www.robolaw.eu/RoboLaw_files/documents/Palmerini_Intro.pdf. Acesso: 20 de janeiro de 2019. ↵

10. PAGALLO, Ugo. The laws of robots: crimes, contracts, and torts. Heidelberg: Springer, 2013. ↵

11. “Responsabilidade vicária é o termo utilizado, principalmente nos países de common law, para designar a responsabilidade do superior hierárquico pelos atos dos seus subordinados ou, em um

sentido mais amplo, a responsabilidade de qualquer pessoa que tenha o dever de vigilância ou de controle pelos atos ilícitos praticados pelas pessoas a quem deveriam vigiar. (...) No direito pátrio,

seriam os casos de responsabilidade pelo fato de terceiro, derivada de um dever de guarda, vigilância e cuidado, nos termos do art. 932 do Código Civil, como a responsabilidade dos pais pelos atos

dos filhos menores que estiverem sob o seu poder e em sua companhia, o tutor e o curador pelos pupilos e curatelados, e o patrão pelos atos dos seus empregados.” PIRES, Thatiane Cristina Fontão;

SILVA, Rafael Peteffi da. A responsabilidade civil pelos atos autônomos da inteligência artificial: notas iniciais sobre a resolução do Parlamento Europeu. Revista Brasileira de Pol. Públicas, Brasília,

Vol. 7, nº 3, 2017, p. 238-254 Disponível em: https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf. Acesso em: 22/11/2018. ↵

12. UNIÃO EUROPEIA. Projeto de Relatório que contém recomendações à Comissão sobre disposições de Direito Civil sobre Robótica (2015/2013(INL)). Relatora Mady Delvaux, de 31 de maio de 2016. p.

11. Disponível em: http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP// NONSGML+COMPARL+PE-582.443+01+DOC+PDF+V0//PT . Acesso em: 22/11/2018. ↵

13. A diretiva poderia ser aplicada em diversas circunstâncias em que produtos que apresentem a tecnologia da IA sejam introduzidos no mercado de consumo, particularmente aos casos em que o

fabricante não informa suficientemente ao consumidor os riscos associados aos robôs autônomos, ou se os sistemas de segurança do robô forem deficientes a ponto de não oferecerem a segurança

esperada. Uma vez cumpridos os deveres de informação e de segurança impostos ao fornecedor e provado que não há defeito na sua fabricação, permanece, porém, a polêmica acerca da aplicação

da responsabilidade pelo produto aos danos causados pela IA, tendo em vista, ainda, que a diretiva europeia prevê, expressamente, a excludente da responsabilidade do produtor pelos riscos do

desenvolvimento. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A responsabilidade civil pelos atos autônomos da inteligência artificial: notas iniciais sobre a resolução do Parlamento
 Europeu. Revista Brasileira de Pol. Públicas, Brasília, Vol. 7, nº 3, 2017, p. 238-254 Disponível em: https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf. Acesso em:

22/11/2018. ↵

14. Nesse sentido, cf.: VLADECK, David C. Machines without principals: liability rules and Artificial Intel- ligence. Washington Law Review, n. 89, p. 126, 2014. ↵

15. ČERKA, Paulius; GRIGIENĖ, Jurgita; SIRBIKYTĖ, Gintarė. Liability for damages caused by Artificial Intelligence. Computer Law & Security Review, Elsevier, v. 31, n. 3, p. 376-389, jun. 2015. ↵

16. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica (2015/2103(INL)). 2017. Disponível em:

http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-12. Acesso em: 22/11/2018. Parágrafo “AH” e “AI”. ↵

17. Nesse sentido: ČERKA, Paulius; GRIGIENĖ, Jurgita; SIRBIKYTĖ, Gintarė. Liability for damages caused by Artificial Intelligence. Computer Law & Security Review, Elsevier, v. 31, n. 3, p. 376-389, jun.

2015. ↵

18. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica (2015/2103(INL)). 2017. Disponível em:

http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-12 Acesso em: 10 out. 2017. Parágrafos 57, 58 e 59. ↵

19. BAYERN. The implications of modern business-entity law for regulation of autonomous systems, 2015, p. 96. ↵

20. WIKIPEDIA. Organização autônoma descentralizada. Acesso em: <https://pt.wikipedia.org/wiki/Organiza%C3%A7%C3%A3o_aut%C3%B4noma_descentralizada> Visto em: 24/01/2019. ↵

21. Nesse sentido: CHAVES, Natália Cristina. Inteligência artificial: os novos rumos da responsabilidade civil. Direito Civil Contemporâneo, organização CONPEDI/ UMinho. Disponível em:

https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf (P. 70). Acesso em: 23/09/2018. ↵

22. Nesse sentido: CHAVES, Natália Cristina. Inteligência artificial: os novos rumos da responsabilidade civil. Direito Civil Contemporâneo, organização CONPEDI/ UMinho. Disponível em:

https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf (P. 71). Acesso em: 23/09/2018. ↵

A inteligência artificial e o ecossistema financeiro

[1]
Fernanda Borghetti Cantali
1. Introdução: a mudança de era

A inteligência artificial é uma das tecnologias disruptivas mais impactantes, que vem transformando indelevelmente os negócios e o modo de ser em
sociedade, ainda que muitas pessoas não a percebam em suas vidas e pensem que ela só existe no mundo da ficção científica.
Quando se afirma que a sociedade não está passando por uma era de mudanças, mas por uma mudança de era, não se pretende apenas usar uma
frase de efeito. Klaus Schwab (2016), fundador e presidente executivo do Fórum Econômico Mundial, defende que a revolução tecnológica pela qual
passa a sociedade atualmente é de tal profundidade que implica em uma nova fase da história da humanidade, a qual chamou de quarta revolução
industrial.
Defende-se que as novas tecnologias não representam apenas mais um aspecto da terceira revolução industrial, a chamada revolução digital, ligada
ao fenômeno da computação que culminou com o advento da Internet. Três são os fatores que indicam tratar-se de uma distinta revolução: a
velocidade, considerando que as revoluções anteriores se deram em um ritmo linear e que a atual evolui de forma exponencial; a amplitude e
profundidade, na medida em que a combinação da revolução digital com as novas tecnologias, como, por exemplo, a inteligência artificial, implica na
alteração de “quem” as pessoas são e não apenas “o que” e “como” fazem as coisas; e, por fim, o impacto sistêmico, já que transforma sistemas inteiros,
entre países, dentro deles, nas empresas e em toda a sociedade (SCHWAB, 2016, p. 13).
Essa “nova era”, ou quarta revolução industrial, como chamou Schwab (2016), está principalmente marcada pelo uso de inteligência artificial,
[2]
desenvolvimento do aprendizado das máquinas e de uma internet mais ubíqua e móvel, consubstanciada em sensores menores e mais poderosos.
Não é à toa que Andrew Ng (2017), ex-cientista chefe do Baidu e cofundador do Coursera, impactou o mundo dizendo que a inteligência artificial é a
nova eletricidade. Afirma que a eletricidade transformou quase tudo há cem anos e que hoje é difícil pensar em algum negócio que não será
transformado em decorrência das aplicações de inteligência artificial.
Um dos sistemas que vem sendo fortemente impactado e será completamente transformado pelas novas tecnologias em curto espaço de tempo é o
financeiro. Trata-se, sem dúvidas, de campo fértil para as aplicações de inteligência artificial.
Há bem pouco tempo não se cogitaria da existência de robôs investidores ou mesmo de decisões automatizadas que aproximam financiadores dos
empresários que precisam buscar crédito no mercado. Estes são exemplos, dentre outros tantos, que podem ser utilizados para demostrar as
aplicações de inteligência artificial no ecossistema financeiro. Análise de mercado, análise de risco, investimento e gestão da riqueza, planejamento
financeiro, representam hoje as principais aplicações de inteligência artificial nesse mercado, o qual vem também fortemente impactado pelo
surgimento das chamadas fintechs, que nada mais são do que empresas que unem tecnologia aos serviços financeiros, criando novos modelos de
negócios que afrontam as estruturas dos bancos tradicionais.
Portanto, as questões principais que permeiam este artigo são: como as aplicações de IA estão mudando o mercado financeiro; como estão mudando
os modelos operacionais das instituições financeiras? A IA está mudando as prioridades estratégicas e a dinâmica competitiva dos serviços financeiros?
Quais são os desafios decorrentes das aplicações de inteligência artificial no setor financeiro? Por fim, aplicações de IA podem democratizar o
mercado financeiro?
Para refletir sobre os problemas postos, objetiva-se, com o presente artigo, apresentar as principais aplicações de IA no ecossistema financeiro,
tanto no contexto das fintechs como no dos bancos tradicionais; identificar os principais desafios associados ao desenvolvimento de aplicações de IA
neste ecossistema, incluindo as consequências da tomada de decisões automatizadas por algoritmos inteligentes e a reflexão sobre a (in)suficiência da
regulamentação existente para dar conta das novas formas de fazer e de ser nessa nova era.
Os riscos advindos do uso das novas tecnologias são imensos, mas a grande maioria das pessoas que estudam e refletem sobre estes temas não
poupam esforços em defender que as oportunidades decorrentes dessa revolução tecnológica podem tornar o mundo melhor e é nesse sentido que se
busca fazer uma análise otimista das aplicações de IA no ecossistema financeiro.
2. Fintechs e os novos modelos de operação dos bancos tradicionais

As tecnologias financeiras estão mudando os modelos operacionais das instituições financeiras. Novas prioridades estratégicas e uma dinâmica
competitiva vem se estabelecendo, mudando radicalmente a forma de fazer negócio nesse mercado.
O PayPal, com seu sistema de pagamentos online, iniciou a transformação da estrutura dos bancos tradicionais pelo uso de tecnologia financeira nos
anos 1990. Até hoje representa uma empresa líder no movimento fintech. (REED, 2016).
Fintech é palavra que resulta da união de financial e technology, significando simplesmente tecnologia financeira. Jeff Reed (2016, posição 76/78)
afirma que:

When the twenty-first century came around, a new financial service emerged, and it was known as financial technology or FinTech. This term
originally was used to describe the technology that was used by consumers and trades done by financial institutions. However, at the end of the first
decade, of the twenty-first century, it now includes any technological innovation that has been made within the financial sector. This includes any
innovation that have been made in education, retail banking, financial literacy, and even cryptocurrencies.

Tratam-se majoritariamente de startups que buscam inovar e otimizar os serviços financeiros. Através do uso da tecnologia e a partir de modelos de
negócios altamente escaláveis, são empresas que conseguem oferecer serviços financeiros muito mais baratos e mais eficientes. Um banco digital, por
exemplo, não precisa de agências físicas e, portanto, seu custo operacional é muito menor comparado às instituições financeiras tradicionais do setor.
Assim, conseguem oferecer serviços mais baratos.
O Nubank e o Guia Bolso são dois exemplos de fintechs que estão modificando os modelos operacionais das instituições financeiras e rompendo com
a dinâmica competitiva tradicional. Na verdade, se poderia até mesmo afirmar que as fintechs estão introduzindo a competição no mercado financeiro.
Até então, os serviços financeiros sempre foram muito concentrados nas mãos de pouquíssimos bancos, principalmente tomando-se como exemplo
[3]
uma realidade como a brasileira .
O mercado financeiro brasileiro efetivamente voltou-se para inovação e tecnologia no setor no ano de 2016. Em 2018, só no Brasil, os investimentos
em novas fintechs ultrapassaram 500 milhões de reais. Nos últimos 18 meses nasceram 188 novas fintechs no Brasil, o que coloca o país como o maior
polo de empresas desta natureza na América Latina. Atualmente, existem quase 400 startups fintechs no Brasil. A média de crescimento anual é de
48%. Os principais segmentos de atuação das fintechs brasileiras são: o de pagamentos e remessas, a exemplo do PagSeguro; o de gestão financeira
empresarial, o de empréstimos, sejam aos consumidores, sejam empresariais; e o de investimentos, como o Waren. (FINNOVISTA FINTECH RADAR,
[4]
2018).
As fintechs utilizam muitas aplicações de inteligência artificial para viabilizar e melhorar os seus serviços. Mapeando o uso desta tecnologia, a CB
Insights (2017) demonstra que as que mais usam são: as investechs, subcategorias de fintechs ligadas ao mercado de investimentos e gestão de ativos, as
quais usam inteligência artificial para a tomada de decisão sobre investimentos; as insurtechs, que são as fintechs de seguros e as regtechs, também
chamadas de legaltechs, que são startups que oferecem soluções tecnológicas para resolver problemas gerados pelas exigências regulatórias e de
compliance. Visam auxiliar as empresas a estarem em conformidade com a regulação existente. Aliás, este segmento de fintech tem grande relevância
no Brasil, onde a regulamentação é farta, embora as vezes inexistente, e de difícil compreensão. As legaltechs permitem economia de multas e outras
penalidades, reduzindo os riscos de desconformidade ocasionados pelos processos manuais.
Com o aparecimento das fintechs, os bancos tradicionais também começaram a investir em novas tecnologias, de modo especial em aplicações de
inteligência artificial. As instituições financeiras hoje consideram que o uso de inteligência artificial representa uma vantagem competitiva, já que suas
aplicações permitem melhorar receitas, reduzir perdas, melhorar a experiência do cliente, além de gerar eficiência operacional. (MAROUS, 2017a).
O relatório do Fórum Econômico Mundial, elaborado em colaboração com a Deloitte, intitulado New Physics of Financial Services (2018) aponta que
até 2021 a expectativa mundial de investimento dos bancos em inteligência artificial é de 58 bilhões de dólares, que 48% do crescimento do setor se
dará através de investimento nesta tecnologia, assim como que 76% dos bancos concordam que a adoção de inteligência artificial será um aspecto
crucial para que os agentes econômicos se diferenciem no mercado.
A maior parte dos questionamentos que pautaram a construção deste artigo foram objeto de reflexão no Fórum Econômico Mundial. O relatório
acima referido traz uma extensa análise sobre os avanços trazidos pelas novas tecnologias ao setor financeiro, com algoritmos inteligentes capazes de
tomar decisões que reduzem custo e oferecem novas possibilidades aos consumidores e investidores. De forma geral, a principal conclusão é a de que
a inteligência artificial revoluciona o setor porque rompe os elos tradicionais entre os entes financeiros, determinando que os modelos de atuação
sejam redesenhados. (WEFORUM, 2018).
A inteligência artificial permite que sejam criados modelos de operação totalmente novos e cria nova dinâmica competitiva que recompensa as
instituições focadas em escala e sofisticação de dados, na customização e na eficiência, satisfazendo melhor os consumidores e investidores. Essa
conclusão é possível através do quadro comparativo que o relatório traz entre as bases das instituições financeiras tradicionais e as bases para o futuro
delas. (WEFORUM, 2018).
Enquanto as instituições financeiras tradicionais trabalhavam sob a lógica da escala de ativos, concentradas na complexidade do capital em si, as do
futuro trabalham com a escala de dados, cuja eficiência operacional é maximizada de forma exponencial com o uso de inteligência artificial. As
instituições financeiras do futuro permitem uma experiência customizada, adaptada ao perfil do consumidor, enquanto as tradicionais trabalhavam
com produção em massa. Os bancos tradicionais utilizavam como estratégia para a retenção do consumidor os altos custos de transferência; os do
futuro terão que se adaptar a possibilidade de portabilidade dos dados, assim, precisarão de clientes engajados pelo melhor resultado. A lealdade do
cliente poderá estar atrelada a eficiência das finanças autoguiadas por inteligências artificiais. E por fim, justamente a melhoria de performance em
[5]
decorrência do uso da tecnologia aliada ao talento humano. Aliás, as inteligências artificiais fortes permitem que os serviços melhorem
progressivamente com o tempo, na medida em que os usuários interagem com ela. As instituições financeiras tradicionais dependiam apenas da
capacidade humana. (WEFORUM, 2018).
 Um dos fatores que torna as fintechs particularmente disrruptivas para o mercado financeiro, bem como as torna competitivas, é justamente o fato
de estarem voltadas para a experiência do cliente. Jeff Reed (2016, posição 196/200) destaca que

Unlike banks, which have been able to function irrespective of the needs of its customers for decades, fintechs is required to be user-friendly in
order to attract participants. No one needs to be convinced to open an account with a bank – but you do need convincing to try out something
radically new and different such as online lending. The best way to attract users is to make it Worth their while and user-friendly. Banks often
develop online tools, but they are far from easy in terms of operability. Most do not design with customer need in mind. That’s where fintechs comes
in and changes the market.

Porém, mais do que se voltarem para o consumidor e tornarem a operação digital o seu core business, os bancos precisarão se reinventar na medida em
[6]
que os modelos de negócios peer to peer (P2P) , permitem que as pessoas se conectem diretamente entre si para troca de produtos e serviços,
dispensando os intermediários. Um empresário que precisa de dinheiro não precisa mais ir a um banco tomar um empréstimo, poderá buscá-lo junto
de outros empresários. (REED, 2016). Se fala em peer-to-peer lending, o chamado empréstimo coletivo. Recentemente, o Conselho Monetário Nacional
– CMN editou a Resolução nº 4.656 criando as Sociedades de Empréstimos entre Pessoas – SEP, justamente para regular as plataformas eletrônicas de
aproximação P2P.
Contudo, essa transformação no ecossistema financeiro ainda é mais invisível do que parece ser. As novas tecnologias, em especial a inteligência
artificial, estão revolucionando de forma radical e irreversivelmente o setor, mas os efeitos ainda não são completamente visíveis. O exemplo clássico é
a sugestão de filmes feita pelo Netflix. As sugestões são distintas dependendo de quem é o usuário. Esse é o efeito invisível gerado pela aplicação de
inteligência artificial que seguramente impacta as pessoas e as organizações, já que estas implementam lucratividade retendo o cliente pela
customização propiciada pela leitura inteligente dos dados fornecidos por aquele. As instituições financeiras também utilizarão, cada vez mais, análises
preditivas para, a partir do comportamento do cliente, oferecer produtos personalizados. Imperceptível ou não, finalmente, a experiência do
consumidor com serviços financeiros tende a melhorar.
3. Principais aplicações de inteligência artificial no ecossistema financeiro

O uso de inteligência artificial nos serviços financeiros traz mais segurança, já que detecta e previne fraudes. Os agentes inteligentes são capazes de
identificar cenários de fraudes e anomalias contextuais com mais precisão do que processos manuais. Conforme o relatório Bank of the Future,
produzido pelo Citi GPS (2018), a aplicação de IA pode reduzir em até 30% o tempo de detecção de uma fraude e até 80% o número de falsos positivos
[7]
e falsos negativos nas investigações de fraudes. É possível a identificação precisa e real do cliente, até mesmo pela localização, assim como oferecem
[8]
proteção da privacidade e contra o phishing . Juntamente com o propósito de segurança e aplicações contra a fraude, a autenticação biométrica é
outra aplicação de inteligência artificial que já vem sendo bastante implementada nos serviços financeiros. (MAROUS, 2017b).
Soluções de inteligência artificial também servem para automatização de processos internos, o que também permite o monitoramento de transações
objetivando prevenir a lavagem de dinheiro e a manipulação de mercado.
Com procedimentos mais seguros, viabiliza-se a estruturação de serviços financeiros dos mais diversos. Até mesmo serviços mais simples para
atendimento de populações desfavorecidas que não representavam foco de interesse para os bancos tradicionais dado o custo de sua estrutura
operacional. Como exemplos, tem-se o cartão pré-pago para realização de compras oferecido pelo Banco Maré, a plataforma de negociações de
dívidas Quero Quitar e os serviços de assistência aos microempreendedores individuais da SmartMEI.
A personalização do marketing e da oferta de produtos ou serviços também é propiciada pelas soluções de inteligência artificial, melhorando a
gestão de relacionamento com o cliente. Até mesmo os bancos de varejo já estão implementando análises preditivas para estudar comportamento do
cliente e oferecer produtos personalizados e consultoria de investimento. (Citi GPS, 2018). Essa personalização dos serviços, baseada na gestão da
identidade do cliente atinge ponto máximo com a omnicanalidade. Não é novidade que o consumidor está cada vez mais exigente e informado e para
responder as suas necessidades é preciso unificar os canais de contato das empresas: redes sociais, dispositivos móveis, e-mails, mensagens
instantâneas, etc. Essa interrelação de canais é a chave para melhorar a experiência do cliente.
A gestão da relação com o cliente também pode ser aprimorada com a criação de canais de atendimento integrados com as assistentes virtuais tais
como a Siri da Apple ou a Alexa da Amazon, as quais podem estar estruturadas para prever antecipadamente a dúvida do cliente e já responder. Esse
comportamento preditivo revoluciona a forma de interação com o consumidor e só é alcançado pela análise de dados feita pela inteligência artificial.
Exemplo interessante que ilustra a oferta de serviços personalizados é o da fintech chamada Finpass. Ela é conhecida como o Tinder do sistema
financeiro porque possui um algoritmo de matching, ou seja, em poucos segundos ele avalia um mercado composto por aproximadamente 150 bancos,
milhares de fundos de investimentos e centenas de fintechs, para descobrir qual a melhor opção para obtenção de crédito. O algoritmo indica qual é o
financiador mais compatível com o perfil do negócio de quem precisa de um empréstimo ou precisa antecipar recebíveis. Ou seja, através de decisões
automatizadas aproxima quem concede crédito daquele que precisa de crédito. O uso de inteligência artificial nesse caso melhora a experiência do
cliente, permitindo que se ofereça serviços personalizados.
Essa personalização também está ligada com a questão da segurança, já que a inteligência artificial permite uma análise de risco mais apurada,
baseada em criação de sistemas de pontuação de crédito, o chamado credit scoring. O método de análise de crédito que atribui uma pontuação para o
potencial cliente visando classificá-lo estatisticamente em grupos ou perfis para que uma instituição financeira possa decidir conceder ou não algum
produto de crédito não é novo, mas a apuração desse credit scoring por uma inteligência artificial é mais rápida, mais eficiente e até mesmo pode ser
[9]
utilizada para afastar distorções . O credit scoring é malvisto por muitas pessoas porque pode ser utilizado como critério de discriminação. Contudo,
certamente diminui custos de transação quando associado à desburocratização e agilidade para realização de operações financeiras, assim como para
criação de outras tendências em investimentos.
Outra aplicação de inteligência artificial que é uma tendência no mercado financeiro é o uso de chatbots, ou seja, os agentes digitais de atendimento
ao cliente para consultas rotineiras. Os chatbots são muito utilizados pelas fintechs, mas os bancos tradicionais também estão se rendendo. A Bia do
Bradesco se diz pioneira no Brasil. Estatisticamente, 80% das consultas recebidas pelas instituições financeiras poderiam ser automatizadas, além
[10]
disso, os bots podem ser dimensionados para lidar com aproximadamente 2 milhões de consultas diárias. (Citi GPS, 2018). A capacidade de
atendimento é potencializada de forma exponencial.
A inteligência artificial também pode ser utilizada para a gestão da riqueza e consultoria de investimentos. As negociações podem ser feitas de forma
automática, baseadas em análises de mercado cujas previsões são apuradas através do Big Data e dos algoritmos. O cliente pode preferir negociações
automáticas e de alta frequência, mas também pode optar apenas pelo uso de recomendações. Estas podem auxiliar o planejamento financeiro.
O robô investidor, também chamado de robô-advisor, é uma aplicação de inteligência artificial baseada em modelos preditivos, disponibilizada em
plataformas digitais que fornecem serviços de planejamento financeiro automatizado. Com base nas informações do cliente sobre seu perfil, sua
situação financeira e suas metas futuras, são oferecidas carteiras de investimentos que são 100% controladas pelo robô. (Citi GPS, 2018).
O Ueslei é um robô investidor que trabalha com estratégia e eficiência operacional e que se apresenta na rede da seguinte forma:

Sou um conjunto de algoritmos programados pelos humanos da Vérios para cuidar bem dos seus investimentos. Não tenho um corpo físico,
mas as pessoas costumam me chamar de “robô”. Faço cálculos que os humanos consideram muito complexos e repetitivos, e realizo operações
financeiras de compra e venda de ativos de acordo com os resultados desses cálculos. Monitoro milhares de carteiras de investimentos 24
horas por dia, sete dias por semana (mas confesso que geralmente não acontece muita coisa durante as noites e os fins de semana). (VÉRIOS
BLOG, 2017).

É, no mínimo, muito amigável. Paradoxalmente, cria uma experiência mais humana do que a oferecida nos bancos tradicionais que trabalhavam sob a
lógica da produção em massa. A estrutura mais amigável e humana oferecida pelas fintechs não deixa de representar uma estratégia competitiva.
Afinal, eles precisam conquistar o cliente, precisam convencê-lo a experimentar o novo. (REED, 2016).
Os bots, além de amigáveis são eficientes e, assim, permitem que até mesmo as pessoas menos iniciadas no mercado financeiro possam investir com
um grau de segurança maior, dado que o seu consultor estará controlando vinte e quatro horas por dia as oscilações do mercado, a fim de comprar e
vender os ativos e manter a rentabilidade daqueles que nele confiaram.
A BI Intelligence (2016), serviço de pesquisa premium da Business Insider demonstrou que em 2015 já havia US$ 100 bilhões de ativos no mundo sendo
administrados por robôs-advisors, mas a expectativa é a de que gerenciem US$ 8 trilhões globalmente até 2020.
Outro dado muito interessante, conforme as previsões do Gartner Customer 360 (2011) é o de que até 2020 as pessoas estarão gerenciando 85% dos
seus relacionamentos negociais sem a interação humana. As instituições financeiras, sejam bancos consolidados sejam startups fintechs – assim como
em outros setores -, poderão implementar bots não só através de seus próprios aplicativos, desenvolvendo o robô internamente ou usando o serviço de
terceiros, mas também integrá-los com redes sociais e aplicativos de mensagens. Um exemplo que já existe é o do Banco Original, um banco digital que
tem um bot que interage pelo Messenger do Facebook. Esses bots também poderão estar interligados com os assistentes virtuais, interagindo com eles
e realizando tarefas que antes eram apenas realizadas pelos seres humanos.
Como visto, muitas são as aplicações de inteligência artificial no ecossistema financeiro, as quais vem sendo fortemente utilizadas pelas fintechs. Os
bancos tradicionais também estão enfrentando a questão, mas não tem o mesmo nível de maturidade. Os bancos utilizam mais soluções de inteligência
artificial no back-end, ou seja, nas estruturas internas, para automação de processos existentes e melhoria dos sistemas de pagamentos pela redução
de fraudes e falsos positivos. As aplicações de front-end, ou seja, aquelas de interação direta com o usuário, como interfaces amigáveis, uso de chatbots
e robôs-advisors são menos consolidadas nos bancos e melhor exploradas pelas fintechs. (KOCIANSKI; DYKE, 2018).
Essa diferença de maturidade fica evidente com os dados apresentados pelo Digital Banking Report de que só 15% dos bancos estão desenvolvendo
uma ou mais soluções baseadas em inteligência artificial, 38% entendem que tais soluções estão nas metas para serem consideradas nos próximos 18
meses e 25% não tem planos de implementação de inteligência artificial nos próximos 18 meses. (MAROUS, 2017b).
Com mais ou menos maturidade, fato é que a tecnologia está revolucionando o ecossistema financeiro. E há quem defenda que a grande virada
somente ocorrerá com a adoção do open banking e das interfaces de programação de aplicativos – APIs para os serviços financeiros. Hoje já é possível
se cadastrar em um jornal usando o perfil do Google, por exemplo. Estas interfaces já são conhecidas, mas não são utilizadas nos serviços financeiros.
Conforme o Relatório Fintech Trends (2017), o open banking nada mais é do que o compartilhamento de informações financeiras eletronicamente em
uma plataforma unificada. Imagine usar um sistema de internet banking único, possibilitando o acesso a diversas contas bancárias em um único
aplicativo, agilidade em pagamentos via internet sem a necessidade de acessar o sistema do banco, acesso a produtos de diferentes instituições
financeiras em um único aplicativo. Além disso, é o open banking que viabilizará a portabilidade de contas correntes.
O Banco Central do Brasil anunciou no final de 2018 que prepara a regulamentação para implementar o open banking no Brasil em 2019. A tendência
é, nessa medida, a utilização das novas tecnologias para facilitar o acesso aos serviços financeiros, assim como melhorar a experiência do usuário.
Aliás, essa ideia de reunir diversos serviços, de diferentes origens, em um único aplicativo, até mesmo ultrapassando a fronteira dos serviços
financeiros, já é realidade na China com o seu super aplicativo WeChat, o qual é responsável pela criação de um ecossistema de comunicação
[11]
completamente inovador. Na verdade, o WeChat transformou o significado de comunicação, combinando esta com comércio, mídia e
entretenimento. O WeChat não é só um sistema de mensagens de texto e de voz ou de ligações e chamadas de vídeo grátis, oferece também carteira
de investimentos, sistema de pagamentos eletrônicos, transferências bancárias sem taxas, pagamento de contas, carteira eletrônica, compras em
grupo, compras diversas como em supermercado, pedido de comida, aluguel de bicicleta compartilhada, solicitação de serviço de taxi ou Uber, etc. É
também agência de viagens para compra de passagens de trem, avião e hospedagem, possui mídias sociais, a exemplo do Facebook, Instagram e
Twiter, todos bloqueados pelo firewall do Governo Chinês, além de oferecer aplicações de relacionamentos, como a do Tinder e outras coisas que, no
Brasil, não são viáveis por aplicativos, como agendamentos em hospitais e mapas que indicam o quão lotado está um local como um shopping. A lista de
serviços do WeChat, incluindo uma série de serviços financeiros, é infinita. É possível mapear a rotina diária de um chinês pelo uso do WeChat. Seu
efeito é viral, mas não pela variedade de opções que se pode fazer através do aplicativo, mas justamente pelo fato de ser tudo isso em um único
aplicativo: um super app. (SACHS, 2019).
O WeChat chinês é a maior prova de que a tecnologia transcende sua função original e começa a fazer parte da cultura. Pode-se dizer que a
tecnologia está mudando a cultura, porque muda a forma como as pessoas lidam com o mundo. WeChat se tornou esta potência na China em pouco
menos de 3 anos. No Brasil, os movimentos são um pouco mais lentos. Contudo, a Tencent, dona do WeChat, investiu 180 milhões de dólares na
Nubank, fintech brasileira, com o objetivo de construir uma plataforma de finanças pessoais de serviço completo. (MANDL, 2018). Ao que parece, o
super app, envolvendo os mais diversos serviços financeiros, não tardará a chegar no Brasil.
4. Desafios associados ao desenvolvimento de aplicações de inteligência artificial no ecossistema financeiro

O emprego de novas tecnologias está associado a uma série de desafios, além de envolver dilemas éticos. No que toca ao desenvolvimento de soluções
de inteligência artificial no ecossistema financeiro, as preocupações giram principalmente em torno da questão regulatória, da segurança de dados,
dos impactos organizacionais, da interação com novas tecnologias, além da necessidade de expertise e pessoal para implantar as soluções.
O Relatório do Fórum Econômico Mundial (2018) traz como um dos principais desafios justamente a transformação dos talentos, a qual é
fundamental para a velocidade na implantação de inteligência artificial nas instituições financeiras. Aliás, o desafio ligado às pessoas pode ser visto a
partir de diferentes perspectivas. A primeira delas é a de que os avanços de inteligência artificial eliminarão completamente algumas posições de
trabalho, já que as máquinas estão realizando atividades que eram exclusivas dos seres humanos. Por outro lado, outras posições de trabalho surgirão.
[12]
A segunda perspectiva é a de que, na maioria dos casos, os funcionários existentes não estão preparados para esta nova configuração do
ecossistema financeiro, não possuindo habilidades para lidar com as soluções tecnológicas. Em razão disso, estudos apontam que um dos maiores
desafios é encontrar o talento certo. Um líder para o desenvolvimento de soluções de inteligência artificial não é usualmente encontrado dentro da
organização, exigindo contratações externas. (MAROUS, 2017a). Esse desafio, contudo, é mais direcionado aos bancos do que às fintechs, já que nestas
sempre há alguém mais ligado com desenvolvimento de tecnologias. Talvez falte expertise sobre mercado financeiro. Ou não, já que os 80 mil ex-
[13]
bancários existentes no Brasil hoje podem em parte ser absorvidos pelo mercado fintech.
Outro desafio voltado mais para os bancos tradicionais é o dos impactos organizacionais. A sobrevivência competitiva dos bancos no ecossistema
financeiro já depende e dependerá cada vez mais de soluções de inteligência artificial e de outras tecnologias. Sem elas os bancos não conseguirão
competir com serviços e produtos mais personalizados e mais baratos oferecidos pelas fintechs. Além disso, os bancos atualmente possuem uma
distribuição física de agências que já se pode considerar como algo do passado (REED, 2016). A Folha noticiou em 2016 que a “agência bancária do
futuro será mais cafeteria do que banco” (BRANT, 2016). Será necessário um repensar sobre a estrutura e custo operacional.
A colaboração entre players deste ecossistema, inexistente até pouco tempo, também será fundamental para as instituições que pretendem
prosperar. Os bancos, tradicionalmente, trabalham numa arquitetura fechada, ou seja, só oferecem produtos ou serviços com a sua bandeira. Para se
manter em um mercado muito mais competitivo, precisarão trabalhar com a arquitetura aberta, oferecendo acesso aos produtos e serviços de outros
players do mercado aos seus clientes. O Relatório do Fórum Econômico Mundial (2018) afirma que ferramentas colaborativas de inteligência artificial,
construídas com base em dados compartilhados, podem permitir um sistema financeiro mais seguro e eficiente.
Também se apresenta como desafio a interação de novas tecnologias. Isso porque a inteligência artificial não é suficiente para estruturação dos
diferentes caminhos que podem ser utilizados pelas instituições financeiras. Há uma convergência tecnológica que deve ser considerada. Ou seja, as
capacidades das inteligências artificiais estão interligadas com o desenvolvimento de outras tecnologias. A tecnologia blockchain é uma delas, a qual
oferece uma forma de registro de operações muito mais segura. Os registros distribuídos e compartilhados garantem sua imutabilidade, permitindo
transações com moedas digitais, celebração de contratos inteligentes, etc. A internet das coisas – IoT também se revela importante, já que permite a
integração dos sistemas bancários com as coisas conectadas na internet, como os assistentes virtuais, os wearables, e os já fartamente utilizados
smartphones e tablets. A computação quântica permitirá a existência de computadores com potência e velocidade de processamento suficientes para
suportar inteligências artificiais cada vez mais fortes. O Relatório do Fórum Econômico Mundial (2018) deixa muito claro que as tecnologias não podem
ser entendidas de forma isolada, porque elas se alimentam umas das outras, ou melhor, interagem, se combinam e retroalimentam umas às outras. É da
interconexão das tecnologias que novas soluções e produtos mais interessantes são desenvolvidos, seja no ecossistema financeiro ou em outros.
Um dos desafios mais significativos ao implemento de soluções de inteligência artificial é o da segurança dos dados. Os serviços atualmente
oferecidos, especialmente por empresas que trabalham com novas tecnologias, têm como uma de suas características a constante coleta de dados
pessoais dos usuários. Todas as informações vão sendo inseridas em um banco de dados cada vez mais completo sobre as pessoas. Além disso, tais
dados têm um valor econômico significativo, afinal definem tendências de consumo, políticas, comportamentais, etc., e permitem que as empresas
direcionem suas estratégias de acordo com tais tendências. Não só empresas como governos acabam tendo acesso a muitos dados pessoais. Os
agentes que tratam dados de terceiros devem adotar medidas de segurança, técnicas e administrativas, aptas a proteger os dados pessoais, garantindo
a segurança da informação.
Aliás, os dados coletados, armazenados e transacionados na rede são os grandes responsáveis pelo atual auge das aplicações de inteligência artificial.
As pesquisas sobre inteligência artificial iniciaram nos anos de 1960. Nos anos de 1980, John Hopfield e David Rumelhart popularizaram a técnica da
aprendizagem profunda (Deep Learning), um ramo do chamado aprendizado de máquinas (Machine Learning). (WEFORUM, 2018). Contudo, uma
inteligência artificial sem dados, sem informações, não atinge suas potencialidades. O momento da inteligência artificial é agora justamente porque
nunca existiram tantos dados, nunca foi tão barato armazená-los, assim como nunca foi tão fácil deles gerar outros. A rede é uma fonte incessante de
dados, através dos celulares, wearables, redes sociais, coisas conectadas à internet, análises comportamentais, cadastros, etc. Estatísticas demonstram
que os dados produzidos de 2013 para cá representam 90% de todas as informações existentes na internet. (HEKIMA, 2017).
Diante de toda esta abundância, paira o risco de os dados coletados e armazenados serem utilizados de forma indevida, o que se tornou realidade
com o vazamento dos dados de 87 milhões de usuários do Facebook para a empresa de marketing político Cambridge Analytica, que atuou na
campanha de Donald Trump. O escândalo foi necessário para que as autoridades entendessem a importância da regulamentação da proteção dos
[14]
dados pessoais. Em 2018 entrou em vigor o Regulamento Geral de Proteção de Dados – RGPD na União Europeia . Menos de dois meses depois da
entrada em vigor do RGPD, o Congresso Nacional brasileiro aprovou a Lei Geral de Proteção de Dados – Lei 13.709/2018. Tanto o RGPD quanto a LGPD
estabelecem as regras sobre como as empresas e órgãos públicos podem tratar dados pessoais – aí compreendida a coleta, o armazenamento, o
compartilhamento, a venda, etc. – de modo que não se caracterize a violação de direitos fundamentais dos titulares. Imagine-se a concentração de
dados que o WeChat chinês possui. E lá, não há dúvidas de que o governo utiliza os mesmos para controlar os movimentos dos cidadãos.
A importância das leis de proteção de dados é imensa, de modo especial para o foco do presente artigo, considerando-se o tráfego dos dados
pessoais por instituições oficiais tais como bancos, públicos e privados. Portanto, não restam dúvidas de que as instituições financeiras deverão
adequar-se às regras legais de tratamento de dados. Os programas de compliance de proteção de dados são altamente recomendados para tal
adequação, o que, aliás, poderá ser feito através dos serviços de inteligência jurídica oferecidos por uma legaltech.
Ponto importante é o de que os dados somente podem ser tratados se houver um fundamento legal. O fundamento base é o consentimento, livre,
informado e inequívoco do titular dos dados. Mas a questão está em quem e como os dados em rede podem ser tratados. Inteligências artificiais podem
[15]
tratar os dados contidos na rede? Tanto a Lei Geral de Proteção de Dados brasileira , como o Regulamento de Proteção de Dados da União Europeia
adotam como fundamento legal para o tratamento de dados o legítimo interesse.
O legítimo interesse se manifesta quando for necessário para atender aos interesses legítimos do responsável ou de terceiros. Claro que o conceito
[16]
de legítimo interesse é indeterminado e quem deverá determinar o seu conteúdo é a Autoridade Nacional de Proteção de Dados . Ronaldo Lemos
(2018) entende que esta hipótese legal é extremamente positiva, porque permite a inovação; o avanço tecnológico.
O outro fundamento que a lei traz para o tratamento de dados é a proteção do crédito. Esse fundamento não se confunde com o consentimento do
titular. O ponto nebuloso, nesse caso, é justamente como harmonizar os dois fundamentos, quais são os limites que devem ser observados para que se
admita ou não o tratamento de dados nesta hipótese. Não há, por enquanto, como dar sentido aos conceitos indeterminados ou ter clareza sobre os
pontos nebulosos. Afinal, a LGPD no Brasil foi publicada em 2018, mas ainda está em vacância, ou seja, ainda não entrou em vigor. Ademais disso, a
interpretação da lei cabe à Autoridade Nacional, órgão também recentemente criado.
Por fim, importante ainda trazer a ressalva de que as aplicações de inteligência artificial no ecossistema financeiro, como se pode perceber ao longo
deste artigo, estão cada vez mais estruturadas a partir de decisões automatizadas. Decisões como as de concessão de empréstimo, compra e venda de
ativos para investimento, definição de credit score são exemplos de decisões automatizadas, t omadas por algoritmos inteligentes.
O RGPD, no seu artigo 22(1), determina que o titular dos dados tem o direito de não estar sujeito a uma decisão baseada apenas no processamento
automatizado de dados. Mas, no artigo 22(2a), a regra vem excepcionada permitindo a decisão automatizada se ela for necessária para a execução de
[17]
um contrato entre o titular dos dados e o controlador. Conforme Maja Brkan (2017) essa “isenção do contrato” permitirá as decisões automatizadas
no domínio das instituições financeiras.
[18]
Já a LGPD brasileira admite, no artigo 20 , as decisões tomadas unicamente com base no tratamento automatizado de dados pessoais. Contudo
estabelece que o titular tem o direito de solicitar uma revisão das decisões automatizadas. A dificuldade que se põe neste caso é a quantidade de
decisões automatizadas que são diuturnamente tomadas. A questão seria: que tipo de decisão automatizada geraria efetivamente o direito de solicitar a
revisão. Ressalte-se ainda que no texto original da LGPD esta revisão deveria ser realizada por uma pessoa natural. Mas a Medida Provisória nº
869/2018 que criou a Autoridade Nacional também foi responsável por algumas alterações no texto da lei, dentre elas a supressão da necessidade de a
revisão ser procedida por uma pessoa natural. Nesse ponto, surge outro questionamento: a revisão de uma decisão automatizada será realizada por
outra decisão automatizada? Ao que tudo indica, isso será possível. Os algoritmos estão, realmente, cada vez mais, norteando o curso da vida das
pessoas.
A LGPD também estabelece que o indivíduo tem o direito de obter do responsável pelo tratamento de dados informações claras e adequadas a
respeito da tomada de decisões automatizadas, antes ou depois do tratamento, assim como tem o direto de acessar os critérios e as informações
utilizadas para a tomada de decisões. Essas prerrogativas geram o que a doutrina convencionou chamar de direito de explicabilidade. A dificuldade que
se agrega é: como uma instituição financeira que usa uma inteligência artificial para decidir sobre a concessão ou não de um empréstimo, por exemplo,
irá explicar como o seu algoritmo tomou aquela decisão?
O direito de obter uma explicação relaciona-se com o princípio da transparência que deve ser aplicado no caso de tratamento de dados pessoais.
Contudo, existem vários obstáculos que se colocam para que se garanta uma explicação significativa da lógica por trás de decisões algorítmicas. Um
dos obstáculos é a necessidade de compatibilização do direito de explicação e transparência com a proteção da propriedade intelectual. (BRKAN, 2017).
A lei brasileira busca resolver esta questão determinando que em caso de não fornecimento de informações, com base em segredos comerciais ou
industriais, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados
pessoais. O segundo obstáculo é técnico. Um algoritmo inteligente é complexo. Há uma opacidade em relação as decisões tomadas pelos algoritmos
estruturados através do big data e das técnicas de aprendizado das máquinas. Muitos autores sugerem que, nestes casos, seria quase impossível
explicar a lógica por traz da tomada da decisão. (BRAKAN, 2017).
É bem de ver que as questões que envolvem novas tecnologias, de modo especial a inteligência artificial, implicam em um cenário cada vez mais
complexo. Nesse contexto, outro grande desafio que se apresenta é a questão regulatória. É ou não necessário regular o uso de inteligência artificial no
ecossistema financeiro?
Talvez seja necessário regular. Aliás, no Brasil, o setor financeiro é altamente regulado. Mas, por vezes, a regulamentação excessiva e normalmente
de difícil compreensão, como é o caso de muitas das regras emitidas pelo Conselho Monetário Nacional – CMN e pela Comissão de Valores Mobiliários
– CVM, pode também ser um complicador.
Contudo, como explicita Eduardo Magrani (2018) as teorias jurídicas hoje existentes talvez não consigam dar conta dos dilemas que deverão ser
enfrentados pelo uso de novas tecnologias e de modo especial por algoritmos e por inteligências artificiais cada vez mais fortes. Nessa medida, defende
o professor que, para além da questão regulatória, ou seja, exigir-se uma atuação legislativa para fazer frente a estas questões, talvez o mais importante
seja a necessidade de o Direito se reinterpretar como metarregulação, ou seja, uma regulação não legislativa, que atua antes; que atua na esfera do
design ou da arquitetura das coisas. Em última análise, é necessário pensar em um design sensível a valores, ou seja, é necessário garantir valores na
técnica.
Portanto, o fundamental nesse cenário é buscar construir soluções estruturadas em inteligências artificiais que respeitem critérios éticos (ethics by
design); que respeite a privacidade dos envolvidos (privacy by design), bem como garanta a segurança na sua utilização (security by design). O que se
pretende, com isso, é a garantia de valores meta-jurídicos; valores éticos essenciais para o respeito aos direitos humanos.
5. Conclusão: tecno-futuro mais democrático no ecossistema financeiro?

A inteligência artificial já não faz mais parte apenas do imaginário popular, tampouco é coisa do futuro. A grande preocupação não está na sua
existência, mas nos seus impactos nos próximos 10, 20 ou 30 anos. A verdade é que ainda não há como dimensionar os efeitos decorrentes do uso de
inteligências artificiais. Os céticos e pessimistas preveem o apocalipse. Mas cumpre à própria humanidade pensar de forma positiva e propositiva,
definindo os contornos que se pretende dar aos eventuais e atualmente incertos efeitos. É imprescindível refletir sobre as aplicações de inteligência
artificial e direcionar o seu uso para o bem, criar as bases para que funcione como mecanismos de inclusão e que respeite direitos fundamentais como
a privacidade, garanta a segurança de dados pessoais e seja construída a partir de valores éticos.
O ecossistema financeiro passa por uma revolução, está submetido a uma nova física como se afirmou no Fórum Econômico Mundial. O ingresso das
fintechs nesse vetusto e concentrado mercado traz a dinâmica competitiva que era necessária e injeta criatividade para criação de soluções inovadoras
e muito mais amigáveis. O resultado são serviços mais seguros, mais variados, com menor custo e maior agilidade. A melhoria na experiência do
usuário será significativa.
Essa dinâmica competitiva e inovadora, a qual implica em novas formas de oferecimento dos serviços financeiros, também provoca um outro efeito
muito significativo: a desintermediação, o que pode trazer como benefício a diminuição dos custos de transação e, quiçá, mais eficiência.
Para além da reinvenção que se impõe, existem fintechs direcionadas exclusivamente para o público que não era foco de interesse dos bancos
tradicionais. Algumas são voltadas exclusivamente para o oferecimento de soluções facilitadas para quem não tem o conhecimento necessário, como o
caso das investechs e seus robôs investidores, outras direcionadas apenas para atender micro e pequenos empresários, as vezes também carentes de
informações e conhecimentos mais específicos, sem falar nas chamadas fintechs sociais que, por exemplo, viabilizam sistema de pagamento através do
uso de smartphones para pessoas que sequer tem conta em banco e, portanto, não tinham até então acesso à serviços financeiros. O Brasil possui hoje
uma população de cinquenta e cinco milhões de desbancarizados, muitos dos quais serão incluídos em um ecossistema financeiro que se desenha
prometendo um tecno-futuro muito mais democrático.
Para além de mais democrático, não se pode perder de vista que o tecnofuturo precisa ser construído a partir de bases sólidas, com soluções
arquitetadas a partir do respeito aos valores meta-jurídicos; a partir de um design sensível a valores. Afinal, a vida das pessoas está cada vez mais
regulada por arquiteturas tecnológicas; a tecnologia integra transforma a cultura das nações.
Referências bibliográficas

BRANT, Danielle. Agência bancária do futuro será mais cafeteria do que banco, prevê empresa. Folha Digital. Out., 2016. Disponível em:
https://www1.folha.uol.com.br/mercado/2016/10/1825548-agencia-do-futuro-sera-mais-cafeteria-do-que-banco-preve-gigante-do-setor.shtml,
acesso em 27 jan., 2019.
BRKAN, Maja. AI-Supported Decision-making under the General Data Protection Regulation. London/UK: Proceedings of ICAIL’17. Jun. 2017
Disponível em: https://doi.org/10.1145/3086512.3086513, acesso em 28 jan., 2019.
Brasil recupera el liderazgo Fintech en América Latina y supera la barrera de las 370 startups. Finnovista Fintech Radar. Jun., 2018. Disponível em:
https://www.finnovista.com/actualizacion-fintech-radar-brasil-2018/, acesso em 25 jan. 2019.
ČERKAA, Paulius; GRIGIENĖA, Jurgita; SIRBIKYTĖB, Gintarė. Liability for damages caused by artificial intelligence. Computer Law & Security Review.
Vol 31. No.3. Jun., 2015.
CIRIACO, Douglas. O que é P2P? ago., 2008. Disponível em: https://www.tecmundo.com.br/torrent/192-o-que-e-p2p-.htm, acesso em 26 de jan.,
2019.
CROSMAN, Penny. Is AI making credit scores better, or more confusing? American Banker. Fev., 2017. Disponível em:
https://www.americanbanker.com/news/is-ai-making-credit-scores-better-or-more-confusing, aceso em 26 jan., 2019.
DAVIES, Colin R. An evolutionary step in intellectual property rights: Artificial Intelligence and Intellectual Property. Computer Law & Security
Review. Vol 27. p. 601-619. Dec., 2011.
Fintech Trends: tendências e desafios para o mercado fintech brasileiro. Conexão Fintech. 2017. Disponível em:
http://conexaofintech.com.br/news/wp-content/uploads/report_tendencias_fintech_Brasil_2017_Conexao_Fintech.pdf, acesso em 27 jan., 2019.
HEKIMA. Big Data e Inteligência Artificial: números e estatísticas impressionantes. Big Data Business. Fev., 2017. Disponível em:
http://www.bigdatabusiness.com.br/os-grandes-e-impressioantes-numeros-de-big-data/, acesso em 28 jan., 2019.
Gartner Customer 360 Summit 2011. Disponível em: https://www.gartner.com/imagesrv/summits/docs/na/customer-
360/C360_2011_brochure_FINAL.pdf, acesso em 26 jan., 2019.
KOCIANSKI, Sarah; DYKE, Dan Van. AI IN BANKING AND PAYMENTS: How artificial intelligence can cut costs, build loyalty, and enhance security for
financial institutions. Business Insider – BI Intelligence . Feb., 2018. Disponível em: https://www.businessinsider.com/ai-in-banking-and-payments-
report-2018-2, acesso em 27 já., 2019.
LEMOS, Ronaldo; DOUEK, Daniel. ADAMI, Mateus Piva; LANGENEGGER, Natalia; FRANCO, Sofia Lima. A criação da Autoridade Nacional de Proteção
de Dados pela MP nº 869/2018. Jota. Dez. 2018. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/a-criacao-da-autoridade-nacional-
de-protecao-de-dados-pela-mp-no-869-2018-29122018, acesso em 29 jan., 2019.
LEMOS, Ronaldo; MAGRANI, Eduardo. GDPR e LGPD e aplicações de inteligência artificial e algoritmos. ITS Rio. Set. 2018. Curso “A Nova Lei Geral de
Proteção de Dados” ministrado on line.
MAGRANI, Eduardo. Inteligência Artificial: o que é e como ela pode afetar sua vida. ITS Rio. Abr. 2018. Curso “Inteligência artificia: (r)evolução na
prática” ministrado on line.
MANDL, Carolina. China’s Tencent invests $180 million in Brasil fintech Nubank. REUTERS. Out., 2018. Disponível em:
https://www.reuters.com/article/us-tencent-holdings-nubank-m-a/chinas-tencent-invests-180-million-in-brazil-fintech-nubank-
idUSKCN1MI20L, acesso em 15 fev., 2019.
MAROUS, Jim. How Financial Institutions are Turning AI into ROI. Set., 2017a. The Financial Brand. Disponível em:
https://thefinancialbrand.com/67498/artificial-intelligence-ai-banking-trends/, acesso em 26 jan. 2019.
______. Competitive Survival in Banking Hinges on Artificial Intelligence. Out., 2017b. The Financial Brand. Disponível em:
https://thefinancialbrand.com/67890/ai-banking-research-deployment-trends/, acesso em 26 jan. 2019.
MEOLA, Andrew. Robo-advisors have a $2 trillion opportunity in front of them. Business Insider – BI Intelligence. Jun., 2016. Disponível em:
https://www.businessinsider.com/robo-advisors-have-a-2-trillion-opportunity-in-front-of-them-2016-6, acesso em 26 já., 2019.
NG, Andrew. Artificial Intelligence is the New Electricity. Synced Review. Abr., 2017. Disponível em: https://medium.com/syncedreview/artificial-
intelligence-is-the-new-electricity-andrewng-cc132ea6264, acesso em 25 jan. 2019b.
Olá, sou o Ueslei, o robô que cuida dos seus investimentos. Vérios Blog. Abr., 2017. Disponível em: https://verios.com.br/blog/ola-sou-o-ueslei-o-
robo-que-cuida-dos-seus-investimentos/, acesso em 26 jan., 2019.
REED, Jeff. FinTech Financial Technology and Modern Finance in the 21st Century. Kindle Edition, 2016.
SACHS, Lais. Fintechs: China e Brasil. ITS Rio. Fev., 2019. Curso “Radar ITS 2019: tendências para a Internet” ministrado on line.
SCHWAB, Klaus. A quarta revolução industrial. Traduzido por Daniel Moreira Miranda. São Paulo: Edipro, 2016.
STIVANI, Mirella. Os dez tipos de phishing mais comuns. Techtudo. Jun. 2018. Disponível em: https://www.techtudo.com.br/listas/2018/06/os-
dez-tipos-de-phishing-mais-comuns.ghtml, acesso em 25 jan. 2019.
TEIXEIRA JÚNIOR, Sérgio. O Alibaba no topo do mundo. Exame. Set., 2014. Disponível em: https://exame.abril.com.br/revista-exame/o-alibaba-no-
topo-do-mundo/, acesso em 15 fev., 2019.
The AI In Fintech Market Map: 100+ Companies Using AI Algorithms to Improve the Fin Services Industry. CB Insights. Mar. 2017. Disponível em:
https://www.cbinsights.com/research/ai-fintech-startup-market-map/, acesso em 25 jan. 2019.
The Bank os the Future: The ABCs of Digital Disruption in Finance. Citi GPS. Mar., 2018. Disponível em:
https://ir.citi.com/CiDxU7p7pAittTmqzfMCS9%2F91IS21vIjJXbn3wjpSEYiTXJ8FvEPRWx8WmmrKNgBSzDi8E2mGOI%3D, acesso em 25 jan. 2019.
The New Physics of Financial Services. World Economic Forum. Ago. 2018. Disponível em:
http://www3.weforum.org/docs/WEF_New_Physics_of_Financial_Services.pdf, acesso em 25 jan. 2019.
 1. Advogada. Doutoranda em Direito pela UNISINOS. Mestre em Direito pela PUCRS. LLM em Direito Empresarial pelo CEU Law School. Professora de Direito Empresarial e de Direito da Propriedade

Intelectual da UNISINOS e da ESMAFE – Escola Superior da Magistratura Federal. Pesquisadora do Grupo Inteligência Artificial e Inclusão do ITS RIO - 2018. E-mail: fernandaborghetti@hotmail.com

2. A primeira mudança profunda na maneira de viver se deu com a revolução agrícola, quando o homem deixou de ser um mero catador e começou a produzir os seus alimentos, dominando a

agricultura. Esta revolução, que ocorreu a cerca de 10.000 anos, foi seguida por uma série de revoluções industriais, iniciadas na segunda metade do século XVIII. A primeira revolução industrial foi

provocada pela construção de ferrovias e pela invenção da máquina a vapor. Foi aquela que deu início a produção mecânica. A partir do final do século XIX, com o advento da eletricidade e da linha

de montagem, possibilitou-se a produção em massa, o que caracterizou a segunda revolução industrial. A terceira revolução industrial teve início na década de 60 e foi chamada de revolução digital.

Esta foi impulsionada pelo desenvolvimento dos semicondutores, da computação em mainframe (1960), da computação pessoal (1970/80) e da internet (1990). Para aprofundamento e análise dos

impulsionares e impactos da quarta revolução industrial ver a obra “A quarta revolução industrial” de Klaus Schwab. ↵

3. “El sistema bancario de Brasil es conocido como uno de los más burocráticos del mundo, con los cinco mayores bancos del país, Itáu Unibanco, Banco Santander, Banco Bradesco, Banco do Brasil y

Caixa Econômica, en posesión del 80% de cuota de mercado en el negocio de crédito”. (FINNOVISTA FINTECH RADAR, 2018). Importante dizer que a concentração bancária não é uma

particularidade brasileira. A China, por exemplo, é outro mercado que, muito impactado pelas fintechs, também é exemplo de concentração bancária. Quatro bancos concentravam o mercado

financeiro chinês. (SACHS, 2019). ↵

4. Os números brasileiros são significativos, mas incomparáveis com a líder mundial do mercado fintech: a China. Entre 2015 e 2016, momento de surgimento das fintechs no país, a China contou com

8 bilhões de dólares em investimentos no setor. Três foram os principais fatores para o surgimento das fintechs na China: incentivos governamentais de estímulo a crédito durante a crise de 2008,

dezenas de milhões de pessoas sem acesso a serviços financeiros formais e grande insatisfação com as ofertas de serviços bancários provenientes dos grandes bancos. Um exemplo de

transformação dos serviços financeiros na China é a empresa Ant Financial que, desde 2014, opera todos os serviços financeiros ligados ao grupo Alibaba, o maior intermediário varejista chinês,

como a americana Amazon. O Alibaba, em 2014, já era o responsável por 80% das vendas online na China e esse percentual foi atingido quando desenvolvido o serviço de pagamento: o Alipay, o qual

resolveu um problema de confiança, já que o repasse do dinheiro aos vendedores somente ocorre após a confirmação da operação pelo comprador. O Alipay é a empresa líder mundial de

pagamentos online, contando com 520 milhões de usuários. O importante é que o Alipay não viabiliza apenas a compra de produtos em um mercado online, viabiliza o pagamento de ambulantes, de

hotéis, de supermercados, de bicicletas compartilhadas, de passagem no metrô, dentre outras possibilidades, simplesmente escanceando um QR Code pelo telefone celular. Isso é possível pela

penetração da internet e dos smartfones na China. Cerca de 556 milhões de pessoas acessam a internet por meio dos seus telefones. (SACHS, 2019). Aliás, o Grupo Alibaba tem a Aliexpress no Brasil,

empresa que gera desconforto, por exemplo, para o Mercado Livre. A operação no Brasil é interessante, também é um mercado relevante em população. Mas, independentemente da operação local,

é certo que a internet reduz fronteiras: o próprio Alibaba tem 2 milhões de clientes brasileiros cadastrados. (TEIXEIRA JÚNIOR, 2014). ↵

5. A inteligência artificial pode ser fraca ou forte. A fraca é aquela que só consegue fazer aquilo para o que foi programada; já a forte consegue assimilar conteúdos, é versátil na interpretação e

tratamento das informações. (MAGRANI, 2018). Tal distinção tem relação até mesmo com as diferentes gerações de computadores. Os antigos não tinham capacidade de aprendizado, todas as

informações, conclusões e resultados possíveis precisavam ser inseridas na máquina pelo programador. Hoje em dia, um computador pode exercer atividades tal como o cérebro humano. Recebe

informações de diversas fontes, de outros computadores, de outros sistemas de IA, para além das informações que possuía ao tempo de sua programação. Da junção de todas as informações e dados

recebidos, chega à suas próprias conclusões. (DAVIES, 2011). O Deep Blue, o sistema de inteligência artificial que venceu Kasparov, o melhor jogador de xadrez do mundo, embora muito avançado, é

um exemplo de IA fraca. Ele não consegue jogar dama, só consegue avaliar todas as possibilidades do xadrez. Só consegue fazer aquilo para o que foi programado. O Go – jogo de tabuleiro Chinês – é

muito mais complexo que o xadrez, porque possui um número infinito de jogadas. O AlphaGo, sistema de IA da Google, derrotou Ke Jie, o melhor jogador de Go do mundo. Depois disso, o Google

criou outra IA que apreendeu a jogar sozinha, e derrotou o próprio AlphaGo. Esses são exemplos de IA forte, assim como o Watson da IBM. IA consegue até mesmo blefar jogando Poker. (MAGRANI,

2018). A IA forte, estruturadas pela técnica da aprendizagem profunda (Deep Learning), um ramo do chamado aprendizado de máquinas (Machine Learning), irá levar a humanidade para um nível de

desenvolvimento jamais visto por que estão cada vez mais autônomas e imprevisíveis. Os sistemas de IA hoje são capazes de aprender; de treinar a si próprios através do acúmulo de experiências

anteriores próprias e de outros agentes, chegando as suas próprias conclusões de forma absolutamente imprevisível. (ČERKAA; GRIGIENĖA; SIRBIKYTĖB, 2015). ↵

6. P2P (do inglês peer-to-peer, que significa par-a-par) é uma arquitetura de redes de computadores em que cada um dos pontos ou nós da rede funciona tanto como cliente quanto como servidor,

permitindo compartilhamentos de serviços e dados sem a necessidade de um servidor central. Em outras palavras, é um formato de rede de computadores em que a principal característica é

descentralização das funções convencionais de rede, em que o computador de cada usuário conectado acaba por realizar funções de servidor e de cliente ao mesmo tempo. (CIRIACO, 2018). ↵

7. Falsos positivos são alarmes falsos. Por exemplo, quando o antivírus acusa que arquivos ou programas estão infectados quando na verdade não estão. Já um falso negativo seria aquela situação de

realização de compra pela internet que, na finalização, indica que o cartão utilizado é inválido. Esse tipo de aviso equivocado ocorre com menos frequência hoje porque os sistemas de detecção de

fraude estão melhor desenvolvidos. ↵

8. Phishing é uma prática criminosa implementada através da internet para que o usuário vítima revele informações pessoais, como senhas ou cartão de crédito, CPF e número de contas bancárias. A

prática ocorre através de envio de e-mails falsos ou direcionamento para websites falsos. Para saber mais, vide: https://www.techtudo.com.br/listas/2018/06/os-dez-tipos-de-phishing-mais-

comuns.ghtml. ↵

9. “There are two main reasons to use artificial intelligence to derive a credit score. One is to assess creditworthiness more precisely. The other is to be able to consider people who might not have

been able to get a credit score in the past, or who may have been too hastily rejected by a traditional logistic regression-based score. In other words, a method that looks at certain data points from

consumers’ credit history to calculate the odds that they will repay.” (CROSMAN, 2017) ↵

10. Bots, termo diminutivo de Robot, são robôs digitais que, imitando comportamentos humanos, vem sendo utilizados na web para as mais diversas tarefas. Os mais comuns são os Chatbots, que são

programas de computadores programados para funcionarem como atendentes e responderem perguntas formuladas pelas pessoas na rede. Para entender melhor sobre o que são os bots e como

eles podem nos influenciar, vide: https://feed.itsrio.org/tagged/bots. ↵

11. Para conhecer um pouco mais sobre o super app, vide documentário sobre o tema: WeChat the Chinese Super App. Disponível em: https://www.youtube.com/watch?v=Qtm3V74HCzc. ↵

12. A questão da IA e o futuro das profissões foi objeto de pesquisa do McKinsey Global Institute no ano de 2017, resultando em um report muito interessante intitulado: Jobs lost, jobs gained: What the

future of work will mean for jobs, skills, and wages. Disponível em: https://www.mckinsey.com/featured-insights/future-of-work/jobs-lost-jobs-gained-what-the-future-of-work-will-mean-for-

jobs-skills-and-wages, acesso em 29 jan., 2019. ↵

13. Esse é um dado e uma opinião pessoal de Paulo Rogério Silva, ex-superintendente do Santander e ex-diretor de marketing, distribuição e estratégia de segmentos para América Latina do HSBC e do

Citibank, em palestra proferida na Unisinos/RS em 2018 sobre tendências no varejo financeiro brasileiro. ↵

14. Também conhecido pela sigla GDPR - General Data Protection Regulation. Para aprofundamento, vide o Manual da legislação Europeia sobre proteção de Dados, disponível no link:

https://www.echr.coe.int/Documents/Handbook_data_protection_POR.pdf ↵

15. Art. 7º, LGPD: O tratamento de dados pessoais somente poderá ser realizado nas seguintes hipóteses: I - mediante o fornecimento de consentimento pelo titular; II - para o cumprimento de

obrigação legal ou regulatória pelo controlador; III - pela administração pública, para o tratamento e uso compartilhado de dados necessários à execução de políticas públicas previstas em leis e

regulamentos ou respaldadas em contratos, convênios ou instrumentos congêneres, observadas as disposições do Capítulo IV desta Lei; IV - para a realização de estudos por órgão de pesquisa,
 garantida, sempre que possível, a anonimização dos dados pessoais; V - quando necessário para a execução de contrato ou de procedimentos preliminares relacionados a contrato do qual seja parte

o titular, a pedido do titular dos dados; VI - para o exercício regular de direitos em processo judicial, administrativo ou arbitral, esse último nos termos da Lei de Arbitragem; VII - para a proteção da

vida ou da incolumidade física do titular ou de terceiro; VIII - para a tutela da saúde, em procedimento realizado por profissionais da área da saúde ou por entidades sanitárias; IX - quando

necessário para atender aos interesses legítimos do controlador ou de terceiros, exceto no caso de prevalecerem direitos e liberdades fundamentais do titular que exijam a proteção dos dados

pessoais; ou X - para a proteção do crédito, inclusive quanto ao disposto na legislação pertinente. (grifado). ↵

16. A ANPD – Autoridade Nacional de Proteção de Dados foi criada pela Medida Provisória nº 869/2018 e será um órgão da administração pública direta; integrante da Presidência da República. A

LGPD, na sua parte vetada, submetia a ANPD à regime autárquico especial e vinculado ao Ministério da Justiça. A celeuma sobre a ANPD não termina. Incialmente sua criação foi objeto de veto e,

agora, na sua efetiva criação foi vinculada à Presidência da República, o que pode ser um prejuízo a sua independência, embora se assegure sua autonomia técnica. (LEMOS, et. al., 2018) ↵

17. Art. 22 GDPR. Automated individual decision-making, including profiling. 1. The data subject shall have the right not to be subject to a decision based solely on automated processing, including

profiling, which produces legal effects concerning him or her or similarly significantly affects him or her. 2. Paragraph 1 shall not apply if the decision: (a) is necessary for entering into, or

performance of, a contract between the data subject and a data controller; (b) is authorised by Union or Member State law to which the controller is subject and which also lays down suitable

measures to safeguard the data subject’s rights and freedoms and legitimate interests; or (c) is based on the data subject’s explicit consent. 3. In the cases referred to in points (a) and (c) of

paragraph 2, the data controller shall implement suitable measures to safeguard the data subject’s rights and freedoms and legitimate interests, at least the right to obtain human intervention on the

part of the controller, to express his or her point of view and to contest the decision. 4. Decisions referred to in paragraph 2 shall not be based on special categories of personal data referred to in

Article 9(1), unless point (a) or (g) of Article 9(2) applies and suitable measures to safeguard the data subject’s rights and freedoms and legitimate interests are in place. (grifado) ↵

18. Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as

decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. § 1º O controlador deverá fornecer, sempre que solicitadas, informações

claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial. § 2º Em caso de não oferecimento de

informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios

em tratamento automatizado de dados pessoais. (grifado) ↵

Inteligência artificial, self-driving cars, e suas consequências jurídicas em caso de acidentes

[1]
Gregório Soria Henriques
1. O que são “self-driving cars”?

Conforme definido pela National Highway Traffic Safety Administration – NHTSA, agência federal de transporte americana, veículos autônomos são
aqueles em que pelo menos algumas das funções críticas de segurança (e.g. direção, aceleração, ou frenagem) ocorrem sem qualquer interação do
[2]
motorista . Assim, um “self-driving car” (ou carro autônomo) é um veículo que é capaz de escanear o seu ambiente e navegar sem comandos humanos.
Esses veículos utilizam tecnologias como radares, laser, GPS, visão computadorizada, etc., e, com base nas informações colhidas sobre o seu ambiente,
um sistema avançado de controle identifica os melhores caminhos, além de identificar obstáculos e sinais relevantes.
Portanto, para que um veículo seja considerado um carro autônomo, é necessário que o sistema tenha uma performance satisfatória na presença de
[3]
incertezas no ambiente e seja capaz de compensar por falhas sistêmicas sem intervenção externa .
Com base nesse conceito, a National Highway Traffic Safety Administration – NHTSA publicou uma escala com cinco níveis diferentes, que variam de
[4]
acordo com a automatização do sistema :

Nível 0: sem qualquer automação. O motorista tem o controle total e solitário dos controles primários do veículo (freios, direção, e aceleração) a
todo tempo, além de ser o único responsável por monitorar a via e pela segura operação de todos os controles do veículo. Veículos que têm algum
suporte ou sistemas de conveniência ao motorista, mas que não têm controle ou autoridade sobre os controles primários do veículo ainda são
considerados Nível 0. Exemplos desse nível incluem sistemas que expeçam advertências, que tenham para-brisas e faróis automáticos, etc.;
Nível 1: automação específica por função. A automação nesse nível envolve um ou mais dos controles primários do veículo. O motorista ainda tem
controle total e é o único responsável pela segurança, mas ele pode escolher por ceder um controle primário (e.g. cruise control), ou o sistema
autônomo pode auxiliar em determinadas situações de acidente iminente (e.g. auxílio de freio em emergências). O veículo de Nível 1 possui
diversas tecnologias capazes de evitar um acidente, mas ele ainda não substitui a vigilância do motorista, nem retira a sua responsabilidade, já que
ele apenas possui a função de auxiliar;
Nível 2: automação de combinação de funções. Esse nível envolve a automação de, pelo menos, dois controles primários do veículo, trabalhando
em conjunto para dispensar o motorista em relação a essas funções. Nesse caso, o motorista ainda é responsável pelo monitoramento da rodovia e
pela segurança da operação, além de dever estar sempre à disposição, já que o sistema pode lhe devolver o controle total a qualquer momento e
sem aviso;
Nível 3: automação limitada. Veículos desse nível permitem que o motorista ceda controle total de todas as funções críticas de segurança em
determinadas circunstâncias (e.g. trânsito). Nesse caso, o motorista deve estar disponível ocasionalmente para reassumir o controle, mas com
tempo suficiente de transição;
Nível 4: automação plena. O veículo é destinado para desenvolver todas as funções críticas de segurança e monitorar as condições da via durante
toda a viagem. Esse veículo antecipa que o motorista irá providenciar a destinação ou a navegação, mas que não estará disponível durante nenhum
momento. Esse nível inclui tanto veículos ocupados, como não ocupados.

Ou seja, no Nível 4, nível máximo que pode ser atingido e que será adotado como o padrão nos termos deste trabalho, o sistema operacional de um
carro autônomo funciona como um motorista, na medida em que ele tem que coletar informações sobre o ambiente ao seu redor, processá-las, e, com
base nelas, tomar decisões; isso sem qualquer auxílio externo. É justamente essa tomada de decisões sem o auxílio humano que faz com que esse
sistema operacional seja excepcional, distinguindo-se dos sistemas operacionais comuns, que são utilizados em computadores pessoais e similares, e
mesmo em carros autônomos de níveis inferiores. Nestes, o usuário dá o comando e o computador o realiza sem ter que tomar qualquer decisão, ou o
computador toma a decisão e realiza a tarefa que, mesmo assim, deve ser aprovada por um ser humano. Já nos carros autônomos de Nível 4, o
programador apenas dá as diretrizes básicas que serão aplicadas pelo próprio sistema operacional de acordo com as suas próprias decisões. O sistema
operacional “pensa”.
[5]
Atualmente, a Google (Waymo ) e a Uber são duas das empresas que desenvolvem projetos de carros autônomos.
2. Benefícios dos “self-driving cars”

Os “self-driving cars” trazem uma série de benefícios, como redução dos gastos com infraestrutura, melhoria na mobilidade urbana, dentre outros, mas
não são todos que interessam ao foco deste trabalho. De fato, o foco é “inteligência artificial e inclusão” e, nesse contexto, o benefício mais importante
trazido pelos carros autônomos é a inclusão de pessoas que, em relação a um carro comum, não conseguiam ou tinham mais dificuldade em utilizá-lo:
portadores de deficiência, pessoas idosas, crianças etc.
Isso se deve à possibilidade de estas pessoas terem mais independência na sua locomoção. Isso porque, mesmo com os diversos avanços
tecnológicos que reduziram distâncias – como, por exemplo, a Internet e a possibilidade de cursos à distância não presenciais – a locomoção ainda
continua a ser um aspecto importante da vida em sociedade. A locomoção ainda é importante para que pessoas consigam resolver seus problemas
cotidianos (ir ao banco, ir ao INSS), interagir com outras pessoas (ir a uma festa ou a algum evento social), e até mesmo relaxar, já que ficar em um
ambiente confinado por longos períodos de tempo pode fazer mal à saúde mental e ter impactos negativos na saúde física e psíquica de indivíduos.
Desse modo, mesmo que a tecnologia tenha facilitado a vida dessas pessoas, a locomoção ainda é um aspecto muito importante da vida humana.
[6]
Em relação aos portadores de deficiência , a remoção do volante e o fato de os assentos não mais terem que “olhar para frente” proporcionaria
maior espaço interno e maior mobilidade dentro do veículo, facilitando o posicionamento de cadeiras de rodas, por exemplo. Além disso, a visão do
motorista não seria mais essencial à direção, já que a única visão necessária seria a do sistema, possibilitando que deficientes visuais não mais
necessitassem que alguém dirigisse para eles, o que aumentaria a sua qualidade de vida e diminuiria os seus custos. Em caso semelhante, os deficientes
auditivos.
[7]
Por outro lado, pessoas idosas e com locomoção reduzida, que já são beneficiadas pelo sistema de troca de marcha automático, seriam ainda mais
beneficiadas, já que não teriam que fazer nenhum esforço. Crianças poderiam ser transportadas de modo seguro até suas escolas ou outros lugares,
não mais dependendo que algum responsável as leve, o que reduziria a carga de trabalho de mães e pais solteiros, por exemplo.
E, por fim, carros autônomos reduziriam os custos trabalhistas com motorista e os custos com seguro (já que o carro autônomo seria mais seguro,
uma vez que não é tão falho como o ser humano), tornando o transporte mais barato, inclusive o público, e permitindo uma maior mobilidade urbana,
que, no fim, acaba incluindo a todos.
Enfim, a lista de benefícios trazidos pelos carros autônomos é extensa e, por não ser esse o objetivo deste trabalho, optou-se por fazer uma análise
breve sobre eles.
3. A responsabilidade civil em caso de acidentes envolvendo carros autônomos

a. Introdução

Apesar de decisões tomadas por computadores serem eventualmente mais seguras do que as tomadas por humanos, computadores não são perfeitos
ou infalíveis e, portanto, é plausível pensar que carros autônomos possam apresentar defeitos. Nesse contexto, é importante examinar a
responsabilidade civil em caso de acidentes envolvendo carros autônomos:

Quem é responsável quando se trata de carro autônomo de Nível 4?

E nos Níveis 2 e 3?

Enquanto a atual legislação e jurisprudência nacionais não tratam do assunto, cabe à doutrina, em especial a comparada, encontrar soluções para esses
problemas que, com certeza, surgirão no futuro.

b. O atual estágio de desenvolvimento dos carros autônomos

Atualmente, a líder no desenvolvimento de carros autônomos é a Google, desenvolvendo um software para carros que já são produzidos, como
Toyotas, Priuses, Audis e Lexus. Assim, não se trata de um veículo que é completamente autônomo, mas sim um sistema que transforma um carro em
[8]
autônomo . Esse sistema utiliza sensores e um software para detectar pedestres, ciclistas, outros veículos, obras etc., em uma distância de até 330
[9] [10] [11]
metros , num em um raio de 360º . Após a detecção pelos sensores, o sistema prevê o comportamento de cada um dos outros elementos na
rodovia: isso é possível porque o sistema se baseia em 5 milhões de experiências reais para extrapolar um cenário que seja o mais compatível possível
com a realidade. Um dos exemplos que a Google utiliza em seu site é o do ciclista que levanta o seu braço esquerdo; detectando o sinal, o software
prevê que ele vá virar à esquerda e adequa o seu comportamento, reduzindo a sua velocidade e dando espaço para que o ciclista passe de modo seguro
à frente do carro.
Apesar de o plano da Google ser um carro completamente autônomo (Nível 4), o seu design atual, até por conta da presente legislação sobre o
assunto, ainda requer um motorista atrás do volante (Nível 3). Desse modo, ocorrendo qualquer situação excepcional, o veículo pode acionar o
motorista para que ele assuma o controle.
Além disso, os carros se comunicam entre si, trocando informações entre eles e com o sistema central da Google, que coleta os dados de todos os
carros autônomos, mantendo o sistema sempre atualizado. Isso é a base para o futuro dos carros autônomos: eles se tornarão cada vez mais seguros,
na medida em que se comunicam entre si, e entre outros elementos na via (e.g. sinais de trânsito), o que reduziria a quase zero a falibilidade.

c. Regulação Estrangeira

Em relação aos carros autônomos e a sua regulamentação, o direito americano se torna o grande foco, na medida em que a maioria dos carros
autônomos são produzidos lá. Desse modo, é importante fazer uma rápida análise da regulamentação em solo americano.
A National Highway Traffic Safety Administration – NHTSA, atualmente, ainda estuda a tecnologia decorrente de carros autônomos e a sua possível
[12]
regulação. Mas ela recomenda que os Estados não autorizem o uso público de carros autônomos enquanto isso . NE, nesse contexto, vários Estados
americanos têm optado por não aprovar, ainda, qualquer regulação até que se chegue a um consenso sobre a responsabilidade civil decorrente de
dano causado pelo uso de carros autônomos.
No entanto, os Estados de Nevada, Califórnia e Flórida (Estados nos quais os carros autônomos são testados na prática) já aprovaram leis
regulamentando regulando os carros autônomos, sem, entretanto, permiti-los sem motoristas. Somente àa título de curiosidade, o Estado de Nevada
[13]
inclusive já desenvolveu o formato e design da placa de carros autônomos , mas o Chapter 482-A, que disciplina a matéria, não traz qualquer previsão
de responsabilidade civil, regulando apenas os testes dos veículos.
A União Europeia, por outro lado, já tem proposta de regulamentação de atos independentes da inteligência artificial (Resolução 2015/2103 [INL], de
[14]
16 de fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica) . Essa resolução tem como objetivo tentar se adiantar ao
próprio desenvolvimento tecnológico, para moldá-lo de forma a serem respeitados determinados princípios éticos. Nesse cenário, ela leva em
consideração a possibilidade concreta de que, em um futuro bem próximo , a inteligência artificial vá além da inteligência humana. Ou seja, a partir de
uma base fornecida pelo programador, a inteligência artificial evoluiria tanto por si mesma que ela ultrapassaria a inteligência humana, até mesmo em
virtude da velocidade de seus processamentos. Desse modo, seria de suma importância a análise da responsabilidade civil da própria inteligência
artificial. E, adiantando o ponto a ser abordado posteriormente, essa responsabilidade, num primeiro momento, recairia objetivamente sobre quem
[15]
estiver mais bem colocado para oferecer garantias .
Ainda segundo a resolução europeia, seria considerada inteligência autônoma (artificial) aquela que tenha autonomia para captar dados do seu
ambiente e analisá-los, para aprender por si mesma, que tenha suporte físico, e que consiga adaptar o seu comportamento ao ambiente em que se
[16]
encontra .
Mas, se essa inteligência artificial é capaz de analisar o ambiente em que se encontra, adaptar seu comportamento e aprender sozinha, resta a
indagação sobre qual seria a diferença entre uma decisão tomada por essa inteligência e uma tomada por um ser humano. Apesar de, no futuro, a
inteligência artificial poder ser muito mais avançada do que a inteligência humana, não haveria motivos para que as decisões tomadas por ela
(inteligência artificial) não fossem de sua própria responsabilidade. Até porque, se, de fato, ela for mais avançada do que o seu criador ou seu dono,
como responsabilizá-lo por isso?
A exposição de motivos da resolução europeia tenta tratar da questão. Isso porque a futura autonomia dos robôs faria com que eles deixassem de ser
meros instrumentos ou ferramentas de fabricantes, usuários, etc. Desse modo, as tradicionais regras de responsabilidade civil seriam inadequadas para
tratar do assunto, já que a máquina não seria vista como possuidora de capacidade jurídica apta a responder por seus atos. Assim, seria necessária a
[17]
determinação de um estatuto jurídico do robô .
Também interessante registrar a origem da palavra “robô”: de origem tcheca (robota), ela significa “trabalho forçado”. Ela surgiu na peça do
dramaturgo Karel Čapek, na qual um autômato com forma humana fazia tudo no lugar do homem. Nesse contexto, é relevante a comparação da
inteligência artificial com o estatuto jurídico dos escravos no direito romano. Isso porque, no direito romano, o escravo não era sujeito de direito,
sendo considerado uma coisa. Mas, obviamente, os seus atos eram humanos e, portanto, conscientes, inteligentes e autônomos. Mas, como ele não
[18]
tinha capacidade jurídica, o chefe de família era o responsável por ele, responsabilizando-se pelos seus atos (tal como é hoje em relação aos animais) .
Do mesmo modo, em relação aos atos de inteligências artificiais, os seus proprietários poderiam ser responsabilizados pelos seus atos.
Essa seria uma alternativa ao estatuto jurídico do robô, o qual encontra bastante resistência atualmente, já que ainda seria considerada ficção
[19]
científica. Assim, nenhum projeto legislativo sobre o tema atribui personalidade jurídica à inteligência artificial .
[20]
Thatiane Cristina Fontão Pires e Rafael Peteffi da Silva falam em responsabilidade objetiva semelhante à responsabilidade vicária (“casos de
responsabilidade pelo fato de terceiro, derivada de um dever de guarda, vigilância e cuidado, nos termos do art. 932 do Código Civil, como a
responsabilidade dos pais pelos atos dos filhos menores que estiverem sob o seu poder e em sua companhia, o tutor e o curador pelos pupilos e
[21]
curatelados, e o patrão pelos atos dos seus empregados” ). Os autores continuam o seu pensamento, argumentando que, nesse caso, a
responsabilidade pela inteligência artificial dependeria de quem estivesse fazendo uso dela: (i) se ela é usada por um fornecedor para prestar serviços
ou oferecer produtos; (ii) se ela é usada por um usuário para desempenhar determinadas atividades. Além disso, eles aduzem que, se o robô detém a
capacidade de aprender da sua própria experiência, caberá ao seu responsável (proprietário/usuário) um correspondente dever de guarda e
[22]
vigilância .
[23]
É nesse sentido que a resolução europeia determina a responsabilidade pelos atos da inteligência artificial a quem “a ensinou” .

d. Possível aplicação do CDC

Para uma possível aplicação do CDC ao caso, deve-se, num primeiro momento, averiguar se há defeito do produto ou não. Isso porque, nos termos do
art. 12 do CDC, “o fabricante, o produtor, o construtor, nacional ou estrangeiro, e o importador respondem, independentemente da existência de culpa,
pela reparação dos danos causados aos consumidores por defeitos decorrentes de projeto, fabricação, construção, montagem, fórmulas, manipulação,
apresentação ou acondicionamento de seus produtos, bem como por informações insuficientes ou inadequadas sobre sua utilização e riscos” (grifou-
se).
Continua o Código, no §1º deste artigo, que produto defeituoso é aquele que não oferece a segurança que dele legitimamente se espera, levando-se
em consideração as circunstâncias relevantes (apresentação, usos e riscos que razoavelmente dele se esperam, época em que foi colocado em
circulação, etc.).
Tratando-se de carros autônomos, por óbvio que o CDC pode ser aplicado nas mesmas situações em que seria aplicado quando envolvesse um carro
não-autônomo, como, por exemplo, no caso de freios defeituosos. Mais especificamente aos carros autônomos, é fácil perceber que o CDC pode ser
aplicado em relação à má fabricação dos sensores que captam o ambiente ao redor do carro.
Mas poder-se-ia alegar defeito em relação ao software, ou seja, em relação à inteligência em si?
Segundo o art. 1º da L. 9.609/98:, “

Programa de computador é a expressão de um conjunto organizado de instruções em linguagem natural ou codificada, contida em suporte
físico de qualquer natureza, de emprego necessário em máquinas automáticas de tratamento da informação, dispositivos, instrumentos ou
equipamentos periféricos, baseados em técnica digital ou análoga, para fazê-los funcionar de modo e para fins determinados”.

Com base nisso, os tribunais têm entendido que a relação entre o fornecedor do software e o usuário é de consumo, havendo vício quando não há o
funcionamento total ou parcial do software, de modo a frustrar os fins a que o programa se dirigia. Ou seja, a responsabilidade do fornecedor é baseada
na expectativa criada no consumidor levando em conta o que ele (fornecedor) anuncia. Assim, se o fornecedor anuncia que o seu programa é capaz de
processar pagamentos por cartão de crédito, se o programa não realiza tal operação, há vício no produto.

TJSC. […] INEXISTÊNCIA DE DÉBITO E RESCISÃO CONTRATUAL. CONTRATO PARTICULAR DE LICENÇA DE USO DE SOFTWARE. […]
ALEGAÇÃO DE QUE SE ESMEROU PARA ATENDER O OBJETO DO CONTRATO. AUSÊNCIA DE ELEMENTOS E TAMPOUCO DE INDÍCIOS A
CORROBORAREM AS ASSERTIVAS […]. PARTE AUTORA QUE FAZ JUS À RESCISÃO CONTRATUAL E A DEVOLUÇÃO DA PARCELA PAGA. […]
sentença proferida pelo juízo da 1a Vara Cível da comarca da Capital que […] julgou procedentes os pedidos formulados […] para decretar a
rescisão do contrato de licença de uso de software firmado entre as partes; declarar a inexistência de débito […]; condenar a […] devolver […] o
valor correspondente à parcela paga […]; […] pagamento das custas processuais e honorários advocatícios, […]. […] restou satisfatoriamente
 comprovado que o produto e a prestação do serviço oferecidos pela apelante eram viciados e defeituosos, não atingindo o objetivo pactuado,
senão veja-se: “[…] a loja ficou sem sistema por uma semana (na semana passada) […] a base de dados corrompeu. […] O sistema ainda não
funciona com a bandeira da VISA; Isto foi prometido em agosto para 15 de Setembro. […] Estamos pior do que estávamos antes (pelo menos o
sistema rodava). A empresa local não parece dominar o produto nem a Tecnologia. Já houve perdas de dados (isto que o sistema ainda nem
entrou em funcionamento). […]”. […] restou demonstrado que nem o serviço nem o produto oferecidos pela recorrente correspondiam ao
[24]
objeto do contrato, não há como manter a avença celebrada entre as partes […].

Quando se trata de inteligência artificial, por outro lado, é possível encontrar um problema já em relação ao art. 1º da L. 9.609/98: a lei fala em fazer os
dispositivos funcionarem de modo e para fins determinados. Quando se tem em mente um programa de computador mais básico, é possível aplicar a
lei sem qualquer problema. Pense-se na calculadora de um computador ou num processador de texto. Nesses casos, o programa é feito de maneira tal
que a um input corresponde uma ação. O programa e o computador não têm que fazer nada mais do que uma operação de correlação.
No entanto, em relação a inteligências artificiais, o programa é “incompleto”. Ou seja, o programador não pensa em todos os possíveis comandos e
ações que o programa poderia realizar. Portanto, cabe à própria máquina aprender e evoluir, extrapolando as simples linhas de código que a
compõem.
Nesse contexto, como determinar que o programa falhou ao tomar uma decisão à qual chegou não por conta de linhas de códigos, mas porque é
capaz de fazer conexões por si mesmo e, por isso, “pensar”? Nesses casos, a inteligência artificial pode ser mais inteligente que a própria inteligência
que a criou, sendo o seu criador, portanto, inapto a controlar a sua própria criação. Como, então, atribuir responsabilidade ao fornecedor por algo que
ele sequer pode controlar?
Ou seja, é necessário indagar se as consequências lesivas de atos independentes da inteligência artificial devem ser consideradas abrangidas por
defeitos do produto (risco do desenvolvimento), ou se, por se tratar de circunstância imprevisível, configuraria fato do produto pela simples
circunstância de haver causado dano.
[25]
Alguns autores filiam-se à segunda corrente, especialmente em relação aos carros autônomos. Eles adotam a premissa de que qualquer dano
causado pela inteligência artificial será resultado de falha humana res ipsa loquitor, seja falha de projeto, fabricação, montagem, ou de informação.
Assim, prescindível qualquer distinção entre os casos em que há vício de concepção ou produção e os casos de danos causados por atos independentes
da inteligência artificial.
[26]
Thatiane Cristina Fontão Pires e Rafael Peteffi da Silva argumentam que a aplicação da responsabilidade objetiva, nesse caso, exigiria apenas a
prova de que ocorreu um dano e o nexo de causalidade entre este e o funcionamento lesivo do robô. Além disso, pela abordagem de gestão de riscos, a
responsabilidade não se concentraria na pessoa que atuou de forma negligente, mas na pessoa capaz, nas circunstâncias, de minimizar riscos e lidar
com impactos negativos. Em relação a esse ponto, os autores trazem à tela a “teoria deep pocket”, segundo a qual:

“Toda pessoa envolvida em atividades que apresentam riscos, mas que, ao mesmo tempo, são lucrativas e úteis para a sociedade, deve
compensar os danos causados pelo lucro obtido. Seja o criador da IA, seja o fabricante de produtos que empregam IA, seja uma empresa ou um
profissional que não está na cadeia produtiva da IA, mas que a utiliza em sua atividade, como uma transportadora que usa os veículos
autônomos, isto é: aquele que tem o ‘bolso profundo’ e aproveita os lucros dessa nova tecnologia deve ser o garante dos riscos inerentes às suas
[27]
atividades, sendo exigível, inclusive, que se faça um seguro obrigatório de danos.” .

e. Cenários

Jeffrey K. Gurney, da Universidade da Carolina do Sul (EUA), em seu artigo “Sue my car not me: products liability and accidents involving autonomous
[28]
vehicles” , analisa a responsabilidade civil em caso de acidentes envolvendo carros autônomos em quatro cenários diferentes:

Motorista distraído
Motorista com capacidade reduzida
Motorista com alguma deficiência
Motorista atento

A esses cenários pode-se adicionar mais um, qual seja, o acidente causado não por uma falha no sistema, mas por ato independente da inteligência
artificial.

f. Motorista distraído

João adquire um carro autônomo para que seja mais produtivo em seu tempo. Assim, enquanto vai de carro ao trabalho, ele lê algum material
importante e come um sanduíche como café da manhã, confiando que o sistema do carro autônomo o levará em segurança ao seu destino. No entanto,
o sistema sofre uma falha e o carro atinge outro veículo, sem antes avisar a João que retome o controle.
O motorista distraído é alguém capaz, mas que, por confiar no sistema, se distrai durante a viagem. Nesse caso, no entanto, não há dúvida de que foi
o carro de João que causou o acidente. Mas quem deve ser o responsável pelos danos causados: João, o motorista por detrás do volante? Ou o
[29]
fabricante do carro e do sistema ?
Como analisado anteriormente neste trabalho, a conclusão a que se pode chegar nesse caso é que a responsabilidade seja do fabricante do carro e do
sistema. Isso porque, nesse caso, trata-se de óbvio defeito do produto, já que ele falhou naquilo que era o seu fim, inclusive quebrando a confiança
depositada pelo consumidor. Isto é, João adquiriu um carro autônomo justamente pelas facilidades que lhe são proporcionadas e o sistema, sem
qualquer aviso para que João retomasse o controle, quebrou essa confiança.
Portanto, a responsabilidade seria integralmente do fabricante.

g. Motorista com capacidade reduzida

Ricardo, senhor já de 80 anos, sofre com as mazelas da idade avançada: sua visão não é mais a mesma, seus reflexos são mais lentos, suas mãos e seus
pés já não têm a mesma sensibilidade, etc. Por conta disso, ele compra um carro autônomo, mas, no caminho até o seu destino, o sistema sofre uma
falha e Ricardo não reage a tempo de evitar um acidente.
O motorista com capacidade reduzida é aquele cujas capacidades são reduzidas por qualquer motivo: idade avançada, crianças, pessoas
embriagadas, etc. Esse tipo de motorista não estaria dirigindo por conta da sua capacidade reduzida, mas entra no carro por confiar no sistema.
Aqui, a solução seria a mesma do cenário anterior, só que o motorista, nesse caso, confia ainda mais no produto, já que, mesmo com um aviso para
que retomasse o controle poderia ser que, por conta da sua capacidade reduzida, evitar o acidente poderia ser muito difícil (capacidade reduzida) ou
impossível (crianças). Desse modo, não há como negar que há uma quebra na confiança depositada pelo consumidor naquilo que foi divulgado pelo
fabricante, devendo este ser responsabilizado pelo acidente em virtude também do defeito do produto.

h. Motorista com alguma deficiência

Cristina, cega, adquire um carro autônomo como forma de não depender sobremaneira de outras pessoas. No entanto, no caminho até o seu médico, o
sistema falha e a avisa que ela deve assumir o controle do carro. Cristina, por ser cega, não pode assumir o controle e um acidente ocorre.
O motorista com alguma deficiência é aquele portador de deficiência que, em circunstâncias normais, não poderia dirigir um carro: cegos, pessoas
sem os membros ou com paralisia, etc. Assim, ele depende inteiramente do sistema do veículo.
Trata-se de caso semelhante aos dois cenários previamente analisados. A diferença é que a confiança depositada no produto e a dependência dele
são maiores a cada cenário:

No 1º cenário (motorista distraído), o motorista teria plena capacidade de evitar um acidente, mas confia no sistema.
Já no 2º cenário (motorista com capacidade reduzida), as possibilidades do motorista de evitar o acidente são reduzidas e, assim, o motorista não
só confia no sistema como depende em parte dele.
Por fim, nesse 3º cenário (motorista com alguma deficiência), evitar o acidente é impossível para o motorista e, desse modo, ele não só confia no
sistema, como depende inteiramente dele.

Portanto, resta evidente que a responsabilidade, nesse caso, deve ser do fabricante, já que o motorista não teria a menor possibilidade de evitar o
acidente em caso de falha, mesmo que houvesse um aviso para retomar o controle. Trata-se de defeito do produto e quebra da confiança.

i. Motorista atento

Paulo nunca confiou muito em carros autônomos, mas resolveu adquirir um. Nas primeiras vezes em que utilizou o carro, Paulo prestou completa e
total atenção. Passados alguns meses, ele passou a confiar mais no sistema e começou a realizar outras atividades no caminho. Um dia, no entanto, o
carro começa a pender para a esquerda, em uma óbvia falha do sistema. Ao invés de assumir o controle, Paulo apenas observa, esperando que o
sistema conserte a si mesmo. Entretanto, havia um outro carro no ponto cego e um acidente ocorre.
O motorista atento é aquele motorista que presta atenção no caminho como se estivesse dirigindo. Portanto, ele tem a capacidade de prever e evitar
acidentes, diferentemente dos outros cenários.
Por conta dessa diferença, esse cenário apresenta uma solução um pouco diferente. Isso porque, apesar de ter havido a falha do sistema e, por
conseguinte, o defeito do produto, o motorista, ao não fazer nada, mesmo podendo, também contribuiu para o acidente. Trata-se, portanto, de um
caso de responsabilidade compartilhada entre o fabricante e o motorista, na medida de suas culpabilidades.

j. Ato independente da inteligência artificial

Rafael, cansado com o tempo perdido durante o trânsito, adquire um carro autônomo para que ele possa realizar outras tarefas no caminho. Assim,
confiando plenamente no sistema, Rafael passa o trajeto de sua casa ao trabalho e o retorno trabalhando. No entanto, um certo dia, ocorre um
acidente, com o carro atropelando um pedestre que atravessava a rua fora da faixa de pedestre. Feitas análises no sistema, foi descoberto que,
analisando o ambiente em que se encontrava, o sistema tomou a decisão errada de que o pedestre não iria atravessar a rua e, por isso, não reduziu a
sua velocidade.
O ato independente da inteligência artificial é aquele no qual não há qualquer falha no sistema, mas sim uma tomada de decisão equivocada. Isso
[30]
porque, assim como os seres humanos, o sistema é passível de equívocos, apesar de mais raros . Desse modo, o sistema pode fazer uma análise
equivocada das circunstâncias, como ver um pedestre na calçada fora da faixa de pedestre e não achar que ele vá atravessar a rua, quando, na verdade,
é justamente isso que ele faz.
A responsabilidade nesse caso foi tratada quando da análise do direito estrangeiro. De fato, nenhum ordenamento jurídico, hoje, é adequado para
lidar com essa situação. O que se pode fazer, portanto, é aplicar o direito existente, mesmo que a solução encontrada não seja tão satisfatória. Assim,
como analisado anteriormente, poder-se-ia falar em responsabilidade por atos de terceiros (aplicação analógica do art. 932 do CC), com o criador da
inteligência respondendo por seus atos.
Entende-se, aqui, que seria inviável a responsabilização do usuário consumidor (motorista comum), já que, sendo a parte vulnerável, ele deposita a
sua confiança no produto que lhe é fornecido por alguém que ele presume que tenha maior expertise no assunto. Já em relação ao usuário não-
consumidor (e.g. empresas transportadoras que utilizem caminhões autônomos), entende-se, aqui, que a responsabilidade por acidentes causados por
atos independentes seja do próprio usuário não-consumidor, já que se trata de um instrumento utilizado na sua atividade empresária e, portanto,
circunstância dentro do risco interno da atividade. Poder-se-ia falar em direito de regresso em face do fabricante, mas isso já seria uma questão fora
do acidente em si.
4. Conclusão

Por todo o exposto no presente artigo, entende-se que é necessária a prévia regulação do tema. Em que pesem o Código Civil e o Código de Defesa do
Consumidor poderem ser aplicados, a sua ratio não é a aplicação em casos de inteligência artificial, até porque o ordenamento jurídico brasileiro ainda
não comporta sujeitos de direitos que não sejam seres humanos – ao contrário de alguns países que já preveem o meio ambiente como detentor de
direitos. Assim, é necessária uma adequação do ordenamento brasileiro à tecnologia que está por vir, ou, ao menos, uma interpretação mais extensiva
e elástica do direito já aplicável.
De qualquer forma, vê-se que ainda é controverso o conceito de um “estatuto jurídico do robô”. Trata-se de tecnologia que avança muito mais rápido
do que a inteligência e compreensão de mundo humana é capaz de acompanhar. Entretanto, na prática, é possível perceber que a tecnologia já está
quase alcançando uma realidade que era tida somente como ficção científica. Da robô Sofia aos carros autônomos, a tecnologia transforma a vida dos
indivíduos, e o Direito deve acompanhar a realidade.
Referências Bibliográficas

ANTSAKLIS, Panos J.; PASSINO, Kevin M.; WANG, S.J. “An Introduction to Autonomous Control Systems” (1991). Disponível em:
<http://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.454.1785&rep= rep1&type=pdf?> Acesso em 30. Jan. 2019
BRASIL. Tribunal de Justiça do Estado de Santa Catarina. Apelação Cível n. 2008.056831- 7, da Capital. Relator Sérgio Izidoro Heil. Julgamento em
29/09/2011. Disponível em: <http://app6.tjsc.jus.br/cposg/servlet/ServletArquivo?
cdProcesso=01000CK3C0000&nuSeqProcessoMv=null&tipoDocumento=D&cdAcordaoDoc=null&nuDocumento=3823687&pdf=true> Acesso em 30.
Jan. 2019
GURNEY, Jeffrey K., Sue my car not me: products liability and accidents involving autonomous vehicles. Disponível em:
<http://ssrn.com/abstract=2352108> Acesso em 30. Jan. 2019
NY TIMES. Disponível em: <https://www.nytimes.com/2014/11/09/automobiles/in-self-driving- cars-a-potential-lifeline -for-the-disabled.html?
_r=0> Acesso em 30. Jan. 2019
NY TIMES. Disponível em: <https://www.nytimes.com/2010/10/10/science/10google.html? pagewanted=all> Acesso em 16. Mar. 2019
PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A responsabilidade civil pelos atos autônomos da inteligência artificial: notas iniciais sobre a
resolução do Parlamento Europeu. Rev. Bras. Polít. Públicas, Brasília, v. 7, nº 3, 2017 p. 238-254
Press Release, Nat’l Highway Traffic Safety Admin., Preliminary Statement of Policy Concerning Autonomous Vehicles 10 (May 30, 2013). Disponível
em: <http://www.nhtsa.gov/staticfiles/rulemaking/pdf/ Automated_Vehicles_Policy.pdf> Acesso em 30. Jan. 2019
READ WRITE. Disponível em: <http://readwrite.com/2016/04/22/autonomous-cars-elderly- disabled-drivers-google-tl4/> Acesso em 30. Jan.
2019
UNIÃO EUROPEIA. Projeto de Relatório que contém recomendações à Comissão sobre disposições de Direito Civil sobre Robótica (2015/2013(INL)).
Relatora Mady Delvaux, de 31 de maio de 2016. p. 11. Disponível em: <http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//
NONSGML+COMPARL+ PE-582.443+01+DOC+PDF+V0//PT> Acesso em 30. Jan. 2019
UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica
(2015/2103(INL)). Parágrafo 1º.

1. Pós-graduado pela EMERJ. Assessor no TJRJ. ↵

2. Press Release, Nat’l Highway Traffic Safety Admin., Preliminary Statement of Policy Concerning Autonomous Vehicles 10 (May 30, 2013). Disponível em:

<http://www.nhtsa.gov/staticfiles/rulemaking/ pdf/ Automated_Vehicles_Policy.pdf> Acesso em 30. Jan. 2019. ↵

3. ANTSAKLIS, Panos J.; PASSINO, Kevin M.; WANG, S.J. "An Introduction to Autonomous Control Systems" (1991). Disponível em: <http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.454.

1785&rep= rep1&type=pdf?> Acesso em 30. Jan. 2019 ↵

4. Press Release, Nat’l Highway Traffic Safety Admin, op. cit. ↵

5. Disponível em: <https://www.google.com/selfdrivingcar/> Acesso em 30. Jan. 2019 ↵

6. Disponível em: <https://www.nytimes.com/2014/11/09/automobiles/in-self-driving-cars-a-potential-lifeline -for-the-disabled.html?_r=0> Acesso em 30. Jan. 2019 ↵

7. Disponível em: <http://readwrite.com/2016/04/22/autonomous-cars-elderly-disabled-drivers-google-tl4/> Acesso em 30. Jan. 2019 ↵

8. Google só começou a produzir seus próprios carros em 2015: Waymo (https://waymo.com/journey/). No entanto, a empresa continua a utilizar carros pré-existentes, acoplando a câmera e o

sistema em cima do carro. ↵

9. O site da Google diz “three football fields”, ou seja, 360 jardas. ↵

10. Disponível em: <https://waymo.com/tech/> Acesso em 30. Jan. 2019 ↵

11. Radares, câmeras, GPS e mapas. ↵

12. Press Release, Nat’l Highway Traffic Safety Admin., op. cit. ↵

13. Disponível em: <http://www.dmvnv.com/autonomous.htm> Acesso em 30. Jan. 2019 ↵

14. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A responsabilidade civil pelos atos autônomos da inteligência artificial: notas iniciais sobre a resolução do Parlamento Europeu. Rev. Bras.

Polít. Públicas, Brasília, v. 7, nº 3, 2017 p. 238-254. ↵

15. Ibid. ↵

16. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica (2015/2103(INL)). Parágrafo 1º. ↵

17. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. op. cit. ↵

18. Ibid. ↵

19. Ibid. ↵

20. Ibid. ↵

21. Ibid. ↵

22. Ibid. ↵

23. UNIÃO EUROPEIA. Projeto de Relatório que contém recomendações à Comissão sobre disposições de Direito Civil sobre Robótica (2015/2013(INL)). Relatora Mady Delvaux, de 31 de maio de 2016. p.

11. Disponível em: <http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP// NONSGML+COMPARL + PE-582.443+01+DOC+PDF+V0//PT> Acesso em 30. Jan. 2019 ↵

24. BRASIL. Tribunal de Justiça do Estado de Santa Catarina. Apelação Cível n. 2008.056831- 7, da Capital. Relator Sérgio Izidoro Heil. Julgamento em 29/09/2011. Disponível em:

<http://app6.tjsc.jus.br/cposg/servlet/ServletArquivo?cdProcesso=01000CK3C0000&nuSeqProcessoMv=null&tipoDocumento=D&cdAcordaoDoc=null&nuDocumento=3823687&pdf=true> Acesso

em 30. Jan. 2019 ↵

25. J. K. C. Kingston, David C. Vladeck, e Paulius Čerka, Jurgita Grigiené e Gintarè Sirbikyté. ↵

26. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. op. cit. ↵

27. Ibid. ↵

28. GURNEY, Jeffrey K., Sue my car not me: products liability and accidents involving autonomous vehicles. Disponível em: <http://ssrn.com/abstract=2352108> Acesso em 30. Jan. 2019 ↵

29. Nesse caso, será considerado que o fabricante do carro e do sistema são a mesma pessoa. ↵

30. <https://www.nytimes.com/2010/10/10/science/10google.html?pagewanted=all> Acesso em 16. Mar. 2019 ↵

Accountability de algoritmos: a falácia do acesso ao código e caminhos para uma explicabilidade efetiva

[1]
Isabela Ferrari

Resumo: Depois de esclarecer o que são e como funcionam os algoritmos, apontamos os problemas relativos à visão de que o acesso ao código-
fonte seja uma via apta a garantir a compreensão dos aspectos definidores da solução apontada. Em seguida, sugerimos caminhos mais profícuos em
direção à explicabilidade.
1. Introdução

Três histórias ilustram as preocupações que endereçamos neste artigo.

A primeira é a história de Joy Buolamwini. Começa quando nossa protagonista estava finalizando seu curso de computação na Georgia Institute of
[2]
Technology, na Universidade de Oxford. Seu trabalho de conclusão de curso era relativamente simples: desenvolver um robô social . Decidiu criar um
software capaz de brincar de pikaboo, uma popular brincadeira infantil que consiste basicamente em cobrir o rosto e descobri-lo em seguida, quando
então se diz “pikaboo”.
Para atingir seu objetivo, Joy utilizou-se de um software aberto de reconhecimento facial – já que identificar o rosto descoberto era crucial para que
a brincadeira virtual fosse bem-sucedida. Percebeu, com curiosidade, que apesar de o programa funcionar com diversos amigos, era incapaz de
reconhecer seu rosto. Joy é negra.
Descoberto o defeito do software-base e apesar do incômodo com a situação, Joy focou em terminar o trabalho – usando uma máscara branca ou
sua colega de quarto para checar o funcionamento do programa.
Anos depois, e já cursando o seu Ph.d. no Massachussets Institute of Technology (MIT), Joy participou de uma competição em Hong Kong. Em visita a
uma startup local, planejada pelos organizadores, novamente Joy era a única pessoa em quem um programa, que dependia de reconhecimento facial,
não funcionava. Já desconfiada da razão, Joy descobriu, estupefata, que o software base utilizado em Hong Kong era o mesmo que ela havia utilizado no
seu trabalho de conclusão de curso, anos antes nos Estados Unidos.
Nossa segunda história é mais singela, mas não menos relevante. Recentemente, o Estado de Nova York passou a se utilizar de softwares para avaliar
os professores que trabalhavam em algumas escolas públicas e recomendar a demissão daqueles cuja performance fosse considerada abaixo do
[3]
esperado. Os resultados indicaram a demissão de professores muito bem avaliados por pais e alunos .
A terceira situação, em nossa opinião, é mais sensível de todas. Trata-se do caso Loomis. Em 2013, Eric Loomis foi preso em flagrante após furtar um
veículo, evadir-se de um agente de trânsito e envolver-se em um tiroteio. Levado à presença de um juiz, determinou-se, inicialmente, que respondesse
ao processo em liberdade. Em seu julgamento, foi condenado a seis anos de prisão. Com o seu passado de agressão sexual, a pena aplicada a Loomis
não foi surpresa.
O caso, no entanto, tornou-se mundialmente conhecido, porque tanto a negativa da liberdade provisória, quanto o patamar aumentado da pena
foram definidos a partir da avaliação de que Loomis apresentaria alto risco de violência, reincidência e evasão, avaliação essa feita por um software, à
qual aderiu o juiz sem adicionar qualquer análise própria. A situação é ainda mais sensível porque o referido programa, denominado COMPAS
(Correctional Offender Management Profiling for Alternative Sanctions), é um software privado, que funciona a partir de um algoritmo secreto, ao qual
[4]
nem os juízes que o utilizam têm acesso .
Loomis, então, recorreu à Suprema Corte de Winsconsin, requerendo o acesso aos critérios que levaram o software a classificá-lo como uma pessoa
de alto risco. O Procurador-Geral do Estado foi contra a utilização do sistema. Ele defendeu que, como o uso de algoritmos para a tomada de decisões
é muito recente, a questão ainda não estaria madura para julgamento, sustentando que Loomis estaria livre para questionar o resultado da sua
avaliação e possíveis falhas, mas que não poderia acessar o código-fonte do algoritmo. Na mesma linha, os representantes legais da Northpointe Inc.,
desenvolvedora do COMPAS, defenderam que sua forma de operação estaria protegida por segredo industrial.
Durante o julgamento, algumas questões desconfortáveis foram levantadas, como o relatório da ONG ProPublica, sobre o enviesamento do Compas
[5]
contra afro-americanos . Apesar disso, a Suprema Corte de Winsconsin negou o pleito de Loomis, afirmando que ele teria recebido a mesma sentença
a partir de uma análise humana dos fatores usuais: seu crime e seus antecedentes. Loomis recorreu à Suprema Corte Americana, que negou o writ of
[6]
certiorari, algo semelhante a um pedido de admissão para julgamento, por ele apresentado. Loomis permanecerá preso até 2019 .
O que aproxima as três histórias é a dificuldade de antecipar um problema decorrente do uso de algoritmos, em boa medida em razão da opacidade
de sua forma de operação. Este texto destina-se a esclarecer como funciona a categoria dos algoritmos que utiliza inteligência artificial em sua
operação, demonstrando, assim, por que razão existe necessariamente uma dificuldade em controlar esse processo. Em seguida, depois de rejeitar o
acesso ao código fonte como solução para o problema, indicamos os caminhos que nos parecem mais promissores para atingir a desejada
explicabilidade mínima relativa ao funcionamento de processos operativos decisórios por algoritmos de machine learning.
2. O que são e como funcionam os algoritmos?

O que é um algoritmo? Existem várias formas de responder a essa pergunta. Neste trabalho, usaremos a definição de Pedro Domingos, valiosa por sua
[7] [8]
simplicidade: algoritmo é uma sequência de instruções que diz a um computador o que fazer . Wolkart explica os algoritmos comparando-os com
uma escada, que determinada pessoa utiliza para sair de um ponto inicial até o topo. O algoritmo faz o mesmo: divide determinada tarefa (chegar até o
topo) em tarefas menores (passar por cada um dos degraus).
Quanto ao seu funcionamento, podemos classificar os algoritmos em duas espécies: os programados e os não programados. Algoritmos programados
seguem as operações (“o caminho”) definidas pelo programador. Assim, a informação “entra” no sistema, o algoritmo atua sobre ela, e o resultado
(output) “sai” do sistema. O programador domina, portanto, todas as etapas operativas do algoritmo.
Ainda em 1950, referindo à operação de algoritmos, Alan Turing, no seminal Computing Machinery and Intelligence, propunha que, no lugar de se
imitar o cérebro de um adulto, programando todas as operações a serem realizadas, seria mais produtivo adotar estratégia diversa: simular o cérebro
[9]
de uma criança, com capacidade randômica de aprendizado . Nascia aí a ideia motriz dos algoritmos não programados, aqueles que usam a técnica
que ficou conhecida como aprendizagem de máquinas, ou machine learning.
Essa categoria de algoritmos, denominados learners, opera criando outros algoritmos. Nesse caso, os dados e o resultado desejado são carregados no
sistema (input), que produz o algoritmo (output) que transforma um no outro. Como destaca Pedro Domingos, o computador escreve a própria
[10]
programação, de forma que humanos não tenham que fazê-lo .
A técnica de machine learning pode ser definida, então, como a prática de usar algoritmos para coletar e interpretar dados, fazendo predições sobre
[11]
fenômenos . As máquinas desenvolvem modelos e fazem predições automáticas, independentemente de nova programação . Os dados, aliás, são a
matéria prima da aprendizagem. Por isso, um grande volume de dados é essencial para o sucesso da técnica.
Isso explica por que o advento do big data (o imenso volume de dados estruturados e não estruturados) na última década teve um impacto tão
[12]
significativo para a aprendizagem de máquinas, que já existia desde a década de 70 . A rápida evolução computacional, embalada pelas exponenciais
[13] [14]
Leis de Moore e de Kryder , trouxe uma abundância de dados jamais vista na humanidade e, portanto, matéria-prima sem limites para técnicas
computacionais de inteligência artificial.
A forma mais simples dos algoritmos não programados, ou seja, aqueles que empregam machine learning, é aquela que emprega algoritmos
supervisionados, na qual o sistema é alimentado com dados lapidados e previamente escolhidos por seres humanos. Nesse caso, o conjunto de dados
rotulados e a saída desejada são carregados no sistema. Enquanto é treinado, o modelo ajusta as suas variáveis para mapear as entradas para a saída
correspondente.
Um exemplo são os algoritmos utilizados pelos bancos para aprovar a concessão de empréstimos. Nesse caso, os dados analisados serão referentes
ao histórico de crédito do cliente, e as informações utilizadas para treinar o sistema são dados já rotulados como positivos ou negativos para a
concessão de crédito.
Uma espécie de estruturação algorítmica que funciona de forma supervisionada são as redes neurais artificiais (com back propagation). Inspiradas no
cérebro humano, têm modelo de aprendizagem baseada em erros e acertos, com identificação paulatina dos caminhos e decisões mais corretas para
atingir determinados objetivos.
Nesses casos, o sistema é carregado com um objetivo (output), e vários inputs. Os inputs são testados em vários caminhos. Quando se chega ao
resultado desejado, o caminho mais assertivo recebe um peso maior na conta matemática. Assim, as camadas neurais internas (hidden layers) mais
assertivas passam a dominar a tarefa e a entregar resultados mais precisos na medida em que o algoritmo confere um peso maior às conexões que
[15]
apresentem resultados mais próximos dos desejados .

Uma segunda categoria relevante é a dos algoritmos não supervisionados (non-supervised learning algorithms). Nesse caso, os dados que alimentam
o sistema não são rotulados, deixando o algoritmo de aprendizagem encontrar estrutura nas entradas fornecidas por conta própria. Dessa forma, esses
algoritmos têm a capacidade de organizar amostras sem que exista uma classe pré-definida.
O aprendizado não supervisionado é útil quando for necessário descobrir padrões em determinado conjunto de dados não rotulados, e pode ser um
objetivo em si mesmo ou, ainda, um meio para atingir determinada finalidade. Essa técnica é empregada no reconhecimento e identificação de faces e
de vozes, e na criação de sistemas de tomada de decisão em curto espaço de tempo, viabilizando, por exemplo, a construção de carros e drones
[16]
autônomos .
Exemplo de estruturação algorítmica que funciona de forma não supervisionada para atingir determinada finalidade é a rede neural convolucional,
utilizada com sucesso no reconhecimento de imagens e processamento de vídeo. Na área da saúde, a técnica é utilizada para o diagnóstico de
[17]
determinadas doenças .
Finalmente, uma terceira categoria corresponde aos algoritmos de reforço (reinforced learning algorithms), que são treinados para tomar decisões.
Nesses casos, existe um feedback sobre o sucesso ou erro do output, que será utilizado para aprimorar o algoritmo.
Diferentemente dos algoritmos supervisionados e não supervisionados, os de reforço não estão direcionados a gerar outputs “corretos”, mas enfocam
a questão da performance, comportando-se de forma muito semelhante aos seres humanos, que aprendem com base em consequências positivas ou
negativas, como uma criança que coloca o dedo na tomada e logo percebe que essa não é uma ação inteligente. Esse tipo de algoritmo é
[18] [19]
corriqueiramente utilizado em jogos, e a pontuação maior ou menor que eles atingem no processo funciona como recompensa – .
Ao mesmo tempo em que se percebe que os modelos mais modernos de inteligência artificial foram inspirados na biologia e psicologia do cérebro
[20]
humano , é evidente a perda de controle sobre os processos de aprendizagem de algoritmos.
A autonomia dos algoritmos de machine learning faz com que as tarefas por eles desempenhadas sejam difíceis de antever e, mesmo após a decisão,
difíceis de explicar. Mesmo os learners mais simples, supervisionados, não permitem que se compreenda propriamente o seu funcionamento – a menos
que tenham sido estruturados para tanto.
Quando se passa aos algoritmos não supervisionados ou de reforço, sequer há controle sobre os inputs utilizados na aprendizagem de máquinas.
Ademais, à medida em que os algoritmos se tornam mais complexos e passam a interagir uns com os outros, a tendência é a de que esse desafio se
[21]
agrave .
3. Opacidade, Acesso ao Código e a Falácia da Transparência

A dificuldade humana de compreender os mecanismos de funcionamento dos algoritmos que empregam machine learning, sejam eles supervisionados,
não supervisionados ou de reforço, explica os problemas que foram apresentados no início deste artigo.
Caso os fatores que influíram na decisão fossem claramente perceptíveis, teria sido possível identificar rapidamente: no caso de Joy, a incompletude
dos dados que foram utilizados pelo learner, que gerou a incapacidade de reconhecimento de um espectro mínimo de faces; no caso das escolas
americanas, os critérios equivocados de classificação que levaram ao resultado inadequado; e, no caso Loomis, o uso inadmissível do critério étnico
como fator que contribuiu de forma relevante para a análise de risco.
[22]
Por essa razão, já destacamos que a maior preocupação relativa ao emprego dos learners em processos decisórios não se refere a problemas
associados aos data sets utilizados para treiná-los, nem a eventual efeito discriminatório que possam gerar, por piores que possam ser essas situações
e seus efeitos.
O que mais chama a nossa atenção é a opacidade inerente à sua operação, decorrente da já referida lacuna entre a atividade do programador e o
comportamento dessa espécie de algoritmo que cria a própria programação. Vimos que o algoritmo modifica de forma autônoma sua estrutura
enquanto opera, de acordo com os dados, lapidados ou não, que recebe.
Assim, pela complexidade de sua operação, a mera observação do output por um ser humano – ainda que seu próprio programador – dificilmente
poderia conduzir a alguma conclusão sobre os processos internos que conduziram os inputs até lá, tornando o algoritmo uma verdadeira caixa-
[23]
preta .
E a essa dificuldade de entender o seu funcionamento usualmente está associada, por razões culturais, à percepção de que os resultados apontados
por eles são “científicos”. A opacidade dos algoritmos, o pouco questionamento dos resultados por ele produzidos e a sua capacidade de aplicação em
escala global (como ilustra a historia de Joy Buolamwini), levaram Cathy O’Neil a referir-se a eles como “weapons of math destruction”, em tradução
[24]
livre, “armas de destruição matemática” .
Por vezes, a resposta à preocupação sobre o accountability de algoritmos se encaminha no sentido de uma defesa do acesso ao código fonte. Surge,
então, uma falsa questão: o pretenso conflito entre o atendimento a um dever de transparência em relação ao algoritmo, que implicaria a abertura de
seu código-fonte, e a noção de sigilo industrial. Embora a doutrina perca tempo e energia nessa discussão, denominamos o argumento de “falácia da
transparência”.
[25]
Nesse sentido, como bem ressaltam Mittelstadt et al. , a transparência deve ser entendida sob dois aspectos fundamentais: acessibilidade e
compreensibilidade. Apesar de a discussão doutrinária se voltar para a primeira, ou seja, para a defesa ou não de um direito a acessar o código-fonte,
parece-nos que o ponto fulcral para o debate se refere ao segundo componente.
Isso porque, diante da estrutura cada vez mais complexa dos algoritmos que empregam machine learning, a mera abertura do código-fonte, por si
só, tende a não auxiliar a compreensão da forma como operam, já que o referido código só expõe o método de aprendizado de máquinas usado, e não a
regra de decisão, que emerge automaticamente a partir dos dados específicos sob análise.
[26]
Como salienta Burrell , a opacidade dos learners é consequência da alta dimensionalidade de dados, da complexidade de código e da variabilidade
da lógica de tomada de decisões. Por empregarem centenas ou milhares de regras, por suas predições estarem combinadas probabilisticamente de
[27] [28]
formas complexas , pela velocidade no processamento das informações, e pela multiplicidade de variáveis operacionais , parece estar além das
capacidades humanas apreender boa parte – senão todas – as estruturas decisórias que empreguem a técnica de machine learning. Assim, o mero
[29]
acesso ao código comunica muito pouco, remanescendo a dificuldade de compreender o processo decisório .
Como já destacamos em trabalho anterior, “algoritmos apenas podem ser considerados compreensíveis quando o ser humano é capaz de articular a
[30]
lógica de uma decisão específica, explicando, por exemplo, a influência de determinados inputs ou propriedades para a decisão” .
O cenário é preocupante, e o acesso ao código fonte não responde adequadamente ao problema. Existem, entretanto, outros caminhos que podem
ser trilhados no sentido de uma explicabilidade possível. São essas possibilidades que passamos a explorar na próxima seção.
4. Caminhos para uma explicabilidade efetiva

Conferir explicabilidade aos algoritmos não é tarefa fácil. A questão não é se ela é necessária – existe um consenso razoável nesse sentido. A questão é
como fazê-lo. Essa resposta não só está necessariamente fora do direito, como ainda não foi encontrada.
Embora diversos textos discutam princípios aplicáveis à inteligência artificial, exponham princípios standards, e imponham deveres como
explicabilidade, transparência, confiança, etc., não há no direito comparado um panorama jurídico, capaz de provê-la, apto a ser replicado ou
importado.
Uma abordagem que busque trilhar um caminho concreto na direção da explicabilidade dos algoritmos precisa desbordar do campo exclusivamente
jurídico e atentar a questões relativas aos desenhos de políticas públicas, além de observar possibilidades e ferramentas que a ciência da computação
provê.
Com relação ao tema, a primeira recomendação daqueles que têm familiaridade com ele costuma ser no sentido de que, para que a operação do
algoritmo seja controlável, é necessário que essa preocupação com o accountability esteja presente desde o seu desenvolvimento. Nesse sentido,
destacam a dificuldade de controlar um sistema que empregue machine learning que não tenha sido desenvolvido para ser controlado. Essa situação
também denota a urgência de avançar nessa pauta.
Além disso, é preciso perceber que existem diferentes técnicas conhecidas como machine learning, com níveis de controlabilidade diferentes.
Enquanto algumas são fortemente opacas, outras, como a inteligência artificial semântica, podem ser estruturadas para justificar as escolhas feitas.
A partir dessa constatação e, como sempre, atentando a questões técnicas, seria possível começar a refletir sobre as técnicas que deveriam ser
priorizadas na tomada de certas decisões. Por exemplo, seria legítima a escolha governamental pelo emprego de um algoritmo de machine learning do
tipo black box para escolhas sensíveis quando seria viável estruturar um sistema fundado em inteligência artificial semântica?
A atenção a ferramentas técnicas também permite encontrar caminhos interessantes em direção à explicabilidade. Em um dos melhores artigos que
abordam o assunto, escrito a muitas mãos, Kroll et al. destacam alguns mecanismos aptos a garantirem o que denominam regularidade procedimental.
Trata-se de ferramentas que, embora não garantam que o resultado derivado do emprego do algoritmo seja justo, atestam que não houve, por
exemplo, uma falha no procedimento adotado, ou que a mesma política decisória foi adotada em casos diferentes. Esses instrumentos, portanto,
garantem algum nível de accountability, ainda que aspectos do funcionamento do algoritmo sejam mantidos em sigilo.
A primeira ferramenta que apontam é chamada verificação de software. Diferente da análise de código, que é estática, a verificação de software é
dinâmica, e examina o programa enquanto ele opera. Essa análise garante que, ao operar, o sistema sempre apresentará certas propriedades,
denominadas invariantes.
A segunda são os acordos criptográficos, equivalentes digitais a um documento selado por uma terceira parte, ou à manutenção de um documento
em local seguro. Os acordos criptográficos asseguram que o programa não foi alterado nem revelado, e são muito utilizados para programas que
devem ser mantidos em sigilo por determinado tempo.
Acordos criptográficos podem ser utilizados para ocultar, por dado período, critérios utilizados pelo algoritmo em seu processo de tomada de
decisão quando a divulgação imediata dos mesmos poderia possibilitar que aqueles agentes sobre cujos interesses atua tentassem “enganá-lo”.
Poderiam ter por objeto, por exemplo, os critérios empregados em sistemas de análise de declaração de imposto de renda, para lançar os sinais de
alerta que levam a uma revisão da declaração ou análise mais aprofundada.
Assim, passado certo tempo, os acordos criptográficos dão certeza sobre os critérios utilizados, e a partir daí pode-se seguir análise sobre a
legitimidade de sua operação pretérita. A certeza de que haverá disclosure futuro tem o efeito de refrear a tendência a usar critérios inadequados,
discriminatórios etc.
O terceiro instrumento indicado são as chamadas zero-knowledge proofs, ferramentas criptográficas que permitem que de pronto se prove que a
política decisória utilizada apresenta certa propriedade, sem revelar como se sabe disso ou que política decisória é.
Em aulas de criptografia é comum explicarem essa ferramenta através do exemplo de dois milionários em um restaurante, que acordam que o mais
rico entre eles deve pagar a conta, mas ao mesmo tempo não desejam informar ao outro quanto têm. Nesse caso, seria possível criar uma zero-
knowledge proof para descobrir quem deve pagar a conta sem que haja disclosure do patrimônio de cada um.
Finalmente, as fair random choices são estratégias aptas a garantir que, quando o sistema possuir algum nível de aleatoriedade, esta será justa, e não
poderá haver intromissão indevida de agentes internos na aleatoriedade do sistema. É mecanismo cuja aplicação Kroll et al. defendem no sistema de
loteria de vistos americanos, que, segundo alguns programadores, não é exatamente segura, podendo ser fraudada (internamente), ainda que
hipoteticamente.
Essas ferramentas específicas, além de mostrarem caminhos para melhorar o controle de certos sistemas, têm o valor de denotar a necessidade de
um olhar mais cuidadoso dos criadores de políticas públicas para a área.
5. Conclusões

Após apresentarmos o conceito de algoritmo não programado e expormos a forma como operam, destacamos a opacidade que caracteriza o seu
processo decisório.
Em seguida, demonstramos os motivos pelos quais o mero acesso a seu código-fonte não responde como o programa parte dos inputs para chegar
ao resultado apontado, ou seja, não permite apreender o seu processo decisório.
Ressaltamos, na linha defendida por Mittelstadt et al., que a noção de transparência não se esgota na ideia de acessibilidade (ao código), mas
desborda para a noção de compreensibilidade, que faz referência ao efetivo entendimento de aspectos fundamentais de sua forma de operação.
Finalmente, destacamos algumas estratégias promissoras que podem ser adotadas para prover uma explicabilidade mínima para os learners.
Referências bibliográficas

ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-
sentencing>. Acesso em: 15.06.2018.
BAROCAS, Solon; SELBST, Andrew D. Big Data’s Disparate Impact, n. 104, California Law Review 671, 2016.
BUOLAMWINI, Joy. How I’m fighting bias in algorithms. TED Talks. Disponível em:
<https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms/transcript#t-74828>. Acesso em: 20.06.2018.
BURRELL, Burrel. How the machine ‘thinks’: understanding opacity in machine learning algorithms. Big Data & Society 2016, 3 (1), p 1–12.
DATTA, Anupam et al. Algorithmic transparency via quantitative input influence. Proceedings of 37th IEEE Symposium on Security and Privacy, San
Jose, USA. Disponível em: <http://www.ieee-security.org/TC/SP2016/papers/0824a598.pdf>. Acesso em: 20.06.2018.
DOMINGOS, Pedro. The master algorithm: how the quest for the ultimate machine learning will remake our world. Nova York: Basic Books, 2015.
EPIC.ORG. Algorithms in the Criminal Justice System. Eletronic Privacy Information Center. Disponível em: <https://epic.org/algorithmic-
transparency/crim-justice/>. Acesso em: 23.06.2018.
ESTADOS UNIDOS DA AMÉRICA. Big data: seizing opportunities, preserving values, maio de 2014. Gabinete Executivo do Presidente dos Estados
Unidos da América. Disponível em: <http://www.whitehouse.gov/sites/default/files/docs/big_data_privacy_report_5.1.14_final_print.pdf>. Acesso
em: 15.06.2018.
GARDNER. G. G. et al. Automatic detection of diabetic retinopathy using an artificial neural network: a screening tool. British Journal of
Ophthalmology, 80, 1996, p. 940-944. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/PMC505667/pdf/brjopthal00011-0006.pdf>.
Acesso em: 15.06.2018.
ISRANI, Ellora. Algorithmic due process: mistaken accountability and attribution in State
v. Loomis. JOLTdigest. Disponível em: [https://jolt.law.harvard.edu/digest/algorithmic-due-process-mistaken-accountability-and-attribution-in
Acesso em: 25.10.2017.
ITO, Joi; HOWE, Jeff. Whiplash: How to survive our faster future. New York; Boston: Grand Central, 2016.
KROLL, Joshua A. et al. Accountable Algorithms. University of Pennsylvania Law Review v. 165, p. 633-705, 2017.
LIPTAK, Adam. Sent to prison by a software program’s secret algorithms. NY Times.
Disponível em: <https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algor>. Acesso em: 15.06.2018.
MACNISH, Kevin. Unblinking eyes: The ethics of automating surveillance. Ethics and Information Technology 14(2), p. 151-167, 2012.
MITTELSTADT, Brent Daniel et al. The ethics of algorithms: Mapping the debate. Big Data & Society, 1-21, jul.- dez. 2016.
MNIH, Volodymyr et al. Human-level control through deep reinforcement learning. Nature, v. 518, p. 529-533, 26.02.2015.
O’NEIL, Cathy. The era of blind faith in big data must end. TED Ideas. Disponível em:
<https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end/transcript>. Acesso em: 22.06.2018.
O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. Crown: Nova York, 2016.
RUMERLHART, David E.; HILTON, Geoffrey E.; WILLINANS, Ronald J. Learning Representations by back-propagating erros. Nature, v. 323, issue 9,
out. 1986.
TURING, Alan. Computing Machinery and Intelligence. Mind, New Series, v. 59, n. 236 p. 433-460, out. 1950.
WALTER, Chip. Kryder’s Law. Scientific American. Disponível em: <https://www.scientificamerican.com/article/kryders-law/>. Acesso em:
07.06.2018.
WOLKART, Erik Navarro. Análise econômica e comportamental do processo civil: como promover a cooperação para enfrentar a tragédia da Justiça
no processo civil brasileiro. 2018. 835 f. Tese (Doutorado em Direito) – Universidade do Estado do Rio de Janeiro, Rio de Janeiro.

1. Juíza Federal, Mestre e Doutoranda em Direito Público pela Universidade do Estado do Rio de Janeiro (UERJ), Visiting Researcher pela (Harvard Law School 2016/2017). Coordenadora Acadêmica do

Instituto New Law. Membro do Board da The Future Society/Brasil. Membro do Comitê de Direito Administrativo e Ambiental da Escola da Magistratura Federal da 2a Região (EMARF). Professora de

Direito Administrativo do Curso Ênfase. Email: isabelarossicortesferrari@gmail.com ↵

2. Robôs sociais são aqueles criados para interagir com seres humanos. ↵

3. FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium ex machina: panorama, riscos e a necessidade de regulação das decisões informadas por algoritmos. Revista dos Tribunais, v.

995, set. 2018. ↵

4. ISRANI, Ellora. Algorithmic due process: mistaken accountability and attribution in State v. Loomis. JOLTdigest. Disponível em: <https://jolt.law.harvard.edu/digest/algorithmic-due-process-

mistaken-accountability-and-attribution-in>. Acesso em: 25.10.2017. ↵

5. ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>. Acesso em: 25.10.2017. ↵

6. Loomis, 881 N.W.2d at 754. ↵

7. DOMINGOS, Pedro. Op. cit., p. 2. ↵

8. WOLKART, Erik Navarro. Análise econômica e comportamental do processo civil: como promover a cooperação para enfrentar a tragédia da Justiça no processo civil brasileiro. 2018. 835 f. Tese

(Doutorado em Direito) – Universidade do Estado do Rio de Janeiro, Rio de Janeiro. ↵

9. TURING, Alan. Computing Machinery and Intelligence. Mind, New Series, v. 59, n. 236, p. 433-460, out. 1950. ↵

10. DOMINGOS, Pedro. Op. cit., p. 6. ↵

11. ASSUNÇÃO, Luís. Machine learning, big data e inteligência artificial: qual o benefício para empresas e aplicações no Direito? LEX MACHINÆ. Disponível em:
 <https://www.lexmachinae.com/2017/12/08/machine-learning-big-data-e-inteligencia-artificial-qual-o-be>. Acesso em: 25.06.2018. ↵

12. BRYNJOLFSSON, Erik; MCAFEE, Andrew. A segunda era das máquinas: trabalho, progresso e prosperidade em uma época de tecnologias brilhantes. Rio de Janeiro: Alta Books, 2015. p. 84-85. ↵

13. BECKER, Daniel; FERRARI, Isabela. A prática jurídica em tempos exponenciais. JOTA. Disponível em: <https://jota.info/artigos/a-pratica-juridica-em-tempos-exponenciais-04102017>. Acesso em:

07.06.2018. ↵

14. WALTER, Chip. Kryder's Law. Scientific American. Disponível em: <https://www.scientificamerican.com/article/kryders-law/>. Acesso em: 07.06.2018. ↵

15. RUMERLHART, David E.; HILTON, Geoffrey E.; WILLINANS, Ronald J. Learning Representations by back-propagating erros. Nature, v. 323, issue 9, p. 533, out. 1986. ↵

16. WOLKART, Erik Navarro. Análise econômica e comportamental do processo civil: como promover a cooperação para enfrentar a tragédia da Justiça no processo civil brasileiro. 2018. 835 f. Tese

(Doutorado em Direito) – Universidade do Estado do Rio de Janeiro, Rio de Janeiro, p. 683. ↵

17. GARDNER. G. G. et al. Automatic detection of diabetic retinopathy using an artificial neural network: a screening tool. British Journal of Ophthalmology, 80, p. 940-944, 1996. Disponível em:

<https://www.ncbi.nlm.nih.gov/pmc/articles/PMC505667/pdf/brjopthal00011-0006.pdf>. Acesso em: 15.06.2018. ↵

18. Em 2015, por exemplo, experimentos na universidade de Toronto, no Canadá, levaram um único algoritmo, com a mesma rede neural e os mesmos hiperparâmetros, a ter um desempenho de alto

nível, 49 jogos diferentes de Atari. Os algoritmos não haviam sido especificamente desenvolvidos para nenhum desses jogos: os únicos inputs recebidos pelo sistema foram os pixels dos jogos

captados por sensores, além das recompensas determinadas pela pontuação de cada jogo. ↵

19. Em algumas situações, algoritmos supervisionados e algoritmos de reforço são utilizados de forma combinada visando melhores resultados. Uma rede neural associando as duas técnicas foi o que

permitiu o sucesso do AlphaGo. O jogo chinês de Go se assemelha ao de xadrez mas, enquanto este possui 64 casas, o tabuleiro de Go possui 361. Isso tornou impossível que se replicasse a

estratégia utilizada por ocasião da programação do Deep Blue, que fora carregado manualmente com milhares de jogadas e combinações possíveis, usando sua enorme capacidade de

processamento para escolher a melhor jogada. Como seria inviável programar previamente todas as 2,1x10170 posições possíveis do jogo, decidiu-se utilizar no AlphaGo uma combinação de

reinforced e supervised learning. O início de seu processo de aprendizado correspondia ao estudo supervisionado: humanos escolhiam a informação a ser observada pela máquina – jogadas e

posições protagonizadas por grandes jogadores de Go –, controlando esse processo. Depois de o sistema aprender a classificar e valorar essas posições, ele passava para uma fase mais avançada de

aprendizado, não supervisionada (reinforced learning), na qual o algoritmo participava sozinho de múltiplos jogos simulados aleatórios e aprendia a fazer as melhores escolhas e a valorá-las de modo

preciso (value network). Com isso, o AlphaGO avaliava muito menos posições por jogada do que o Deep Blue, mas o fazia de forma precisa e inteligente, selecionando e valorando suas escolhas de

modo muito mais eficiente, graças à sua policy network (responsável pelos critérios de seleção) e sua value network (responsável pelos critérios de valoração das posições escolhidas). ↵

20. ITO, Joi; HOWE, Jeff. Whiplash: How to survive our faster future. New York; Boston: Grand Central, 2016. p. 240-241. ↵

21. TUTT, Andrew. An FDA for Algorithms. Administrative Law Review, 83 (2017). Disponível em: [https://ssrn.com/abstract=2747994]. Acesso em: 07.06.2018. ↵

22. FERRARI; BECKER; WOLKART. Arbitrium ex Machina: panorama, riscos e a necessidade de regulação ds decisões informadas por algoritmos. Revista dos Tribunais, vol. 995, Set / 2018 ↵

23. BURRELL, Burrel. How the machine ‘thinks:’ understanding opacity in machine learning algorithms. Big Data & Society, 3 (1), p. 1-12, 2016. ↵

24. O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. Nova York: Crown, 2016. ↵

25. MITTELSTADT, Brent Daniel et al. The ethics of algorithms: Mapping the debate. Big Data & Society, 1-21, jul.-dez. 2016. ↵

26. BURRELL, Burrel. Op. cit. ↵

27. MARTIJN, Van Otterlo. A machine learning view on profiling. HILDEBRANDT, Mireille; DE VRIES, Katja (eds.). Privacy, Due Process and the Computational Turn-Philosophers of Law Meet

Philosophers of Technology. Abingdon: Routledge, 2013. p. 41-64. ↵

28. MATTHIAS, Andreas. The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6(3), 175-183, 2004 ↵

29. KROLL, Joshua A. et al. Accountable Algorithms. University of Pennsylvania Law Review, v. 165, p. 633-705, 2017. ↵

30. FERRARI; BECKER; WOLKART. Arbitrium ex Machina: panorama, riscos e a necessidade de regulação ds decisões informadas por algoritmos. Revista dos Tribunais, vol. 995, Set / 2018 ↵
Softwares de tomada de decisão e poder público: estudo de casos e efeitos regulatórios

[1] [2]
Carlos Eduardo Rabelo Mourão e Davi Teofilo Nunes Oliveira
Introdução

O presente trabalho tem como objetivo explorar a utilização de tecnologias para a automação de procedimentos e análise de dados, principalmente em
iniciativas relacionadas ao poder público, partindo então para análise descritiva de casos notórios, problemáticas e regulações sobre o tema. Em um
primeiro momento busca-se, então, realizar uma breve conceituação dos principais termos e definições úteis ao estudo proposto e, a partir disso,
realizar o estudo de casos notórios para suscitar a discussão sobre as regulações adotadas acerca do tema no mundo.
Para introdução e apresentação do assunto, foram selecionados alguns casos de implementação de processamento automático de dados, visando
construir no leitor um panorama do que as instruções normativas buscam regular. O primeiro é o caso COMPAS, software que utiliza um questionário
em paralelo ao histórico criminal de reincidentes e os classifica conforme o “risco” que o indivíduo representa para a sociedade. O segundo caso a ser
estudado é o Serenata de Amor, um software de código aberto desenvolvido para controle público dos gastos realizados pelos deputados e senadores
brasileiros. Por fim, o terceiro caso analisado no presente artigo é o Victor, desenvolvido pelo Supremo Tribunal Federal para verificação dos
pressupostos para a interposição de Recursos Extraordinários.
Esses casos foram selecionados para demonstrar ao leitor aplicações práticas de aprendizado de máquinas com diferentes objetivos e construções
institucionais, com o intuito de, a partir dessa construção narrativa, explorar as iniciativas regulatórias que terão como foco essas tecnologias. Sendo
assim, buscar-se-á demonstrar que o uso de aprendizado de máquinas para tomadas de decisões envolve atores multissetoriais, que utilizam essas
funcionalidades de formas distintas, mas que causam implicações significativas na vida dos afetados pelo poder decisório. Destaca-se, nessa linha, que
os estudos de caso analisados apresentam aplicações práticas de softwares de tomada de decisão para auxílio de atividades de diversas naturezas.
Renato Leite ao tratar sobre softwares de tomada de decisão define-os como:

“Trata-se de sequências pré-definidas de comandos automatizados que, com base em dados pessoais e não pessoais, chegam a conclusões que
podem sujeitar alguém a uma determinada ação, a qual pode ou não ter impacto significativo na sua vida. Em sistemas mais complexos, como
os que se valem de aprendizado de máquina, essas sequências pré-definidas podem ser alteradas de acordo com as variáveis usadas como
substrato, e também pelas conclusões intermediárias. Essa natureza adaptativa tem se tornado mais comum, graças a complexos sistemas de
inteligência artificial e aprendizado de máquina capazes de influenciar as conclusões intermediárias – a ponto de não ser mais possível prever
os resultados finais ou entender sua lógica subjacente. Essa opacidade impede que as pessoas entendam e verifiquem se seus dados pessoais
são tratados de forma legítima, adequada e proporcional.”

Dessa forma, ao discutir softwares de tomada de decisão em suas diferentes possibilidades, é essencial que sejam compreendidos os métodos
regulatórios que têm sido adotados pelo mundo sobre o tema, principalmente o direito à explicação nas leis de proteção de dados pessoais. Outro
ponto importante é a análise de como o código aberto pode ser uma alternativa para a garantia de direitos e transparência nos códigos utilizados para
tomada de decisão.
Ademais, resta imprescindível conceituar certos termos relativos às novas tecnologia e inteligência artificial. Russel e Norvig, em seu guia sobre
[3]
Inteligência Artificial, abordam oito diferentes definições para o termo que são divididas em quatro abordagens distintas. Elas são as seguintes :

Pensar Humanamente
Pensar Racionalmente
“Os novos e empolgantes esforços para fazer computadores pensarem… máquinas com mentes, no
“O estudo das faculdades mentais através de modelos computacionais” (Chamiak and McDermott,
sentido completo e literal.” (Haugeland, 1985).
1985)
“[A automação de] atividades que associamos com o pensamento humano, atividades como
“O estudo das computações que possibilitam a percepção, razoabilidade e ação.” (Winston, 1992)
tomada de decisões, resolução de problemas, aprendizado…” (Bellman, 1978)

Agir Humanamente
Agir Racionalmente
“A arte de se criar máquinas que performam funções que requerem inteligência quando feitas por
pessoas.” (Kurzweil, 1990) “Inteligência Computacional é o estudo do design de agentes inteligentes.” (Poole et. al, 1998)
“O estudo de como fazer computadores realizarem coisas que, no momento, pessoas realizam “IA … diz respeito a comportamentos inteligentes em artefatos” (Nilsson, 1998)
melhor.” (Rich and Knight, 1991)

Essas definições são amplamente estudadas, ainda que não haja uma consolidação definitiva acerca delas. No entanto, algumas são mais adequadas
para determinados estudos em detrimento de outras e, no caso do presente trabalho, a definição que mais se adequa aos estudos de caso e aos
modelos regulatórios em questão seria a de Bellman. Isso porque, esta definição é diretamente ligada aos procedimentos de tomada de decisão que,
em tese, requerem o pensamento similar ao humano.
Sem prejuízo à definição adotada, todas as teorias que ligam a atuação de agentes computacionais a modelos de pensamento e ação similares aos
humanos (pensar e agir humanamente) entendem como essencial a capacidade da máquina de aprender. Em geral, programas de computador que
conseguem extrair padrões das bases de dados, para além de apenas captar e armazenar esses dados, são considerados capazes de aprender. Esse
[4]
modo de aprendizado não supervisionado é comumente referido como aprendizado de máquina , e permite que esses programas avancem a sua
atuação a partir de dados armazenados e mesmo criados por eles mesmos. Esse tipo de técnica serve para aprimorar os resultados obtidos pelos
programas conforme eles são utilizados.
COMPAS, opacidade e o uso de inteligência artificial como suporte de avaliações correcionais

Decisões judiciais podem ser compreendidas em seu sentido estrito, como a decisão que encerra um processo judicial, ou em seu sentido amplo, que
[5]
compreende mais uma série de outras escolhas relevantes ao longo do processo. Essas decisões impactam diretamente a vida dos cidadãos sujeitos
[6]
aos ordenamentos jurídicos nos quais se inserem os determinados juízos decisórios e, portanto, possuem o dever de serem fundamentadas e
balizadas dentro das regras, princípios e precedentes que compõem esses ordenamentos.
Aduz-se aqui que processos decisórios devem necessariamente ser motivados e fundamentados e que tal comprovação decorre do caráter racional
do procedimento. Decisões serão consideradas em seu sentido amplo, abarcando, então, escolhas relevantes ao processo que não tenham
necessariamente o intuito de encerrá-lo. É o caso, por exemplo, de decisões acerca da escolha de progressão de regimes de cumprimento de pena ou
do cabimento de determinado recurso interposto perante o STF.
Essa necessidade de fundamentação decorre do princípio da segurança jurídica. Segundo Donaldo Armelín,

“No plano da atuação jurisprudencial, a previsibilidade das decisões judiciais insere-se para o usuário da jurisdição como um fator de segurança
que o autoriza a optar por um litígio ou conciliação. É fundamental que quem busque a tutela jurisdicional tenha um mínimo de previsibilidade
[7]
acerca do resultado que advirá de sua postulação perante o Judiciário.”

Assim, compreende-se por segurança jurídica a previsibilidade do sistema a partir da análise de suas fontes, ou seja, pode-se dizer que um sistema
conta com segurança jurídica quando os processos decisórios partem de premissas conhecidas e que garantam, ainda com a elasticidade característica
de um processo interpretativo argumentativo, um mínimo de previsibilidade.
Em 2009, Tim Brennan e Dave Wells publicaram um estudo acerca do sistema de avaliação correcional utilizado em vários estados norte-
[8]
americanos . O estudo foca especialmente em um software de avaliação correcional baseado em um questionário que, utilizado conjuntamente ao
histórico criminal de ofensores, classifica os acusados pelo sistema judicial norte-americano conforme o risco que eles supostamente representam
para a sociedade.
Esse software de avaliação é chamado Correctional Offender Management Profiling for Alternative Sanctions – COMPAS -, e é utilizado como suporte
para a tomada de decisões relacionadas à condenação, ao tratamento, ao gerenciamento de casos e à probabilidade de reincidência – com impactos
significativos na possibilidade de progressão de regime de apenados. Ele se propõe a utilizar teorias consolidadas da criminologia para fundamentar de
maneira orientada as avaliações correcionais. Dentre as principais teorias utilizadas pelo programa, estão as teorias do autocontrole, da exclusão
[9]
social, da anomia e a do controle social. Os parâmetros utilizados nas previsões do COMPAS são as seguintes:

Antecedentes Criminais;
Histórico de Agressividade;
Engajamento em Associação Criminosa;
Histórico de Desobediência;
Abuso de Substâncias;
Problemas Financeiros e Pobreza;
Recursos Educacionais e Ocupacionais (ou Capital Humano);
Criminalidade na Família;
Índice de Criminalidade da Vizinhança;
Aborrecimento e Falta de Engajamento em Situações de Lazer;
Instabilidade residencial;
Isolamento social vs. Suporte social;
Atitude Propensa à Criminalidade;
[10]
Postura Anti-social.

A justificativa para a implementação do programa parte de seu enquadramento como um modelo de avaliação correcional de quarta geração. Esse tipo
de modelo é caracterizado por utilizar uma seleção mais abrangente de teorias da criminologia, por integrar modelo estatístico mais avançado e por
[11]
levar em conta mais variáveis e critérios de validação de conteúdo.
[12]
Em 2010, o Departamento de Correção e Reabilitação da Califórnia fez um estudo para validar o COMPAS e dar início à sua utilização. O estudo
considerou o software aceitável para ser utilizado em relação a índices de reincidência como um todo, por ter alcançado uma média de 70% de
[13]
exatidão. Especificamente em relação a escala de violência, entretanto, os índices de precisão ficaram abaixo dessa marca.
[14]
O COMPAS, assim como outros softwares de avaliação de risco, já tem sido utilizado em uma série de tribunais norte-americanos . No entanto, ele
tem sua validade severamente questionada uma vez que os pressupostos que aparentemente influenciam seus resultados acabam por reforçar
estereótipos que marginalizam setores na sociedade. Mais especificamente, o programa tem sido taxado de enviesado em relação à raça e à classe dos
ofensores que são submetidos ao seu exame.
Vale ressaltar que alguns casos emblemáticos contestaram a legitimidade do sistema de avaliação correcional. O mais paradigmático é o caso de Eric
Loomis contra o estado de Wisconsin. Nele, Loomis foi acusado de participação em cinco crimes ligados a um tiroteio e fuga em um carro roubado,
sendo que ele confessou participar nos dois menos severos deles – fuga e manejo de um carro sem a autorização do seu dono.
A defesa de Loomis protocolou um pedido de relaxamento de sua prisão no tribunal alegando que a decisão que o condenou violava tanto o seu
[15]
direito a uma sentença individualizada quanto o de ter uma fundamentação precisa que explique a condenação . O tribunal entendeu que não houve
prejuízo à sentença, após fazer as devidas ressalvas acerca da necessidade de se proceder com cautela quando da utilização desses mecanismos de
avaliação correcional em juízo. Esse entendimento se embasou na hipótese de que o relatório do COMPAS seria apenas mais um dos dados agregados
[16]
que fundamentaram a decisão e que, se necessário, o juízo pode também optar pela não utilização dele .
Um fato que fortalece a insegurança acerca desses mecanismos é a necessidade de inserção de cinco avisos nos presenting investigation reports –
PSI (similares ao inquérito policial brasileiro) que contenham avaliações correcionais do COMPAS. São eles:

“(…) primeiramente, a ‘natureza proprietária do COMPAS’ previne a divulgação de como a pontuação de riscos são calculadas; em segundo lugar, as
pontuações do COMPAS não permitem a identificação de indivíduos específicos de alto risco, uma vez que elas se baseiam em um grupo de dados;
em terceiro lugar, ainda que o COMPAS utilize de uma amostragem nacional de dados, ainda não houve um ‘estudo com validação cruzada para a
população de Wisconsin; em quarto lugar, estudos questionam se [as pontuações do COMPAS] classificam de maneira desproporcional ofensores
que se enquadram em alguma minoria; e quinto, o COMPAS foi desenvolvido especificamente para auxiliar o Departamento de Correções a fazer
[17]
determinações pós-condenação.

Um estudo extenso sobre o viés racial das análises do COMPAS e de outros mecanismos de avaliação correcional utilizados nos Estados Unidos foi
realizado pela ProPublica, uma agência de jornalismo independente norte-americana. Esse estudo questionou se os números dos estudos oficiais sobre
esses mecanismos condizem com a realidade de sua utilização.
O estudo da ProPublica constatou que, na verdade, o nível de exatidão de 70% do COMPAS (que o tornava aceitável e viabiliza seu uso pelos tribunais
norte-americanos) era controverso quanto à origem étnica dos ofensores. Se, em dados oficiais, os erros de cálculo do programa eram ligeiramente
visíveis, os dados da ProPublica demonstraram o grande percentual de erros de previsão, o que impacta a média da pontuação entre negros e brancos
[18]
– significativamente maior para aqueles em relação a estes.
[19]
Entretanto, existe fundada preocupação na simplificação do problema de racial bias das decisões que utilizem o COMPAS . Argumenta-se que, ao
transpor essa problemática para um viés dos algoritmos, cria-se um imaginário de que ela pode ser resolvida por meio apenas do aprimoramento dos
cálculos e estatísticas envolvidos, quando, na verdade, esse viés racial permeia todo o aparato judicial, da abordagem policial até a condenação dos
[20]
cidadãos.
[21]
Para além disso, diversos juristas consideram que os softwares de avaliação correcional não seriam nada mais que uma ferramenta que auxiliaria
[22]
juízes a fazer um trabalho que eles já desempenham de outras maneiras . Eventuais erros de classificação por parte juízes que utilizam tal ferramenta
seriam, portanto, tão negativos (e talvez não tão frequentes) quanto erros de magistrados que não as utilizem.
Esse é apenas um dos diversos casos em que o poder judiciário tem utilizado o aprendizado de máquina para auxiliar em tomadas de decisões, o caso
demonstra a necessidade da discussão acerca dessas ferramentas e da transparência em sua estruturação e implementação. Deve-se traçar
parâmetros claros para evitar violações de direitos humanos, ainda que se defenda a utilização de programas de avaliação correcional como meio de
traçar parâmetros objetivamente mais justos para auxiliar decisões.
Victor: Inteligência artificial para aumentar a eficiência do Supremo Tribunal Federal

O Brasil é um dos países com maiores índices de congestionamento no judiciário do mundo. São cerca de 100 milhões de processos em tramitação e o
[23]
Poder Judiciário recebe cerca de 30 milhões de novos casos por ano . Ainda que a produtividade média dos magistrados brasileiros seja relativamente
[24]
alta , e tenha aumentado constantemente ao longo dos últimos anos, tal avanço não contém o crescimento dos casos pendentes. Isso faz com que o
aumento da eficiência dos tribunais demande mais do que a mera contratação de funcionários ou capacitação de nossa mão-de-obra e se volte para
mudanças culturais e tecnológicas.
É nesse contexto que surge o Victor, programa baseado em Inteligência Artificial que busca agilizar a tramitação dos processos que chegam à última
instância do judiciário brasileiro. Os onze ministros do Supremo Tribunal Federal (STF) foram incumbidos, em 2016, do julgamento de cerca de 140 mil
[25]
casos , o que equivale a uma média de pouco mais de 12 mil casos por ano para cada um dos ministros. Mesmo com um número considerável de
servidores nos gabinetes ministeriais, este volume de casos não condiz com o tamanho das equipes e muito menos com as ferramentas disponíveis a
elas. Além disso, a adoção de uma nova tecnologia que venha a tornar mais eficiente a dinâmica do STF cria possibilidades para a expansão de seu uso
em outros tribunais, uma vez que a validação por parte do Supremo já é suficiente para a administração interna dos tribunais hierarquicamente
inferiores.
O desenvolvimento do projeto Victor foi realizado por meio de uma parceria entre o STF e a Universidade de Brasília (UnB), notadamente a
Faculdade de Direito (FD), o Grupo de Pesquisa em Aprendizado de Máquina (GPAM) da Faculdade de Engenharias do Gama (FGA) e o Departamento de
Ciência da Computação (CIC) da universidade. Por ser composta por entidades do Poder Público, foi possível que a parceria se realizasse por meio de
um Termo de Execução Descentralizada, nos moldes do decreto nº 6.170/07. Optou-se por essa modalidade devido a dificuldade de se enquadrar
[26]
serviços de inovação nos parâmetros da Lei de Licitações , sendo que o termo consiste em “instrumento por meio do qual é ajustada a
descentralização de crédito entre órgãos e/ou entidades integrantes dos Orçamentos Fiscal e da Seguridade Social da União, para execução de
ações de interesse da unidade orçamentária descentralizadora e consecução do objeto previsto no programa de trabalho, respeitada fielmente a
[27]
classificação funcional programática” .
O programa se propõe a utilizar de aprendizado de máquina para o agrupamento, classificação, predição e inferência nesse grande volume de dados.
[28]
O objetivo final do projeto é conseguir identificar os processos que chegam ao STF e são afetados por temas de Repercussão Geral . Ou seja, a
finalidade do Victor é acusar quais seriam aqueles processos cuja resolução já tenha sido debatida e padronizada pelo Supremo, agilizando a sua
tramitação e dando mais espaço para que os ministros se dediquem ao julgamento de teses inéditas ou que tenham sua validade controvertida de fato .
Ao longo do desenvolvimento do projeto, os pesquisadores concluíram de que uma das etapas necessárias para se chegar ao objetivo final já seria de
muito valor para o STF: a classificação das peças. Assim, mesmo sem a solução final para o problema mais complexo, que seria a identificação de temas
[29]
de repercussão geral em novos processos, o sistema foi ao ar e já funciona desde agosto de 2018 .
A despeito de um potencial ganho de eficiência nos julgamentos do STF a partir da implementação do Victor, há de se ressaltar que o
desenvolvimento do projeto não tem contado com a participação efetiva da comunidade jurídica. Construído por uma equipe interdisciplinar da UnB, o
sistema já está funcionando – ainda que de maneira restrita – e, conforme avance o seu desenvolvimento, ele deve impactar de maneira cada vez mais
decisiva a vida de cidadãos que possuam processos sob jurisdição do Supremo.
A constatação de que determinada tese se encontra assentada na jurisprudência por um software, como seria o caso de processos afetados por
decisão de Repercussão Geral, pode definir o futuro da causa em litígio de maneira tão direta quanto o próprio COMPAS, software de avaliação
correcional citado anteriormente. Além disso, o caráter definitivo dos julgamentos do Supremo pode trazer consequências significativas no caso de
decisões influenciadas por eventuais erros de classificação.
[30]
Segundo o diretor-geral do STF, Eduardo Toledo, o projeto Victor trabalha sob a premissa da absorção da tecnologia pela Administração Pública ,o
que permitirá a abrangência do escopo de atuação do sistema para demais tribunais de justiça do país. Tal afirmativa, ao mesmo tempo que soa como
um compromisso de maior abertura no desenvolvimento futuro do projeto, carrega consigo uma promessa de maior abrangência e potencial de
opacidade do sistema, caso tal compromisso não seja cumprido. Vale apontar que, até o momento, o projeto Victor possui pouca bibliografia técnica
disponível e participação restrita da comunidade acadêmica e jurídica como um todo. Assim, o presente caso demonstra que, mesmo em situações cujo
risco de dano ainda não seja tão palpável, como na classificação de processos, o interesse público do acompanhamento do projeto se mostra presente.
Operação Serenata de Amor: Transparência e processamento de dados automatizados

Caso interessante do uso de aprendizado de máquinas e construção colaborativa é a Operação Serenata de Amor, que buscou criar uma inteligência
[31]
artificial que fiscalizasse gastos públicos. A Lei nº 12.527/2011 regulamenta o direito constitucional para acesso às informações públicas. A lei entrou
em vigor no dia 16 de maio de 2012 e busca possibilitar que qualquer pessoa, física ou jurídica possa ter acesso às informações públicas de órgãos da
[32]
Administração. Dessa forma, a Câmara dos Deputados divulga os gastos feitos pela Cota para Exercício da Atividade Parlamentar (CEAP) – verba que
custeia alimentação, transporte, hospedagem e despesas com cultura e assinaturas de TV dos parlamentares. Esse benefício foi estabelecido no Ato de
Mesa nº 43 de 2009 e está sob a legislação interna da Câmara dos Deputados. A Câmara disponibiliza a lista de cada um dos gastos, incluindo CNPJ ou
[33]
CPF do recebedor do dinheiro, em arquivos XML .
[34]
Pensando em aumentar a eficiência na averiguação desses benefícios, o grupo Data Science Brigade criou a Operação Serenata De Amor . O
objetivo da Operação é utilizar aprendizado de máquina para investigar contas públicas e auxiliar no controle dos gastos parlamentares. A ideia surgiu
[35]
do cientista de dados Irio Musskopf, como forma de empregar a tecnologia para auxiliar no processo democrático, fiscalizando gastos públicos. O
nome da operação é oriunda do Caso Toblerone, caso em que uma parlamentar sueca renunciou seu cargo depois de ter sido flagrada comprando
[36]
chocolates Toblerone na fatura do seu cartão de crédito corporativo
[37]
Para executar e iniciar a operação foi desenvolvida uma inteligência artificial chamada Rosie, cuja programação permite analisar cada pedido de
reembolso dos deputados e identificar a probabilidade de ilegalidade. Rosie é um software que aprende novos parâmetros e aplica os existentes
utilizando o aprendizado de máquina, conferindo diariamente cada pedido de reembolso dos deputados e buscando identificar a probabilidade de
ilegalidades nesses dados. O código estabelece algumas hipóteses de gastos suspeitos, que compreendem, por exemplo, distância viajada maior, limites
[38]
da sub-cota superiores aos previstos, compra de bebidas alcóolicas, preços muito altos de refeições, entre outros.
A Rosie, em números segundo o último relatório da operação:

Notas fiscalizadas 3 milhões

Reembolsos suspeitos identificados: 8.216

Suspeitas de refeição mais cara que a média: 2.158

Suspeitas baseadas nos tempos de viagem dos deputados: 792

Suspeitas referentes a empresas irregulares: 5240

Despesas suspeitas por meio de CPFs ou CNPJ inválidos 16

Reembolso de caráter eleitoral 13

Valores suspeitos encontrados por Rosie R$ 3,2 milhões

[39]
Dados: Relatório Rosie 2017.

Toda a tecnologia da Operação Serenata foi construída através de financiamento coletivo e toda a equipe é formada por voluntários que realizam a
construção do projeto de modo público e colaborativo. Todo o código é aberto e, como tal, disponibilizado livremente, utilizando o licenciamento livre
para a esquematização do produto e a redistribuição universal desse design ou esquema, dando a possibilidade para que qualquer um consulte,
[40]
examine ou modifique o código. Toda a estrutura da Serenata de Amor pode ser encontrada e baixada livremente no GitHub . Dessa forma, qualquer
órgão de combate à corrupção – e, de fato, qualquer pessoa, de qualquer lugar do mundo – pode fazer uso dos algoritmos. O modelo de código aberto
adotado no desenvolvimento da aplicação muda fundamentalmente as abordagens e a economia do desenvolvimento de um software tradicional como
[41]
o caso do COMPAS.
Tipicamente, o código aberto é desenvolvido por uma comunidade de programadores distribuída na Internet. Toda participação é voluntária e os
participantes não recebem compensação financeira pelo seu trabalho, diferentemente do código proprietário ou fechado. Além disso, todo o código-
fonte é disponível ao público. O uso do código aberto em auxílio a tomadas de decisões e fiscalizações levanta muitas questões interessantes e,
inclusive, apresenta-se como uma maneira de integralizar as lacunas que uma eventual regulação busque superar, principalmente no que diz respeito
[42]
ao direito à explicação.
O modelo de código aberto consegue estabelecer tomada de decisões ao mesmo tempo que concilia transparência e disponibilidade do código-
fonte. Dessa forma, faz-se possível que aqueles que estejam sujeitos às decisões ou procedimentos possam saber quais são as variáveis deste código,
quais critérios são levados em consideração no aprendizado de máquina e diversos outros pontos que podem ser observados através da análise do
código-fonte aberto para todos.
Alternativas legislativas e opacidade – General Data Protection Regulation (GDPR) e Lei Geral de Proteção de
Dados Pessoais (LGPD): “Direito à explicação” em decisões automatizadas

Com o aumento da capacidade de armazenamento e processamento de dados, temos o surgimento de preocupações na sociedade civil e no Estado,
principalmente no que diz respeito à transparência dos códigos e critérios adotados nas tomadas de decisões automatizadas. É nesse contexto que o
[43]
Regulamento Geral de Proteção dos Dados Pessoais da União Europeia (GDPR) entrou em vigor n o dia 25 de Maio de 2018. A partir de então, o
[44]
mundo entrou em um novo paradigma de proteção de dados pessoais . Sua abrangência sobre diversos temas fortalecem os argumentos de que o
regulamento será utilizado como modelo de regulação para diversos países no mundo. Desde sua concepção, o Regulamento nº 679/2016 busca
adequar a Europa a um novo cenário de uso das tecnologias e dos serviços que utilizam internet em suas operações.
A lei busca estabelecer padrões para coleta, tratamento e processamento de dados pessoais, criando direitos, deveres e garantias para os usuários e
para as empresas que utilizam dados pessoais. Dentre suas diversas provisões, o regulamento trata sobre a tomada de decisão automatizada, em seus
artigos 13, 14, 15, 22 e 23, assim como no recital 71. Essas disposições criam limitações para as decisões automatizadas e exigem “explicações” sobre o
[45]
funcionamento dos algoritmos.
[46]
Decisões automáticas e sem intervenção humana vão contra a noção de autonomia e personalidade do regulamento europeu . Portanto, a
disposição da regulação, ao discorrer sobre o direito à explicação, busca fornecer informações significativas sobre como os dados são utilizados em
decisões automatizadas. Inúmeras controvérsias têm sido levantadas sobre quais são as possíveis aplicações desse direito e como ele será colocado em
prática. Dessa forma, acadêmicos em todo o mundo têm publicado artigos sobre as implicações desse direito, considerando sua tecnicidade e
[47]
complexidade. .
Segundo a GDPR, se uma pessoa estiver sujeita a “decisão baseada unicamente no processamento automatizado e que produz efeitos legais ou que
[48] [49]
de maneira similar afete significativamente a vida da pessoa” , existe a previsão, a partir de então, do direito à explicação . O direito à explicação, no
[50]
caso, prevê que sejam concedidas “informações significativas” sobre a “lógica envolvida na decisão”. Tal informação deverá ser facilmente
[51]
interpretada pelo titular dos dados, sendo possível a sua interpretação por um humano sem conhecimentos técnicos. Essas determinações além de
previstas nos artigos 13 e 15 que tratam de direito de acesso, também estão previstas nos seguintes artigos:

Artigo 22 (a): estabelece que “todos possuem o direito de não estarem sujeitos a decisões baseadas apenas em automações, incluindo
‘profilização’ ou decisões que produzam efeitos legais similares e que afetem diretamente um cidadão”.
Artigo 22 (b): determina circunstâncias para quando decisões automatizadas são permitidas, provendo diferentes proteções para que o titular
dos dados possa efetivamente exercer seus “direitos, liberdades e interesses legítimos”.
Artigo 23 (c) determina que quando houver decisões automatizadas necessárias ou contratuais, algumas garantias serão estabelecidas para o
titular dos dados, incluindo o direito de obter uma intervenção humana em alguma parte do processamento para expressar o seu ponto de vista
sobre a decisão.

[52]
Por fim, a GDPR possui uma gama de recitais, que são orientações para melhor aplicação e interpretação da lei positivada. Recitais não possuem
papel normativo, entretanto, serão fundamentais para guiar a aplicação efetiva da lei europeia. O recital 71 inclui ponderações relevantes à análise do
artigo 22. Além da previsão de que há a necessidade de uma intervenção humana em alguma parte do processo, estabelece que além dessa intervenção
[53]
existe a garantia de que se possa obter uma explicação sobre a decisão alcançada e ter a oportunidade de contestar tal decisão.
Essas garantias suprem, em certa medida, a lacuna contida no direito de intervenção , criticado por ser facilmente contornável. Tal crítica
fundamenta-se à partir da tese de que a simples autenticação humana dos resultados obtidos na análise da inteligência artificial seria suficiente para
fazer valer as disposições do diploma regulatório, passível de advir, inclusive, dos próprios responsáveis pela decisão. Mesmo que a GDPR garanta o
direito à explicação e o de revisão de decisões automatizadas, é importante ressaltar que estes direitos possuem mais restrições no direito europeu do
que no brasileiro, que será discutido em breve.
O direito previsto no escopo da regulação europeia tem como objetivo contemplar todas as possíveis aplicações que utilizem um software para
auxiliar em tomadas de decisões que afetem a vida dos cidadãos. Softwares proprietários e fechados que emitam decisões significativas são
diretamente afetados pela regulação. Desde a entrada em vigor do marco regulatório, eles podem ser obrigados a prestar explicações significativas
sobre suas aplicações e a lógica por trás dos inputs de seus códigos, bem como a forma como ele interpreta essas informações. Outras interpretações
são apontadas acima, que sim, a existência de um direito à explicação é positivada nos artigos 13, 14 e 15 da lei. Por fim, como aponta Renato Leite:

“A interpretação em prol da existência de tais direitos visa dar sentido à intenção do legislador, como demonstrado através dos considerandos
da GDPR, e também conforme as necessidades oriundas dos atuais modelos de negócio e tecnologias que cada vez mais têm um impacto direto
nas nossas vidas, influenciando-a por meio de decisões controladas por algoritmos opacos e obscuros. Garantir tal direito significa influenciar a
forma como sistemas são desenvolvidos para deixá-los mais transparentes e justos.”;
LGDP

Após diversos anos de discussão e elaboração tivemos a aprovação da Lei Geral de Proteção de Dados Pessoais (Lei 13.709/2018) no dia 14 de agosto de
2018. A lei busca trazer um novo arcabouço jurídico e também consolidar mais de quarenta normas setoriais que já estavam positivadas de maneira
esparsa no ordenamento brasileiro. Como o presente trabalho não buscará tratar especificamente sobre a LGDP, buscaremos entender e interpretar
apenas o artigo 20, que é essencial para a análise de softwares de tomada de decisões automatizada.
No artigo é previsto que “O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento
automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e
de crédito ou os aspectos de sua personalidade”.
O modelo adotado em relação ao Direito à explicação no Brasil é claramente inspirado no modelo de regulação europeu. Entretanto, o modelo
europeu possui ainda menos possibilidades do que o modelo brasileiro, principalmente por não incluir dados anonimizados e por limitar o direito de
[54]
oposição caso haja consentimento inequívoco ou a execução de um contrato. Mesmo que o modelo brasileiro seja mais amplo que o Europeu, é
importante que estejamos atentos para como irá se comportar a Autoridade Nacional de Proteção de Dados e os tribunais, visto que para trazer
explicação sobre o funcionamento desses algoritmos, muitas das vezes terá que ser realizado um tradeoff entre o segredo de negócio e as informações
que deram determinada decisão automatizada.
Conclusão

Atualmente muitos são os debates sobre o uso de sistemas de decisão algorítmica em instituições, principalmente aquelas relacionadas ao poder
público. Também é notório o aumento do uso de tecnologias computacionais e preditivas no setor privado, organizações da sociedade civil e governos,
principalmente em procedimentos e processos de tomada de decisão. Como resultado, discussões acerca de mecanismos de reparação para proteger a
sociedade de eventuais danos emergiram tanto no meio acadêmico quanto no político.
O presente trabalho não busca exaurir a extensa discussão sobre aprendizado de máquina, inteligência artificial e suas aplicações no poder público.
Ele se propõe, no entanto, a suscitar o debate relacionado à individualização dos procedimentos e impactos da utilização destes algoritmos à partir da
análise de casos concretos em que já se tem utilizado essas tecnologias para auxiliar a Administração.
A adoção do método de estudo de caso tem como objetivo demonstrar aplicações utilizadas em diversos setores da sociedade através dos 3
exemplos selecionados: COMPAS, Operação Serenata de Amor e Victor. Os três casos, mesmo com suas diversas diferenças, demonstram a aplicação
de inteligência artificial e aprendizado de máquinas para tomada de decisão relacionadas ao poder público, com impacto em diferentes esferas da
sociedade.
O primeiro é um exemplo de utilização de uma IA que possui o objetivo de subsidiar os magistrados nas decisões pós-condenação por meio de uma
pontuação que leva em conta aspectos objetivos dos ofensores. Entretanto, ela também acaba por ser utilizada em outros tipos de processos decisórios
pré-julgamento. O COMPAS não traz elementos suficientes para a compreensão devida da sentença e, ao ter sua utilização extrapolada para outros
tipos de decisão, acaba por prejudicar o direito à fundamentação das decisões. Para além disso, seu caráter proprietário mostra-se como um obstáculo
para a devida compreensão do mecanismo. Muito embora o argumento de que o enviesamento (bias) do sistema não estaria no COMPAS (mas sim no
sistema penitenciário como um todo) seja essencial para a análise, ele não justifica a falta de transparência do modelo.
As outras aplicações de IA analisadas não influenciam diretamente as decisões em seu sentido estrito, uma vez que são mecanismos de apoio para a
procedimentalização de atividades que são anteriores a essa tomada de decisão. Ainda assim, ambas influenciam diretamente as decisões judiciais em
sentido amplo, pois tanto chamar a atenção para os gastos de parlamentares (Serenata de Amor) quanto a distribuição recursos no Supremo Tribunal
Federal. No caso do Victor, vale ressaltar que, por ter sua aplicação na última instância decisória do Poder Judiciário, decisões indiretamente afetadas
pelo software têm um caráter notadamente definitivo, o que faz com que a situação de eventuais erros de classificação sejam ainda mais delicados.
Tais tecnologias tendem a se desenvolver e expandir nos próximos anos. Dessa forma, discussões sobre como conciliar os benefícios advindos da
utilização destes programas com a crescente necessidade por transparência são essenciais, de maneira a sopesar os benefícios e os riscos da utilização
deles.
Esses anseios têm chamado a atenção de Estados, sociedade civil e legisladores, sendo evidenciado através de regulações que têm buscado abranger
essa discussão e da criação de institutos como o direito à explicação. Essa garantia é um primeiro passo para se garantir algum nível de transparência
no que diz respeito às decisões automatizadas. Entretanto, apenas a regulação não será o suficiente para que tenhamos uma real efetividade da
aplicação desse direito e da transparência dessas informações. É necessário um trabalho constante junto à formação da opinião pública em busca de
métodos que viabilizem a implementação e fiscalização da transparência desses softwares.
Diversas são as aplicações dessas tecnologias e a os métodos para se garantir a efetividade e a transparência das mesmas. Um dos caminhos para
gerar maior clareza desse fenômeno perpassa pela discussão sobre código aberto e código fechado. Através dos casos propostos, observa-se que o
código aberto estabelece transparência e horizontalidade no desenvolvimento do programa que influencia a tomada de decisões, criando maior
segurança jurídica para aqueles afetados por elas. Isso impacta diretamente na proteção de direitos, garantias e transparência sobre quais são os
critérios levados em consideração pela aplicação.
Por outro lado, especialmente em casos no qual são utilizados softwares proprietários, como o COMPAS, há a necessidade de adaptação para
provimento de maior transparência sobre os critérios e métodos empregados. Sendo assim, as regulações de proteção aos dados pessoais, ao disporem
sobre o Direito à explicação, buscam disciplinar responsáveis pelo desenvolvimento de códigos que emitam decisões significativas sobre os cidadãos,
caso não estejam preparados para prover explicações inteligíveis acerca da estrutura lógica dessa tomada de decisão.
Por fim, é necessário levar em consideração que, ainda que exista um trade off entre fomento à inovação e regulação de setores de tecnologia, não se
pode deixar que a euforia advinda dos avanços tecnológicos se sobreponha à salvaguarda de direitos básicos dos cidadãos, como o devido processo
legal, o direito a decisões individualizadas e a transparência da atuação do poder público e de entidades da sociedade civil.
Referências Bibliográficas

Livros e capítulos de livros

FERRAZ JR, Tércio Sampaio. Introdução ao Estudo do Direito. Técnica, Decisão, Dominação. Editora Atlas S.A. São Paulo, 2003.
KAPLAN, Jerry. Artificial Intelligence. Series: What Everyone Needs to Know. Oxford: Oxford University Press, 2016.
RUSSEL, Stuart e NORVIG, Peter. Artificial Intelligence, a Modern Approach. New Jersey: Pearson, 2010

Artigos científicos

LEITE, Renato. Existe um direito à explicação na Lei Geral de Proteção de Dados do Brasil?. Instituto Igarapé, 2018.
AMARAL, Guilherme Rizzo. Efetividade, segurança, massificação e a proposta de um “incidente de resolução de demandas repetitivas”. São Paulo:
Editora Revista dos Tribunais Ltda, 2011.
CUI, Gregory. Evidence-Based Sentencing and the Taint of Dangerousness, 125 Yale L.J. F. 315 (2016).
DE HERT, P.; CZERNIAWSKI, M. Expanding the European data protection scope beyond territory: Article 3 of the General Data Protection Regulation in
its wider context. International Data Privacy Law, v. 6, n. 3, p. 230–243, 2016.
FARABEE, David et al. California Department Of Corrections And Rehabilitation. COMPAS Validation Study: Final Report. Los Angeles: University Of
California, 2010.
HARS, Alexander; OU Shaoshong. Working for Free? Motivations for Participating in Open-Source Projects.
HARVARD LAW REVIEW. State v. Loomis: : Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing.
Harvard Law Review. Cambridge, p. 1530-1537. 17 mar. 2017
HYATT, Jordan M. et al., Reform in Motion: The Promise and Perils of Incorporating Risk Assessments and Cost-Benefit Analysis into Pennsylvania
Sentencing, 49 Duq. L. Rev. 707, 723 (2011).
JONES, Meg. The right to a human in the loop: Political constructions of computer automation and personhood.
SELBST, Andrew; POWLES, Julia. Meaningful information and the right to explanation.
Tim Brennan et al., Northpointe Inst. for Pub. Mgmt. Inc., Evaluating the Predictive Validity of the COMPAS Risk and Needs Assessment System, 36
CRIM. JUST. & BEHAV. 21, (2009).
WACHTER, Sandra; MITTELSTADT, Brent; FLORIDI, Luciano. Why a right to explanation of automated decision-making does not exist in the general
data protection regulation. International Data Privacy Law, v. 7, n. 2, p. 76-99, 2017.

Legislação

BRASIL. Código de Processo Civil. Brasília, DISTRITO FEDERAL, 2015

BRASIL. Lei n. 12.527, de 18 de nov. de 2011. Lei de acesso à informação. p. 1-33, nov. 2011.

Outros textos e documentos

ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias. ProPublica. Disponível em:
CÂMARA DOS DEPUTADOS. Dados Abertos – Cota Parlamentar Cota para Exercício da Atividade Parlamentar em Dados Abertos.
Cota para o exercício da atividade parlamentar Informações e legislação sobre as cotas para o exercício da atividade parlamentar. Disponível em:
<http://www2.camara.leg.br/transparencia/acesso-a-informacao/copy_of_perguntas-frequentes/cota-para-o-exercicio-da-atividade-
parlamentar> Acesso em 15/05/2018.
NOJIRI, Sergio. Decisão judicial. Enciclopédia jurídica da PUC-SP. Celso Fernandes Campilongo, Alvaro de Azevedo Gonzaga e André Luiz Freire
(coords.). Tomo: Teoria Geral e Filosofia do Direito. Celso Fernandes Campilongo, Alvaro de Azevedo Gonzaga, André Luiz Freire (coord. de tomo). 1. ed.
São Paulo: Pontifícia Universidade Católica de São Paulo, 2017.
PAZZIM, Bruno. Relatório trimestral da operação de amor. Disponível em <https://bit.ly/2x0l5Es> Acesso em: 09/05/2018
SIMPSON, peter. Corruption unit to investigate Mona Sahlin. Disponível em <https://bit.ly/2J2gPZC> Acesso em 08/05/2018
VILANOVA, Pedro. R$ 3,2 milhões em 8.216 reembolsos suspeitos: as métricas do trabalho da Rosie nos últimos dias. Disponível em
<https://bit.ly/2IEn6eT>
 1. Analista de Gestão de Produto – Jusbrasil. Formado em Direito pela UFMG, com certificação em liderança de Novos Negócios pelo MIT Bootcamps e pela University of Miami School of Law. ↵

2. Graduando em Direito na Universidade Federal de Minas Gerais (UFMG), concluiu o ensino médio integrado ao curso Técnico em Informática pelo Instituto Federal de Minas Gerais (IFMG). Alumni

da Escola de Governança da Internet (EGI) e bolsista do programa Youth@IGF (2017) e Youth@IGF (2018) do CGI.br. ↵

3. RUSSEL, Stuart e NORVIG, Peter. Artificial Intelligence, a Modern Approach. New Jersey: Pearson, 2010. p. 02. Tradução nossa. ↵

4. KAPLAN, Jerry. Artificial Intelligence. Series: What Everyone Needs to Know. Oxford: Oxford University Press, 2016. p 27-32. ↵

5. NOJIRI, Sergio. Decisão judicial. Enciclopédia jurídica da PUC-SP. Celso Fernandes Campilongo, Alvaro de Azevedo Gonzaga e André Luiz Freire (coords.). Tomo: Teoria Geral e Filosofia do Direito.

Celso Fernandes Campilongo, Alvaro de Azevedo Gonzaga, André Luiz Freire (coord. de tomo). 1. ed. São Paulo: Pontifícia Universidade Católica de São Paulo, 2017. Disponível em:

https://enciclopediajuridica.pucsp.br/verbete/57/edicao-1/decisao-judicial ↵

6. Nesse sentido, destaca-se o art. 489, II do Código de Processo CIvil. “São elementos essenciais da sentença: II - os fundamentos, em que o juiz analisará as questões de fato e de direito;” (BRASIL.

Código de Processo Civil. Brasília, DISTRITO FEDERAL, 2015.) ↵

7. AMARAL, Guilherme Rizzo. Efetividade, segurança, massificação e a proposta de um “incidente de resolução de demandas repetitivas”. São Paulo: Editora Revista dos Tribunais Ltda, 2011. Revista de

Processo ano 36 v. 196. apud. ARMELÍN, Donaldo. Observância da coisa julgada e enriquecimento ilícito: postura ética e jurídica dos magistrados e advogados. Brasília: Conselho de Justiça

Federal/Centro de Estudos, 2003. Cadernos do CEJ 23, p. 292. ↵

8. Tim Brennan et al., Northpointe Inst. for Pub. Mgmt. Inc., Evaluating the Predictive Validity of the COMPAS Risk and Needs Assessment System, 36 CRIM. JUST. & BEHAV. 21, (2009). ↵

9. Idem. p.3. ↵

10. Idem. p.34. Tradução nossa. ↵

11. Idem. p.2. Tradução nossa. ↵

12. FARABEE, David et al. California Department Of Corrections And Rehabilitation. COMPAS Validation Study: Final Report. Los Angeles: University Of California, 2010. Disponível em:

<https://bit.ly/2kfYQ3W> ↵

13. Idem. p4. ↵

14. Para uma lista atualizada de todos os estados e respectivos programas de avaliação de risco nos Estados Unidos, acessar o site da Electronic Privacy Information Center (EPIC). Disponível em:

<https://epic.org/algorithmic-transparency/crim-justice/> . Acesso em 31 de janeiro de 2019. ↵

15. HARVARD LAW REVIEW. State v. Loomis: : Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing. Harvard Law Review. Cambridge, p. 1531 ↵

16. Id. 1532-1533 ↵

17. Texto original: “(...) first, the ‘proprietary nature of COMPAS’ prevents the disclosure of how risk scores are calculated; second, COMPAS scores are unable to identify specific high-risk individuals

because these scores rely on group data; third, although COMPAS relies on national data sample, there has been ‘no cross-validation study for a Wisconsin population’; fourth, studies ‘have raised

questions about whether [COMPAS scores] disproportionately classify minority offenders as having higher risk of recidivism’; and fifth, COMPAS was developed specifically to assist the Department

of Corrections in making post-sentencing determinations.” Tradução nossa. HARVARD LAW REVIEW. State v. Loomis: : Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk

Assessments in Sentencing.. Harvard Law Review. Cambridge, p. 1533. ↵

18. ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias. ProPublica. Disponível em: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sen

tencing> Acesso em: 22 de maio de 2018. ↵

19. Para maior aprofundamento nesse assunto, ler o artigo “Why big-data analysis of police activity is inherently biased”, de William Isaac e Andi Dixon. Disponível em <https://bit.ly/2IY27TI> Acesso

em 31 de janeiro de 2019. ↵

20. Para aprofundar essa discussão, ver o tutorial do Humans Rights Data Analysis Group. Disponível em: <https://bit.ly/2KNKLpU> . Acesso em 19 de maio de 2018. ↵

21. Jordan M. Hyatt et al., Reform in Motion: The Promise and Perils of Incorporating Risk Assessments and Cost-Benefit Analysis into Pennsylvania Sentencing, 49 Duq. L. Rev. 707, 723 (2011). ↵

22. Gregory Cui, Evidence-Based Sentencing and the Taint of Dangerousness, 125 Yale L.J. F. 315 (2016). ↵

23. Justiça em Números 2018: ano-base 2017/Conselho Nacional de Justiça - Brasília: CNJ, 2018. ↵

24. Segundo dados de 2014, a produtividade média de um juiz brasileiro é cerca de duas vezes maior que a dos italianos e espanhóis, e cerca de quatro vezes maior que a dos portugueses. Disponível em

<https://exame.abril.com.br/brasil/por-que-a-justica-brasileira-e-lenta/> . Acesso em 31 de janeiro de 2019. ↵

25. Supremo em ação 2017: ano-base 2016/Conselho Nacional de Justiça - Brasília: CNJ, 2017. ↵

26. TOLEDO, Eduardo S. Projetos de inovação tecnológica na Administração Pública. In: FERNANDES, Ricardo Vieira de Carvalho; CARVALHO, Ângelo Gamba Prata de (Coord.). Tecnologia jurídica &

direito digital: II Congresso Internacional de Direito, Governo e Tecnologia – 2018. Belo Horizonte: Fórum, 2018. p. 83-87. ISBN 978-85-450-0584-1. ↵

27. BRASIL. DECRETO Nº 6.170, DE 25 DE JULHO DE 2007. Dispõe sobre as normas relativas às transferências de recursos da União mediante convênios e contratos de repasse, e dá outras

providências., Brasília, DF, julho 2007. Disponível em: <http://www.imprensanacional.gov.br/mp_leis/leis_texto.asp?ld=LEI %209887> . Acesso em: 12 out. 2017. ↵

28. SILVA, Nilton Correia da. Notas iniciais sobre a evolução dos algoritmos do VICTOR: o primeiro projeto de inteligência artificial em supremas cortes do mundo. In: FERNANDES, Ricardo Vieira de

Carvalho; CARVALHO, Ângelo Gamba Prata de (Coord.). Tecnologia jurídica & direito digital: II Congresso Internacional de Direito, Governo e Tecnologia – 2018. Belo Horizonte: Fórum, 2018. p. 89-

94. ISBN 978-85-450-0584-1. ↵

29. [29] “Ministra Cármen Lúcia anuncia início de funcionamento do Projeto Victor, de inteligência artificial”. Disponível em <http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?

idConteudo=388443> . Acesso em 31 de janeiro de 2019. ↵

30. Ver TOLEDO, Eduardo, supracitado na nota de rodapé 24, p. 86. ↵

31. BRASIL. Lei n. 12.527, de 18 de nov. de 2011. Lei de acesso à informação. p. 1-33, nov. 2011. Disponível em: <https://bit.ly/2LkwxxK> . Acesso em: 30 de Janeiro 2019. ↵

32. Cota para o exercício da atividade parlamentar Informações e legislação sobre as cotas para o exercício da atividade parlamentar. Disponível em: <https://bit.ly/2GG4DZy> Acesso em 30/01/2019.

33. Dados Abertos - Cota Parlamentar Cota para Exercício da Atividade Parlamentar em Dados Abertos. Disponível em: <https://bit.ly/1O0tQxX> Acesso em 29/01/2019. ↵

34. Serenata de Amor. Disponível em: <https://serenata.ai/about/> Acesso em 29/01/2019. ↵

35. Código fonte do software. Disponível em: <https://bit.ly/2ICVUZP> Acesso em 29/01/2019. ↵

36. SIMPSON, Peter. Corruption unit to investigate Mona Sahlin. Disponível em <https://bit.ly/2J2gPZC> Acesso em 29/01/2019. ↵

37. Segundo o próprio site da operação a ferramenta é denominada como robô e inteligência artificial. Ver mais <https://serenata.ai/about/> Acesso em 29/01/2019. ↵

38. PAZZIM, Bruno. Relatório trimestral da operação de amor. Disponível em <https://bit.ly/2x0l5Es> Acesso em 29/01/2019. ↵

39. VILANOVA, Pedro. R$3,2 milhões em 8.216 reembolsos suspeitos: as métricas do trabalho da Rosie nos últimos dias. Disponível em <https://bit.ly/2IEn6eT> Acesso em: 30/01/2019. ↵

40. Mais informações em < https://github.com/datasciencebr/serenata-de-amor> ↵

41. HARS, Alexander; OU Shaoshong. Working for Free? Motivations for Participating in Open-Source Projects, Disponível em <https://bit.ly/2LmTVL9> ↵
42. Idem. ↵

43. A sigla em inglês utilizada nas discussões acadêmicas e nos artigos internacionais é GDPR, correspondente à General Data Protection Regulation. Por essa razão, será essa a sigla adotada neste

artigo. Em portuguê s, a sigla corresponde à RGPD. UNIÃO EUROPEIA. Regulamento N.2016/679 Geral de Proteção dos Dados Pessoais. Disponível em: <https://gdpr-info.eu/>. Acesso em:

06/05/2018. ↵

44. DE HERT, P.; CZERNIAWSKI, M. Expanding the European data protection scope beyond territory: Article 3 of the General Data Protection Regulation in its wider context. International Data Privacy

Law, v. 6, n. 3, p. 230–243, 2016. ↵

45. SELBST, Andrew; POWLES, Julia. Meaningful information and the right to explanation. Disponível em <https://bit.ly/2GFViRu> Acesso em: 27/01/2019. ↵

46. JONES, Meg. The right to a human in the loop: Political constructions of computer automation and personhood. Acesso em: 28/01/2019 ↵

47. Para ver mais sobre essas discussões, c.f.: WACHTER, Sandra; MITTELSTADT, Brent; FLORIDI, Luciano. Why a right to explanation of automated decision-making does not exist in the general data

protection regulation. International Data Privacy Law, v. 7, n. 2, p. 76-99, 2017 e SELBST, Andrew D.; POWLES, Julia. Meaningful information and the right to explanation. International Data Privacy

Law, v. 7, n. 4, p. 233-242, 2017. ↵

48. Artigos 13-15 (tradução literal). ↵

49. Em inglês o termo é “Right to Explanation”. Optamos adotar a tradução “Direito à explicação”. ↵

50. Diversas discussões têm sido levantadas sobre qual seria o significado do termo “informações significativas”. O texto em alemão do GDPR usa a palavra “Aussagekra¨ftige”, o texto em francês refere-

se a “informações úteis”. Essas formulações invocam noções de utilidade, confiabilidade e compreensibilidade. Estes conceitos são relacionados, mas não idênticos, sugerindo que um sistema

flexível e de abordagem funcional será mais apropriado para a interpretação do termo “significativas”. ↵

51. SELBST, Andrew; POWLES, Julia. Meaningful information and the right to explanation. Disponível em <https://bit.ly/2GFViRu> Acesso em: 28/01/2019. ↵

52. Ver mais em <https://gdpr-info.eu/recitals/> ↵

53. Idem. ↵

54. LEITE, Renato. Existe um direito à explicação na Lei Geral de Proteção de Dados do Brasil?. Instituto Igarapé. Disponível em: <https://igarape.org.br/wp-content/uploads/2018/12/Existe-um-

direito-a-explicacao-na-Lei- Geral-de-Protecao-de-Dados-no-Brasil.pdf> ↵
Artificial intelligence in government: creating a framework for transparency and accountability

[1]
Laura Nathalie Hernández Rivera
1. Transparent Digital Governments

New technologies are progressing rapidly and reaching many aspects of society and our lives. In the same manner, AI will likely continue to develop
and increase its uses and applications, both in the private and public sector. The use of AI by governments could increase in the following years with
[2]
the aim of delivering effective public services to address its citizens’ demands .
In general, governments should have the responsibility to show how the implementation of technology benefits the public interest. A transparent
public administration shows the commitment to democratic values and the enforcement of rights, and demonstrates a responsible and ethical
government. Hence, adequate regulation and implementation of technology should be based on transparency and accountability processes. For
example, governments should allow consumers and citizens to have access to information about the processing of their data; establish accountability
measures to empower citizens against automated processes; and should let access to the terms of agreements signed between public and private
[3]
entities in the use and implementation of AI . That is, why transparency represents a means for citizen participation, monitoring, control, and access
to information on innovation processes in the public sector.
In Brazil, governmental entities have set their eyes on AI; some even have already implemented it. Next, a summary list of examples of AI in the
[4]
public sector in Brazil: a) the use of facial recognition systems at customs for efficiency in tax collection: ‘SISAM’, ‘PGFN Analytics Tax assessment’; b)
[5] [6]
the use of AI in the Judicial System: ‘Victor’ ; c) ‘Turmalina’ , a project that has the objective to use AI for government transparency and control of
[7]
public revenue and expenditure; d) Facial recognition systems for policing . However, there still is no policy or regulation for transparency and
[8]
accountability of any of the implementation processes of AI in Brazil . Why should this be a concern or an issue? There are many examples that prove
that technology is not harmless, and is, therefore, susceptible to affect rights, democratic processes, reinforce preconceptions, and increase the social
gap. In the absence of proper regulation, all of the latter will depend on how technology is created, implemented or used by governmental entities.
The lack of adequate governance of technology could harm the efforts of implementing governmental digital agendas for the delivery of public
services. For example, the implementation of facial recognition systems, and the automation of public decisions implemented by the government,
many times, lack the necessary counterweights and the adequate multidisciplinary discussion regarding its ethical and legal effects. The absence of
regulation of AI means that there is also the absence of the checks and balances over the government’s powers. Therefore, it is fundamental to create
the mechanisms that will determine the limits and responsibility in the implementation of AI as input for trust in innovation, and as a mechanism of
participation and counterbalance of society. The latter could help to promote open, transparent and accountable digital governments; and help build
confidence in AI as a tool for the delivery of better public services, without infringing human rights.
This paper considers it urgent to discuss the challenges and necessary measures, for building a framework for the responsible implementation of AI
in the public sector. Without the intention of being exhaustive, this paper will address next some of the challenges and measures for the
implementation of AI systems in the public sector for building a regulatory framework based on transparency, human rights, and accountability for AI
governance.
2. AI for government effectiveness: concerns and challenges

Governments are increasingly interested in using big data and AI systems to deliver effective public services and better policy. A key aspect is the
collection of data of its citizens. Estonia represents one of the best examples of countries that are collecting data to improve their public services (i.e.,
tax collection, health services, voting). For example, improving public services by building e-governments could favor the indexes of a country’s
competitiveness and economic growth, fight against corruption and bureaucracy. Other countries in Latin America are also implementing a digital
[9]
agenda, as a strategy to improve the competitiveness and performance of their governments .
The use of AI-driven solutions in government can help to alleviate the burden of managing, collecting and analyzing large amounts of information.
AI-solutions adapted to a government’s needs can improve the efficiency of public services better than if they were carried out by a human, especially
repetitive tasks such as the processing of large amounts of data. Also, there is a higher probability of the accurateness of the results processed by AI. In
simple words, AI can contribute to lessening the workload in the public administration and improve public services.
AI surpasses human performance and capacities in many tasks. Nevertheless, some of these tasks still require a ‘human approach’. Technologies
should allow humans to dedicate to other jobs that were not solved before due to the lack of time or resources. In other words, the automation of tasks
– that is to say those that are repetitive, and that can be executed flawlessly and more effectively by an AI system- will allow a person to dedicate their
time to more complex tasks, or to tasks that require human intervention. For example, issuing judicial or administrative decisions go beyond the mere
processing and analysis of greats amounts of data; these type of decisions require a holistic approach (social, legal, human), and will still require human
supervision or intervention. In other words, although the automation of tasks and decisions represents an advantage for the delivery of effective
services, it is still necessary to verify some of the results given by AI, to certify that they follow human values.
Well designed, regulated and properly implemented AI tools, may contribute to improve the effectiveness of public services and to produce more
neutral and transparent public decisions. However, it is necessary to understand how the technology works; its learning capacities; how these
capacities can improve in time; how information is processed; what type of data feeds AI systems, and how this affects the results it produces. The
accuracy and quality of the data; bias and opacity of algorithms; surveillance and oppression; data protection and information security are some of the
challenges that this paper identifies and considers fundamental in the discussions regarding regulation and implementation of AI systems in
governments.
The information that serves as input for AI could be biased, unreliable or inaccurate. This could also be the data helps train AI . AI systems execute a
probabilistic activity, where they collect, classify, evaluate and predict results. That is to say, although it can produce results more accurately than
those of a human, there could be situations where AI will not have a better solution than that given by a human, or it may produce unexpected or
unreliable results. Therefore, if the data that train the AI is not accurate or reliable, there is a likelihood that the results will lack quality, reliability or
even fairness. In these cases, human intervention may be necessary to determine whether the solution given by AI systems represents human values.
Therefore, regarding data automation processes and predictions, it is essential that AI systems use adequate, relevant and accurate data to provide the
proper and desired solutions or predictions. That is to say, that the quality and precision of the data that serves as input to the AI is fundamental to
determine the quality of the probabilistic results. The latter could determine the quality, trust and effectiveness of the solutions sought to solve in
governments.
The learning capacity of algorithms helps improve its analysis, precision, and prediction capacities. Nevertheless, AI can still get ‘confused or make
[10]
mistakes’ . The technology is a work-in-progress, not only because the technology developed fairly recently but also because its algorithms continue
to improve in time. Since AI can produce results that do not represent human values; imprecise or biased outputs; or that produce negative
consequences in society, it is vital to regulate AI accordingly to the applicable legal frameworks, policies or judicial decisions.
The use of facial recognition systems in the private and public sector is increasing; however, its regulation has not been developed yet. Although the
technology is capable of creating patterns and processing large amounts of data, it can be imprecise even in the simple analysis or tasks. Facial
[11]
recognition systems already produced inaccurate or erroneous results . Dealing with imprecise and unregulated systems that use sensitive biometric
data is a concern. As this paper mentioned before, Brazil is already using facial recognition for inspection and security in airports, customs, and cities.
Regulating and creating mechanisms to correct potential failures of the technology should be a priority in the implementation of AI in the public
sector.
It is essential to understand the limitations of this technology, especially when its effects may hinder civil rights and liberties. For example, in the
[12]
State v. Loomis case , the court sentenced Eric Loomis using a commercial AI-tool to determine the risk of reoffending. Mr. Loomis lost his liberty,
and could not challenge the automated decision due to proprietary rights of the risk-assessment algorithms. The limitation of civil rights by AI systems
leads to the need to create measures to contest public decisions that rely on the results produced by this technology. In other words, the use of
algorithms in decision-making processes can affect, unfairly, the rights of citizens; therefore, citizens should have the right to contest and access the
necessary information related to automated public decisions to guarantee due process.
Information security and privacy is also a great challenge for the implementation of AI in the government. There should be more information on the
cybersecurity measures used for protecting the systems itself, and for protecting the integrity, quality and confidentially of the data; especially
personal identifiable information, and sensitive information. On another hand, when discussing privacy and data protection, it is crucial to obtain
legitimate consent for the collection and processing of personal data. In other words, a legitimate and specific consent represents the authorization of
the owner of the information to have its information processed by third parties. To comply with that, there should be enough information to the public
about the collection and handling of such data to legitimize the government’s use of the data to feed AI systems. In other words, governments should
inform the public the purposes or rationale of using the data; and create the measures to allow access to, the analysis, and challenge the information
processed by AI systems.
Finally, the major challenge is to create mechanisms to inform the public about the use and implementation of AI systems, and the measures that will
promote accountability in the public sector. This is even more important when considering that these technologies can potentially affect civil rights
and liberties. As this paper will address next, AI Governance measures based on transparency and accountability could help to build trust in
governments and build trustworthy AI systems.
3. Transparency-related reflections

Discussions about AI ethics need to move forward to regulation, accountability, and transparency. The efforts in making AI less biased do not lessen
[13]
some of the challenges discussed before, such as the dangers of the use of AI as “oppressive and continual mass surveillance” systems; or the inherent
[14]
risks regarding the collection of mass amounts of information and sensitive information such as biometrics .
Governments should be assessed by the effectiveness, quality, publicity, accessibility, and legitimacy of its actions and initiatives. Transparency
allows social participation and accountability as a counterbalance of a government’s power. Broadly, there are two ways – or ‘categories’- for
[15]
governmental transparency and access to information: through proactive and demand-driven instruments. Governments can be proactive by making
available to the public and disseminating, information about a government’s activity; while “demand-driven” refers to the institutional commitment of
responding to a citizen’s requests of information that is not available or accessible. In this sense, there should be a counterbalance from the public to
challenge the criterions –ethical, legal- considered in the process of implementing AI in the public sector. Consequently, proactive and demand-driven
transparency measures could “humanize” the processes where AI intervenes. In other words, creating these measures represents an opportunity to
explain AI in a “human way” so that it encourages the participation and control of civil society.
The lack of regulation could limit due process, and generally, leads to insecurity in automated decisions, and in AI. A way of approaching AI
regulation is by discussing the challenges and limits on the use of these systems, and by creating the mechanisms for transparency and accountability
of governmental entities. Previously, this paper presented some of the challenges of AI systems; this paper lists below some of the transparency and
accountability measures that could contribute to a responsible implementation of AI in the public sector. The measures that this paper presents aims
to promote publicity, accessibility, and legitimacy of the actions and initiatives of governments in the implementation of AI through a) cross-sector
collaboration; b) consented, necessary and reliable data; c) waving trade secrecy: auditable and explainable AI; d) contesting automated public
decisions; e) security and accountability.

a. Cross-sector collaboration

The implementation of AI in the government should be a discussion, as far as possible, open to the public and based on democratic, multidisciplinary
procedures and according to standards based on human rights. The latter could encourage participation, control, and access to information on
innovation processes in the public sector. It is important to view cross-sector collaboration as a virtuous governance model, such as the Internet
Governance multistakeholder model. The multisectoral or cross-sector models help overcome regulation challenges of new technologies. For instance,
it requires the participation of parties that represent different sectors and interests, and that contribute with their experience to create a holistic
approach for this type of processes.
In the delivery of public services, governments should ally themselves with all the stakeholders to achieve full and trustable integration of AI, as is
[16]
the case of the UK Government Industrial Strategy , which takes a cross-sectoral approach to integrate AI into the public. This approach encourages
compliance of regulations and observation of the public and therefore is crucial in AI regulation.
In general, encouraging cross-sector collaboration in the use, creation, and implementation of AI in the public sector could serve for two purposes:
to overcome challenges that require a multisectoral approach; and second, to democratize the integration of AI by including the public interest as a
counterbalance for government power.

b. Consented, necessary and reliable data

Governments should not collect unconsented, unnecessary data or unreliable data. More importantly, governments should not implement unreliable
automation systems or AI that has the potential to limit or restrict rights and liberties. As stated previously, one of the challenges of AI implementation
is that over time, these systems, and particularly algorithms, reflect the inputs – the training data- used to develop such systems. For example, if the
[17]
system’s inputs are biased (regarding gender, race, class ) the outputs will probably reflect such problematic. How can it be assessed the reliability of
the data used in AI that has already been implemented by governments? In other words, what are the actual measures to access to such information,
to try to solve the issue of algorithmic opacity and data reliability of AI systems in the government?
Data protection laws establish the purposes, limits, quality, and types of uses allowed of the data that is collected. The collection of data through this
type of technology should require the express, informed, current, unequivocal consent of the owner of the data. For instance, the ‘mere public notice’
that personal data is being treated is not enough. Thus, given the dangers of mass surveillance, and on another hand, considering the duty of
governments to ensure due process and the rule of law, bypassing the requirement of getting the consent to process information by AI systems is
questionable and should not be the rule. On the contrary, there should be a “right to reject the application of these technologies in both public and
[18]
private contexts” . For instance, Brazil recently approved its general data protection law. Consequently, the Brazilian Government should implement
adequate measures for the treatment of personal data, such as the restriction on the collection of unnecessary, unconsented or unreliable data
through AI systems implemented by governmental entities. How to determine if these measures have been created and implemented for an adequate
treatment of personal data? Through public instruments that allow access to information on the operation of these systems, and on the data collection
process.
c. Waving Trade Secrecy: Auditable and explainable AI

There is a real concern about opacity and biased data that may exacerbate discrimination or contribute to unreliable results. A government agency
should be capable of understanding the possible outcomes of these technologies before implementing them. More importantly, governmental entities
have the responsibility to create all the measures needed to ensure that technologies do not produce adverse effects on society, and does not infringe
human rights.
[19]
Auditing algorithms could help overcome the issue of opaque, discriminatory and biased AI . However, algorithm auditing is not a simple task. To
audit an algorithm, it requires understanding how algorithms work; how they are designed, and more importantly, acknowledge their capacity to
improve or learn in time.
Auditable and explainable AI requires compliance of all the applicable regulations, and consideration of how private and public interests are
weighted, to have access to the necessary information of interest to the public, without unprotecting private interests that may be affected. In that
sense, another significant challenge is ownership rights and trade secrecy of algorithms. In that sense, there are several issues that still need to be
analyzed and answered. For example, who owns the rights over these technologies, and therefore can authorize an audit? Who is responsible for
correcting the undesired outcomes of algorithms? What should be the limits on such audit? Who should conduct such an audit? What type of access
will the auditors have? What type of information will the public have access to?
[20]
Understanding and having access to the ways AI processes information and predicts or delivers outcomes is challenging . How can a solution to
[21]
this problem be addressed? Algorithmic transparency, accountability, and disclosure of code can contribute to the solution. The latter measures
[22]
demand the waiver of trade secrecy and other legal claims to audit AI systems, and assess potentially biased algorithms or contest public decisions.

d. Contesting automated public decisions

As presented before, the mathematical and probabilistic results of AI systems are not always perfect. Perhaps, there will be times when human
decision-making will be better than the decisions made by technology. Unexpected scenarios should open the door to human intervention to audit AI
and to contest automated public decisions.
On the other hand, a full exercise of the right to due process requires access to information. A government that practices active transparency, and
creates an infrastructure that allows access to information regarding automated public decisions will be fundamental in a transparent and accountable
digital government. In other words, it is consistent with due process to open the possibility of exercising a right to contest automated public decisions.
The possibility of challenging automated decisions opens up the possibility of remedying civil rights. It is not the intention of this paper to infer
mistrust in all automated decisions. As presented before, many times, AI systems are capable of producing results more effective, faster and more
accurate than a human produces. However, having access to information to challenge an algorithmic output that resulted in the restriction of civil
rights or liberties is a matter of public interest. Having such access allows the exercise of the right to defense, and consequently the right to due
process. Consequently, in order to contest automated decisions and guarantee due process, it is compulsory the creation of the proper judicial and
procedural mechanisms to audit AI systems and allow human intervention when necessary.

e. Security and accountability

When implementing AI, governments should have an ethical and legal responsibility to inform the public about the origins of the technology. For
example, information such as the legality and legitimacy in obtaining the data to train the algorithms; the human or economic resources and burdens
that contributed to the development of the technology, and information that allows the public to understand the purpose for which the technology
was created. Learning about the history of the systems, the functioning details, and the structure of all the components of technologies such as AI is
[23]
essential to delivering a better audit for full accountability. This is known as a “full stack supply chain“ . Having access to information or details about
AI systems could be relevant to understand the origin of the data that feeds the algorithms; learn the operation of structural components and levels of
protection; understand cybersecurity measures that will prevent unauthorized access to systems and data.
Overall, having access to the history and the details on the operation of AI systems could contribute to accountability by facilitating the measures to
[24]
determining the degree of government compliance with applicable regulations , in either the creation, implementation, or use of the technology. At
the end, an efficient and responsible public administration is not only the one that modernizes its services and carries out tasks in less time; but also
one that improves the lives of its citizens, and improves the efficiency of public services through the use and implementation of tech tools such as AI,
through proper accountability mechanisms.
Considerations

Governments have the responsibility of guaranteeing and protecting rights at all times. Innovation and modernization of the public sector through the
implementation of AI requires the determination of transparency and accountability measures in all the stages and processes from the creation, use,
and implementation of such technology. The use of AI in the government can help improve the efficiency of public services, but regulation before the
implementation should be mandatory.
Ethical debates regarding the use of AI need to move forward to regulation, accountability, and transparency for its implementation in the public
sector. For many years, the discussion on AI focused on the establishment of ethical parameters to address the problems related to this type of
systems. Also, governments should promote publicity, accessibility, and legitimacy of the actions and initiatives regarding the implementation of AI in
the public sector through cross-sector collaboration; waving trade secrecy of algorithms; creating measures to contest automated public decisions to
enforce due process and creating accountability measures based on human rights standards.
Although AI surpasses human capacities in many ways, it also has limitations. Policymakers and governments should acknowledge the latter, and
create the necessary measures to respond to these limitations. That is why regulation and the implementation of AI in government requires cross-
collaboration, to allow cooperation between stakeholders.
Proper regulation of AI is fundamental so that governments can seize the advantages of such technologies. That is where transparency and
accountability can play a significant role. Transparency and accountability serve as a counterbalance for the government’s power on decision-making,
which could contribute to the enforcement of rights.
[25]
Creating barriers to transparency could harm trust in AI. It could also hinder the participation of civil society, and naturally, contribute to the lack
[26]
of trust in governments. Unregulated disruption of technology can harm societies and civil rights. That is why it is crucial creating transparency
measures for the implementation of AI, to ensure the technology is not used to harm civil liberties. A transparent regulation and implementation of AI
in government will help build trust. Establishing clear parameters for AI governance helps to build trust in these technologies; trust in the government,
and contributes to the effectiveness in the delivery of services and policy.
References

AI NOW INSTITUTE. AI Now Report 2018. Available: <https://ainowinstitute.org/AI_Now_2018_Report.pdf> Acessed: 18 May 2022.
BANCO INTERAMERICANO DE DESENVOLVIMENTO. Governos que servem: inovações que estão melhorando a entrega de serviços aos cidadãos.
Available: <https://publications.iadb.org/bitstream/handle/11319/7971/Governos-que-servem-inovacoes-que-estao-melhorando-a-prestacao-de-
servicos-aos-cidadaos.PDF?sequence=8&isAllowed=y> Acessed: 18 May 2022.
BRASIL, PRESIDÊNCIA DA REPÚBLICA. Lei Nº 13.709, de 14 de agosto de 2018. Available: http://www.planalto.gov.br/ccivil_03/_ato2015-
2018/2018/Lei/L13709.htm Acessed: 18 May 2022.
BRASIL, PRESIDÊNCIA DA REPÚBLICA. Lei nº 12.527, de 18 de novembro de 2011. Available: http://www.planalto.gov.br/ccivil_03/_ato2011-
2014/2011/lei/l12527.htm Acessed: 18 May 2022.
BRASIL, Receita Federal. Available: http://idg.receita.fazenda.gov.br/noticias/ascom/2017/novembro/sistema-de-reconhecimento-facial-da-
receita-federal-e-destaque-em-revista-internacional. Acessed: 18 May 2022.
BRASIL, TCE. TCE expõe evolução de ferramentas para controle fiscal e social dos gastos públicos. Available: http://tce.pb.gov.br/noticias/tce-
expoe-evolucao-de-ferramentas-para-controle-fiscal-e-social-dos-gastos-publicos Acessed: 18 May 2022.
IEEE. The IEEE Global Initiative for Ethical Considerations in Artificial Intelligence and Autonomous Systems. Available:
https://standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead_general_principles.pdf Acessed: 18 May 2022.
FOX, J. The uncertain relationship between transparency and accountability. Available: DOI 10.1080/09614520701469955 Acessed: 18 May 2022.
GASSER, U., ALMEIDA, V. 2017. A Layered Model for AI Governance. IEEE Internet Computing 21 (6) (November): 58–62. Available:
DOI:10.1109/mic.2017.4180835. Acessed: 18 May 2022.
JAMBEIRO FILHO, Jorge. Inteligência Artificial no Sistema de Seleção Aduaneira por Aprendizado de Máquina. Available:
https://www.researchgate.net/publication/291353182_Inteligencia_Artificial_no_Sistema_de_Selecao_Aduaneira_por_Aprendizado_de_Maquina
Acessed: 18 May 2022.
KROLL, J. A., HUEY, J….Accountable Algorithms. University of Pennsylvania Law Review, Vol. 165, 2017 Forthcoming; Fordham Law Legal Studies
Research Paper No. 2765268. Available: <https://ssrn.com/abstract=2765268> Acessed: 18 May 2022.
LIU, H.W., LIN, C.F., CHEN, Y.J. Beyond State v. Loomis: Artificial Intelligence, Government Algorithmization, and Accountability. International
Journal of Law and Information Technology, Forthcoming. Available: <https://ssrn.com/abstract=3313916> Acessed: 18 May 2022.
MIKHAYLOV, S.J.; ESTEVE, M.; CAMPION, A. Artificial intelligence for the public sector: opportunities and challenges of cross-sector
collaboration. Published: 06 August 2018. Available: <https://doi.org/10.1098/rsta.2017.0357> Acessed: 18 May 2022.
RASO, F., HILLIGOSS, H…. Artificial Intelligence & Human Rights. Available: <https://cyber.harvard.edu/publication/2018/artificial-intelligence-
human-rights> Acessed: 18 May 2022.
UNITED NATIONS. E-government knowledgebase. Available: <https://publicadministration.un.org/egovkb/en-us/Data/Compare-Countries>
Acessed: 18 May 2022.
After a year of tech scandals our 10 recommendations for AI. Available: <https://medium.com/@AINowInstitute/after-a-year-of-tech-scandals-
our-10-recommendations-for-ai-95b3b2c5e5> Acessed: 18 May 2022.
Amazon Is Pushing Facial Technology That a Study Says Could Be Biased. Available:
<https://www.nytimes.com/2019/01/24/technology/amazon-facial-technology-study.html> Acessed: 18 May 2022.
Artificial Intelligence Hits the Barrier of Meaning. Available: <https://www.nytimes.com/2018/11/05/opinion/artificial-intelligence-machine-
learning.html?fbclid=IwAR0axrbbKo1CD5fBLAGUQA6XneTeeletA9Bk9xOPDUqcZdflPnHXHfdzk30> Acessed: 18 May 2022.
China’s tech giants want to go global. Just one thing might stand in their way. Available: <https://www.technologyreview.com/s/612598/chinas-
tech-giants-want-to-go-global-just-one-thing-might-stand-in-their-way/> Acessed: 18 May 2022.
Decreto que amplia cargos que podem atribuir sigilo ultrassecreto à informação pública é preocupante e contraria a LAI. Available:
<http://artigo19.org/blog/2019/01/24/decreto-que-amplia-cargos-que-podem-atribuir-sigilo-ultrasessecreto-a-informacao-publica-e-
preocupante-e-contraria-a-lai/?fbclid=IwAR1yLWwYkKzTOpw4IODANOaAVu7osalocseISbrT0whU_A4ht-H45_6Ky4c> Acessed: 18 May 2022.
Editor’s letter: China’s technology ambitions—and their limits. Available: <https://www.technologyreview.com/s/612572/editors-letter-chinas-
technology-ambitions-and-their-limits/> Acessed: 18 May 2022.
Face recognition tech presents a surveillance issue and Amazon is running amok. Available:
<https://www.usatoday.com/story/opinion/2019/01/20/face-recognition-surveillance-issue-amazon-google-microsoft-column/2581992002/>
Acessed: 18 May 2022.
Facial’s Recognition Growing Adoption Spurs Privacy Concerns. Available: <https://www.wsj.com/articles/facial-recognition-goes-mainstream-
drawing-concerns-1542623401?fbclid=IwAR04m-ugMsr9rJgXxYFo5gPo7Ec-qK0llosJoP0eb3vrdW5seJOKbIz3heA> Acessed: 18 May 2022.
Machine Learning Confronts the Elephant in the Room. Available: <https://www.quantamagazine.org/machine-learning-confronts-the-elephant-
in-the-room-20180920/?fbclid=IwAR3HT37tpLRfcwUz2xpCeif0GItSiAAnpwHOSCa7X4PHlXO2NoQJHH0O80s> Acessed: 18 May 2022.
Never mind killer robots—here are six real AI dangers to watch out for in 2019. Available: <https://www.technologyreview.com/s/612689/never-
mind-killer-robotshere-are-six-real-ai-dangers-to-watch-out-for-in-2019/?
utm_medium=tr_social&utm_campaign=site_visitor.unpaid.engagement&utm_source=facebook&fbclid=IwAR1lMASPAqy_sDazS24FcvYAub_6qjYU06
BhRmWfHsLtQR0it2t0K1JN90M> Acessed: 18 May 2022.
PM vai testar reconhecimento facial em blocos de carnaval de Copacabana. Available: <https://extra.globo.com/noticias/rio/pm-vai-testar-
reconhecimento-facial-em-blocos-de-carnaval-de-copacabana-23484138.html> Acessed: 18 May 2022.
Suspensão de decreto sobre sigilo evita retrocesso e reforça importância da atuação na defesa da LAI. Available:
<https://artigo19.org/blog/2019/02/28/suspensao-de-decreto-sobre-sigilo-evita-retrocesso-e-reforca-importancia-da-atuacao-na-defesa-da-
lai/> Acessed: 18 May 2022.
Technology Is Biased Too. How Do We Fix It? Available: <https://fivethirtyeight.com/features/technology-is-biased-too-how-do-we-fix-it/>
Acessed: 18 May 2022.
The era of move fast and break things is over. Available: <https://hbr.org/2019/01/the-era-of-move-fast-and-break-things-is-over> Acessed: 18
May 2022.
The Public Is Ready for Government Artificial Intelligence (Contributed). Available: <http://www.govtech.com/opinion/The-Public-Is-Ready-
for-Government-Artificial-Intelligence-Contributed.html> Acessed: 18 May 2022.
The top 10 tech issues for 2019. Available: <https://www.weforum.org/agenda/2019/01/today-in-technology-the-top-10-tech-issues-for-2019>
Acessed: 18 May 2022.
Victory! Illinois Supreme Court Protects Biometric Privacy. Available: <https://www.eff.org/deeplinks/2019/01/victory-illinois-supreme-court-
protects-biometric-privacy?fbclid=IwAR07cKAROuVphlLRKlTqHcGHi3q6QlzK5CxFU63GdszFNbSHBDmgBLgJayc> Acessed: 18 May 2022.

1. Lawyer, Professor and Consultant in Law, Public Policies and Technologies. Founder and Directress of the Duna Institute -Technology and Governance. Ph.D. in Law student from the Federal

University of Ceará (UFC), Brazil. LL.M. in United States Law, and specialization in Intellectual Property and High Tech Laws by the University of Santa Clara (SCU), USA. LL.B. from the University Dr.

José Matías Delgado (UJMD), El Salvador. Email: laura.nathalie.hernandez@gmail.com ↵

2. Banco Interamericano de Desenvolvimento. Governos que servem: inovações que estão melhorando a entrega de serviços aos cidadãos. P. 1-37 ↵

3. IEEE. The IEEE Global Initiative for Ethical Considerations in Artificial Intelligence and Autonomous Systems. Available : <https://standards.ieee.org/content/dam/ieee-

standards/standards/web/documents/other/ead_general_principles.pdf>. ↵

4. Brasil, Receita Federal. Available: <http://idg.receita.fazenda.gov.br/noticias/ascom/2017/novembro/sistema-de-reconhecimento-facial-da-receita-federal-e-destaque-em-revista-

internacional>. ↵

5. ‘Victor’ is a robot that does the work of a judicial clerk, classifies all the court proceedings, and can even suggest to the justices a draft of a vote when there are precedents on the discussed subject

matter. Brasil, Supremo Tribunal Federal. Carmem Lucia anuncia o início de funcionamento do projeto Victor. Available: <http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?

idConteudo=388443>. ↵

6. ‘Turmalina’ is a robot that will use AI to evaluate the transparency portals of the states and municipal agencies. Brasil, TCE. TCE expõe evolução de ferramentas para controle fiscal e social dos

gastos públicos. Available: <http://tce.pb.gov.br/noticias/tce-expoe-evolucao-de-ferramentas-para-controle-fiscal-e-social-dos-gastos-publicos>. ↵

7. PM vai testar reconhecimento facial em blocos de carnaval de Copacabana. Available: https://extra.globo.com/noticias/rio/pm-vai-testar-reconhecimento-facial-em-blocos-de-carnaval-de-

copacabana-23484138.html ↵

8. In Brazil, transparency and accountability are developed in different laws, such as the ‘Access to Information Law’, ‘Marco Civil da Internet’, and a Complementary Law no.101/2000. These laws do

not address transparency and accountability measures in the implementation of AI. ↵

9. Brazil is in the fourth place in the e-government rankings per region (Latin America) and in forty-fourth place, globally. UN e-government knowledgebase. Available:

https://publicadministration.un.org/egovkb/en-us/Data/Compare-Countries ↵

10. Machine learning confronts the elephant in the room. Available : https://www.quantamagazine.org/machine-learning-confronts-the-elephant-in-the-room-20180920/?

fbclid=iwar3ht37tplrfcwuz2xpceif0gitsiaanpwhosca7x4phlxo2noqjhh0o80s ↵

11. Face recognition tech presents a surveillance issue and Amazon is running amok. Available : https://www.usatoday.com/story/opinion/2019/01/20/face-recognition-surveillance-issue-amazon-

google-microsoft-column/2581992002/ ↵

12. Liu, H.W., Lin, C.F., Chen, Y.J. Beyond State v. Loomis: Artificial Intelligence, Government Algorithmization, and Accountability. International Journal of Law and Information Technology,

Forthcoming. Available: https://ssrn.com/abstract=3313916 ↵

13. After a year of tech scandals our 10 recommendations for AI. Available : https://medium.com/@AINowInstitute/after-a-year-of-tech-scandals-our-10-recommendations-for-ai-95b3b2c5e5 ↵

14. Victory! Illinois Supreme Court Protects Biometric Privacy. Available : https://www.eff.org/deeplinks/2019/01/victory-illinois-supreme-court-protects-biometric-privacy?

fbclid=IwAR07cKAROuVphlLRKlTqHcGHi3q6QlzK5CxFU63GdszFNbSHBDmgBLgJayc ↵

15. Fox, J. The uncertain relationship between transparency and accountability. DOI 10.1080/09614520701469955 ↵

16. Mikhaylov, S.J.; Esteve, M.; Campion, A. Artificial intelligence for the public sector: opportunities and challenges of cross-sector collaboration. Available : https://doi.org/10.1098/rsta.2017.0357 ↵

17. According to a study from the MIT Media Lab, Amazon’s system, Recognition, “had much more difficulty in telling the gender of female faces and of darker-skinned faces in photos than similar

services from IBM and Microsoft.” Amazon Is Pushing Facial Technology That a Study Says Could Be Biased. Available : https://www.nytimes.com/2019/01/24/technology/amazon-facial-

technology-study.html ↵

18. AI Now Institute. AI Now Report 2018. Available: https://ainowinstitute.org/AI_Now_2018_Report.pdf p. 4 ↵

19. AI Now Institute. AI Now Report 2018. Available: https://ainowinstitute.org/AI_Now_2018_Report.pdf ↵

20. Kroll, J. A., Huey, J….Accountable Algorithms. University of Pennsylvania Law Review, Vol. 165, 2017 Forthcoming; Fordham Law Legal Studies Research Paper No. 2765268. Available: SSRN:

https://ssrn.com/abstract=2765268 ↵

21. Technology Is Biased Too. How Do We Fix It? Available: https://fivethirtyeight.com/features/technology-is-biased-too-how-do-we-fix-it/ ↵

22. AI Now Institute. AI Now Report 2018. Available: https://ainowinstitute.org/AI_Now_2018_Report.pdf ↵

23. AI Now Institute. After a Year of Tech Scandals, Our 10 Recommendations for AI. Available at: https://medium.com/@AINowInstitute/after-a-year-of-tech-scandals-our-10-recommendations-

for-ai-95b3b2c5e5 ↵

24. China’s tech giants want to go global. Just one thing might stand in their way. Available : https://www.technologyreview.com/s/612598/chinas-tech-giants-want-to-go-global-just-one-thing-

might-stand-in-their-way/ ↵

25. In Brazil, the decree 9.690/2019, proposed to expand number of authorized persons who can impose secrecy on public information. Although the decree was suspended, these type of initiatives

reduce and contradict the general rule for the transparency of public information required by law, and hinders the possibility of the population to participate in the governmental decisions, such as
 the implementation and use of AI in public services. Available: http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/60344275 ↵

26. The era of move fast and break things is over. Available : https://hbr.org/2019/01/the-era-of-move-fast-and-break-things-is-over ↵
10.
Inteligência artificial e o direito autoral: o domínio público em perspectiva

[1]
Luca Schirru

Det. Del Spooner (Will Smith): “Você é apenas uma máquina, uma imitação da vida. Consegue compor uma sinfonia? Um robô consegue pintar um
belo quadro? ”
Sonny (Robô): “Você consegue?”
Det. Del Spooner (Will Smith): “…”
Cena do filme “Eu, Robô”, de 2004, baseado em contos de Isaac Asimov (Dirigido por Alex Proyas. 20th Century Fox).
Introdução

Inteligência artificial, direito autoral, criação, autoria e domínio público não são termos cunhados recentemente, tampouco desconhecidos dos
estudiosos da área: o termo “inteligência artificial” remonta à década de 1950, o direito autoral teve sua primeira regulamentação legal conhecida no
século XVIII e o ato de criar é praticamente impossível de ser rastreado.
[2]
Em 1950, em artigo seminal sobre computação, Alan Turing questionou “podem as máquinas pensar” ? Para fins de introduzir a problemática aqui
proposta, e se valendo do questionamento proposto por Turing, pergunta-se: podem as máquinas criar?
Indo contra os bons costumes atuais, e para fins de melhor contextualizar o objeto do estudo aqui proposto, necessário revelar um breve spoiler do
[3]
que será tratado na primeira parte deste trabalho. O surgimento de sistemas capazes de viabilizar a produção de um novo Rembrandt , ou de elaborar
[4]
roteiros e trilhas sonoras para obras cinematográficas , evidencia a possibilidade do desenvolvimento de produtos dotados de natureza artística e
literária através de sistemas de inteligência artificial.
Contudo, importante questionar: tais produtos fariam jus à tutela jurídica? E a partir de qual ramo do direito?
É exatamente sobre tais questionamentos que será desenvolvida a segunda parte deste artigo, momento onde serão apresentados e analisados os
elementos fundamentais do direito autoral, o ramo do direito responsável pela proteção das “criações do espírito”.
Nessa oportunidade, além de ser apresentada uma breve evolução histórica do direito autoral, será analisada a adequação das normas autorais
vigentes sobre tais produtos. Necessário adiantar a existência de corrente doutrinária que defende a hipótese de que os produtos gerados através de
sistemas de inteligência artificial, ou por quaisquer agentes não-humanos, não fariam jus à proteção autoral por não atender aos requisitos legais
[5]
necessários .
Sob a hipótese acima referenciada, estariam, portanto, os produtos desenvolvidos por agentes não-humanos em domínio público.
E é exatamente a partir dessa hipótese que o presente estudo se desenvolverá, sob a perspectiva de atingir ponto nevrálgico da discussão em torno
da apropriação de produtos desenvolvidos por sistemas de IA pelo direito autoral: estariam tais produtos em domínio público? O que é o domínio
público e qual a sua importância?
Precisamente, são as perguntas acima que irão fundamentar o capítulo central do presente artigo, onde será apresentado e debatido o domínio
público sob a hipótese de se considerar tais produtos ingressos no domínio público de maneira imediata.
Observando a temática que norteou os estudos do Grupo de Pesquisa do Instituto de Tecnologia e Sociedade (ITS) sobre Inteligência Artificial e
Inclusão, questiona-se quais seriam, então, os possíveis efeitos de se considerar a hipótese onde os produtos desenvolvidos através de sistemas de
inteligência artificial não fariam jus à proteção pelo direito autoral?
O tema, por si só, é dotado de tamanha complexidade e, portanto, demandaria um trabalho monográfico exclusivamente dedicado à discussão de
questões tão sensíveis e de caráter indiscutivelmente interdisciplinar.
Portanto, este trabalho, ainda que venha a contribuir com posicionamentos doutrinários distintos e referências à outras disciplinas e/ou temáticas,
se norteará pelo rigor objetivo da análise, respeitando os recortes temáticos acima propostos e restringindo a sua análise à lente do direito autoral,
suas origens e interpretação funcionalizada, de acordo com os parâmetros constitucionais.
Necessário esclarecer que o presente estudo não tem qualquer pretensão de exaurir a questão aqui proposta, mas sim analisar o tema de maneira
crítica, propondo reflexões que deverão ser consideradas quando do debate e definição de um regime de apropriação de produtos desenvolvidos
através de sistemas de inteligência artificial, ainda que se chegue à conclusão que estes não possam ser apropriados, ao menos pelo direito autoral .
1. Sistemas de inteligência artificial e produção intelectual[6]

Hoje, sistemas de inteligência artificial são empregados para os mais variados fins, e nas mais diversas áreas de conhecimento. Por vezes, a sua
[7]
aplicação resulta em produtos, que podem variar desde propostas de planejamentos terapêuticos até roteiros de obras cinematográficas, e demais
produtos de natureza literária ou artística.
Para tratar dos produtos desenvolvidos mediante o emprego de sistemas de inteligência artificial que interessam ao objeto do presente estudo,
valemo-nos aqui de dois exemplos recentes e que possuem natureza cara à disciplina do direito autoral: um produto literário e outro artístico.
[8]
O primeiro exemplo é o do curta metragem intitulado Sunspring. Sunspring é um curta-metragem de ficção científica que ganhou notoriedade no
[9]
festival de filmes Sci-Fi London, ao concorrer em uma categoria onde foi proposto o desafio de produzir um curta em até 48 horas .
[10]
O que mais chamou atenção em Sunspring, e que só foi revelado posteriormente , é que o seu roteiro e a letra de sua trilha sonora haviam sido
[11]
desenvolvidos por meio de um sistema de IA inicialmente conhecido como Jetson, mas que posteriormente se auto denominou de Benjamin , nome
pelo qual passaremos a referenciar esse sistema.
Benjamin é um sistema de inteligência artificial baseado na tecnologia de LSTM (long short-term memory), e sua operação consistiu no estudo de
dezenas de roteiros de filmes Sci-Fi para fins de um aprendizado sobre a formação de palavras, frases e combinações de palavras e frases que fossem
[12]
comuns . Além disso, Benjamin foi “alimentado” com uma biblioteca de trinta mil músicas pop, o que resultou em uma letra de música que viria a ser a
[13]
trilha desse filme .
De outro lado, mas ainda no campo das artes, cumpre trazer ao presente estudo o projeto The Next Rembrandt que, basicamente, consistiu em uma
[14]
proposta de trazer ao mundo uma obra inédita do pintor Rembrandt van Rijn .
Para tanto, foram empregadas diversas ferramentas informáticas, dentre as quais destacam-se algoritmos de reconhecimento facial para apurar
[15] [16]
como Rembrandt tratava a geometria facial de seus retratados , algoritmos de identificação de padrões de textura em suas telas , algoritmos
[17]
baseados em deep learning para melhorar a resolução de suas obras , dentre outros.
Tais tecnologias foram aplicadas e distribuídas em um cuidadoso processo de “criação”, que iniciou com a coleta e estruturação de banco de dados
com informações sobre as obras de Rembrandt até a efetiva fixação da obra, passando por etapas que compreendiam estudos e aplicações de
ferramentas informáticas para reproduzir o estilo de Rembrandt e até mesmo para definir o perfil do retratado padrão do referido artista – desde o seu
[18]
gênero até a posição no qual fora retratado .
Um ponto que é essencial para a análise aqui proposta, é a busca pela identificação do nível de interferência humana no resultado final dos processos
[19]
realizados pelo sistema, o que, em outras palavras, pode ser também relacionado com o grau de autonomia deste .
Ainda, a interferência humana pode ser analisada sob a perspectiva da aprendizagem daquele sistema: quanto mais regras recebidas por um ser
[20]
humano, ou quanto maior o tempo de aprendizagem com um humano , maior seria a interferência humana naquele determinado processo, o que
[21]
poderia refletir, por exemplo, na identificação do responsável por um determinado dano advindo de um sistema de IA .
Mesmo que não tratando de maneira direta a questão da apropriação de produtos desenvolvidos mediante o emprego de sistemas de IA, as
[22]
Disposições de Direito Civil sobre Robótica do Parlamento Europeu contribuem para esta discussão ao relacionar o grau de autonomia de um
sistema e o envolvimento de um instrutor humano no processo de aprendizagem à indicação do sujeito que deverá ser responsabilizado na
eventualidade de um dano causado por sistema de IA. Em um caso onde o sistema de IA/robô tenha maior autonomia e um longo tempo de
[23]
aprendizado com um “professor” humano, maior será a responsabilidade deste último .
No exemplo de Benjamin, observa-se que a aprendizagem se deu muito mais a partir do próprio estudo do material que lhe foi disponibilizado, sendo
[24]
menor o grau de interferência de um “professor” humano. Quanto à sua autonomia , observa-se que, ainda que esta não seja absoluta, uma vez que
[25]
fora programado para produzir um roteiro de curta-metragem, o conteúdo produzido era algo dotado de um alto grau de imprevisibilidade . Em
outras palavras, seria humanamente inviável realizar todas as operações contidas nos algoritmos empregados a fim de se conhecer do conteúdo da
trama que se desenvolveria ao longo do filme, as características dos personagens, os diálogos, dentre outros elementos.
Para o caso ilustrado quando da apresentação do Projeto Next Rembrandt, observa-se que a utilização dos sistemas de IA se deu de maneira bem
mais restritiva do que no exemplo de Benjamin. Em outras palavras, e de maneira bastante metafórica, enquanto que a Benjamin foi concedida certa
“liberdade artística” por parte de seus programadores ao ser submetido a diretrizes mais amplas e estudar uma base com centenas de obras anteriores,
no caso de Rembrandt, a aplicação das tecnologias de IA se deu de forma a atingir um objetivo bastante específico: emular o estilo de Rembrandt a fim
de produzir uma obra relacionável com a sua.
Dessa maneira, observa-se que o alto grau de intervenção humana no processo de criação no último exemplo colacionado influenciou diretamente o
resultado final. Ao contrário do que aconteceu no caso de Benjamin, onde se esperava um roteiro de um curta, mas cujas as informações a respeito de
seu conteúdo eram limitadas à expectativa de texto do gênero Sci-Fi, no caso The Next Rembrandt, a utilização de algoritmos e sistemas de IA se deu
de maneira bastante objetiva, aproximando-se até mesmo da caracterização do uso destes como ferramentas a se atingir um fim esperado: um
resultado previsível, ainda que não completamente.
Em outras palavras: enquanto que no caso Benjamin, a expectativa era por um roteiro do gênero Sci-Fi, a expectativa com o projeto The Next
Rembrandt era: uma pintura com os padrões das pinceladas tais como aquelas empregadas pelo autor original, com o tratamento de luz e sombras
utilizadas por Rembrandt e que visavam retratar um “homem caucasiano, com pelos faciais, com idade entre trinta e quarenta anos, vestindo roupas
[26]
pretas com um colarinho branco e um chapéu, com o rosto direcionado para a direita” .
As diferenças expostas acima evidenciam as diversas formas de utilização dos sistemas de IA no momento de desenvolver produtos de natureza
artística/literária, o que pode interferir, inclusive em seu regime de apropriação. O grau de interferência humana, a autonomia do sistema e a
previsibilidade do resultado podem variar. Não obstante essas diversas maneiras de se utilizar tais sistemas no momento da criação de um produto
intelectual, verifica-se que ambos os casos compartilham de uma característica comum: a criação se deu mediante o emprego de sistemas de IA, e não
de maneira absolutamente autônoma, uma vez que ambos os sistemas foram orientados por regras e instruções transmitidas por um ser humano, seja
em maior ou menor escala de interferência.
2. O direito autoral e a inteligência artificial

Discutir a viabilidade de se considerar um sistema de IA como autor, ou até mesmo titular de direitos exclusivos sob a legislação autoral é tarefa das
mais complexas, pois envolve aspectos não apenas do direito autoral, mas também questionamentos acerca da personalidade jurídica desses agentes, o
que vêm sendo amplamente discutido sob a perspectiva de, por exemplo, questionar o paradigma antropocêntrico que norteia a legislação autoral, e
[27]
civil como um todo .
Para se considerar um sistema de inteligência artificial como um sujeito de direito, a discussão necessariamente deverá passar pelo debate a respeito
da possibilidade ou não de se atribuir a tais sistemas alguma forma de personalidade, seja em formato equiparável às pessoas físicas, pessoas jurídicas
[28]
ou até mesmo sob a existência de uma nova figura, como seria o caso da criação de uma pessoa eletrônica .
Contudo, e considerando a complexidade do tema sob as mais diferentes perspectivas, o presente artigo irá se ater à análise da questão sob a
legislação autoral brasileira, notadamente a Lei nº 9.610/1998 (Lei de Direitos Autorais – LDA).

2.1. Uma breve contextualização histórica

[29]
Em apertada síntese, pode-se afirmar que o direito autoral é o instituto sob o qual são protegidas as “criações do espírito” . Entretanto, nem sempre
foi assim: em determinados períodos históricos, como a Antiguidade, não existia a concepção acerca da possibilidade de apropriação das criações
[30]
intelectuais .
Importante notar que não apenas as criações intelectuais passaram por momentos históricos onde não faziam jus a qualquer tipo de proteção, como
também a própria humanidade enfrentou lamentáveis períodos onde nem todos os seres humanos possuíam os direitos e garantias constitucionais
[31]
mais básicos .
Com o decurso do tempo, e principalmente a partir da criação da imprensa de Gutenberg, no Séc. XV, passou a existir a preocupação com a proteção
dos direitos dos autores, e também dos titulares, sobre uma determinada obra intelectual. A possibilidade de uma reprodução rápida, em larga escala e
[32]
a baixos custos contribuiu para o desenvolvimento da primeira norma legal sobre direitos autorais: o Estatuto da Rainha Ana de 1710 .
A imprensa de Gutenberg contribuiu para a difusão da cultura escrita, o que, por sua vez, acabou por individualizar a obra: a obra passou a ser
[33] [34]
individualizada, imutável em seu conteúdo , o seu autor devidamente identificado e o seu consumo e leitura passaram a se dar individualmente, em
[35]
contraponto a recitação e interpretação de obras para um público, fenômeno comum quando da predominância de uma cultura de caráter oral .
A individualização da obra e a identificação de seu autor criador acabou por consolidar o requisito da originalidade, que era capaz de distinguir
[36]
aquela obra das demais , e que até hoje é elemento central do sistema legal vigente. No Séc. XVIII foi ratificada uma “visão romântica do autor” e da
[37]
obra, sendo aquele considerado um gênio , capaz de criar obras de absoluta originalidade graças a uma inspiração que partia de dentro de si .
A originalidade e a individualização da obra – compreendendo o seu consumo e a sua produção – moldaram as estruturas sobre as quais se sustenta
[38]
o direito autoral contemporâneo , o qual resta exposto em sua obsolescência com o advento de tecnologias como a inteligência artificial, bem como
[39] [40]
de novas formas de autoria surgidas, por exemplo, a partir de obras de caráter colaborativo, como o Software Livre e o Wikipédia .
Uma vez contextualizados historicamente, ainda que de maneira breve, os elementos que sustentam o direito autoral vigente, cumpre agora propor
uma análise da legislação nacional sob a perspectiva de identificar a extensão dos conceitos de autor e obra. Tal análise será fundamental para
questionar a viabilidade da aplicação desse instituto para os produtos desenvolvidos por sistemas de IA.

2.2. O direito autoral no Brasil: elementos fundamentais

A primeira pergunta que pode ser feita é: pode um sistema de inteligência artificial ser considerado um autor?
Para tanto, recorremos à Lei de Direitos Autorais (Lei nº 9.610/1998 – LDA) para buscar argumentos que podem se demonstrar úteis para o
enfretamento dessa problemática. A LDA, em seu art. 11, define que “Autor é a pessoa física criadora de obra literária, artística ou científica.”.
Posteriormente, em seu parágrafo único, o mesmo artigo estabelece que “A proteção concedida ao autor poderá aplicar-se às pessoas jurídicas nos
casos previstos nesta Lei.”. Nesse sentido, poderia ser entendido que uma pessoa jurídica faria jus a posição de autor?
[41]
A resposta, e com apoio na melhor doutrina , seria negativa. O parágrafo único estabelece que o que seria aplicável às pessoas jurídicas em
determinados casos é a proteção concedida ao autor, e não que a pessoa jurídica assumiria a figura de autor de uma determinada obra. Importante
[42]
lembrar que na Lei de Direitos Autorais anterior existia dispositivo legal indicando atribuição de autoria a uma pessoa jurídica .
Hoje, tal interpretação estaria em absoluta contradição com o caput do artigo 11, que estabelece que a condição de autor é exclusiva às pessoas
físicas. Insta ressaltar que a legislação autoral e a Constituição Federal de 1988, ao relacionar prazos de proteção ao tempo de vida do autor, bem como
[43]
ao dispor acerca da possibilidade de sucessão de direitos autorais, permitem a inferência de que estes seriam direcionados às pessoas físicas .
Portanto, o que se pode extrair da interpretação do art. 11 dentro do contexto antropocêntrico garantido pela legislação autoral é o seguinte: para
ser autor, é necessário que o agente (i) seja uma pessoa física, (ii) incorra em ato de criação e (iii) que a sua criação seja uma obra literária, artística ou
científica. Nesse sentido, importante tratar agora do item (iii) e do que vem a compreender o escopo de obra protegida sob o direito autoral.
[44]
Dispõe a LDA que são protegidas pelo direito autoral as “criações do espírito” , e que estas deverão ser expressas por qualquer meio ou fixadas em
[45]
um suporte .
[46] [47]
Dessa maneira, ao entender que a expressão “criações do espírito” demandaria uma imputação por um resultado final , um resultado previsível ,
bem como o fato de que a legislação garante apenas à pessoa física a condição de autor, doutrina relevante em matéria de direito autoral tende a se
[48]
posicionar contra a possibilidade de se considerar como autor um agente não-humano, como é o caso de animais ou máquinas .
[49]
Não obstante, importantes debates e iniciativas normativas sobre a possibilidade de se considerar a existência de uma nova “pessoa” ao se tratar
de robôs que operam sistemas de IA apenas trazem mais complexidade ao tema, que ainda promete acalorados debates em diversas áreas do direito,
dentre elas, o direito autoral.
Uma das variadas hipóteses que surgem a partir do estudo dos regimes de apropriação dos produtos desenvolvidos mediante o emprego de sistemas
de IA é aquela aqui proposta, onde não existiria proteção pelo direito autoral a esses produtos, haja vista o alto grau de imprevisibilidade dos resultados
gerados por tais sistemas e o fato de não existir um autor pessoa física.
Caso tal hipótese venha a ser considerada a mais adequada para lidar com os desafios impostos por essa nova realidade tecnológica, quais seriam os
seus potenciais efeitos? O que estaria compreendido pela expressão “domínio público” e qual o seu papel no direito autoral?
Sobre essas perguntas que o próximo capítulo irá se debruçar.
3. O DOMÍNIO PÚBLICO

3.1. Fundamento Legal

Para melhor responder os questionamentos acima propostos, importante se faz esclarecer o que vêm a ser o domínio público de acordo com a
[50]
legislação autoral. De maneira bastante pragmática, entende-se que a legislação autoral prevê três hipóteses onde uma obra estaria em domínio
[51]
público: (i) quando expirado o prazo de proteção garantido pela legislação autoral, e cuja regra geral está contida no art. 41 da LDA , (ii) quando de
autoria de indivíduos que vieram a falecer sem deixar sucessores e (iii) as obras de autor desconhecido, ressalvados os conhecimentos étnicos e
[52]
tradicionais, que farão jus a proteção legal específica .
Para uma melhor compreensão do que significa afirmar que uma obra estaria em domínio público, é importante retomar a apresentação de
[53]
elementos fundamentais do direito autoral. Os direitos autorais compreendem direitos de caráter moral e direitos de caráter patrimonial .
[54]
Objetivamente, uma vez que não é o intuito do presente trabalho ingressar nos debates mais complexos sobre a natureza jurídica de tais direitos ,
cumpre apresentar a natureza e a extensão de ambos.
Os direitos morais, segundo Souza (2006, p. 150): “resultam da projeção da personalidade do autor na sua obra, que é um produto do espírito,
necessariamente criativo. Justifica-se pela individualidade e pessoalidade impressa na concepção e sua exteriorização”. Tais direitos, de caráter
[55]
irrenunciável e inalienável, encontram regulação na LDA nos arts. 24 até 27 e compreendem o direito de um autor de (i) reivindicar a autoria de sua
obra, (ii) de ter o seu nome, pseudônimo ou sinal convencional indicado em sua obra, na condição de autor, (iii) de se opor a quaisquer alterações em
[56]
sua obra e que sejam capazes de prejudicar sua honra e/ou reputação , dentre outros.
Os direitos patrimoniais, em apertada síntese, são os conhecidos direitos de utilização, e que carregam consigo a possibilidade de exploração
comercial de uma determinada obra. Conforme preceitua o art. 28 da LDA, a utilização, fruição e disposição de obra é direito exclusivo de seu autor.
Dependerá, portanto, de sua autorização prévia e expressa a utilização pelas modalidades elencadas no art. 29 da LDA, que compreendem, mas não se
[57]
limitam à: reprodução parcial ou integral; edição; tradução; adaptação; inclusão em fonograma ou produção audiovisual, dentre outros . Importante
[58]
ressaltar que, ao contrário dos direitos morais, os direitos patrimoniais podem ser licenciados e/ou cedidos para terceiros .
A distinção entre os direitos de natureza moral daqueles de natureza patrimonial é da maior importância para tratar do domínio público, uma vez
que o ingresso da obra no domínio público não cria uma situação onde a obra estaria absolutamente livre de obrigações quando da sua reprodução
[59]
e/ou utilização posterior .
A entrada em domínio público de uma obra faz com que não recaiam mais sobre esta os direitos patrimoniais: em outras palavras, e conforme dispõe
[60]
o art. 14 da LDA , é possível a tradução, arranjo, orquestração ou adaptação de obra em domínio público. Entretanto, não poderá se opor o titular
[61]
desta a outras transformações, desde que não constituam cópia da sua .
Insta alertar que o respeito aos direitos de caráter moral que prevalecem sobre a obra ingressa em domínio público não tem por objetivo restringir
ou reduzir o espaço de utilização livre por parte de um interessado, conforme ensina Barbosa (2012, p.172):

O real efeito do domínio público é a liberdade de utilização da obra intelectual pelo término da exclusividade legal, de maneira que o exercício
do direito pessoal jamais poderia obstaculizar esse efeito. A permanência do respeito ao direito moral atende a interesses diversos, afetos
mesmo à preservação do patrimônio cultural.

3.2. Escopo e Terminologia

De acordo com o que fora exposto acima, observa-se que a LDA dispõe sobre hipóteses onde obras estariam em domínio público. Entretanto, e com
base nos entendimentos de Branco (2011), Ascensão (2008) e Barbosa (2005), cumpre destacar que “domínio público” não se restringiria apenas às
hipóteses legais apresentadas, compreendendo um espectro mais amplo de situações onde a utilização por terceiros poderia se dar sem a autorização
[62]
prévia e expressa de seu autor/titular .
Dentre as diferentes hipóteses elencadas pela doutrina pesquisada, importante destacar uma que se revela da maior importância, e que é
referenciada por Branco (2011, p.215) como obras “que jamais gozaram de proteção nos termos da lei”. A inserção dessa categoria de criações dentro do
[63]
conceito de “obras em domínio público” é também acompanhada por Barbosa (2005) e Ascensão (2008, p. 18), que defende: “não há motivo para não
incluir no domínio público a multidão de obras que nunca gozaram de proteção, como sejam todas aquelas que foram criadas antes de ser estabelecido
o exclusivo autoral”.
Tal contextualização é relevante para o presente estudo, uma vez que existe corrente doutrinária que entende pela impossibilidade de se proteger os
produtos desenvolvidos mediante o emprego de sistemas de IA sob o direito autoral.
Ultrapassadas as questões terminológicas e inerentes extensão do escopo desse conceito, cumpre questionar quais seriam os possíveis efeitos
decorrentes da afirmação que uma obra, ou um produto originário de um sistema de IA, estaria em domínio público? Isso desestimularia o
desenvolvimento de sistemas de IA capazes de promover o desenvolvimento de produtos de caráter intelectual?

3.3. O papel do Domínio Público no processo criativo

Ao tratar do domínio público, observa-se que tal termo é eventualmente associado a uma concepção absolutamente antagônica ao interesse de
mercado, ao incentivo à criação e até mesmo ao próprio direito autoral.
Contrapor o domínio público ao direito autoral não se demonstra verdadeiro, conforme ensina Karin Grau-Kuntz (2012):

A expressão “domínio público” é comumente empregada em contraposição à expressão “direito de autor”. Esgotado o prazo de proteção, a obra
protegida, diz-se, entra no “domínio público”. Assim compreendido, o “domínio público” estaria para o direito de autor em uma relação de
[64]
oposição, o que, por sua vez, pressupõe antagonismo de conteúdo .

Prossegue a autora:

Este raciocínio perderá todo o sentido no momento em que for considerada a premissa de que não há creatio ex nihilo (criação do nada). Esta
visão exige que passemos a compreender a obra intelectual como um produto cultural, i.e., não mais em relação de oposição com o “domínio
[65] [66]
público”, mas em interação com ele .

A compreensão de que não seria possível se criar a partir do nada também é acompanhada por Denis Borges Barbosa (2012) que destaca a existência de
dois grandes pontos sobre os quais se dá a discussão a respeito do domínio público: o interesse social e o processo criativo. Nesse sentido, prossegue o
[67]
autor afirmando que o processo criativo envolveria necessariamente o acesso a obras anteriores, defendendo que a produção criativa “não sai do
nada, mas incorpora, deriva, acresce o conhecimento e a criação anterior”. Nas palavras de Pedro Paranaguá e Sérgio Branco (2009, p. 58-59): “O ser
humano cria a partir de obras alheias, de histórias conhecidas, de imagens recorrentes. Sempre foi assim e sempre será. […]”.
[68]
Portanto, inegável a relação positiva da extensão do Domínio Público e a criação de novas obras, notadamente aquelas de caráter transformativo .
Em seu estudo, Barbosa (2012, p.149) deixa claro o evidente interesse público relacionado ao domínio público, afirmando que “na presença de um
domínio público pujante, os insumos da criação nova serão mais abundantes, menos restritos. Mais fortes serão os veios da nova mineração”. Nessa
mesmíssima esteira, destacamos o entendimento de Branco (2011, p. 57), ao destacar que “quanto mais extenso o domínio público, maior o manancial
para a (re)criação livre”.
Entretanto, ao tratar de produtos desenvolvidos por meio de sistemas de IA, uma preocupação permanece: caso se entenda que tais produtos
estariam imediatamente em domínio público, existiria um impacto negativo no incentivo à criação?

3.4. O Domínio Público e o incentivo à criação

No que se refere especificamente ao “autor” desses produtos, que deveria ser o verdadeiro objeto das ações de incentivo para a contínua criação,
fazemos aqui analogia à reflexão proposta por Branco (2011, p. 59): “se o objetivo conferido pela exclusividade é promover a criação, que criação se
pode esperar de um autor morto?”. Em outras palavras, e em consonância com a temática aqui proposta, que incentivo pode se dar a um ser
inanimado?
Dessa forma, o incentivo não seria necessariamente ao “autor” daquele produto, uma vez que este não está sujeito a incentivos, expectativas e
sentimentos. O incentivo estaria na proteção do investimento e/ou do trabalho empregado pelo desenvolvedor ou responsável por aquele sistema, o
[69]
que, em teoria, não é o objetivo do direito autoral . No que se refere ao último, insta salientar que o trabalho e a expressão promovida pelo
desenvolvedor já seriam reconhecidos pela própria legislação autoral ao conceder a proteção de um software nos moldes da Lei nº 9.609/98.
Outra reflexão importante que merece ser trazida ao presente trabalho é a de Ascensão (2008, p.14), ao lembrar que “não obstante tudo estar no
domínio público, realizaram-se durante milênios criações intelectuais e inventos espantosos. O que por si demonstra que os exclusivos sobre bens
intelectuais não são afinal indispensáveis para o progresso das ciências e das artes”.
Ainda se valendo do entendimento de Ascensão (2008, p.23), o domínio público não deve ser encarado necessariamente como “o cemitério das obras
que perderam interesse”, mas sim como o “espaço de diálogo social livre”. Inclusive, e estabelecendo aqui uma relação com o entendimento de Grau-
Kuntz (2012), merece destaque o pensamento de Barbosa (2005, p.35) de que “não parece haver uma antinomia entre o domínio público e a economia
de mercado”, ao defender que a utilização estratégica do domínio público e os direitos exclusivos garantidos pela lei seria uma valiosa estratégia capaz
de garantir a uma empresa uma vantagem competitiva.
Finalmente, e em perfeita consonância com a relação entre o domínio público e o incentivo à criação, está o interesse público relacionado ao acesso
[70]
à cultura, educação e conhecimento em geral. No que se refere à questão do acesso garantido pelo domínio público à sociedade, merece transcrição
o entendimento de Barbosa (2012, p.148):

Primeiramente, haveria um interesse essencial da sociedade em ter acesso à informação, ciência, cultura e tecnologia. Toda produção que se
afasta do domínio público restringe de alguma forma esse acesso. Se os direitos de exclusão não forem meios eficientes de propiciar a geração
[71]
de novas obras, informações ou técnicas, esse interesse se frustra .

O domínio público seria, então, mais do que a possibilidade de se utilizar uma determinada obra literária, artística ou científica, mas sim o exercício de
[72]
direitos e garantias constitucionalmente previstos, como é o caso do acesso à cultura .
Conclusão

A partir do que foi apresentado, conclui-se que as tecnologias de inteligência artificial chegaram a um estágio onde o seu emprego viabiliza o
desenvolvimento de produtos de interesse da disciplina do direito autoral, tal como ocorreu no caso de Benjamin e no projeto The Next Rembrandt,
onde a utilização de sistemas de inteligência artificial resultou em produtos de natureza literária e artística.
É bem verdade que a aplicação das tecnologias de inteligência artificial se deu de maneira distinta em ambos os exemplos apresentados: no caso de
Benjamin observou-se uma maior “autonomia artística” por parte do sistema de IA, que recebeu instruções mais amplas do que aquelas observadas no
projeto The Next Rembrandt. Com isso, o menor grau de interferência humana no processo de desenvolvimento desse produto intelectual acabou por
garantir ao resultado final um maior nível de imprevisibilidade.
Situação distinta foi verificada quando da análise do projeto The Next Rembrandt. Neste caso, observou-se que o papel da IA foi, basicamente, a
representação do emprego de ferramentas para a persecução de uma finalidade objetiva, inegavelmente dotada de maior previsibilidade do que o outro
exemplo aqui tratado.
O grau de imprevisibilidade de um resultado, a autonomia do sistema de IA, bem como a sua forma de utilização constituem elementos importantes
para debater o regime de apropriação de tais produtos pelo ramo do direito que visa proteger as obras literárias, artísticas e científicas: o direito
[73]
autoral .
Parte da doutrina trata do critério da previsibilidade/determinação do resultado para fins de aferição da titularidade, e até mesmo da tutela pelo
direito autoral, sobre uma determinada criação, apontando que, havendo imputação por um resultado final, poderia se falar em uma autoria por parte
[74]
do programador, que estaria utilizando um sistema de IA como mera ferramenta . Por outro lado, um maior grau de imprevisibilidade do resultado
[75]
final acarretaria em uma dificuldade de se atribuir a autoria e/ou titularidade daquele produto ao programador .
Adicionalmente, para a referida corrente doutrinária, não haveria sequer a possibilidade de se atribuir direitos autorais sobre produtos imprevisíveis
e resultantes de sistemas de IA, até mesmo pelo fato de que estes não seriam resultado do processo criativo de uma pessoa física, não merecendo,
[76]
portanto, proteção autoral os produtos desenvolvidos por agentes não-humanos .
[77]
Não obstante a difusão de importantes debates sobre a possibilidade de se atribuir personalidade a um robô dotado de um sistema de IA , inclusive
[78]
em uma seara regulatória , o que se observa é que a disciplina do direito autoral se desenvolveu sobre a figura do autor humano, tendo sido ratificada
a individualidade da obra, sua criação e seu consumo, bem como o requisito de originalidade, e que até hoje serve como elemento estruturante para o
[79]
direito autoral vigente .
[80]
O paradigma antropocêntrico é refletido até mesmo pela legislação autoral vigente, que atribui a autoria apenas à pessoa física, e relaciona a obra
ao conceito de “criação de espírito”, o que reforça o argumento da corrente doutrinária que defende a impossibilidade de proteção dos produtos
desenvolvidos por meio de sistemas de inteligência artificial pelo direito autoral.
Partindo de tais pressupostos, e considerando que estariam os produtos desenvolvidos por meio de sistemas de IA em domínio público, fez-se
necessária a abordagem do instituto do domínio público, sob a perspectiva não só de apresentar o seu fundamento legal, mas também de compreender
o seu escopo, a fim de propor reflexões sobre possíveis efeitos advindos do acolhimento da hipótese aqui tratada.
[81] [82]
Observou-se que o domínio público não é o antônimo de proteção autoral nem pode ser considerado como uma exceção ou uma aberração do
sistema legal, muito pelo contrário. Com fundamento na melhor doutrina, pode-se defender que o domínio público nada mais é do que a situação
[83]
normal das obras, e a exclusão a sua exceção .
Questionou-se também a assunção absoluta do argumento de que o domínio público seria inverso aos interesses de mercado, que este poderia vir a
constituir um desincentivo ao desenvolvimento de novas criações.
Nessa esteira, é importante lembrar que o domínio público existia anteriormente à criação de um sistema de atribuição de direitos exclusivos e nem
[84]
por isso deixou-se de criar . Adicionalmente, a combinação de domínio público com uma gestão estratégica de direitos exclusivos poderia estar em
[85]
perfeita consonância com os interesses privados dos titulares de direito .
Mais que isso, o domínio público serve ao interesse público, privilegia o acesso à cultura, à informação e ao conhecimento, ao mesmo tempo que
[86]
subtrai eventuais entraves jurídicos que desmotivariam criadores .
Se por um lado argumenta-se a respeito de um hipotético desincentivo de ordem patrimonial aos desenvolvedores de sistemas de IA ao proibir a
[87]
apropriação dos resultados gerados por seus sistemas, de outro lado teríamos a efetiva expansão de um espaço de criação , retomando as palavras de
Sérgio Branco (2011, p. 57): “quanto mais extenso o domínio público, maior o manancial para a (re)criação livre”.
Fica a provocação: afirmar que um produto desenvolvido por meio do emprego de um sistema de IA mereceria proteção pelo direito autoral sob o
argumento da proteção aos investimentos realizados na criação do sistema de IA, bem como dos lucros esperados com a exploração de seus
resultados, estaria de acordo com as estruturas fundamentais e teorias sobre as quais foi erguido esse ramo do direito?
Ainda que se cogite a possibilidade de tutela de tais produtos pelo direito autoral, questiona-se: estariam todos os produtos de caráter intelectual e
desenvolvidos por meio de sistemas de IA protegidos? Ou o tratamento legal se daria de acordo com alguns critérios, tais como: nível de interferência
humana, autonomia do sistema e previsibilidade do resultado final?
Frente aos recentes desenvolvimentos tecnológicos e o constante rompimento de paradigmas que vem sofrendo o direito autoral, questionando seus
[88]
elementos fundamentais e que até então eram aceitos sem maiores críticas, como é o caso da autoria , a única certeza que se tem é que o tema está
longe de ser solucionado de maneira pacífica, de forma a abarcar os interesses do autor, dos titulares e da sociedade, ajustando-se, ou não, ao direito
[89]
autoral como hodiernamente compreendido .
Referências bibliográficas:

ABRÃO, E. Y. Comentários à lei de direitos autorais e conexos: Lei 9610/98 com as Alterações da Lei 12.853/2013, e jurisprudência dos Tribunais
Superiores. Rio de Janeiro: Lumen Juris, 2017. 352p.
ASCENSÃO, José de Oliveira. A questão do domínio público. In: WACHOWICZ, Marcos; SANTOS, Manoel Joaquim Pereira dos. Estudos de Direito de
Autor e Interesse Público: Anais do II Congresso de Direito de Autor e Interesse Público. Fundação Boiteux. Florianópolis. 2008. Disponível
em: http://www.direitoautoral.ufsc.br/arquivos/anais_na_integra.pdf. Acesso em 29 ja, 2019.
ASCENSÃO, José de Oliveira. Direito Autoral. 2. Ed., ref. e ampl. Rio de Janeiro: Renovar, 1997. 762 p.
ASCENSÃO, José de Oliveira. Fundamento do Direito Autoral como Direito Exclusivo. Manuscrito, 2007.
BARBOSA, Denis Borges. Domínio Público e Patrimônio Cultural. In: ADOLFO, Luiz Gonzaga e WACHOWICZ, Marcos (coord.), Direito da Propriedade
Intelectual: estudos em homenagem ao Pe. Bruno Jorge Hammes. Curitiba: Juruá, 2006. Texto de 2005, disponível em:
http://denisbarbosa.addr.com/bruno.pdf. Acesso em: 29 jan. 2019.
BARBOSA, Denis Borges. O Domínio do Público. Revista Eletrônica do IBPI. N. 6. 2012. Pp.143-183.
BARBOSA, Denis Borges. MAIOR, Rodrigo Souto. RAMOS, Carolina Tinoco. Contributo Mínimo na Propriedade Intelectual: Atividade Inventiva,
Originalidade, Distinguibilidade e Margem Mínima. São Paulo: Lumen Juris, 2010.
BRANCO, Sérgio. O domínio público no direito autoral brasileiro: Uma Obra em Domínio Público. Editora Lumen Juris: Rio de Janeiro, 2011.
BRANCO, Sérgio. A natureza jurídica dos direitos autorais. Civilistica.com. Rio de Janeiro, a. 2, n. 2, abr.-jun./2013. Disponível em:
<http://civilistica.com/a-natureza-juridica-dos-direitosautorais/>. Acesso em: 07 ago. 2017.
BRASIL. Lei Nº 5.988, de 14 de dezembro de 1973. Regula os direitos autorais e dá outras providências. Brasília, DF
BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF.
BRASIL. Lei Nº 9.610 , de 19 de Fevereiro de 1998. Altera, atualiza e consolida a legislação sobre direitos autorais e dá outras providências. Brasília, DF.
CARBONI, Guilherme. Direito Autoral e Autoria Colaborativa na Economia da Informação em Rede. São Paulo. Quartier Latin. 2010.
CARBONI, Guilherme. Direito Autoral, Diversidade das Expressões Culturais e Pluralidade de Autorias. In: Direito da Propriedade Intelectual, Vol II:
estudos em homenagem ao Pe. Jorge Hammes (Org. por Luiz Gonzaga Silva Adolfo e Marcos Wachowicz). Curitiba: Juruá. 2014. P.137-150.
CARBONI, Guilherme. Direitos Autorais e Novas formas de autoria: processos interativos, meta-autoria e criação colaborativa. Revista de Mídia e
Entretenimento do IASP. Ano I, Vol I. Coordenação de Fábio de Sá Cesnik e José Carlos Magalhães Teixeira Filho. Jan-Jun. 2015.
CASTRO JÚNIOR, Marco Aurélio de. Direito e Pós-Humanidade. Quando os Robôs serão sujeitos de Direito. Curitiba. Editora Juruá. 2013.
CHAVES, Antônio. Criador da Obra Intelectual. Direito de Autor: Natureza, Importância e Evolução. São Paulo. Editora LTr. 1995.
CHOISY, Stéphanie. Le Domaine Public en Droit d’Auteur. Paris: Litec, 2002 apud BRANCO, 2011.
DAVIES, Colin R. An evolutionary step in intellectual property rights – Artificial Intelligence and Intellectual Property. Computer Law & Security
Review. Vol 27. 2011. Pp. 601-619.
GUARIZI, Débora Deflim; OLIVEIRA, Eliane Vendramini. Estudo da Inteligência Artificial aplicada na área da saúde. Colloquium Exactarum, vol. 6,
n. especial, Jul-Dez, 2014, p. 26-37.
GRAU-KUNTZ, Karin. Domínio público e Direito de Autor: Do requisito da originalidade como contribuição reflexivo-transformadora. Revista
Eletrônica do IBPI. N. 6. 2012. Disponível em: https://ibpieuropa.org/book/revista-eletronica-do-ibpi-nr-6. Acesso em: 29 jan. 2019.
JASZI, Peter. Toward a theory of copyright: The metamorfoses of “Autorship”. Duke Law Journal, Vol. 1991, n. 2 (Apr., 1991), pp. 455-502
LEMOS, Ronaldo. Direito, Tecnologia e Cutltura. Rio de Janeiro: Editora FGV, 2005. 212p
LÉVY, Pierre. Cibercultura. Tradução de Carlos Irineu da Costa. 3ª ed. São Paulo: Editora 34, 2010.
MANS, Matheus. Curta-metragem ‘Suspring’ é o primeiro do mundo a ser escrito por sistema de algoritmos. Estadão. 23 de junho de 2016. Disponível
em: Disponível em: https://cultura.estadao.com.br/noticias/cinema,curta-metragem-sunspring-e-o-primeiro-do-mundo-a-ser-escrito-por-
sistema-de-algoritmos,10000058729. Acesso em: 29 jan. 2019.
NEWITZ, Annalee. Movie written by algorithm turns out to be hilarious and intense. Ars Technica. 06 de setembro de 2016. Disponível em:
https://arstechnica.com/gaming/2016/06/an-ai-wrote-this-movie-and-its-strangely-moving/?
utm_source=fark&utm_medium=website&utm_content=link. Acesso em: 29 jan. 2019.
O GLOBO. Inteligência artificial faz roteiro para filme e trapaceia em festival. O Globo. 10 de junho de 2016. Disponível em:
https://oglobo.globo.com/cultura/filmes/inteligencia-artificial-faz-roteiro-para-filme-trapaceia-em-festival-19479081. Acesso em: 29 jan. 2019.
PARANAGUÁ, P.; BRANCO, S. Direitos Autorais. 1ª ed. Rio de Janeiro: Editora FGV. 2009. 144p.
PARLAMENTO EUROPEU. Disposições de Direito Civil sobre Robótica. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017, que contém
recomendações à Comissão sobre disposições de Direito Civil sobre Robótica (2015/2103(INL)). Disponível em:
http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//NONSGML+TA+P8-TA-2017-0051+0+DOC+PDF+V0//PT. Acesso em 26 jan. 2018.
RAMOS, C.R. Contributo mínimo em direito de autor: o mínimo grau criativo necessário para que uma obra seja protegida; contornos e tratamento
jurídico no direito internacional e no direito brasileiro. Dissertação apresentada como requisito parcial para obtenção do título de Mestre, ao Programa
de Pós-Graduação em Direito, da Universidade do Estado do Rio de Janeiro. Área de concentração: Direito Internacional e Integração Econômica. Rio
de Janeiro, 2010. 211fl.
REINO UNIDO. Copyright, Designs and Patents Act 1988 (Chapter 48, incorporating amendments up to the Digital Economy Act 2017). Disponível em:
http://www.wipo.int/wipolex/en/text.jsp?file_id=474030. Acesso em: 16 jun. 2022.
SASS, Liz Beatriz. Autoria na sociedade informacional: fim do gênio criador? In: WACHOWICZ, Marcos (Coord.). Direito Autoral & Marco Civil da
Internet. Curitiba. GEDAI. 2015. pp.79-107.
SCHIRRU, Luca. A Inteligência Artificial e o Big Data no Setor da Saúde: Os Sistemas Especialistas e o Direito. PIDCC, Aracaju, Ano V, Volume 10 nº 03,
p.081 a 099 Out/2016. Disponível em: www.pidcc.com.br. Acesso em: 16 jun. 2022.
SOUZA, Allan Rocha de. Direitos morais do autor. Civilistica.com. Rio de Janeiro, a. 2, n. 1, jan.-mar./2013. Disponível em:
http://civilistica.com/direitos-morais-autor/. Acesso em: 16 jun. 2022.
SOUZA, Carlos Affonso Pereira de. O debate sobre personalidade jurídica para robôs:Errar é humano, mas o que fazer quando também for robótico?
Disponível em: https://www.jota.info/opiniao-e-analise/artigos/o-debate-sobre-personalidade-juridica-para-robos-10102017. Acesso em: 16 jun.
2022.
TURING, Alan M. Computing Machinery and Intelligence. Mind. Vol. 49. 1950. Pp. 433-460.
WOODMANSEE, Martha. The Genius and the Copyright: Economic and Legal Conditions of the Emergence of the “Author”. Eighteenth-Century
Studies, Vol. 17, No. 4. Special Issue: The Printed Word in the Eighteenth Century. The John Hopkins University Press. 1984. pp. 425-448.
Projeto The Next Rembrandt. Disponível em: https://www.nextrembrandt.com. Acesso em: 16 jun. 2022.
Curta-metragem “Sunspring”. Disponível em: https://www.youtube.com/watch?v=LY7x2Ihqjmc. Acesso em: 16 jun. 2022.
Caso Dred Scott. Disponível em: https://www.law.cornell.edu/supremecourt/text/60/393. Acesso em: 16 jun. 2022.
Caso Dred Scott. Disponível em: https://pt.wikipedia.org/wiki/Caso_Dred_Scott. Acesso em: 16 jun. 2022.

1. Advogado especializado em Direito da Propriedade Intelectual (PUC-RJ). Mestre e Doutorando em Políticas Públicas, Estratégias e Desenvolvimento (Área de Concentração: Inovação, Propriedade

Intelectual e Desenvolvimento) (PPED-IE-UFRJ). Pesquisador do INCT Proprietas. Professor convidado do curso de pós-graduação em Direito da Propriedade Intelectual da PUC-RJ. Professor

assistente na Universidade Positivo. Professor convidado do curso de pós-graduação em Direito Empresarial da ABDConst. Membro do Grupo de Pesquisa em Inteligência Artificial e Inclusão do

ITS. E-mail: schirru@schirru.adv.br ↵

2. Turing, 1950. ↵

3. Mais informações em: https://www.nextrembrandt.com/. ↵

4. Filme disponível em: https://www.youtube.com/watch?v=LY7x2Ihqjmc. ↵

5. Importante destacar que existem estudiosos que vêm se dedicando a importantes estudos sobre a possibilidade de criação de um novo conceito de pessoa para robôs e, por conseguinte para

sistemas de inteligência artificial, o que certamente terá implicações relevantes no direito autoral. Sobre o tema da possibilidade de Robôs assumirem a posição de sujeitos de direito: CASTRO

JÚNIOR, Marco Aurélio de. Direito e Pós-Humanidade. Quando os Robôs serão sujeitos de Direito. Curitiba. Editora Juruá. 2013. ↵

6. Utiliza-se aqui o termo “produção intelectual” dada a natureza dos produtos que são desenvolvidos mediante o emprego dessas tecnologias, no caso: uma criação de caráter literário e outra de

caráter artístico. ↵

7. Guarizi e Oliveira, 2014. Em trabalho anterior, foram estudadas algumas das aplicações das tecnologias da IA na Medicina, mais informações em Schirru, 2016. ↵

8. Material disponível em: https://www.youtube.com/watch?v=LY7x2Ihqjmc. ↵

9. Mans, 2016. ↵

10. O Globo, 2016. ↵

11. Conforme extraído de Newitz, 2016: “What's next for you? Here we go. The staff is divided by the train of the burning machine building with sweat. No one will see your face. The children reach into

the furnace, but the light is still slipping to the floor. The world is still embarrassed. The party is with your staff. My name is Benjamin.” ↵

12. Newitz, 2016. ↵

13. O Globo, 2016. ↵

14. Para maiores informações a respeito do projeto, acessar: https://www.nextrembrandt.com/. ↵

15. Disponível em: https://www.nextrembrandt.com/chapter01. ↵

16. Disponível em: https://www.nextrembrandt.com/ ↵

17. Disponível em: https://www.nextrembrandt.com/. ↵

18. Disponível em: https://www.nextrembrandt.com/. ↵

19. Em Parlamento Europeu, 2017. ↵

20. Parlamento Europeu, 2017. ↵

21. Para mais informações a respeito de questões envolvendo responsabilidade civil e IA, recomenda-se o acesso a Parlamento Europeu, 2017. ↵

22. Parlamento Europeu, 2017. ↵

23. Parlamento Europeu, 2017, p.16: “esta deve ser proporcionada em relação ao nível efetivo de instruções dadas ao robô e ao nível da sua autonomia, de modo a que quanto maior for a capacidade de

aprendizagem ou de autonomia de um robô, e quanto mais longa for a «educação» do robô, maior deve ser a responsabilidade do «professor»;” ↵

24. Parlamento Europeu, 2017, p. 5: “Considerando que a autonomia de um robô pode ser definida como a capacidade de tomar decisões e de as aplicar no mundo exterior, independentemente do

controlo ou da influência externa; considerando que esta autonomia é de natureza puramente tecnológica e que o seu grau depende do modo como o nível de sofisticação da interação do robô com

o seu ambiente foi concebido;” ↵

25. Aqui o termo “imprevisibilidade” não deve ser encarado de maneira absoluta, de maneira a se interpretar que um produto desenvolvido mediante o emprego de um sistema de IA seria algo

misterioso, quase que místico em seu conteúdo. A imprevisibilidade estaria relacionada ao fato de que seria humanamente inviável realizar todas as operações matemáticas contidas em um

determinado algoritmo, de maneira a se prever qual seria o conteúdo resultante de tais operações. ↵

26. Tradução livre de trecho disponível em: https://www.nextrembrandt.com/. ↵

27. Para um maior aprofundamento sobre o tema, recomenda-se a leitura de CASTRO JÚNIOR, Marco Aurélio de. Direito e Pós-Humanidade. Quando os Robôs serão sujeitos de Direito. Curitiba.

Editora Juruá. 2013. ↵

28. Em Parlamento Europeu, 2017, p.17: “Insta a Comissão a explorar, analisar e ponderar, na avaliação de impacto que fizer do seu futuro instrumento legislativo, as implicações de todas as soluções

jurídicas possíveis, tais como: [...] Criar um estatuto jurídico específico para os robôs a longo prazo, de modo a que, pelo menos, os robôs autónomos mais sofisticados possam ser determinados

como detentores do estatuto de pessoas eletrônicas responsáveis por sanar quaisquer danos que possam causar e, eventualmente, aplicar a personalidade eletrônica a casos em que os robôs tomam

decisões autónomas ou em que interagem por qualquer outro modo com terceiros de forma independente;” ↵

29. Lei nº 9.610/1998: “Art. 7º São obras intelectuais protegidas as criações do espírito, expressas por qualquer meio ou fixadas em qualquer suporte, tangível ou intangível, conhecido ou que se invente
 no futuro[...]” ↵

30. Carboni, 2010. ↵

31. A humanidade passou por períodos lamentáveis onde seres humanos, por sua origem, cor de pele, ou outra característica, eram tratados como propriedade de outrem, não possuindo as garantias

constitucionais, tal como o reconhecimento desse ser humano como uma pessoa capaz de exercer direitos a assumir deveres em uma sociedade, conforme observado da decisão do caso Dred Scott

de 1857, pela Suprema Corte dos Estados Unidos da América. Para mais informações sobre o caso, recomenda-se a leitura dos seguintes links:

https://www.law.cornell.edu/supremecourt/text/60/393 / https://pt.wikipedia.org/wiki/Caso_Dred_Scott. ↵

32. Howard, 1995; Carboni, 2010. ↵

33. Carboni, 2010. ↵

34. Sass, 2016. ↵

35. Carboni, 2010. ↵

36. Carboni, 2010. ↵

37. Carboni, 2010; Woodmansee, 1984, ao analisar Wordworth, 1815. ↵

38. Carboni, 2014. ↵

39. Além das novas formas de autoria estudadas por Carboni (2010; 2014 e 2015), chama-se atenção para a figura do “engenheiro de mundos” introduzida por Lévy (2010, p. 147): “O engenheiro de

mundos surge, então, como o grande artista do século XXI. Ele provê as virtualidades, arquiteta os espaços de comunicação, organiza os equipamentos coletivos da cognição e da memória, estrutura

a interação sensório-motora com o universo dos dados. [...] A World Wide Web, por exemplo, é um mundo virtual que favorece a inteligência coletiva. Seus inventores – Tim Bernes Lee e todos

aqueles que programaram as interfaces que nos permitem navegar na Web – são engenheiros de mundos. Os inventores de programas para trabalho ou aprendizagem cooperativa, os criadores de

videogames, os artistas que exploram as fronteiras dos dispositivos interativos ou dos sistemas de televirtualidade também são engenheiros de mundos.” ↵

40. Lemos, 2005; Carboni, 2010. ↵

41. Chaves, 1995, p. 199: “A qualidade de autor pertence às pessoas físicas, visto serem as que têm faculdades de criar, avaliar e sentir. Seria contrário à própria natureza das coisas atribuir a qualidade

de autor de uma obra intelectual a uma pessoa jurídica”. Abrão, 2017, p.89: “Pessoas jurídicas são titulares – e não autoras – de obras intelectualmente protegidas, fato esse reforçado pela disposição

contida no inciso XIV do art. 5º da LDA.” ↵

42. Lei nº 5.988/73: “Art. 15. Quando se tratar de obra realizada por diferentes pessoas, mas organizada por empresa singular ou coletiva e em seu nome utilizada, a esta caberá sua autoria.” ↵

43. Lei de Direitos Autorais (Lei nº 9.610/1998): “Art. 24. São direitos morais do autor: I - o de reivindicar, a qualquer tempo, a autoria da obra; II - o de ter seu nome, pseudônimo ou sinal convencional

indicado ou anunciado, como sendo o do autor, na utilização de sua obra; III - o de conservar a obra inédita; IV - o de assegurar a integridade da obra, opondo-se a quaisquer modificações ou à

prática de atos que, de qualquer forma, possam prejudicá-la ou atingi-lo, como autor, em sua reputação ou honra; [...]§ 1º Por morte do autor, transmitem-se a seus sucessores os direitos a que se

referem os incisos I a IV.[...] Art. 41. Os direitos patrimoniais do autor perduram por setenta anos contados de 1° de janeiro do ano subsequente ao de seu falecimento, obedecida a ordem sucessória

da lei civil.”. Na Constituição Federal de 1988: “Art. 5º Todos são iguais perante a lei, sem distinção de qualquer natureza, garantindo-se aos brasileiros e aos estrangeiros residentes no País a

inviolabilidade do direito à vida, à liberdade, à igualdade, à segurança e à propriedade, nos termos seguintes: [...] XXVII - aos autores pertence o direito exclusivo de utilização, publicação ou

reprodução de suas obras, transmissível aos herdeiros pelo tempo que a lei fixar;” ↵

44. A respeito do termo “criações do espírito”, importante destacar que a interpretação recomendada, sob o risco de se entrar em um debate de natureza teológica, é no sentido de “espírito” se referir

ao animus de criar algo, à imputação pelo resultado final, conforme defendido por Ramos (2010). Sobre o debate a respeito de uma possível interpretação sob uma lente teológica de tal termo,

recomenda-se a leitura de Davies, 2011. ↵

45. Lei de Direitos Autorais (Lei nº 9.610/1998): “Art. 7º São obras intelectuais protegidas as criações do espírito, expressas por qualquer meio ou fixadas em qualquer suporte, tangível ou intangível,

conhecido ou que se invente no futuro [...]” ↵

46. Ramos, 2010. ↵

47. Ascensão, 1997, pp. 663-664: “Se o resultado final é previsível e quem opera o computador se dirige à caracterização de uma determinada ideia criadora – o vínculo de autoria individual não é posto

em causa. [...] O resultado não deixa de ser previsto e intencionalmente prosseguido pelo operador. Este e só este é o autor, e as regras normais da autoria não são afetadas. III – Diferente é a

situação quando se atinge um grau de indeterminação que escapa a todo o controle ou previsão do operador. Isto é tornado possível através de programas adequados. O operador pode programar a

produção de um resultado cujos parâmetros determina, mas não pode prever o conteúdo desse mesmo produto. [...] Neste caso, é de sustentar que sobre as obras assim produzidas não recai direito

de autor. Este pressupõe necessariamente a criação humana, e por isso se prolonga através de um direito moral ou pessoal de autor.” ↵

48. Ascensão, 1997. ↵

49. Importante destacar aqui o entendimento de Carlos Affonso de Souza (2017) sobre a proposta de criação das pessoas eletrônicas pelo Parlamento Europeu: “Vale questionar, de início, se a solução

de se conceder uma personalidade jurídica seria mesmo a resposta adequada. No cenário europeu, impulsionado por indagações sobre responsabilidade, a questão da personalidade aparece muito

mais ligada à construção de um mecanismo de reparação à vítima de danos do que como resultado de uma discussão mais aprofundada sobre o que é um robô inteligente e seu estatuto jurídico de

forma mais abrangente.” ↵

50. Defende a melhor doutrina a existência de outras hipóteses de obras em domínio público que não aquelas expressamente relacionadas em nossa legislação. Para um maior aprofundamento do tema,

recomenda-se a leitura de Barbosa (2005), Ascensão (2008) e Branco (2011). ↵

51. Lei de Direitos Autorais (Lei nº 9.610/1998): “Art. 41. Os direitos patrimoniais do autor perduram por setenta anos contados de 1° de janeiro do ano subsequente ao de seu falecimento, obedecida a

ordem sucessória da lei civil. Parágrafo único. Aplica-se às obras póstumas o prazo de proteção a que alude o caput deste artigo.”. ↵

52. As hipóteses elencadas no item (ii) e (iii) estão previstas no art. 45 da LDA. ↵

53. Lei de Direitos Autorais (Lei nº 9.610/1998): “Art. 22. Pertencem ao autor os direitos morais e patrimoniais sobre a obra que criou.” ↵

54. Existe um relevante debate na doutrina sobre a natureza jurídica dos direitos morais. Enquanto parte da doutrina defende que tais direitos seriam caracterizados como direitos de personalidade,

outros autores defendem que tais direitos teriam natureza de direitos pessoais, e não direito de personalidade. Para mais informações sobre esse importante debate, recomenda-se a leitura de

Souza (2006; 2013) e Branco (2013). ↵

55. Lei de Direitos Autorais (Lei nº 9.610/1998): “Art. 24. São direitos morais do autor: I - o de reivindicar, a qualquer tempo, a autoria da obra; II - o de ter seu nome, pseudônimo ou sinal convencional

indicado ou anunciado, como sendo o do autor, na utilização de sua obra; III - o de conservar a obra inédita; IV - o de assegurar a integridade da obra, opondo-se a quaisquer modificações ou à

prática de atos que, de qualquer forma, possam prejudicá-la ou atingi-lo, como autor, em sua reputação ou honra; V - o de modificar a obra, antes ou depois de utilizada; VI - o de retirar de

circulação a obra ou de suspender qualquer forma de utilização já autorizada, quando a circulação ou utilização implicarem afronta à sua reputação e imagem; VII - o de ter acesso a exemplar único

e raro da obra, quando se encontre legitimamente em poder de outrem, para o fim de, por meio de processo fotográfico ou assemelhado, ou audiovisual, preservar sua memória, de forma que cause

o menor inconveniente possível a seu detentor, que, em todo caso, será indenizado de qualquer dano ou prejuízo que lhe seja causado.§ 1º Por morte do autor, transmitem-se a seus sucessores os

direitos a que se referem os incisos I a IV.§ 2º Compete ao Estado a defesa da integridade e autoria da obra caída em domínio público. § 3º Nos casos dos incisos V e VI, ressalvam-se as prévias
 indenizações a terceiros, quando couberem.” ↵

56. Art. 24 da Lei de Direitos Autorais. ↵

57. O art. 29 da Lei de Direitos Autorais, em seu inciso X deixa claro o caráter exemplificativo das modalidades de utilização, ao destacar o seguinte “X – quaisquer outras modalidades de utilização

existentes ou que venham a ser inventadas.” ↵

58. Art. 49 da Lei de Direitos Autorais. ↵

59. Conforme bem destaca Barbosa (2012, pp.160-161) sobre o momento histórico onde o domínio público passa a ser objeto da análise pelo direito: “A noção de domínio público foi utilizada no Século

XIX para combater a tese de uma propriedade perpétua, definindo-se o Direito de Autor como uma propriedade de natureza diferenciada. Por que tanta preocupação recente com o domínio

público? A questão se torna um objeto de pensamento quando surge na história do direito o limite ao uso livre das criações. [...] Desta feita, como objeto de análise do direito, o domínio público

criativo surge ao mesmo tempo em que aparecem os direitos de exclusão sobre as criações expressivas e tecnológicas”. [Nota do Original]: “Obviamente, as categorias relativas às res communis

omnium e outros espaços interditos à apropriação privada precedem a história dos direitos da propriedade intelectual. Fala-se aqui do domínio público autoral, tecnológico etc.” ↵

60. Lei de Direitos Autorais (Lei nº 9.610/1998). “Art. 14. É titular de direitos de autor quem adapta, traduz, arranja ou orquestra obra caída no domínio público, não podendo opor-se a outra adaptação,

arranjo, orquestração ou tradução, salvo se for cópia da sua.”. ↵

61. Art. 14 da Lei de Direitos Autorais. ↵

62. A concepção de “domínio público” adotada no presente estudo, e que consiste em uma perspectiva ampla do termo e de seu escopo, compreendendo desde as obras que ingressaram em domínio

público após um período de proteção até aquelas criações cuja nunca sequer existiu proteção, é objeto de crítica por alguns estudiosos, como é o caso de Stéphanie Choisy (2002 apud Branco 2011),

cujo entendimento foi objeto de análise por Branco (2011, pp. 217-218): “A autora, entretanto, critica a ambivalência de sua utilização. Por isso, prefere atribuir ao conjunto de obras que não gozam de

proteção de direito autoral a classificação de “fundo comum” (fonds commun), em contraposição ao domínio público. Apesar de haver de fato algumas distinções entre um e outro (quanto às obras

em domínio público subsiste em certa medida o direito moral de autor, inexistente no que tange àquelas classificadas por Choisy como de “fundo comum”), o tratamento jurídico que lhes é

dispensado – quer sejam obras em domínio público, quer pertençam ao “fundo comum” – é praticamente o mesmo.”. Para o presente estudo, acompanhamos o entendimento de Branco (2011). ↵

63. Em Barbosa, 2005, p. 17: “Em princípio, estariam no domínio público todos os elementos da criação humana não cobertos por direitos de exclusiva: por exemplo, o listado sob o art. 8º. Da LDA, que

não se veja protegido por outro sistema de direitos exclusivos.” [Nota do Original]: “Art. 8º I – as ideias, procedimentos normativos, sistemas, métodos, projetos ou conceitos matemáticos como tais;

II – os esquemas, planos ou regras para realizar atos mentais, jogos ou negócios; III – os formulários em branco para serem preenchidos por qualquer tipo de informação, científica ou não, e suas

instruções; IV – os textos de tratados ou convenções, leis, decretos, regulamentos, decisões judiciais e demais atos oficiais; V – as informações de uso comum tais como calendários, agendas,

cadastros ou legendas; VI – os nomes e títulos isolados; VII – (o aproveitamento industrial) ou comercial das ideias contidas nas obras.” ↵

64. Grau-Kuntz, 2012, p.8. ↵

65. Grau-Kuntz, 2012, p. 8. ↵

66. [Nota do original]: “Nas palavras de José de Oliveira Ascensão: “O domínio público não se justifica por ser o cemitério das obras que perderam interesse. Muito pelo contrário. O domínio público é a

situação normal da obra intelectual. É o espaço de diálogo social livre. Traduz que a obra, que só em comunidade foi produzida, tem o seu destino natural na disponibilização ao uso por essa

comunidade. Entendido assim, não é o domínio público que terá de se justificar: é, pelo contrário, o exclusivo, como excepção a essa comunicação livre em comunidade, que tem de demonstrar a

sua fundamentação” (grifo meu), ASCENSÃO, ob.cit. (A questão do domínio público).” ↵

67. Barbosa, 2012. ↵

68. Nas palavras de Barbosa (2005, p.18): “A transformação criativa, uso de material pré-existente como base de nova criação, é um dos mais importantes aspectos do domínio público.”. ↵

69. De maneira a preservar a objetividade e a concentração no tema foco desse trabalho, não irá se aprofundar essa questão ao longo do texto. Entretanto, necessário trazer o entendimento de

Ascensão (2007, p.26-27) sobre a matéria: “O direito de autor recompensa simplesmente o contributo que é trazido ao acervo cultural existente, porque os órgãos públicos manifestam incapacidade

de distinguir o contributo cultural da baixaria. (...) Cada vez mais o eixo da proteção se desloca do autor ou do artista para a empresa de copyright. A sempre proclamada intenção de proteção do

autor ou do artista cede o passo à proteção do investimento. O alinhamento com o sistema de copyright é progressivo e rápido”. Em relação com o tema do presente estudo, Barbosa (2012, p.161)

relaciona a importância de se debater o tema do domínio público e das obras que não seriam passíveis de proteção pelo direito autoral sob a perspectiva de um “aumento histórico do

patrimonialismo no campo da produção criativa a partir dos anos 80”, o que privilegiou o interesse privado em detrimento do interesse público, a partir do momento que se passou a ampliar o

escopo do que deveria ser protegido pelos direitos exclusivos, bem como uma tendência à proteção dos investimentos. ↵

70. Sobre a questão dos bens em domínio público e o acesso, indispensável trazer o entendimento de Barbosa (2012, p.173) sobre a necessidade de se encarar o domínio público de maneira a privilegiar

o seu sentido social: “Como um espaço de liberdade comum do povo, o baldio não assegura o acesso do povo ao conhecimento e à arte: apenas livra tal acesso de impedimentos jurídicos. [...] Desta

feita, a construção de um domínio público não é contemplativa ou receptiva; para que um baldio tenha sentido social, é preciso que seja usado como um pasto, e semeado, e adubado, de forma

solidária e constante, com mais atenção ao valor social do que privado da criação” [Nota do Original suprimida]. ↵

71. Barbosa, 2012, p. 148. ↵

72. Ainda se valendo dos estudos de Barbosa (2012), o autor relaciona a figura do acesso à produção criativa aos arts. 215 e 216, que se referem à constituição do patrimônio cultural brasileiro e o dever

do Estado de garantir o acesso à cultura aos seus cidadãos. ↵

73. Ascensão, 1997; Ramos, 2010. ↵

74. Ascensão, 1997; Ramos, 2010. ↵

75. Ascensão, 1997. ↵

76. Ascensão, 1997; Ramos, 2010. ↵

77. Castro Júnior, 2013; Souza, 2017. ↵

78. Parlamento Europeu, 2017. ↵

79. Carboni, 2010;2014; Sass, 2016; Woodmansee, 1984. ↵

80. Para um maior aprofundamento sobre a questão, recomenda-se a leitura de: Castro Júnior, 2013. ↵

81. Grau-Kuntz, 2012; Barbosa, 2012. ↵

82. Ascensão, 2008. ↵

83. Ascensão, 2008. ↵

84. Ascensão, 2008. ↵

85. Barbosa, 2005. ↵

86. Barbosa, 2012. ↵

87. Branco, 2011. ↵

88. Jaszi, 1991. ↵

89. Nesse sentido, importante transcrever o entendimento de Branco, 2011, p.86: “O direito autoral é uma construção social. Dessa forma, podemos encerrar afirmando que o motivo jurídico pelo qual

as obras entram em domínio público é porque a lei assim prevê.”. ↵

11.
Qualificação profissional face aos sistemas produtivos da Quarta Revolução Industrial

[1]
Marco Brandão

Resumo: De todas as transformações pelas quais passa o mundo do trabalho, a que chamamos de 4ª revolução industrial está emergindo como um
grande desafio, porque a especialização profissional atinge um outro nível neste contexto, não mais restrito a uma área ou carreira, nem tão somente o
incremento de procedimentos com os computadores: se observa uma verdadeira necessidade de articulação do conhecimento de muitos setores. Este
novo perfil profissional surge com o conceito de indústria 4.0, no qual o trabalho na área de produção requer o desenvolvimento de habilidades
relacionadas não só à visão técnica, mas também à multidisciplinaridade, à colaboração, o domínio linguístico, o senso crítico e a flexibilidade, todas
impregnadas por ambientes virtuais e ferramentas que requerem um alto nível de capacidades intelectivas. O campo da tecnologia da informação (TI)
surge como requisito indispensável na formação do profissional, sem o que dificulta sua inserção nesta nova realidade. Isso não se refere a um uso
genérico e indiscriminado de computadores, automatizando ou facilitando os processos de trabalho, mas de um novo modus operandi do profissional,
no qual a sua atividade produtiva exigirá que ele desenvolva habilidades relacionadas ao uso de ferramentas e informações articuladas com os dados de
sistemas cyber-físicos , bem como interagir com máquinas dotadas de Inteligência Artificial (I.A.). Como uma forma de ilustrar esta realidade, o artigo
apresenta uma breve percepção do tema e avança ilustrando com uma experiência de uma produção musical baseada no conceito e método da
indústria 4.0 . Nesse sentido, poder-se-á identificar os aspectos da percepção aqui pretendida, bem como provocar com o exemplo aqui relatado a
necessidade de atenção a esse fenômeno mundialmente em curso e que seguramente atingirá países como o Brasil, já cronicamente afetado em seu
desenvolvimento e realidade sociocultural devido a fatores de qualificação profissional e Educação.
1. Introdução

O historiador Yuval Noah Harari, professor da Universidade Hebraica de Jerusalém e autor do livro Sapiens: a brief history of humankind (2015) ao
aprofundar a questão do trabalho humano em relação ao avançar da Inteligência Artificial (I.A.) considera: mais que dizer que os seres humanos serão
substituídos por máquinas, serão criadas novas profissões, mas que nem todas as pessoas estarão qualificadas para estas atividades. Em seu artigo “The
meaning of life in a world without work”, publicado no The Guardian (2017), o escritor afirma que uma nova classe de pessoas emergirá até os anos
2050: a dos “inúteis”. “São pessoas que não só estarão desempregadas como também não serão empregáveis” (2017).
Frente a todas essas transformações do mundo do trabalho, de fato os avanços mais recentes da tecnologia estão modificando o sentido e o
significado do trabalho humano enquanto forma e produto em um mundo, diga-se de passagem, já cercado por tecnologias que substituem muitas das
atividades humanas: isso incrementa ainda mais o grande desafio do futuro dos empregos humanos. Assim sendo, a necessária especialização
profissional, segundo Harari, chega a um outro nível, não mais restrito ao fato de ter ou não emprego, mas de que as pessoas estejam prontas para
ocupá-los.
Um destes fatores emerge com o conceito de “Indústria 4.0”, um novo modus operandi da área de produção no qual o profissional terá que
desenvolver habilidades relacionadas a um novo perfil de trabalho. Não é algo pertencente somente à indústria como tal, mas a uma forma de se
trabalhar atualmente, o que já é parte da indústria em países desenvolvidos, mas também de muitas atividades profissionais ao redor do mundo.
A Tecnologia da Informação (TI) aparece como um suporte indispensável nesse contexto. Isto não se refere somente à existência de computadores
automatizando ou facilitando processos, mas de uma atividade produtiva que depende e gera muitos dados e informações para o uso em fronteiras de
conhecimento criadas pela própria atividade produtiva. O profissional, portanto, já não é mais somente um especialista e responsável por uma parte do
trabalho: deve ter uma visão de seu conjunto para adotar meios adequados para uma produção eficiente e com qualidade.
Como forma de ilustrar esta realidade, esse texto apresenta com brevidade o que é a indústria 4.0 como um conceito e método de trabalho,
identificando os aspectos que a constituem, como as ferramentas de TI, os sistemas cyber-físicos, a I.A., as quais requerem um novo perfil profissional,
tendo em vista sua estrutura técnica no desenvolvimento de um produto. O artigo conclui apresentando o exemplo de uma experiência de um
trabalho de produção musical baseado no conceito e método da Industria 4.0.
2. O que é a indústria 4.0?

Indústria 4.0 é o termo criado para fazer referência a uma nova forma de produção da indústria, ou seja, a “Quarta Revolução Industrial”, em uma clara
relação com as outras três fases do desenvolvimento industrial (Figura 1). A expressão teve origem no ano de 2011, dentro de um projeto de alta
tecnologia do governo alemão que pretendia, a princípio, a informatização da manufatura com recursos de interoperabilidade entre os sistemas
humanos e de fábricas através da internet e da Cloud Computing, da virtualização criada a partir de sensores de dados interconectados, da
descentralização da tomada de decisões (sobretudo sem a intervenção humana), da capacidade de coletar, analisar dados e entregar conhecimentos,
de oferecer serviços através da internet e da adaptação flexível (Hermann, Pentek, Otto, 2015).

Figura 1 – Fases da Revolução Industrial (Hammel

Scale, 2018)

Nesse sentido, da mesma maneira que na primeira fase da revolução industrial se implantou a mecanização da produção com as máquinas a vapor,
na segunda fase foi introduzida à produção a energia elétrica e na terceira houve a automação com o uso de aparelhos e dispositivos eletrônicos. A
quarta fase é uma que avança, sobretudo, com a troca de dados e o uso de sistemas ciber -fisicos, da Internet das coisas, da Cloud Computing, da I.A.
como novas tecnologias de produção.
A indústria 4.0 vem sendo também o caminho para a competitividade do setor industrial não apenas pela sua forma de funcionamento através das
tecnologias digitais, mas também pela geração de produtos capazes de satisfazer as atuais demandas de produção. Pouco a pouco tendo incorporada a
I.A., de igual forma é capaz de análises estratégicas destas demandas para o posicionamento estratégico de bens e serviços em escala global.
Em países como os da América Latina, no entanto, ela ainda não é um horizonte possível, seja devido ao atraso na integração das tecnologias físicas e
digitais nas etapas de desenvolvimento de um produto, seja devido às realidades econômicas e culturais marcadas sobretudo por empresas que ainda
não veem vantagem competitiva neste novo modo de produção. Segundo a Confederação Nacional da Industria (CNI, 2016), as indústrias brasileiras
reconhecem a digitalização e os impactos que podem ter sobre a competitividade; entretanto – e entre as várias barreiras impostas pela governança,
pela carga tributária, pelos cenários políticos etc. – estão os aspectos educativos e culturais da população que comprometem a adoção em escala da
indústria 4.0 nesses países, já cronicamente afetados em seu desenvolvimento e realidade sociocultural devido a fatores de qualificação profissional e
educação: há o risco real de se incrementar ainda mais esses problemas em países como o Brasil, por exemplo.
Em um esquema geral de uma indústria de 4.0, a troca de dados, os sistemas ciber-fisicos, a Internet das coisas e a Cloud Computing como
tecnologias de produção, aparecem organizados em conjunção com as etapas de desenvolvimento do produto conforme se vê na figura 2:

Figura 2 – Esquema geral de uma Industria

de 4.0 (Silva, 2017)

Nesse cenário, um novo perfil profissional emerge com o conceito da indústria 4.0, no qual para o trabalho na área de produção da fábrica terá que
desenvolver habilidades relacionadas à visão técnica, à multidisciplinaridade, à colaboração, ao domínio linguístico, ao senso crítico e à flexibilidade
(ABC, 2017). Tudo isso impregnado por ambientes e ferramentas virtuais que requerem um grande nível de capacidades humanas, inclusive para a
interação, como máquinas dotadas de I.A.
Portanto, parte dos desafios da Quarta Revolução Industrial consiste em integrar a força de trabalho sem acentuar os problemas relacionados à
empregabilidade dos cidadãos em países como da América Latina, uma situação crônica que se torna pior à medida em que estes novos padrões de
produtividade são exigidos.
Fatores como o grande e rápido crescimento do volume de dados, do processamento e da conectividade, os quais estão forçando o avanço de
capacidades de análise, além das novas formas de interação entre humanos e máquinas com inovações que permitem, entre outros, a transferência de
dados digitais para algo físico, conduzem essa transição e requerem cada vez mais do profissional o domínio da produção (Hermann, Pentek, Otto,
2015). De fato, o consultor Edson Miranda da Silva, da Ronín Consultoria, assinala que entre os principais desafios da Industria 4.0 estão as questões
relacionadas à falta de profissionais preparados (Silva, 2017). Há um risco iminente de que a realidade apontada por Harari chegue a esses países, ou
seja, empregos que pessoas não possam ocupar.
Mais além: quando se fala de “produção” e de “trabalho” atualmente, em muitos setores não industriais encontramos essa mesma lógica de processos
constituídos a partir da indústria 4.0: a Educação, a Medicina, a Engenharia, a Arte etc. requerem de seus profissionais hoje o mesmo domínio destes
aspectos como fatores para a produtividade e competitividade.
3. Habilidades profissionais para a indústria 4.0

As transformações introduzidas pela indústria 4.0 chegam a todo o mundo do trabalho. São bens e serviços hoje gerados em todos os setores da
economia que envolvem cadeias produtivas entremeadas pela troca de dados, por sistemas ciber -fisicos, pela Internet das coisas e pela Cloud
Computing como tecnologias, em muitos casos exigindo ainda a interação de humanos com a I.A. Nesse particular, a necessária especialização
profissional chega a um outro nível, não mais restrito a uma área ou carreira, mas à articulação de conhecimento em fronteiras.
Há muitas habilidades que se pode requerer de um profissional na atualidade. Na área de produção sob o conceito da indústria 4.0, a visão técnica, a
multidisciplinaridade, a colaboração, o domínio linguístico, o senso crítico e a flexibilidade (ABC, 2017) aparecem como habilidades necessárias para
ambientes e ferramentas de trabalho que requerem outros níveis de capacidades.

Figura 3 – Ambiente e ferramentas de

trabalho para a Industria 4.0 (123RF, 2019)

A TI aparece como requisito básico e indispensável na qualificação do profissional, sem o que isso constitui um grande obstáculo para a sua inserção
nesta realidade (Figura 3). Isto não se refere ao uso genérico e indiscriminado de computadores, automatizando ou facilitando processos de trabalho,
mas de um novo modus operandi do professional com o qual sua atividade produtiva requer que ele desenvolva habilidades de uso de ferramentas
digitais, de informação e de interação com I.A. articuladas em fronteiras de conhecimento.
Para se ter ideia do que isso significa, é necessária uma olhada no país de origem da indústria 4.0, a Alemanha, onde ela está mais avançada. O Boston
Consulting Group (ABC, 2017) indica, entre outras coisas, que a demanda por empregados nesse país que também possam dominar as áreas de TI,
principalmente na parte de software, tem exigido cada vez mais um número de pessoas com alta qualificação que tenham incorporado este aspecto de
manuseio de softwares. Isto se deve ao fato de que à medida na qual se desenvolvem os sistemas de produção e de trabalho para serem operados
através de softwares, seja para o controle humano, seja para a automação de tarefas, será impossível estar nesses sistemas de produção e trabalho sem
utilizá-los, inclusive na interação com a I.A. Nesse ínterim da I.A., são habilidades que estão além das capacidades operativas e mesmo do
entendimento da automatização. Naquele país, a educação básica já oferece, por exemplo, o ensino de programação como habilidade básica junto ao
ensino de línguas estrangeiras.
Nos softwares também estão os principais insumos para a produção e a diferenciação competitiva para as estratégias de desenvolvimento industrial,
ou seja, os dados e as informações necessárias para a criação de produtos/serviços e ao posicionamento estratégico da produção, hoje globalizada.
Assim que trabalhar proativamente não é apenas dominar essas ferramentas, mas também articular o conhecimento, desenvolver novas habilidades,
exercer funções mais complexas e criativas, com a responsabilidade e a visão de todo o processo produtivo (ABC, 2017).
Portanto, é necessário estar aberto às mudanças, ser flexível para incorporar novos conhecimentos, adaptar-se a novas funções e acostumar-se ao
aprendizado multidisciplinar contínuo. Isso não significa que o conhecimento técnico tenha perdido sua importância: ele somente não é mais
suficiente. “É necessário se especializar em várias frentes e conhecer um pouco de tudo. Tem que gostar da tecnologia, da inovação e, sobretudo, ter
curiosidade de aprender e continuar em uma indústria que sempre se reinventa” (ABC, 2017).
4. A tecnologia da informação na produção 4.0

Superando a constatação das TI´s como modificadores importantes dos processos de trabalho e produção, resta agora entender de outra maneira
como elas transformam a indústria 4.0, posto que em sua fase anterior – da indústria 3.0 – elas também já se faziam presentes nos processos de
automação.
Em uma breve revisão do projeto original alemão, se percebe que seu forte está em uma informatização da manufatura com o incremento da
interoperabilidade entre os sistemas humanos e das fábricas através da internet das coisas e da Cloud Computing, da virtualização criada por sensores
de dados interconectados, da tomada de decisões sem a intervenção humana (I.A.) e da capacidade de coletar, analisar dados e entregar
conhecimentos, serviços através da internet e da adaptação flexível (Hermann, Pentek, Otto, 2015). Dessa forma que a TI segue como um suporte
indispensável na indústria 4.0.
Entretanto, para esse incremento ter sucesso se faz crucial um conjunto de fatores, em especial a dimensão da interoperabilidade entre os sistemas
humanos e aqueles proporcionados pela TI, ou seja, a troca de dados entre os sistemas ciber -fisicos possíveis através da internet das coisas e da Cloud
Computing. Isto não se refere apenas à existência e uso de computadores automatizando ou facilitando processos, mas de uma atividade produtiva que
depende e gera muitos dados, informações e conhecimento. O profissional, portanto, deve interagir com dispositivos e softwares interconectados e
capazes de oferecer uma visão de conjunto para adotar os meios adequados para uma produção eficiente e com qualidade.
Essa nova forma de produção é também um novo modo de produção de dados que, por sua vez, necessitam ser coletados e analisados tanto pelos
sistemas digitais quanto pelos sistemas humanos. Nesse sentido, deve-se ter uma robusta estrutura que permita a interoperabilidade interna e externa
destes sistemas, inclusive porque eles poderão ser acessados remotamente através de ferramentas de gerenciamento remoto e da Cloud Computing.
É nesse contexto também que se soma a I.A. A interação homem-máquina vem cada vez mais se superando na indústria 4.0 para uma relação muito
além que o apertar de botões . Assegurando-se a interoperabilidade entre os sistemas, o trabalho passa a estar afeto não só às atividades de pessoas
(muitas vezes distribuídas em várias partes do mundo), como também às atividades das máquinas atuando hoje em fronteiras antes pertencentes ao
intelecto humano.
A I.A. também vem definindo a territorialidade da produção: a área de produção da fábrica hoje é constituída por pessoas – e máquinas – localizadas
em diferentes partes do mundo, e isso é também parte do que significa uma produção/serviço 4.0. Com tantos dispositivos físicos virtualizados por
meio da internet das coisas e também operados através dela, esta forma de coletar informações vem gerando grandes bases de dados (Big Datas), o que
exige uma gestão cada vez mais eficiente da produção, principalmente porque eles também definem a estratégia (posicionamento, mercado, modelo de
negócio) de interesse da produção. Em outras palavras, dos Big Datas pode-se extrair informações importantes sobre “o que”, “com o que”, “quando”,
“quanto”, “onde” e “para quem” produzir.
Através da European Factories of the Future Research Association (EFFRA), segundo Alzaga e Larreina (2016), a Europa está desenvolvendo as
chamadas “fábricas do futuro”, um conjunto de projetos inovadores para reagir ou analisar as oportunidades deste novo cenário da indústria 4.0 com
reflexões realizadas nesse e em outros níveis estratégicos (Figura 4):

Figura 4 – Ambiente e ferramentas de

trabalho para a Industria 4.0 (123RF, 2019)

Além do nível estratégico, é necessário analisar como a proposta de valor será definida no modelo produtivo, de forma a responder à estratégia,
definir e criar um roteiro nesse sentido para identificar as tecnologias chave sobre as quais deve se apoiar a produção, e como fazê-las interoperáveis
para permitir o tratamento dos dados, das informações e das inteligências necessárias ao produto.
Por mais de uma razão que se entende que os profissionais dos dias atuais precisam ter habilidades que a escola, as formações profissionais devem
fomentar e fortalecer: por um lado, aquelas associadas ao conhecimento das tecnologias e, por outro lado, aquelas habilidades que permitam o
trabalho interdisciplinar, também imprescindível na Industria 4.0.
5. A nova qualificação profissional para os sistemas produtivos

Como uma maneira de ilustrar esta realidade, descreve-se aqui uma experiência de uma produção musical baseada no conceito e método da indústria
4.0.
Por que uma produção musical? Inicialmente porque a indústria da música é um dos primeiros setores de trabalho mais afetados pelas mudanças
tecnológicas . Dos músicos e artistas envolvidos na criação aos profissionais de produção e distribuição, todos tiveram suas atividades profundamente
afetadas pelas TI´s.
Desde a criação do formato digital, não só foram modificados os suportes, como também as formas de elaboração, produção, distribuição e consumo
de música. Segundo um relatório da Representing the recording industry worldwide (IFPI), em abril de 2017 o consumo de música em formato digital no
mundo chegou aos 50% devido ao incremento do streaming, que é uma tecnologia de informações multimídia que utiliza a internet sem a necessidade
de descarregar arquivos. Isso representa 60,4% de aumento em comparação ao ano de 2015. O download de arquivos, outra forma de consumo de
música, teve uma queda de 20,5% (IFPI, 2017).
Além do suporte do produto final – a música – a sua produção está envolvida por mudanças que estão além do talento e do ato criativo do
músico/artista. Segundo Sandro Chagas (2015), o esquema abaixo contempla os equipamentos e os recursos mínimos necessários numa tradicional
forma de produção de uma canção:

1. o músico/compositor: pessoa ou conjunto de pessoas que começa a produção, a qual pode ou não ser o executor da obra. Na maioria dos casos é um músico que
participará com algum instrumento musical ou como cantor da melodia criada. Deve ter conhecimentos das técnicas musicais associadas além de uma proposta/linha
temática de composição que irá identificar o gênero/estilo musical, o público, a mensagem etc.;

2. a música/melodia: a peça composta pelo músico/compositor que será produzida com a finalidade de se corresponder ao planejado pelo artista;

3. a orquestração/instrumentação: é o processo de compor a música/melodia com outros instrumentos. Nesta etapa, são convidados outros músicos, no caso de que a
criação da obra tenha sido realizada por um músico/compositor individual;

4. o produtor musical: é o profissional ao qual se apresentará a peça musical para a sua gravação e distribuição. Ele pode modificar a orquestração/instrumentação e irá
trabalhar bastante a parte de timbragem dos instrumentos (equalização), sua captura, o suporte/formato de gravação, entre outras cosas. Comumente é um músico
(tem conhecimento técnico, toca um ou vários instrumentos), mas não é necessariamente o músico/compositor da peça que está sendo produzida;

5. o editor: feita a gravação, passa-se na sequência à edição de som, que é o ajuste do que não soa bem ou não foi bem capturado. São pequenos detalhes como algum
deslize no ritmo de algum instrumento, a voz que desafina em alguma nota ou o corte das captações da gravação que não são necessárias à música. A edição pode ser
realizada pelo próprio produtor musical ou por um profissional de edição;

6. o Mixing: é a etapa na qual cada instrumento é colocado de maneira equilibrada para a uniformidade da escuta do som. E.g.: se coloca um piano à esquerda, uma
guitarra à direita, a bateria se coloca ao centro, o vocalista à frente etc. São realizados vários processos no material gravado e, por essa razão, são utilizadas ferramentas
de acordo com a proposta musical: Equalizer, Compressor, Gate, Limiter, DeEsser, Reverb, Delay etc. Da mesma forma, isso pode ser feito pelo produtor ou por um
profissional de mixing;

7. a Pre Mastering: na pré masterização o trabalho é finalizado para ser enviado à fábrica que realizará as cópias. É o toque final que oferecerá um som com qualidade
para a reprodução em copias de tudo o que foi feito nas etapas anteriores;

8. a Mastering: feito fora do estúdio, na fábrica onde serão criadas as cópias para a venda da obra após toda a produção musical, a masterização precede a distribuição, a
qual requer Marketing e Publicidade;

9. a distribuição: segundo a proposta do músico/compositor e do produtor, a distribuição é fazer chegar a produção aos mercados potenciais e aos consumidores, de
acordo com as estratégias de Marketing, suporte, comercialização etc., hoje afetas pela I.A.;

10. o consumo: objetivo final, terá na estratégia seu principal aliado. Certamente que um produto como a música depende de gostos pessoais e afinidades de estilo,
proposta, momento e isso não apenas reforça a necessidade de uma estratégia bem definida, como também de projeção de mercado para as futuras produções.

A produção assim tradicionalmente realizada contava com um conjunto de profissionais especializados em cada etapa, em ambientes e com
equipamentos específicos (estúdios e fábricas). Com o incremento da TI, criando a produção em formato digital, iniciou-se um profundo processo de
mudança desse esquema, que hoje depende principalmente de softwares para estabelecer os processos identificados nas fases 4 a 10.
Estes softwares, conhecidos como Digital Audio Workstation (DAW, Figura 5), fazem todo o trabalho de processamento de áudio – desde até mesmo a
composição da peça até seu consumo – e, portanto, é extremamente importante ter dados interoperáveis, que possam ser trabalhados pelos sistemas
ciber -fisicos compostos por diferentes equipamentos e por DAW´s de diferentes desenvolvedores, com formatos acessíveis. Aqui se registra a
importância de terem metadados bem estruturados, já que a informação musical digital possui um formato binário, cujo processo de manipulação do
material gravado e das diversas ferramentas utilizadas para isso, como o Ecualizer, o Compressor, o Limiter, o DeEsser, o Delay etc. são agora virtuais.
Ou seja, desde o músico/compositor até a distribuição, em diferentes níveis, todos os profissionais devem conhecer essas ferramentas. Essa forma de
atual de produção também é conhecida como Mix in the box (Chagas, 2015).
Em relação aos músicos, inclusive, dois fortes impactos gerados pela TI’s nessa área modificaram as atuais formas de processo de composição da
música/melodia: primeiro que estes softwares permitem que eles possam realizar todas as fases da produção musical (desde a composição até a
distribuição), substituindo o Produtor, o Editor, o Mixing etc.; Além disso, o músico/compositor individual solista pode substituir também a
necessidade de outros músicos/instrumentos no processo de produção musical, em particular na fase de orquestração/instrumentalização. Isso
porque um outro tipo de software conhecido como Virtual Studio Technology (VST, Figura 5), que são pequenos softwares (plugins) integrados em uma
DAW, podem fazer o processamento de áudio de instrumentos musicais, inclusive da voz. Assim, uma vez gravada uma canção nesse formato, o que se
tem é uma série de metadados que são manipulados por estes softwares para uma proposta de som que define o estilo da música e do artista.

Figura 5 – DAW e plugins VST (elaboração

do autor)

Esse trabalho com DAW´s e com os plugins VST é algo que hoje é parte do universo dos profissionais da produção musical, especialmente do
músico/compositor que agora pode realizar sua própria produção como um conjunto de pessoas trabalhando.
Na experiência observada, no entanto, considerando todos esses aspectos da TI, o modelo produtivo é outro. Tendo em vista as relações de cada
músico com potenciais mercados, a estratégia de fazer participar da composição músicos e técnicos distribuídos em 8 países diferentes – muitos deles
de diferentes regiões dentro de um mesmo país – com cada um proporcionando à composição seus conhecimentos com o uso de DAW´s de plugins
VST no processo de trabalho, integram uma ideia de pertinência, abrangência e identidade de cada músico/compositor e local que representa (Figura
6).

Figura 6 – Modelo Produtivo (elaboração do

autor)

Um músico que inicia uma composição em alguma parte do planeta grava, envia ao ambiente virtual para obter as colaborações necessárias ao
processo de produção, o qual é levado adiante por profissionais em diferentes partes do mundo, incorporando seus conhecimentos e trabalho em um
produto coletivo, com a identidade de vários territórios. Todos devem fazer seus trabalhos interoperáveis e capazes de serem manuseados por DAW´s
e VST´s, ou seja, um sistema ciber -fisico que implica a transformação da informação de som em dados que serão manuseados por diferentes pessoas e
ferramentas de TI através da internet para um produto que será posicionado estrategicamente. Associe-se a tudo isso a I.A., atuando sobretudo nas
repostas dadas ao mercado consumidor, e a qualificação do profissional dessa área se vai a um nível no qual inclusive a informação de uma máquina
será importante para o trabalho.
Considerações finais

Ainda que como uma experiência em curso, já são possíveis algumas considerações finais que justificaram a realização deste artigo e a continuidade de
sua análise. São elas:

1. Novas habilidades são requisitadas a todos os profissionais na Quarta Revolução Industrial. No caso da TI, já não se trata mais do puro e simples
manuseio de ferramentas digitais, mas de um conhecimento que ultrapassa os aspectos da execução técnica por humanos e por máquinas;
2. Com a indústria 4.0 são reforçadas essas novas habilidades, sobretudo aquelas que envolvem o manuseio de dados/informações em ambientes
digitais e físicos (sistemas ciber-fisicos) compostos por sensores, softwares, inteligência humana e artificial para a definição estratégica,
tecnológica e do modo produtivo da empresa;
3. Com todas essas mudanças, a especialização profissional chega a um outro nível, não mais restrito a uma área ou carreira, mas à articulação do
conhecimento de muitos setores. Para o trabalho na área de produção, o profissional terá que possuir habilidades relacionadas à visão técnica, à
multidisciplinaridade, à colaboração, domínio linguístico, senso crítico e à flexibilidade em modelos de produção associados à web e com
atividades de inteligência humana e artificial;
4. A escola deve, portanto, fomentar e fortalecer por um lado os conhecimentos relacionados à tecnologia como habilidades básicas e, por outro,
aqueles conhecimentos que permitam que o indivíduo trabalhe associado a grupos interdisciplinares vinculados à indústria 4.0 e que atuem com a
interoperabilidade permitida pelas ferramentas digitais nos sistemas ciber-fisicos;
5. A área da TI consolida esse novo modus operandi do profissional na área de produção. Como se percebe na experiência aqui apresentada, nela são
identificados aspectos que constituem esse modo de produção baseado no conceito e método da indústria 4.0 e faz-se uma revisão sobre qual a
importância dada hoje ao uso das ferramentas de TI tendo em vista sua estrutura técnica, aplicada a um produto cultural.

Nesse sentido, a percepção aqui identificada, bem como o exemplo relatado, impõe a necessidade de atenção a esse fenômeno mundialmente em
curso e que, ao atingir países já cronicamente afetados em seu desenvolvimento e realidade sociocultural devido a fatores de qualificação profissional e
Educação, podem ter incrementados seus problemas de empregabilidade e equidade social.
Referências bibliográficas

123RF (2019). Hombre mayor hermoso con barba en camisa y corbata de trabajo en la computadora portable. Disponívem em:
https://es.123rf.com/photo_46692431_hombre-mayor-hermoso-con-barba-en-camisa-y-corbata-de-trabajo-en-la-computadora-portátil-Él-es-
un-gurú-expe.html. Acesso em: 18 mar. 2019.
ABC, Estudio (2017). Como será o profissional da Indústria 4.0? Exame. Julio 07, 2017. Disponívem em: https://exame.abril.com.br/tecnologia/como-
sera-o-profissional-da-industria-4-0. Acesso em: 30 mar. 2018.
ALZAGA, Aitor; LARREINA, Jon (2016). La 4ª Revolución Industrial da lugar a la llamada Fábrica Inteligente. Interempresas – Metalmecánica. Julio 01,
2016. Disponívem em: http://www.interempresas.net/MetalMecanica/Articulos/159161-La-4-revolucion-industrial-da-lugar-a-la-llamada-Fabrica-
Inteligente-o-Industria-40.html. Acesso em: 24 mar. 2018.
CHAGAS, Sandro (2015). O passo a passo da Produção Musical em Home Studio. Ideaudio Home Studio. Disponível em:
https://idaudio.com.br/producao-musical. Acesso em: 25 mar. 2018.
HAMMEL SCALE (2018). Industry 4.0 Compliant Weighing Solutions. Disponível em: https://www.hammelscale.com/industry-4-0. Acesso em: 30
mar. 2018.
HARARI, Yuval Noah (2015). Sapiens: a brief history of humankind. UK: Vintage.
HARARI, Yuval Noah (2017). The meaning of life in a world without work. The Guardian. Mayo 08, 2017. Disponível em:
https://www.theguardian.com/technology/2017/may/08/virtual-reality-religion-robots-sapiens-book. Acceso em: 30 mar. 2018.
HERMANN, Mario; PENTEK, Tobias; OTTO, Boris (2015). Design Principles for Industrie 4.0 Scenarios: a literatura review. Business Engineering
Institute St. Gallen. Working paper 01/2015. Disponível em: http://www.snom.mb.tu-dortmund.de/cms/de/forschung/Arbeitsberichte/Design-
Principles-for-Industrie-4_0-Scenarios.pdf. Acesso em: 22 mar. 2018.
IFPI – Representing the Recording Industry Worldwide (2017). IFPI Global Music Report 2017. Abril 25, 2017. Disponível em:
http://www.ifpi.org/news/IFPI-GLOBAL-MUSIC-REPORT-2017. Acesso em: 25 mar. 2018.
PESQUISA REVELA PERFIL DA INDÚSTRIA 4.0 NO BRASIL (2016). Agência Brasil. Disponível em: http://agenciabrasil.ebc.com.br/pesquisa-e-
inovacao/noticia/2016-05/pesquisa-revela-perfil-da-industria-40-no-brasil. Acesso em: 24 mar. 2018.
SILVA, Edson Miranda da (2017). Indústria 4.0: a 4ª Revolução Industrial. Quality Way. Noviembre 17, 2017. Disponível em:
https://qualityway.wordpress.com/2017/11/16/industria-4-0-a-4a-revolucao-industrial-por-edson-miranda-da-silva. Acesso em: 24 mar. 2018.

1. Pesquisador membro do Grupo de Pesquisa I.A. e inclusão (ITS Rio), Professor da Universidade Federal Fluminense (UFF), marcobrandao@zipmail.com.br, http://lattes.cnpq.br/5153966367209899

↵
12.
New perspectives on ethics and the laws of artificial intelligence

[1][2][3]
Eduardo Magrani

Abstract: The continuous interaction between intelligent devices, sensors and people points to the increasing number of data being produced,
stored and processed, changing, in various aspects and increasingly, our daily life. This increasing connectivity and symbiotic interaction among
humans and intelligent machines brings significant challenges for the rule of law and contemporary ethics. Do machines have morality? What legal
liability regime should we adopt for damages arising from increasingly advanced artificial intelligence? Which ethical guideline should we adopt to
orient its advancement? In this paper we will discuss the main normative and ethical challenges imposed by the advancement of artificial intelligence.
Introduction

With the growing dissemination of ‘Big Data’ and computing techniques, technological evolution spread rapidly and increasingly intelligent algorithms
have become a great resource for innovation and business models.
This new context based on the concepts of Web 3.0, internet of things and artificial intelligence, depends on the continuous interaction between
intelligent devices, sensors and people generating a huge amount of data being produced, stored and processed, changing, in various aspects, our daily
life (Magrani, 2017).
[4]
The increasing connectivity and symbiotic interaction among these agents , bring a significant challenge for the rule of law and contemporary
ethics, demanding a deep reflection on morality, governance and regulation.
What role should intelligent things play in our society? Do machines have morality? What legal liability regime should we adopt for damages arising
from increasingly advanced artificial intelligence (A.I.)? Which ethical guideline should we adopt to orient its development? In this paper we will
discuss the main normative and ethical challenges imposed by the advancement of artificial intelligence.
Technology is not neutral: agency and morality of things

Peter-Paul Verbeek in his work “Moralizing Technology: Understanding and Designing the Morality of Things” aims to broaden the scope of ethics to
better accommodate the technological age, and in doing so, reveals the inseparable nature of humanity and technology. Following Verbeek’s
contributions, technologies can be considered “moral mediators” that shape the way we perceive and interact with the world and thus reveal and
guide possible behaviours. Since every technology affects the way in which we perceive and interact with the world, and even the way we think, no
technology is morally neutral – it mediates our lives (Verbeek, 2011).
Technical artifacts, as explained by the theorist Peter Kroes, can be understood as man-made Things (objects), which have a function and a plan of
use. They consist of products obtained through technological action, designating the attitudes we take daily to solve practical problems, including
those related to our desires and our needs. Technical artifacts involve the need for rules of use to be observed, as well as for parameters to be created
in relation to the roles of individuals and social institutions in relation to them and their use (Kroes, 2011).
Technical artifacts, as specific objects (Things) with their own characteristics. have a clear function and usage plan. Besides, they are subject to an
evaluation analysis as to whether they are good or bad and whether they work or not. Thus, it is possible to observe the great importance that the
function and the plan of use have in the characterization of a technical artifact. These two characteristics are intimately connected with the goals that
the individuals who created the object seek with it, so that they do not stray from the intended purposes (Kroes, 2011).
Faced with this inseparability, the questioning of the morality of human objectives and actions extends to the morality of technical artifacts (Kroes,
2011). Technology can be used to change the world around us and individuals’ have goals – be them private and / or social – that can be achieved with
the help of these technical artifacts and technologies. Considering that the objectives sought by the humans when creating a technical artifact are not
separated from the characteristics of the object itself, we can conclude that the technical artifacts have an intrinsically moral character.
Therefore, alongside the technical artifacts, which can represent the simplest objects, with little capacity for interaction/influence, to the more
technologically complex ones, we have the sociotechnical systems, which consist of a network that connects humans and things, thus possessing
greater capacity for interaction and unpredictability (Latour, 2001).
For a regulatory analysis, this concept is even more fundamental (Kroes, 2011). Precisely because of its complexity embodied in a conglomerate of
‘actants’ (in relation to Bruno Latour’s conception of actor-network theory), causing sociotechnical systems to have even less predictable
consequences than those generated by technical artifacts. In addition, they generate a greater difficulty to prevent unintended consequences, and to
hold agents liable in case of harm, since the technological action, reflected in the sociotechnical system, is a sum of actants’ actions, entangled in the
network in an intra-relation (Barad, 2003).
Technical artifacts and sociotechnical systems: entangled in intra-relation

To illustrate the difference between the concepts of technical artifact and sociotechnical system, we can think of the former being represented by an
airplane, and the second by the complex aviation system. The sociotechnical system is formed by the set of interrelated agents (human and non-
human actants – things, institutions, etc.) that work together to achieve a given goal. The materiality and effects of a sociotechnical system depend on
the sum of the agency of each actant. However, there are parameters of how the system should be used, which means that these systems have pre-
defined operational processes and can be affected by regulatory laws and policies.
Thus, when a tragic accident involving an airplane occurs, it is necessary to analyse what was in the sphere of control and influence of each actor
and technical artifact components of the sociotechnical network, but quite possibly we will observe a very complex and symbiotic relationship
between the components that led to this fateful result (Saraiva, 2011). Moreover, this result is often unpredictable, due to the autonomy of the system
based on a diffused and distributed agency among all components (actants).
These complex systems bring us to debate the liability and ethics concerning technical artifacts and sociotechnical systems. Issues such as the
liability of developers and the existence of morality in non-human agents – with a focus here on technological objects – need a response or, at least,
[5]
reflections that contribute to the debate in the public sphere .
Bruno Latour’s theory offers progress in confronting and discarding the formal binary division between humans and non-humans, but it places
objects with different complexities and values at the same level. Given this context, from a legal and regulatory point of view, assigning a different
status to technical artifacts and sociotechnical systems, according to their capacity for agency and influence is justifiable and should be endowed with
different moral status and levels of liability. It is necessary, then, to distinguish the influence and importance that each thing also has in the network
and, above all, in the public sphere (Latour, 2001).
Hello world: creating unpredictable machines

For this analysis, we will focus on specific things and technologies, aiming at advanced algorithms with machine learning or robots equipped with
artificial intelligence (A.I.), considering that they are technical artifacts (Things) attached to sociotechnical systems with a greater potential for
autonomy (based largely on the processing of ‘Big Data’) and unpredictability.
While technical artifacts, such as a chair or a glass, are artifacts “domesticated” by humans, i.e. more predictable in terms of their influence and
agency power, it is possible to affirm that intelligent algorithms and robots are still non-domesticated technologies, since the time of interaction with
man throughout history has not yet allowed us to foresee most of the risks in order to control them, or to cease them altogether.
[6]
Colin Allen and Wendell Wallach (Wallach and Allen, 2008) argue that as intelligent Things, like robots , become more autonomous and assume
more responsibility, they must be programmed with moral decision-making skills for our own safety.
Corroborating this thesis, Peter-Paul Verbeek, while dealing with the morality of Things understands that: as machines now operate more frequently
in open social environments, such as connected public spheres, it becomes increasingly important to design a type of functional morality that is
sensitive to ethically relevant characteristics and applicable to intended situations (Verbeek, 2011).
A good example is the Microsoft’s robot Tay, that helps to illustrate the effects that a non-human element can have on society. In 2016, Microsoft
[7]
launched an artificial intelligence programme named Tay. Endowed with a deep learning ability, the robot shaped its worldview based on online
interactions with other people and producing authentic expressions based on them. The experience, however, proved to be disastrous and the
company had to deactivate the tool in less than 24 hours due to the production of worrying results.
The goal was to get Tay to interact with human users on Twitter, learning human patterns of conversation. It turns out that in less than a day, the
chatbot was generating utterly inappropriate comments, including racist, sexist and anti-Semitic publications.
In 2015, a similar case occurred with “Google Photos”. This was a programme that also learned from users to tag photos automatically. However,
their results were also outright discriminatory, and it was noticed, for example, that the bot was labeling coloured people as gorillas.
The implementation of programmes capable of learning and adapting to perform functions that relate to people creates new ethical and regulatory
challenges, since it increases the possibility of obtaining results other than those intended, or even totally unexpected ones. In addition, these results
can cause harm to other actors, such as the discriminatory offenses generated by Tay and Google Photos.
Particularly, the use of artificial intelligence tools that interact through social media requires reflection on the ethical requirements that must
accompany the development of this type of technology. This is because, as previously argued, these mechanisms also act as agents in society, and end
up influencing the environment around them, even though they are non-human elements. It is not, therefore, a matter of thinking only about the “use”
and “repair” of new technologies, but mainly about the proper ethical orientation for their development (Wolf et al., 2017).
Microsoft argued that Tay’s malfunctioning was the result of an attack by users who exploited a vulnerability in their programme. However, for Wolf
et al., this does not exempt them from the responsibility of considering the occurrence of possible harmful consequences with the use of this type of
software. For the authors, the fact that the creators did not expect this outcome is part of the very unpredictable nature of this type of system (Wolf et
al., 2017).
The attempt to make artificial intelligence systems increasingly adaptable and capable of acting in a human-like manner, makes them present less
predictable behaviours. Thus, they begin to act not only as tools that perform pre-established functions in the various fields in which they are
employed, but also to develop a proper way of acting. They impact the world in a way that is less determinable or controllable by human agents. It is
worth emphasising that algorithms can adjust to give rise to new algorithms and new ways to accomplish their tasks (Domingos, 2015), so that the way
the result was achieved would be difficult to explain even to the programmers who created the algorithm (Doneda and Almeida, 2016).
Also, the more adaptable the artificial intelligence programmes become, the more unpredictable are their actions, bringing new risks. This makes it
necessary for developers of this type of programme to be more aware of the ethical and legal responsibilities involved in this activity.
The Code of Ethics of the Association for Computing Machinery (Wolf et al., 2017) indicates that professionals in the field, regardless of prior legal
regulation, should develop “comprehensive and thorough assessments of computer systems and their impacts, including the analysis of possible risks”.
In addition, there is a need for dedicated monitoring to verify the actions taken by such a programme, especially in the early stages of its
implementation. In the Tay case, for instance, developers should have monitored the behaviour of the bot intensely within the first 24 hours of its
launch, which is not known to have occurred (Wolf et al., 2017). The logic should be to prevent possible damages and to monitor in advance, rather than
the remediation of losses, especially when they may be unforeseeable.
To limit the possibilities of negative consequences, software developers must recognise those potentially dangerous and unpredictable programmes
and restrict their possibilities of interaction with the public until it is intensively tested in a controlled environment. After this stage, consumers should
be informed about the vulnerabilities of a programme that is essentially unpredictable, and the possible consequences of unexpected behaviour (Wolf
et al., 2017).
The use of technology, with an emphasis on artificial intelligence, can cause unpredictable and uncontrollable consequences, so that often the only
solution is to deactivate the system. Therefore, the increase in autonomy and complexity of the technical artifacts is evident, given that they are
endowed with an increased agency, and are capable of influencing others but also of being influenced in the sociotechnical system in a significant way,
often composing even more autonomous and unpredictable networks.
Although there is no artificial intelligence system yet that is completely autonomous, with the pace of technological development, it is possible to
create machines that will have the ability to make decisions in an increasingly autonomous way, which raises questions about who would be
responsible for the result of its actions and for eventual damages caused to others (Vladeck, 2014). According to the report released at the World
Economic Forum in 2017: The greatest threat to humanity lies in delegating authority and decisions to machines that do not have the intelligence to make
(Cerka, 2015).
Application of norms: mapping legal possibilities

The ability to amass experiences and learn from massive data processing, coupled with the ability to act independently and make choices
autonomously can be considered preconditions for legal liability. However, since artificial intelligence is not recognised today as a subject of law, it
cannot be held individually liable for the potential damage it may cause.
In this sense, according to Article 12 of the United Nations Convention on the Use of Electronic Communications in International Contracts, a person
(natural or an entity) on behalf of whom a programme was created must, ultimately, be liable for any action generated by the machine. This reasoning
is based on the notion that a tool has no will of its own (Cerka, 2015).
On the other hand, in the case of damage caused by acts of an artifact with artificial intelligence, another type of responsibility is the one that makes
an analogy with the responsibility attributed to the parents by the actions of their children or even the responsibility of animals’ owners in case of
damage. In this perspective, the responsibility for the acts of this artifact could fall not only on its producer or programmers, but also on the users that
were responsible for their “training” (Cerka, 2015).
Another possibility is the model that focuses on the ability of programmers or users to predict the potential for these damages to occur. According
to this model, the programmer or user can be held liable if they acted deceitfully or had been negligent considering a result that would be predictable
(Hallevy, 2010).
George S. Cole refers to predetermined types regarding civil liability: (i) product liability, (ii) service liability, (iii) malpractice, and (iv) negligence. The
basic elements for applicability of product liability would be: (i) the A.I. should be a “product”; (ii) the defendant must be an A.I. seller; (iii) the A.I. must
reach the injured party without substantive change; (iv) the A.I. must be defective; and (v) the defect shall be the source of the damage. The author
sustains that the standards, in this case, should be set by the professional community. Still, as the field develops, for Cole, the negligence model would
be the most applicable. However, it can be difficult to implement, especially when some errors are unpredictable or even unavoidable (Cole, 1990).
To date, the courts worldwide have not formulated a clear definition of the responsibility involved in creating A.I.s which, if not undertaken, should
lead to negligent liability. This model will depend on standards set by the professional community, but also clearer guidelines from the law side and
jurisprudence.
The distinction between the use of negligence rule and strict liability rule may have different impacts on the treatment of the subject and especially
on the level of precaution that is intended to be imposed in relation to the victim, or in relation to the one who develops the A.I.
In establishing strict liability, a significant incentive is created for the offender to act diligently in order to reduce the costs of anticipating harm. In
fact, in the economic model of strict responsibility, the offender responds even if he adopts a high level of precaution. This does not mean that there is
no interest in adopting cautious behaviour. There is a level of precaution in which the offender, in the scope of the strict liability will remove the
occurrence of damage. In this sense, if the adoption of the precautionary level is lower than the expected cost of damages, from an economic point of
view, it is desirable to adopt the precautionary level (Shavell, 2004). But even if the offender adopts a diligent behaviour, if the victim suffers damage, it
will be reimbursed, which favours, in this case, the position of the victim (Magrani, Viola, and Silva, 2019).
The negligence rule, however, brings a completely different picture. As the offender responds only if he acts guilty, if he takes diligent behaviour, the
burden of injury will necessarily fall on the victim, even if the damage is produced by reason of a potentially dangerous activity. Therefore, the
incentive for victims to adopt precautionary levels is greater, because if they suffer any kind of loss, they will bear it (Magrani, Viola, and Silva, 2019).
Should an act of an artificial intelligence cause damages by reason of deceit or negligence, manufacturing defect or design failure as a result of
blameworthy programming, existing liability rules would most often indicate the “fault” of its creators. However, it is often not easy to know how these
programmes come to their conclusion or even lead to unexpected and possibly unpleasant consequences. This harmful potential is especially
dangerous in the use of artificial intelligence programmes that rely on machine learning and especially deep learning mechanisms, in which the very
nature of the software involves the intention of developing an action that is not predictable, and which will only be determined from the data
processing of all the information with which the programme had contact. Existing laws are not adequate to guarantee a fair regulation for the
upcoming artificial intelligence context.
The structure contained in the table below, produced in an UNESCO study (Unesco, 2017), contains important parameters that help us think about
these issues, at the same time trying to identify the different agencies involved.

Decision by robot Human involvement Technology Responsibility Regulation

Legal
(standards,
Made out of finite set of options, according to preset Robot’s
Criteria implemented in a legal framework Machine only: deterministic algorithms/robots national or
strict criteria producer
international
legislation)

Codes of
practice both
Designer,
Out of a range of options, with room for flexibility, for engineers
Decision delegated to robot Machine only: A.I. -based algorithms, cognitive robots manufacturer,
according to a preset policy and for users;
seller, user
precautionary
principle

Ability for human to take control over robot in cases

Decisions made through human-machine interaction Human controls robot’s decisions Human beings Moral
where robot’s actions can cause serious harm of death

Although the proposed structure is quite simple and gives us important insights, its implementation in terms of assigning responsibility and
regulating usage is complex and challenging for scientists and engineers, policy-makers and ethicists, and eventually it will not be sufficient for
applying a fair and adequate response.
How to deal with autonomous robots: insufficient norms and the problem of ‘distributed irresponsibility’

Scientists from different areas are concerned and deliberate that conferring this autonomous “thinking” ability to machines can necessarily give them
the ability to act contrary to the rules they are given (Pagallo, 2013). Hence the importance of taking into consideration and investigating the spheres of
[8]
control and influence of designers and other agents during the creation and functional development of technical artifacts (Vladeck, 2014).
Often, during the design phase, the consequences are indeterminate because they depend partly on the actions of other agents and factors besides
the designers. Also, since making a decision can be a complex process, it may be difficult for a human to even explain it. It may be difficult, further, to
prove that the product containing the A.I. was defective, and especially that the defect already existed at the time of its production (Cerka, 2015).
As the behaviour of an advanced A.I. is not totally predictable, and its behaviour is the result of the interaction between several human and non-
[9]
human agents that make up the sociotechnical system and even of self-learning processes, it can be difficult to determine the causal nexus between
[10]
the damage caused and the action of a human being or legal entity.
According to the legal framework we have today, this can lead to a situation of “distributed irresponsibility” (the name attributed in the present work
to refer to the possible effect resulting from the lack of identification of the causal nexus between the agent’s conduct and the damage caused) among
the different actors involved in the process. This will occur mainly when the damage transpires within a complex sociotechnical system, in which the
[11]
liability of the intelligent thing itself, or of a natural or legal person, will not be obvious.
‘With a little help from my friends’: designing ethical frameworks to guide the laws of A.I.

When dealing with artificial intelligence, it is essential for the research community and academia to promote an extensive debate about the ethical
guidelines that should guide the construction of these intelligent machines.
There is a strong growth of this segment of scientific research. The need to establish a regulatory framework for this type of technology has been
highlighted by some initiatives as mentioned in this section.
The EU Commission published in April 2019 the document “Ethics guidelines for trustworthy A.I.” with guidelines on ethics in artificial intelligence.
According to the guidelines, trustworthy A.I. should be: “(i) lawful – respecting all applicable laws and regulations; (ii) ethical – respecting ethical
principles and values; and (iii) robust – from a technical perspective.”
The guidelines put forward a set of seven key requirements that A.I. systems should meet in order to be deemed trustworthy. According to the
document, a specific assessment list (hereunder) aims to help verify the application of each of the key requirements:
“(i) Human agency and oversight: A.I. systems should empower human beings, allowing them to make informed decisions and fostering their
fundamental rights. At the same time, proper oversight mechanisms need to be ensured, which can be achieved through human-in-the-loop, human-
on-the-loop, and human-in-command approaches;
(ii) Technical robustness and safety: A.I. systems need to be resilient and secure. They need to be safe, ensuring a fall back plan in case something
goes wrong, as well as being accurate, reliable and reproducible. That is the only way to ensure that also unintentional harm can be minimized and
prevented;
(iii) Privacy and data governance: besides ensuring full respect for privacy and date protection, adequate data governance mechanisms must also be
ensured, taking into account the quality and integrity of the data, and ensuring legitimized access to data;
(iv) Transparency: the data, system and A.I. business models should be transparent. Traceability mechanisms can help achieving this. Moreover, A.I.
systems and their decisions should be explained in a manner adapted to the stakeholder concerned. Humans need to be aware that they are
interacting with an A.I. system, and must be informed of the system’s capabilities and limitations;
(v) Diversity, non-discrimination and fairness: unfair bias must be avoided, as it could have multiple negative implications, from the marginalization
of vulnerable groups, to the exacerbation of prejudice and discrimination. Fostering diversity, A.I. systems should be accessible to all, regardless of any
disability, and involve relevant stakeholders throughout their entire life circle;
(vi) Societal and environmental well-being: A.I. systems should benefit all human beings, including future generations. It must hence be ensured that
they are sustainable and environmentally friendly. Moreover, they should take into account the environment, including other living beings, and their
social and societal impact should be carefully considered;
(vii) Accountability: mechanisms should be put in place to ensure responsibility and accountability for A.I. systems and their outcomes. Auditability,
which enables the assessment of algorithms, data and design processes plays a key role therein, especially in critical applications. Moreover, adequate
an accessible redress should be ensured.”
Similar to this well-grounded initiative, many countries, companies and professional communities are publishing guidelines for A.I., with analogous
values and principles, intending to ensure the positive aspects and diminish the risks involved on A.I. development. In that sense, it is worth
mentioning the recent and important initiatives coming from:
(i) Future of Life Institute – Asilomar AI;
(ii) Berkman Klein Center;
(iii) Institute Electrical and Electronic Engineers IEEE;
(iv) Centre for the study on existential risks;
(v) K&L gates endowment for ethics;
(vi) Center for human-compatible AI;
(vii) Machine Intelligence Research Institute;
(viii) USC center for AI in society;
(ix) Leverhulme center for future of intelligence;
(x) Partnership on AI;
(xi) Future of Humanity Institute;
(xii) AI Austin;
(xiii) Open AI;
(xiv) Foundation for Responsible Robotics;
(xv) Data & Society (New York, US);
(xvi) World Economic Forum’s Council on the Future of AI and Robotics;
(xvii) AI Now Initiative;
(xviii) AI100.

Besides the great advancements on ethical guidelines designed by the initiatives hereinabove, containing analogous values and principles, one of the
most complex discussions that pervades the various guidelines that are being elaborated, is related to the question of A.I.’s autonomy.
The different degrees of autonomy allotted to the machines must be thought of, determining what degree of autonomy is reasonable and where
substantial human control should be maintained. The different levels of intelligence and autonomy that certain technical artifacts may have must
directly influence the ethical and legal considerations about them.
Robot rights: autonomy and e-personhood

On 16 February 2017, the European Parliament issued a resolution with recommendations from the European Commission on civil law rules in robotics.
The document the European Parliament issued (“Recommendations from the European Commission on civil law rules in robotics 2015/2103 – INL”)
advocates for the creation of an European agency for robotics and artificial intelligence, to provide the necessary technical, ethical and regulatory
expertise. The European Parliament also proposed the introduction of a specific legal status for smart robots as well as the creation of an insurance
[12]
system and compensatory fund with the aim of creating a protection system for the use of intelligent machines.
Regarding the legal status that could be given to these agents, the resolution uses the expression “electronic person” or “e-person”. In addition, in
view of the discrepancy between ethics and technology, the European proposition rightly states that dignity, in a deontological bias, must be at the
centre of a new digital ethics.
The attribution of a legal status to intelligent robots, as designed in the resolution, it is intended to be one possible solution to the legal challenges
that will arise with the gain of autonomy of intelligent Things. The European Parliament’s report defines “intelligent robots” as those whose autonomy
is established by their interconnectivity with the environment and their ability to modify their actions according to changes.
With the purpose of building up on this discussion, the Israeli researcher Karni Chagal performs the analysis on robot autonomy to help us
differentiate the potential of responsibility in each case. To Chagal, in order to resolve the liability issue, it is crucial to think on different levels of
robot’s autonomy (Chagal, 2018). Nevertheless, she is aware that given the complexity of the artificial intelligence systems, the classification is difficult
to implement, since the autonomy is not a binary classification.
Two possible metrics raised for assessing autonomy are freedom of action of the machine with respect to the human being and the capacity of the
machine to replace human action. Such metrics are branched and complex with several possible sub-analyses and, according to Chagal, these tests
should also consider the specific stage of the machine decision-making process (Chagal, 2018).
To illustrate, Chagal designed the following table (hereunder), with a metric showing the possibility for machines to substitute humans in complex
tasks and analyzing also the decision making capacity of the machine (Chagal, 2018). The more machines get closer to a “robot-doctor” stage, the more
reasonable it would be to attribute new forms of accountability, liability, rights or even an electronic personhood.

Autonomous Robo-
Roomba robot Autopilot
vehicle doctor

Success rates not measurable?

Responsible for more than 2 OODA loop stages?

+ +

Independently selects type of info to collect?

? +

Independently selects sources of info to collect from?

+

Dynamic nature of sources of info?

+

Replaces professionals in complex fields?

? ? +

Life and death nature of decisions?

+ + +

Real time decisions required?

+ + ?

[13]
One criteria used by Chagal is the OODA [observe-orient-decide-act] cycle. Since the analysis of autonomy is complex, Chagal states that we
should observe the characteristics of different decision-making systems. These systems manifest themselves in four different stages, according to the
OODA cycle, affecting different justifications for liability concerning machines. These four points are: (i) Observe: collect current information from all
available sources; (ii) Orient: analyse the information collected and use it to update its reality; (iii) Decide: decide the course of action; (iv) Act:
implement its decision.
Considering the stages of the OODA cycle used by Chagal, the more the characteristics of the system are analogous to traditional products / things,
the greater the possibility of being embedded in the logic of consumer law. However, advanced robots and algorithms, because of its specific
characteristics, might be classified differently from traditional consumer products and, therefore, needing a differentiated treatment and
responsibility perspective.
The parameters for assigning responsibility in accordance with consumer law are defined and precise. However, as the complexity of systems
increases, in the case of ‘doctor robots’, for instance, as an specific example brought in the study, the number of scenarios and justification for
assigning responsibility depends on a number of factors. The doctor robots’ example correspond to the last stage of autonomy thought by Karni
Chagal, in which algorithms of reasoning are programmed capable of replacing the human being in highly complex activities, like medical activities of
diagnosis and surgery.
 In order for the degree of autonomy-based responsibility to be measured, one should consider the size of the parameter matrix that the algorithm
judges before the final decision-making and how much of that decision was decisive for the damaging outcome. It is necessary to consider that the
more stages of OODA a system is able to operate, the greater the unpredictability of the manufacturer on the decisions taken by Artificial Intelligence
[14]
(Magrani, Viola, and Silva, 2019).
In the case of the robot doctor, for instance, it is up to the machine to decide to what extent it should consider the medical history of the patient and
the more independent of human action these decisions are, the further the human responsibility will be. On the contrary, it would be possible to
program the machine in such a way as to consult a human being whenever the percentage of certainty for a decision-making is below a certain level,
but the establishment of such issues would also imply an increase in the responsibility of the manufacturer (that should also be based on a
deontological matrix type). The limit of action of the machine will be determinant in the continents aspects to the responsibility, and dependent of the
ethical vision adopted (Magrani, Viola, and Silva, 2019).
Although our technology has not yet developed robots with sufficient autonomy to completely replace the human being in very complex tasks, such
as the case of doctor robots, specialists envision, in the near future, a moment when this autonomy will be possible and, when that moment arrives, we
should have theoretical mechanisms to implement this type of attribution of responsibility, but in order not to provoke a chilling effect on
technological innovations.
For the time being, the responsibility should be attributed to the manufacturer, according to the consumerist logic. Nevertheless, considering the
possibility of robots reaching more independence with respect to humans, fulfilling the four stages of OODA, the aforementioned logic of
accountability of the consumer chain may not be applicable. That would arise the need to assign rights and even eventually even a specific personality
to smart robots with high autonomy level, besides the possibility of creating insurance and funds for accidents and damages involving robots.
Because we are not yet close to a context of substantial or full robotic autonomy, such as a ‘strong AI’ or ‘general artificial intelligence’, there is a
strong movement against the attribution of legal status to them. Recently, over 150 experts in A.I., robotics, commerce, law, and ethics from 14
[15]
countries have signed an open letter denouncing the European Parliament’s proposal to grant personhood status to intelligent machines. The open
letter suggests that current robots do not have moral standing and should not be considered capable of having rights.
However, as computational intelligence can grow exponentially, we should deeply consider the possibility of robots gaining a substantial autonomy
on the next years, demanding a real need for the attribution of rights.
Considering the myriad of possibilities, the Italian professor and researcher Ugo Pagallo states (Pagallo, 2018):

Policy makers shall seriously mull over the possibility of establishing novel forms of accountability and liability for the activities of AI robots in
contracts and business law, e.g., new forms of legal agenthood in cases of complex distributed responsibility. Second, any hypothesis of
granting AI robots full legal personhood has to be discarded in the foreseeable future. (…) However, the normative reasons why legal systems
grant human and artificial entities, such as corporations, their status, help us taking sides in today’s quest for the legal personhood of AI robots.

One of the important features to consider is the learning speed and individual evolution of the robot (based on data processing and deep learning),
which may represent in some cases the infeasibility of an educational process, thus limiting its moral and legal liability. But how could one punish a
robot? It could not be as simple as “pulling the plug”. In this case, there are two viable options: rehabilitation and indemnification. The first would
involve reprogramming the guilty robot. The second, would be to compel the same to compensate the victim for the damage caused. In such a context,
the European resolution is relevant. The proposition in assigning a new type of personhood, an electronic one, considering the characteristics of
intelligent Things, coupled with the idea of compulsory insurance or a compensatory fund can be an important step.
The new European proposal reflects, therefore, a practical and prompt response to the previously mentioned problem of “distributed
irresponsibility”, which occurs when there is no clear connection between an agent and the harm generated (unclear causal nexus between agents and
damages).
In view of a causal nexus that cannot be identified directly, for some scholars, we can infer its presumption from the economic group, making it
possible to repair the damages caused by facilitating the burden of proof for the victim. However, when we think of the damages that can occur within
complex sociotechnical systems, we can have an unfair or unassured application of the causal nexus and legal liability. This is because we are often
talking about the action caused by a sum of agencies of human beings, institutions and intelligent things with autonomy and agency power of their
own. In this case, the focus on the economic group, despite being able to respond to several cases of damages, may not be sufficient for the fair
allocation of liability in the artificial intelligence and internet of things era.
Therefore, as a pragmatic response to this scenario of uncertainty and lack of legal appropriateness, the European proposal suggests that in case of
damages the injured party may either take out the insurance or be reimbursed through the compensatory fund linked to the intelligent robot itself.
Besides the concern that this legal arrangement must not lead to a convenient tool for companies and producers to disproportionately set aside its
responsibility before users and consumers, this step should be closely followed by a continuous debate on the ethical principles that should guide such
technical artifacts. Furthermore, this discussion must be coupled with an adequate governance of all the data used by these agents. In observance of
these factors, the recommendation is that the development of this intelligent artifacts should be fully oriented by the previously described values, such
as: (i) fairness; (ii) reliability; (iii) security (iv) privacy and data protection; (v) inclusiveness; (vi) transparency; and (vii) accountability.
Governing intra-action with human rights and by design

One point worth considering in this context is that flaws are natural and can be considered even desirable for the faster improvement of a technical
artifact. Therefore, a regulatory scenario that would extinguish all and any flaws or damages would be uncalled for. AI-inspired robots are products
with inherently unforeseeable risks. “The idea of avant-garde machine learning research is for robots to acquire, learn, and even discover new ways of
interactions without the designer’s explicit instruction. The idea of artificial general intelligence (which is admittedly looking far into the future) is to
do so even without any implicit instruction” (Yi, 2018). Therefore, we could say that those technologies are “unforeseeable by design”.
From a legal standpoint, it is fundamental to keep in mind the new nature of a diffused liability, potentially dispersed in space, time and agency of the
various actants in the public sphere. In that sense, we need to think about the context in which assumptions on liability are made. The question that is
presented to us is not only how to make computational agents liable, but how to reasonably and fairly apply this liability.
The idea of a shared liability between the different agents involved in the sociotechnical network seems a reasonable perspective, requiring, in order
to attribute a fair liability to each one, the analysis of their spheres of control and influence over the presented situations and over other agents
(humans and not humans), considering their intra-relation (intra-action) (Barad, 2003).
[16]
However, we are still far from obtaining a reasonable consensus on the establishment of appropriate legal parameters for the development and
regulation of intelligent Things, although we already see many advancements concerning ethical guidelines.
These agents can influence relationships between people, shaping behaviours and world views, especially and more effectively when part of their
operation have technological complexity and different levels of autonomy, as it happens in the case of artificial intelligence systems with the capacity
of reasoning and learning according to deep learning techniques in artificial neural networks (Amaral, 2015).
In view of the increasing risks posed by the advance of techno-regulation, amplified by the dissemination of the ‘Internet of Things’ and artificial
intelligence, the rule of law should be seen as the premise for technological development, or as a metatechnology, which should guide the way
technology shapes behaviour rather than the other way around – which often results in violation of human and fundamental rights.
For law to act properly as a metatechnology, it must be backed by ethical guidelines consistent with the age of hyperconnectivity. In this sense, it is
necessary to understand the capacity of influence of the non-human agents, aiming to achieve a better regulation, especially for more autonomous
technologies, thinking about preserving the fundamental rights of individuals and preserving the human species.
The law, backed by an adequate ethical foundation, will serve as a channel for data processing and other technological materialities avoiding a
techno-regulation harmful to humanity. In this new role, it is important that the law guides the production and development of Things (technical
artifacts) in order to be sensitive to values, for example, regulating privacy, security and ethics by design. In a metaphor, law as metatechnology would
function as a pipeline suited to the digital age, through which all content and actions would pass.
With technology moving from a simple tool to an influencing agent and decision maker, law must rebuild itself in the techno-regulated world,
incorporating these new elements from a meta-perspective (as a meta-technology), building the normative basis to regulate the ethics of new
technologies through design. To do so, we must enhance and foster human-centered design models that are sensitive to constitutional values (value-
sensitive design).
Governing A.I. with the mentioned ethical principles (fairness; reliability; security; privacy; data protection; inclusiveness; transparency; and
accountability) and the “by design” technique is an important step to try to follow the pace of technological innovation, at the same time as trying to
guarantee effectiveness of law.
Conclusion

It is evident that these intelligent artifacts are consistently exerting more influence in the way we think and organise ourselves in society and,
therefore, the scientific and legal advance cannot distance itself from the ethical and legal issues involved in this new scenario.
In that sense, new ontological and epistemological lenses are needed. We need to think about intelligent Things not as mere tools but as moral
machines that interact with citizens on the public sphere, endowed with intra-acting agencies, entangled on sociotechnical systems.
Legal regulation, democratically construed in the public sphere, should provide the architecture for the construction of proper legal channels so
that non-human agents can act and be developed within the prescribed ethical limits. To design adequate limits for the A.I. era, we must recognise
Things as agents, based on a post-humanist perspective, but with a human rights’ based approach to guide its development.
Certainly, the reasons to justify an electronic personhood are not there yet. Nevertheless, since computational intelligence can grow exponentially, as
well as their level of interaction on our daily lives and on the connected public sphere, with the gain of new stages of autonomy, we must inevitably
think about the possibilities of establishing new forms of accountability and liability for the activities of A.I., including the possibility of attributing
rights, subjectivity and even an e-personhood in the future.
The granting of an electronic personality is the path suggested by the European Parliament for smart robots and we cannot reject this
recommendation, as a future regulation, since there is a possibility that it can be necessary, depending on the degree of autonomy conferred on A.I.s,
as explored in this work. Such construction, however, is not immune to criticism, notably as regards the comparison between an A.I. and a natural
[17]
person.
As evidenced, the discussion about ethics and responsibility of artificial intelligence still navigates murky waters. However, the difficulties arising
from technological transformations of high complexity cannot prevent the establishment of new regulations that have the capacity to reduce the risks
inherent in new activities and, consequently, the production and repair of damages (Magrani, Viola, and Silva, 2019). The exact path to be taken still
remains uncertain. Nevertheless, it is already possible to envision possibilities that can serve as important parameters. In the wise words of the Italian
philosopher Luciano Floridi: “The new challenge is not technological innovation, but the governance of the digital”.
References

Amaral, G. (2014). Uma dose de pragmatismo para as epistemologias contemporâneas: Latour e o parlamento das coisas. São Paulo: Digital de Tecnologias
Cognitivas.
Barad, K. (2003). Posthumanist Performativity: Toward an Understanding of How Matter Comes to Matter. In: The University of Chicago Journal of
Women in Culture and Society 2003, vol. 28, no. 3.
Castro, M. (2009). Direito e Pós-humanidade: quando os robôs serão sujeitos de direitos. Curitiba: Juruá.
Cerka, P. et al. (2015). Liability for damages caused by artificial intelligence. In: Computer Law & Security Review, vol. 31, n. 3, jun. 2015. p. 376 – 389.
Chagal, K. (2018). Am I an Algorithm or a Product? When Products Liability Should Apply to Algorithmic Decision-Makers. Stanford Law & Policy
Review.
Cole, G. (1990). Tort Liability for Artificial Intelligence And Expert Systems. In: Computer/Law Journal, vol. 10, n. 2.
Domingos, P. (2015). The Master Algorithm: how the quest for the ultimate learning machine will remake our world. New York: Basic Books.
Doneda, D., et al. (2016). What Is Algorithm Governance?. In: IEEE Internet Computing, v. 20, p. 60, 2016.
Hallevy, G. (2010). The Criminal Liability of Artificial Intelligence Entities: From Science Fiction to Legal Social Control. In: Akron Intellectual Property
Journal, vol. 4.
Kroes, P. et al. (2011). A Philosophy of Technology: From Technical Artefacts to Sociotechnical. Morgan & Claypool Publishers.
Laour, Bruno. (2001). A Esperança de Pandora: Ensaios sobre a realidade dos estudos científicos. São Paulo: EDUSC.
Magrani, E. (2017). Threats of the Internet of Things in a techo regulated society A New Legal Challenge of the Information Revolution. In: Orbit Journal
Vol 1. Issue 1.
Magrani, E., Silva, P., Viola, R. (2019). Novas perspectivas sobre ética e responsabilidade de inteligência artificial. In: Inteligência Artificial e Direito:
Ética, Regulação e Responsabilidade. São Paulo: RT.
Matias, J. (2010). Da cláusula pacta sunt servanda à função social do contrato: o contrato no Brasil. In: O sistema contratual romano: de Roma ao direito
actual. Coimbra: Faculdade de direito da universidade de Lisboa.
Pagallo, U. (2013). The Law of Robots: Crimes, Contracts and Torts. Berlin: Springer Science & Business Media.
Pagallo, U. (2018). Vital, Sophia, and Co.—The Quest for the Legal Personhood of Robots. Turin: University of Turin.
Saurwein, F., Just., N., Latzer, M. (2015). Governance of algorithms: options and limitations. In: Info, v. 17, n. 6.
Shavell, S. (2017). Foundations of economic analysis of law. Cambridge: Harvard University Press.
Unesco. (2017). Report of COMEST on robotics ethics. World Commission on the Ethics of Scientific Knowledge and Technology.
Verbeek, P. (2011). Moralizing Technology: Understanding and Designing the Morality of Things. Chicago / London: The University of Chicago Press.
Vladeck, D. (2014). Machines without principals: liability rules and artificial intelligence. Washington Law Review, vol. 89, n. 1, mar. 2014. p. 120-121.
Wolf, M., et al. (2017). Why We Should Have Seen That Coming: Comments on Microsoft’s tay “Experiment”. Boston: M. Press.
Wallach, W., Allen, C. (2008). Moral Machines: Teaching Robots Right from Wrong. Oxford: Oxford University Press.

1. Sócio no Demarest Advogados. Doutor em Direito. Affiliate no Berkman Klein Center na Universidade de Harvard. Pós Doutor na Universidade Técnica de Munique (TUM). ↵

2. Ph.D. in Law and Senior Fellow at the Konrad Adenauer Stiftung / KAS in Germany, on the European and International Cooperation Program for Global Innovation Policy, Digitalization and Artificial

Intelligence (EIZ-Fellow für Globale Innovationspolitik, Digitalisierung und Künstliche Intelligenz. Europäische und Internationale Zusammenarbeit). Professor Doctor of Law and Technology and

Intellectual Property at FGV Law School (Getulio Vargas Foundation), IBMEC and Pontifical Catholic University of Rio de Janeiro (PUC-Rio) in Brazil. President of the National Institute for Data

Protection in Brazil. Author of the Digital Culture Trilogy in Brazil “Democracy, Hyperconnectivity and Ethics: a trilogy on digital culture”, dealing in a comprehensive way with philosophy of

technology, digital democracy, data protection, innovation, cybersecurity and artificial intelligence. ↵

3. This article counted on the collaboration of Beatriz Laus in the translation. ↵

4. Better understood by the expression “actant” on Latour’s theory. ↵

5. In its Habermas definition. ↵

6. The 2005 UN Robotics Report defines a robot as a semi or fully autonomous reprogrammable machine used for the well-being of human beings in manufacturing operations or services. ↵

7. “Deep learning is a subset of machine learning in which the tasks are broken down and distributed onto machine learning algorithms that are organized in consecutive layers. Each layer builds up

on the output from the previous layer. Together the layers constitute an artificial neural network that mimics the distributed approach to problem-solving carried out by neurons in a human brain.”

Available at: http://webfoundation.org/docs/2017/07/AI_Report_WF.pdf. ↵

8. The engineers are responsible for thinking about the values that will go into the design of the artifacts, their function and their use manual. What escapes from the design and use manual does not

depend on the control and influence of the engineer and can be unpredictable. That’s why engineers must design value-sensitive technical artifacts. An artifact sensitive to constitutionally

guaranteed values (deliberate in the public sphere) is a liable artifact. It also necessary to think about the concepts of “inclusive engineering and “explainable AI”, to guarantee non-discrimination

and transparency as basic principles for the development of these new technologies. ↵

9. With this regard, to enhance the transparency and the possibility of accountability in this techno-regulated context, there is nowadays a growing movement in civil society demanding the

development of “explainable artificial intelligences”. Also, the debate around a “right to explanation” for algorithmic and autonomous decisions that took place on discussions around the General

Data Protection Regulation (GDPR) is also a way to achieve the goals of transparency and accountability since algorithms are taking more critical decisions on our behalf and is increasingly hard to

explain and understand its processes. ↵

10. ‘Causal nexus’ is the link between the agent’s conduct and the result produced by it. “Examining the causal nexus determines what were the conducts, be them positive or negative, gave rise to the
 result provided by law. Thus, to say that someone has caused a certain fact, it is necessary to establish a connection between the conduct and the result generated, that is, to verify if the action or

omission stemmed from the result caused. ↵

11. This legal phenomenon is also called by other authors as “problem of the many hands” or “accountability gap”. ↵

12. The type of insurance that should be applied to the case of intelligent robots and which agents and institutions should bear this burden is still an open question. The European Union’s recent report

(2015/2103 (INL)) issued recommendations on the subject, proposing not only mandatory registration, but also the creation of insurance and funds. According to the European Parliament, insurance

could be taken by both the consumer and the company in a similar model to those used by the car insurance. The fund could be either general (for all autonomous robots) or individual (for each

category of robot), composed of fees paid at the time of placing the machine on the market, and / or contributions paid periodically throughout the life of the robots. It is worth mentioning that, in

this case, companies would be responsible for bearing this burden. Despite this proposal, however, the topic continues open to debate, with new alternatives and more interesting models - such as

private funds, specific records, among other possibilities - that will not be the subject of a deep analysis in this thesis. ↵

13. OODA means the "observe–orient–decide–act" orientation cycle, a strategy developed by military strategist John Boyd to explain how individuals and organizations can win in uncertain and chaotic

situations. ↵

14. Parts of this subsection were built upon a recently published work of the author, in co-authorship (Magrani, Viola, and Silva, 2019), and cited here to bring an updated vision of the author in dialogue

with other recent publications. ↵

15. The characteristics most used for the foundation of the human personality are: consciousness; rationality; autonomy (self-motivated activity); the capacity to communicate; and self-awareness.

Another possible social criterion is to be considered a person whenever society recognizes thus recognises one (we can even apply the Habermasian theory here, through a deliberative process in

the public sphere). Other theorists believe that the fundamental characteristic for the attribution of personality is sensibility, which means the capacity to feel pleasure and pain. The legal concept

of a person is changeable and is constantly evolving. For example, Afro-descendants have once been excluded from this category, at the time of slavery. Therefore, one cannot relate the legal

concept of a person to Homo sapiens. A reservation is necessary at this point because even if robots can feel and demonstrate emotions as if they were sensuous, the authenticity of these reactions

is questioned since they would not be genuine, but at most a representation (or emulation), analogous to human actors when they simulate these emotions in a play, for example, feelings in certain

roles, not being considered by many as something genuine. Because of this, the Italian jus-philosopher Ugo Pagallo calls this ‘artificial autonomy’. ↵

16. In the present article, it is argued that the consensus must be constructed according to Jurgen Habermas’s proposal, that is, through dialectical conflicts in the public sphere. ↵

17. Such criticism, however, can be overcome by instruments already available on legal regulation. The recognition that the A.I. expresses a centre of interests would already be more than sufficient to

admit that it has subjectivity and therefore deserving at least some rights. Nothing would prevent the granting of subjectivity to A.I.s as a mid-term regulation and leaving the path open for a future

grant of an effective e-personality depending on the degree of autonomy (based on a matrix type). As an initial measure, it would play an important role in guaranteeing the reparation of victims,

avoiding a scenario of ‘distributed irresponsibility’. ↵

13.
Inteligência artificial: riscos para direitos humanos e possíveis ações

[1]
Paula Gorzoni

Resumo: O desenvolvimento de Inteligência Artificial (IA) pode trazer consigo riscos para os direitos humanos sob o ponto de vista de suas
implicações sociais, éticas e jurídicas, tanto da perspectiva individual quanto coletiva. Para garantir que o desenvolvimento de IA ocorra para o
benefício da sociedade como um todo, de forma inclusiva, é necessário elencar os riscos existentes, compreendê-los e pensar em formas de mitigá-los.
Levando em consideração estes riscos, o artigo analisará as possíveis ações para a sua mitigação e a possibilidade do desenvolvimento de IA no âmbito
de uma estrutura ética. Para isso, os esforços da União Europeia (UE) no desenvolvimento de diretrizes éticas nesta área serão analisados.
1. Introdução: O desenvolvimento de inteligência artificial apavora a sociedade atual?

Novas tecnologias de inteligência artificial têm se desenvolvido nos mais diferentes campos. Desde o sistema de recomendação de filmes, séries e
músicas utilizados por sites ou aplicativos como, por exemplo, YouTube, Netflix e Spotify, ou o sistema de anúncios utilizado pelo Facebook, o
mecanismo que identifica o que é spam na caixa de e-mails, passando por assistentes virtuais inteligentes que interagem pelo reconhecimento de voz,
até carros inteligentes, todos esses exemplos utilizam técnicas de inteligência artificial em seu funcionamento.
No entanto, apesar de técnicas de IA estarem já espalhadasjá estarem presentes no dia-a-dia das pessoas, é comum que a sociedade olhe com temor
[2]
o seu desenvolvimento destas novas técnicas. O imaginário de uma distopia é visto, por exemplo, na série Black Mirror. “Robôs de guerra” ou
[3]
sistemas de armamento autônomos já são tematizados. Elon Musk, fundador e CEO da Tesla, tem alertado na mídia os perigos levantados pela IA e
[4]
chamado atenção para a importância de se regular o desenvolvimento deste tipo de tecnologia. Nesse sentido, é necessário reconhecer a velocidade
[5]
em que IA está se desenvolvendo e examinar os riscos que técnicas de IA podem trazer consigo.
2. Direitos humanos na era digital

2.1. Pontos iniciais de debate: definindo cenários e desafios

Ponto inicial para a avaliação de riscos aos direitos humanos que a inteligência artificial pode causar é definir estes direitos no contexto da era digital.
O Conselho de Direitos Humanos da Organização das Nações Unidas (ONU) definiu em 2016 que “direitos humanos que as pessoas têm offline devem
[6]
ser também protegidos online”. Isso significa que tratados internacionais sobre direitos humanos definidos antes do desenvolvimento destas
tecnologias, como por exemplo o Pacto Internacional de Direitos Civis e Políticos (1966), aplicam-se da mesma forma tanto no cenário online quanto
no offline.
No entanto, pergunta-se se as legislações internacionais e nacionais relativas à proteção de direito humanos são suficientes neste cenário de
desenvolvimento de novas tecnologias. Para analisar esta questão, é necessário primeiramente elencar os riscos trazidos aos direitos humanos por
técnicas de inteligência artificial.

2.2. Riscos para direitos humanos

Ao analisar o desenvolvimento de inteligência artificial é preciso levar em consideração que as tecnologias são construídas frequentemente por
organizações, como empresas específicas e por um grupo de pessoas específicas determinadas (por exemplo, determinados dados cientistas em uma
[7] [8]
organização). Desta forma, novas tecnologias são influenciadas por e replicam normas sociais ou e valores da sociedade atual. Por outro lado, estas
novas tecnologias moldam o corpo social a sociedade e mudam hábitos sociais de forma rápida. Por isso é essencial que o desenvolvimento de IA leve
em consideração os possíveis riscos aos direitos humanos.

2.2.1. Privacidade e proteção de dados

[9]
Um dos riscos mais levantados corresponde a violações do direito à privacidade e proteção de dados. O direito à privacidade está elencado no artigo
17 do Pacto Internacional de Direitos Civis e Políticos. Tecnologias de inteligência artificial têm sido utilizadas, por exemplo, para a criação de sistemas
de decisões automatizadas. Tais mecanismos são capazes de tomar decisões automaticamente, fazer previsões ou sugerir recomendações de ações,
sem intervenção humana. Para a criação desses sistemas é necessário um grande volume de dados pessoais para que um algoritmo possa ser
[10]
alimentado e seja capaz de tomar uma decisão com certa precisão. O algoritmo aprende por meio do enorme volume de dados disponível e com isso
é capaz de tomar decisões por si mesmo. Tais decisões podem afetar indivíduos, grupos sociais ou a sociedade como um todo. Desta forma, o enorme
volume de dados e a forma como estes dados são utilizados por estes sistemas devem ser jurídica e eticamente regulados.
Neste sentido, é necessário pensar: (1) quais dados podem ser utilizados para o desenvolvimento de inteligência artificial e (2) como os dados serão
processados pelos sistemas. Existem dados que são considerados como sensíveis, como, por exemplo, dados sobre religião ou orientação sexual. Tais
dados não podem ser utilizados a fim de se gerar discriminação em relação a um determinado grupo. Existe, neste sentido, o risco da utilização de
[11]
dados pessoais para definições de perfis (“profiling”). A respeito do processamento de dados, o relatório sobre “inteligência artificial e privacidade” da
autoridade norueguesa de proteção de dados (Datatilsynet) aponta os seguintes desafios da inteligência artificial: limitação de propósito do uso dos
[12]
dados; minimização do uso de dados; e transparência e direito à informação relacionados aos dados usados.
A não limitação do propósito do uso dos dados pode gerar complicações, visto que é possível gerá-los por meio do cruzamento ou agregação de
informações de diferentes sistemas. Ao se criar tecnologias de inteligência artificial, o propósito do uso de dados deve estar claro desde o início. Além
disso, é necessário pensar na segurança das informações armazenadas. Novas tecnologias devem ser desenvolvidas tendo também como objetivo
proteger os dados utilizados de terceiros não autorizados a terem acesso ao banco de dados.
Uma possível abordagem para mitigar riscos relacionados a estes direitos é conhecida como “privacidade por desenho” (privacy by design) , que
significa que a proteção da privacidade ou a proteção de dados deve ser pensada desde a concepção da tecnologia de inteligência artificial, a fim de se
[13]
minimizar maiores violações aos direitos. Regulamentações Normas como o Regulamento Geral sobre a Proteção de Dados (RGPD) da União
[14]
Europeia (UE) e a Lei Geral de Proteção de Dados Pessoais brasileira (Lei Federal n. 13.709/2018) representam uma tentativa de se disciplinar o uso
de dados nestas situações.

2.2.2. Discriminação

[15]
Sistemas de inteligência artificial, por meio de processamento de dados, podem trazer riscos como discriminação de indivíduos ou grupos. A
proibição da discriminação está presente no artigo 26 do Pacto Internacional de Direitos Civis e Políticos. Como a tecnologia é muitas vezes criada por
determinados grupos de pessoas ou empresas com interesses específicos, sistemas baseados em inteligência artificial podem reproduzir
[16]
comportamentos discriminatórios presentes na sociedade. Além disso, a partir do momento em que um algoritmo aprende por ele mesmo, a partir
departindo de dados que reproduzem comportamentos arraigados na sociedade, condutas discriminatórias podem ser adotadas automaticamente.
 [17]
Estes riscos podem ser percebidos quando a inteligência artificial é utilizada na seleção de candidatos em entrevista de emprego ou concessão de
crédito por um banco.
Conforme mencionado anteriormente, dados sensíveis, como informações sobre raça, religião, orientação sexual ou posicionamento político, podem
ser processados de forma discriminatória. Uma das soluções possíveis diz respeito à necessidade de revisão ou verificação constante por pessoas das
decisões automatizadas, assim como a avaliação crítica da base de dados e da estrutura de dados disponibilizada para mecanismos de inteligência
[18]
artificial.
Existe também o risco de que sistemas de inteligência artificial não considerem situações características específicas de grupos
marginalizadosminoritários, visto que dados informações destes grupos podem não estar incluídos no volume de dados a ser processado por
[19]
determinados sistemas. Este é o caso de um programa de reconhecimento facial que era menos preciso ao reconhecer mulheres indivíduos negroas.
[20]
Dessa forma, existe o risco de perpetuação da exclusão de grupos na sociedade.

2.2.3. Julgamento imparcial e devido processo legal

Sistemas de inteligência artificial que são utilizados para auxiliar tomadas de decisões no âmbito judicial podem trazer riscos relacionados à
[21]
imparcialidade de um julgamento e ao devido processo legal. Estas garantias estão presentes no artigo 14 do Pacto Internacional de Direitos Civis e
Políticos. Estes riscos estão presentes no caso, por exemplo, do Compas COMPAS (sigla em inglês para Correctional Offender Management Profiling for
[22]
Alternative Sanctions), mecanismo dotado de algoritmo supostamente capaz de prever a probabilidade de reincidência criminal de uma pessoa. Há
riscos de um sistema como este reproduzir comportamentos discriminatórios, conforme salientado no tópico anterior. Além disso, um sistema como
este pode carecer de transparência, quando o uso de dados e modo como as decisões são tomadas não são explicados de forma clara.

2.2.4. Liberdade de expressão, reunião e associação

A Remoção de conteúdo em plataformas de redes sociais como Facebook é feita frequentemente por sistemas automatizados ou semiautomatizados,
que utilizam inteligência artificial para seu funcionamento. Neste caso, existe risco à liberdade de expressão, consubstanciado no (artigo 19 do Pacto
Internacional de Direitos Civis e Políticos), por meio de remoções de conteúdo sem maiores justificativas, feitas por agente privado. Publicações com
conteúdo humorístico, por exemplo, são com frequência de difícil interpretação e por meio destes mecanismos podem sofrer remoções
automatizadasinadequadas.
Mecanismos de inteligência artificial também podem ser utilizados no combate ao terrorismo ou ao extremismo político por meio de
[23]
reconhecimento facial, filtros de conteúdo na internet e remoção automática de conteúdo. Nestes casos, existem também riscos à liberdade de
expressão por meio de “super bloqueios” (overblocking) de conteúdo.
Por fim, mecanismos de remoção automática de conteúdo e reconhecimento facial também podem gerar riscos para defensores de direitos humanos
e opositores políticos, como o risco do estabelecimento de uma atmosfera de vigilância dependendo da forma com que governos podem se apropriar e
[24]
utilizar tais mecanismos. Consequentemente, tal cenário representa também um risco para a liberdade de associação e reunião.

2.2.5. Eleições

[25]
Mecanismos de inteligência artificial podem também trazer riscos às eleições por meio dos “social media bots”. Bots são robôs que executam tarefas
automaticamente. Bots em redes sociais podem assumir identidades por meio de contas falsas e divulgar opiniões a respeito de candidatos ou temas
sensíveis politicamente. Por meio de mecanismos de inteligência artificial, estes bots conseguem interagir com outros usuários e divulgar informações
conforme a situação. Os bots nas redes sociais podem, portanto, imitar comportamentos humanos relacionados a padrões de comunicação. Deste
modo, tais mecanismos podem influenciar de forma considerável debates em eleições. Existe a possibilidade de bots manipularem opiniões e
[26]
espalharem informações falsas nas redes sociais, constituindo um risco para a democracia. Existe um risco aos direitos relacionados ao
estabelecimento de eleições livres, conforme o disposto no artigo 25 do Pacto Internacional de Direitos Civis e Políticos e do artigo 3 do Protocolo 1 da
Convenção Europeia de Direitos Humanos.
Além disso, por meio dos filtros nas redes sociais, há a possibilidade da criação de “bolhas ideológicas”, o que significa que o usuário somente
[27]
visualizará publicações que se assemelhem com seus interesses e opiniões.

2.2.6. Direito ao trabalho

Mecanismos de inteligência artificial podem trazer riscos relacionados ao direito ao trabalho, disposto no artigo 6 do Pacto Internacional dos Direitos
[28]
Econômicos, Sociais e Culturais. É possível que existam riscos para a empregabilidade. Sistemas de inteligência artificial podem vir a substituir mão
de obra humana e, deste modo, provocar desemprego em certos setores. Um dos setores que mais apontado como possivelmente afetado pela
[29]
inteligência artificial no futuro é o de telemarketing. Para evitar este risco, é essencial pensar em como trabalhadores e sistemas de inteligência
artificial podem interagir, pensando em novas formas de trabalho e uma educação consciente das mudanças que estarão por vir, tendo como objetivo
[30]
aumentar o entendimento da população em relação às novas tecnologias.
3. Possíveis ações para mitigação de riscos

Após ter analisado os possíveis riscos da inteligência artificial aos direitos humanos, possíveis ações para a mitigação destes riscos serão aqui
elencadas. Importante perceber que no âmbito do desenvolvimento de novas tecnologias, a proteção aos direitos humanos não deve ser só pensada
segundo a visão tradicional, na qual tais direitos foram concebidos como direitos oponíveis somente ao Estado, com a função de proteger os indivíduos
contra os abusos daquele. Agentes privados, como empresas, desempenham papel importante no desenvolvimento de inteligência artificial e também
podem, portanto, também restringir direitos. É necessário adotar perspectiva desses direitos como princípios que atuam em todos os âmbitos do
[31]
Ddireito – inclusive o direito privado – e que proporcionam diretrizes e impulsos para a legislação, administração e justiça. Por outro lado, também é
preciso pensar quem poderia regulamentar regular e fiscalizar o emprego de inteligência artificial por setores públicos ou e pelo poder judiciário.
Nesse sentido, possíveis ações para mitigação de riscos devem ser pensadas a partir de uma abordagem multissetorial, que envolvam poder público
[32]
(legislativo, executivo e judiciário), setor privado, academia e sociedade civil. Existe também a possibilidade de se pensar em um órgão independente,
formado por pessoas de todos os setores, que possa regular e monitorar o desenvolvimento de IA. Desta forma, os mais diferentes interesses da
sociedade estariam representados.

3.1. Abordagens baseadas em direitos humanos

Considerando uma abordagem multissetorial , outro pressuposto essencial para este debate sobre mitigação de riscos é pensar no desenvolvimento de
novas tecnologias por meio de uma abordagem baseada em direitos humanos:

“A human rights-based approach (HRBA) is a conceptual framework for the process of human development. It is based on international human
rights norms and standards and is dedicated to promoting and protecting human rights. It puts human rights at the center of the preparation,
design, implementation, monitoring, and evaluation of policies, regulatory measures, and spending programmes. International human rights
norms and standards, as well as principles such as participation, non-discrimination, and accountability should guide all stages of policies,
[33]
regulatory measures, and spending programmes.”

Isso significa que direitos humanos devem ser levados em consideração desde o início do desenvolvimento da tecnologia de inteligência artificial.
[34]
Além disso, instrumentos já existentes como, por exemplo, princípios orientadores sobre empresas e direitos humanos da ONU, podem ser úteis
para a mitigação desses riscos. Os princípios orientadores sugerem que empresas dos mais diversos setores façam uso de “due diligence em direitos
humanos”, que corresponde a um processo de administração de riscos a direitos humanos. Este processo deve incluir avaliações de impactos em
direitos fundamentais, integração dos resultados das avaliações nos processos relevantes da empresa por meio de medidas de acordo com o seu
envolvimento no impacto, acompanhamento da eficácia dessas medidas para verificar sua efetividade, comunicação de como os impactos estão sendo
abordados e mostrar apresentados às partes interessadas – em particular às partes interessadas afetadas -– de forma a evidenciar que existem
[35]
políticas e processos adequados em vigor. Atores privados poderiam fazer uso deste mecanismo no processo de desenvolvimento de inteligência
artificial e, após o desenvolvimento, no processo de monitoramento da performance dos sistemas. Nesse sentido, a ICANN (Sigla para “corporação da
internet para atribuição de nomes e números”) vem discutindo a possibilidade de traçar modelos de avaliações de impacto a direitos humanos no setor
[36]
de tecnologia. Dentre as iniciativas da ICANN, destaca-se o esboço de um questionário com critérios a serem avaliados no âmbito de tais avaliações.
[37]

Em uma abordagem baseada em direitos humanos, é preciso também considerar a possibilidade de regulação própria de atores privados neste
[38]
sentido. Um exemplo deste tipo de iniciativa são os princípios que a Google estabeleceu para a criação de inteligência artificial. Dentre os princípios,
a empresa se compromete a evitar criar ou reforçar preconceitos, incorporar princípios de privacidade by design, e se compromete bem como a não
buscar tecnologias que causam ou provavelmente causarão danos gerais à sociedade.

3.2. Diretrizes éticas para inteligência artificial

Além de uma abordagem baseada em direitos humanos, a criação e o desenvolvimento de inteligência artificial devem ser pautados por diretrizes
[39]
éticas. Os direitos humanos em si representam uma fonte para o desenvolvimento da ética de inteligência artificial. Tais diretrizes podem servir
como uma forma de esclarecer quais são as expectativas e quais são os valores que determinada sociedade tem em seu núcleo, a serem respeitadas no
processo de desenvolvimento de novas tecnologias. Yuan Stevens sugere que normas e valores que membros da sociedade desejam manter devem ser
incorporadas nas avaliações tecnológicas e que deve ser analisado se os usos em potencial de determinada tecnologia vão transformar ou violar tais
[40]
normas e valores. Desta forma, a criação de mecanismos de controle e monitoramento não serão exclusivos de juristas ou gestores de políticas
públicas, mas terão que ser feitos em conjunto com outros setores da sociedade, a fim de espelhar os valores e normas esperadas no desenvolvimento
[41]
de IA.
Nesse sentido são os esforços de alguns países que conceberam estratégias nacionais para o desenvolvimento de inteligência artificial e incluíram
[42]
uma parte especial sobre diretrizes éticas. Um dos maiores exemplos deste tipo de iniciativa diz respeito à União Europeia, que elabora no momento
[43]
diretrizes éticas por meio de um grupo de trabalho multisetorial. Códigos de conduta e comissões de ética podem ser criados nacionalmente a fim
de assegurar o desenvolvimento de inteligência artificial com respeito a direitos humanos.
 Alguns pontos devem ser observados e problematizados na elaboração de diretrizes éticas para inteligência artificial, como, por exemplo:

Como conciliar ética com inovação;

Quais princípios éticos devem pautar a criação de sistemas de IA, levando em consideração também direitos humanos;
Diversas formas de pautar o papel do Estado na regulação tecnológica, incluindo a possibilidade de parcerias entre atores privados e públicos para
regulação na área de inteligência artificial;
Regulação baseada em transparência e ferramentas de accountability;
Preocupação com segurança;
Criação de órgão externo regulador multisetorial;
Pensar medidas para o sistema educacional e treinamentos relacionados a tecnologias, assim como e pensar nas consequências para
empregabilidade no futuro;
Assegurar diversidade na criação por meio de incentivos à pesquisa.

3.3. Estudo de caso: União Europeia

[44]
A Comissão Europeia publicou em 2018 a comunicação sobre “Inteligência Artificial para Europa”. Este documento estabeleceu a iniciativa europeia
em inteligência artificial, que tem como objetivos aumentar a capacidade tecnológica e industrial da UE e a aceitação da IA em toda a economia,
preparar para as mudanças socioeconômicas provocadas pela inteligência artificial, e garantir diretrizes éticas e jurídicas apropriadas, baseadas nos
[45]
valores da UE e de acordo com a Carta de Direitos Fundamentais da UE. Para atingir o último objetivo citado, a comunicação estabelece cooperação
com os principais atores interessados em inteligência artificial por meio de uma aliança europeia de inteligência artificial (“European AI Alliance”) para
[46]
o desenvolvimento de diretrizes éticas para inteligência artificial.
O primeiro esboço destas diretrizes éticas foi divulgado em 18 dezembro de 2018, proposto pelo Grupo de Especialistas de Alto Nível em Inteligência
[47]
Artificial (High-Level Expert Group on Artificial Intelligence – AI HLEG). Este grupo é constituído de 52 especialistas, que representam academia,
sociedade civil e setor privado. Para o desenvolvimento do esboço, os atores envolvidos examinaram os impactos da inteligência artificial em direitos
fundamentais, como: privacidade, dignidade, proteção do consumidor e não discriminação. Questões como o futuro do mercado de trabalho,
segurança, fairness, inclusão social e transparência algorítmica foram analisadas.
As diretrizes partem do princípio de que uma abordagem que tem o ser humano ao centro é necessária, pois o desenvolvimento e uso de inteligência
[48]
artificial deve ter como objetivo aumentar o bem-estar humano, e não ser um fim em si mesmo. Uma “inteligência artificial confiável” (“Trustworthy
AI”) é o que as diretrizes têm como guia. O primeiro esboço das diretrizes estabelece que uma “inteligência artificial confiável” tem dois componentes:
(1) “ela deve respeitar direitos fundamentais, a regulação aplicável e princípios e valores fundamentais, garantindo um ‘propósito ético’”; e (2) deve ser
[49]
tecnicamente estável e confiável, pois, mesmo com boas intenções, a falta de domínio tecnológico pode causar danos não intencionais”. Como é
possível observar, não basta o comprometimento com normas e valores fundamentais da sociedade, é necessário pensar no desenvolvimento da
técnica em si.
Importante destacar que o esboço se preocupa em operacionalizar as diretrizes éticas. Após defini-las, são listados requisitos para alcançá-las e
como operacionalizar estes requisitos por meio de uma lista de avaliação (assessment list), a fim de se oferecer um panorama dos métodos técnicos e
[50]
não técnicos que podem ser usados para a implementação das diretrizes.
Os principais direitos fundamentais elencados que devem ser observados são: respeito pela dignidade humana; liberdade individual; respeito pela
democracia, justiça e Estado de Direito; igualdade, não-discriminação e solidariedade, incluindo os direitos das pessoas pertencentes a grupos
[51]
minoritários; direitos dos cidadãos em relação à administração pública, como por exemplo direito à informação e acesso a documentos públicos.
Além destes direitos, que estão positivados na Carta de Direitos Fundamentais da UE, as diretrizes elencam também princípios éticos a serem
seguidos. Eles são: o princípio da beneficência (“faça o bem”), no sentido de que sistemas de AI devem melhorar o bem-estar da sociedade; o princípio
da não maleficência (“não cause danos”); o princípio da autonomia (“preservar a atuação humana”); o princípio da justiça (“seja justo”); e o princípio da
[52]
explicabilidade (“opere de forma transparente”).
Desenvolvimentos de inteligência artificial que causam preocupações também são levantados, como, por exemplo, a possibilidade de identificação
de indivíduos sem consenso, classificação em massa em cidadãos com fim de avaliar a “integridade moral” e desenvolvimento de sistemas de armas
[53]
automatizadas. Tendo analisado os possíveis cenários, as diretrizes estabelecem que, além do desenvolvimento dever ser feito tendo como base
direitos fundamentais e princípios éticos, especial atenção deve ser dada a situações envolvendo grupos vulneráveis, como crianças ou pessoas com
deficiência, e situações nas quais existam assimetrias de poder de informação, como por exemplo entre empregador e empregados ou empresas e
consumidores. É importante ter em mente que a inteligência artificial pode ter impactos negativos na sociedade e, portanto, mostra-se essencial estar
[54]
vigilante em áreas que levantam preocupações.
Os requisitos de uma “inteligência artificial confiável” devem estar presentes desde o início da fase do desenvolvimento da tecnologia. Os requisitos
elencados são: mecanismos de accountability, governança dos dados (qualidade dos dados, evitar dados enviesados), design para todos (inclusão no
desenvolvimento da tecnologia), governança de IA por meio de supervisão humana, não discriminação, respeito pela autonomia humana, respeito pela
[55]
privacidade, confiabilidade (incluindo a precisão do sistema e sua resistência a ataques), segurança e transparência. Para a implementação destes
requisitos, métodos técnicos e não técnicos devem ser observados. Estes requisitos devem ser levados em consideração em todos os momentos
relacionados à tecnologia, como, por exemplo, ao montar a equipe que vai trabalhar no sistema, no desenvolvimento do sistema em si, nos testes do
[56]
sistema e na aplicação do sistema. Em suma, a implementação destes requisitos deve ser um processo contínuo.
Do ponto de vista técnico, é necessário fornecer informações a diversos atores sobre as capacidades e limitações de sistemas de inteligência
artificial, para que seja possível estabelecer expectativas realistas em relação a estes sistemas. A rastreabilidade e a possibilidade de auditar os sistemas
[57]
é essencial, a fim de se lidar com os desafios de desenvolver uma tecnologia baseada em transparência e explicabilidade. Do ponto de vista não
técnico, fazer uma “inteligência artificial confiável” parte da cultura das empresas e fornecer informações às partes interessadas sobre o que é feito
para se obter essa “inteligência artificial confiável” são o primeiro passo. Além disso, para assegurar diversidade, mostra-se relevante garantir a
[58]
participação e inclusão das partes interessadas no design e desenvolvimento dos sistemas de inteligência artificial. Mais diversidade nas equipes
[59]
responsáveis pelo design das tecnologias pode garantir um produto mais inclusivo. Outra medida diz respeito à educação e à conscientização dos
[60]
atores envolvidos a respeito desta mentalidade ética que está sendo desenvolvida. Por fim, deve-se ter em mente que podem existir tensões entre os
[61]
objetivos: “transparência pode ser uma abertura ao mau uso; identificar e corrigir viés (bias) pode estar em oposição à proteção da privacidade”.
Portanto, estes dilemas, quando presentes, devem ser identificados e comunicados às partes interessadas.
[62]
Por último, o esboço fornece uma lista de avaliação com os requisitos examinados para uma “inteligência artificial confiável”. O esboço esclarece
que esta não deve ser vista como uma lista exaustiva, mas sim como um exercício que será constantemente atualizado. Os principais pontos de análise
são: accountability; governança dos dados; design para todos ; governando a inteligência artificial de forma autônoma; não discriminação, respeito pela
[63]
privacidade; respeito pela autonomia humana, confiabilidade; segurança e transparência.
O primeiro esboço esteve aberto para comentários das partes interessadas até o dia 1 de fevereiro de 2019. Em março, o grupo de especialistas
[64]
apresentará apresentou uma versão final à Comissão Europeia, que analisará analisou as diretrizes e irá propoôsr como avançar com este trabalho.
Este esboço representa significa uma tentativa bastante completa de mitigar riscos para os direitos humanos no âmbito da inteligência artificial. Desde
o estabelecimento de um grupo de especialistas multisetorial, representando diferentes interesses da sociedade, considerando não somente os
direitos fundamentais positivados no âmbito jurídico da UE, como levantando princípios éticos e examinando conjuntamente ações técnicas e não
técnicas para que estes direitos sejam protegidos e os princípios éticos alcançados. Por fim, uma lista de avaliação torna operacional a possibilidade de
se avaliar concretamente os requisitos traçados pelas diretrizes.
4. Considerações finais

Este artigo elencou e analisou os principais riscos que o desenvolvimento de inteligência artificial pode trazer para os direitos humanos. A fim de se
mitigar estes riscos, algumas ações foram propostas. Entre elas, levar em consideração uma abordagem multisetorial na criação, desenvolvimento e
aplicação de novas tecnologias, envolvendo diversas partes interessadas como: poder público (legislativo, executivo e judiciário), setor privado,
academia e sociedade civil. Também
Ainda, ter como base uma abordagem baseada em direitos humanos, utilizando-se de instrumentos já existentes, como a due diligence em direitos
humanos, estabelecida pelos princípios orientadores sobre empresas e direitos humanos da ONU. Legislações internacionais e nacionais relativas à
proteção de direito humanos devem continuar a ser aplicadas neste cenário de desenvolvimento de novas tecnologias. Contudo, novas formas de
regulamentação devem ser pensadas. Dentre elas, a possibilidade de autorregulamentação por empresas não deve ser descartada.
Além disso, a criação e o desenvolvimento de inteligência artificial devem ser pautados por diretrizes éticas . Para examinar com maiores detalhes o
que diretrizes éticas podem oferecer neste sentido, o exemplo do desenvolvimento de diretrizes éticas no âmbito da União Europeia para uma
“inteligência artificial confiável” foi analisado. O primeiro esboço feito por um grupo de especialistas multisetorial apresenta muito dos pontos
problematizados aqui e pretende operacionalizar a garantia dos princípios éticos no desenvolvimento e aplicação da tecnologia por meio de uma lista
de avaliação (“assessment list”) com diversos requisitos técnicos e não técnicos a serem observados.
Referências bibliográficas

Article 19, “Algorithms and automated decision-making in the context of crime prevention”. Disponível em:
https://www.article19.org/resources/algorithms-and-automated-decision-making-in-the-context-of-crime-prevention/. Acesso em: 25 jan. 2019.
Bessi, Alessandro e Ferrara, Emilio, “Social bots distort the 2016 U.S. Presidential election online discussion”, First Monday 21, 2016.
Bickert, Monika, Fishman, Brian, Hard Questions: How We Counter Terrorism, 15 de Junho de 2017. Disponível em:
https://newsroom.fb.com/news/2017/06/how-we-counter-terrorism/. Acesso em: 25 jan. 2019.
Bilbao Ubillos, Juan Maria, La eficacia de los derechos fundamentales frente a particulares: análisis de la jurisprudencia del Tribunal Constitucional.
Madrid: Centro de Estudios Políticos y Constitucionales, 1997.
Buolamwini, Joy e Gebru, Timnit, Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, Proceedings of Machine
Learning Research 81, 2018, pp. 1-15.
Buolamwini, Joy, How I’m fighting bias in algorithms, 2017. Disponível em:
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms. Acesso em: 26 jan. 2019.
Conselho da Europa, Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular algorithms) and possible
regulatory implications, 2017.
Conselho de Direitos Humanos da Organização das Nações Unidas (ONU), A/HRC/32/L.20, 27 de junho 2016.
Cullen, Daniel, Why Artificial Intelligence is Already a Human Rights Issue, Oxford Human Rights Hub, 2018. Disponível em:
http://ohrh.law.ox.ac.uk/why-artificial-intelligence-is-already-a-human-rights-issue/. Acesso em: 26 jan. 2019.
Danieli, Oren, Hillis, Andrew e Luca, Michael, “How to Hire with Algorithms”, Harvard Business Review 2016. Disponível em:
https://hbr.org/2016/10/how-to-hire-with-algorithms?referral=03758&cm_vc=rr_item_page.top_right. Acesso em: 13 de março de 2018.
Dreyer, Stephan; Schulz, Wolfgang (2018): Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme? Bertelsmann
Stiftung. Gütersloh.
Dutton, Tim, “An Overview of National AI Strategies”, 2018. Disponível em: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-
2a70ec6edfd. Acesso em: 26 jan. 2019.
European Commission, Artificial Intelligence: A European Perspective. Luxembourg: Publications Office of the European Union, 2018
European Commission, Communication from the Commission to the European Parliament, the European Council, the Council, the European
Economic and Social Committee and the Committee of the Regions: Artificial Intelligence for Europe, COM(2018), 237 final, Bruxelas, 2018.
European Union Agency for Fundamental Rights, #BigData: Discrimination in data-supported decision making, Luxemburgo: Publications Office,
2018.
Floridi, Luciano, Artificial Intelligence and the ‘Good Society’: the US, EU, and UK approach, Science and engineering ethics 24 (2), 2018, p. 505–528.
Gasser, Urs, AI and the Law: Setting the Stage, 2017. Disponível em: https://medium.com/berkman-klein-center/ai-and-the-law-setting-the-
stage-48516fda1b11. Acesso em: 28/05/2018.
Gimpel, Lea, “Talking about Big Data: The Challenge of Privacy & Data Protection in International Development”. Disponível em: http://blogs.die-
gdi.de/2017/09/08/talking-about-big-data/. Acesso em: 13 de maio de 2018.
Google, “AI at Google: our principles”, 2018. Disponível em: https://blog.google/technology/ai/ai-principles/. Acesso em: 25 jan. 2019.
Information Commissioner’s Office (ICO), Big data, artificial intelligence, machine learning and data protection, 2017.
Mannm Gideon e O’Neil, Cathy, “Hiring Algorithms Are Not Neutral” Harvard Business Review 2016. Disponível em: https://hbr.org/2016/12/hiring-
algorithms-are-not-neutral. Acesso em: 13 de março de 2018.
McGregor, Lorna e Ng, Vivian, “Google’s new principles on AI need to be better at protecting human rights”, The Human Rights, Big Data and
Technology Project, 2018. Disponível em: https://hrbdt.ac.uk/googles-new-principles-on-ai-need-to-be-better-at-protecting-human-rights/.
Acesso em: 25 jan. 2019.
McGregor, Lorna, Why We Need to Stop Talking About ‘Killer Robots’ and Address the AI Backlash, Blog of the European Journal of International
Law, EJIL: Talk!, 9 de julho de 2018. Disponível em: https://www.ejiltalk.org/why-we-need-to-stop-talking-about-killer-robots-and-address-the-ai-
backlash/. Acesso em: 24 jan. 2019.
McKinsey Global Institute, Skill Shift Automation and the Future of the Workforce, Discussion Paper, 2018.
OHCHR, Corporate human rights due diligence – identifying and leveraging emerging practice. Disponível em:
https://www.ohchr.org/EN/Issues/Business/Pages/CorporateHRDueDiligence.aspx. Acesso em: 25 jan. 2019.
Princípios orientadores sobre empresas e direitos humanos da ONU, 2011. Disponível em:
https://www.ohchr.org/Documents/Publications/GuidingPrinciplesBusinessHR_EN.pdf. Acesso em: 25 jan. 2019.
Rahwan, Iyad, Society-in-the-Loop: Programming the Algorithmic Social Contract, 2016. Disponível em: https://medium.com/mit-media-
lab/society-in-the-loop-54ffd71cd802. Acesso em: 25 jan. 2019.
Stevens, Yuan, The Promises and Perils of Artificial Intelligence: Why Human Rights and the Rule of Law Matter, 2017. Disponível em:
https://medium.com/@ystvns/the-promises-and-perils-of-artificial-intelligence-why-human-rights-norms-and-the-rule-of-law-40c57338e806.
Acesso em: 25 jan. 2019.
The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, 2018.
The Guardian, “Elon Musk: regulate AI to combat ‘existential threat’ before it’s too late”, 17 julho de 2017. Disponível em:
https://www.theguardian.com/technology/2017/jul/17/elon-musk-regulation-ai-combat-existential-threat-tesla-spacex-ceo. Acesso em: 24 jan.
2019.
The New York Times, “Sent to Prison by a Software Program’s Secret Algorithms”, 1 de maio de 2017. Disponível em:
https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html. (Acesso em: 13 de março de
2018).
The Norwegian Data Protection Authority, Artificial intelligence and privacy, 2018.
United Nations Human Rights Regional Office for Europe, Making a Difference: An Introduction to Human Rights, 2018, p. 14. Disponível em:
https://europe.ohchr.org/Documents/Publications/MakeADifference_EN.pdf. Acesso em: 25 jan. 2018.

1. Advogada e pesquisadora, doutora em Direito pela Universidade de Kiel, Alemanha (summa cum laude). Mestre em Direito do Estado pela Universidade de São Paulo (USP) e bacharel em Direito pela

mesma instituição. Foi pesquisadora visitante na Universidade de Heidelberg, Alemanha e no Instituto Max Planck de Direito Internacional e Direito Público Comparado. É professora na Sociedade

Brasileira de Direito Público (SBDP), onde também foi pesquisadora e coordenadora de cursos. ↵

2. Ver Daniel Cullen, Why Artificial Intelligence is Already a Human Rights Issue, Oxford Human Rights Hub, 2018. Disponível em: http://ohrh.law.ox.ac.uk/why-artificial-intelligence-is-already-a-

human-rights-issue/. Acesso em: 26 de janeiro de 2019. ↵

3. Cf. Lorna McGregor, Why We Need to Stop Talking About ‘Killer Robots’ and Address the AI Backlash, Blog of the European Journal of International Law, EJIL: Talk!, 9 de julho de 2018. Disponível em:

https://www.ejiltalk.org/why-we-need-to-stop-talking-about-killer-robots-and-address-the-ai-backlash/. Acesso em: 24 de janeiro de 2019. ↵

4. Ver, por exemplo, “Elon Musk: regulate AI to combat 'existential threat' before it's too late”, The Guardian, 17 julho de 2017. Disponível em:

https://www.theguardian.com/technology/2017/jul/17/elon-musk-regulation-ai-combat-existential-threat-tesla-spacex-ceo. Acesso em: 24 de janeiro de 2019. ↵

5. Cf. Lorna McGregor, Why We Need to Stop Talking About ‘Killer Robots’ and Address the AI Backlash. ↵

6. Conselho de Direitos Humanos da ONU, A/HRC/32/L.20, 27 de junho 2016. ↵

7. Cf. European Commission, Artificial Intelligence: A European Perspective. Luxembourg: Publications Office of the European Union, 2018, p. 55. ↵

8. European Commission, Artificial Intelligence: A European Perspective, p. 55. ↵

9. Ver, por exemplo, Conselho da Europa, Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular algorithms) and possible regulatory implications, 2017, p. 12.

10. Ver The Norwegian Data Protection Authority, Artificial Intelligence and privacy report, p. 6, Information Commissioner’s Office (ICO), “Big data, artificial intelligence, machine learning and data

protection”, p. 7. ↵

11. Ver CoE, p. 13. ↵

12. The Norwegian Data Protection Authority, Artificial Intelligence and privacy report, 2018, p. 4 ↵

13. Ver Lea Gimpel, “Talking about Big Data: The Challenge of Privacy & Data Protection in International Development”., Disponível em: http://blogs.die-gdi.de/2017/09/08/talking-about-big-data/.

Acesso em: 13 maio 2018. ↵

14. O RGPD foi criado em 27 de abril de 2016 e entrou em vigor no dia 25 de maio de 2018. ↵

15. Ver, por exemplo, European Union Agency for Fundamental Rights, #BigData: Discrimination in data-supported decision making, Luxemburgo: Publications Office, 2018, p. 3. ↵

16. Ver, por exemplo, Gideon Mann, Cathy O'Neil, “Hiring Algorithms Are Not Neutral” Harvard Business Review 2016. Disponível em: https://hbr.org/2016/12/hiring-algorithms-are-not-neutral.

Acesso em: 13 mar 2018). ↵

17. Ver, por exemplo, Oren Danieli, Andrew Hillis, Michael Luca, “How to Hire with Algorithms”, Harvard Business Review 2016, disponível em: https://hbr.org/2016/10/how-to-hire-with-algorithms?

referral=03758&cm_vc=rr_item_page.top_right. Acesso em : 13 mar 2018). ↵

18. Ver Stephan Dreyer e Wolfgang Schulz, Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme?, Gütersloh: Bertelsmann Stiftung, 2018, p. 14. ↵

19. Ver Joy Buolamwini e Timnit Gebru, Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, Proceedings of Machine Learning Research 81, 2018, pp. 1-15. Ver

também Joy Buolamwini, How I'm fighting bias in algorithms, 2017. Disponível em: https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms. Acesso em: 26 jan 2019. ↵

20. Cf. Stephan Dreyer e Wolfgang Schulz, Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme?, p. 15. ↵

21. Nesse sentido, ver estudo da ONG Article 19, “Algorithms and automated decision-making in the context of crime prevention”. Disponível em: https://www.article19.org/resources/algorithms-

and-automated-decision-making-in-the-context-of-crime-prevention/. Acesso em: 25 jan. 2019. ↵

22. Ver “Sent to Prison by a Software Program’s Secret Algorithms”, The New York Times, 1 de maio de 2017. Disponível em: https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-

software-programs-secret-algorithms.html. Acesso em: 13 mar. 2018). ↵

23. Ver, por exemplo, Facebook: Monika Bickert, Brian Fishman, Hard Questions: How We Counter Terrorism, 15 de Junho de 2017. Disponível em: https://newsroom.fb.com/news/2017/06/how-we-

counter-terrorism/. Acesso em: 25 jan. 2019. ↵

24. Cf. Conselho da Europa, Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular algorithms) and possible regulatory implications, p. 16. ↵

25. Conselho da Europa, Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular algorithms) and possible regulatory implications, p. 31. ↵

26. Cf. Alessandro Bessi e Emilio Ferrara, “Social bots distort the 2016 U.S. Presidential election online discussion”, First Monday 21, 2016. ↵

27. Conselho da Europa, Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular algorithms) and possible regulatory implications, p. 29-30. ↵

28. Cf. European Commission, Artificial Intelligence: A European Perspective, p. 77. ↵

29. Cf. McKinsey Global Institute, Skill Shift Automation and the Future of the Workforce, Discussion Paper, 2018 p. 37. ↵

30. Cf. European Commission, Artificial Intelligence: A European Perspective, p. 78. ↵

31. Sobre direitos fundamentais nas relações entre particulares, ver Juan Maria Bilbao Ubillos, La eficacia de los derechos fundamentales frente a particulares: análisis de la jurisprudencia del Tribunal

Constitucional. Madrid: Centro de Estudios Políticos y Constitucionales, 1997, p. 262. ↵

32. Ver, neste sentido, Urs Gasser, AI and the Law: Setting the Stage, 2017. Disponível em: https://medium.com/berkman-klein-center/ai-and-the-law-setting-the-stage-48516fda1b11. Acesso em: 26

de janeiro de 2019 e Luciano Floridi, Artificial Intelligence and the 'Good Society': the US, EU, and UK approach, Science and engineering ethics 24 (2), 2018, p. 523. ↵

33. United Nations Human Rights Regional Office for Europe, Making a Difference: An Introduction to Human Rights, 2018, p. 14. Disponível em:

https://europe.ohchr.org/Documents/Publications/MakeADifference_EN.pdf. Acesso em: 25 jan. 2018. ↵

34. Princípios orientadores sobre empresas e direitos humanos da ONU, 2011. Disponível em: https://www.ohchr.org/Documents/Publications/GuidingPrinciplesBusinessHR_EN.pdf. Acesso em: 25

jan 2019. ↵

35. Princípios orientadores sobre empresas e direitos humanos da ONU, p. 17 (versão em inglês). Mais informações, ver OHCHR, Corporate human rights due diligence – identifying and leveraging

emerging practice., Disponível em: https://www.ohchr.org/EN/Issues/Business/Pages/CorporateHRDueDiligence.aspx. Acesso em: 25 jan. 2019. ↵

36. Ver, por exemplo, discussões feitas no âmbito do painel “#349 A Multistakeholder Approach to HRIAs: Lessons from ICANN” no Internet Governance Forum (IGF) em 2018. Disponível em:

http://www.intgovforum.org/multilingual/content/igf-2018-ws-349-a-multistakeholder-approach-to-hrias-lessons-from-icann?

fbclid=IwAR1wU0pKVLaZnpPiWnaQQ9Ij4COaanBr3DG37iqKezMQ2bx2QZPAJrn1Bj4. Acesso em: 25 de janeiro de 2019. ↵

37. Questionário disponível em: https://icannhumanrights.net/wp-content/uploads/2018/05/DRAFT-ICANN-HRIA-questionnaire-model.pdf?

fbclid=IwAR1wITDPMEYJ_i6POKAAik1jPN3_GbDFlGrcEbRyZfy38DMKLpZNf3xVMTc. Acesso em: 25 jan. 2019. ↵

38. Cf. Lorna McGregor e Vivian Ng, “Google’s new principles on AI need to be better at protecting human rights”, The Human Rights, Big Data and Technology Project, 2018. Disponível em:

https://hrbdt.ac.uk/googles-new-principles-on-ai-need-to-be-better-at-protecting-human-rights/. Acesso em: 25 jan. 2019, e Google, “AI at Google: our principles”, 2018. Disponível em:

https://blog.google/technology/ai/ai-principles/. Acesso em: 25 jan. 2019. ↵

39. Cf. Urs Gasser, AI and the Law: Setting the Stage, 2017. ↵

40. Yuan Stevens, The Promises and Perils of Artificial Intelligence: Why Human Rights and the Rule of Law Matter, 2017. Disponível em: https://medium.com/@ystvns/the-promises-and-perils-of-

artificial-intelligence-why-human-rights-norms-and-the-rule-of-law-40c57338e806. Acesso em: 25 jan. 2019. ↵

41. Yuan Stevens, The Promises and Perils of Artificial Intelligence: Why Human Rights and the Rule of Law Matter, 2017. Em sentido semelhante, ver também Iyad Rahwan, Society-in-the-Loop:

Programming the Algorithmic Social Contract, 2016. Disponível em: https://medium.com/mit-media-lab/society-in-the-loop-54ffd71cd802. Acesso em: 25 jan. 2019. ↵

42. Ver paranorama sobre estratégias nacionais em: Tim Dutton, “An Overview of National AI Strategies”, 2018. Disponível em: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-

2a70ec6edfd. Acesso em: 26 jan. 2019, e Luciano Floridi: Artificial Intelligence and the 'Good Society': the US, EU, and UK approach, Science and engineering ethics 24 (2), 2018, p. 505–528. ↵

43. Ver próximo tópico. ↵

44. COM(2018) 237, disponível em: https://ec.europa.eu/digital-single-market/en/news/communication-artificial-intelligence-europe. Acesso em: 25 jan. 2019. ↵

45. COM(2018) 237, p. 4. ↵

46. COM(2018) 237, p. 4. Sobre a aliança europeia de inteligência artificial, ver: https://ec.europa.eu/digital-single-market/en/european-ai-alliance. Acesso em: 25 jan. 2019. ↵

47. Sobre o grupo de especialistas, ver: https://ec.europa.eu/digital-single-market/en/high-level-expert-group-artificial-intelligence. Acesso em: 25 jan. 2019. ↵

48. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, 2018, p. i. ↵

49. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. i. ↵

50. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. i. ↵

51. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 7. ↵

52. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 8-10. ↵

53. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 11-12 ↵

54. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 13. ↵

55. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 14-18. ↵

56. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 18. ↵

57. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 20 ↵

58. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 22. ↵

59. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 22. ↵

60. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 22. ↵

61. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 23. ↵

62. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 24. ↵

63. The European Commission’s High-Level Expert Group on Artificial Intelligence, Draft Ethics Guidelines for Trustworthy AI, p. 24-27. ↵

64. Veja informações disponíveis no site da Comissão Europeia: https://ec.europa.eu/digital-single-market/en/news/have-your-say-european-expert-group-seeks-feedback-draft-ethics-

guidelines-trustworthy. Acesso em: 26 jan. 2019. ↵

14.
Crowdsourcing e machine learning - uma revisão sistemática com discussão do uso para a participação pública dos cidadãos

[1]
Ricardo Mendes Jr.
Resumo: A cada ano tem aumentado o interesse pelo uso da tecnologia como agente de aumento ampliação da participação popular na gestão
pública. O uso crescente das mídias sociais como instrumento tanto de movimentos populares, quanto da crítica ou apoio de grandes massas a fatos
ocorridos ou e declarações de figuras públicas pode ser um sinal de que a tecnologia pode ser utilizada também na gestão pública. Este artigo explora a
ideia de organizar a inteligência coletiva da população utilizando crowdsourcing e machine learning na participação pública dos cidadãos.
Crowdsourcing já é utilizado há algum tempo para coletar dados ou realizar análises que só podem ser feitas por pessoas, incluindo a participação
pública em decisões políticas ou de gestão. Por outro lado ao contrário da, a Inteligência Artificial, que utiliza dados para concluir classificações que
podem explicar fatos ou auxiliar as decisões. No entanto, a Inteligência Artificial pode ser associada ao crowdsourcing. Assim a pergunta de pesquisa
colocada é: como melhorar as aplicações de participação pública com crowdsourcing com associado ao uso de machine learning? Nesta pesquisa são
analisadas publicações que apresentam propostas de uso conjunto de crowdsourcing e machine learning, uma das ferramentas consideradas de
Inteligência Artificial. A análise discute o potencial de aplicação destas ferramentas em conjunto, no que foi apresentado nos artigos encontrados,
bem como quais destas aplicações visam a participação pública. As conclusões apresentam o estado atual do tema proposto, a partir desta pesquisa, e
as possibilidades de trabalhos futuros.
Introdução

A política entendida como um shopping center está fadada ao fracasso, porque transforma os cidadãos em clientes vorazes e impacientes, e um cliente
sempre tem razão. Um cidadão, no entanto, é aquele que se engaja na tomada de decisões coletivas e aceita o resultado destas, ainda que o seu efeito
não corresponda às suas preferências particulares. Atualmente temos enfrentado alguns desafios, seja no Brasil ou no restante do mundo, para
solucionar os problemas relacionados à gestão pública, seja das cidades ou das nações: como incrementar a qualidade dos bens e serviços públicos?
Como equacionar os esquemas de financiamento para as diversas políticas públicas? Como resolver o financiamento na estrutura federativa, com
participação do governo federal, Estados e municípios? Como aperfeiçoar os instrumentos institucionais e legais para aumentar a eficácia do
planejamento, orçamento e gestão públicos? E para introduzir inovações que acompanhem as mudanças que vêm ocorrendo com o avanço
estratosférico do uso da tecnologia?
Muitas respostas a estes desafios passam pela mudança na forma de participação popular na gestão pública e na tomada de decisão. Seja pela própria
mudança do sistema representativo ou pelo uso massivo da tecnologia. Também já é reconhecido por muitos as partes que precisamos gerar mais
inteligência nos processos de gestão pública, incorporando as partes interessadas no diálogo. Em todos estes caminhos é necessário o aumento da
participação popular, em novas formas, diferentes das atuais, e que possivelmente farão uso da tecnologia.
A cada ano tem aumentado o interesse pelo uso da tecnologia como agente de aumento ampliação da participação popular na gestão pública. O uso
crescente das mídias sociais como instrumento tanto de movimentos populares quanto da crítica ou apoio de grandes massas a fatos ocorridos ou
declarações de figuras públicas pode ser um sinal de que a tecnologia pode ser utilizada também na gestão pública. Assim uma questão que está no
contexto deste artigo é: como incluir o cidadão na gestão pública com o uso da tecnologia?
No entanto, a participação popular na gestão pública demanda a construção de uma estrutura que possibilite organizar o processo de gestão da
informação de modo a que, de um lado, a população conheça os problemas da cidade e as informações completas e de fácil entendimento, e, de outro,
lado as informações coletadas da população possam ser utilizadas de forma eficaz pela administração pública. Muitas prefeituras já possuem sistemas
de call center ou ferramentas para ouvir a população, mas de modo uma forma ainda que necessita de tratamento ou organização posterior . Isso que
provoca uma perda de eficácia e de tempo para que os resultados possam ser obtidos. Para uso destas plataformas as pessoas precisarão possuir
conhecimentos específicos no assunto, e a plataforma precisa ter uma organização interna para depurar e validar as informações. O que exige esforços
adicionais além de estruturar o sistema voltados a orientar as pessoas e formar uma equipe de validação, que pode ser voluntária, como é, por exemplo
a Wikipédia.
Há também várias aplicações utilizando em smartphones que já vêm sendo utilizadas para coleta de informação com a população, como o por
exemplo, o Colab.re. Existem muitas outras aplicações existem que não visam diretamente à gestão pública, mas buscam melhorar algum problema da
cidade coletando informações das pessoas, como o Waze. Uma característica comum nestas duas aplicações, e importante para a gestão pública, é a
geolocalização do dado, que atualmente é muito fácil de ser obtida nos smartphones.
O uso da informação que tem como fonte a população ou multidão é conhecido como crowdsourcing. As ferramentas existentes, como as citadas
acima, não são totalmente aplicações de crowdsourcing por não terem como resultado a busca de um conhecimento sobre determinado problema
urbano, visando a sua solução. Estas aplicações coletam dados com o objetivo de agregar ou modificar uma informação na sua plataforma. No caso do
Colab, a prefeitura tem a sua disposição painel de gestão com os dados coletados.
A Wikipédia pode ser considerada o melhor exemplo de aplicação de crowdsourcing no sentido que estamos tratando aqui. E adicionalmente, as
aplicações existentes utilizam algoritmos de inteligência computacional para organizar as informações na sua plataforma, mas não para extração de
conhecimento. O crowdsourcing associado à geolocalização é o que é conhecido como mapeamento coletivo. As informações são colocadas pelas
pessoas no mapa, seja automaticamente pela aplicação, como no caso do Colab e do Waze, ou manualmente numa base geolocalizada.
Machine Learning é uma classe de técnicas de inteligência computacional que permite extrair informações que podem produzir conhecimento a
partir da uma grande quantidade de dados, no caso, os dados coletados por crowdsourcing.
Este artigo explora a ideia de organizar a inteligência coletiva da população utilizando crowdsourcing e machine learning. Inteligência coletiva é uma
inteligência distribuída por toda parte, incessantemente valorizada, coordenada em tempo real, que resulta em uma mobilização efetiva das
competências (LEVY, 2015).
A base e o objetivo da inteligência coletiva são o reconhecimento e o enriquecimento mútuos das pessoas, e não o culto de comunidades fetichizadas
ou hipostasiadas (LEVY, 2015). Desta forma, observamos que não se pretende apenas coletar dados para alimentar uma base de dados da qual se possa
extrair informações, mas mais do que isso – fomentar o surgimento da inteligência coletiva e o uso para a gestão pública, utilizando machine learning.
Este artigo apresenta o resultado de uma primeira pesquisa exploratória, com revisão bibliográfica. São analisadas publicações que apresentam
propostas ou aplicações de crowdsourcing e machine learning de forma independente, e também em conjunto, e publicações que apresentem
aplicações ou estudos destas técnicas para participação pública. Esta pesquisa limitou-se a artigos publicados ou em publicação em 2018 e 2019.
Crowdsourcing

Crowdsourcing é um fenômeno que tem recebido crescente atenção nas pesquisas acadêmicas e tem ganho cada vez mais aplicações práticas em
pesquisas e negócios.
Howe (2006) criou o conceito em 2006 dando a seguinte definição:

“Crowdsourcing represents the act of a company or institution taking a function once performed by employees and outsourcing it to an undefined
(and generally large) network of people in the form of an open call”.

Crowdsourcing é considerado um tipo importante de inovação aberta (MARJANOVIC et al., 2012, WIKHAMN e WIKHAMN, 2013) (MOKTER, 2015, p. 3).
Consequentemente, crowdsourcing é uma das palavras chave mais frequentemente usadas na literatura de inovação aberta (EBNER et al., 2009).
Há algumas revisões sobre crowdsourcing na literatura., ESTELLÉS-AROLAS e GONZÁLEZ-LADRÓN-DE-GUEVARA (2012) fizeram um estudo das
definições de crowdsourcing. Eles encontraram mais de 40 definições em uma extensa literatura. ZHAO e ZHU (2012) fizeram uma revisão sistemática,
limitando seu escopo no campo de sistemas de informação. LEIMEISTER et al. (2009).
MOKTER e KAURANEN (2015) fizeram uma revisão ampla apresentando a evolução da literatura em crowdsourcing, suas aplicações, benefícios e
desafios. Eles encontraram 346 artigos, os quais contém a palavra “crowdsourcing” no título, resumo ou lista de palavras-chave, publicados em inglês,
sendo a grande maioria publicados em periódicos não indexados (ISI) e em anais de conferências.
Então separaram os artigos para análise em três grupos: artigos indexados (ISI), não indexados e artigos de congressos, considerando que os
primeiros são mais científicos por serem revisados pelos pares. Na análise das palavras chave os autores identificaram 997 palavras, sendo as de maior
ocorrência: social (50), web (40), innovation (36), open (30), information (24), online (22), community (21), mechanical (20), collective (19) e networks (19). A
palavra “mechanical” possivelmente aparece porque a plataforma Mechanical Turk da Amazon é o exemplo mais citado de crowdsourcing. “Collective
intelligence” é um tema bastante discutido na literatura de crowdsourcing.
E “community” frequentemente aparece em conjunto com outras palavras tais como “based”, “detection”, “development”, “managers” e “ranking”
(MOKTER e KAURANEN, 2015, p. 5). Os periódicos com as publicações encontradas pelos autores são de várias áreas, incluindo ciência da informação,
geografia, inovação, meio ambiente, pesquisa médica, ciências comportamentais, tecnologia de mídias, serviços e jornalismo. Em 2 periódicos há 2
publicações em cada, e nos demais há uma única publicação. Em sua análise dos estudos empíricos nos artigos mais citados os autores concluem que
crowdsourcing pode efetivamente ser útil para projetos de planejamento urbano (BRABHAM, 2009), pode prover informações precisas e em tempo para
desastres naturais (GAO et al., 2011), pode ser valiosa para coletar informações geográficas via dados abertos, ferramentas ou serviços (CRAMPTON,
2009), e que amadores, além dos profissionais, podem ser valiosos para coleta de dados geográficos (GOODCHILD, 2009), entre outros estudos.
A partir dos artigos pesquisados eles listam as aplicações de crowdsourcing existentes: geração de ideias, micro tarefas, software open source,
participação pública, ciência colaborativa (“citizen science”), jornalismo colaborativo (“citizen journalism”), wikies (Wikipedia, Geo-wiki.org, Wikimapia,
WikiTerra, Openstreetmap e GLOBE).
Crowdsourcing e participação pública

O aumento da participação pública é uma prioridade fundamental no planejamento público, e o crowdsourcing é um modelo aplicável para garantir
participação em projetos de planejamento público (BRABHAM, 2009; HILGERS e IHL, 2010). Nas palavras de Brabham (2009), o crowdsourcing é útil
para envolver os cidadãos em projetos de planejamento público para aproveitar seu gênio desconhecido. A participação pública via crowdsourcing pode
envolver uma ampla gama de pessoas e pode facilitar um diálogo aberto entre os cidadãos e os tomadores de decisão (BUGS et al., 2010; ADAMS, 2011).
Muitas organizações governamentais, por exemplo, o governo Obama, fizeram uso extensivo de novas tecnologias de crowdsourcing para aumentar a
participação pública em várias atividades, como o bem-estar da comunidade (NAM, 2012). Outro exemplo é a Nova Zelândia, onde o parlamento
aprovou a “Wiki Policing Act 2008”, que permite aos eleitores dialogar com a polícia (HILGERS e IHL, 2010). A lei da Nova Zelândia de 1958 foi
apresentada ao público em formato wiki para modificá-la e reescrevê-la. Esta versão wiki da nova lei foi oficialmente aprovada pelo parlamento da
Nova Zelândia em 2008. A participação pública via crowdsourcing pode ajudar a desenvolver projetos de grande escala com alta precisão, como o
Google Earth (FRITZ et al., 2009). Como o crowdsourcing substitui os serviços tradicionalmente construídos por profissionais altamente remunerados,
bancos de dados abertos baseados em crowdsourcing podem ser criados a um custo muito baixo para o benefício da humanidade (HEIPKE, 2010).
SELTZER e MAHMOUDI (2012) argumentam que no planejamento público o crowdsourcing é mais efetivo do que a participação cidadã convencional.
Crowdsourcing e machine learning

Apesar de todo o avanço conseguido com a Inteligência Artificial, há certas áreas em que um pouco mais de precisão ainda pode ajudar. Tarefas como
julgar a condição de um site, validar os detalhes mencionados de uma empresa ou até mesmo estudar os objetos em uma imagem requerem
intervenção humana, que, por sua vez, pode ser aprimorada em grande parte usando o crowdsourcing. Essa é a razão pela qual os pesquisadores de
machine learning adotaram o crowdsourcing como uma ferramenta há muitos anos para disponibilizar uma grande quantidade de dados para treinar
seus programas de forma apropriada. A capacidade da multidão de gerar dados para o conjunto de treinamento de programas de aprendizado de
máquina conseguiu manter uma fonte de grande conveniência para os pesquisadores e isso levou a uma descoberta adicional de vários outros
algoritmos no gerenciamento das complexidades, aumentando a eficiência e até mesmo depurando os modelos construídos (ABHIGNA, SONI e DIXIT,
2018).
Método

Este artigo apresenta o resultado de uma primeira pesquisa exploratória, com revisão bibliográfica. São analisadas publicações que apresentam
propostas ou aplicações de crowdsourcing e machine learning de forma independente, e também em conjunto, e especificamente publicações que
apresentem aplicações ou estudos de participação pública. Esta pesquisa limitou-se a artigos em periódicos nos anos 2018 e 2019, publicados ou em
publicação.
Foram excluídas publicações em congressos e capítulos de livros, e também não foram pesquisadas dissertações e teses. Foram realizadas buscas
nas bases Periódicos CAPES, Science Direct, Emerald e Scopus, com as palavras chave “crowdsourcing” e “machine learning” e “crowdsourcing” e
“public/citizen participation”, no título, resumo ou nas palavras chave. As buscas foram apenas em artigos em língua inglesa. Além do recorte no tempo
e tipo de publicação foram filtrados apenas os periódicos das áreas Ciência da Computação (excluídas redes e segurança), Ciência da Informação,
Engenharias, “Decision Sciences” e Ciências Sociais, sendo excluídas as demais áreas (todas com número menor de publicações, exceto gestão, gestão
industrial, estratégia e marketing). Não foram analisadas as quantidades de citações dos artigos. Foram extraídos 139 artigos. Na Tabela 1 são
apresentados o número de artigos para os termos de busca e na Tabela 2 para cada uma das bases pesquisadas.

Tabela 1 – Resultados das buscas para os termos de busca

Termos 2018 2019

crowdsourcing e machine
91 15
learning

crowdsourcing e
public/citizen 33 0
participation

Total 124 15

Tabela 2 – Resultados das buscas para as bases

Termos 2018 2019

Periódicos CAPES 7 0

Emerald 3 0

Science Direct 51 15

Scopus 63 0

Total 124 15

Para cada um dos artigos extraídos, foram registrados em uma planilha as seguintes informações: nome do periódico, primeiro autor, título do artigo,
ano da publicação, volume, número, páginas, resumo do artigo, autores, palavras chave (dos autores).
Os artigos extraídos estão publicados em 70 periódicos, sendo que 15 destes contém mais de uma publicação, apresentados na Tabela 3 e nos demais
55 periódicos há uma publicação apenas.

Tabela 3 – Periódico com mais de um artigo

Periódico Número de artigos

Future Generation Computer

18
Systems

Procedia Computer Science 13

Expert Systems with Applications 9

Information Sciences 9

Information Processing and

8
Management

Knowledge-Based Systems 6

IEEE Access 4

Computer Supported Cooperative

Work: CSCW: An International 3
Journal

IEEE Transactions on Pattern

2
Analysis and Machine Intelligence

Journal of systems and software 2

Machine Learning 2

Semantic Web 2

Urban planning 2

Em relação aos autores, nos 139 artigos extraídos há 431 autores. Em 19 artigos há apenas 1 autor, e o número maior de ocorrência, 45 artigos, têm 2
autores. Seguindo com 28 artigos com 3 autores, 24 artigos com 4 autores e 13 artigos com 5 autores. Apenas 6 artigos têm mais de 5 autores, sendo
um artigo com maior número de autores, 18.
Em relação às palavras chave indicadas pelos autores, há 289 palavras diferentes. 248 palavras ocorrem apenas 1 vez. As palavras com maior
ocorrência estão listadas na Tabela 4, juntamente com as palavras associadas que ocorrem algumas vezes.

Tabela 4 – Palavras chave indicadas pelos autores com maior ocorrência

Palavra Ocorrências Palavras associadas

Big data 5

classification 5

case studies (1),

social media 5
measurement (1)

active learning 6

annotation (2),
clustering (2),
crowd 8 computing (2),
participation (1), truth
(2)

deep learning 9

processing (8),
natural language 10 ambiguity (1) e
instruction (1)

machine learning 19

projects (2),
requirements (2), case
crowdsourcing 43 studies (1), design (1),
promotions (1) e
workflow (2).

Crowd truth algumas vezes é grafado junto – crowdtruth. E crowded algumas vezes é utilizado no lugar de crowd. Bem como crowdsourced no lugar de
crowdsourcing.
Para a análise dos artigos inicialmente foram lidos os resumos para identificar se o artigo é uma aplicação, um estudo empírico ou artigo de revisão.
Os artigos foram ainda separados em crowdsourcing exclusivamente, crowdsourcing combinado com machine learning e machine learning
exclusivamente. O resultado desta classificação é mostrado na Tabela 5. O único artigo na categoria “Outros” apresenta uma proposta de elaboração
ontológica para métodos de aprendizado em ontologias usando uma abordagem baseada em gestão do conhecimento, visando o estudo futuro voltado
à web semântica.
Os artigos com machine learning foram separados em duas categorias. A categoria “crowdsourcing para machine learning” utiliza a forma mais
tradicional de crowdsourcing: uma plataforma ou sistema para coletar os dados das pessoas (crowd workers ou cidadãos/citizen). E a categoria machine
learning (exclusivamente) coleta dados diretamente das mídias sociais ou outras fontes (big data). No entanto, no senso estrito, ambas podem ser
consideradas crowdsourcing.

Tabela 5 – Classificação dos artigos pelo tipo de conteúdo

Tipo de conteúdo 2018 2019

crowdsourcing – análise 18 1

crowdsourcing – aplicação 15 2

crowdsourcing review 5 1

crowdsourcing para
1 0
machine learning – análise

crowdsourcing para
machine learning – 51 2
aplicação

crowdsourcing para
4 0
machine learning – review

machine learning – análise 1 2

machine learning –
26 7
aplicação

machine learning –
2 0
aplicação – review

Outros 1 0

Total 124 15

Uma segunda classificação do conteúdo foi feita procurando identificar a principal aplicação ou tema de estudo dos artigos, apresentada na Tabela 6.
Cada artigo foi classificado em apenas uma categoria nesta classificação.

Tabela 6 – Classificação dos artigos pela principal aplicação ou tema de estudo

Ocorrências Aplicação ou tema

3D objects; activity recognition; business; chatbots;

big data; delivery;
 face attribute; geo; GLAM (Galleris, libraries,
1 archives and museums); Google maps; industrial;
interest; IoV (Internet of Vehicles); learning;
machines; map; media (journalism);
microelectronics; Neural Network; (crowdsourcing)
projects; promotions; reputation; reward; service;
value; web; gravitational waves; machine learning.

data; quality; (software/engineering) requirements;

software; classification
2 bike sharing; design; gov; knowledge
ML x NN; Mturk; open gov; security; sentiment;
social; astronomy

emotions; image; science; social media

3

semantic; mobile; privacy; crowd workers

4

urban; Twitter
5

language; health/medical; IoT

6

active learning; platforms

7

8 public participation
Resultados e análise

Crowdsourcing

Crowdsourcing é uma ferramenta nova. Nos artigos de revisão já há aplicações relatadas em 2005 (SUROWIECKI, 2005), no entanto o maior número de
trabalhos publicados é a partir de 2011 (MOKTER e KAURANEN, 2015). MOKTER e KAURANEN (2015), em seu estudo empírico das aplicações de
crowdsourcing apontam: geração de ideias, “microtasking”, software de código aberto, participação pública, ciência cidadã (citizen science), jornalismo
cidadão (citizen journalism) e wikies. No presente estudo estão identificadas 17 aplicações e 19 artigos de análise de crowdsourcing sendo nos temas
indicados no Gráfico 1.

Gráfico 1 – Temas ou aplicações nos artigos de crowdsourcing

Os 6 artigos de revisão abordam:

1. As diferentes formas de coletar informações geolocalizadas em crowdsourcing (BUBALO et al., 2019);

2. A situação do uso de crowdsourcing em galerias, bibliotecas, arquivos públicos e museus ao redor do mundo e sugestões de como a Índia pode se
beneficiar desta tendência mundial (GUPTA e SHARMA, 2018);
3. O estado da arte na pesquisa da legibilidade do alfabeto arábico com o objetivo de indicar oportunidades para pesquisas futuras (CAVALLI-SFORZA
et al., 2018);
4. Analisa a lógica da exploração de uma plataforma pública baseado no retorno social, discutindo a ênfase no balanço entre oferta e demanda como
precursor para a estratégia de sustentabilidade (NARDI et al., 2019);
5. Revisão sistemática com o objetivo de entender como projetos de crowdsourcing são projetados e executados no estado da arte (ASSIS NETO e
SANTOS, 2018); e
6. Pesquisa o estado da arte da segurança e confiabilidade nas redes de mídias sociais particularmente com o aumento da sofisticação e variedade
dos ataques.
Machine learning

Nos artigos com machine learning sem crowdsourcing foram encontrados 33 aplicações e 3 análises nos temas indicados no Gráfico 2.

Gráfico 2 – Temas ou aplicações de machine learning sem crowdsourcing

Os 2 artigos de revisão abordam:

1) uma sumarização dos métodos Deep Learning para sensores baseados em “mobile” e “wearables” e apresenta alguns desafios para problemas de
pesquisa aberta que requerem mais estudos e desenvolvimentos; e
2) apresenta uma pesquisa do estado da arte no desenvolvimento de ferramentas de mineração para apoiar a descoberta de “reviews” relevantes para
aplicativos “mobile” das lojas.
Crowdsourcing e Machine learning

Nos artigos categorizados neste estudo como machine learning com crowdsourcing foram encontradas 53 aplicações com mais de 1 ocorrência e
indicadas no Gráfico 3. As aplicações com apenas 1 ocorrência foram: Classificação, Conhecimento, Dados, Design, Emoções, Governo, Indústria,
Objetos 3D, Participação pública, Promoções, Recompensas, Reconhecimento de atividade, Senso social (social sensing), Valores.

Gráfico 3 – Temas ou aplicações de machine learning com crowdsourcing

O único artigo encontrado com conteúdo de análises aborda o impacto que o crowdsourcing apresenta para as aplicações de machine learning. É
composto por várias contribuições que crowdsourcing pode fazer para melhorar as técnicas que empregam machine learning – produzir dados,
depuração e verificação de modelos, máquinas inteligentes híbridas para reduzir a intervenção humana necessárias para facilitar o desempenho de alta
qualidade pela inteligência artificial e experimentações em desenvolvimento para melhorar interação humano-computador. Apresenta uma discussão
sobre a natureza dos trabalhadores da multidão (“crowd workers”) com ênfase nos vários fatores, como a sua reação a diferentes formas de motivação,
seu comportamento uns em relação aos outros e o dolo entre eles. As conclusões incluem algumas dicas e procedimentos a serem seguidas para
alcançar o sucesso através do crowdsourcing.
Os 4 artigos de revisão abordam:

1. Uma análise de aplicações de crowdsourcing com machine learning utilizando uma metodologia sistemática para classificação, definir
características e mostrar o interesse recente nesse tema;
2. Uma revisão dos trabalhos anteriores dos autores em aplicações para reconhecimento automático da fala utilizando vídeos publicados na web e
uma proposta de método para modelar com mais eficiência utilizando aprendizagem não supervisionada;
3. Uma visão geral de como crowdsourcing pode melhorar a pesquisa em machine learning e uma revisão da literatura sobre o comportamento dos
trabalhadores da multidão (“crowd workers”); e
4. Uma revisão da literatura de processamento de linguagem natural e discussão do ciclo de vida dos dados nas suas aplicações.
Participação pública

Utilizando a classificação em categorias (Tabela 6) podemos indicar 13 artigos que tratam da participação pública, sendo 2 em governo, 1 em governo
aberto e 10 em público. Segue um resumo dos artigos que relatam casos práticos de participação popular utilizando crowdsourcing (com ou sem o uso
de machine learning)
Lin (2018) desenvolve um framework para comparar governos inteligentes (smart govern) em diferentes contextos institucionais e tecnológicos.
Realizam um estudo comparando alguns países do Oeste e a China. Concluem que a governança inteligente está fortemente associada com e-governo
e e-democracia em alguns países. Um aspecto comum é que o crescente uso das mídias sociais, smartphones, portais, plataformas de crowdsourcing e
sistemas de apoio ao planejamento têm geralmente ajudado a promover os governos inteligentes e os serviços eletrônicos. E isto pode levar a
mudanças graduais nas organizações governamentais, a novas relações entre governo, setor privado e cidadãos e melhorias nas cidades.
Shabani e Tairi (2018) explicam a importância do governo aberto e do crowdsourcing e examinam o papel que o e-gov representa para conduzir o
fenômeno de dados abertos. O estudo abrange os dados abertos disponibilizados em Kosovo.
Komninos (2018) apresenta experiências com a introdução e entrega de dados via crowdsourcing e sistemas de compartilhamento de dados,
motivados pela urgente necessidade dos cidadãos para resolver um problema com o aparecimento em grande quantidade de medusas na costa oeste
da Grécia. Os dados foram produzidos por 13.340 usuários ao longo de 2 meses, relatando cerca 1.800 vezes as condições em 189 pontos na costa. O
artigo relata as oportunidades e barreiras para a participação popular em sistemas utilizando os dispositivos móveis.
Clark e Brudney (2018) examinam a representatividade com crowdsourcing alcançada nos sistemas de chamada 311 em São Francisco, ao longo dos
anos 2011, 2013 e 2015.
Harman e Azzam (2018) desenvolvem um estudo em quatro fases para testar se critérios e padrões podem ser definidos via crowdsourcing. O estudo
conclui que o crowdsourcing tem potencial para ser utilizado na avaliação de juízo de valor para definir critérios e padrões pelo público em geral.
Mitchell e Lim (2018) mostram a complexidade da participação popular em mídias sociais e jornalismo colaborativo utilizando o caso do
r/SyrianCivilWar e uma comunidade do Reddit onde usuários discutiram a crise Síria. Demonstram que estas mídias são limitadas na sua capacidade
de alcançar a consciência predominante, e questões complexas acabam transformadas em conceitos simples não representativos do contexto e
colocadas num grau de importância artificial.
Nummi (2018) analisa a questão se o crowdsourcing com a participação popular em um sistema GIS (geographic information system) e mídias sociais é
um método funcional para revelar valores das pessoas da comunidade, memórias e experiências baseadas nos locais da comunidade, ou seja, o
conhecimento da comunidade, para uso em planejamento urbano. Concluem que é possível, mas há vários desafios ao analisar os dados coletados.
Conclusão

O presente artigo apresenta uma pesquisa sistemática buscando identificar aplicações e pesquisas unindo machine learning e crowdsourcing, com
ênfase específica nas aplicações para participação pública dos cidadãos.
A pesquisa sistemática foi realizada em artigos publicados em 2018 e 2019, para futuramente ser ampliada para anos anteriores. As palavras chave
utilizadas foram “crowdsourcing”, e “machine learning” e “crowdsourcing” e “public/citizen participation”, no título, resumo ou nas palavras chave. As
buscas foram apenas em artigos em língua inglesa. Além do recorte no tempo e tipo de publicação, foram filtrados apenas os periódicos das áreas
Ciência da Computação (excluídas redes e segurança), Ciência da Informação, Engenharias, Decision Sciences e Ciências Sociais, sendo excluídas as
demais áreas (todas com número menor de publicações, exceto gestão, gestão industrial, estratégia e marketing).
Foram extraídos 139 artigos, sendo 124 artigos de 2018 e 15 de 2019. A maior parte dos artigos resultaram da busca para crowdsourcing e machine
learning, 106. Os artigos extraídos estão publicados em 70 periódicos, sendo que 15 destes contém mais de uma publicação. nos 139 artigos extraídos
há 431 autores. Em 19 artigos há apenas 1 autor, e o número maior de ocorrência, 45 artigos, têm 2 autores.
Em relação às palavras chave indicadas pelos autores, há 289 palavras diferentes. 248 palavras ocorrem apenas 1 vez. As palavras com maior
ocorrência são: crowdsourcing (43), machine learning (19), natural language (10), deep learning (9), crowd (8), active learning (6), social media (5), big data
(5) e i (5).
Do total de artigos, 17 tratam de aplicações de crowdsourcing exclusivamente, 33 de aplicações de machine learning exclusivamente e 53 de
aplicações combinadas destas duas. Os demais artigos tratam de análises ou review nestes temas. Dos temas tratados nas aplicações ou estudos,
participação pública aparece em 10, active learning em 7, urbanismo e mídias sociais (Twitter) em 5, semântica, mobile, privacidade e trabalhadores
crowd (crowd workers) em 5. 58 outros temas aparecem em menos de 4 artigos.
Entre as aplicações relatadas nos artigos estão aplicações de crowdsourcing na saúde, urbanismo, ciência, mapeamento e governo aberto, entre
outras. Nas aplicações de machine learning encontram-se saúde, mídias sociais, urbanismo, big data, bike sharing e aprendizagem, entre outras. Já nas
aplicações conjuntas de crowdsourcing e machine learning basicamente aparecem os mesmos temas listados acima, acrescentando participação
pública e senso social.
Especificamente no tema de participação pública nos 10 artigos encontrados as aplicações e estudos são voltados a coletar informações
geolocalizadas, uso em bibliotecas e arquivos públicos, plataformas públicas para definição de estratégias e políticas públicas.
Estes resultados demonstram que a literatura apresenta estudos e aplicações de crowdsourcing e machine learning em plataformas de participação
pública. E metade dos artigos pesquisados já apresentam os dois métodos combinados. O que indica a possibilidade de melhorar as aplicações de
crowdsourcing com o uso de machine learning e a possibilidade concreta de se utilizar estas ferramentas para aumentar a participação pública dos
cidadãos.
Para trabalhos futuros propõe-se ampliar a pesquisa para os anos anteriores (até 2015) e elaborar uma análise qualitativa mais aprofundada das
aplicações para participação pública na literatura.
Referências bibliográficas

ABGHIGNA, B. S., NITASHA, S., DIXIT, S. Dixit, Crowdsourcing – A Step Towards Advanced Machine Learning, Procedia Computer Science, Volume 132,
2018, Pages 632-642,
ADAMS, S. A., Sourcing the crowd for health services improvement: the reflexive patient and ‘share-your-experience’ websites, Social Science &
Medicine, Vol. 72 No. 7, 2011, pp.
ASSIS NETO, F. R., SANTOS, C. A. S. Understanding crowdsourcing projects: A systematic review of tendencies, workflow, and quality management,
Information Processing & Management, Volume 54, Issue 4, 2018, Pages 490-506,
BRABHAM, D. C. Crowdsourcing the public participation process for planning projects, Planning Theory, Vol. 8 No. 3, 2009, pp. 242-262
BUBALO, M., VAN ZANTEN, B. T., VERBURG, P. H. Crowdsourcing geo-information on landscape perceptions and preferences: A review,
Landscape and Urban Planning, Volume 184, 2019, Pages 101-111.
BUGS, G., GRANELL, C., FONTS, O., HUERTA, J. and PAINHO, M. An assessment of public participation GIS and Web 2.0 technologies in urban
planning practice in Canela, Brazil, Cities, Vol. 27 No. 3, 2010, pp. 172-181.
CAVALLI-SFORZA, V., SADDIKI, H., NASSIRI, N. Arabic Readability Research: Current State and Future Directions, Procedia Computer Science,
Volume 142, 2018, Pages 38-49.
CLARK, B. Y. e BRUDNEY, J. Citizen Representation in City Government-Driven Crowdsourcing. Computer Supported Cooperative Work, Online
First. 2017.
CRAMPTON, J. W. Cartography: maps 2.0, Progress in Human Geography, Vol. 33 No. 1, 2009, pp. 91-100.
ESTELLÉS-AROLAS, E. e GONZÁLEZ-LADRÓN-DE-GUEVARA, F. Towards an integrated crowdsourcing definition, Journal of Information Science,
Vol. 38, 2012, No. 2, pp. 189-200.
FRITZ, S., McCALLUM I., SCHILL, C., PERGER, C., GRILLMAYER, R., ACHARD, F. e OBERSTEINER, M. Geo-Wiki.org: the use of crowdsourcing to
improve global land cover, Remote Sensing, Vol. 1 No. 3, 2009, pp. 345-354.
GAO, H., BARBIER, G. and GOOLSBY, R. Harnessing the crowdsourcing power of social media for disaster relief, IEEE Intelligent Systems, Vol. 26
No. 3, 2011, pp. 10-14.
GOODCHILD, M. NeoGeography and the nature of geographic expertise, Journal of Location Based Services, Vol. 3 No. 2, 2009, pp. 82-96.
GUPTA, D. K., SHARMA, V. Analytical study of crowdsourced GLAM digital repositories, Library Hi Tech News, Vol. 35 Issue: 1, 2018, pp.11-17,
HARMAN, E. e AZZAM, T. Incorporating public values into evaluative criteria: Using crowdsourcing to identify criteria and standards. Evaluation and
Program Planning. V. 71. 2018. pp. 68-82.
HEIPKE, C. Crowdsourcing geospatial data, ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 65 No. 6, 2010,pp. 550-557.
HILGERS, D. and IHL, C. Citizensourcing: applying the concept of open innovation to the public sector, International Journal of Public
Participation, Vol. 4 No. 1, 2010, pp. 67-88
HOWE, J. The rise of crowdsourcing, Wired, Vol. 14 No. 6, 2006, pp. 1-4. https://www.emeraldinsight.com/doi/full/10.1108/SO-12-2014-0029#
HOSSAIN, Mokter, KAURANEN, Ilkka. Crowdsourcing: a comprehensive literature review, Strategic Outsourcing: An International Journal, Vol. 8
Issue: 1, 2015, pp.2-22, https://doi.org/10.1108/
KOMNINOS, A. Pro-social behaviour in crowdsourcing systems: Experiences from a field deployment for beach monitoring. International Journal of
Human-Computer Studies. V. 124. 2019. pp. 93-115.
LEIMEISTER, J.M., HUBER, M., BRETSCHNEIDER, U. and KRCMAR, H. Leveraging crowdsourcing: activation-supporting components for IT-based
ideas competition, Journal of Management Information Systems, Vol. 26 No. 1, 2009, pp. 197-224.
LÉVY, P. A inteligência coletiva: por uma antropologia do ciberespaço. São Paulo: Edições Loyola, 2015, 214 p.
LIN, Yanliu A comparison of selected Western and Chinese smart governance: The application of ICT in governmental management, participation
and collaboration. Telecommunications Policy, V. 42 (10), 2018. pp. 800-809.
MARJANOVIC, S., FRY, C. e CHATAWAY, J. Crowdsourcing based business models: in search of evidence for innovation 2.0, Science and Public
Policy, Vol. 39 No. 3, 2012, pp. 318-332
MITCHELL, S. S. D. e LIM, M. Too crowded for crowdsourced journalism: Reddit, portability, and citizen participation in the Syrian crisis. Canadian
Journal Communication. V. 43 (3), 2018.
NAM T. Suggesting frameworks of citizen-sourcing via Government 2.0, Government Information Quarterly, Vol. 29 No. 1, 2012, pp. 12-20.
NARDI, V., ZARPELON, F., VERSCHOORE, J. e ARAÚJO, M., The Multiple Bases of Social Return Platforms: Evidence of a Brazilian Initiative,
International Journal of Public Administration, Vol. 42, No. 4, 2019, pp. 310-319.
NUMMI, P. Crowdsourcing local knowledge with PPGIS and social media for urban planning to reveal intangible cultural heritage. Urban Planning. V.
3 (1), 2018.
SELTZER, E. and MAHMOUDI, D. Citizen participation, open innovation, and crowdsourcing: challenges and opportunities for planning, Journal of
Planning Literature, Vol. 28 No. 1, 2012, pp. 3-18.
SHABANI, I. e TAIRI, Q. Open Government data in Kosovo and crowdsourcing. International Journal of Civil Engineering and Technology. V. 9 (4),
2018. pp. 1333-1343.
STERN, E., GUDES, O. and SVORAY, T. Web-based and traditional public participation in comprehensive planning: a comparative study,
Environment and Planning B: Planning & Design, Vol. 36 No. 6, 2009, pp. 1067-1085.
SUROWIECKI, J., The Wisdom of Crowds – Why the Many are Smarter than the Few, New Yourk: First Anchor Books Edition, 2005.
WIKHAMN, B.R. and WIKHAMN, W. Structuring of the open innovation field, Journal of Technology Management & Innovation, Vol. 8 No. 3, 2013,
pp. 173-185.
 ZHAO, Y. and ZHU, Q., Evaluation on crowdsourcing research: current status and future direction, Information Systems Frontiers, Vol. 16 No. 3,
2012, pp. 417-434.

1. Professor titular aposentado da Universidade Federal do Paraná, atuou nos departamentos de Construção Civil e Engenharia de Produção. Atua no Programa de Pós-graduação em Gestão da

Informação da UFPR (PPGGI) nos seguintes temas de pesquisa: Tecnologia da Informação e Comunicação, Machine Learning e Redes Neurais Artificiais Aplicadas, Engenharia da Informação, City

Information Modeling (CIM), Dados Abertos. Analista de sistemas, Graduado em Engenharia Civil pela Universidade Federal do Paraná (1980), Mestre em Engenharia Civil pela Universidade Federal

do Rio Grande do Sul (1986) e Doutor em Engenharia de Produção pela Universidade Federal de Santa Catarina (1999). ↵