Como citar este material:

KLAFKE, Guilherme Forma; FEFERBAUM, Marina. Introdução à Ética e à Inovação

Responsável com Dados. Rio de Janeiro: FGV, 2023.

Todos os direitos reservados. Textos, vídeos, sons, imagens, gráficos e demais componentes
deste material são protegidos por direitos autorais e outros direitos de propriedade intelectual, de
forma que é proibida a reprodução no todo ou em parte, sem a devida autorização.
SUMÁRIO
INTRODUÇÃO À ÉTICA E À INOVAÇÃO RESPONSÁVEL COM DADOS.............................................. 5

LÓGICA DE RISCO E RELAÇÃO COM A ÉTICA: RISCOS JURÍDICOS, TÉCNICOS E SOCIAIS..................5

Mapa normativo da governança digital..............................................................................................9
PRINCÍPIOS ÉTICOS PARA A IA .................................................................................................................... 12
Beneficência........................................................................................................................................... 15
Não maleficência .................................................................................................................................. 16
Autonomia.............................................................................................................................................. 17
Justiça ...................................................................................................................................................... 18
Explicabilidade....................................................................................................................................... 19
ELABORAÇÃO DE MATRIZ DE RISCO ......................................................................................................... 20
Requisito #1: ação e supervisão humanas ..................................................................................... 23
Requisito #2: solidez técnica e segurança....................................................................................... 24
Requisito #3: privacidade e governação dos dados ..................................................................... 25
Requisito #4: transparência ............................................................................................................... 26
Requisito #5: diversidade, não discriminação e equidade.......................................................... 27
Requisito #6: bem-estar societal e ambiental ................................................................................ 28
Requisito #7: responsabilização........................................................................................................ 29
ESTRUTURA E INSTRUMENTOS DE GOVERNANÇA DIGITAL ................................................................ 30
Noções gerais de governança............................................................................................................ 30
Aspectos específicos da governança digital.................................................................................... 32
Ética na governança digital ................................................................................................................. 33

REFERÊNCIAS BIBLIOGRÁFICAS ..................................................................................................... 37

PROFESSORES-AUTORES................................................................................................................ 49

GUILHERME FORMA KLAFKE....................................................................................................................... 49

FORMAÇÃO ACADÊMICA .................................................................................................................... 49
EXPERIÊNCIAS PROFISSIONAIS .......................................................................................................... 49
MARINA FEFERBAUM .................................................................................................................................... 50
FORMAÇÃO ACADÊMICA .................................................................................................................... 50
EXPERIÊNCIAS PROFISSIONAIS .......................................................................................................... 50
PUBLICAÇÕES ........................................................................................................................................ 50
INTRODUÇÃO À ÉTICA E À INOVAÇÃO
RESPONSÁVEL COM DADOS

Neste curso, apresentaremos como a governança digital pode auxiliar no enfretamento e na

mitigação dos riscos da tecnologia digital no escopo das organizações, por exemplo, entes estatais,
sociedades empresárias, associações, etc. Partimos de como e por que regular a tecnologia digital pela
lógica do risco e como isso se insere no contexto da governança digital. Seguimos os princípios basilares
de uma ética digital e a sua manifestação concreta por meio da matriz de risco da Assessment List for
Trustworthy Artificial Intelligence (Altai), isto é, Lista de Avaliação para uma Inteligência Artificial
Confiável. Por fim, como implantar um programa ético em um modelo de governança digital.
O objetivo geral deste curso é compreender como a governança digital é necessária para o
desenvolvimento ético da tecnologia digital.
Ao final deste curso, você será capaz de: compreender a lógica de risco na tecnologia digital e
na respectiva regulação; apresentar os três conjuntos do mapa normativo da governança, as suas
intersecções e relações; apresentar os cinco princípios éticos para a IA; apresentar a matriz de risco
da Altai; desenvolver a proposta de comitês de ética digital e a sua relação com a governança digital.

Lógica de risco e relação com a ética: riscos jurídicos, técnicos

e sociais
Um dos debates jurídicos que cercam o desenvolvimento de tecnologias e aplicações digitais
é a preocupação – justificável – de que o direito se torne um obstáculo à inovação em função de
um excesso de cautela. Por outro lado, utilizar uma lógica reativa do sistema jurídico para minimizar
as externalidades das inovações deixaria o direito sempre atrás do desenvolvimento tecnológico. O
ponto de equilíbrio no direito atual é a lógica do risco, já implantada na proteção de dados pessoais
e aplicável, por conseguinte, à manipulação de dados pessoais. No lado de quem realiza as
manipulações, a gestão do risco depende, em grande parte, de um sistema de governança digital. O
objetivo último é desenvolver um direito capaz de conduzir o desenvolvimento tecnológico ao invés
de persegui-lo, transformando a velocidade da inovação de um inimigo para um aliado:

Precisamos mudar da perseguição para a liderança. Se gostamos da direção

em que nos movemos ou para onde vamos, então a velocidade com que
nos movemos ou nos aproximamos do nosso objetivo pode ser algo
realmente positivo. Quanto mais gostamos para onde vamos, mais rápido
desejaremos chegar lá (FLORIDI, 2018, p. 2).

A IA enquanto tecnologia genérica – a qual não deve ser confundida com a IA genérica, que
significa a tecnologia de IA para solução de problemas genéricos – reputa-se de difícil regulação. Há
casos de aplicações específica já reguladas, como direção autônoma 1 e drones 2, mas pouco sobre as
tecnologias associadas a IA, como os algoritmos de aprendizado de máquina e as suas técnicas, não
obstante o crescente debate sobre o tema e as preocupações sobre as consequências de um mundo
cada vez mais robotizado – como aumento do desemprego e das desigualdades em níveis sem
precedentes –, manifestadas, inclusive, por líderes da indústria como Elon Musk, Bill Gates e Steve
Wozniak (SCHERER, 2015).
Pelo menos até o presente, regular os “motores” da IA se mostra improdutivo e ineficiente:
improdutivo, pois novos algoritmos chegam a cada dia, exigindo atualizações constantes;
ineficiente, pois consequências negativas podem surgir de causas ainda desconhecidas ou pouco
conhecidas, falhando em cumprir com o seu propósito regulador. Por fim, uma regulação do tipo
seria mais um obstáculo à inovação do que um dispositivo de segurança social.
De todo modo, ainda que uma catástrofe jamais ocorra, o debate converge para a necessidade
de alguma forma de controle jurídico do desenvolvimento da IA, eis que essa representa um risco
público e, como tal, requer mecanismos jurídicos para reduzi-lo.
Scherer (2015) sustenta que, em nível nacional (americano), seria possível mitigar os
riscos da IA sem grandes inovações jurídicas por meio de legislação apropriada – que são menos
frequentes em sistemas de direito comum (common law) como o americano –, agências
administrativas e aplicação da responsabilidade civil, funcionando as duas primeiras como um
subsistema de controle da IA – algo comparável ao que já acontece em diversas áreas, como
seguros de saúde (no Brasil, controlados pela Agência Nacional de Saúde Suplementar – ANS),
telecomunicação (controlado pela Agência Nacional de Telecomunicações – Anatel) e,
particularmente, ao caso da Food and Drug Administration (FDA) nos EUA, que tem poderes
para banir produtos perigosos – e o terceiro para reparação de danos.

1
Vide https://www.ncsl.org/research/transportation/autonomous-vehicles-legislative-database.aspx.
2
Vide https://www.droneregulations.info/index.html.

6
 Pela sistemática atual, desses três, apenas a responsabilidade civil se encontra
generalizadamente presente, já que se trata de instituto jurídico tradicional. Para casos específicos,
há alguma regulação destinada a discipliná-las, como o já mencionado caso da direção autônoma.
Por fim, as aplicações de IA que envolvem dados pessoais (quiçá a maior parte delas) demandam
cuidados com a privacidade dos titulares, exigindo algum tipo de prestação de contas (leia-se
transparência, responsabilidade e compliance).
A manipulação de dados pessoais, que se enquadra como espécie de tratamento de dados,
submete-se aos diplomas de proteção de dados pessoais, como a LGPD do Brasil e o RGPD da
União Europeia, que podem impor uma série de obrigações de conformidade jurídica para,
inclusive, autorizar a realização dos tratamentos.
A relevância do exemplo das leis de proteção de dados, que vai além da sua aplicabilidade
direta aos tratamentos de dados pessoais – quaisquer que sejam eles, como o simples
armazenamento –, é o seu paradigma da sua sistemática protetiva, que não se baseia em qualificar
a licitude de tratamentos específicos (como se faz no direito penal, por exemplo), mas, sim, em
avaliar o risco desses tratamentos. De fato, tanto a LGPD quanto o RGPD se baseiam na lógica do
risco (pela qual se avalia a licitude do tratamento) e pelo respectivo controle pela administração
pública, estabelecendo uma autoridade para fiscalizar o cumprimento das suas disposições, tal qual
na concepção de Scherer para regulação da IA.
No caso da LGPD, agentes que tratam dados têm a obrigação de avaliar o risco dos seus
tratamentos à privacidade de titulares dos dados tratados e elaborar um relatório de impacto
indicando os pontos mais problemáticos do processo, bem como indicar os encaminhamentos para
solucioná-los. Nesse sentido, a lei admite algo que poderia ser definido como uma espécie
desconformidade normativa justificada, como um tratamento inadequado que se autoriza pelas
medidas corretivas prometidas, aferindo-se cada tratamento quanto ao risco avaliado e os esforços
para a sua mitigação.
Particularmente em relação à pesquisa científica, a LGPD é mais branda quanto ao
tratamento de dados pessoais, dispensando a necessidade de consentimento (art. 7º, IV), inclusive
para dados sensíveis (art. 11, II, b), e a obrigatoriedade de eliminação após o término do tratamento
(art. 16, II), determinando “sempre que possível” a anonimização. Mas isso não afasta a necessidade
de uma avaliação ética, eis que, por se tratar de dados pessoais e, por conseguinte, de pesquisa com
seres humanos, deve-se assegurar que o trabalho atenda alguma diretriz ética, seja por meio de órgão
de ética, seja por autoavaliação expressamente justificada no trabalho, inclusive em caso de dados
brutos anonimizados, já que a questão ética não se limita à privacidade.

7
 Ainda sobre a pesquisa científica com dados, é particularmente difícil traçar os limites éticos
a partir da mesma perspectiva de aplicações tecnológicas de natureza diversa, tal qual já estabelecido
na questão da proteção de dados pessoais. Como parte indispensável da reprodução da ciência, eis
que voltada à produção de conhecimento, os limites éticos da pesquisa científica requerem um
debate por parte da comunidade científica em diálogo com especialistas da área, das pessoas
interessadas e da sociedade como um todo, nos moldes da lógica do risco, mas considerada pela
ótica da ciência. Os princípios e as grandes questões são os mesmos, mas o sopesamento da relação
risco/desenvolvimento não.
Tanto no caso da pesquisa científica quanto nos demais, o estado das exigências éticas deve
evoluir para um controle mais intenso em breve, tal qual se observa na União Europeia e nas suas
iniciativas para a IA, como a Altai, que será tratada em detalhe em outra parte deste curso. Ainda
que pareça distante, os movimentos na União Europeia já afetam os trabalhos fora dela.
No contexto de uma sociedade digital, em que a dimensão digital é transfronteiriça,
alcançando todos os espaços físicos ao mesmo tempo, a incidência da regulação externa depende
menos da localização física de agentes de tratamento de dados e mais das circunstâncias do
tratamento em si. Um trabalho distribuído pelo mundo originado na União Europeia exige
adequação ao RGPD por todos os envolvidos no seu fluxo de trabalho, não se limitando às
exigências específicas deste, estendendo-se à conformidade de agentes de tratamento em si.
Em outras palavras, para participar de um trabalho transfronteiriços, a organização deve cumprir
as exigências normativas, inclusive as relativas à governança, como a presença de um encarregado de
dados. Logo, não cumprir essas exigências implica em excluir ex ante um agente da cadeia de trabalho.
Isso pode estender-se além da proteção de dados: ainda que uma avaliação ética não seja obrigatória, o
parceiro europeu pode exigi-la em defesa de valores estratégicos à sua imagem ou, simplesmente, como
parte do seu modelo de governança, já preparado para enfrentar exigências futuras.
Se a legislação externa pode exigir de atores situados fora do seu domínio territorial e se já
existem iniciativas externas relevantes para um desenvolvimento ético da IA – antevendo-se um
maior controle jurídico sobre o tema –, então há um bom argumento para, desde já,
adotar/desenvolver um sistema de governança digital, inclusive para pesquisa científica, com o
objetivo de se preparar para uma prestação de contas à sociedade.
Para muitas organizações, uma governança digital voltada à proteção de dados pessoais já é
obrigatória no Brasil por força da LGPD, que já cuida da manipulação de dados pessoais. Isso, antes
de tudo, é uma questão de conformidade jurídica, que é um dos aspectos da governança, conforme
veremos no mapa normativo, discutido mais adiante. Um modelo de governança digital amplo, isto
é, além da proteção de dados pessoais, envolve principalmente um escopo ético. É nesse sentido
que as organizações devem antecipar-se, já que não há, ainda, uma obrigatoriedade.

8
 Por outro lado, como a IA representa um risco público real, já concretizado em um número
de casos bem documentados e conhecidos, além de muitos outros que não vieram à luz do dia; a
sua mitigação demanda mecanismos de controle por parte da organização, não obstante a ausência
de obrigatoriedade específica nesse sentido. Casos de discriminação algorítmica, de ocorrência
razoavelmente frequente, são exemplos dos desafios do futuro da IA que requerem atenção imediata.
A sua ocorrência em prejuízo do titular, como negativa de concessão de crédito, de contratação de
seguros, entre outros, implica danos materiais e morais bastante concretos que, além de passíveis de
responsabilização civil, já se submetem ao princípio da transparência da LGPD (art. 6º, VI), com
direito ao esclarecimento (art. 42, § 2º, I). Quando se avalia o risco ético de um sistema de IA ao
longo do seu ciclo, os danos decorrentes de resultados antiéticos se tornam menos frequentes,
tornando a sua operação mais segura.
Vale ressaltar que tudo isso vale para dados pessoais e não pessoais, tornando a avaliação ética
mais ampla que a relativa a privacidade. A preocupação que envolve a IA é o seu uso como um
todo, como a condução autônoma de veículos, terrestres ou não, que podem causar falhas fatais.

Mapa normativo da governança digital

Concebido por Floridi (2018), o mapa normativo da governança digital relaciona as três
fontes de normas que compõem a estrutura normativa de uma organização: as normas éticas, as
normas jurídicas e as normas de governança.
Cada fonte possui uma abrangência específica, podendo haver sobreposição parcial conforme
o diagrama abaixo.

Figura 1 – Mapa normativo da governança digital

governança digital

ética digital regulação digital

Fonte: elaboração própria, reproduzindo Floridi (2018)

Certamente, não há que se falar em sobreposição perfeita das abrangências. Nem todas as
questões de governança digital dizem respeito à ética digital ou à regulação digital. Por exemplo, a
governança de TI, particularmente quanto à gestão dos ativos digitais, compreende escolhas
informadas pela técnica, custo, parcerias comerciais, etc. A opção por um fornecedor de banco de
dados em vez de outro não resulta em ilícito jurídico ou em atitude antiética.

9
 Da mesma maneira, nem todas as questões de regulação digital dizem respeito à governança
ou a ética. A estruturação da autoridade nacional, por exemplo, decorre de escolhas políticas
realizadas pelos legisladores. A opção por uma composição multisetorial com 11 membros com
mandato de dois anos ou uma com 13 membros, sendo quatro da sociedade civil, quatro da
academia, quatro do setor público e um presidente não afeta os modelos de governança adotados
pelas organizações nem envolve discussão ética.
Por fim, nem todas as questões de ética digital dizem respeito à regulação ou a ética. A atuação
de ONGs de direitos humanos na promoção de temas digitais, por exemplo, é parte da estratégia de
afirmação dos valores éticos por elas defendido. Uma campanha de conscientização sobre os perigos
da internet, por exemplo, nem decorre de obrigação jurídica, nem diz respeito a opções de governança.
Nas zonas de intersecção, deve-se considerar a supraordenação da ética sobre as demais e a
regulação sobre a governança. Desse modo, a interseção da ética com a regulação ou com a
governança conforma as respectivas zonas, para que as suas normas não conflitem com os preceitos
éticos; e a intersecção da regulação com a governança conforma as normas dessa última para que
não conflitem com as disposições legais.
Isso não precisa necessariamente ocorrer na norma abstrata, já que há casos em que o conflito
e a conformidade só surgem em situações específicas ou concretas. Nesses casos, a interpretação das
normas de regulação e governança devem buscar conformação com a ética – cuja aplicação se
denomina ética conformativa ou ética incidental, do inglês soft ethics –, devendo a segunda buscar
conformidade também com a primeira.
Como a regulação não se submete juridicamente à ética, senão quando esta se encontra
positivada no ordenamento, pode acontecer de haver conflito normativo abstrato não sanável por
interpretação, isto é, com divergência normativa em nível semântico, em que a norma ética
“manda” fazer uma coisa, e a norma jurídica, outra. Quando isso acontece, é necessário alterar o
ordenamento jurídico por meio do processo legislativo para sanar o conflito, a exemplo do que
aconteceu na África do Sul, onde a ética – nesse caso denominada ética corretiva ou ética rígida, do
inglês hard ethics – desmontou o Apartheid (FLORIDI, 2018).
Ordenamentos jurídicos onde a regulação digital conflita com a ética em nível abstrato não
sanável por interpretação, exigindo a aplicação de ética corretiva, falham em fornecer um ambiente
normativo para uma governança digital ética plena. Consequentemente, pode-se perder repertório
normativo para mitigar o risco público de sistemas de IA, o que cria condições favoráveis à sua
ocorrência. Apenas em contextos em que a ética conformativa é possível – isto é, onde não haja
necessidade de uma ética corretiva – é que ela “pode ajudar companhias, governos e organizações a
se beneficiar, moralmente falando, das oportunidades das inovações digitais” (FLORIDI, 2018)3.

3
Tradução livre de “to help companies, governments and other organisations to take more and better advantage, morally
speaking, of the opportunities offered by digital innovation”.

10
 Quer dizer, a ética só contribui para o desenvolvimento de sistemas de IA socialmente seguras
quando ela serve para ir além de uma legislação já eticamente adequada, lembrando que o papel da
ética, nesse caso, é fornecer um paradigma para alcançar onde a legislação não alcança (FLORIDI,
2018, p. 2).

Figura 2 – Mapa normativo da governança digital com detalhe para a avaliação moral

a ética digital conforme a

governança e a regulação digitais
por meio da avaliação moral
governança digital

ética digital regulação digital

Fonte: elaboração própria, a partir de Floridi (2018)

A função conformativa da ética, por óbvio, só ocorre onde há sobreposição com a regulação
e com a governança. Por exemplo, a exigência geral de consentimento livre, informado e inequívoco
(LGPD, art. 5º, XII) para o tratamento de dados busca dar efetividade ética à vontade do titular,
visando garantir que o seu consentimento não seja obtido de maneira dissimulada, harmonizando
a norma jurídica com a ética. Ou ainda, uma política de diversidade para a contratação de projetistas
de sistemas de IA, por sua vez não obrigatória pela legislação, demonstra preocupação ética tanto
quanto à composição do quadro de colaboradores quanto com o desenho do sistema em si,
harmonizando governança e ética.

Figura 3 – Mapa normativo da governança digital com detalhe para a compliance

a regulação digital conforme

a governança digital por
meio da compliance
governança digital

ética digital regulação digital

Fonte: elaboração própria, a partir de Floridi (2018)

11
 Quando a sobreposição ocorre entre a regulação e a governança, entra-se no campo
específico da conformidade jurídica, popularmente denominada pelo termo correspondente em
inglês compliance. Como a conformidade jurídica é obrigatória, dispondo de todo arsenal de
mecanismos de exigência fornecidas pelo ordenamento jurídico, um conflito normativo com a
governança acabaria, eventualmente, atos ilícitos por parte da organização, combatíveis por ações
judiciais, multas administrativas, etc. Apenas onde haja intersecção entre ética, regulação e
governança se deve reafirmar uma interpretação ética da regulação e da governança com o fim de
alcançar uma ética conformativa.

Princípios éticos para a IA

A ética, enquanto paradigma normativo para o desenvolvimento de sistemas de IA benéficos
à sociedade, visa, em última análise, completar o conteúdo do direito, tanto quanto ao sentido das
suas normas, 4 quanto à sua ausência, estabelecendo normas ad hoc. Ao mesmo tempo, e em razão
disso, inexiste um sistema normativo ético definido, o qual precisa ser deduzido para cada caso. A
ética, portanto, consiste em um sistema de valores a serem observados e protegidos, inexistindo
normas dispositivas, isto é, regras que estabeleçam consequências quando do seu descumprimento.
Isso, por uma perspectiva da teoria jurídica, equivale dizer que as normas éticas possuem natureza
principiológica, o que, por sua vez, confere um alcance normativo aprioristicamente ilimitado, eis
que toda norma – dispositiva ou principiológica – que reafirme tais valores se reputam válidas.
Outra característica da ética é a sua incompletude. O seu sistema de valores é exemplificativo,
inexistindo uma relação definitiva. O que há em comum nos seus valores/princípio é uma
concepção vaga daquilo que seria a retidão ética, que adquire concretude semântica a partir da
experiência humana, particularmente das consequências negativas observadas em casos concretos,
assim consideradas pelo desconforto, descontentamento ou sofrimento experimentado por
indivíduos ou grupos em posição relativa de vulnerabilidade, isto é, de hipossuficiência quanto à
causa da consequência negativa.
A utilidade da ética para a avaliação de riscos decorre justamente da sua natureza
principiológica e do seu caráter exemplificativo. Sem regras definidas, e sem princípios definitivos,
a ética se torna suficientemente flexível para a avaliação de casos variados, inclusive os inovadores.

4
A norma jurídica somente é alcançada por meio da interpretação dos dispositivos normativos, cujo sentido é completado
de diversas maneiras, a começar pelas normas constitucionais, que não admitem contrariedade. Se a norma abstratamente
considerada não carrega conteúdo ético, como no caso de licitude de tratamento de dados fundamentada no
consentimento dos seus titulares, a situação concreta, para fins de avaliação ética, requer completar o seu sentido por
meio dos princípios éticos. No exemplo, um tratamento que consista em treinamento de um modelo com viés negativo
quanto à etnia pela simples ausência de dados que a comtemple, como o reconhecimento facial realizado por modelo não
treinado para reconhecer tons de pele escura, então, a despeito da licitude do tratamento de treinamento, a aplicação
resultante não atende a uma avaliação ética.

12
 Há, no entanto, limitações. Em primeiro lugar, não se pode ignorar a possibilidade de conflito
entre princípios no caso concreto. Ainda que os valores protegidos pela ética não se contradigam
abstratamente um ao outro, é inevitável o surgimento de casos concretos que envolvam
contradições. Em segundo, a avaliação ética é incompleta, não esgotando o risco. O fato de admitir
a “dedução” de novos princípios para o caso, em razão do seu caráter exemplificativo, não significa
que isso ocorrerá na prática.
Nesse sentido, a ética funciona mais como ponto de partida do que de chegada. Além disso,
como o seu objetivo é conduzir o desenvolvimento da IA com segurança, e não evitar por completo
o risco público de aplicações específicas, então é possível estabelecer um sistema de valores de
referência, aprimorando-o constantemente por meio de revisões. Dessa maneira, é possível corrigir
o curso do desenvolvimento, para que esse atue em prol da sociedade, não contra ela.
O uso aplicado da ética nesse sentido não é nenhuma novidade, havendo sólidas referências
para a sua adoção no campo da IA. Além de bastante desenvolvido, o uso da ética na saúde enfrenta
questões similares, abrangendo a prática da medicina, tratamento de saúde e experimentação com
seres humanos, saúde pública, entre outros, colocando o indivíduo, grupos étnicos, sociais e
nacionais e a sociedade como um todo no centro de suas preocupações.
Trata-se da bioética, em que o risco envolve nada menos que a integridade do indivíduo.
Historicamente, há precedentes de princípios bioéticos desde Hipócrates, no século IV a.C.,
tornando-se um campo de estudo apenas na década de 1960 (SETHURAMAN, 2015), sendo
finalmente batizada em 1972 (PELLEGRINO, 1999, p. 73-88) e sistematizada em 1979
(McCORMICK, s.d.) com a publicação da obra Principles of biomedical ethics, por Beauchamp e
Childress, que fixou os seus quatro princípios fundamentais: autonomia, beneficência, não
maleficência e justiça (McCORMICK, s.d.). Na atualidade, a sua observância é obrigatória na
prática clínica e na pesquisa com seres humanos.
A sua emancipação como disciplina autônoma, portanto, como relevância para a saúde,
decorreu da necessidade de humanização do trato com seres humanos, que atingiu o seu limite de
objetificação no nazismo, que reduziu a população dos campos de concentração e extermínio a
cobaias de laboratório de pesquisas médicas. O julgamento das experimentações realizadas nos
campos levou à elaboração do Código de Nuremberg (MARSHALL, s.d.), com 10 princípios éticos
sobre experimentação humana, a começar pela ideia de um consentimento inequívoco.

1. O consentimento voluntário do ser humano é absolutamente essencial.

Isso significa que as pessoas que serão submetidas ao experimento devem
ser legalmente capazes de dar consentimento; essas pessoas devem exercer
o livre direito de escolha sem qualquer intervenção de elementos de força,
fraude, mentira, coação, astúcia ou outra forma de restrição posterior;
devem Ter conhecimento suficiente do assunto em estudo para tomar uma
decisão. Esse último aspecto exige que sejam explicados às pessoas a

13
 natureza, a duração e o propósito do experimento; os métodos segundo os
quais será conduzido; as inconveniências e os riscos esperados; os efeitos
sobre a saúde ou sobre a pessoa do participante que eventualmente possam
ocorrer devido à participação no experimento. O dever e a
responsabilidade de garantir a qualidade do consentimento repousam
sobre o pesquisador que inicia ou dirige um experimento ou se
compromete nele. São deveres e responsabilidades pessoais que não podem
ser delegados a outrem impunemente. 5

Os 10 princípios do Código de Nuremberg foi base para a adoção em 1964 da Declaração

de Helsinque, já sete vezes revisada (1975, 1983, 1989, 1996, 2000, 2008 e 2013), para orientar a
prática e pesquisa médicas. Ela

enfatiza o respeito pela autonomia individual do participante, o

consentimento informado, [...] coloca o bem-estar do participante bem à
frente das necessidades da ciência ou da sociedade, [...] recomenda
avaliação de risco e benefícios, com ênfase na beneficência, competência e
rigor científicos (SETHURAMAN, 2015). 6

Do texto de 1964 à revisão de 2013, a declaração passou de nove artigos subdivididos em

duas partes para 37 artigos subdivididos em 12 partes: preâmbulo com dois artigos; princípios
gerais, com 13 artigos; riscos, ônus e benefícios, com três artigos; grupos e indivíduos vulneráveis,
com dois artigos; requisitos científicos e protocolos de pesquisa, com dois artigos; comitês éticos de
pesquisa, com um artigo; privacidade e confidencialidade, com um artigo; consentimento
informado, com oito artigos; uso de placebo, com um artigo; provisões pós-experimentação, com
um artigo; registro, publicação e divulgação de resultados de pesquisa, com dois artigos; e
intervenção não comprovada na prática clínica, com um artigo (WMA, 2013).
No caso da IA, um número de diretrizes éticas se propõe a enfrentar a questão, porém sem
qualquer tipo de coordenação. Em geral, são iniciativas autônomas, sem um diálogo formado para a
consecução de uma convergência em torno de um paradigma comum, o que – conforme

5
Tradução em português do Código de Nuremberg de 1947. Disponível em:
http://www.fiocruz.br/biosseguranca/Bis/manuais/qualidade/Nurembg.pdf. A tradução dividiu o primeiro princípio do
código em três, que foram reagrupados no excerto para reproduzir a versão original.
6
Tradução livre de “Meanwhile, the World Medical Association’s Declaration of Helsinki further developed the 10 principles
expounded in the Nuremberg Code in order to more directly address the needs of research. 18 First adopted in 1964, it
has undergone six revisions in 1975, 1983, 1989, 1996, 2000, and 2008. It stresses respect for the individual, autonomy of
the participant, and informed consent, although it allows for consent by proxy in some circumstances. The welfare of the
participant is placed firmly ahead of the needs of science or society. Further, it recommends assessment of risks and
benefits, with an emphasis on beneficence, competence and scientific rigor”.

14
diagnosticado por Floridi e Cows (2019) – tanto gera confusão quanto cria a possibilidade de escolha
oportunística de proposta, na qual o criador da IA pode escolher a que melhor lhe convém. Ao mesmo
tempo, nota-se bastante sobreposição entre essas diferentes propostas, suficiente para sistematizar uma
base ética comum, tal qual os princípios de Beauchamp e Childress, só que voltado à IA.
Com o objetivo de oferecer essa base comum, Floridi e Cows (2019) sistematizaram aquilo
que denominaram de Estrutura Unificada de Cinco Princípios para IA, partindo dos quatro
princípios da bioética – autonomia, beneficência, não maleficência e justiça – aos quais se
acrescentou o princípio da explicabilidade. A sistematização utilizou como fonte seis iniciativas de
diretrizes éticas para IA 7 selecionadas segundo três critérios básicos:

são recentes, publicadas nos últimos três anos [contados do trabalho dos
autores]; são diretamente relevantes à IA e seu impacto na sociedade como
um todo (consequentemente excluindo documentos de domínios,
indústria ou setor particulares); possuem grande reputação, publicadas por
organizações fidedignas, com interesses abrangentes e com escopo mínimo
nacional (FLORIDI; COWLS, 2019). 8

Beneficência
Na bioética, o princípio da beneficência se aplica ao paciente, isto é, para o seu benefício,
reputando-se “um dever autoevidente e amplamente aceito como um objetivo inerente à medicina”
(McCORMICK, s.d.).
Conforme argumenta McCormick (s.d.), “uma pessoa em sofrimento (o paciente) pode se
submeter àquele que a sociedade licenciou como competente para oferecer tratamento de saúde,
confiante de que o principal objetivo do profissional é ajuda-lo”. Nesse sentido, uma prática ética
compreende a garantia de que aquilo que se oferece retorna positivamente à pessoa destinatária,
permitindo-lhe confiar no que lhe é oferecido, não obstante a sua hipossuficiência na situação.

7
1. Asilomar AI Principles; 2. Montreal Declaration for Responsible AI; 3. “Os princípios gerais elencados na segunda versão
de Ethically Aligned Design: a vision for prioritizing human well-being with authonomous and intelligent systems”; 4. “Os
princípios éticos apresentados em “Statement on artificial intelligence, robotics and ‘authonomous’ systems”; 5 Os “cinco
princípios globais para um código de IA” apresentados no relatório “IA in the UK: ready, willing and able?”; 6 Tenets of the
Partnership on AI.
8
Tradução livre de “they are recent, published within the last three years; directly relevant to AI and its impact on society
as a whole (thus excluding documents specific to a particular domain, industry, or sector); and highly reputable, published
by authoritative, multistakeholder organizations with at least national”.

15
 Quando pacientes se encontram sem capacidade de manifestar o seu consentimento, o
princípio da beneficência se sobrepõe à autonomia, presumindo, conforme a gravidade, “que uma
pessoa sensata desejaria ser tratada intensamente”, devendo o profissional se apressar para “realizar
intervenção beneficente para estancar o sangramento, reparar a fratura ou suturar o ferido”
(McCORMICK, s.d.). 9
No escopo da IA, o princípio vai além da “dignidade humana” e o “bem comum”, para
também abranger “o bem-estar de todos os seres sencientes” (FLORIDI; COWLS, 2019)10 e
“assegurar os prerrequisitos da vida no planeta”, o “bem comum”, a “sustentabilidade”, enfim, para
promover “o bem-estar do povo e do planeta” (FLORIDI; COWLS, 2019).

Não maleficência
Conforme observam Floridi e Cowls (2019), “Apesar de que ‘faça apenas o bem’
(beneficência) e ‘não faça o mal’ (não maleficência) pareçam logicamente equivalentes, eles não são
e representam princípios distintos”.
Na bioética, o princípio da não maleficência visa assegurar que profissionais não ajam de
maneira intencional para causar algum mal a pacientes – como um sofrimento ou uma lesão –,
considerando-se o mal menor quando a não intervenção possa resultar em prejuízo maior, por
exemplo, para justificar um tratamento ou exame dolorido, destinados a evitar uma evolução
negativa do seu estado de saúde (McCORMICK, s.d.).
Em situações limítrofes, a aplicação desse princípio demanda interpretação da situação
concreta, por exemplo, para afastar intervenção médica “como no caso de paciente terminal de
doloroso carcinoma, que dispensa ressuscitação no evento de uma parada cardiorrespiratória, o uso
de tecnologia de suporte vital, como respirador e diálise” (McCORMICK, s.d.)11, ante o
entendimento que a morte pode ser o mal menor perante uma sobrevida debilitada.
No caso da IA, o princípio tem uma dimensão maior. Como ele não se limita ao indivíduo,
mas à humanidade, à vida e ao planeta como um todo, a não maleficência vai além dos danos
individuais a privacidade, compreendendo também os seus perigos, ainda que das melhores
intenções, além de condenar o mal uso da tecnologia (FLORIDI; COWLS, 2019).

9
Tradução livre de “When the patient is incapacitated by the grave nature of accident or illness, we presume that the
reasonable person would want to be treated aggressively, and we rush to provide beneficent intervention by stemming the
bleeding, mending the broken or suturing the wounded”.
10
Tradução livre de “the development of AI should ultimately promote the well-being of all sentient creatures”. Montreal
Declaration for a Responsible Development of Artificial Intelligence (2017, November, 3). Announced at the conclusion of
the Forum on the Socially Responsible Development of AI. Disponível em: https://www.montrealdeclaration-
responsibleai.com/the-declaration.
11
Tradução livre de “However, in other cases, such as the case of a patient dying of painful intestinal carcinoma, the patient
might choose to forego CPR in the event of a cardiac or respiratory arrest, or the patient might choose to forego life-
sustaining technology such as dialysis or a respirator”.

16
Autonomia
Tanto em intervenções médicas quanto em sistemas de IA, há um componente decisório: a
decisão do diagnóstico, de realizar a intervenção, da melhor técnica/tratamento, da classificação do
dado, etc. O princípio da autonomia visa garantir que o afetado/interessado participe do processo
decisório, de maneira informada, livre e consciente, podendo exercê-la com toda a plenitude, sem
coação, manipulação ou qualquer forma de desvirtuar a sua autonomia.

Por exemplo, Testemunhas de Jeová acreditam que é errado aceitar

transfusões de sangue. Portanto, em situação de vida em risco onde a
transfusão é necessária para salvar a vida do paciente, este deve ser
informado. As consequências de recusar a transfusão de sangue devem ser
esclarecidas ao paciente em risco de óbito por perda de sangue
(McCORMICK, s.d.).

O exemplo da Testemunha de Jeová é polêmico, envolvendo discussão sobre a sua prevalência

sobre os princípios da beneficência e não maleficência. Como a questão não é apenas médica,
devendo-se considerar eventual dano ao sistema de crença do paciente, a autonomia deve prevalecer,
ressalvados alguns casos específicos, como quando envolvendo menores crentes em atendimento de
urgência (McCORMICK, s.d.).
No caso da IA, o princípio visa preservar a autônima humana como um todo, promovendo a
autonomia humana pela restrição da autonomia da máquina, que deve ser reversível para a retomada
de controle. Por outro lado, o ser humano também tem o poder de decidir deixar a máquina tomar
decisões, pois, do contrário, não haveria possibilidade ética de se utilizar sistemas de IA.
O que se pretende assegurar com o princípio da autonomia é o controle humano sobre a
tecnologia, de modo a sempre possibilitar a sua recuperação.

Isso introduz a noção de que podemos chamar ‘meta-autonomia’, ou a

‘autonomia de delegar’: humanos devem reter o poder de decidir que
decisões tomar, exercendo a liberdade de escolha onde necessário e ceder nos
casos em que uma razão fundamentada, tal qual a eficiência, possa sopesar a
perde de controle. Toda delegação deve permanecer anulável a princípio,
por exemplo, decidir decidir novamente (McCORMICK, s.d.). 12

12
Tradução livre de “This introduces a notion we might call ‘metaautonomy,’ or a ‘decide-to-delegate’ model: humans should
retain the power to decide which decisions to take: exercising the freedom to choose where necessary, and ceding it in
cases where overriding reasons, such as efficacy, may outweigh the loss of control over decision-making. Any delegation
should also remain overridable in principle (i.e., deciding to decide again)”.

17
Justiça
O princípio da justiça é, em grande parte, um princípio de equidade/justeza e solidariedade,
voltado ao impacto causado à sociedade.
Na medicina, o princípio se volta à saúde pública, envolvendo discussões sobre justiça
distributiva, eis que os recursos são sempre escassos.

De fato, nossa sociedade usa uma variedade de fatores como critério para
justiça distributiva, incluindo o seguinte: 1. Para cada pessoa, uma parte
igual; 2. para cada pessoa, de acordo com a necessidade; 3. Para cada
pessoa, de acordo com o esforço; 4. Para cada pessoa, de acordo com a
contribuição; 5. Para cada pessoa, de acordo com o mérito; 6. Para cada
pessoa, de acordo com a livre troca de mercado (McCORMICK, s.d.).13

No âmbito da IA, o princípio é análogo, mas não pelos mesmos critérios. No caso, não é possível
argumentar em termos de escassez, senão de distribuição de benefícios em casos determinados, o que
nem sempre ocorre. No reconhecimento de rostos humanos em imagens, por exemplo, não há tal
escassez, eis que não há o que distribuir. As seis iniciativas consideradas na Estrutura Universal vagam
em vários aspectos do que seria tal justiça, sem um sentindo realmente convergente.

As diferentes maneiras com que a justiça é caracterizada sugerem uma

ampla falta de esclarecimento sobre AI como um repositório de “atos de
inteligência” feito por seres humanos. Em termos simples, seriamos nós
(humanos) o paciente, recebedor do “tratamento” da IA, o médico
prescrevendo-o? Ou ambos? Essa questão só pode ser resolvida pela
introdução de um quinto princípio que emerge da nossa análise
(FLORIDI; COWLS, 2019). 14

13
Tradução livre de “In fact, our society uses a variety of factors as criteria for distributive justice, including the following: 1. To
each person an equal share; 2. To each person according to need; 3. To each person according to effort; 4. To each person
according to contribution; 5. To each person according to merit; 6. To each person according to free-market exchanges”.
14
Tradução livre de “The diverse ways in which justice is characterised hints at a broader lack of clarity over AI as a human-
made reservoir of ‘smart agency.’ Put simply, are we (humans) the patient, receiving the ‘treatment’ of AI, the doctor
prescribing it? Or both? This question can only be resolved with the introduction of a fifth principle which emerges from
our analysis”.

18
Explicabilidade
O princípio da explicabilidade decorre da hipossuficiência das pessoas perante a IA,
separando de maneira brusca dois grupos: o dos criadores/desenvolvedores dos sistemas (os
doutores) e dos demais (os pacientes). De certa maneira, essa hipossuficiência também se observa
na área médica, onde doutores e pacientes estão assimetricamente posicionados quanto ao
conhecimento. A situação, no entanto, é diversa. A assimetria entre profissionais da medicina e
pacientes não é a mesma daquela entre criadores e destinatários da IA.
Na medicina, a aplicação da ciência é feita diretamente pelo médico ou pela médica com
base em dados sob controle do paciente, por exemplo, exames, que lhe permanece acessível. Isso
significa que o seu caso pode ser reavaliado por outro profissional, permitindo uma revisão
bastante simples das decisões.
Na IA, a ciência por trás se dilui em uma grande cadeia, de quem desenvolve o algoritmo de
aprendizado de máquina até quem administra o sistema que o mantém no ar, envolvendo diferentes
conhecimentos, a começar pela estatística imbuída no primeiro algoritmo.
O treinamento em si costuma ser uma caixa-preta sob pelo menos dois aspectos. O primeiro
diz respeito ao dataset utilizado, que costuma ser mantido sob sigilo do desenvolvedor, assim como
a escolha de algoritmos e parâmetros de configuração. Sob domínio exclusivo do criador, o dataset
sigiloso impede qualquer análise externa com o fim de explicar o comportamento da máquina. O
segundo aspecto diz respeito à aprendizagem de máquina em si, que pode tornar-se uma caixa-preta
sem chave alguma: em um cenário com bilhões de dados de origem, para um sem-número de contas
e iterações de aprendizagem, muitas vezes com vários níveis de aprendizagem profunda, entender a
causalidade do modelo resultante pode ser um desafio intransponível. Consequentemente o
funcionamento da aplicação se torna transcendente para o seu destinatário.

A adição do princípio da “explicabilidade”, incorporando tanto o sentido

epistemológico de “inteligibilidade” (como resposta a questão “como isso
funciona”) e o sentido ético de “responsabilidade” (como resposta a “quem
é responsável pela forma que funciona?”), é a peça faltante indispensável
do quebra-cabeça da ética em IA. Ele complementa os outros quatro
princípios: para uma IA benéfica e não maléfica, devemos ser capazes de
compreender o bem ou mal que ela [a IA] esteja fazendo à sociedade e de
que maneira; para a IA promover a autonomia humana e não restringi-la,
nossa “decisão sobre quem decide” deve ser informada pelo conhecimento
de como a IA pode agir em substituição a nós; e para uma IA ser justa,
devemos saber quem responsabilizar no evento de um resultado sério e

19
 negativo, o qual, por sua vez, requereria adequada compreensão do porquê
esse resultado emergiu (FLORIDI; COWLS, 2019).15

Elaboração de matriz de risco

A avaliação de risco das aplicações de aprendizado de máquinas se baseia em um conjunto de
quesitos formulados em prol do ser humano e da sociedade, cujas respostas operam como
argumentos de um procedimento de quantificação ou qualificação do risco em uma escala de
gravidade ou de confiabilidade. Tais paradigmas são as chamadas de matrizes de risco. Entre as
matrizes de risco existentes, destacamos a Altai para autoavaliação, criada pelo Grupo de Peritos de
Alto Nível sobre a Inteligência Artificial, formado de 52 especialistas selecionados pela Comissão
Europeia com o fim de criar a Estratégia da União Europeia para a Inteligência Artificial “com uma
visão de uma IA ética, segura e de ponta”.
Conforme a sua descrição, “a Lista de Avaliação para uma Inteligência Artificial Confiável
(Altai) é uma ferramenta prática para auxiliar negócios e organizações a autoavaliar a confiabilidade
de seus sistemas de inteligência artificial em desenvolvimento” (COMISSÃO EUROPEIA, 2019) 16.
A lista se baseia nas “Orientações Éticas para uma IA de Confiança” (elaboradas pelo próprio
Grupo 17), as quais estabelecem (em caráter exemplificativo) 18 os seguintes requisitos:

1) “Ação e supervisão humanas – incluindo os direitos fundamentais, a ação

humana e a supervisão humana;
2) Solidez técnica e segurança – incluindo a resiliência perante ataques e a
segurança, os planos de recurso e a segurança geral, a exatidão, a
fiabilidade e a reprodutibilidade;

15
Tradução livre de “The addition of the principle of ‘explicability,’ incorporating both the epistemological sense of
‘intelligibility’ (as an answer to the question ‘how does it work?’) and in the ethical sense of ‘accountability’ (as an answer to
the question ‘who is responsible for the way it works?’), is the crucial missing piece of the AI ethics jigsaw. It complements
the other four principles: for AI to be beneficent and non-maleficent, we must be able to understand the good or harm it is
actually doing to society, and in which ways; for AI to promote and not constrain human autonomy, our ‘decision about
who should decide’ must be informed by knowledge of how AI would act instead of us; and for AI to be just, we must know
whom to hold accountable in the event of a serious, negative outcome, which would require in turn adequate
understanding of why this outcome arose”.
16
Tradução livre de “The Assessment List for Trustworthy Artificial Intelligence (Altai), is a practical tool that helps business
and organisations to self-assess the trustworthiness of their AI systems under development”.
17
Disponível em file:///C:/Users/ferna/AppData/Local/Temp/MicrosoftEdgeDownloads/11783e10-218a-4e28-90e5-
5d017d039b1f/ethics_guidelines_for_trustworthy_ai-pt_88008646-E664-D76A-BD4DC4524E29CCD2_60435%20(1).pdf
18
A Altai afirma que os requisitos são exemplos, o que deve ser interpretado como requisitos mínimos dentro da
pertinência de cada um deles.

20
3) Privacidade e governação dos dados – incluindo o respeito da privacidade,
a qualidade e a integridade dos dados e o acesso aos dados;
4) Transparência – incluindo a rastreabilidade, a explicabilidade e a
comunicação;
5) Diversidade, não discriminação e equidade – incluindo a prevenção de
enviesamentos injustos, a acessibilidade e a conceção universal e a
participação das partes interessadas;
6) Bem-estar societal e ambiental – incluindo a sustentabilidade e o respeito
do ambiente, o impacto social, a sociedade e a democracia;
7) Responsabilização – incluindo a auditabilidade, a minimização e a
comunicação dos impactos negativos, as soluções de compromisso e as
vias de recurso” (GPAN-IN, 2018, p. 17-18).

Figura 4 – Gráfico radar de avaliação da Altai

Fonte: tradução livre de Wortham (2021)

21
 A Altai avalia cada requisito separadamente, conforme ilustrado no gráfico de radar acima. A
área do polígono resultante pode ser interpretada como a confiabilidade geral do sistema avaliado,
sendo cada um dos vértices, a confiabilidade mensurada de cada um dos requisitos.
A avaliação propriamente dita não se resume à produção desse gráfico, que não é senão um
sumário ilustrativo de todo o trabalho realizado. Cada requisito se subdivide em dois ou mais
tópicos, cada qual com uma lista de quesitos/perguntas e subquesitos para orientar os trabalhos,
que requerem uma equipe multidisciplinar. A título de exemplo, a LISTA aponta as seguintes
especialidades para auxiliar na avaliação:
 Designers e desenvolvedores de AI do sistema avaliado;
 Cientistas de dados;
 Gerente de aquisições;
 Operadores e usuários dos sistemas de IA;
 Gerentes jurídico e de conformidade (compliance);
 Administradores (COMISSÃO EUROPEIA, 2019, p. 4).

Além disso, a Altai é uma segunda etapa de avaliação. A primeira etapa, que precede a Altai,
consiste na avaliação de impacto de direitos fundamentais – Fundamental Rights Impact Assessment
(Fria) –, orientada de maneira ampla pelos direitos fundamentais/humanos, e de maneira
exemplificativa pelas normas de direitos fundamentais/humanos, como as constantes da Carta da
EU, da Convenção Europeia de Direitos Humanos e dos seus protocolos e da Carta Social
Europeia, além das especificidades do RGPD, que estabelece o significado concreto do direito
fundamental à privacidade de dados digitais. Por exemplo:

1. O sistema de IA potencialmente discriminar negativamente pessoas com base

em quaisquer dos seguintes motivos (não exaustivos): sexo, raça, cor, origem
étnica ou social, características genéticas, linguagem, religião ou crença, opinião
política ou de qualquer ordem, associação a minoria nacional, propriedade,
nascimento, deficiência, idade ou orientação sexual? Foram implantados
processos para testar e monitorar potencial discriminação negativa (viés) durante
as fases de desenvolvimento, implantação e uso do sistema de IA? Foram
implantados processos para abordar e corrigir potencial discriminação negativa
(viés) no sistema de IA?
2. O sistema de IA respeita os direitos da criança, por exemplo, em relação à
proteção da criança e levando em conta o melhor interesse da criança? [...]
3. O sistema de IA protege o dado pessoal relacionados aos titulares nos termos
do RGPD? [...]
4. O sistema de IA respeita a liberdade de expressão e de informação e/ou a
liberdade de reunião e de associação? (COMISSÃO EUROPEIA, 2019, p. 5-6).

22
 Como a avaliação da proteção de dados também segue a lógica do risco, sendo, inclusive,
juridicamente obrigatória, é natural que a avaliação de risco da IA dependa de uma avaliação prévia
nesse sentido, com destaque para o RGPD, a exemplo do item 3, supra. A sistemática se estende,
ainda, para os direitos fundamentais/humanos como um todo, o que, embora lógico em uma
reflexão a posteriori, vai além de uma simples afirmação do respeito a essa categoria de direitos.
Se a Altai representa um detalhamento das orientações éticas, e se a ética, entre outras coisas,
afirma o respeito aos direitos humanos, então a Altai já seria por si só suficiente para avaliar riscos
às suas normas. Contudo, nem a Altai nem as orientações éticas têm a pretensão de criar um roteiro
capaz de esgotar uma avaliação de risco público de determinado sistema, afirmando o caráter
exemplificativo das suas disposições de maneira expressa e frequente.19
Ao estabelecer a Fria como etapa precedente, a Altai indica a necessidade de uma avaliação
além das questões por ela formuladas, devendo-se, por exemplo, analisar o impacto da tecnologia
em grupos vulneráveis, como minorias étnicas e sociais e grupos de gênero, crianças e adolescentes,
etc. Quando pertinente à aplicação em desenvolvimento, especialistas no assunto, como acadêmicos
ou organizações de defesas sobre temáticas afins devem ser considerados, inclusive, como
consultores da avaliação, tanto para a Fria, quanto para a Altai, já que a avaliação diz respeito a
todos os stakeholders, expressamente contemplados no requisito #5.
Como exemplo, o que a Fria acrescentaria além do requisito #5 em um caso de minorias seria
uma avaliação do impacto da tecnologia em si sobre os grupos, como a existência de alguma
dificuldade de acesso à rede para acessar a ferramenta em razão de uma maior exclusão digital, por
sua vez não contemplada pela subdivisão de acessibilidade do requisito #5, que é mais direcionada
ao desenho e uso da interface da aplicação. Fosse o caso de uma tecnologia utilizada em políticas
públicas diretamente pelo cidadão, uma dificuldade dessa natureza poderia aumentar a exclusão de
certos grupos vulneráveis, amplificando diferenças já existentes. Daí eventual necessidade de um
diálogo consultivo com especialistas nessas temáticas.
Realizada a Fria, a Altai segue, então, como um guia exemplificativo – mínimo e necessário,
reitera-se – dos seus requisitos. Esse guia, reitera-se, é exemplificativo tanto quanto ao seu rol,
quanto aos respectivos quesitos, ou seja, estendendo tanto os tópicos em análise quanto as
respectivas questões.

Requisito #1: ação e supervisão humanas

Subdivide-se em (i) ação e autonomia humanas; (ii) supervisão humana. Parte do princípio
de que sistemas de IA são auxiliares ao ser humano, preservando a sua capacidade de agir, de tomar
decisão e de participar da processo, trabalho, rotina, etc., em que a IA se insere, não devendo a
aplicação de IA impedir ou limitar o ser humano na sua capacidade de agir e de influir no processo.

19
Sobre as Orientações Éticas, cf. GPAN-IN (2018, p. 17). Sobre a Altai, cf. Comissão Europeia (2019, p. 5).

23
 Exemplo de quesitos e subquesito de (i) ação e autonomia humana: “Poderia o sistema de IA
gerar confusão para alguns ou todos os usuários finais ou sujeitos sobre se estão interagindo com
um humano ou um sistema de IA? Os usuários finais são informados que estão interagindo com
um sistema de IA?” (COMISSÃO EUROPEIA, 2019, p. 7). 20
Exemplo de quesitos de (ii) supervisão humana:

Há um “botão de parada” ou um procedimento para abortar de maneira

segura a operação quando necessário? Tomou-se qualquer medida de
supervisão e controle para refletir o auto aprendizado ou a natureza
autônoma do sistema de IA? (COMISSÃO EUROPEIA, 2019, p. 7). 21

Requisito #2: solidez técnica e segurança

Subdivide-se em (i) resiliência a ataque e segurança; (ii) segurança geral; (iii) acurácia; (iv)
confiabilidade, plano de contingência e reprodutibilidade. Parte do princípio de que a aplicação de
IA precisa de garantias de funcionamento consistente, inclusive em caso de mudanças de cenário
operacional, preventivamente desenvolvidos para superar riscos.
Exemplo de quesito de (i) resiliência a ataque e segurança:

Pode o sistema de IA ter efeitos adversos, críticos ou danosos (por exemplo a

humanos ou à segurança social) em caso de riscos ou ameaças, tais como falhas
de projeto ou técnicas, defeitos, interrupção, ataques, usos indevido,
inapropriado ou mal-intencionado? (COMISSÃO EUROPEIA, 2019, p. 9).22

20
Tradução livre de “Could the AI system generate confusion for some or all end-users or subjects on

whether they are interacting with a human or AI system? Are end-users or subjects informed that they are interacting with
an AI system?”.
21
Tradução livre de “Did you ensure a ‘stop button’ or procedure to safely abort an operation when

needed? Did you take any specific oversight and control measures to reflect the self-learning or autonomous nature of the
AI system?”.
22
Tradução livre de “Could the AI system have adversarial, critical or damaging effects (e.g. to human or societal safety) in
case of risks or threats such as design or technical faults, defects, outages, attacks, misuse, inappropriate or malicious use?”.

24
 Exemplo de quesito e subquesito de (ii) segurança geral:

Foram avaliadas dependências de decisões críticas do sistemas de IA de seu

comportamento estável e confiável? Foram alinhados os requisitos de
confiabilidade/testagem aos níveis apropriados de estabilidade e
confiabilidade? (COMISSÃO EUROPEIA, 2019, p. 10).23

Exemplo de quesito de (iii) acurácia: “Considerou-se se a operação do sistema de IA pode

invalidar os dados ou as inferências a partir das quais ele foi treinado e como isso pode produzir
efeitos adversos?” (COMISSÃO EUROPEIA, 2019, p. 10). 24
Exemplo de quesito de (iv) confiabilidade, plano de contingência e reprodutibilidade: “Foi
implantado um procedimento específico para lidar com casos em que o sistema de IA produz
resultados com baixa pontuação de confiança?” (COMISSÃO EUROPEIA, 2019, p. 11).25

Requisito #3: privacidade e governação dos dados

Subdivide-se em (i) privacidade; (ii) governança de dados. Avalia especificamente questões
relacionadas à proteção de dados pessoais, conforme a sistemática do RGDP, inclusive em relação
às exigências de governança de dados, como presença de um encarregado de dados na estrutura
organizacional – mais conhecido pelo termo em inglês Data Protection Officer (DPO) –, utilização
de criptografia, etc.
Exemplo de quesito de (i) privacidade: “Considerou-se o impacto do sistema de IA nos
direitos à privacidade, às integridades física, mental e/ou moral e à proteção de dados?”
(COMISSÃO EUROPEIA, 2019, p. 12). 26

23
Tradução livre de “Did you assess the dependency of a critical AI system’s decisions on its stable and reliable behaviour?
Did you align the reliability/testing requirements to the appropriate levels of stability and reliability?”.
24
Tradução livre de “Did you consider whether the AI system's operation can invalidate the data or assumptions it was
trained on, and how this might lead to adversarial effects?”.
25
Tradução livre de “Did you put in place a proper procedure for handling the cases where the AI system yields results with
a low confidence score?”.
26
Tradução livre de “Did you consider the impact of the AI system on the right to privacy, the right to physical, mental and/or
moral integrity and the right to data protection?”.

25
 Exemplo de quesito de (ii) governança de dados:

Foram implantadas quaisquer das seguintes medidas algumas das quais

obrigatórias pelo Regulamento Geral de Proteção de Dados (RGPD) ou um
similar não europeu? Relatório de Impacto à Proteção de Dados (RIPD);
nomeação de um encarregado de dados (DPO) e sua inclusão em estágios
iniciais do desenvolvimento, de aquisição ou de uso do sistema de AI;
mecanismos de supervisão para tratamento de dados (incluindo a limitação
de acesso à pessoal qualificado, mecanismos de log de acesso e modificação);
medidas de consecução de privacy by design e privacy by defautl (e.g.,
criptografia, pseudoanonimização, agregação, anonimização); minimização
de dados, em particular dados (incluindo categorias especiais de dados). Foi
implementado o direito de remoção de consentimento, o direito à negação
e o direito ao esquecimento no desenvolvimento do sistema de IA? Foram
consideradas as implicações à privacidade e à proteção de dados dos dados
coletados, produzidos ou tratados no curso do ciclo de vida do sistema de
AI? (COMISSÃO EUROPEIA, 2019, p. 12-13)27

Requisito #4: transparência

Subdivide-se em: (i) rastreabilidade; (ii) explicabilidade; (iii) comunicabilidade. Estabelece a
necessidade de se evitar a formação de “caixas-pretas” da tecnologia em todas as suas etapas, por
exemplo, desenvolvimento, treinamento, testes, uso. Visa, em última análise, responder a qualquer
questionamento sobre o seu funcionamento, inclusive para os titulares e demais interessados.
Exemplo de subquesito de (i) rastreabilidade: “Foram criadas medidas para continuamente avaliar
a qualidade dos dados de entrada no sistema de IA?” (COMISSÃO EUROPEIA, 2019, p. 14). 28
Exemplo de quesito de (ii) explicabilidade: “Foram as decisões do sistema de AI explicadas
aos usuários?” (COMISSÃO EUROPEIA, 2019, p. 15). 29

27
Tradução livre de “Did you put in place any of the following measures some of which are mandatory under the General
Data Protection Regulation (GDPR), or a non-European equivalent? Data Protection Impact Assessment (DPIA); Designate a
Data Protection Officer (DPO) and include them at an early state in the development, procurement or use phase of the AI
system; Oversight mechanisms for data processing (including limiting access to qualified personnel, mechanisms for
logging data access and making modifications); Measures to achieve privacy-by-design and default (e.g. encryption,
pseudonymisation, aggregation, anonymisation); Data minimisation, in particular personal data (including special
categories of data); Did you implement the right to withdraw consent, the right to object and the right to be forgotten into
the development of the AI system? Did you consider the privacy and data protection implications of data collected,
generated or processed over the course of the AI system's life cycle?”.
28
Tradução livre de “Did you put in place measures to continuously assess the quality of the input data to the AI system?”.
29
Tradução livre de “Did you explain the decision(s) of the AI system to the users?”.

26
 Exemplo de quesito de (iii) comunicabilidade: “Em casos de sistemas de IA interativos (e.g.,
chatbots, robô-lawyers), os usuários foram comunicados que eles estão interagindo com um sistema
de IA ao invés de um humano?” (COMISSÃO EUROPEIA, 2019, p. 15).30

Requisito #5: diversidade, não discriminação e equidade

Subdivide-se em (i) evitabilidade de viés injusto; (ii) acessibilidade e design universal; (iii)
participação de pessoas interessadas (stakeholders). Considera a realidade da diversidade e da
pluralidade de indivíduos e grupos, tanto em relação aos dados de treinamento, que carregam vieses,
quanto ao universo de usuários, que possuem habilidades e condições diferentes.
Exemplo de quesito e subquesitos de (i) evitabilidade de viés injusto:

Foi considerada a diversidade e representatividade de usuários finais e/ou

de indivíduos nos dados? Houve teste para grupos-alvo específicos ou para
casos de uso problemático? Houve pesquisa e uso de ferramentas técnicas
publicamente disponíveis, reputadas o estado da arte, para melhorar sua
compreensão sobre os dados, o modelo e o desempenho? Houve avaliação
e implantação de processos de teste e monitoramento para vieses potenciais
em todo o ciclo de vida do sistema de IA (e.g. vieses em razão de possíveis
limitações decorrentes da composição dos datasets utilizados (falta de
diversidade, não representatividade)? Onde relevante, houve consideração
de diversidade e representatividade de usuários finais e/ou de indivíduos
nos dados? (COMISSÃO EUROPEIA, 2019, p. 16). 31

30
Tradução livre de “In cases of interactive AI systems (e.g., chatbots, robo-lawyers), do you communicate to users that they
are interacting with an AI system instead of a human?”.
31
Tradução livre de “Did you consider diversity and representativeness of end-users and/or subjects in the data? Did you
test for specific target groups or problematic use cases? Did you research and use publicly available technical tools, that
are state-of-the-art, to improve your understanding of the data, model and performance? Did you assess and put in place
processes to test and monitor for potential biases during the entire lifecycle of the AI system (e.g. biases due to possible
limitations stemming from the composition of the used data sets (lack of diversity, non-representativeness)? Where
relevant, did you consider diversity and representativeness of end-users and or subjects in the data?”.

27
 Exemplo de quesito e subquesitos de (ii) acessibilidade e design universal:

Houve avaliação de a interface do usuário ser utilizável por aqueles com

necessidades especiais ou deficiência ou aqueles com risco de exclusão? Foi
assegurado que informação sobre o sistema de AI e de sua interface de
usuário é acessível e utilizável também por usuários de tecnologias de
acessibilidade (como os assistentes de leitura de tela)? Houve envolvimento
ou consulta aos usuários finais ou indivíduos que necessitam tecnologia de
acessibilidade durante as fases de planejamento e desenvolvimento do
sistema de AI? (COMISSÃO EUROPEIA, 2019, p. 17). 32

Quesito de (iii) participação dos interessados: “Foi considerado um mecanismo para incluir
a participação de maior gama possível de interessados [stakeholders] no design e desenvolvimento do
sistema de AI?” (COMISSÃO EUROPEIA, 2019, p. 18). 33

Requisito #6: bem-estar societal e ambiental

Subdivide-se em (i) bem-estar ambiental; (ii) impacto no trabalho e nas habilidades; (iii)
impacto na sociedade em geral ou na democracia. Considera que a IA deva ser ambiental e
socialmente sustentável, evitando a degradação dos meios ambientes: natural, artificial, educacional,
trabalhista, etc. e da sociedade como um todo, principalmente da desigualdade e da democracia.
Exemplo de quesito e subquesito de (i) bem-estar ambiental:

Onde possível, foram estabelecidos mecanismos para avaliação do impacto

do desenvolvimento, implantação e/ou uso do sistema de IA (por exemplo,
a quantidade de energia utilizada e de emissões de carbono)? Houve
definição de medidas de redução do impacto ambiental do sistema de IA
ao longo do seu ciclo de vida? (COMISSÃO EUROPEIA, 2019, p. 19).34

32
Tradução livre de “Did you assess whether the AI system's user interface is usable by those with special needs or
disabilities or those at risk of exclusion? Did you ensure that information about, and the AI system's user interface of, the
AI system is accessible and usable also to users of assistive technologies (such as screen readers)? Did you involve or consult
with end-users or subjects in need for assistive technology during the planning and development phase of the AI system?”.
33
Tradução livre de “Did you consider a mechanism to include the participation of the widest range of possible stakeholders
in the AI system’s design and development?”.
34
Tradução livre de “Where possible, did you establish mechanisms to evaluate the environmental impact of the AI system’s
development, deployment and/or use (for example, the amount of energy used and carbon emissions)? Did you define
measures to reduce the environmental impact of the AI system throughout its lifecycle?”.

28
 Exemplo de quesito e subquesito de (ii) impacto no trabalho e nas habilidades: “Poderia o
sistema de IA criar riscos de desqualificar a mão de obra? Foram tomadas medidas de compensação
ao risco de desqualificação?” (COMISSÃO EUROPEIA, 2019, p. 20).35
Quesito e subquesitos de (iii) impacto na sociedade em geral ou na democracia:

Pode o sistema de IA ter um impacto negativo na sociedade como um todo

ou na democracia? Foi avaliado o impacto social do uso do sistema de IA
além do usuário (final) e indivíduo, tal como afetar potencial e
indiretamente os interessados [stakeholders] ou a sociedade como um todo?
(COMISSÃO EUROPEIA, 2019, p. 20)36

Requisito #7: responsabilização

Subdivide-se em (i) auditabilidade; (ii) gestão de risco. Considera a necessidade de atribuição
de responsabilidade – jurídica – em todas as etapas do ciclo de vida do sistema, permitindo a sua
avaliação por terceiros.
Exemplo de quesito de (i) auditabilidade: “Foi assegurado que terceiros possam auditar o
sistema de AI?” (COMISSÃO EUROPEIA, 2019, p. 21). 37
Exemplo de quesito de (ii) gestão de risco: “Foi considerado o estabelecimento de um órgão
de revisão ética ou de mecanismo similar para discutir a responsabilidade geral e práticas éticas,
incluindo áreas potencialmente incertas?” (COMISSÃO EUROPEIA, 2019, p. 22).38

35
Tradução livre de “Could the AI system create the risk of de-skilling of the workforce? Did you take measures to counteract
de-skilling risks?”.
36
Tradução livre de “Could the AI system have a negative impact on society at large or democracy? Did you assess the
societal impact of the AI system’s use beyond the (end-)user and subject, such as potentially indirectly affected stakeholders
or society at large? Did you take action to minimize potential societal harm of the AI system? Did you take measures that
ensure that the AI system does not negatively impact democracy?”.
37
Tradução livre de “Did you ensure that the AI system can be audited by independent third parties?”.
38
Tradução livre de “Did you consider establishing an AI ethics review board or a similar mechanism to discuss the overall
accountability and ethics practices, including potential unclear grey areas?”.

29
Estrutura e instrumentos de governança digital

Noções gerais de governança

Seja para lidar com as questões digitais, seja para as demais questões, um modelo de
governança é a forma mais estruturada possível de uma organização, mas o que é governança e por
que ela é importante em uma organização?
Não há uma definição única governança, sendo a sua origem a característica mais objetiva
para entendê-la. Para organizações da atualidade, no entanto, essa origem é pouco esclarecedora.
Nesse sentido, ao invés de uma definição não exaustiva e potencialmente confusa, optamos por uma
analogia pertinente: governança como uma ordem jurídica da organização (FEFERBAUM, 2018).
Nesse sentido, “é útil pensar na governança como uma espécie de rule of law da organização”
(FEFERBAUM, 2018).
Talvez o termo rule of law não seja tão esclarecedor fora do direito e da ciência política, mas
A sua ideia é relativamente simples e facilmente assimilável. Ao pé da letra, significa império da lei
ou governo da lei, traduções que exprimem relativamente bem a sua essência. Em português
(jurídico) – estado de direito – é menos evidente, ainda que intercambiável.
Na sua tradução literal, rule of law exprime a ideia de existência de uma ordenação jurídica
da unidade política (por exemplo, tudo o que for análogo ao Estado nacional), pela qual tudo e
todos se submetem, antes de tudo, ao direito. Nos reinos, impérios e outras formas de organização
política da Antiguidade e da Idade Média, o governante era a lei. O seu poder não se submetia a
nenhum outro. Não havia, então, a rule of law, já que toda disposição normativa podia ser alterada
por determinação de quem governava.
Com a limitação do poder real em relação à nobreza pela Magna Carta, surge uma forma
primitiva do constitucionalismo moderno, no qual a ordem política se torna regulada pelo direito.
O documento oferecia garantias à nobreza, impedido ao rei agir de maneira a praticar atos
arbitrários, por exemplo, assegurando o devido processo legal.
A tripartição dos poderes teorizada por Montesquieu séculos mais tarde introduziu a ideia de
freios e contrapesos, pelo qual o direito se separou definitivamente da política, criando um sistema
de legitimação dos atos de poder. Como resultado, emergiram organizações políticas mais estáveis
do ponto de vista estrutural, permitindo o surgimento de instituições duradouras – como os Estados
nacionais – e o surgimento da democracia moderna. Se o rule of law nasce com o
constitucionalismo, ele chega à maturidade com a tripartição de poderes.

30
 Em uma analogia rápida, a governança pode ser entendida como uma estruturação jurídico-
política de uma organização, com mecanismos de controle do poder dos administradores perante
os interessados (stakeholders), estabelecendo uma espécie de ordem jurídica própria (da
organização), sendo o seu direito positivo (isto é, as disposições estabelecidas em documentos
normativos da organização) tudo aquilo compreendido na região de governança do mapa normativo
da organização, tal qual no diagrama de Venn do mapa no normativo da governança digital
formulado por Floridi (2018), mas sem se restringir ao digital, compreendendo, portanto, também
as normas do “não digital”.
Tal qual uma ordem jurídica – e, portanto, ao rule of law –, a governança não se limita ao
seu direito interno, isto é, às disposições normativas, como regras, protocolos, políticas e princípios.
Em outras palavras, governança não é sinônimo de repertório normativo, assim como o rule of law
não é sinônimo de direito positivo. Em ambos os casos, os textos normativos são parte da sua
composição, não correspondendo à sua totalidade.
Para funcionar, isto é, para que o direito seja aplicado, tanto a governança quanto a rule of law
dependem de mecanismos de fiscalização, jurisdição – leia-se, julgamento ou consultoria de
conformidade jurídica –, além de um organograma com competências definidas para produzir e
executar regras, ordens, etc. A implantação de um modelo de governança depende, sobretudo, de uma
estrutura dedicada a funções especializadas de controle jurídico, além de mecanismos para provocá-lo
por outros pontos da organização. Um departamento de compliance, por exemplo, seria algo similar a
um Judiciário, sendo as suas rotinas de avaliação de conformidade algo análogo aos processos judiciais.
É evidente que estruturas de governança importam em custos para a organização, inclusive
de tempo, encarecendo as rotinas de trabalho e a administração como um todo, sendo mais usual
em grandes estruturas, cujo custo é diluído, trazendo, inclusive, ganhos indiretos, por exemplo, ao
evitar riscos desnecessários apontados pelo compliance.
Dito de outra maneira, nem toda organização requer ou se beneficia de uma estrutura de
governança, a qual não faz qualquer sentido em pequenos negócios, como os familiares, com pequena
equipe e estrutura hierárquica diminuta com pouco especialização de funções, como a frequente
concentração das contas e do direito na figura do contador contratado como prestador de serviços.
Do lado oposto, há casos em que a governança é obrigatória. Em sociedades anônimas, por
exemplo, a emissão de ações, a transparência administrativa, a prestação de contas dos resultados
do período, o pagamento de dividendos, a responsabilidade dos administradores, a assembleia de
cotistas, etc. são mecanismos de controle da organização exigidos por lei.
Entre a total desnecessidade e a completa obrigatoriedade, há um grande espaço para
estabelecer normas e mecanismos de controle, a depender da sua utilidade. Seja obrigatório, seja
facultativo, esses mecanismos de controle são, em última análise, instrumentos de ordenação da
gestão, que é o equivalente à ordenação do poder/política do rule of law. Em uma organização
complexa com muitos atores, uma ordenação superior simplifica a gestão, já que conforma a ação
de administradores e demais agentes.

31
Aspectos específicos da governança digital
É tentador pensar na governança digital como uma mera extensão da governança como um
todo, como uma parcela sua, naturalmente acomodada na estrutura existente, correlacionada,
portanto, ao porte da instituição e ao tipo societário. Se em uma sociedade digital, o digital é uma
nova dimensão espacial da sociedade, não seria o digital (apenas) uma parte indissociável da
governança? Em outras palavras, não seria a governança digital a parcela da governança que alcança
a dimensão digital do espaço?
Não é difícil perceber que a governança atual já cuida habitualmente do digital, a começar
pelos seus ativos digitais e pela infraestrutura de TI ao estabelecer, por exemplo, políticas de
segurança, rotinas de manutenção e atualização, etc., antes mesmo do surgimento da sociedade
digital. Diga-se, também, regras de uso de e-mail e outras tecnologias de comunicação, limitação
de acesso a Web no local de trabalho entre outros. Em razão da covid-19 como emergência mundial
de saúde pública e das medidas sanitárias de distanciamento social, o crescimento teletrabalho e do
uso de plataformas on-line, como armazenamento em nuvem, que podem envolver regras de
segurança e confidencialidade. Nada disso se apresenta como grande desafio para governança.
A ocupação do espaço digital começa a mudar esse cenário. As organizações passam a coletar
dados comportamentais de clientes e “transeuntes” nas interações no espaço digital, até mesmo sem
propósito específico e sem determinação gerencial nesse sentido. Trabalhadores se tornam
monitoráveis fora do horário de trabalho nos seus movimentos nas redes sociais. A postura on-line
das organizações passa a ser patrulhadas por todos. Pelo menos nos primeiros momentos, a
governança tradicional sequer considera o espaço digital e as suas consequências.
Com o amadurecimento dos debates sociais, surge a regulação da proteção de dados, obrigando
a implantação de componentes de governança para tutelar o direito dos titulares. A exigência da
LGPD quanto à nomeação de um encarregado de dados da organização vai nesse sentido.
Ao mesmo tempo, começava a primavera da IA, fomentada pela crescente potência
computacional, facilidade de acesso a dados e popularização dos algoritmos. As limitações éticas da
tecnologia já apareciam na personalização de resultados, como os vieses raciais dos buscadores de
conteúdo. Muitos casos se seguiram, exigindo novas abordagens.
A governança digital chega como uma resposta necessária aos desafios do espaço digital,
descolando-se da governança tradicional: se a governança tradicional se volta aos interesses da
organização e do capital em função da responsabilização da pessoa de gestores quanto ao risco que
oferece ao capital, a governança digital se abre para os interesses da sociedade e do planeta para
responsabilização da organização enquanto unidade quanto ao risco que oferece ao público. Nesse
sentido, os mecanismos tradicionais não são suficientes.

32
Ética na governança digital
Em grande parte, tanto o risco de aplicações de IA quanto o de interação social no ambiente
digital – como a violência de gênero agregadamente danosa – decorrem de vieses culturais, ou seja,
do comportamento humano, exatamente o que a ética se presta a enfrentar, como já discutido ao
longo da unidade quatro deste curso.
No caso da IA, eles aparecem nos dados, em forma de padrões assimiláveis pelo aprendizado de
máquina, com reflexos no modelo de aplicação. No caso do ambiente digital, eles aparecem pela
amplificação desses comportamentos, seja no alcance espaço-temporal, seja no agregado.
Há outros, como os danos decorrentes de problemas mal formulados, cuja solução da
máquina diverge do intuito do desenvolvedor. Um exemplo curioso é o caso Amanda Lewis na
plataforma de relacionamento Coffee Meets Bagel.

Coffee Meets Bagel permitia a seus usuários especificar preferências raciais,

religiosas, entre outras, para seus encontros, o qual o algoritmo procuraria
obedecer nas suas sugestões diárias. Lewis relatou como após não ter
especificado nenhuma preferência racial (ou, mais precisamente,
indicando que ela estava aberta a se encontrar com usuários de qualquer
dos grupos raciais elencados), ela começou a receber sugestões
exclusivamente de homens asiáticos. O problema era que se houvesse um
desequilíbrio ainda que leve no número de mulheres abertas a encontros
com homens asiáticos e no número de homens asiáticos, haveria um
excesso de homens asiáticos na população de candidatos do aplicativo das
usuárias (KEARNS; ROTJ, 2019). 39

Para contornar a situação, a única opção de Lewis era excluir das suas preferências encontros
com homens asiáticos, amplificando o desequilíbrio, em prejuízo desse grupo de homens e das
mulheres abertas a eles, “encorajadas” a aplicar a mesma restrição.
Sem um controle, ocorrências do tipo tendem a crescer na mesma proporção da aplicação
de tecnologias afins. As matrizes de risco para autoavaliação ética em IA, como a Fria/Altai,
servem exatamente a isso. O desafio é torná-las parte do ciclo de vida dos sistemas adotados e
garantir a sua imparcialidade. Quer dizer, a adoção de avaliação ética de tecnologias digitais parte
da criação de mecanismos imunes aos interesses da organização, não bastando, portanto, constar
na estrutura de governança.

39
Tradução livre de “Lewis described how after not specifying any racial preferences (or, more precisely, indicating that she
was willing to be matched with people from any of the site’s listed racial groups), she began to receive daily matches
exclusively with Asian men. The problem was that if there were even a slight imbalance in the number of women who
accept matches with Asian men, and the number of Asian men, there would be an oversupply of Asian men in the app’s
user population”.

33
 Soluções nesse sentido já existem na área da saúde para dar efetividade aos princípios da bioética,
particularmente na área médica, orientada pela Declaração de Helsinque. Como as iniciativas de
diretrizes ética para IA se aproximam dos princípio da bioética, tal qual constatado por Floridi e Cowls
(2019) e reproduzido na sua Estrutura Unificada de Cinco Princípios Éticos, parece pertinente adotar
os seus modelos de controle ético, já bastante aprimorados ao longo de décadas de aplicação.
Ainda que varie conforme o país, o modelo vigente de controle ético em saúde se baseia em
comitês éticos imparciais. Eles podem pertencer a organização usuária, pertencer a organização
credenciada, ser uma organização credenciada da iniciativa privada ou ser uma organização de direito
público. Há casos em que a avaliação por comitê é obrigatória, e casos em que é facultativa. A opção
por uma implementação ou outra depende em grande parte da regulação da área médica do país.
Também há uma distinção entre avaliação de prática médica, como tratamentos e intervenções,
e pesquisa médica com seres humanos. A própria Declaração de Helsinque faz tal distinção, a qual
servia inclusive como divisão primária dos artigos, isto é, das suas seções, das sete primeiras revisões,
ou seja, até a revisão de 2008. Na revisão de 2013, a declaração recebeu uma nova divisão primária,
com seções mais específicas, algumas destinadas especificamente à pesquisa médica.
A distinção entre pesquisa e clínica é pertinente, pois não diz respeito somente à medicina.
Pesquisas com seres humanos ocorrem em diversas áreas do conhecimento, que reconhecem com
frequência a necessidade de avaliação ética da metodologia. Na área das ciências sociais, por
exemplo, há instituições que exigem avaliação ética quanto à aplicação de questionários, realização
de entrevistas, etc.
Estender essa lógica para a manipulação de dados para aplicações de IA é um passo bastante
natural. Se há exigência de avaliação ética na coleta de dados pessoais, também deve-se fazê-lo em
relação às suas manipulações, principalmente as destinadas a treinamento de modelos de IA. E se
há exigência nesse sentido na pesquisa acadêmica, que se submete a condições menos rígidas de
privacidade, é de se inferir que pesquisas e aplicações não acadêmicas de IA também devam
submeter-se a avaliação ética, inclusive com mais rigor e exigência, mas por que e como fazê-lo?
O motivo de se proceder com avaliação ética por comitês vai além de uma preocupação
ideológica em construir um futuro mais seguro, compreendendo, antes de tudo, uma maneira de
resguardar a organização dos riscos econômicos associados aos riscos públicos, que podem voltar-se
à organização por meio da responsabilização. Ao minimizar o risco público, a avaliação ética de um
sistema de IA previne os danos potenciais desse sistema, reduzindo a chance de responsabilização
civil em ações de reparação de danos.
Já, no que concerne a sua implantação de um modelo de governança digital, há um guia
específico elaborado pela Accenture (2019). A implantação deste comitê deve definir os seguintes
aspectos nesta ordem: (i) função organizacional; (ii) conteúdo ético; (iii) composição; (iv) hierarquia
e competência; (v) procedimento e governança.

34
 Definir a função do comitê dentro da organização (i) é primordial. É preciso definir se ele
terá função normativa, ou seja, de definir as diretrizes que outras estruturas devem seguir; se terá
função consultiva, que responderá a questionamentos de outras estruturas; se terá função
deliberativa, que decidirá as questões a ele levadas ou se será um órgão de controle ou auditoria,
pelo qual as questões serão passadas a ele e ele dará a palavra final. Ele pode ter uma ou mais funções,
a depender da realidade da organização.
Posteriormente, é necessário pensar no conteúdo ético (ii) do comitê. É preciso montar uma
base de conhecimento ético o que diz respeito aos valores básicos a serem seguidos; princípios
norteadores; casos e precedentes; também saber o que é necessário na prática para dar concretude
aos valores e aos princípios elencados. Os valores a serem seguidos dizem respeito ao bem jurídico
principal que o comitê protegerá. Se o bem jurídico for a condição de agente do sujeito atingido
pela IA, o valor básico é o exercício da autonomia; se o bem jurídico for a dignidade, o valor básico
é evitar discriminação, e assim por diante. Para dar concretude a esses princípios e bens há
ferramentas. Para dar concretude à autonomia, por exemplo, há a aplicação do consentimento
informado, que diz respeito ao direito à explicação, ferramentas que sejam informativas ao usuário
e que apresente os critérios que fundamentam uma decisão tomada pela IA.
A composição (iii) do comitê precisa estar de acordo com a realidade da organização,
principalmente em relação à atividade desenvolvida e ao seu tamanho. A depender do tamanho da
organização, é possível ter vários comitês. Uma estrutura mínima é que o comitê tenha pessoas da área
técnica, ou seja, da ciência de dados, que construa ou entenda da construção de IA; pessoas da área da
ética – se for uma organização da área de saúde, podem ser pessoas da bioética, por exemplo –; pessoas
da área jurídica; pessoas da prática, ou seja, que utilizam aquela determinada IA no dia a dia – se for
uma IA voltada para hospitais, é preciso que tenha profissionais da saúde no comitê – e representantes
dos destinatários da IA – ainda no exemplo de uma IA usada em hospitais, pacientes – ou advogados
ou pessoa jurídica que os represente. A depender do tamanho da organização, a mesma pessoa pode ter
duas especializações ou pertencer a dois segmentos, sem que haja conflito de interesses.
A hierarquia e competência (iv) do comitê diz respeito ao poder que este comitê terá na
organização, qual a sua posição no organograma. É preciso definir também o seu objeto/escopo de
atuação, bem como a fase ou o momento de atuação. É preciso também definir se ele será um canal
de consulta e quais agentes terão a possibilidade de levar questões a ele, ou seja, quem terá a
“capacidade postulatória” de levar questões a ele. Isso está ligado à função do comitê na organização,
a hierarquia e competência do comitê deve estar de acordo com sua função.
Por fim, em relação ao procedimento e governança (v) é preciso definir o regimento interno do
comitê e as suas normas adjetivas, ou seja, o seu organograma, quais cadeiras terão e a competência dos
membros, quais os colegiados, prazos, entre outras definições; o rito, se será sumário/simplificado ou se
ordinário/completo e tudo isso deve adequar-se à dinâmica da atividade desenvolvida pela organização.
O tempo de resposta que o comitê deverá dar às suas consultas também deve ser definido, e isso deve,
necessariamente, estar de acordo com a dinâmica da organização.

35
 Seguindo esses passos é possível ter um comitê de ética em IA. Entendemos que a implantação
desse comitê faz parte do desenvolvimento do human rights by design, ou seja, de pensar em direitos
humanos não pelo aspecto da sua violação, mas pensar preventivamente e integrá-los no
desenvolvimento de organizações.
Comparando a origem dos comitês de ética em IA com os comitês de ética em pesquisa com
seres humanos ou com animais – caso haja o desenvolvimento de pesquisa desse tipo pela
organização é obrigação legal ter comitê de ética neste sentido –, os comitês de ética em pesquisa
surgiram devido a reiteradas práticas antiéticas identificadas em pesquisas.
Atualmente, algumas organizações já foram acionadas, inclusive judicialmente, por usuários
ou representantes, por tratar os seus dados de maneira indevida e antiética. Será que as organizações
precisam esperar que problemas aconteçam para a partir daí atuar? Entendemos que não, que é
razoável supor algum controle do gênero para o tratamento de dados pessoais no futuro,
particularmente no que concerne à IA. Como mencionado, a criação do comitê, que hoje seria uma
estratégia de negócio, amanhã pode ser uma necessidade legal. Antecipar essa necessidade mostra
que a organização respeita os direitos humanos e merece a confiança do público.

36
REFERÊNCIAS BIBLIOGRÁFICAS
ACCENTURE; NORTHEASTERN UNIVERSITY ETHICS INSTITUTE. Building data and AI
ethics committees. 2019. Disponível em: https://www.accenture.com/_acnmedia/PDF-107/Accenture-
AI-And-Data-Ethics-Committee-Report-11.pdf#zoom=50. Acesso em: 18 maio 22.

ALEXY, Robert. Teoria da argumentação jurídica. Tradução: Zilda Hutchinson Schild Silva. São
Paulo: Landy, 2001.

ALEXY, Robert. The construction of constitutional rights. Revue française de droit constitutionnel,
v. 91, n. 3, 2012.

ALEXY, Robert. Constitutional rights and proportionality. Revus. Journal for Constitutional Theory
and Philosophy of Law/Revija za ustavno teorijo in filozofijo prava, n. 22, p. 51-65, 2014.
Disponível em: https://journals.openedition.org/revus/2783. Acesso em: 31 jan. 2023.

ALVES, Paulo. Facebook e Cambridge Analytica: sete fatos que você precisa saber. Tech Tudo, 24
mar. 2018. Disponível em: https://www.techtudo.com.br/noticias/2018/03/facebook-e-
cambridge-analytica-sete-fatos-que-voce-precisa-saber.ghtml. Acesso em: 31 jan. 2023.

ANDREWMOWBRAY. Constitution Act, s44 consultation: version 24. Portal AustLII Communities,
2021. Disponível em: https://austlii.community/foswiki/DataLex/ElectKB. Acesso em: 31 jan. 2023.

ARAÚJO, Peu. Escalada e pixo na madrugada de São Paulo: uma noite com Eneri. TAB Uol, 12
fev. 2021. Disponível em: https://tab.uol.com.br/noticias/redacao/2021/02/12/escalada-e-pixo-
na-madrugada-de-sao-paulo-uma-noite-com-eneri.htm. Acesso em: 31 jan. 2023.

ASSOCIAÇÃO BRASILEIRA DE JURIMETRIA (ABJ). O que é jurimetria? Portal ABJ, [2010?].

Disponível em: https://abj.org.br/conteudo/jurimetria. Acesso em: 30 jun. 2022.

ASSOCIAÇÃO BRASILEIRA DE MOBILIDADE E TECNOLOGIA (Amobitec). Carta de

princípios sobre a proteção social de trabalhadores em plataformas. 27 abr. 2022. Disponível em:
https://amobitec.org/wp-content/uploads/2022/04/GT-Trab-Plataformas-Carta-de-
Principios.pdf. Acesso em: 31 jan. 2023.

37
ASSOCIAÇÃO BRASILEIRA DA PROPRIEDADE INTELECTUAL (ABPI). A inteligência
artificial e a revolução das patentes. Portal LDSoft, 10 maio 2019. Disponível em:
https://www.ldsoft.com.br/blogs/a-inteligencia-artificial-e-a-revolucao-das-patentes/#:~:text=De
%20acordo%20com%20Artigo%2010,problema%20e%20da%20solu%C3%A7%C3%A3o%20
dada. Acesso em: 30 jun. 2022.

ASSOCIAÇÃO MÉDICA MUNDIAL (WMA). Declaração de Helsinque. Fortaleza: WMA, 2013.

ASSOCIAÇÃO NACIONAL DOS PROFISSIONAIS DE PRIVACIDADE DE DADOS

(ANPPD). Portal das violações – LGPD. Portal ANPPD, 2022. Disponível em:
https://anppd.org/violacoes. Acesso em: 31 jan. 2023.

ASTUR, Diego Costa et al. Stress fractures: definition, diagnosis and treatment. Bethesda, MD:
National Library of Medicine, 2016. Disponível em: https://pubmed.ncbi.nlm.nih.gov/26962487.
Acesso em: 31 jan. 2023.

ÁVILA, Humberto. Teoria dos princípios: da definição à aplicação dos princípios jurídicos. 12. ed.
ampl. São Paulo: Malheiros, 2011.

BACHUR, João Paulo. A diferenciação funcional da religião na teoria social de Niklas Luhmann.
Revista Brasileira de Ciências Sociais [on-line], v. 26, n. 76, p. 177-190, 2011. Disponível em:
https://doi.org/10.1590/S0102-69092011000200010. Acesso em: 31 jan. 2023.

BACHUR, João Paulo. A teoria dos sistemas sociais de Niklas Luhmann. Revista da Faculdade de
Direito do Sul de Minas, Pouso Alegre, v. 36, n. 2, p. 77-94, jul./dez. 2020. Disponível em:
https://www.fdsm.edu.br/conteudo/artigos/88c1a19dc439f4ffbfd452fed29b2b4a.pdf. Acesso em:
31 jan. 2023.

BIEBER, Friedemann; MOGGIA, Jakob. Risk shifts in the gig economy: the normative case for
an insurance scheme against the effects of precarious work. Journal of Political Philosophy, v. 29, n.
3, p. 281-304, 2021.

BRANT, Leonardo. Intervenção na Bienal é caso de polícia. Cultura e Mercado, 27 out. 2008.
Disponível em: https://culturaemercado.com.br/intervencao-na-bienal-e-caso-de-policia/#:~:text=
A%20Funda%C3%A7%C3%A3o%20Bienal%20de%20S%C3%A3o%20Paulo%20e%20a,no
%20%C3%BAltimo%20domingo%2C%2026%20de%20outubro%20de%202008. Acesso em:
31 jan. 2023.

38
BOBBIO, Norberto. O positivismo jurídico: lições de filosofia do direito. São Paulo: Ícone, 2006.

BRASIL. Congresso Nacional. Projeto de Lei Federal nº 21/2020. 2020a. Estabelece fundamentos,
princípios e diretrizes para o desenvolvimento e a aplicação da inteligência artificial no Brasil; e dá
outras providências. Disponível em: https://www.camara.leg.br/propostas-legislativas/2236340.
Acesso em: 31 jan. 2023.

BRASIL. Ministério da Economia (ME). Guia para elaboração de análise de impacto regulatório
(AIR). Brasília: ME, 2021.

BRASIL. Ministério da Saúde (MS). Ecossistema FHIR. Portal Rede Nacional de Dados em Saúde
(RNDS), 2020b. Disponível em: https://rnds-guia.tst.saude.gov.br/docs/rnds/tecnologias. Acesso
em: 31 jan. 2023.

BRASIL. Ministério do Planejamento, Orçamento e Gestão (MP). Guia de Interoperabilidade:

cartilha técnica. Brasília: MP, 2015.

BREGMAN, Peter. 13 ways we justify, rationalize, or ignore negative feedback. Harvard Business
Review, 14 fev. 2019. Disponível em: https://hbr.org/2019/02/13-ways-we-justify-rationalize-or-
ignore-negative-feedback. Acesso em: 31 jan. 2023.

CANAL TECH. Waze admite falha que direcionou motoristas a avenida congestionada em São Paulo.
Canal Tech, 25 out. 2017. Disponível em: https://canaltech.com.br/apps/waze-admite-falha-que-
direcionou-motoristas-a-avenida-congestionada-em-sao-paulo-102426. Acesso em: 31 jan. 2023.

CENTRO DE DIREITO, INTERNET E SOCIEDADE (Cedis-IDP); JUSBRASIL. Painel

LGPD nos tribunais. Jusbrasil, out. 2021. Disponível em: https://www.jusbrasil.com.br/static/
pages/lgpd-nos-tribunais.html. Acesso em: 31 jan. 2023.

CHURCH, Zach. Study: false news spreads faster than the truth. MIT Management Sloan School,
8 mar. 2018. Disponível em: https://mitsloan.mit.edu/ideas-made-to-matter/study-false-news-
spreads-faster-truth#:~:text=And%20false%20news%20reached%201%2C500%20people%20
about%20six,study%20of%20the%20spread%20of%20false%20news%20online. Acesso em: 31
jan. 2023.

COLEMAN, Jules L. The practice of principle: in defense of a pragmatist approach to legal theory.
New York: Oxford University Press, 2003.

39
COMISSÃO EUROPEIA. FUTURIUM. EUROPEAN AI ALLIANCE. Altai – The Assessment
List on Trustworthy Artificial Intelligence. 2019.

CORTIZ, Diogo; BURLE, Caroline. Mapeamento de princípios de inteligência artificial. [S.l.]:

Ceweb.br, NIC.br, CGI.br, 2020. Disponível em: https://ceweb.br/publicacoes/mapeamento-de-
principios-de-inteligencia-artificial/?page=1. Acesso em: 31 jan. 2023.

CSIRO. Rule-based Reporting systems (RuleRS). Portal CSIRO Business Processes and Legal Informatics,
2020. Disponível em: https://research.csiro.au/bpli/tools/rulers. Acesso em: 31 jan. 2023.

DEVLIN, Baron Patrick. The enforcement of morals. Maccabaean lecture in jurisprudence, 1959.
Disponível em: https://psi329.cankaya.edu.tr/uploads/files/Devlin,%20The%20Enforcement%
20of%20Morals%20(1959)(1).pdf. Acesso em: 31 jan. 2023.

DIJCK, José van; POELL, Thomas; WAAL, Martijn de. The platform society: public values in a
connective world. Oxford: Oxford University Press, 2018.

DUGGAN, Maeve. Online harassment. Pew Research Center, 22 out. 2014. Disponível em:
https://www.pewresearch.org/internet/2014/10/22/online-harassment. Acesso em: 31 jan. 2023.

DWORKIN, Ronald. O império do direito. Tradução: Port. Jefferson Luiz Camargo. São Paulo:
Martins Fontes, 1999.

DIMOULIS, Dimitri. Positivismo jurídico: introdução a uma teoria do direito e defesa do

pragmatismo jurídico-político. São Paulo: Método, 2006.

DW. Dieselgate: Volkswagen to pay €830 million settlement to German consumers. 28 fev. 2020.
Disponível em: https://www.dw.com/en/dieselgate-volkswagen-to-pay-830-million-settlement-to-
german-consumers/a-52572281. Acesso em: 31 jan. 2023.

DWORKIN, Ronald. A justiça de toga. Tradução: Jefferson Luiz Camargo. São Paulo: WMF
Martins Fontes, 2010.

ENTWISTLE, Noel. Styles of learning and teaching: an integrated outline of educational psychology
for students, teachers and lecturers. London; New York: Routledge, 2012.

40
ESTADO DE MINAS. Morte de brasileiros em apartamento no Chile traz dúvidas sobre Airbnb. 23
maio 2019. Disponível em: https://www.em.com.br/app/noticia/internacional/2019/05/23/
interna_internacional,1056160/morte-de-brasileiros-em-apartamento-no-chile-traz-duvidas-sobre
-airbnb.shtml. Acesso em: 31 jan. 2023.

FEFERBAUM, Marina. O papel das comunidades econômicas na defesa dos direitos humanos. Rio de
Janeiro: Lumen Juris, 2018.

FERRAZ JUNIOR, Tercio Sampaio. Função social da dogmática jurídica. São Paulo: Atlas, 2015.

FERRAZ JUNIOR, Tercio Sampaio. Introdução ao estudo do direito: técnica, decisão, dominação.
5. ed. São Paulo: Atlas, 2007.

FLORIDI, Luciano. Soft ethics and the governance of the digital. Philos. Technol. v. 31, n. 1-8,
2018. Disponível em: https://doi.org/10.1007/s13347-018-0303-9.

FLORIDI, Luciano; COWLS, Josh. A unified framework of five principles for AI in Society. SSRN,
20 set. 2019. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3831321.
Acesso em: 31 jan. 2023.

FOLHA DE S.PAULO. Em meio ao vazio, Bienal foi alvo de críticas em 2008. 31 dez. 2008.
Disponível em: https://m.folha.uol.com.br/ilustrada/2008/12/481286-em-meio-ao-vazio-bienal-
foi-alvo-de-criticas-em-2008.shtml. Acesso em: 31 jan. 2023.

FULLER, Lon L. The morality of law: revised edition. New Haven; London: Yale University, 1969.

FUNDAÇÃO GETULIO VARGAS (FGV). Você já ouviu falar em netiqueta? Netiqueta FGV.
YouTube, 2013. Disponível em: https://www.youtube.com/watch?v=kYpANxK1BCk. Acesso em:
31 jan. 2023.

GLÖCKNER, Andreas. The irrational hungry judge effect revisited: simulations reveal that the
magnitude of the effect is overestimated. Judgment and decision making, v. 11, n. 6, p. 601-610, 2016.
Disponível em: http://journal.sjdm.org/16/16823/jdm16823.html. Acesso em: 31 jan. 2023.

GOOGLE. Relatório de transparência: cumprimento das diretrizes da comunidade do YouTube.

2022. Disponível em: https://transparencyreport.google.com/youtube-policy/removals?hl=pt_
BR&total_removed_videos=period:2021Q4;exclude_automated:all&lu=total_removed_videos.
Acesso em: 31 jan. 2023.

41
GRUPO INDEPENDENTE DE PERITOS DE ALTO NÍVEL SOBRE A INTELIGÊNCIA
ARTIFICIAL (GPAN-IA). Orientações éticas para uma IA de confiança. 2018.

GÜNTHER, Klaus. Responsabilização na sociedade civil. Tradução: Flavia Portella Püschel. In:
PUSCHEL, Flávia P.; MACHADO, Marta Rodriguez de A. Teoria da responsabilidade no Estado
democrático de direito: textos de Klaus Günther (Série direito em debate. Direito desenvolvimento
justiça). São Paulo: Saraiva, 2009.

HALPIN, A. The methodology of jurisprudence: thirty years off the point. Canadian Journal of
Law and Jurisprudence, v. XIX, n. 1, p. 67-105, jan. 2006.

HART, H. L. A. Social solidarity and the enforcement of morality. In: HART, H. L. A. Essays in
jurisprudence and philosophy. New York: Clarendon; Oxford, 1983.

HART, H. L. A. O conceito de direito. Tradução: Antônio de Oliveira Sette-Câmara. São Paulo:

WMF Martins Fontes, 2009.

HARTMANN, Philipp Max; ZAKI, Mohamed; FELDMANN, Niels; NEELY, Andy. Capturing
value from big data: a taxonomy of data-driven business models used by start-up firms. International
Journal of Operations & Production Management, v. 36, n. 10, 2016, p. 1382-1406. Disponível em:
https://bit.ly/3Dh3mpo. Acesso em: 31 jan. 2023.

HOLMES JR., Oliver Wendell. The path of the law. Harvard Law Review, v. 10, n. 457, 1897, p.
3. Disponível em: http://moglen.law.columbia.edu/LCS/palaw.pdf. Acesso em: 31 jan. 2023.

INSTITUTO DE REFERÊNCIA EM INTERNET E SOCIEDADE (Iris-BH). Linha do tempo.

Portal Bloqueios.info, 2022. Disponível em: https://bloqueios.info/pt/linha-do-tempo. Acesso em:
31 jan. 2023.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO);

INTERNATIONAL ELECTROTECHNICAL COMMISSION (IEC). Guide 2:2004.
Standardization and related activities: general vocabulary. Geneve: ISO/IEC, 2004.

ISAAK, J.; HANNA, M. J. User data privacy: Facebook, Cambridge Analytica, and Privacy
Protection. Computer, v. 51, n. 8, p. 56-59, August 2018. Disponível em:
https://ieeexplore.ieee.org/abstract/document/8436400. Acesso em: 31 jan. 2023.

42
JOBIN, Anna; IENCA, Marcello; VAYENA, Effy. The global landscape of AI ethics guidelines.
Nature Machine Intelligence, v. 1, n. 9, p. 389-399, 2019.

KEARNS, Michael; ROTJ, Aaron. The ethical algorithm: the science of socially aware algorithm
design. New York: Oxford University, 2019.

KELSEN, H. O que é justiça? A justiça, o direito e a política no espelho da ciência. São Paulo:
Martins Fontes, 2001, p. 251-260 [Por que a lei deve ser obedecida?].

KER, João. Dark kitchens se espalham em São Paulo e perturbam vizinhos. Portal UOL, 2 maio
2022. Disponível em: https://noticias.uol.com.br/ultimas-noticias/agencia-estado/2022/05/02/
dark-kitchens-se-espalham-em-sao-paulo-e-perturbam-vizinhos.htm. Acesso em: 31 jan. 2023.

LANEY, Douglas B. Infonomics: how to monetize, manage, and measure information as an asset
for competitive advantage. New York: Taylor & Francis, 2018, p. 87.

LEEK, Jeff. The elements of data analytic style: a guide for people who want to analyze data. [S.l.]:
Leanpub, 2015.

LEMOS, Vinícius. 'Já acabou, Jéssica?': jovem abandonou estudo e caiu em depressão após virar
meme. BBC News Brasil, 1º set. 2021. Disponível em: https://www.bbc.com/portuguese/brasil-
58351743#:~:text=Se%20eu%20parar%20pra%20pensar,Lara%20%C3%A0%20BBC%20New
s%20Brasil.&text=Ap%C3%B3s%20a%20repercuss%C3%A3o%2C%20ela%20se,e%20come%
C3%A7ou%20um%20tratamento%20psiqui%C3%A1trico. Acesso em: 31 jan. 2023.

LESSIG, Lawrence. Code: version 2.0. New York: Basic Books, 2006. Disponível em:
https://aberta.org.br/portfolio/code-2-0. Acesso em: 31 jan. 2023.

LOUCAIDES, Darren. Por dentro do Telegram. Tradução: Rogerio Galindo. Revista Piauí, 188,
maio 2022. Disponível em: https://piaui.folha.uol.com.br/materia/por-dentro-do-telegram. Acesso
em: 31 jan. 2023.

LUHMANN, Niklas. O direito da sociedade. Tradução: Saulo Krieger. São Paulo: Martins Fontes,
2016. Disponível em: https://edisciplinas.usp.br/pluginfile.php/6680487/mod_resource/content/
1/O%20direito%20da%20sociedade.pdf. Acesso em: 31 jan. 2023.

43
MARSHALL. Nuremberg Code: directives for human experimentation. s.d. Disponível em:
https://www.marshall.edu/ori/nuremberg-code-directives-for-human-experimentation. Acesso em:
31 jan. 2023.

MARMOR, Andrei. Deep conventions. Philosophy and Phenomenological Research, v. 74, n. 3, p.

586-610, 2007.

McCORMICK, Thomas R. Principles of bioethics. Disponível em: https://depts.washington.edu/

bhdept/ethics-medicine/bioethics-topics/articles/principles-bioethics. Acesso em: 31 jan. 2023.

MENDES, Laura Schertel; MATTIUZZO, Marcela. Discriminação algorítmica: conceito,

fundamento legal e tipologia. Direito Público, v. 16, n. 90, dez. 2019.

MEU LUGAR. Quinto Andar é destaque na Forbes como uma das 10 empresas mais inovadoras do
Brasil. 21 nov. 2019. Disponível em: https://meulugar.quintoandar.com.br/numeros-do-
quintoandar-10-empresas-mais-inovadoras-segundo-a-forbes. Acesso em: 31 jan. 2023.

MONTE, Fernando Barrientos del. Direitos digitais devem ser concebidos a partir dos princípios
da liberdade. Folha de S.Paulo, 4 mar. 2021. Disponível em: https://www1.folha.uol.com.br/
colunas/latinoamerica21/2021/03/direitos-digitais-devem-ser-concebidos-a-partir-dos-principios-
da-liberdade.shtml. Acesso em: 31 jan. 2023.

MORRIS, Jason. Blawx: rules as code demonstration. Portal Computational Law – MIT, 14 ago.
2020. Disponível em: https://law.mit.edu/pub/blawxrulesascodedemonstration/release/1. Acesso
em: 31 jan. 2023.

NEVES, Lucas; MARTÍ, Silas. Artistas criticam prisão da pichadora da Bienal. Folha de S.Paulo,
13 dez. 2008. Disponível em: https://www1.folha.uol.com.br/ilustrada/2008/12/478818-artistas-
criticam-prisao-da-pichadora-da-bienal.shtml. Acesso em: 31 jan. 2023.

NEW ZEALAND GOVERNMENT. Digital.govt.nz. Better Rules for Government Discovery

Report – versão de 8 fev. 2022. Portal Digital.govt.nz, 2018. Disponível em:
https://www.digital.govt.nz/dmsdocument/95-better-rules-for-government-discovery-report/html.
Acesso em: 31 jan. 2023.

O DILEMA DAS REDES. Direção: Jeff Orlowski. Netflix. 2020. 1h34min. Disponível em:
https://www.netflix.com/br/title/81254224. Acesso em: 31 jan. 2023.

44
O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e
ameaça a democracia. Tradução: Rafael Abraham. Santo André, SP: Rua do Sabão, 2020.

PAGLIARI, Claudia. Digital health and primary care: Past, pandemic and prospects. Journal of
Global Health, 11, 2021. Disponível em: https://jogh.org/digital-health-and-primary-care-past-
pandemic-and-prospects. Acesso em: 31 jan. 2023.

PELLEGRINO, Edmund D. The origins and evolution of bioethics: some personal reflections.
Kennedy Institute of Ethics Journal, v. 9, n. 1, 1999.

PERELMAN, Chaïm. Tratado da argumentação: nova retórica. Tradução: Maria Ermantina de

Almeida Prado Galvão. 2. ed. São Paulo: Martins Fontes, 2005.

PEW RESEARCH CENTER. Young women experience particularly severe forms of online harassment.
21 out. 2014. Disponível em: https://www.pewresearch.org/internet/2014/10/22/online-
harassment/pi_2014-10-22__online-harassment-02. Acesso em: 31 jan. 2023.

PINTO, Álvaro Vieira. O conceito de tecnologia. Rio de Janeiro: Contraponto, 2015. v. 1.

QUINTO ANDAR. Avaliação de crédito e análise de documentação. Portal Quinto Andar,

[2020?]. Disponível em: https://help.quintoandar.com.br/hc/pt-br/sections/360003551492-
Avalia%C3%A7%C3%A3o-de-Cr%C3%A9dito-e-An%C3%A1lise-de-Documenta%C3%A7%
C3%A3o. Acesso em: 31 jan. 2023.

RAWLS, John. O liberalismo político. Tradução: Dinah de Abreu Azevedo. 2. ed. 2. reimp. São
Paulo: Ática, 2000.

RAZ, Joseph. The authority of law: essays on law and morality. New York: Oxford University Press,
1979, p. 3-27.

RAZ, Joseph. Razão prática e normas. Tradução: José Garcez Ghirardi. Rio de Janeiro: Elsevier, 2010.

RAZ, Joseph. The law's own virtue. Columbia public law research paper nº 14-609, Oxford legal
studies research paper nº 10/2019, King's College London Law School. Research paper nº 2019-
17, 2018. Disponível em: https://ssrn.com/abstract=3262030. Acesso em: 31 jan. 2023.

45
RIBEIRO, Caio Gentil. O direito como parte da moralidade e o fim da teoria do direito. Revista de
Informação Legislativa, Brasília, v. 57, n. 228, p. 59-76, out./dez. 2020. Disponível em:
https://www12.senado.leg.br/ril/edicoes/57/228/ril_v57_n228_p59.pdf. Acesso em: 31 jan. 2023.

RUCHERT, Cassius. Mecânica da fratura e fadiga dos materiais. São Carlos, SP: USP, 2014.
Disponível em: https://edisciplinas.usp.br/pluginfile.php/241323/mod_resource/content/2/
AULA%20DE%20FADIGA%20E%20FRATURA2.pdf. Acesso em 31 jan. 2023.

SANTANA, Pablo. Facebook sofre boicote publicitário de empresas contra discurso de ódio na
rede social. InfoMoney, 22 jun. 2020. Disponível em: https://www.infomoney.com.br/negocios/
facebook-sofre-boicote-publicitario-de-empresas-contra-discurso-de-odio-na-rede-social. Acesso
em: 31 jan. 2023.

SCHAPIRO, Scott J. The bad man and the internal point of view. In: BURTON, Steven J. The
path of the law and its influence: the legacy of Oliver Wendell Holmes Jr. New York, N.Y.:
Cambridge University, 2000, p. 197-210.

SCHERER, Matthew U. Regulating artificial intelligence systems: risks, challenges, competencies,

and strategies. SSRN, 30 maio 2015. Disponível em: https://papers.ssrn.com/sol3/papers.
cfm?abstract_id=2609777. Acesso em: 31 jan. 2023.

SETHURAMAN, N. The origin and development of bioethics: a historical perspective. ICMR

National Workshop on “New Trends on Bioethics in Biology”. Department of Botany, Periyar Arts
College, Cuddalore: Cuddalore, 6-7 fev. 2015. Disponível em: https://www.researchgate.net/
publication/358234512_THE_ORIGIN_AND_DEVELOPMENT_OF_BIOETHICS_A_HIS
TORICAL_PERSPECTIVE. Acesso em: 31 jan. 2023.

SGARBI, Adrian. Introdução à teoria do direito. São Paulo: Marcial Pons, 2013.

SILVA, Virgílio Afonso da. O proporcional e o razoável. Revista dos Tribunais, 798, 2002, p. 25.
Disponível em: https://constituicao.direito.usp.br/wp-content/uploads/2002-RT798-Proporciona
lidade.pdf. Acesso em: 31 jan. 2023.

SOSSIN, Lorne. The politics of soft law: how judicial decisions influence bureaucratic discretion
in Canada. In: HERTOGH, Marc; HALLIDAY, Simon. Judicial review and bureaucratic impact:
international and interdisciplinary perspectives. [S.l.: s.n.], 2004.

46
SOUZA, Thatiane de. Após invasão em 2008, pichadores são convidados a voltar à Bienal. Guiame,
31 maio 2014. Disponível em: https://guiame.com.br/noticias/sociedade-brasil/apos-invasao-em-
2008-pichadores-sao-convidados-a-voltar-a-bienal.html. Acesso em: 31 jan. 2023.

SPLASH. Jéssica, Nissim Ourfali e mais: o trauma de virar meme na adolescência. Splash UOL, 2
set. 2021. Disponível em: https://www.uol.com.br/splash/noticias/2021/09/02/origem-
memes.htm. Acesso em: 31 jan. 2023.

SUPREMO TRIBUNAL FEDERAL (STF). STF conclui que direito ao esquecimento é incompatível
com a Constituição Federal. 11 fev. 2021. Disponível em: https://portal.stf.jus.br/noticias/
verNoticiaDetalhe.asp?idConteudo=460414&ori=1. Acesso em: 31 jan. 2023.

SUSI, Mart. The internet balancing formula. European Law Journal, 25, 2019. Disponível em:
https://onlinelibrary.wiley.com/doi/abs/10.1111/eulj.12308. Acesso em: 31 jan. 2023.

SUZOR, Nicolas et al. Human rights by design: the responsibilities of social media platforms to
address gender-based violence online. Policy and Internet, v. 11, n. 1, p. 84-103, 2019. Disponível
em: https://eprints.qut.edu.au/121223/2/Human%20Rights%20Responsibilities%20of%20Plat
forms%20for%20Addressing%20Gender-based%20Violence%20Online%20-%20final%20pre-
peer%20review.pdf. Acesso em: 31 jan. 2023.

TMZ. Four Minneapolis cops fired over George Floyd's death. s.d. Disponível em:
https://www.tmz.com/watch/052620-tmz-live-george-floyd-0-0jr210me. Acesso em: 31 jan. 2023.

TOURÉ-TILLERY, M.; FISHBACH, A. Three sources of motivation. Consum Psychol Rev., 1, p.

123-134, 2018. Disponível em: https://doi.org/10.1002/arcp.1007. Acesso em: 31 jan. 2023.

TRUBEK, David M. Max Weber sobre direito e ascensão do capitalismo (1972). Revista Direito
GV, v. 3, n. 1, p. 151-185, 2007.

UNITED NATIONS. What is hate speech? s.d. Disponível em: https://www.un.org/en/hate-

speech/understanding-hate-speech/what-is-hate-speech. Acesso em: 31 jan. 2022.

VELASQUEZ, Manuel et al. What is ethics? [versão revisada em 2010]. Markkula Center for
Applied Ethics at Santa Clara University. jan. 2010. Disponível em: https://www.scu.edu/ethics/
ethics-resources/ethical-decision-making/what-is-ethics/. Acesso em: 31 jan. 2023.

47
VIEIRA, Oscar Vilhena. A desigualdade e a subversão do Estado de direito. Sur. Revista
Internacional de Direitos Humanos, v. 4, n. 6, p. 28-51, 2007. Disponível em: https://doi.org/
10.1590/S1806-64452007000100003. Acesso em: 31 jan. 2023.

VOSOUGHI, Soroush; ROY, Deb; ARAL, Sinan. The spread of true and false news online.
Science, v. 359, n. 6380, p. 1146-1151, 2018. Disponível em: https://www.science.org/doi/
10.1126/science.aap9559. Acesso em: 31 jan. 2023.

WEBER, Max. A ética protestante e o “espírito” do capitalismo. São Paulo: Cia. da Letras, 2004.

WINCH, Peter. Social science. The British Journal of Sociology, v. 7, n. 1, mar. 1956.

WORTHAM, Rob. Altai: a new assessment tool from the high-level expert group on artificial
intelligence (HLEG). 2021. Disponível em: https://robwortham.com/trustworthy-ai-a-new-
assessment-tool-from-altai/#:~:text=The%20Assessment%20List%20for%20Trustworthy%20
Artificial%20Intelligence%20%28ALTAI%29,Commission%20to%20support%20the%20Euro
pean%20Strategy%20on%20A. Acesso em: 31 jan. 2023.

ZANETTI, Laysa. Prêmio de Rodrigo BBB 22, 99 confirma corrida que acabou em acidente. Splash
UOL, 1 abr. 2022. Disponível em: https://www.uol.com.br/splash/noticias/2022/04/01/rodrigo-
mussi-99-confirma-corrida-que-provocou-acidente-com-ex-bbb.htm. Acesso em: 31 jan. 2023.

ZUBOFF, Shoshana. The age of surveillance capitalism: the fight for a human future at the new
frontier of power. New York: Public Affairs, 2019.

ZUBOFF, Shoshana. A era do capitalismo de vigilância: a luta por um futuro humano na nova
fronteira do poder. Rio de Janeiro: Intrínseca, 2020.

48
PROFESSORES-AUTORES
GUILHERME FORMA KLAFKE

FORMAÇÃO ACADÊMICA
 Doutor e mestre em Direito Constitucional pela Universidade
de São Paulo.

EXPERIÊNCIAS PROFISSIONAIS
 Gestor de projetos e líder de projeto no Centro de Ensino e
Pesquisa em Inovação (CEPI) da Escola de Direito de São
Paulo da Fundação Getulio Vargas (FGV Direito SP).
 Professor do programa de pós-graduação lato sensu da FGV Direito SP (FGV Law).
 Foi professor convidado da disciplina eletiva “Para além da LGPD: uso de dados para o
Direito”, na graduação da FGV Direito SP.
 Pesquisador na área de Direito e Tecnologia, ministrando aulas sobre contratos eletrônicos
(e-Contracts), criptoativos e blockchain e inteligência artificial aplicada a serviços jurídicos.

49
MARINA FEFERBAUM

FORMAÇÃO ACADÊMICA
 Doutora, mestre e graduada pela Pontifícia Universidade
Católica de São Paulo (PUC-SP).

EXPERIÊNCIAS PROFISSIONAIS
 É learner designer (Kaospilot)
 É coordenadora do CEPI FGV Direito SP e da área de
Metodologia de Ensino da FGV Direito SP.
 É docente dos programas de graduação e mestrado profissional da FGV Direito SP.
 Ministra cursos de formação docente por todo o Brasil. As suas linhas de pesquisa abrangem
direito e tecnologia, inovação e profissões jurídicas, governança algorítmica e proteção de
dados pessoais, inteligência artificial, ensino jurídico, ensino híbrido, metodologias ativas
de ensino e human rights by design.

PUBLICAÇÕES
 Publicou e organizou diversas obras sobre ensino jurídico, métodos ativos de ensino e
inteligência artificial no Direito: On Legal IA – Um rápido tratado sobre inteligência
artificial no direito; Transformações no ensino jurídico; Transformações nas organizações e
na prática jurídica, Metodologias ativas em Direito, Ensino Jurídico e Inovação – dicas
práticas e experiências imersivas, Direitos Humanos e vida cotidiana, Direitos
fundamentais, Ensino do Direito em Debate, Ensino do Direito para um mundo em
transformação, Proteção internacional dos Direitos Humanos: análise do sistema africano.
 Publicou e organizou a obra sobre metodologia de pesquisa jurídica: Metodologia da pesquisa
em Direito – técnicas e abordagens para elaboração de monografias, dissertações e teses.

50