UNIVERSIDADE FEDERAL DO PARANÁ

ALINE MACOHIN

INTELIGÊNCIA ARTIFICIAL E A TRANSPARÊNCIA

NA ADMINISTRAÇÃO PÚBLICA BRASILEIRA

CURITIBA
2023
 ALINE MACOHIN

INTELIGÊNCIA ARTIFICIAL E A TRANSPARÊNCIA

NA ADMINISTRAÇÃO PÚBLICA BRASILEIRA

Tese apresentada ao curso de P ó s-Gradua ç ã o em

Direito, Setor de Ciê ncias Jurídicas, Universidade
Federal do Paran á , como requisito parcial à
obtenção do título de Doutora em Direito das
Relações Sociais.
Orientador: Prof. Dr. Cesar Antonio Serbena

CURITIBA
2023
DADOS INTERNACIONAIS DE CATALOGAÇÃO NA PUBLICAÇÃO (CIP)
UNIVERSIDADE FEDERAL DO PARANÁ
SISTEMA DE BIBLIOTECAS - BIBLIOTECA DE CIÊNCIAS JURÍDICAS

Macohin, Aline
Inteligência artificial e a transparência na
administração pública brasileira / Aline Macohin. - Curitiba,
2023.
1 recurso on-line : PDF.

Tese (Doutorado) - Universidade Federal do Paraná,

Setor de Ciências Jurídicas, Programa de Pós-graduação
em Direito.
Orientador: Cesar Antonio Serbena.

1. Inteligência artificial. 2. Transparência na

administração pública. I. Serbena, Cesar Antonio. II. Título.
III. Universidade Federal do Paraná.

Bibliotecário: Pedro Paulo Aquilante Junior - CRB-9/1626

 MINISTÉRIO DA EDUCAÇÃO
SETOR DE CIÊNCIAS JURÍDICAS
UNIVERSIDADE FEDERAL DO PARANÁ
PRÓ-REITORIA DE PESQUISA E PÓS-GRADUAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO DIREITO -
40001016017P3

TERMO DE APROVAÇÃO

Os membros da Banca Examinadora designada pelo Colegiado do Programa de Pós-Graduação DIREITO da Universidade Federal

do Paraná foram convocados para realizar a arguição da tese de Doutorado de ALINE MACOHIN intitulada: "INTELIGÊNCIA
ARTIFICIAL NA ADMINISTRAÇÃO PÚBLICA BRASILEIRA E OPRINCÍPIO DA PUBLICIDADE", sob orientação do Prof. Dr.

CÉSAR ANTONIO SERBENA, que após terem inquirido a aluna e realizada a avaliação do trabalho, são de parecer pela sua
APROVAÇÃO no rito de defesa.

A outorga do título de doutora está sujeita à homologação pelo colegiado, ao atendimento de todas as indicações e correções
solicitadas pela banca e ao pleno atendimento das demandas regimentais do Programa de Pós-Graduação.

CURITIBA, 24 de Março de 2023.

Assinatura Eletrônica
29/03/2023 11:08:46.0
CÉSAR ANTONIO SERBENA
Presidente da Banca Examinadora

Assinatura Eletrônica Assinatura Eletrônica

28/03/2023 20:49:09.0 28/03/2023 17:44:38.0
CLAYTON DE ALBUQUERQUE MARANHAO MARILIA PEDROSO XAVIER
Avaliador Interno (UNIVERSIDADE FEDERAL DO PARANÁ) Avaliador Interno (UNIVERSIDADE FEDERAL DO PARANÁ)

Assinatura Eletrônica Assinatura Eletrônica

29/03/2023 13:59:39.0 11/04/2023 11:41:58.0
TIAGO GAGLIANO PINTO ALBERTO JULIANO SOUZA DE ALBUQUERQUE MARANHAO
Avaliador Externo (ESCOLA SUPERIOR DA MAGISTRATURA Avaliador Externo (UNIVERSIDADE DE SÃO PAULO)
TOCANTIN ENSE)

Praça Santos Andrade, 50 - CURITIBA - Paraná - Brasil

CEP 80020300 - Tel: (41) 3310-2685 - E-mail: ppgdufpr@gmail.com
Documento assinado eletronicamente de acordo com o disposto na legislação federal Decreto 8539 de 08 de outubro de 2015.
Gerado e autenticado pelo SIGA-UFPR, com a seguinte identificação única: 269814
Para autenticar este documento/assinatura, acesse https://www.prppg.ufpr.br/siga/visltante/autentlcacaoassinaturas.Jsp
e insira o codigo 269814
 MINISTÉRIO DA EDUCAÇÃO
SETOR DE CIÊNCIAS JURÍDICAS
UNIVERSIDADE FEDERAL DO PARANÁ
PRÓ-REITORIA DE PESQUISA E PÓS-GRADUAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO DIREITO -
40001016017P3

ATA N°298

ATA DE SESSÃO PÚBLICA DE DEFESA DE DOUTORADO PARA A OBTENÇÃO DO

GRAU DE DOUTORA EM DIREITO

No dia vinte e quatro de março de dois mil e vinte e tres às 15:00 horas, na sala 317 - Sala de defesas, Prédio Histórico da UFPR -

Praça Santos Andrade, 50, foram instaladas as atividades pertinentes ao rito de defesa de tese da doutoranda ALINE MACOHIN,
intitulada: "INTELIGÊNCIA ARTIFICIAL NA ADMINISTRAÇÃO PÚBLICA BRASILEIRA E OPRINCÍPIO DA PUBLICIDADE", sob

orientação do Prof. Dr. CÉSAR ANTONIO SERBENA. A Banca Examinadora, designada pelo Colegiado do Programa de Pós-
Graduação DIREITO da Universidade Federal do Paraná, foi constituída pelos seguintes Membros: CÉSAR ANTONIO SERBENA

(UNIVERSIDADE FEDERAL DO PARANÁ), CLAYTON DE ALBUQUERQUE MARANHAO (UNIVERSIDADE FEDERAL DO

PARANÁ), MARILIA PEDROSO XAVIER (UNIVERSIDADE FEDERAL DO PARANÁ), TIAGO GAGLIANO PINTO ALBERTO

(ESC O LA SUPER IO R DA M AG ISTR ATU R A TO C AN TIN EN SE), JULIAN O SO UZA DE ALB U Q U ER Q U E MARANHAO
(UNIVERSIDADE DE SÃO PAULO). A presidência iniciou os ritos definidos pelo Colegiado do Programa e, após exarados os

pareceres dos membros do comitê examinador e da respectiva contra argumentação, ocorreu a leitura do parecer final da banca
examinadora, que decidiu pela APROVAÇÃO. Este resultado deverá ser homologado pelo Colegiado do programa, mediante o

atendimento de todas as indicações e correções solicitadas pela banca dentro dos prazos regimentais definidos pelo programa. A
outorga de título de doutora está condicionada ao atendimento de todos os requisitos e prazos determinados no regimento do

Programa de Pós-Graduação. Nada mais havendo a tratar a presidência deu por encerrada a sessão, da qual eu, CÉSAR
ANTONIO SERBENA, lavrei a presente ata, que vai assinada por mim e pelos demais membros da Comissão Examinadora.

CURITIBA, 24 de Março de 2023.

Assinatura Eletrônica
29/03/2023 11:08:46.0
CÉSAR ANTONIO SERBENA
Presidente da Banca Examinadora

Assinatura Eletrônica Assinatura Eletrônica

28/03/2023 20:49:09.0 28/03/2023 17:44:38.0
CLAYTON DE ALBUQUERQUE MARANHAO MARILIA PEDROSO XAVIER
Avaliador Interno (UNIVERSIDADE FEDERAL DO PARANÁ) Avaliador Interno (UNIVERSIDADE FEDERAL DO PARANÁ)

Assinatura Eletrônica Assinatura Eletrônica

29/03/2023 13:59:39.0 11/04/2023 11:41:58.0
TIAGO GAGLIANO PINTO ALBERTO JULIANO SOUZA DE ALBUQUERQUE MARANHAO
Avaliador Externo (ESCOLA SUPERIOR DA MAGISTRATURA Avaliador Externo (UNIVERSIDADE DE SÃO PAULO)
TOCANTINENSE)

Praça Santos Andrade, 50 - CURITIBA - Paraná - Brasil

CEP 80020300 - Tel: (41) 3310-2685 - E-mail: ppgdufpr@gmail.com
Documento assinado eletronicamente de acordo com o disposto na legislação federal Decreto 8539 de 08 de outubro de 2015.
Gerado e autenticado pelo SIGA-UFPR, com a seguinte identificação única: 269814
Para autenticar este documento/assinatura, acesse https://www.prppg.ufpr.br/slga/visltante/autentlcacaoasslnaturas.Jsp
e insira o codigo 269814
À C oordenação do PPG D /U FPR

Ofício

A ssunto: Solicitação de alteração de título de tese

Por m eio deste, inform o que autorizo a m udança do título de tese

da aluna Aline M acohin, defendida no Program a de Pós-graduação

em Direito da UFPR.

Título an terio r da tese: Inteligência Artificial na A dm inistração

Pública Brasileira e o Princípio da Publicidade.

Novo Título da tese: Inteligência Artificial e a Transparência na

A dm inistração Pública Brasileira.

Justificativa para a alteração do título: Após sugestões da banca

da defesa final e ajustes do texto final da tese, o novo título se torna

mais adequado.

Curitiba, 25 de julho de 2023.

Prof. Dr. C esar Antonio Serbena

O rientador
 AGRADECIMENTOS

Agradeço ao meu orientador Cesar Antonio Serbena por aceitar instruir o meu
trabalho de pesquisa, pelo incentivo e pelas diversas oportunidades acadêmicas que
forneceu antes e durante o doutorado.

Aos membros da banca de doutorado pelas valiosas contribuições dadas

durante o meu doutorado, nos nomes de Clayton de Albuquerque Maranhão, Juliano
Souza de Albuquerque Maranhão, Marília Pedroso Xavier e Tiago Gagliano Pinto
Alberto.

A todos os professores e professoras do curso do Programa de Pós-

Graduação em Direito da UFPR pela excelência de ensino e pesquisa.

À minha família que sempre me apoiou, em especial Helena Macohin e Cion

Ayres do Nascimento.

Aos colegas do Serviço Federal de Processamento de Dados que apoiaram

minha pesquisa acadêmica nesta área.

A todos os colegas de pesquisa, em especial do PPGD/UFPR, da OAB/PR e

dos grupos E-Justiça, IDEIA, Brasileiras em Processamento de Linguagem Natural
(PLN) e Lawgorithm, sempre com o espírito colaborativo.

Ao pesquisador Danilo Doneda (in memoriam) pela inestimável contribuição

na área de proteção de dados pessoais no Brasil.
 Responsible Artificial Intelligence is about human responsibility for the
development o f intelligent systems along fundamental human principles and values,
to ensure human flourishing and well-being in a sustainable world.
(Dignum, 2019, p. 119)
 RESUMO

A crescente digitalização do poder público e o uso de sistemas automatizados para a

tomada de decisões trouxeram agilidade e eficiência à administração pública, mas
também trouxeram riscos. Os riscos de conformidade, jurídicos e de segurança,
pertinentes a cada contexto em que as tecnologias são aplicadas, podem ser maiores
conforme os algoritmos utilizados e o grau de transparência do sistema. Apesar de a
Constituição Federal de 88 prever o princípio da transparência, ainda são necessárias
diretrizes para estabelecer requisitos que o poder público deve atender e quais
informações devem ser fornecidas. O uso da inteligência artificial explicável pode
auxiliar a compreender o funcionamento do sistema e tratar parte dos riscos, além de
viabilizar o uso responsável e auditável da inteligência artificial. As experiências
nacionais e internacionais mostram que a falta de explicação do algoritmo e da
finalidade do sistema, aliada à ausência de uma discussão pública prévia, contribuem
para os efeitos negativos em grande escala. Apesar de a legislação de proteção de
dados abordar o tema da explicabilidade, sua abordagem é insuficiente para
assegurar uma transparência, sobretudo no que diz respeito ao uso dentro da
administração pública brasileira. Os princípios constitucionais da publicidade,
motivação e transparência justificam esforços neste sentido. A principal contribuição
deste trabalho foi estabelecer uma ligação entre o dever constitucional de
transparência no setor público e a transparência nos sistemas de inteligência artificial,
além de estabelecer diretrizes de governança de inteligência artificial para concretizar
este princípio.

Palavras-chave: Inteligência Artificial Explicável; Transparência; Poder Público;

Governança de Inteligência Artificial.
 ABSTRACT

The increasing of digitalization within the State and the use of automated systems for
decision making brought agility and efficiency, but also risks to the public
administration. Compliance, judicial and security risks could be increased depending
on the algorithms and the degree of transparency used in the technologies of those
systems. Despite the Brazilian Constitution of 1988 addresses the principle
of transparency guidelines are still needed in order to establish requirements the State
must met and what kind of information must be provided to citizens. The use of
explicable artificial intelligence could help understand how an intelligent system works
while dealing with some of those risks, as well allow a responsible and auditable use
of artificial intelligence. Previous cases show that the lack of explainability of an
algorithm, along with no proper previous public discussions about the system could
contribute to the negative impact some of those systems brought to society. Although
data protection law addresses the issue about explicability, it’s approach could not be
enough to ensure the required level of transparency, especially with regard to its use
in the brazilian public administration. The constitutional principles of publicity,
motivation and transparency justify these efforts. The main contribution of this work
was to establish the connection between the constitutional duty of transparency in the
public sector and the level of transparency needed in artificial intelligent systems, as
well to help creating AI governance guidelines necessary for that purpose.

Keywords: Explainable Artificial Intelligence; Transparency; Public Sector; Artificial

Intelligence Governance.
 LISTA DE FIGURAS

Figura 1 - Diferença entre sistemas realizados por meio da programação clássica e

sistemas de aprendizado de máquina. Fonte: Própria......................... 34
Figura 2 - Processo de descoberta de conhecimento em mineração de dados. Fonte:
Han, Kamber e Pei (2012, p. 7 )............................................................... 37
Figura 3 - Atividades de tratamento de riscos em sistemas de informação. Fonte:
ABNT (2019, p. 21).................................................................................... 53
Figura 4 - Relação entre o princípio da motivação, publicidade com a accountability e
a transparência. Fonte: Própria............................................................... 88
Figura 5 - Comparação dos níveis de explicabilidade e acurácia entre técnicas de
inteligência artificial. Verifica-se que as técnicas com maior acurácia
tendem a ter mais opacas (baixa explicabilidade). Fonte: Gunning;
Aha (2019, p. 46)....................................................................................... 98
Figura 6 - Representação dos conceitos que envolvem a área de inteligência artificial
explicável. Figura adaptada de Clinciu e Hastie (2019, p. 9)...............99
Figura 7 - Hierarquia das classificações de técnicas para tornar um modelo
matemático interpretável a partir das categorias definidas por DU, LI e
HAU (2019). Fonte: Própria.................................................................... 103
Figura 8 - Métodos aplicáveis para tornar um modelo explicável. Fonte: (Arrieta et al.,
2020, p. 13)............................................................................................... 108
Figura 9 - Diferença entre um modelo de inteligência artificial opaco e um modelo
transparente, respectivamente. Fonte: Gunnin; Aha (2019, p. 48).. . 117
Figura 10 - Diagrama conceitual que exemplifica os diferentes níveis de
transparência de um ML. A letra a) representa a simulabilidade, a letra
b representa a decomponibilidade e a letra c representa a
transparência algorítmica. Fonte: Arrieta et al (2020, p. 1 1 )............. 121
Figura 11 - Diretrizes da Estratégia Brasileira de Inteligência Artificial. Fonte: Brasil
(2020, p. 7 )................................................................................................137
Figura 12 - Imagem que ilustra o ciclo da tomada de decisão automatizada, desde
sua concepção até o destinatário receber o resultado oriundo do
sistema, poder compreender e se for o caso recorrer. Fonte: Própria
................................................................................................................... 142
Figura 13 - Etapas para realizar o reconhecimento facial. Fonte: Jain et al (1996, p.
104)............................................................................................................ 179
Figura 14 - Estágios do reconhecimento facial automatizado de uma pessoa. Fonte:
Grother et al (2019, p. 14),..................................................................... 182
Figura 15 - As cidades mais vigiadas do mundo - câmeras a cada 1.000 pessoas.
Fonte: Comparitech (2022)..................................................................... 183
Figura 16 - Cidades do Brasil que usavam a tecnologia de reconhecimento facial até
2019. Fonte: IGARAPE (2019)...............................................................184
 LISTA DE TABELAS

Tabela 1 - As definições que estão na parte superior da tabela se relacionam a

processos de pensamento e raciocínio, enquanto as definições da
parte inferior se referem ao comportamento. As definições do lado
esquerdo medem o sucesso em termos de fidelidade ao desempenho
humano, enquanto as definições do lado direito medem o sucesso
comparando-o a um conceito ideal de inteligência, chamado de
racionalidade. Um sistema é racional se “faz a coisa certa”, dado o
que ele sabe. (NORVIG; RUSSEL, 2013, p. 3-4).................................. 32
Tabela 2 - Quadro comparativo dos princípios de governança de IA dos grupos FAT-
ML e ACM, IEEE e o Reino Unido. Fonte: Própria................................43
Tabela 3 - Mapeamento dos Pilares e Princípios da Inteligência Artificial. Fonte:
IEEE (2019). Tradução nossa.................................................................. 47
Tabela 4 - Tabela comparativa das entidades que criaram normas técnicas
referentes a inteligência artificial e aspectos relacionados ao uso
responsável.................................................................................................91
 LISTA DE ABREVIATURAS OU SIGLAS

A/IS - Sistemas Autônomos e de Inteligência Artificial

ACM - Association for Computing Machinery
ANPD - Autoridade Nacional de Proteção de Dados
CGU - Controladoria Geral da União
CJSUBIA - Comissão de Juristas responsável por subsidiar elaboração de
substitutivo sobre inteligência artificial no Brasil
COMPAS - Correctional Offender Management Profiling for Alternative Sanctions
EBIA - Estratégia Brasileira de Inteligência Artificial
EGD - Estratégia de Governança Digital
IA - Inteligência Artificial
IDC - International Data Corporation
IEC - International Electrotechnical Comission
IEEE - Institute of Electrical and Electronics Engineers
ISO - International Organization for Standardization
LAI - Lei de Acesso à Informação
LFR - Live Facial Recognition
LGPD - Lei Geral de Proteção de Dados
MCTI - Ministério da Ciência, Tecnologia e Inovação
ML - Machine Learning - Aprendizado de máquina
NIST - National Institute of Standards and Technology
OECD - Organisation for Economic Co-operation and Development
PL - Projeto de Lei
STJ - Superior Tribunal de Justiça
STF - Supremo Tribunal Federal
TCU - Tribunal de Contas da União
TJSP - Tribunal de Justiça de São Paulo
xAI - Inteligência Artificial Explicável
 SUMÁRIO

1 INTRODUÇÃO................................................................................................................. 17
2 INTELIGÊNCIA ARTIFICIAL: CONCEITOS, RISCOS E D E SA FIO S .....................32
2.1 CONCEITUAÇÃO........................................................................................................ 33
2.1.1 Inteligência Artificial...................................................................................................35
2.1.2 Ciclo de vida da I A ....................................................................................................37
2.2 PILARES DA INTELIGÊNCIA A R TIFIC IAL.............................................................. 40
2.3 PRINCÍPIOS DA INTELIGÊNCIA ARTIFICIAL.........................................................42
2.3.1 OECD e Brasil (EBIA)............................................................................................... 42
2.3.2 A C M ............................................................................................................................ 45
2.3.3 FA T -M L...................................................................................................................... 46
2.3.4 IE E E ............................................................................................................................ 47
2.3.5 Reino Unido................................................................................................................49
2.4 RISCOS E DESAFIOS...............................................................................................50
2.4.1 Gerenciamento de riscos em sistemas de informação..........................................51
2.4.2 Riscos associados aos Sistemas de Inteligência Artificial...................................54
3 TRANSPARÊNCIA DOS SISTEMAS DE IA COMO DEVER CONSTITUCIONAL 62
3.1 A PROPOSTA DO MARCO REGULATÓRIO DA IA ...............................................63
3.2 ASPECTOS CONSTITUCIONAIS..............................................................................71
3.2.1 Direitos Fundamentais.............................................................................................. 72
3.2.2 Princípio da Publicidade........................................................................................... 73
3.2.3 Princípio da M otivação............................................................................................. 77
3.2.4 Princípio da Transparência.......................................................................................81
3.3 LEI GERAL DE PROTEÇÃO DE D AD O S.................................................................82
3.4 ACCOUNTABILITY COMO PRINCÍPIO NORMATIVO E VIABILIZADO PELA
TRANSPARÊNCIA..............................................................................................................86
3.5 NORMAS TÉCNICAS...................................................................................................89
4 TRANSPARÊNCIA POR MEIO DA INTELIGÊNCIA ARTIFICIAL EXPLICÁVEL . 96
4.1 CONCEITOS ................................................................................................................. 98
4.1.1 Interpretabilidade..................................................................................................... 102
4.1.2 Explicabilidade........................................................................................................ 105
4.2 MOTIVOS PARA ADOTAR A IA EXPLICÁVEL......................................................109
4.3 TRANSPARÊNCIA..................................................................................................... 111
4.3.1 Tipos de Transparência.......................................................................................... 114
4.3.2 Níveis de Transparência......................................................................................... 118
4.4 CATEGORIAS DE DESTINATÁRIOS..................................................................... 122
4.5 NÍVEIS DE AUTONOM IA.......................................................................................... 123
5 GOVERNANÇA DE IA NO SETOR PÚBLICO BRASILEIRO POR MEIO DA
TRANSPARÊNCIA...........................................................................................................125
5.1 DIGITALIZAÇÃO DO PODER PÚ BLIC O ................................................................128
5.2 INTELIGÊNCIA ARTIFICIAL E O PODER PÚBLICO............................................130
5.3 TIPOS DE GOVERNANÇA DE INTELIGÊNCIA A R TIFIC IAL............................. 132
5.4 RECOMENDAÇÕES DE GOVERNANÇA EXISTEN TES.................................... 133
5.4.1 Transparência Brasil................................................................................................134
5.4.2 Estratégia Brasileira de IA ......................................................................................137
5.4.3 Proposta do Marco Regulatório de IA sobre G overnança.................................139
5.5 CRITÉRIOS DE AVALIAÇÃO DE UM A /IS ............................................................ 140
5.5.1 D esign.......................................................................................................................143
5.5.2 Dados........................................................................................................................ 145
5.5.3 Modelo.......................................................................................................................146
5.5.4 Verificação e Validação.......................................................................................... 147
5.5.5 Operação e monitoramento....................................................................................148
5.5.6 Eficácia da Explicabilidade.....................................................................................149
5.6 FORMAS DE INTERVENÇÃO................................................................................. 150
6 CONSIDERAÇÕES FINAIS......................................................................................... 151
REFERÊNCIAS................................................................................................................. 161
APÊNDICE A - ESTUDO DE CASO SOBRE O RECONHECIMENTO FACIAL .... 178
 17

1 INTRODUÇÃO

A inteligência artificial é utilizada cada vez mais no âmbito mundial, tanto pelos
benefícios advindos do uso da tecnologia quanto pela disponibilidade de dados e
capacidade de processamento. A capacidade de processamento se dá pela evolução
dos locais de armazenamento dos dados (SESARTIC, 2017) e pelos processadores
que permitem processar e cruzar estes dados com cada vez mais rapidez e eficiência
(MACK, 2011 p. 202). Segundo relatório realizado em 2022 pelo DataReportal (2022),
no âmbito mundial a internet possuía 4,95 bilhões de usuários, que representa 62,5%
da população mundial. Quanto ao volume de dados, em 2021 o IDC (International
Data Corporation) (2020) elaborou a estimativa que tem ao todo 74 zettabytes1 de
dados no mundo inteiro. No contexto do poder público, o volume de dados cresce
exponencialmente tanto pela digitalização constante dos serviços quanto pela
necessidade de criação de serviços que possam suprir necessidades da população.
O poder público é composto por diversos órgãos que desempenham funções
distintas e fundamentais para o funcionamento do Estado. Dentre os órgãos,
destacam-se o Poder Executivo, o Poder Legislativo e o Poder Judiciário. Além desses
poderes, existem instituições independentes, como o Ministério Público Federal e os
Estaduais, além dos órgãos de controle interno e externo, como os Tribunais de
Contas. Cada órgão, dentro do seu campo de atuação, utiliza tecnologias para
desempenhar suas funções2.
No poder executivo, no âmbito do governo federal, estão disponíveis 4,8 mil
serviços públicos digitais na plataforma Gov.Br (GOV.BR, 2022b). Como exemplo do
uso da tecnologia de IA no executivo, temos o uso de reconhecimento facial em
aeroportos3. Apesar do grande volume de dados existentes, a maioria dos serviços do

1 1 zettabyte equivale a 1.000.000.000.000 gigabytes. Os computadores residenciais em média

possuem 200 gigabytes de armazenamento.
2 Segundo a Lei de Acesso à Informação (Lei n.° 12.527/2011) esta é aplicável aos órgãos públicos
integrantes da administração direta dos Poderes Executivo, legislativo e incluí os Tribunais de Contas,
Judiciário e Ministério Público. Além das autarquias, as fundações públicas, as empresas públicas,
as sociedades de economia mista e demais entidades controladas direta ou indiretamente pela União,
Estados, Distrito Federal e Municípios. A exigência de um IA transparente pelo poder público poderia
abranger as mesmas entidades tratadas na LAI.
3 Gov.Br. Entrou em funcionamento a 1a ponte aérea biométrica do mundo para embarque de
passageiros. Disponível em https://www.gov.br/pt-br/noticias/transito-e-transportes/2022/08/entrou-
em-funcionamento-a-1a-ponte-aerea-biometrica-do-mundo-para-embarque-de-passageiros. Acesso
em: junho de 2022.
 18

poder público ainda são de formulários para coleta de dados ou fornecimento de

informações.
No âmbito do poder judiciário, que está em constante modernização,
principalmente com o processo eletrônico, somente em 2021 recebeu ingresso de
27,7 milhões de novas ações judiciais e gerenciava 77,3 milhões de processos
judiciais em tramitação (CNJ, 2022a). Dentre as iniciativas do poder judiciário,
destaca-se o uso da tecnologia para busca de jurisprudência e sugestão de minutas
de sentença4.
Quanto ao legislativo, além do uso da IA para a gestão interna do órgão, a
tecnologia pode ser usada para aumentar a transparência e a participação do cidadão
no processo legislativo. No legislativo, temos um software que usa IA para responder
perguntas dos cidadãos5.
Há ainda outra possibilidade, o uso de sistemas de IA por políticos ou
candidatos a políticos que podem ter impacto diretamente aos cidadãos e diretamente
no poder público, caso eleitos. Apesar de muitas vezes não ser um sistema
desenvolvido pelo poder público, é necessário analisar o imenso impacto negativo que
estes sistemas podem ter e a origem dos dados utilizados. Um exemplo concreto e de
conhecimento público é o perfilamento dos cidadãos para manipulação de eleições
(ARNAUDO et al, 2021), como foi o caso do escândalo da Cambridge Analytica6
(ISAAK, HANNA, 2018). A manipulação7 geralmente ocorre em plataformas, como

4 CNJ. Justiça 4.0: Inteligência Artificial está presente na maioria dos tribunais brasileiros. Disponível
em https://www.cnj.jus.br/justica-4-0-inteligencia-artificial-esta-presente-na-maioria-dos-tribunais-
brasileiros/. Acesso em: junho de 2022.
5 CÂMARA DOS DEPUTADOS. Consultoria Legislativa da Câmara utiliza inteligência artificial para
agilizar trabalhos. Disponível em https://www.camara.leg.br/assessoria-de-imprensa/568452-
consultoria-legislativa-da-camara-utiliza-inteligencia-artificial-para-agilizar-trabalhos/ .Acesso em:
junho de 2022.
6 O escândalo Cambridge Analytica ocorreu em 2018 e envolveu a empresa de consultoria política
Cambridge Analytica, que acessou ilegalmente dados pessoais de milhões de usuários do Facebook.
Eles utilizaram esses dados para criar perfis psicográficos detalhados e segmentar campanhas
políticas altamente direcionadas. O vazamento dos dados gerou preocupações sobre a privacidade
e o uso ético da informação pessoal em contextos eleitorais. O caso gerou repercussão mundial e
levou a uma maior conscientização sobre a proteção dos dados do usuário na internet.
7 A influência da IA nas pessoas que resultam na mudança de nosso comportamento, formas de agir,
pensar e trabalhar é objeto de uma área de estudo chamada neurodireitos. Os neurodireitos podem
ser definidos como uma nova estrutura jurídica internacional de direitos humanos destinados
especificamente a proteger o cérebro e sua atividade à medida que ocorram avanços em
neurotecnologia (IENCA, ADORNO, 2017). Conforme avança o desenvolvimento da tecnologia,
possibilitará maiores intervenções no comportamento humano.
 19

WhatsApp, Telegram, Facebook, Instagram, Twitter, YouTube. TikTok e Kawai8, em

que são propagadas desinformações com o intuito de confundir os eleitores e
favorecer um determinado político/grupos de políticos ou até mesmo desacreditar o
sistema eleitoral de um país9.
Em 2022, o Tribunal de Contas da União fez um levantamento sobre o uso de
inteligência artificial pelo governo federal (TCU, 2022), em que foi constatado que 38%
das organizações federais estavam no nível zero de maturidade em IA, ou seja, não
utilizavam e sequer planejavam utilizar essa tecnologia. Já 33,5% das entidades
governamentais se encontravam no nível 1, ou seja, possuem conversas internas
sobre a inteligência artificial, mas ainda especulativamente. Já as demais
organizações federais (28,5%) se encontravam nos níveis 2, 3 e 4 de maturidade em
IA. Ressalta-se que apenas 3,4% do total já estava no nível 4, com expansão para
novos projetos de IA, ou seja, que tinham a tecnologia mais consolidada e usada em
produção. Apesar de pouco investimento e interesse em utilizar a tecnologia no âmbito
federal, há forte recomendação para ser expandido o uso, que contará com o apoio e
fiscalização do Tribunal de Contas da União.
O Conselho Nacional de Justiça também analisou os projetos de inteligência
artificial (IA) no Poder Judiciário em 202210 e disponibilizou em um painel interativo
para consulta. Apesar da metodologia11 utilizada pelo CNJ diferir do TCU e não
mapear o grau de maturidade das soluções, o órgão disponibilizou algumas
estatísticas. A pesquisa do CNJ identificou 111 projetos desenvolvidos ou em
desenvolvimento nos tribunais e demonstrou que a adoção da tecnologia aumentou.

8 BBC. Cartilha da desinformação: como agem os grupos que usam redes sociais para espalhar fake
news e mobilizar eleitores. 2023. Disponível em
https://www.bbc.com/portuguese/articles/ceq55vxe9leo
9 BBC. Cartilha da desinformação: como agem os grupos que usam redes sociais para espalhar fake
news e mobilizar eleitores. 2023. Disponível em
https://www.bbc.com/portuguese/articles/ceq55vxe9leo.
10 CNJ. Justiça 4.0: Inteligência Artificial está presente na maioria dos tribunais brasileiros. Disponível
em https://www.cnj.jus.br/justica-4-0-inteligencia-artificial-esta-presente-na-maioria-dos-tribunais-
brasileiros/. Acesso em: junho de 2022.
11 “O painel foi desenvolvido a partir dos dados obtidos em pesquisa aplicada entre abril e maio de 2022
em todos os tribunais brasileiros. Dos 94 órgãos consultados (entre tribunais e conselhos superiores),
apenas seis não responderam à pesquisa. O questionário identifica a quantidade de projetos por
tribunal e segmento de Justiça, o estágio de evolução, o volume de processos judiciais beneficiados,
os recursos, a plataforma, o método e a linguagem utilizados, bem como o tamanho da equipe
envolvida e o compartilhamento de dados e códigos.” (CNJ, 2022b).
 20

Além do aumento do número de soluções, também houve avanço no número de

órgãos que possuem projetos de IA que totalizam 53 tribunais.
Apesar da tecnologia existir há um certo tempo12, nas diversas esferas do
poder público ainda não há um uso massivo como se conclui dos relatórios criados
pelo TCU e CNJ. Como o fenômeno da digitalização do poder público é recente e até
todos os sistemas informatizados produzirem dados suficientes, com qualidade e que
precisem de um processamento computacional, pode demorar alguns anos.
Diante do cenário que o poder público já tem milhões e até bilhões de dados
informatizados, que inviabilizam qualquer análise manual por um servidor público, se
torna imprescindível o uso de tecnologia para conferir agilidade ao funcionamento das
instituições e prestar serviços aos cidadãos. A partir deste cenário é compreensível
que a adoção de técnicas de mineração de dados e aprendizado de máquina se
tornem cada vez mais frequentes.
Com a delegação de parte das funções executadas por servidores públicos13
para sistemas informatizados com capacidade de tomada de decisão automatizada, é
necessário definir parâmetros para auditar e compreender como as decisões foram
tomadas.
O governo brasileiro, com o intuito de fornecer diretrizes para o avanço da IA
no Brasil, estabeleceu a Estratégia Brasileira de Inteligência Artificial (EBIA)14 em
2021. Esta estratégia está alinhada às diretrizes da OCDE endossadas pelo Brasil e
fundamenta-se nos cinco princípios definidos pela Organização para uma gestão
responsável dos sistemas de IA: (i) crescimento inclusivo, o desenvolvimento
sustentável e o bem-estar; (ii) valores centrados no ser humano e na equidade; (iii)

12 O termo "inteligência artificial" foi cunhado por John McCarthy em 1956 durante a Conferência de
Dartmouth (MOOR, 2006). Apesar do termo existir há mais de meio século, a tecnologia depende da
existência de dados que possam ser lidos e processados por um computador. No poder executivo, a
digitalização do governo federal começou em 1990, mas apenas foi difundida no ano 2000. (GOV.BR,
2019). Já no poder judiciário, a digitalização começou em meados do ano 1999 com a Lei do Fax (Lei
n.° 9.800/1999). Já o processo judicial eletrônico foi objeto de lei somente no ano de 2006 (Lei n.°
11.149/2006).
13 Em notícia publicada pelo Banco de Desenvolvimento da América Latina e Caribe, estima-se que
30% da mão-de-obra da administração pública na América Latina trabalha em ocupações com alto
risco de substituição tecnológica (CAF, 2021).
14 A EBIA (BRASIL, 2021) possui como papel nortear as ações do Estado brasileiro em prol do
desenvolvimento das ações que estimulem a pesquisa, inovação e desenvolvimento de soluções em
Inteligência Artificial, além do uso consciente e ético.
 21

transparência e explicabilidade; (iv) robustez, segurança e proteção e; (v) a

responsabilização ou a prestação de contas (accountability)15.
Enquanto a tecnologia não se dissemina no poder público brasileiro, outras
iniciativas auxiliam no estabelecimento de diretrizes para os sistemas serem
desenvolvidos com transparência. Dentre as iniciativas, destaca-se a Lei de Acesso à
Informação (LAI), Lei Geral de Proteção de Dados (LGPD) e a proposta do Marco
Regulatório para a IA no Brasil, ainda em tramitação em 2023.
A LGPD no Brasil foi promulgada em agosto de 2020 e entrou em vigor em
agosto de 2021. Ela estabelece regras para coleta, armazenamento, processamento
e compartilhamento de dados pessoais, também inclui dados coletados e tratados por
sistemas de inteligência artificial. O objetivo da legislação é que seja respeitada a
privacidade e os direitos dos indivíduos, isso inclui a obrigação de informar os
indivíduos sobre o processamento de seus dados, obter o consentimento se
necessário e garantir a segurança e a confidencialidade dos dados processados. Um
dos grandes desafios sistemas de IA se refere ao uso de dados, criação de rótulos (a
partir de dados cruzados)16 e escolha dos modelos, para serem projetados e
desenvolvidos com transparência e responsabilidade, bem como a possibilidade de
os indivíduos exercerem seus direitos perante a lei.
No geral, a LGPD estabelece uma estrutura para proteção de dados no Brasil
e ajuda a garantir que o uso da IA seja feito de maneira responsável no contexto ao
que se propõe. Há ainda, um aspecto específico que faz parte da área de Inteligência
Artificial e que merece destaque, o artigo 20 da LGPD, que trata sobre as decisões
tomadas unicamente com base em tratamento automatizado de dados pessoais.
Como se verá a seguir, a Lei Geral de Proteção de Dados brasileira é insuficiente para

15 Além dos princípios, a EBIA tem como objetivos 1) Contribuir para a elaboração de princípios éticos
para o desenvolvimento e uso de IA responsáveis; 2) Promover investimentos sustentados em
pesquisa e desenvolvimento em IA; 3) Remover barreiras à inovação em IA; 4) Capacitar e form ar
profissionais para o ecossistema da IA; 5) Estimular a inovação e o desenvolvimento da IA brasileira
em ambiente internacional e; 6) Promover ambiente de cooperação entre os entes públicos e
privados, a indústria e os centros de pesquisas para o desenvolvimento da Inteligência Artificial
(BRASIL, 2021).
16 Rótulos em inteligência artificial consistem na criação de categorias a partir de valores identificados
em variáveis. Um exemplo de rótulo pode ser associar uma palavra a uma determinada imagem,
como imagens que contêm ou não pessoas. Outro exemplo de rótulo é em sistemas de “Escore de
Crédito”, que consiste em atribuir uma pontuação ao consumidor baseada no histórico financeiro. A
partir desta pontuação, o consumidor pode ser classificado em uma categoria que indique se
conseguirá obter empréstimos e financiamentos em instituições financeiras. Inclusive, a utilização do
escore de crédito possui amparo na Lei n.° 12.414/2011 (Lei do Cadastro Positivo).
 22

considerar todos os aspectos da inteligência artificial, principalmente os critérios

relativos à transparência.
Diante da insuficiência da LGPD para lidar com todos os aspectos inerentes
ao uso da IA, surgiu a necessidade de uma regulamentação própria. O intuito da
legislação própria também visa resguardar a autonomia e direitos fundamentais dos
cidadãos, conforme destacam Doneda et al (2018, p. 3):

A utilização de dados pessoais para alimentar os novos sistemas de

inteligência artificial e a sua utilização para tom ar decisões proporcionam uma
acurácia bastante significativa para um número crescentes de aplicações. Isto
abre espaço para, ao menos, dois temas centrais para os debates sobre
autonomia e direitos fundamentais nos próximos anos: os efeitos que a
utilização desses sistemas causarão para a pessoa e sua autonomia pessoal,
bem como a necessidade de qualificar a natureza desses instrumentos e
sistemas de inteligência artificial. Nesse debate, a necessidade de que sejam
proporcionadas soluções que preservem os direitos fundamentais, dentro de
um quadro de intenso desenvolvimento tecnológico e mesmo de
questionamento de alguns institutos centrais do ordenamento jurídico, sugere
a necessidade de recorrer à ética como instrumento capaz de encaminhar
soluções que, eventualmente, e se for o caso, possam consolidar-se em
alternativas legislativas posteriormente.

Já a Lei de Acesso à Informação (Lei n.° 12.527/2011) garante o direito dos

cidadãos de solicitar informações nos órgãos públicos, sejam elas pessoais ou de
interesse geral. Essa legislação promove a transparência na administração pública e
permite que os cidadãos fiscalizem as ações governamentais. Além disso, a lei
estabelece prazos e procedimentos para o acesso à informação, de modo a fortalecer
a accountability e a participação cidadã. O objetivo é tornar o governo mais aberto e
responsável perante a sociedade, que fomente a democracia e a prestação de contas.
Essa lei pode ser utilizada para requerer a transparência de sistemas de IA
porque possibilita o acesso aos dados e informações utilizadas na tomada de decisões
por órgãos públicos ou entidades privadas que atuem em nome do Estado. Entretanto,
o que se verifica na prática é que órgãos públicos usam a LGPD para negar o acesso
à informação (FÉLIX; NETO, 2023, p. 13) (TRANSPARÊNCIA BRASIL, 2021).
Apesar de o Brasil possuir legislação que possa ser aplicada em sistemas de
inteligência artificial do poder público, para receber informações sobre o
funcionamento, se faz necessária uma regulamentação que descreva procedimentos
de como essa transparência será executada, dada as peculiaridades dos sistemas de
IA e ausência destas informações levantadas e organizadas para publicização.
 23

Já a Regulamentação da IA no Brasil, foi iniciada pela Câmara dos Deputados

em 2020 por intermédio do PL n.° 21/2020 (BISMARCK, 2020), com o intuito de
estabelecer fundamentos, princípios e diretrizes para o desenvolvimento e a aplicação
da inteligência artificial no Brasil. O projeto de lei aborda questões relacionadas a
privacidade, responsabilidade, transparência e ética na utilização de sistemas de IA,
para garantir a proteção dos direitos e liberdade das pessoas.
Em 2022, já no Senado Federal, foi apresentada uma minuta de substituição
ao PL n.° 21/20 (SENADO FEDERAL, 2022a), que mais tarde se transformou no PL
n.° 2.338/2023. Diferentemente do texto original dos projetos de lei substituídos, que
se limitavam aos princípios éticos e diretrizes gerais, o PL n.° 2338/23 apresenta
questões de governança aos fornecedores e operadores de sistemas de IA,
proporcionais às categorias de risco. No projeto também são adotadas medidas mais
rígidas relativas à documentação do desenvolvimento do sistema de IA e técnicas
para tratar vieses discriminatórios. No caso do setor público, há obrigações adicionais,
como a realização de audiências públicas sobre a utilização pretendida e a
publicização das avaliações preliminares dos sistemas de IA.
Destaca-se a questão da transparência mencionada no artigo 3°, VI; 18, “g”;
19; 20, V; e 24, “i” do PL n.° 2338/23, que veio suprir as lacunas referentes às decisões
automatizadas tratadas pelo artigo 20 da LGPD. Neste caso, estes tipos de decisões
podem ser oriundos de sistemas de IA e o controlador do sistema deve fornecer
informações claras e adequadas a respeito dos critérios e dos procedimentos
utilizados para a decisão automatizada, assim como riscos envolvidos. Entretanto, os
níveis de transparência e explicabilidade são diversos e variam de acordo com o
destinatário que recebe a informação. O PL n.° 2338/23 supriu a lacuna no sentido de
viabilizar o requerimento de algumas informações sobre como a IA foi desenvolvida e
os riscos associados.
O PL n.° 2338/2023 também prevê uma série de direitos ao destinatário da
decisão automatizada, como o direito à explicação, contestação e revisão de decisões
automatizadas que possam limitar acesso aos direitos ou interesses significativos.
O bem-estar humano que se busca e é um dos princípios da proposta
legislativa, abrange tanto o individual quanto o coletivo e deve estar alinhado à
proteção de direitos e dignidade fundamentais. Para promover o bem-estar podem
existir questionamentos no tempo em que a tecnologia já apresentou resultados, mas
 24

também questionamentos de como é construída. Por exemplo, no âmbito individual,

uma pessoa pode querer compreender o resultado que lhe foi entregue, caso se sinta
prejudicada. Já no âmbito coletivo, grupos de pessoas podem solicitar as variáveis
utilizadas no sistema e que possam causar algum tipo de discriminação ou danos.
As discussões atuais sobre o que se entende por bem-estar humano
abrangem também avaliar se há danos à privacidade, discriminação, perda de
habilidades, impactos econômicos adversos, riscos à segurança de infraestrutura
crítica e possíveis efeitos negativos de longo prazo no bem-estar social.
A automatização tem um enorme potencial para eliminar erros persistentes
em tarefas realizadas por agentes públicos e para produzir decisões consistentes.
Atualmente, o que se verifica é que os sistemas de decisão de hoje falham em
aproveitar o potencial de correção de erros humanos e, de fato, tornam-se dispositivos
para a propagação de erros e preconceitos. É necessário adotar um devido processo
tecnológico que proteja o interesse dos indivíduos com julgamentos justos,
responsáveis e transparentes, sem renunciar aos benefícios oferecidos pelos
sistemas automatizados de decisão (CITRON, 2007, p. 1313).
A possibilidade de ocorrência de danos em larga escala e o desafio de tornar
a tecnologia mais transparente, tem provocado abordagens regulatórias e técnicas. A
abordagem regulatória indaga sobre princípios éticos ou critérios organizacionais de
governança no desenvolvimento e emprego de inteligência artificial, que possam ser
observados pelos desenvolvedores para tratar a opacidade relativa aos resultados.
Torna-se um verdadeiro desafio ponderar entre eficiência e transparência
(explicabilidade) para alguns modelos. A abordagem técnica visa deixar modelos
opacos e com alta acurácia, mais explicáveis e transparentes (GUNNING; AHA, 2019,
p. 47).
A transparência17 no poder público é um princípio constitucional com origem
no debate de melhoria da gestão pública. A formulação do princípio da transparência
deriva das disposições iniciais da Constituição Federal de 1988, no qual constavam

17 A palavra transparência fez sua primeira aparição na Constituição Federal de 1988 com a Emenda
Constitucional n. 71/2012. Nesse contexto, o termo em questão está restrito a uma das características
essenciais para a organização de um sistema nacional de cultura. Tal sistema, em consonância com
os demais mecanismos de colaboração administrativa entre os entes federativos, pretende amplificar
as iniciativas culturais do Estado brasileiro (MARTINS, 2019, p. 1).
 25

apenas quatro menções18 19 20 explícitas ao termo “publicidade” (MARTINS, 2019, p.

2-3). Vale ressaltar que antes da Constituição de 1988, não havia nenhuma menção
aos princípios de publicidade e transparência. A publicidade e transparência
desempenham um papel crucial na prestação de contas e no conhecimento dos
cidadãos sobre o funcionamento do Estado. Logo, o uso da tecnologia para a gestão
dos órgãos e instituições públicas, criação de políticas públicas, fiscalização e
submissão do cidadão a uma decisão automatizada pode ser objeto do princípio da
transparência.
A discussão sobre a transparência e compreensão das decisões
automatizadas feitas pelo poder público é imprescindível para o cidadão que deseja
compreender e questionar o resultado que recebeu21. Há possibilidade de grande
impacto sobre os direitos individuais, especialmente no que se refere à autonomia,
igualdade e personalidade. Doneda et al (2018, p. 4) aprofundam sobre os problemas
gerados, principalmente em questões de percepção do indivíduo na sociedade e a
aplicação do princípio da igualdade:

18 Art. 5° ... LX - a lei só poderá restringir a publicidade dos atos processuais quando a defesa da
intimidade ou o interesse social o exigirem.
19 Art. 37. A administração pública direta, indireta ou fundacional, de qualquer dos Poderes da União,
dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade,
impessoalidade, moralidade, publicidade e, também, ao seguinte: ... § 1° A publicidade dos atos,
programas, obras, serviços e campanhas dos órgãos públicos deverá ter caráter educativo,
informativo ou de orientação social, dela não podendo constar nomes, símbolos ou imagens que
caracterizem promoção pessoal de autoridades ou servidores públicos. ...
20 Art. 225. Todos têm direito ao meio ambiente ecologicamente equilibrado, bem de uso comum do
povo e essencial à sadia qualidade de vida, impondo-se ao Poder Público e à coletividade o dever de
defendê-lo e preservá-lo para as presentes e futuras gerações. ... IV - exigir, na forma da lei, para
instalação de obra ou atividade potencialmente causadora de significativa degradação do meio
ambiente, estudo prévio de impacto ambiental, a que se dará publicidade.
21 Um exemplo de questionamento que o cidadão pode fazer e no caso do setor público utilizar sistemas
de inteligência artificial em processos de seleção e recrutamento de servidores públicos. A
transparência sobre o funcionamento do sistema é fundamental para garantir a justiça, a
imparcialidade no processo de seleção e o candidato compreender o motivo de não ter sido
selecionado. Em 2021, o governo do Rio de Janeiro fez um faz processo seletivo com Inteligência
Artificial para escolher ocupantes de cargos comissionados (EXTRA, 2021)
 26

Dessa forma, uma eventual representação equivocada em determinados

contextos sociais - por meio de um equívoco do algoritmo ou dos dados em
que o algoritmo se baseou - afetaria tanto a forma como o indivíduo se
percebe como também o modo como a sociedade o enxerga e o avalia,
afetando a sua integridade moral e a sua personalidade (BRITZ, 2008, p.
179). Ademais, se essa representação, conforme alertado por Lyon (2003),
acarretar a perda de chances e oportunidades do indivíduo na sociedade,
dar-se-á uma restrição indevida à sua autonomia, limitando a sua liberdade
de ação, suas escolhas econômicas e até mesmo existenciais. Por fim,
destaca-se também a possibilidade de violação do princípio da igualdade, na
hipótese de que a classificação e seleção operada por algoritmos produza
resultados desiguais para pessoas em situações semelhantes, afetando
negativamente as suas oportunidades de vida na sociedade (LYON, 2003, p.
27).

Dado que esses problemas têm a possibilidade de ocorrer, surge a

necessidade de uma espécie de instância na qual estas possíveis “falhas” possam ser
verificadas e avaliadas (WIMMER; DONEDA, 2021, p. 376). Entretanto, só é possível
recorrer de algo que se conheça e tenha uma transparência suficiente.
Em alguns países, os cidadãos podem ser opor a submissão de decisões
baseadas unicamente em sistemas automatizados22. Ainda, não se descarta a
possibilidade de uma revisão humana desses tipos de decisões ou o direito de uma
explicação que seja suficientemente clara para pessoas não técnicas.
Este assunto é tratado em pesquisas relativas à transparência na inteligência
artificial, em específico é denominado pela sigla inglesa xAI (eXplainable AI), também
conhecida por Inteligência Artificial Explicável. Portanto, para avaliar os aspectos
éticos, riscos e boas práticas23 é necessário compreender como o algoritmo do
sistema autônomo e inteligente (A/IS), foi e pode ser desenvolvido com transparência.
A xAI é um tema bastante explorado e visa criar técnicas que permitam
transparecer cada fase da construção de um sistema de IA e compreender os modelos
matemáticos criados. Trata-se de preocupação relativa à transparência dos sistemas,
tendo em vista que para algumas técnicas mais complexas, como redes neurais
profundas (deep learning), existe uma dificuldade em trazer uma explicação

22 GDPR. Art. 22 Autom ated individual decision-making, including profiling. The data subject shall have
the right not to be subject to a decision based solely on automated processing, including profiling,
which produces legal effects concerning him or her or similarly significantly affects him or her. ...
(European Union, 2016)
23 Um exemplo de boa prática, é a empresa desenvolvedora de sistemas de IA possuir um código de
ética para o desenvolvimento deste tipo de tecnologia. Este código de ética deve ser publicizado para
permitir que pessoas externas compreendam os cuidados realizados durante a construção do
sistema.
 27

compreensível para humanos sobre quais são os fatores que determinaram o

resultado entregue a partir de um conjunto de variáveis de entrada.
Por exemplo, um sistema de reconhecimento de temas de repercussão geral,
como utilizado no Supremo Tribunal Federal, pode indicar se um processo novo que
adentra o STF (2021) pertence a alguma das categorias identificadas para este
agrupamento. Porém, os usuários do sistema ou mesmo os programadores podem
não conseguir indicar quais as palavras, ou frases presentes no texto que levaram
àquela classificação.
Esse tema é tratado como o problema da opacidade dos A/IS, também
denominado problema da “black box” (WIMMER, 2019, p. 19) (FRAZÃO;
GOETTENAUER, 2021). Este problema está geralmente associado à falta de
confiabilidade do sistema ou na tecnologia em geral. De um lado, os usuários ou
aqueles que empregam o sistema, como juízes no caso citado dos temas de
repercussão geral, podem ter resistência em utilizar a tecnologia por não entenderem
como se deu a classificação. De outro lado, aqueles impactados por decisões
automatizadas opacas podem ter resistência em aceitar a decisão e não ter meios
para contestá-la, como o caso de um advogado que não teve seu processo
classificado corretamente ou conhecido para ser julgado no mérito.
Ao adentrar o tema transparência e compreender como a tomada de decisão
automatizada funciona, nos deparamos com outros temas associados, como no caso
da ética (EHRHARDT JÚNIOR; SILVA, 2020) (FRAZÃO, 2022). Ou seja, além de
demonstrar como o algoritmo funciona internamente, faz-se faz necessário também
justificar decisões realizadas na construção do projeto, como escolha dos dados para
treinamento e as configurações do algoritmo.
Abordar aspectos éticos dentro da IA não é uma tarefa trivial, devido à
dificuldade de determinar o que é “bom” , ou seja, é necessário compreender quais os
valores subjacentes e isso pode variar conforme o país e grupos de pessoas. Neste
sentido, Hofstede (1991) (2011) estuda seis dimensões culturais24 que podem servir

24 As dimensões de Hofstede (2011, p. 8) são (i) Distância com relação ao Poder, relacionada ao grau
de aceitação dos membros menos poderosos de uma sociedade com relação à distribuição desigual
de poder; (ii) Aversão à Incerteza, relacionada ao nível de estresse em uma sociedade diante de um
futuro desconhecido; (iii) Individualismo e Coletivismo, relaciona-se com a preocupação das pessoas
com elas mesmas (e seus próximos) contra a necessidade de pertencimento a grupos sociais que se
ajudam e são leais entre si; (iv) Masculino e Feminino, relacionada à divisão de papéis emocionais
entre mulheres e homens; (v) Visão de Longo Prazo contra Curto Prazo, relacionada à escolha do
 28

de insumo para mensurar e comparar valores culturais de diferentes grupos de

pessoas (países, regiões, grupos classificados por renda, educação ou idade). E
muitas vezes podemos encontrar estes tipos de variáveis em A/IS25.
Segundo Dignum (2019, p. 35), cada pessoa e ambiente sociocultural prioriza
e interpreta os valores morais e sociais diferentemente. Portanto, além de entender
como as decisões morais são tomadas de acordo com uma determinada teoria ética,
devemos considerar os valores culturais e individuais das pessoas e sociedades
envolvidas26 27 28
A partir desta problemática, algumas organizações internacionais buscaram
definir diretrizes para guiar o desenvolvimento de A/IS de forma confiável, segura e
ética, como o IEEE. O estabelecimento de diretrizes serve também para evitar
problemas com a tecnologia que já foram presenciados mundialmente, tanto
problemas relativos a restringir direitos quanto problemas técnicos.
Dentre as iniciativas, há o documento intitulado “Ethically Aligned Design:
Prioritizing Human Wellbeing with Autonomous and Intelligent Systems” , criado pelo
IEEE, que traz diretrizes sociais e políticas para que esses sistemas permaneçam
centrados no ser humano, além de servir aos valores e princípios éticos da
humanidade. Para isto, o foco do desenvolvimento da tecnologia deve ultrapassar a
solução de problemas técnicos ou otimizar o trabalho humano, mas também operar
de forma benéfica para as pessoas e o meio ambiente.

foco de atuação das pessoas: futuro ou presente e passado e (vi) Indulgência e Restrição, relacionado
à gratificação contra controle dos desejos humanos básicos relacionados a aproveitar a vida.
25 Um estudo interessante, que usa como base as dimensões de Hofstede e técnicas de mineração de
dados, identifica o impacto de traços culturais do Brasil sobre o índice de ceticismo em relação à
vacinação no País (QUINZANI; SANDRE, 2022). A partir de dados sobre individualismo, orientação
a longo prazo, masculinidade, distância de poder e indulgência em 117 países, além do índice de
ceticismo em relação às vacinas, foram aplicadas técnicas de mineração de dados para identificar se
fatores culturais podem ou não interferir nas campanhas de vacinação. O estudo acabou por não
encontrar relações entre as dimensões, mas ainda pretendem aplicar outras técnicas de mineração
de dados em trabalhos futuros.
26 Greene (2018) em seu livro “Tribos Morais”, aborda questões culturais e individuais das pessoas e
como a diferença de valoração destas questões podem gerar conflitos. O livro também aborda uma
possível solução para estes conflitos com uma filosofia moral global que possa mediar as moralidades
de grupos opostos.
27 Haidt (2001) aborda em seu trabalho “The emotional dog and its rational tail: a social intuitionist
approach to moral judgm ent”, o modelo intuicionista social como uma alternativa aos modelos
racionalistas. Neste modelo, defendido por Haidt, é demonstrada a importância das influências sociais
e culturais nas decisões, pelo fato das emoções e intuições morais conduzirem o raciocínio.
28 Prinz (2006, p. 31) menciona modelos da psicologia comportamental, como o de Schnall, Haidt e
Clore (2005), que demonstram a ligação entre emoção e o julgamento moral e que de certa forma
nos permite compreender esse julgamento diverso conforme os valores culturais de cada grupo.
 29

Esta tese discorre sobre o dever da transparência da inteligência artificial na

administração pública, baseado nos princípios constitucionais existentes e previstos
na Constituição Federal de 1988. Após constatada a falta de legislação que guie uma
transparência efetiva e capaz de atender às necessidades dos cidadãos, foram
analisadas diretrizes e normas técnicas internacionais que auxiliem na concretização
dos princípios de publicidade, motivação e transparência. Neste trabalho não serão
feitos recortes de atuações específicas de cada poder e não serão aprofundadas
questões de atribuição de responsabilidade civil em casos de falha da IA ou danos
gerados.
A partir os diversos impactos negativos conhecidos mundialmente que
sistemas de ia podem causar e alcance de pessoas afetadas, se faz necessário avaliar
medidas para reduzir este impacto. Apesar do dever constitucional de transparência
no poder público, o que se verifica atualmente é que os sistemas de IA não fornecem
informações suficientes para permitir o cidadão compreender e questionar seus
resultados. O problema se agrava na ocasião em que a tecnologia é adquirida de
empresas privadas e a própria instituição ou órgão público desconhece seu completo
funcionamento.
Com o crescente uso da inteligência artificial pelo poder público nas diferentes
esferas, que podem impactar milhões de pessoas, se faz necessário discutir como
essa tecnologia pode ser desenvolvida com responsabilidade para que os direitos dos
cidadãos sejam resguardados.
Dada a proposta deste trabalho, como metodologia será utilizado o método
hipotético-dedutivo, baseado essencialmente em pesquisa bibliográfica. A partir desse
método e do problema identificado, será feita uma análise de como este tema é tratado
internacionalmente e como pode ser alinhado à proposta do Marco Regulatório para
a IA Brasileiro e aos princípios constitucionais da publicidade, transparência e
motivação.
No capítulo dois são identificadas as etapas do ciclo de vida de um sistema
de inteligência artificial e como boas práticas internacionais auxiliam na identificação
de riscos e pontos de melhoria do sistema de IA, de modo a proteger principalmente
os direitos fundamentais.
A partir da análise das fases do desenvolvimento da inteligência artificial, o
conceito de IA explicável, a legislação brasileira vigente e como este tema é abordado
 30

internacionalmente, há riscos conhecidos e necessitam ser tratados. Há problemas

relatados mundialmente resultantes do uso não responsável da IA, principalmente na
violação de direitos fundamentais29.
No capítulo três é discorrido sobre o dever constitucional do poder público
com a transparência e se o uso de tecnologias, como a da inteligência artificial, para
auxílio ou realização de funções estatais também se submetem a este princípio.
Este tema toma maior relevância quando se trata da administração pública,
em razão do princípio da publicidade e da motivação que devem orientar as decisões
tomadas. A partir do momento que o poder público delega, parcial ou totalmente, o
poder de decisão realizado por agentes públicos a um modelo
computacional/matemático, torna-se imprescindível que possa ser analisado como os
fatores que influenciaram na decisão, para viabilizar o questionamento do resultado
obtido, assim como realizar o controle democrático da decisão administrativa30. É
necessário também avaliar se esse dever de transparência já é definido por princípios
constitucionais e o motivo da não aplicação.
O avanço da tecnologia, principalmente com a constante digitalização do
poder público, nem sempre é acompanhado pelo Direito. Entretanto, com o número
crescente de pessoas que podem ser afetadas principalmente em sistemas
desenvolvidos pelo poder público, é necessário avaliar como legislação pode
contribuir para o desenvolvimento responsável e transparente da tecnologia, além de
estabelecer melhores práticas no desenvolvimento da solução.
No capítulo quatro são exploradas as diretrizes estabelecidas para a
explicabilidade dos sistemas de IA (xA I) e como podem concretizar os princípios
constitucionais da transparência, publicidade e motivação, apesar dos desafios
técnicos de alguns modelos opacos.
Dentre as diversas formas de tratar o risco, a primeira dela que se faz
necessária, é conhecer internamente como o sistema de inteligência artificial funciona.

29 Um exemplo de violação de direito fundamental por um sistema de IA é uma pessoa ser presa, por
causa de uma falha em um sistema de reconhecimento facial, devido a uma classificação indevida.
30 Um exemplo é a utilização de um modelo matemático para definir a distribuição de recursos em um
programa social do governo. O modelo considera diversos fatores como renda, idade, número de
dependentes, dentre outros, para definir quem terá acesso aos benefícios. No entanto, é importante
que o resultado obtido seja analisado para garantir que a distribuição esteja conforme os princípios
da publicidade e da motivação, e que não haja nenhum tipo de discriminação ou favorecimento
indevido.
 31

Um sistema com grau adequado de transparência viabiliza outras medidas para

adoção.
Como a regulamentação continua em tramitação no Brasil, assim como na
Europa31, há muitos pontos que podem ser explorados e aprofundados, como a
aplicação da transparência no poder público brasileiro. É necessário avaliar os
diversos contextos, como níveis de autonomia do sistema, tipos de usuários e partes
interessadas dos sistemas de inteligência artificial, assim como os riscos envolvidos
de modo que sejam elencados níveis de transparência diferenciados.
No capítulo cinco é proposto uma Governança de Inteligência Artificial focada
na transparência, com vistas a proteger direitos fundamentais e viabilizar outras
medidas de governança, como a ética e identificação de riscos do sistema.
No final da tese também é abordado um estudo de caso que analisa os
problemas oriundos desta tecnologia no âmbito nacional e internacional e como a
transparência pode reduzir os impactos negativos.

31 European Parliament. EU AI Act: first regulation on artificial intelligence. Disponível em

https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-
regulation-on-artificial-intelligence. Acesso em junho de 2023.
 32

2 INTELIGÊNCIA ARTIFICIAL: CONCEITOS, RISCOS E DESAFIOS

A Inteligência Artificial (IA) é um ramo da ciência da computação que abrange

o desenvolvimento de sistemas inteligentes. As áreas contempladas pelo conceito de
IA incluem aprendizado de máquina, processamento de linguagem natural, visão
computacional, sistemas especialistas, robótica, entre outras. A IA não serve apenas
para tentar reproduzir o pensamento e comportamento humano, mas também tentar
reproduzir e inferir comportamentos verificados na natureza (SALAMA et al, 2016) e
nas próprias máquinas (SEDJELMACI, 2020).
Norvig e Russel (2013, p. 3-4) apresentam oito definições de IA de diferentes
autores e classificadas em duas dimensões, vejamos:

Tabela 1 - As definições que estão na parte superior da tabela se relacionam a processos de

pensamento e raciocínio, enquanto as definições da parte inferior se referem ao comportamento. As
definições do lado esquerdo medem o sucesso em termos de fidelidade ao desempenho humano,
enquanto as definições do lado direito medem o sucesso comparando-o a um conceito ideal de
inteligência, chamado de racionalidade. Um sistema é racional se “faz a coisa certa”, dado o que ele
sabe. (NORVIG; RUSSEL, 2013, p. 3-4).
 33

O uso de IA, principalmente quando os destinatários são pessoas, traz

consigo vários riscos e desafios, que incluem considerações éticas, como a existência
de vieses na tomada de decisões e violações de privacidade. Os riscos podem surgir
a partir da forma como a tecnologia é desenvolvida, da seleção de dados que treinam
o modelo matemático, entre outros.
No contexto do poder público, o uso da IA pode trazer inúmeros benefícios,
como maior eficiência e precisão na tomada de decisões, maior transparência e
melhor atendimento ao cidadão.
Há também existência de desafios na área técnica e do desenvolvimento da
tecnologia, como garantir sistemas de IA confiáveis e seguros, com destaque para a
transparência para fiscalizar estes pontos. Além disso, há desafios econômicos e
sociais, como substituição de empregos com a automatização de algumas tarefas e
prejudicar determinados grupos de pessoas, com a tomada de decisão automatizada
e tendenciosa. Outro desafio, principalmente no contexto do poder público, é garantir
a privacidade e a segurança dos dados dos cidadãos com informações sigilosas.
Para tratar alguns riscos e fornecer diretrizes para desenvolvimento
responsável da tecnologia, há necessidade da regulamentação em cada país e
padrões técnicos internacionais para reger o desenvolvimento e a implantação da IA.
Também é necessário que os sistemas utilizados no poder público garantam certos
níveis de transparência, para que os cidadãos poderem compreender como as
decisões são tomadas.
No geral, embora a IA tenha o potencial de revolucionar muitos setores,
principalmente no que tange o poder público e número de pessoas que pode atingir,
é importante abordar o que se entende por IA e por que se diferencia dos demais
sistemas, riscos e desafios técnicos inerentes. Com esta compreensão, pode-se
analisar quais os requisitos de transparência que estes sistemas devem ter, para
prestar contas ao cidadão, além de reduzir os riscos e problemas, antes que causem
grandes impactos negativos.

2.1 CONCEITUAÇÃO

Não há um consenso mundial sobre o termo “inteligência artificial” , a própria

OECD (Organisation for Economic Co-operation and Development) ao elaborar uma
 34

lista de recomendações pertinentes à regulação na área, relatou a dificuldade em

encontrar uma única definição.
A própria nomenclatura é objeto de discórdia, alguns denominam apenas
inteligência artificial (IA), enquanto outros chamam de sistemas autônomos e
inteligentes (autonomous and intelligent systems - A/IS) e alguns limitam à área
específica na qual o sistema foi desenvolvido, como aprendizado de máquina
(machine learning - ML).
Antes de abordar o que se entende por inteligência artificial, vale ressaltar o
que não é inteligência artificial, conforme figura abaixo.

Figura 1 - Diferença entre sistemas realizados por meio da programação clássica e sistemas de
aprendizado de máquina. Fonte: Própria.

Por programação clássica, compreende-se os sistemas nos quais as regras

são fixas e inseridas no código-fonte pelo programador. A partir dos dados de entrada,
as regras são executadas e determinadas respostas são fornecidas. Algumas
exceções podem ser efetuadas, como sistemas baseados em lógica de primeira
ordem e baseados em conhecimento32. Também é um ramo da inteligência artificial a

32 O componente central de um agente baseado em conhecimento é sua base de conhecimento. A

base de conhecimento é formada por um conjunto de sentenças expressadas por meio de uma
linguagem lógica de representação de conhecimento (NORVIG; RUSSEL, 2013, p. 210).
 35

lógica deôntica (CELLA; SERBENA, 1999) (SERBENA, 2008), utilizada

principalmente para representar normas jurídicas com operadores lógicos (SERBENA,
2017) (SERBENA, 2016).
Já por aprendizado de máquina, o qual é um dos ramos da inteligência artificial
mais utilizados, a partir de dados de entrada e respostas atribuídas a este conjunto de
dados, um algoritmo escolhido pelo programador pode criar inferências (regras) que
associem determinados dados de entrada às respostas específicas. Assim, a partir de
dados de entrada, nos quais as respostas não são conhecidas, é possível inferir as
respostas.

2.1.1 Inteligência Artificial

Neste tópico serão abordados alguns conceitos utilizados na literatura e em

diretrizes nacionais e internacionais. É necessário delimitar o que se compreende
tanto pelo significado de IA quanto termos correlatos.
Por inteligência artificial, os autores do termo McCarthy et al (2006),
conceituam por:

É a ciência e engenharia de fazer máquinas inteligentes, especialmente

programas de computador inteligentes. Está relacionado à tarefa semelhante
de usar computadores para entender a inteligência humana, mas a IA não
precisa se limitar a métodos biologicamente observáveis.

Já a OECD (2019), define sistema de IA por um sistema de informação que

pode, para um determinado conjunto de objetivos definidos por humanos, fazer
previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais.
Os sistemas de IA são projetados para operar com vários níveis de autonomia.
Vale destacar que muitas vezes se confunde a própria terminologia de
inteligência artificial com outras, por exemplo, a de mineração de dados. Considera-
se que inteligência artificial é um termo bastante genérico e pode abarcar diversas
técnicas, a qual se inclui nesta a mineração de dados.
Dentre os ramos e técnicas da inteligência artificial, há diversos como
programas de busca, reconhecimento de padrões, aprendizado de máquina, sistemas
multiagentes, ontologias, programação genética, entre outros. Dentro de cada ramo
 36

da IA, ainda há diversos tipos de algoritmos que podem ser utilizados e como vemos
a seguir, cada algoritmo pode fornecer um nível de explicabilidade diferente.
No geral, verifica-se que grande parte das aplicações de inteligência artificial
são baseadas em dados passados para gerar previsões futuras. Neste sentido, vale
destacar o conceito de mineração de dados, que reside numa das formas de análise
de padrões dos dados existentes. Han, Kamber e Pei (2012, p. 3) definem mineração
de dados como um dos passos para a extração do conhecimento. Dentre os passos
para a extração do conhecimento estão inclusos a (i) Limpeza dos dados para eliminar
ruídos e dados inconsistentes; (ii) Integração dos dados, que consiste em juntar
diversas fontes de dados; (iii) Seleção dos Dados, em que são selecionados os dados
relevantes para a análise; (iv) Transformação dos dados, em que os dados são
transformados/adequados em um formato apropriado para o uso; (v) Mineração dos
Dados, em que se aplica métodos para extrair padrões; (vi) Avaliação de padrões, em
que são avaliados os padrões obtidos; (vii) Visualização do conhecimento, etapa na
qual o usuário final visualiza os conhecimentos obtidos. Os passos podem ser
verificados a figura 2.
Na etapa 5 define-se que tipo de mineração desejamos fazer, que pode incluir
explicar o passado e/ou projetar resultados futuros. Para cada tipo escolhido há
inúmeros métodos que podem ser aplicados e que devem ser avaliados em cada caso.
Assim que nos referimos à IA, há, na verdade, inúmeras formas de representá-
la, mas quando nos referimos ao programa computacional, chamamos de modelo ou
modelagem matemática. Na aplicação de um modelo, para atingir um determinado
objetivo e com base em dados, é necessário passar por diversas fases como
compreensão do problema que será resolvido, dados disponíveis, preparação dos
dados, modelagem, avaliação e aplicação. E dentro de cada fase é possível
considerar alguns aspectos éticos e boas práticas para tratar riscos.
 37

Figura 2 - Processo de descoberta de conhecimento em mineração de dados. Fonte: Han, Kamber e

Pei (2012, p. 7).

2.1.2 Ciclo de vida da IA

O ciclo de vida da IA abrange os estágios envolvidos no desenvolvimento e

implantação de sistemas de Inteligência Artificial. Entende-se que o processo iterativo,
ou seja, todas as fases são percorridas na busca de uma melhoria contínua e
refinamento do sistema.
É importante documentar cada fase e tomada de decisão do projeto, além de
considerar questões éticas, legais e sociais da IA. Essa documentação é necessária
 38

para questões de transparência, como prestação de contas em caso de

questionamento ou averiguação de algum problema identificado.
A OECD (2019) traz no relatório de recomendações o conceito de "Ciclo de
vida do sistema de IA” (OECD, 2019), que elenca as seguintes fases (i) design, dados
e modelos; (ii) verificação e validação; (iii) implantação e (iv) operação e
monitoramento. Essas fases geralmente ocorrem de maneira iterativa e não são
necessariamente sequenciais. A decisão de retirar um sistema de IA da operação
pode ocorrer a qualquer momento durante a fase de operação e monitoramento, se
identificada existência de um dano grave iminente.

Design, Dados e M odelos

A fase “design, dados e modelos” , contempla desde a concepção do sistema

de A/IS, como planejamento e definição da arquitetura do sistema, até à coleta e
processamento de dados, bem como construção de modelos. Nesta fase, abordagens
de transparência e ética podem ser feitas, como a justificativa para a escolha de
determinados algoritmos para criação dos modelos, níveis de transparência dos
algoritmos escolhidos, seleção de dados de treinamento e teste. Acrescentadas a esta
justificativa, está a verificação de aderência à legislação vigente.
Como legislação vigente, podemos mencionar aspectos da Lei Geral de
Proteção de Dados, com avaliação se há base legal para tratar estes dados no
modelo, se os dados foram anonimizados devidamente e se o sistema trata dados
conforme a finalidade proposta. Outra legislação pertinente é a própria Constituição
Federal, com o artigo 37 que menciona que a administração pública direta e indireta
obedecerá aos princípios da publicidade. Já em contextos específicos, outros artigos
podem ser aplicados, como a área jurídica em que se aplica o artigo 93, inc. IX da
Constituição Federal, que aborda o dever de motivação de decisões administrativas e
judiciais. Como amplamente verificado, diversos tribunais já utilizam A/IS para triagem
de processos judiciais33.

33 Um exemplo do uso deste tipo de tecnologia é o do sistema Bem-te-vi do TST. Conforme informado
no Painel do CNJ (https://paineisanalytics.cnj.jus.br) relativo ao mapeamento de sistemas de
inteligência artificial utilizados no Judiciário, “o objetivo do sistema Bem-te-vi é auxiliar os Gabinetes
na gestão de seu acervo, especialmente na atividade de triagem. ... O conteúdo das petições de RR
e AIRR, do despacho de admissibilidade e dos acórdãos são utilizados como entrada para algoritmos
 39

Quanto aos aspectos éticos, nesta fase é interessante observar as variáveis

utilizadas e avaliar se devem ser utilizadas. Neste ponto destacamos algumas
variáveis como gênero, raça e orientação sexual que, se utilizadas indevidamente e
sem definição de critérios rigorosos, podem gerar sistemas que causem danos a um
grupo de pessoas. Os danos causados serão detalhados na seção referente aos
riscos.

V erifica ção e Validação

A fase “verificação e validação” , reside em fornecer mecanismos para avaliar

a “confiança” do A/IS. Nesta etapa também envolve a realização de ajustes dos
modelos executados para maximizar o desempenho (OECD, 2022, p. 49). Para avaliar
o desempenho são realizadas avaliações em várias dimensões e configurações.
Uma discussão que envolve a questão do desempenho também está
relacionada à etapa anterior, do design, em que certos tipos de algoritmos são
escolhidos pela maior acurácia. Entretanto, nem sempre a escolha dos algoritmos e
configurações do algoritmo com maior desempenho trazem maior transparência,
portanto, deve ser ponderada a busca do maior desempenho com a transparência do
sistema.
Como mencionado por Menzies e Pecheur (2005, p. 1), dificilmente um A/IS
possuirá todos os recursos para que um analista de sistemas realize a tarefa de
averiguação e validação, mas esforços durante a fase inicial de concepção do sistema
são de grande valia para garantir que se trata de uma IA confiável. Dentre os recursos
estão (i) Um sistema baseado em modelo declarativo (declarative model-based
system); (ii) Um sistema que é executável desde o início do desenvolvimento. (iii) Um
sistema de representação de conhecimento (knowledge-level system). (iv) Um
sistema não determinístico (nondeterministic system); (v) Software complexo
(complex software) e (vi) Software adaptativo (adaptive software) (MENZIES;
PECHEUR, 2005, p. 6).

de aprendizado supervisionado, mais precisamente o XGBoost, cujas saídas são relativas às

decisões Ministros do TST” .
 40

Im plantação

Quanto à fase de implantação, a OECD (2022, p. 54) define que esta reside
em colocar o sistema de IA para funcionar com dados reais, assim como considerar
todos os aspectos de segurança do sistema e funcionamento. A implantação em
produção envolve execução da versão piloto do sistema (piloting), verificação de
compatibilidade com sistemas legados, garantia de conformidade com a legislação
vigente, gerenciamento de mudanças organizacionais e avaliação da experiência do
usuário.
Em relação à garantia de conformidade com a legislação vigente, é de suma
importância ter conhecimento de todos os dados que serão utilizados como variáveis
de entrada do sistema, bem como da autorização para uso. Outro aspecto é a
documentação da comunicação que possa ser realizada com outros sistemas.

O peração e M onitoram ento

Por fim, a fase de monitoramento compreende a operação do A/IS e a

avaliação contínua de suas recomendações e impactos (intencionais e não
intencionais) à luz dos objetivos e considerações éticas do sistema (OECD, 2022, p.
34). Nesta fase, os problemas são identificados e os ajustes são feitos em cada etapa
do ciclo de vida ou, se necessário, retirado o A/IS da produção.
Como insumo para avaliar a atividade de monitoramento estão (i) Ferramentas
ou processos para desenvolver ou manter IA confiável e (ii) Mecanismos de
monitoramento de desempenho (OECD, 2022, p. 34). Dentre as ferramentas podemos
citar (i) diretrizes/normas internas/normas técnicas; (ii) modelos de governança; (iii)
modelos para gestão de riscos; códigos de conduta para cada área de atuação;
definição de processos (process standards); e (iv) certificações técnicas e ferramentas
para segurança da informação.

2.2 PILARES DA INTELIGÊNCIA ARTIFICIAL

O grupo do IEEE criou as diretrizes internacionais para criação de uma

inteligência artificial ética, denominado “IEEE Global Initiative on Ethics of
 41

Autonomous and Intelligent Systems’’. Estas diretrizes são baseadas em 3 pilares

responsáveis por guiar a criação dos princípios, (i) Valores humanos universais, (ii)
Autodeterminação política e agência de dados e (iii) Confiabilidade técnica (IEEE,
2019, p. 10).
Com relação ao primeiro pilar, valores humanos universais, os A/IS podem
contribuir para o bem na sociedade, ao serem projetados para respeitar os direitos
humanos e aumentar o bem-estar. Isso somente é possível com a capacitação e
disseminação da criação e uso responsável da tecnologia.
IEEE também menciona que a tecnologia deve ser projetada para proteger o
meio ambiente e recursos naturais. Neste ponto, destaca-se a necessidade de
atuação do poder público para criação de políticas públicas alinhadas com este
propósito, tanto de cooperação internacional quanto para benefício de todas as
pessoas.
Quanto ao segundo pilar, autodeterminação política e agência de dados, o
IEEE determina que os A/IS projetados e executados de forma responsável, têm um
grande potencial para contribuir com a liberdade política e a democracia. Para isto, as
pessoas devem ter acesso e controle sobre os dados que constituem e representam
a sua identidade. Neste ponto vemos mais uma vez a importância de uma conduta
pró-ativa do poder público nesse sentido, que é detentor dos dados do cidadão e que
deve resguardar a autodeterminação informativa. Inclusive, a Lei Geral de Proteção
de Dados brasileira prevê a autodeterminação informativa no artigo 2°, inciso II.
A autodeterminação informativa permite que os titulares dos dados pessoais
tenham poder de gerenciar os tratamentos e operações realizados com suas
informações pessoais, e quando não for possível ter esse controle, que seja garantida
a transparência com relação aos dados. Ao seguir estas orientações, os A/IS podem
melhorar a eficácia, aumentar a confiança e fornecer subsídios para fiscalização de
como o governo utiliza os dados.
Com relação ao terceiro pilar, o da confiabilidade técnica, indica que os A/IS
devem fornecer serviços confiáveis mediante o funcionamento correto e sem causar
danos ou prejuízos para as pessoas e sociedade. Por confiança, compreende-se que
o sistema cumprirá de forma confiável, segura e ativa os objetivos para os quais foi
projetado, enquanto consideram os objetivos já citados anteriormente sobre valores
humanos, legislação e ética. Para atestar a confiança, devem ser desenvolvidos
 42

processos de validação e verificação, assim como aspectos de explicabilidade

(transparência), que permitam auditar e certificar estes sistemas.
Por certificação, compreende-se que sejam executadas por empresas com
qualificação na área, além da participação ou controle por entes públicos. No Brasil,
ainda não visualizamos uma entidade pública que realize ou acompanhe este tipo de
certificação.
O IEEE possui um programa de certificação chamado ECPAIS (Ethics
Certification Program for Autonomous and Intelligent Systems)34. O objetivo do
ECPAIS é criar especificações para processos de desenvolvimento que promovam a
transparência, responsabilidade e redução do viés algorítmico em A/IS.

2.3 PRINCÍPIOS DA INTELIGÊNCIA ARTIFICIAL

Quanto aos princípios envolvidos, há seis grupos que procuraram mapear,

são eles o OECD (2019), Brasil, FAT-ML, ACM (2017), IEEE (2019) e do Escritório
para Inteligência Artificial do Serviço de Governo Digital do Reino Unido (GOV.UK,
2019). Dessa forma, verificaremos o que estes grupos compreendem sobre princípios
e possíveis convergências.
Será demonstrado que os princípios criados por diferentes institutos
convergem em determinados pontos. A seguir uma tabela que compara os princípios
similares de acordo os conceitos apresentados.
Verifica-se que alguns pontos convergem entre as diversas definições,
principalmente o dever de auditabilidade e transparência (explicabilidade).

2.3.1 OECD e Brasil (EBIA)

Os Princípios de IA criados pela OCDE (Organisation for Economic

Cooperation and Development) em 2019 (OECD, 2019), promovem que o uso de IA
seja inovador e confiável, além de respeitar os direitos humanos e os valores
democráticos.

34 IEEE. The Ethics Certification Program for Autonomous and Intelligent Systems (ECPAIS). Disponível
em https://standards.ieee.org/industry-connections/ecpais/. Acesso em: junho de 2022.
 43

Tabela 2 - Quadro comparativo dos princípios de governança de IA dos grupos FAT-ML e ACM, IEEE
e o Reino Unido. Fonte: Própria.
 44

Os princípios previstos pela OCDE são (i) crescimento inclusivo, o

desenvolvimento sustentável e o bem-estar; (ii) valores centrados no ser humano e
na equidade; (iii) tra nspa rên cia e explicabilidade; (iv) robustez, segurança e
proteção e; (v) a responsabilização ou a prestação de contas {accountability).
Pelo primeiro princípio, crescimento inclusivo, o desenvolvimento sustentável
e o bem-estar, entende-se que a tecnologia deve contribuir para o crescimento geral
e a prosperidade para todos - indivíduos, sociedade e planeta - e promover os
objetivos de desenvolvimento global.
Pelo princípio valores centrados no ser humano e na equidade, define-se que
os sistemas de IA devem ser concebidos para respeitar o Estado de Direito, os direitos
humanos, os valores democráticos e a diversidade, também devem incluir
salvaguardas adequadas para garantir uma sociedade justa e equitativa.
Pelo princípio transparência e explicabilidade, reside na transparência do
modo de funcionamento dos sistemas de IA para garantir que as pessoas saibam
quando interagem com um sistema e questionem os resultados.
Pelo princípio robustez, segurança e proteção, define-se que os sistemas de
IA devem funcionar de forma robusta e segura. Os riscos iminentes devem ser
avaliados e gerenciados de forma contínua.
Por fim, pelo princípio responsabilização ou a prestação de contas, é previsto
que as organizações e indivíduos que desenvolvem, implantam ou operam sistemas
de IA devem garantir o seu funcionamento adequado e responsabilizados na
ocorrência de qualquer dano.
A Estratégia Brasileira de Inteligência Artificial - EBIA {BRASIL, 2021, p. 17)
cita que o Brasil endossou os princípios definidos pela OCDE35 para uma gestão
responsável dos sistemas de IA.

35 Masseno (2020) realizou um estudo sobre as consequências jurídicas aos Princípios da OCDE para
a Inteligência Artificial, especialmente em matéria de Proteção de Dados e destaca o artigo 20 da
LGPD. Do como como o artigo está escrito, gera limitações no exercício dos direitos do cidadão. O
artigo 20 deveria prever que serão permitidas as intervenções humanas sempre que necessário.
 45

2.3.2 ACM

Outra entidade relevante internacionalmente é a ACM (Association for

Computing Machinery), que também elaborou princípios associados ao uso da IA, são
eles (ACM, 2017, p. 2): (i) conscientização; (ii) acesso e reparação; (iii)
responsabilidade; (iv) explicação; (v) origem dos dados; (vi) auditabilidade e (vii)
validação e teste.
Por conscientização, entende-se que proprietários, arquitetos de software,
desenvolvedores, usuários e outras partes interessadas de sistemas de IA devem
estar cientes dos possíveis vieses envolvidos em seu projeto, implementação e uso.
Os reguladores devem incentivar a adoção de mecanismos que permitam
questionamentos e reparação para indivíduos e grupos afetados adversamente por
decisões baseadas em algoritmos.
Por responsabilidade, define-se que as instituições devem ser
responsabilizadas pelas decisões tomadas pelos algoritmos que utilizam, mesmo que
não seja viável explicar detalhadamente como os algoritmos produzem seus
resultados.
Por explicação, os sistemas e instituições que usam a tomada de decisão
algorítmica, são incentivados a produzir detalhes sobre os procedimentos executados
pelo modelo e as decisões específicas tomadas. Isso é particularmente importante em
contextos de políticas públicas.
Por origem dos dados, implica na descrição da forma como os dados de
treinamento foram coletados. Também devem ser verificados possíveis vieses
induzidos pela coleta manual ou automatizada dos dados. O escrutínio público dos
dados oferece oportunidade máxima para correções. No entanto, preocupações com
privacidade, proteção de segredos comerciais ou revelação de análises que possam
permitir que agentes mal-intencionados manipulem o sistema, podem justificar a
restrição de acesso aos indivíduos qualificados e autorizados.
Por auditabilidade, compreende-se que modelos, algoritmos, dados e decisões
devem ser devidamente documentados para realização de auditoria em casos de
suspeita de danos.
Por fim, na validação e teste, define que as instituições devem usar métodos
rigorosos para validar seus modelos e documentar as decisões de projeto. Em
 46

particular, devem ser realizados testes com uma certa frequência para avaliar e
determinar se o modelo gera dano discriminatório, principalmente em modelos de
aprendizagem contínua ou alterações no projeto. As instituições são incentivadas a
tornar públicos os resultados desses testes.

2.3.3 FAT-ML

O grupo denominado FAT-ML {Fairness, Accountability, and Transparency in

Machine Learning), um grupo de acadêmicos que estuda o tema de governança de
inteligência artificial, delimitou uma lista dos princípios-chave que devem ser
observados pelo setor privado e pelo governo ao lidar com algoritmos, são eles a
responsabilidade, explicabilidade, precisão/acurácia, auditabilidade e justiça.
Por responsabilidade, reside em disponibilizar para o destinatário da decisão
automatizada vias de reparação em caso de efeitos adversos individuais ou sociais.
Também é sugerido que se designe uma pessoa responsável pela solução de tais
problemas.
Por explicabilidade, define-se que todos os dados que conduziram à decisão
automatizada, assim como o próprio modelo matemático, possam ser fornecidos aos
usuários finais e outras partes interessadas em termos não técnicos.
Por precisão e acurácia, entende-se que seja mapeada qualquer fonte de erro
e incerteza do modelo matemático, assim como as fontes de dados para identificar os
possíveis erros existentes e procedimentos para tratá-los.
Por auditabilidade, consiste em permitir que terceiros investiguem, entendam
e revisem o comportamento do algoritmo. Estas informações devem ser
compartilhadas em um grau de transparência suficiente para viabilizar o
monitoramento e verificação.
Por fim, por justiça, entende-se que as decisões algorítmicas não devem criar
impactos discriminatórios ou injustos ao comparar diferentes dados demográficos {por
exemplo, raça, sexo, etc.).
 47

2.3.4 IEEE

A partir dos pilares mencionados no tópico anterior, princípios podem ser

derivados deles. Segundo o IEEE (2019, p. 4), o desenvolvimento e a implementação
de sistemas autônomos e inteligentes, baseados em valores éticos, é guiado pelos
seguintes princípios gerais: (i) Direitos Humanos; (ii) Bem-estar; (iii) Agência de
dados (Data Agency ); (iv) Eficácia (Effectiveness); (v) Transparência; (vi)
Fiscalização (Accountability); (vii) Conscientização do uso indevido e (viii)
Competência ( Competence).
A relação entre os pilares e os princípios pode ser verificada na tabela abaixo.

Tabela 3 - Mapeamento dos Pilares e Princípios da Inteligência Artificial. Fonte: IEEE (2019).
Tradução nossa.

Aqui são abordadas orientações do IEEE no âmbito internacional, logo, devem

ser readequadas ao que a legislação de cada país prevê. Pelo princípio de direitos
humanos, compreende-se que os A/IS devem ser criados e operados para respeitar,
promover e proteger os direitos humanos internacionalmente reconhecidos. Neste
caso também podemos falar do que a própria legislação nacional prevê.
 48

Para promover, podemos citar medidas de conscientização sobre os impactos

sociais das tecnologias. Além de buscar adequar os sistemas tanto na legislação
nacional quanto em normas jurídicas e técnicas internacionalmente reconhecidas.
Por bem-estar, o documento prevê que criadores de A/IS devem adotar o
aumento do bem-estar humano como critério primário durante o desenvolvimento da
tecnologia, ou seja, que a tecnologia não seja criada unicamente com o propósito de
maior lucro financeiro para as organizações, mas também de benefícios sociais
amplos.
Para mensurar o aumento do bem-estar na sociedade, é necessário existir
indicadores claros desse benefício. O IEEE (2019, p. 6) cita que métricas comuns de
sucesso incluem lucro, produto interno bruto e níveis de consumo. Embora
importantes, essas métricas não representam necessariamente o bem-estar dos
indivíduos, do meio ambiente e da sociedade. Há fatores importantes que também
representam o bem-estar, e que podem ser de difícil mensuração, como psicológicos,
sociais, econômicos e ambientais.
Uma maneira de avaliar, é considerar estes fatores ao avaliar consequências
negativas não intencionais, oriundas da tecnologia, que podem diminuir o bem-estar
humano. Para exemplificar, ao desenvolver uma tecnologia que viabilize a contratação
de funcionários terceirizados, avaliar se todas as variáveis utilizadas são realmente
necessárias e se alguma poderia causar algum dano que resulte na não contratação
de alguém por características físicas, por exemplo.
Quanto ao princípio agência de dados, o documento define que os criadores
de A/IS devem capacitar os indivíduos para acessar e compartilhar seus dados com
segurança e controle sobre sua identidade. A Lei Geral de Proteção de Dados já tratou
parte deste tema, principalmente quanto ao uso dos dados mediante consentimento e
definição do tempo de retenção, mas há ainda casos que o poder público pode tratar
estes dados sem necessariamente solicitar o consentimento ou não ter uma política
clara de proteção de dados.
Os cidadãos devem ter o direito de acessar, compartilhar e se beneficiar de
seus dados e das informações obtidas pelo cruzamento dos dados. Neste ponto, os
A/IS podem criar classificações a partir dos dados analisados e o IEEE (2019, p. 5)
defende que também devem ter acesso a estes resultados e saber o que é feito com
estes dados criados.
 49

Quanto ao princípio eficácia, os criadores e operadores de A/IS devem

fornecer evidências da eficácia e adequação ao propósito para o qual foi criado.
Quanto ao princípio da transparência, que será explorado no tópico seguinte, o
documento do IEEE define que o resultado de uma decisão de um A/IS deve ser
sempre rastreável. Quanto ao princípio fiscalização, o IEEE define que o A/IS deve
ser criado e operado para fornecer uma justificativa inequívoca para todas as decisões
tomadas. O principal ponto neste princípio, tem muita relação com questões jurídicas,
para fins de definir de quem será a responsabilidade quando esses sistemas
causarem danos.
Neste ponto e dentro do contexto governamental, o IEEE orienta que o
governo deve identificar os tipos de decisões e operações que nunca devem ser
delegadas a tais sistemas. Ainda, deve-se adotar regras e padrões que garantam o
controle humano efetivo sobre decisões oriundas destes sistemas.
Também são necessárias evidências da transparência do desenvolvimento da
tecnologia, regras para operação da tecnologia, e se estas foram seguidas, além de
métricas para mensurar a eficácia do sistema. Neste ponto, vemos que alguns
princípios se complementam, assim como medidas que auxiliam na fiscalização.
Quanto ao sétimo princípio, o da conscientização do uso indevido, os
criadores de A/IS devem tratar potenciais usos indevidos e riscos oriundos de um A/IS
em operação. Por fim, no oitavo princípio, o da competência, os criadores de A/IS
devem especificar e os operadores devem seguir, todas as diretrizes para a IA ser
operada de forma segura e eficaz. A partir do momento que um A/IS é desenvolvido,
as regras para funcionamento também devem ser claras e transparentes. Como temos
a figura do criador da tecnologia e a figura do operador, que pode ser uma pessoa
sem conhecimento técnico, mas que utiliza o sistema, este deve conhecer e operar o
sistema e seguir as orientações. Isto é necessário para o funcionamento do que foi
previsto e garantir a eficácia da segurança das pessoas submetidas ao resultado
advindo da tecnologia.

2.3.5 Reino Unido

No documento "A guide to using artificial intelligence in the public sector’

(GOV.UK, 2019), elaborado pelo Reino Unido, são identificados aspectos relevantes
 50

relativos ao desenvolvimento e à implementação de soluções de IA nas organizações

públicas. São eles (i) qualidade de dados; (ii) justiça (fairness); (iii) accountability; (iv)
privacidade; (v) interpretabilidade e transpa rên cia e (vi) custos.
O primeiro item se refere a qualidade de dados, que implica em conhecer o
quanto as fontes de dados atendem ao objetivo proposto para o uso da tecnologia. A
identificação de dados enviesados na base, prejudica a qualidade de dados. O
segundo item, muito comum em outros princípios, é o da justiça. O relatório do Reino
Unido prevê que os modelos devem ser treinados e testados com conjuntos de dados
relevantes, precisos e generalizáveis. Além disso, o sistema de IA deve ser implantado
por usuários treinados, de forma responsável e sem vieses.
O terceiro item, accountability, determina que seja levantado o responsável
pelos resultados do modelo matemático, assim como o grau de responsabilidade que
será atribuída aos arquitetos do sistema e desenvolvedores. O quarto item,
privacidade, prevê que o sistema atenda aos preceitos da Lei Geral de Proteção de
Dados e legislações correlatas do país. Já o quinto item, interpretabilidade e
transparência, determina que as partes interessadas e afetadas pelo sistema,
possam saber como o modelo de IA chegou ao resultado.
Por fim, com relação ao item custos, deve ser considerado quanto custará
para construir, executar e manter uma infraestrutura de IA, treinar e educar a equipe
e se o trabalho para instalar a IA, pode superar qualquer economia potencial.

2.4 RISCOS E DESAFIOS

Apesar os inúmeros benefícios que a tecnologia nos proporciona, para pensar

em uma regulamentação e conjuntos de boas práticas, é necessário pensar nos riscos
associados. Muitos dos impactos negativos já são presenciados mundialmente como
imagens e vídeos falsos usados para espalhar desinformação, robôs online utilizados
para manipular a opinião das pessoas, ou ainda a existência de algoritmos que
perpetuam práticas de discriminação e preconceito. Os sistemas de IA operam em um
nível muito mais complexo, do que outras tecnologias, podem resultar em mais e
novas fontes de riscos.
Além da identificação dos riscos, faz-se necessário avaliar formas de tratá-
los, o que muitas vezes pode ser uma tarefa nada trivial, principalmente quando já há
 51

dificuldade em compreender como os próprios modelos de inteligência artificial

funcionam internamente. Há normas técnicas nacionais e internacionais voltadas ao
gerenciamento de riscos em sistemas de informação de modo geral, como o caso da
ABNT NBR ISO/IEC 27005 (2019). Quando se trata de riscos em A/IS, há normas
exclusivas e dedicadas a esse assunto, como na ISO/IEC 23894 (2023).

2.4.1 Gerenciamento de riscos em sistemas de informação

A norma técnica internacional ISO/IEC 27000 (2018, p. 8), que foi referência
para a criação das normas técnicas brasileiras nesta área, define risco por "efeito da
incerteza nos objetivos” . Já a norma brasileira ABNT NBR ISO/IEC 27005 (2019, p.
11), referência para a gestão de riscos de segurança da informação, define risco
como:

Um risco é a combinação das consequências que podem seguir após a

ocorrência de um evento indesejado e da probabilidade da ocorrência deste.
O processo de avaliação de riscos quantifica ou descreve o risco
qualitativamente e capacita os gestores a priorizar os riscos de acordo com a
sua gravidade percebida ou com outros critérios estabelecidos.

O processo de avaliação de riscos consiste na identificação de riscos, análise

de riscos e avaliação de riscos. A identificação de riscos, conforme a norma ABNT
NBR ISO/IEC 27005 (2019, p. 11), é uma das etapas da avaliação de riscos no
processo de gestão de segurança da informação. Essa etapa identifica e lista todos
os riscos que afetem os ativos36 de informação da organização.
Após o levantamento dos riscos, a análise consiste em detalhá-los
proporcionalmente ao nível de criticidade dos ativos, da extensão das

36 Para a norma ABNT NBR ISO/IEC 27005 (2019, p. 12) um ativo é “algo que tem valor para a
organização e que, portanto, requer proteção. Para a identificação dos ativos, convém que se tenha
em mente que um sistema de informação compreende mais do que hardware e software”. Como a
norma destaca, um sistema de informação compreende mais do que hardware e software, aqui
devem ser considerados os impactos indesejados que a tecnologia produza em terceiros e que não
afetem diretamente a empresa. Decisões injustas ou com vieses discriminatórios, além de prejudicar
terceiros, podem afetar o patrimônio da empresa ao ser midiatizado ou judicializado o problema, além
de afetar a imagem pública e confiabilidade na tecnologia.
 52

vulnerabilidades37 conhecidas e dos incidentes38 que já ocorreram (ABNT, 2019, p.

15-16). O processo de avaliação de riscos busca (i) determinar o valor dos ativos de
informação; (ii) identificar as ameaças39 e vulnerabilidades aplicáveis existentes; (iii)
identificar os controles existentes e seus efeitos no risco identificado; (iv) determinar
as consequências possíveis; e (v) priorizar os riscos derivados e ordenar conforme os
critérios de avaliação de riscos estabelecidos na definição do contexto (ABNT, 2019,

p. 11).
Dada a priorização dos riscos, há a decisão de como tratá-los, há quatro
opções disponíveis, (i) modificação do risco; (ii) retenção do risco; (iii) ação de evitar
o risco e (iv) compartilhamento do risco, conforme figura abaixo. Após o tratamento
ao risco, ainda podem existir riscos residuais que devem ser considerados, enquanto
a tecnologia continuar implantada.
A modificação do risco envolve a implementação de medidas para modificar a
probabilidade ou o impacto do risco. Essas medidas podem incluir mudanças no
processo, na tecnologia, na segurança da informação ou em outras áreas relevantes
para reduzir a probabilidade ou o impacto. Essa opção é adequada para riscos que
podem ser controlados ou mitigados de alguma forma.
Já a retenção do risco envolve aceitá-lo sem implementar medidas adicionais
de controle ou mitigação. Essa opção é adequada para riscos que são considerados
aceitáveis nos limites de tolerância estabelecidos pela organização.

37 Por vulnerabilidade, a norma ABNT NBR ISO/IEC 27005 (2019, p. 14) destaca que uma
“vulnerabilidade não causa prejuízo p or si só, pois precisa haver uma ameaça presente para explorá-
la ”. Ou seja, a vulnerabilidade é uma fraqueza ou falha em um sistema de informação que pode ser
explorada por uma ameaça. No exemplo mencionado na nota de rodapé anterior, uma vulnerabilidade
consiste em um servidor, que armazena o banco de dados de treinamento, não ter medidas de
segurança eficazes e que impeçam o acesso e alteração indevida por terceiros.
38 A norma ISO/IEC 27000 (2018, p. 4) define incidente de segurança da informação como um evento
isolado ou uma série de eventos indesejados, ou inesperados de segurança da informação. Estes
eventos têm uma probabilidade significativa de comprometer as operações de uma empresa e
ameaçar a segurança da informação.
39 Para a norma ABNT NBR ISO/IEC 27005 (2019, p. 12), uma ameaça “tem o potencial de
com prom eter ativos como informações, processos e sistemas e, por isso, também as organizações.
Am eaças podem ser de origem natural ou humana e podem ser acidentais ou intencionais. Convém
que tanto as fontes das ameaças acidentais, quanto as intencionais, sejam identificadas. Uma
ameaça pode surgir de dentro ou de fora da organização. ... Algum as ameaças podem afetar mais
de um ativo. Nesses casos, elas podem provocar impactos diferentes, dependendo de quais ativos
são afetados.” No contexto do uso da inteligência artificial, um exemplo de uma ameaça existente é
a violação da integridade da base de dados de treinamento. Como a tecnologia toma decisões
baseado nos dados que recebe de entrada, caso sejam fornecidos dados alterados indevidamente,
a tecnologia pode reproduzir a decisão indevida em projeções futuras.
 53

Figura 3 - Atividades de tratamento de riscos em sistemas de informação. Fonte: ABNT (2019, p. 21).

Por ação de evitar o risco, considera a implementação de medidas para

eliminar risco. Essa opção é adequada para riscos que são considerados inaceitáveis
ou muito críticos para a organização e que não podem ser mitigados ou controlados
por outras medidas.
Por fim, compartilhamento do risco consiste na transferência para terceiros,
como seguradoras ou fornecedores, por intermédio de acordos contratuais ou outros
meios. Essa opção é adequada para riscos que são considerados inaceitáveis ou
muito críticos para a organização e que não podem ser mitigados ou controlados por
outras medidas.
A gestão de riscos é um processo contínuo que deve ser revisado
regularmente para garantir que os riscos sejam gerenciados adequadamente. Ainda
não há normas técnicas brasileiras que tratam de riscos exclusivamente para A/IS.
Em 2023 as entidades internacionais ISO e IEC lançaram a norma ISO/IEC 23894 que
 54

oferece orientação para gerenciar riscos relacionados ao desenvolvimento e uso de

IA. Nesta norma também há exemplos de implementação e integração de
gerenciamento de riscos em todo o ciclo de vida de desenvolvimento de IA, além de
informações detalhadas sobre fontes de risco específicas.

2.4.2 Riscos associados aos Sistemas de Inteligência Artificial

A discussão sobre os riscos associados aos sistemas de inteligência artificial

é extremamente importante e considera o aumento crescente no uso dessa
tecnologia. Sistemas de IA são projetados para tomar decisões e realizar tarefas de
forma autônoma, o que pode levar a uma série de riscos e ameaças, que incluem
preconceito, discriminação, falta de transparência e privacidade. Esses riscos podem
ter impactos significativos na sociedade, afetar direitos fundamentais, tais como a
liberdade de expressão, privacidade, igualdade e segurança. A rápida evolução da
tecnologia de IA pode dificultar a antecipação e gerência desses riscos.
Quanto à discriminação, Doneda et al (2018, p. 5), elencam razões pelas quais
os algoritmos podem produzir resultados discriminatórios e dividem-se em dois
grandes grupos (i) quando há dados que refletem preconceitos e (ii) quando o método
estatístico utilizado implica em resultado discriminatórios. Ainda, há uma terceira
possibilidade, o da generalização.
No primeiro grupo, a qualidade da decisão automatizada é baseada em um
algoritmo com uma correlação direta com a qualidade das variáveis de entrada que
ele processa. Deste modo, se o modelo matemático foi criado baseado em dados
passados oriundos de ações preconceituosas, será reproduzido, automaticamente, os
mesmos padrões preconceituosos encontrados.
Já o segundo grupo se refere aos métodos estatísticos utilizados, em que a
discriminação pode ocorrer nas probabilidades dos erros estatísticos existentes:
 55

Por meio da classificação e seleção dos indivíduos - gera um risco de se

produzirem resultados discriminatórios, ainda que de forma não intencional.
Isto pode ocorrer porque, na discriminação estatística, teoria econômica que
se tornou conhecida a partir dos textos de Edmund Phelps (1972) e Kenneth
Arrow (1973), os indivíduos são diferenciados com base em características
prováveis de um grupo, no qual esse indivíduo é classificado. Essa prática se
baseia em métodos estatísticos, que associam esses atributos a outras
características, cuja identificação pelo tom ador de decisão é mais difícil, como
nível de renda, risco de inadimplência, produtividade no trabalho etc. (BRITZ,
2008, p. 15). Nesse contexto, é possível a ocorrência da discriminação por
erro estatístico, o que decorreria tanto de dados incorretamente capturados
como também de modelo estatístico de bases científicas frágeis (BRITZ,
2008). (DONEDA et al. 2018, p. 5)

Como mencionado, ainda há possibilidade de resultados discriminatórios com

a generalização40. A discriminação estatística se dá pelo agrupamento de pessoas
com determinadas características. Apesar de ser uma técnica reconhecida na
estatística e computação, pode levar à discriminação das pessoas que configuram os
casos atípicos e não se enquadram nas características do grupo geral.
Além destas classificações mencionadas por Doneda et al (2018), Mendes e
Mattiuzzo (2019, p. 52) também trazem a categoria de discriminação pelo uso de
informações sensíveis. Vejamos:

É o que ocorre, por exemplo, quando um algoritmo utiliza informações sobre

identificação religiosa de um indivíduo para designar seu credit score no
Brasil - a Lei do Cadastro Positivo proíbe o uso desse tipo de informação
para essa finalidade. Duas características são relevantes para se considerar
um perfilamento como discriminatório nesse caso: além de utilizar dados
sensíveis, a classificação deve se basear em características endógenas ou,
então, deve destacar grupos historicamente discriminados.

Outra categoria trazida por Mendes e Mattiuzzo (2019, p. 52) é a de

discriminação limitadora do exercício de direitos. Vejamos:

40 Doneda et al (2018, p. 5) citam um exemplo deste problema “da pessoa que, apesar de morar em
determinada região, considerada de baixa renda e, portanto, classificada como de maior risco de
inadimplência em modelos de risco de crédito, aufere na realidade renda superior à de seus vizinhos”.
A discriminação, nesse caso, ocorre porque o modelo matemático obtido considera o endereço como
uma variável importante.
 56

Discriminação limitadora do exercício de direitos - novamente, aqui falamos

de uma categoria que pode apresentar resultados estaticamente corretos e
relevantes, mas que ainda assim consideramos discriminatória. Ao contrário
da categoria anterior, o problema advém não do tipo de dado utilizado, mas
da relação entre a informação utilizada pelo algoritmo e a realização de um
direito. Se há uma conexão estrita entre ambos e se o direito em questão é
demasiadamente afetado, provável que o uso seja discriminatório.

Dentre as práticas de discriminação, também conhecidas como a existência

de vieses nos algoritmos, estão geralmente associados à raça, gênero, idade ou
localização. A eliminação de vieses em modelos de machine learning ainda se faz um
grande desafio tanto ético quanto técnico. Pelo que é midiatizado nos últimos anos, a
discriminação é somente constatada após muitas pessoas terem sido prejudicadas
pelo algoritmo e em diversos casos isto não foi antecipado pela equipe
desenvolvedora, para que fosse evitado.
As questões éticas dizem respeito a julgamentos de certo e errado, bom e
mau, bem como questões de justiça, equidade, virtude e responsabilidade social.
Questões éticas podem divergir de acordo com países, regiões num mesmo país ou
ainda a partir de diferentes grupos. As diferenças éticas são o resultado de diferentes
interpretações individuais da situação em questão, e podem ser de natureza cultural,
política ou religiosa (Dignum, 2019, p. 36). Estes tipos de decisões que envolvam
essas percepções e valores subjetivos, ensejam a necessidade da intervenção
humana (WIMMER; DONEDA, 2021, p. 378).
Mittelstadt et al (2016, p. 4) mapearam seis categorias de preocupações éticas
ligadas aos algoritmos, três de natureza epistêmica e duas de natureza normativa.
São elas as de natureza epistêmica (i) evidências inconclusivas; (ii) evidências
inescrutáveis; (iii) evidências equivocadas. São elas as de natureza normativas (i)
resultados injustos e (ii) efeitos transformativos. Tais preocupações motivam a
inclusão da rastreabilidade do algoritmo como uma preocupação final e abrangente.
As evidências de natureza epistêmica tratam da qualidade da evidência
produzida por um algoritmo, que motiva uma ação particular. Já as de natureza
normativa, buscam avaliar diversos critérios e princípios éticos, para chegar ao mais
próximo do conceito de "justiça” .
Sobre as evidências inconclusivas, acontecem quando os algoritmos
apresentam respostas, usam estatísticas inferenciais e/ou técnicas de aprendizado de
 57

máquina e produzem conhecimento provável, mas incerto. Neste tipo de evidência,

pode-se associar à acurácia do modelo.
Sobre as evidências inescrutáveis, acontecem quando os dados são usados
como, ou processados para produzir, evidências para uma resposta. É razoável
esperar que a relação entre os dados e a resposta seja acessível (ou seja, inteligível,
bem como aberta ao escrutínio e talvez até à crítica). Nesta evidência há uma forte
conexão com o conceito de inteligência artificial explicável.
Sobre as evidências equivocadas, implicam que as respostas só podem ser
confiáveis (mas também neutras) se os dados de entrada também forem. Nesta
evidência observamos o conceito de qualidade de dados associado. Nesta evidência
há uma forte conexão com o conceito de vieses que alguns modelos podem ter.
Sobre resultados injustos, um resultado pode ser considerado discriminatório,
por exemplo, apenas por seu efeito sobre uma classe protegida de pessoas, mesmo
que seja feita com base em evidências conclusivas, escrutáveis e bem
fundamentadas. Nesta evidência há uma forte conexão com o conceito de justiça, que
é subjetivo.
Por fim, sobre os efeitos transformativos, tratam sobre os desafios éticos
associados ao uso generalizado de algoritmos que nem sempre podem ser rastreados
até casos claros de falhas epistêmicas ou éticas, pois, alguns dos efeitos não causam
nenhum dano óbvio. Nesta evidência há uma forte conexão com o conceito de
autonomia e que alguns algoritmos afetam o modo de compreender o mundo, assim
como sua organização social e política, com impactos sobre a autonomia humana
(MITTELSTADT et al, 2016, p. 9).
A partir destes aspectos, podemos avaliar as decisões tomadas durante a
construção de um modelo de inteligência artificial, principalmente no que diz respeito
às variáveis utilizadas, amostras selecionadas, objetivos definidos para o uso da
tecnologia e como a tecnologia se comporta diante de dilemas éticos. Por dilema ético,
podemos definir por uma decisão tomada quando duas opções são moralmente
corretas.
O primeiro questionamento que se pode realizar e impacta diretamente na
legislação é referente à exigência da supervisão humana em algumas decisões
tomadas por modelos de IA. Além dos casos expostos, que podem exigir uma revisão
 58

humana, caso haja um dilema ético, há outros contextos que a IA aplicada não dispõe
de um ser humano para tomar a decisão.
O exemplo clássico, para um dilema ético sem possibilidade de intervenção
humana, é o caso de robôs que realizam resgate de pessoas e precisam optar entre
salvar uma pessoa ou outra. Neste caso, pelo contexto envolvido, o robô não tem
comunicação com seu controlador para auxiliar na tomada de decisão e deve optar
por salvar uma das pessoas, ou ainda, não salvar ninguém, já que não tem como se
comunicar com seu operador, caso a legislação obrigasse a intervenção humana
nestes casos. Similar a este caso, é o que ocorre com os veículos autônomos, que
em uma fração de segundos o software deve optar por uma decisão que também
possua um dilema ético e não há tempo hábil para um humano rever essa decisão.
Neste caso dos veículos autônomos, o motorista/passageiro está em constante
comunicação com o veículo, entretanto, não consegue intervir devido à rapidez com
que a decisão precisa ser tomada.
Com relação às iniciativas no sentido de tratar riscos e preocupações éticas
sobre sistemas de IA, por exemplo, o caso do Google Tradutor que reduziu o viés de
gênero em suas traduções41 e a remoção da variável gênero na API do Google
Cloud42. Há outras iniciativas que, ao detectar que seus algoritmos possuíam vieses,
foram desativados, como foi o caso da Amazon que prejudicava mulheres durante a
contratação de funcionários43.
Apesar dos seres humanos também poderem tomar decisões equivocadas e
que violem aspectos éticos, na inteligência artificial isto visa ser tratado, em razão do
volume de decisões que uma máquina pode proferir em comparação a decisões
individuais. Entretanto, quando os modelos de IA utilizam como subsídio para seu
treinamento decisões passadas tomadas por seres humanos e podem possuir

41 GOOGLE. A Scalable Approach to Reducing Gender Bias in Google Translate. Disponível em

https://ai.googleblog.com/2020/04/a-scalable-approach-to-reducing-gender.html . Acesso em: junho
de 2022.
42 Venture Beat. Google Cloud AI removes gender labels from Cloud Vision API to avoid bias. Disponível
em https://venturebeat.com/2020/02/20/google-cloud-ai-removes-gender-labels-from-cloud-vision-
api-to-avoid-bias/. Acesso em: junho de 2022.
43 REUTERS. Amazon scraps secret AI recruiting tool that showed bias against Women. Disponível em
https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G . Acesso
em: junho de 2022.
 59

vieses44, torna-se um grande desafio técnico criar um modelo que não reproduza (e
amplie) os mesmos defeitos.
É gerada uma grande expectativa pela sociedade que a tecnologia possa tomar
decisões melhores e mais justar que as proferidas por seres humanos (NASS; MOON,
2002). Essas expectativas levantam questões de responsabilidade e obrigação, bem
como a expectativa que a tecnologia aja conforme os valores humanos e respeite os
direitos humanos.
Vários dos problemas relatados só são possíveis de serem averiguados se
existir transparência sobre como o sistema de inteligência artificial foi desenvolvido.
Por isso, a falta de transparência, também é um grave problema, justamente por
impedir de averiguar os demais.
Quanto aos riscos, Dietterich e Horvitz (2015) elencam cinco tipos de riscos (i)
bugs (falhas), (ii) cibersegurança, (iii) pretensão das pessoas que interagem com a
IA, (iv) autonomia compartilhada e (v) impactos socioeconômicos.
Referente ao primeiro, este decorre de erros de programação no software de
IA, geralmente ocasionado por falta de garantia de qualidade e validação do sistema.
Neste tipo de risco, os desafios técnicos abrangem tanto o comportamento adequado
dentro do que se conhece e foi treinado quanto agir dentro do esperado em situações
imprevistas.
Quanto ao segundo tipo de risco, a segurança de sistemas de informação,
Dietterich e Horvitz (2015) comentam que os algoritmos de IA são tão vulneráveis
quanto qualquer outro software aos ataques cibernéticos. Dentre as vulnerabilidades
exploradas, estão manipular de dados de treinamento que podem alterar o
comportamento desses sistemas. Agrava-se mais ainda quando a IA é utilizada para
tomadas de decisões de alto risco.

44 Parte da dificuldade em eliminar todos os vieses se dá pela falta de conhecimento e diversidade da

equipe que concebeu o sistema. Neste mesmo sentido Hahari (2018, p. 244) cita “A maior parte das
injustiças no mundo contemporâneo resulta de vieses estruturais em grande escala, e não de
preconceitos individuais, e nosso cérebro de caçadores-coletores não evoluiu a ponto de detectar
vieses estruturais. Somos cúmplices de pelo menos alguns desses vieses, e simplesmente não temos
tempo nem energia para descobrir todos eles. O processo de escrever este livro me ensinou essa
lição, num nível pessoal. Quando discuto questões globais, estou sempre correndo perigo de
privilegiar o ponto de vista da elite global em relação ao de vários grupos desfavorecidos. A elite
global comanda a conversa, assim é impossível ignorar suas opiniões. Grupos desfavorecidos, em
contraste, são rotineiramente silenciados, e assim fica fácil se esquecer deles — não por malícia
deliberada, mas por pura ignorância.”
 60

Quanto à manipulação de dados de treinamento, não necessariamente um

invasor precisa acessar o servidor para modificar o comportamento do algoritmo, mas
sim, saber a fonte dos dados coletados. Podemos mencionar o caso dos sistemas de
busca que utilizam como fonte de dados para treinamento, o que seus usuários
digitam e pode levar a sugestões racistas e sexistas, por exemplo.
Outro exemplo neste sentido, é o da funcionalidade autocompletar do Google,
reavaliada em 2016 para algumas palavras devido às sugestões antissemitas e
sexistas45, além de resultados que levavam a interpretações racistas46. Segundo o
Google, o algoritmo apenas reproduziu o que encontrava na internet, mas concordou
que os problemas levantados deviam ser tratados. Inclusive, este problema foi
retratado numa campanha mundial que defendia o direito das mulheres, organizado
pela Un Women47.
Quanto ao terceiro tipo de risco, este se refere à pretensão das pessoas que
usam o sistema inteligente, em que se deve estabelecer limites sobre os pedidos que
podem ser feitos e que ele executará. Um exemplo que Dietterich e Horvitz (2015)
trazem, é o de usuários de carros autônomos que pedem para chegar em um destino
o mais rápido possível. O sistema de direção autônoma dirige a 120 km/h e coloca
pedestres e outros motoristas em risco. Um aspecto importante de qualquer sistema
de IA, que interage com pessoas, é que ele deve raciocinar sobre a intenção ao invés
de executar comandos literalmente. Neste contexto também pode ser avaliado o uso
de interação com os usuários, como orientações humanas e feedbacks sobre as
ações tomadas.
Quanto ao quarto tipo de risco, a criação de sistemas em tempo real é um
grande desafio técnico, em que o controle deve ser alterado de forma rápida entre as
pessoas (manual) e sistemas de inteligência artificial, gerando uma grande confusão.
Ao assumir o controle manual do software, o ser humano pode não ter acesso a todas
as informações necessárias para tomar decisões e tomar decisões erradas.

45 The Guardian. Google alters search autocomplete to remove 'are Jews evil' suggestion. Disponível
em https://www.theguardian.com/technology/2016/dec/05/google-alters-search-autocomplete-
remove-are-jews-evil-suggestion . Acesso em: junho de 2022.
46 The Guardian. Do Google's 'unprofessional hair' results show it is racist?. Disponível em
https://www.theguardian.com/technology/2016/apr/08/does-google-unprofessional-hair-results-
prove-algorithms-racist- . Acesso em: junho de 2022.
47 UN Women. UN Women ad series reveals widespread sexism. Disponível em
https://www.unwomen.org/en/news/stories/2013/10/women-should-ads . Acesso em: junho de 2022.
 61

E por fim, o tipo de risco de impactos socioeconômicos, diz respeito à

influência da automação na socioeconomia e na distribuição de riqueza, assim como
na distribuição dos empregos. No momento em que o poder público também faz uso
da IA para decisões que afetam os cidadãos, também deve tomar muito cuidado com
os impactos que podem ser gerados neste sentido.
Além dos riscos abordados por Dietterich e Horvitz (2015), a União Europeia
ao regulamentar a IA também elencou algumas preocupações críticas (AI, HLEG,
2019, p.43-45) quanto ao uso da IA, como (i) Identificação e localização de pessoas;
(ii) Sistemas de IA secretos; (iii) Classificação dos cidadãos por meio de IA, com
violação dos direitos fundamentais e, (iv) Sistemas de armas letais autônomas.
Com relação às preocupações críticas referentes ao uso da IA que refletem
as preocupações da União Europeia (AI, HLEG, 2019, p. 43), elenca-se (i) a
identificação e localização cada vez mais eficiente de indivíduos por entidades
públicas e privadas; (ii) pessoas terem ciência que interagiram com um sistema de
inteligência artificial ou se foram afetados por uma decisão realizada por este tipo de
sistema; (iii) classificação de cidadãos de forma automatizada e que violem direitos
fundamentais e (iv) sistemas de armas letais autônomas. Vale ressaltar que somente
uma IA transparente permite mensurar certos impactos.
Além das preocupações relatadas anteriormente, parte delas envolve aspectos
técnicos de como essa tecnologia é desenvolvida, dentre elas podemos citar a escolha
das amostras de treinamento dos modelos preditivos, as configurações dos algoritmos
que podem reduzir a probabilidade de erro, que tipos de erros são aceitáveis no
sistema, como identificá-los, entre outros.
Além dos riscos, também foram definidos níveis de riscos (EUROPEAN
COMISSION, 2021b) como (i) Riscos inaceitáveis (Práticas de IA proibidas), (ii)
Riscos altos (Sistemas de IA regulamentados como alto risco), (iii) Riscos limitados
(Sistemas de IA que exigem transparência) e (iv) Baixo risco (Sem obrigações legais).
 62

3 TRANSPARÊNCIA DOS SISTEMAS DE IA COMO DEVER CONSTITUCIONAL

Com a crescente utilização de tecnologias na administração pública, como a

inteligência artificial, a transparência no uso da IA pelos órgãos governamentais torna­
se uma questão fundamental para garantir a proteção dos direitos fundamentais e a
legitimidade das decisões tomadas por sistemas automatizados. Neste mesmo
sentido, Martins menciona (2019, p. 19):

a informação pública, a transparência na gestão e a democratização ao

acesso só existem porque a sociedade isto anseia e requer. A democracia,
como governo do povo, pelo povo e para o povo, somente se efetiva se
houver uma contínua cobrança por qualidade, ou seja, por eficiência e por
eficácia. Estas cobranças legítimas somente podem ocorrer por meio da
publicidade e da transparência, valores centrais do Estado Democrático de
Direito.

Segundo De Arruda (2020, p. 45), a transparência envolve três elementos:

(1) os processos através dos quais as autoridades públicas tomam decisões

devem ser amplos e abertos; (2) as próprias decisões devem ser arrazoadas,
motivadas; (3) tanto quanto possível, as informações em que se baseiam as
decisões devem estar abertas ao público.

Segundo o Supremo Tribunal Federal48, pode-se extrair que a transparência é

considerada “um dever do poder público decorrente do princípio republicano e da
publicidade” , constante do inciso XXXIII do art. 5° no texto constitucional de 1988,
“além de fortalecer a democracia participativa” . O dever de transparência do Estado,
relacionado aos direitos humanos, como acesso à informação e liberdade de
expressão, é uma conquista democrática crucial e qualquer tentativa arbitrária de
limitação por abuso de poder ou medidas autoritárias deve ser coibida pelos meios
jurídicos adequados (DE ARRUDA, 2020, p. 59)

Apesar de estar em tramitação o Marco Regulatório de Inteligência Artificial49,

considera-se que na Constituição Federal de 1988, já há o dever de transparência do

48 STF. RE 865.401, Rei. Min. Dias Toffoli, Pleno, julg. 25/04/2018. Disponível em:
https://portal.stfjus.br/processos/detalhe.asp?incidente=4709214. Acesso em 23 de junho de 2023
49 Em 2023 continua em tramitação no Senado Federal Brasileiro a discussão da regulamentação da
IA, por intermédio do Projeto de Lei n.° 2338/2023, que pretende dispor sobre o uso da inteligência
artificial no Brasil.
 63

poder público e neste caso o uso de sistemas de IA para auxiliar ou realizar funções
estatais também se enquadra neste dever. Entretanto, como observamos na prática,
há dificuldade em obter detalhes completos do funcionamento dos sistemas já usados.
O problema se agrava quando tecnologias estrangeiras são contratadas sem o
repasse devido do funcionamento interno.
A ausência de legislação específica sobre como validar e identificar requisitos
de que um sistema de IA deve atender para ser transparente, dificulta a fiscalização e
que o próprio órgão ou instituição pública implemente todos os requisitos necessários.
Apesar de existirem normas técnicas internacionais neste sentido, são recentes e
continuam em desenvolvimento50.
Com a vigência da legislação referente à proteção de dados no Brasil51, trouxe
diversas diretrizes as quais as empresas desenvolvedoras de software e empresas
titulares dos softwares necessitaram se adequar. Entretanto, com relação aos
sistemas de IA e conforme será abordada na seção 3.3, a LGPD é insuficiente.
Além da LGPD, alguns aspectos também já podem ser tratados pelo Código
Civil (DE TEFFÉ; MEDON, 2020) (FRAZÃO, 2018) e pelo Código de Defesa do
Consumidor (DE TEFFÉ; MEDON, 2020), em contextos que envolvem inteligência
artificial.

3.1 A PROPOSTA DO MARCO REGULATÓRIO DA IA

Em 2023 tramita o Projeto de Lei n.° 2338/2023 sobre o Marco Regulatório de

IA no Brasil. Há forte influência da norma europeia no referido projeto de lei e dos
princípios definidos pela OECD. Os principais pontos levantados por este projeto de
lei incluem o estabelecimento de fundamentos e princípios para o desenvolvimento e
a aplicação da inteligência artificial no Brasil, além de diretrizes para o fomento e a
atuação do poder público nessa área. Apesar da proposta da lei ser principiológica,
esta acaba por se aprofundar em alguns tópicos.
Dentre os pontos que geram controvérsia na atual proposta legislativa está a
definição do conceito de inteligência artificial, visto que não há um consenso sobre ele

50 Na seção 3.5 serão detalhadas as normas técnicas existentes e a maioria delas começa a surgir a
partir do ano de 2020.
51 A Lei Geral de Proteção de dados entrou em vigor no Brasil em 18/09/2020.
 64

internacionalmente. Há ainda questionamentos que sugerem uma regulação

específica e aprofundada por setor de atuação, que provavelmente não caberia neste
momento legislativo.
Também há a questão da definição de níveis de riscos e ações proporcionais
para cada nível, com fins de tratar impactos negativos da tecnologia. Inerente a este
tema, também é necessário estabelecer formas de identificar logo que a tecnologia
causou algum dano e se o dano foi resultado de alguma intervenção humana no
desenvolvimento ou funcionamento da IA.
Apesar das controvérsias, também há pontos positivos nos projetos de lei
apresentados, como o que consta no artigo 19 do PL n.° 2338/2023, com orientações
de governança. Este artigo possibilita a elaboração de códigos de conduta e boas
práticas, para garantir a transparência sobre o funcionamento dos modelos oriundos
da IA. Vale ressaltar que os códigos de conduta associados ao nível de risco que
cada tecnologia pode proporcionar, os tornam importantes e criteriosos, além de
fomentar o devido processo tecnológico.
Outro ponto positivo é a iniciativa de regulamentar uma tecnologia utilizada
cada vez mais e que também é objeto de regulação mundial. Apesar do rápido trâmite
que a regulamentação no Brasil teve inicialmente na Câmara dos Deputados e que
impossibilitou maiores debates, é necessária a existência dela para trazer segurança
jurídica e fomentar a inovação.
A exposição dos motivos pelo qual a lei foi construída é muito importante para
compreender a intenção dos legisladores. Diante dos inúmeros impactos negativos já
presenciados e na iminência de acontecer, são necessárias diretrizes para a
construção de uma tecnologia responsável. Neste sentido, o relatório menciona
(SENADO FEDERAL, 2022b, p. 10):

Nessa quadra, esse novo marco legal tem um duplo objetivo. De um lado,
estabelecer direitos para proteção do elo mais vulnerável em questão, a
pessoa natural que já é diariamente impactada por sistemas de inteligência
artificial, desde a recomendação de conteúdo e direcionamento de
publicidade na Internet até a sua análise de elegibilidade para tomada de
crédito e para determinadas políticas públicas. De outro lado, ao dispor de
ferramentas de governança e de um arranjo institucional de fiscalização e
supervisão, criar condições de previsibilidade acerca da sua interpretação e,
em última análise, segurança jurídica para inovação e o desenvolvimento
econômico-tecnológico.
 65

A preocupação com os impactos negativos e com um olhar mais atento aos

elos vulneráveis, com vistas a proteger o cidadão, principalmente aquele que já foi ou
é prejudicado pelos erros amplamente conhecidos, auxilia a reduzir as preocupações
externadas mundialmente.
O destaque para medidas de direitos e deveres, direitos básicos e
transversais, no qual se inclui a transparência, é proporcional aos efeitos negativos
que os sistemas podem causar na vida das pessoas. O mapeamento dos efeitos
negativos é viabilizado com a identificação dos riscos e com o respectivo tratamento,
tema também abordado no relatório.
Apesar de diferentes riscos serem plausíveis, conforme o contexto e
tecnologia escolhida, há um reforço à proteção contra discriminação, possivelmente
escolhido por ser um dos grandes problemas existentes e que violam direitos
fundamentais. Entretanto, para concretizar essa proteção do cidadão mencionada na
proposta legislativa, é necessário definir medidas de governança para as empresas
adotarem. Tema também que é tratado no relatório (SENADO FEDERAL, 2022b, p.
11), vejamos:

Ao mesmo tempo em que se preveem instrumentos de governança para que

sejam prestadas contas e seja premiada a boa-fé dos agentes econômicos
que gerenciam de forma eficaz os riscos em torno da concepção e
implementação de sistemas de inteligência artificial, também há uma forte
carga obrigacional para florescimento do escrutínio individual e social a seu
respeito.

Outro ponto importante é o fomento à pesquisa científica, de interesse público

e a inovação. Foi grande importância a preocupação dos legisladores em destacar e
fomentar as inovações que podem ser geradas com o uso da tecnologia. Isso
demonstra que o PL n.° 2338/23 não surge apenas para criar regras que limitam o
desenvolvimento tecnológico do país, mas que fomentam o desenvolvimento da
tecnologia de modo responsável.
Associado ao tema de desenvolver a tecnologia de modo responsável, há a
questão da responsabilidade civil, ou seja, quem responderá por possíveis impactos
negativos que surjam. Neste sentido, o relatório menciona (SENADO FEDERAL,
2022b, p. 14):
 66

Em relação à responsabilidade civil, optou-se por um regime que abranja o

fornecedor e o operador de sistema de IA, evidenciando que sempre que
algum desses agentes causar dano patrimonial, moral, individual ou coletivo,
será obrigado a repará-lo integralmente, independentemente do grau de
autonomia do sistema. ... quando se tratar de sistema de IA de alto risco ou
de risco excessivo, o fornecedor ou operador respondem objetivamente pelos
danos causados, na medida da participação de cada um no dano. E quando
se tratar de IA que não seja de alto risco, a culpa do agente causador do dano
será presumida, aplicando-se a inversão do ônus da prova em favor da vítima.

Para o cidadão submetido às decisões automatizadas, é muito importante a

definição da responsabilidade civil, pois com a possibilidade de ocorrências de danos,
este deve conseguir compreender como a decisão foi tomada, questionar o resultado
por vias judiciais/administrativas e se for o caso ser reparado pelo responsável.
Dentre os temas relevantes abordados no PL 2338/23 e que precisavam ser
regulamentados para evitar impactos negativos da tecnologia, estão (i) proteger os
direitos fundamentais e garantir a implementação de sistemas seguros e confiáveis;
(ii) fundamentos do uso da IA no Brasil; (iii) princípios sobre o uso da IA no Brasil,
com destaque para a transparência e explicabilidade; (iv) direitos e deveres dos
cidadãos; (v) categorização de riscos; (vi) governança de IA; (vii) responsabilidade
civil; (viii) códigos de boas práticas e de governança; (ix) comunicação de incidentes
graves e (x) supervisão e fiscalização.
Dentre os trechos do PL n.° 2338/23 que tratam especificamente da
administração pública, estão a vedação de desenvolvimento de alguns tipos de
sistemas52 53, definição de sistemas classificados como alto risco54, medidas

52 Art. 14. São vedadas a implementação e o uso de sistemas de inteligência artificial: ... III - pelo poder
público, para avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento
social ou em atributos da sua personalidade por meio de pontuação universal, para o acesso a bens
e serviços e políticas públicas, de forma ilegítima ou desproporcional.
53 Art. 15. No âmbito de atividades de segurança pública, somente é permitido o uso de sistemas de
identificação biométrica à distância, de forma contínua em espaços acessíveis ao público, quando
houver previsão em lei federal específica e autorização judicial em conexão com a atividade de
persecução penal individualizada, nos seguintes casos: I - persecução de crimes passíveis de pena
máxima de reclusão superior a dois anos; II - busca de vítimas de crimes ou pessoas desaparecidas;
ou III - crime em flagrante. Parágrafo único. A lei a que se refere o caput preverá medidas
proporcionais e estritamente necessárias ao atendimento do interesse público, observados o devido
processo legal e o controle judicial, bem como os princípios e direitos previstos nesta Lei,
especialmente a garantia contra a discriminação e a necessidade de revisão da inferência algorítmica
pelo agente público responsável, antes da tomada de qualquer ação em face da pessoa identificada.
54 Art. 17. São considerados sistemas de inteligência artificial de alto risco aqueles utilizados para as
seguintes finalidades: ... IV - avaliação de critérios de acesso, elegibilidade, concessão, revisão,
redução ou revogação de serviços privados e públicos que sejam considerados essenciais, incluindo
sistemas utilizados para avaliar a elegibilidade de pessoas naturais quanto a prestações de serviços
públicos de assistência e de seguridade; ... XI - investigação criminal e segurança pública, em
 67

específicas de governança que devem ser adotadas pelo poder público55 e

informações para auditoria56.
A seguir serão comentados alguns pontos importantes do projeto de lei,
relacionados ao tema da transparência. Como já mencionado nos princípios
estudados da IA, somente com um sistema transparente e compreensível que
podemos verificar se o sistema está realmente adequado ao que a legislação prevê e
irá prever.
A proteção dos direitos fundamentais, mencionada logo do início da proposta
legislativa, vem para reafirmar o foco central no ser humano e proteção dos direitos
garantidos constitucionalmente. Essa proteção é também externalizada pelos
fundamentos e princípios abordados nos artigos 1, 4, 12 e 32 do PL n.° 2338/23.
Destaca-se o inciso VI do artigo 3, que menciona a transparência também como um
princípio que poderá ser previsto na legislação brasileira.

Art. 3° O desenvolvimento, implementação e uso de sistemas de inteligência

artificial observarão a boa-fé e os seguintes princípios: ... VI - transparência,
explicabilidade, inteligibilidade e auditabilidade;

No que diz respeito aos direitos dos cidadãos, previstos entre os artigos 5 e
12 do projeto de lei, destaca-se o direito à explicação sobre a decisão, recomendação
ou previsão tomada por sistemas de IA. Há ainda um artigo voltado exclusivamente
para direitos associados às decisões tomadas por estes sistemas, vejamos:

especial para avaliações individuais de riscos pelas autoridades competentes, a fim de determinar o
risco de uma pessoa cometer infrações ou de reincidir, ou o risco para potenciais vítimas de infrações
penais ou para avaliar os traços de personalidade e as características ou o comportamento criminal
passado de pessoas singulares ou grupos;
55 Art. 21. Adicionalmente às medidas de governança estabelecidas neste capítulo, órgãos e entidades
do poder público da União, Estados, Distrito Federal e Municípios, ao contratar, desenvolver ou utilizar
sistemas de inteligência artificial considerados de alto risco, adotarão as seguintes medidas: ...
56 Art. 32. O Poder Executivo designará autoridade competente para zelar pela implementação e
fiscalização da presente Lei. ... X - solicitar, a qualquer momento, às entidades do poder público que
desenvolvam ou utilizem sistemas de inteligência artificial, informe específico sobre o âmbito, a
natureza dos dados e os demais detalhes do tratamento realizado, com a possibilidade de emitir
parecer técnico complementar para garantir o cumprimento desta Lei;
 68

Art. 7° Pessoas afetadas por sistemas de inteligência artificial têm o direito de

receber, previamente à contratação ou utilização do sistema de inteligência
artificial, informações claras e adequadas quanto aos seguintes aspectos: I -
caráter automatizado da interação e da decisão em processos ou produtos
que afetem a pessoa;
II - descrição geral do sistema, tipos de decisões, recomendações ou
previsões que se destina a fazer e consequências de sua utilização para a
pessoa; III - identificação dos operadores do sistema de inteligência artificial
e medidas de governança adotadas no desenvolvimento e emprego do
sistema pela organização; IV - papel do sistema de inteligência artificial e dos
humanos envolvidos no processo de tomada de decisão, previsão ou
recomendação; V - categorias de dados pessoais utilizados no contexto do
funcionamento do sistema de inteligência artificial; VI - medidas de
segurança, de não-discriminação e de confiabilidade adotadas, incluindo
acurácia, precisão e cobertura; e VII - outras informações definidas em
regulamento.

O artigo 7, apesar de não aprofundar a questão da explicabilidade, exige

informações do projeto e detalhes sobre a construção do sistema de IA, assim como
as pessoas envolvidas.
Já o artigo 8, exige medidas que tornem um sistema de IA explicável. Esta
tarefa não é trivial e quando um sistema de IA foi construído sem pensar na
explicabilidade, pode se tornar uma tarefa muito árdua e complexa para cumprir ao
que a legislação prevê. Vejamos:

Art. 8° A pessoa afetada por sistema de inteligência artificial poderá solicitar

explicação sobre a decisão, previsão ou recomendação, com informações a
respeito dos critérios e dos procedimentos utilizados, assim como sobre os
principais fatores que afetam tal previsão ou decisão específica, incluindo
informações sobre: I - a racionalidade e a lógica do sistema, bem como o
significado e as consequências previstas de tal decisão para a pessoa
afetada; II - o grau e o nível de contribuição do sistema de inteligência artificial
para a tomada de decisões; III - os dados processados e a sua fonte, bem
como os critérios para a tomada de decisão e, quando apropriado, a sua
ponderação, aplicados à situação da pessoa afetada; IV - os mecanismos
por meio dos quais a pessoa pode contestar a decisão; e V - a possibilidade
de solicitar intervenção humana, nos termos desta lei. Parágrafo único. As
informações mencionadas no caput serão fornecidas por procedimento
gratuito e facilitado, em linguagem que permita que a pessoa compreenda o
resultado da decisão ou previsão em questão, no prazo de até quinze dias a
contar da solicitação, permitida a prorrogação, uma vez, por igual período, a
depender da complexidade do caso.

Apesar da dificuldade de atender em parte o que o artigo 8 prevê, ele é insumo

para atender o que é previsto no artigo 12, sobre o direito à não-discriminação e à
correção de vieses discriminatórios diretos, indiretos, ilegais ou abusivos. Em caso de
 69

sistemas que utilizam algoritmos opacos, o programador pode ter dificuldades em

verificar a existência de vieses discriminatórios57 na sua completude.
A partir do artigo 13, é tratado a categorização dos riscos, um tema que é
muito importante para deslocar esforços de explicabilidade e transparência do sistema
proporcionalmente aos riscos existentes.
Outro tema também muito importante tratado no PL n.° 2338/23 é a
governança de IA (SENADO FEDERAL, 2022b, p. 33-44). Entre os artigos 19 e 26,
são tratados na minuta diversos aspectos que a lei buscará regular referente à
governança de IA, caso aprovado nestes termos. Dentre os pontos abordados, estão
(i) Estruturas de governança; (ii) Processos internos para garantir segurança dos
sistemas e (iii) Atendimento dos Direitos das pessoas afetadas.
Dentre as medidas que viabilizarão os pontos acima estão (i) medidas de
transparência relativas ao emprego de sistemas de inteligência artificial na interação
com pessoas naturais; (ii) transparência relativa às medidas de governança adotadas
no desenvolvimento e emprego do sistema de inteligência artificial pela organização;
(iii) medidas de gestão de dados adequadas para a mitigação e prevenção de
potenciais vieses discriminatórios; (iv) legitimação do tratamento de dados conforme
a legislação de proteção de dados; (v) adoção de parâmetros adequados de
separação e organização dos dados para treinamento, teste e validação dos
resultados do sistema; e (vi) adoção de medidas adequadas de segurança da
informação desde a concepção até a operação do sistema.
Na minuta também é abordado o dever de documentação do processo de
desenvolvimento, com destaque para sistemas de alto risco, no qual a abordagem
deve ser mais criteriosa. Além da documentação, espera-se que os sistemas gerem
registros das operações (logs), testes e gestão de dados.
Para sistemas de alto risco, na questão de transparência também será
exigido:

57 “Caso identificado viés discriminatório, ele deve ser retificado e, se não puder ser retificado, a
tecnologia não deve ser implantada” (SENADO FEDERAL, 2022b, p. 840).
 70

Art. 20 ... V - adoção de medidas técnicas para viabilizar a explicabilidade dos

resultados dos sistemas de inteligência artificial e de medidas para
disponibilizar aos operadores e potenciais impactados informações gerais
sobre o funcionamento do modelo de inteligência artificial empregado,
explicitando a lógica e os critérios relevantes para a produção de resultados,
bem como, mediante requisição do interessado, disponibilizar informações
adequadas que permitam a interpretação dos resultados concretamente
produzidos, respeitado o sigilo industrial e comercial.

Vemos que a transparência é um tema recorrente, tanto nas discussões

acadêmicas sobre os princípios da IA quanto na legislação. Interessante notar que as
técnicas existentes e tratadas no presente trabalho podem viabilizar o cumprimento
do que é proposto na minuta. Mas ainda ficará para discussão se as limitações
técnicas da explicabilidade serão aceitas, se inviabilizarem alguns dos itens previstos
na proposta legislativa e na própria Constituição Federal.
Importante destacar também o artigo 21 da minuta, que trata sobre medidas
de governança que deverão ser seguidas por órgãos e entidades do poder público da
União, Estados, Distrito Federal e Municípios, ao contratar, desenvolver ou utilizar
sistemas de inteligência artificial considerados de alto risco. Dentre as medidas estão
(i) realização de consulta e audiência públicas prévias sobre a utilização planejada
dos sistemas de inteligência artificial; (ii) definição de protocolos de acesso e de
utilização do sistema que permitam o registro de quem o utilizou; (iii) utilização de
dados provenientes de fontes seguras, que sejam exatas, relevantes, atualizadas e
representativas das populações afetadas e testadas contra vieses discriminatórios;
(iv) garantia facilitada e efetiva ao cidadão, perante o poder público, de d ire ito à
explicação e revisão humanas de decisão por sistemas de inteligência artificial que
gerem efeitos jurídicos relevantes ou que impactem significativamente os interesses
do afetado; (v) utilização de interface de programação de aplicativos que permita sua
utilização por outros sistemas para fins de interoperabilidade; e (vi) publicização em
veículos de fácil acesso, preferencialmente em seus sítios eletrônicos, das avaliações
preliminares dos sistemas de inteligência artificial desenvolvidos, implementados ou
utilizados pelo poder.
Vemos que a minuta trata mais uma vez da transparência, agora no artigo 21,
iv, voltado exclusivamente para o poder público, no qual deve garantir o direito à
explicação ao cidadão. Nos artigos seguintes e ainda no tema de governança de IA,
são tratados os temas de avaliação de impacto algorítmico e responsabilidade civil. A
 71

responsabilidade civil, prevista no artigo 27, também gerou grandes debates, mas
estabeleceu a responsabilidade do fornecedor e operador do sistema de IA.
Nos artigos consecutivos, em específico o artigo 30, é abordado o tema dos
códigos de boas práticas e governança, com destaque para a orientação de que os
desenvolvedores e operadores de sistemas de inteligência artificial deverão atuar de
forma transparente e assegurar mecanismos de participação nos termos do art. 24, §
3°.
Constata-se que mais uma vez a transparência se faz como pilar fundamental
para concretizar diversas medidas previstas na legislação. A legislação acaba por
prever as possibilidades de quando o cidadão deve ter acesso a uma explicação. Mas,
para o próprio gestor ou desenvolvedor avaliar se o sistema de IA está dentro do que
a legislação propõe, precisará detalhar o processo e compreender como os modelos
funcionam.

3.2 ASPECTOS CONSTITUCIONAIS

A incorporação da inteligência artificial na Administração Pública apresenta a

capacidade de otimizar os gastos públicos e possibilita que a sistemas de IA produzam
resultados com maior rapidez e precisão, a um custo inferior se comparado ao trabalho
humano. A rapidez, precisão e eficácia, têm o potencial de concretizar o princípio da
eficiência administrativa, especialmente em termos econômicos, em um nível superior
ao que é possível alcançar pelo trabalho de servidores públicos.
No âmbito constitucional, a discussão sobre formas de regulamentar a IA e a
transparência do modo de funcionamento ganha relevância em função da
necessidade de assegurar a observância dos princípios constitucionais, como a
proteção dos direitos fundamentais, transparência, publicidade e motivação. Nesse
contexto, a proposta de uma inteligência artificial explicável associada à transparência
no poder público surge como uma alternativa para conciliar as vantagens da inovação
tecnológica com os valores democráticos e constitucionais.
Os princípios constitucionais de transparência, motivação e publicidade
devem ser considerados quando o poder público passa a utilizar sistemas de
inteligência artificial para auxiliar ou até mesmo realizar as funções de um servidor
 72

público58, com relação às funções do Estado59. A utilização desses princípios é

essencial para garantir que os sistemas de IA sejam desenvolvidos de forma
transparente para viabilizar a análise de aspectos como ética e a própria adequação
do sistema à legislação vigente, para proteger os direitos dos cidadãos e promover a
prestação de serviços públicos de qualidade.
O uso de sistemas de IA, especialmente em áreas sensíveis relacionadas à
prestação de serviços essenciais para garantir os direitos sociais e fundamentais
previstos na Constituição Federal, enseja maiores cuidados. Deve-se buscar as mais
elevadas garantias de proteção aos direitos dos cidadãos e da sociedade brasileira.
Dessa forma, podemos evitar o agravamento das desigualdades sociais, que também
representa um risco ao desenvolvimento nacional.

3.2.1 Direitos Fundamentais

Por direitos fundamentais, foco deste trabalho, entende-se que são aqueles
considerados essenciais para a proteção da dignidade humana e para o pleno
desenvolvimento da personalidade de cada indivíduo. Os direitos fundamentais são
um dos pilares da democracia brasileira e reconhecidos como um conjunto de direitos
e garantias fundamentais de todo indivíduo. É importante ressaltar que esses direitos
também são garantidos por tratados internacionais, como a Declaração Universal dos
Direitos Humanos.
A discussão sobre direitos fundamentais em sistemas de inteligência artificial
é importante, pois sistemas das áreas de segurança pública e migração podem causar
danos muitas vezes irreparáveis e ensejam medidas mais criteriosas no
desenvolvimento da tecnologia.
Segundo Ávila (2016, p. 126), ao Estado não cabe apenas respeitar os direitos
fundamentais, mas também o dever de os promover por meio da adoção de medidas
que os concretizem da melhor forma possível. Portanto, os sistemas de IA ao serem
desenvolvidos pelo poder público devem ter como um dos pontos centrais a garantia

58 Apesar de aqui mencionar servidor público, devemos abranger para qualquer pessoa que atue no
setor público, como empregados públicos, servidores estatutários, terceirizados, membros, entre
outros, sejam eles temporários, comissionados ou efetivos.
59 Administrativa, jurisdicional, governamental, legislativa, moderadora e controladora (SOUZA
JÚNIOR, 2003, p. 166 e seguintes).
 73

da promoção dos direitos fundamentais e sua devida proteção. Deve-se também evitar
adotar critérios que priorizem a eficiência em detrimento da justiça ou que gerem
exclusão social, por exemplo.
Esses direitos são reconhecidos pelo artigo 5 da Constituição Federal e
garantidos por instituições políticas e jurídicas. Exemplos de direitos fundamentais,
incluem a liberdade de expressão, o direito à privacidade e a não-discriminação. É
necessária uma atuação efetiva do Estado na proteção desses direitos. Porém, é um
desafio constante para o Estado brasileiro, principalmente com o uso de tecnologias
que possuem impactos difíceis de identificar antes que aconteçam e há um risco de
que esses direitos sejam violados ou prejudicados, principalmente de grupos mais
vulneráveis da sociedade.
Segundo Barboza e Kotinda (2014, p. 100), os direitos fundamentais são
impulsionados pelo Estado por intermédio de diversos programas e ações
governamentais, com o propósito de efetivar essas liberdades e garantias
fundamentais estabelecidas na ordem jurídica. Neste ponto, espera-se que a
tecnologia seja uma aliada na concretização destes direitos e não em sua violação.
Dentre os direitos protegidos, as autoras destacam o princípio da dignidade da pessoa
humana, do acesso à justiça, não-discriminação, privacidade e o da intimidade.
No contexto da inteligência artificial, a IA, ao se delegar a tomada de decisão
exclusivamente para a tecnologia, pode gerar decisões que não considerem esses
direitos.

3.2.2 Princípio da Publicidade

Há dois princípios que estruturam todo o Direito Público, o da supremacia do

interesse público e a indisponibilidade do interesse público (HACHEM, 2011, p .147).
O princípio da publicidade, entre outros mencionados no artigo 37 da Constituição,
derivam dos princípios estruturantes, vejamos:
 74

Nessa toada, os princípios constitucionais da Administração Pública inscritos

no art. 37, caput da CF, por exemplo, têm por fundamento material, que lhes
oferece sustentação, esses dois mandamentos nucleares: a supremacia e a
indisponibilidade do interesse público. Por sua vez, o conteúdo jurídico
desses dois princípios abertos é materializado através da legalidade, da
impessoalidade, da moralidade, da publicidade, da eficiência, e assim por
diante. Todos eles têm por finalidade última assegurar que o interesse público
prevaleça sobre os interesses privados, e que seja efetivamente perseguido
pelo administrador público, independentemente de suas vontades pessoais
(HACHEM, 2011, p .147).

O princípio da publicidade é um dos pilares do Direito Público brasileiro e

possibilita o controle do governo pelos cidadãos. Segundo Salgado (2017), este
princípio atravessa todo o regime jurídico de Direito Público, e a compreensão
adequada à Constituição não permite que ele seja ponderado com os demais
princípios, como o princípio da eficiência.
Segundo Sundfeld (1995, p. 98) a publicidade não se resume à divulgação
dos atos, como condição de existência e validade deles, mas vai além disto. Neste
mesmo sentido, MEIRELLES (1981, p.76) complementa:

... a publicidade, como princípio de administração pública, abrange toda

atuação estatal, não só sob o aspecto de divulgação oficial de seus atos como
também de propiciação de conhecimento da conduta interna de seus
agentes. Essa publicidade atinge, assim, os atos concluídos e em formação,
os processos em andamento, os pareceres dos órgãos técnicos e jurídicos,
os despachos intermediários e finais, as atas de julgamentos das licitações e
os contratos com quaisquer interessados, bem como os comprovantes de
despesas e as prestações de contas submetidas aos órgãos competentes.
Tudo isto é papel ou documento público que pode ser examinado na
repartição por qualquer interessado e dele obter certidão ou fotocópia
autenticada para os fins constitucionais.

Aqui já vemos uma primeira diferença entre o próprio princípio da motivação

com o da publicidade, em que este último, por ser mais amplo, tem o intuito de
publicizar informações e documentos, no qual não necessariamente houve uma
decisão que precisa de uma justificativa atrelada. Alcançado o resultado pretendido
com o sigilo, volta a vigorar o princípio da ampla publicidade.
Esse princípio constitucionalmente previsto, tornou-se mais sólido com o
advento da Lei de Acesso à Informação (Lei n.° 12.527/2011) que assegura aos
cidadãos o direito de saber como atuam os agentes públicos, como utilizam os
recursos públicos, e o que motiva suas decisões (SALGADO, 2017). Deve-se adotar
a postura da transparência como regra geral e sigilo como exceção.
 75

O sigilo, na administração pública, consiste na impossibilidade, parcial ou

total, de dar publicidade. Pode-se classificar o sigilo em duas categorias: (i) sigilo
indispensável ao exercício da atividade pública e, (ii) sigilo em favor da privacidade
individual do cidadão (SUNDFELD, 1995, p. 104). Há necessidade de delimitação do
tempo quer perdurará o sigilo também, com a justificativa atrelada.
Como destaca Salgado (2017), apenas com a publicidade e visibilidade dos
atos do Estado é possível realizar o controle social sobre o exercício do poder. Neste
mesmo sentido, CLÉVE e FRANZONI (2013, p. 3) complementam que "é a
qualificação da participação cidadã e da concepção emancipada do destinatário das
promessas constitucionais (agora sujeito) que permite traçar as bases do projeto
republicano, democrático e igualitário” .
Filgueiras (2011, p. 84) destaca a diferença entre o princípio da publicidade e
a transparência. A publicidade é um princípio constitucional muito mais amplo e a
transparência se limita à disponibilização de informações e processos relacionados às
políticas públicas. Vejamos:

Publicidade, aqui, não se confunde com transparência. Como observamos

anteriormente, esta última se refere à disponibilização de informações e
processos relacionados às políticas públicas. A publicidade demanda, muitas
vezes, a transparência, mas vai além por ser um princípio de autoridade.
Como tal, ela exige que os processos representativos da democracia sejam
organizados em condições equitativas, em que, observadas a pluralidade dos
interesses e as diferenças de condição social, as instituições consideram
igualmente os interesses dos diferentes cidadãos.
A publicidade exige que as políticas e as normas emanadas do governo
ocorram em um processo aberto de decisão democrática e que as instituições
sejam controladas por outras instituições e pelos próprios cidadãos. A
publicidade significa atrelar as decisões do governo à autoridade da
cidadania, seja por meio de instituições, seja da participação da própria
sociedade nos processos de escolhas e decisões públicas.

Há derivações específicas do princípio da publicidade, a que mais se relaciona

com a temática da inteligência artificial explicável é a do direito de acesso à informação
e sua potencialidade transformadora. O princípio da publicidade também se ramifica
no princípio da motivação, pois, motivar envolve explicitar os motivos e conferir
publicidade aos motivos de um ato do poder público.
Por integrar o Poder Público, o Poder Judiciário também se sujeita às
previsões da Lei de Acesso à Informação (LAI). Mas antes disso, sujeita-se ao
 76

princípio constitucional da publicidade dos atos processuais60, compreendida como a

liberdade de acesso aos atos integrantes do procedimento e sua documentação
(YARSHELL, 2014, p. 133).
Conforme publicado pelo Conselho Nacional de Justiça61, há uma diversidade
de tribunais que utilizam a tecnologia de inteligência artificial para os mais diversos
fins. Dentre as finalidades, também se destaca o uso para atos processuais, como a
escrita de minutas de sentença62 ou conhecimento de recursos63. Logo, por se tratar
de atos processuais, o modo de funcionamento destes atos automatizados deve ser
público até para permitir o advogado questionar, em eventual recurso não conhecido,
por exemplo.
Neste mesmo sentido, Ávila (2011, p. 231) menciona que um estado de
publicidade depende da adoção de determinados comportamentos que contribuam
para sua promoção, ou seja, “a publicidade é o fim do qual se devem deduzir os meios
necessários à sua realização”. O autor ainda complementa:

... o dever de atingir um estado de publicidade faz parte do ideal maior de

garantir um estado de confiabilidade e de calculabilidade do ordenamento
jurídico, baseado na sua cognoscibilidade. De fato, o dever de publicidade
contribui para o incremento da inteligibilidade do ordenamento jurídico,
porque, pela publicação e pela intimação, o cidadão possui maiores
condições de acesso às normas e de compreensão destas. ... (ÁVILA, 2011,
p. 231)

60 O ato processual é “toda conduta dos sujeitos do processo que tenha por efeito a criação, modificação
ou extinção de situações jurídicas processuais”, podendo-se citar como exemplos o oferecimento de
uma denúncia, uma petição inicial, um interrogatório ou uma sentença (CINTRA; GRINOVER;
DINAMARCO, 2011, p. 361).
61 CNJ. Projetos com Inteligência Artificial no Poder Judiciário. Disponível em
https://paineisanalvtics.cni.ius.br/single/?appid=29d710f7-8d8f-47be-8af8-
a9152545b771&sheet=b8267e5a-1f1f-41a7-90ff-d7a2f4ed34ea&lang=pt-BR&opt=ctxmenu,currsel.
Acesso em junho de 2022.
62 O sistema utilizado no TRF4, Eproc, possui módulo de gerenciamento eletrônico de documentos que
permite aos órgãos judiciais a criação de modelos de minuta para facilitar e padronizar a edição de
documentos. A solução desenvolvida mapeia o histórico de utilização destes modelos de minuta e
identifica em que situação o processo se encontrava na época. Este histórico foi utilizado para a
geração de uma rede neural que permite sugerir o modelo de minuta mais adequado à situação atual
do processo.
63 O Sistema Bem-Te-Vi do TST auxilia os Gabinetes na gestão de seu acervo, especialmente na
atividade de triagem. As informações preditivas são produzidas segundo as decisões proferidas pelos
Ministros nos últimos dois anos. O conteúdo das petições de RR e AIRR, do despacho de
admissibilidade e dos acórdãos são utilizados como entrada para algoritmos de aprendizado
supervisionado, mais precisamente o XGBoost, cujas saídas são relativas às decisões Ministros do
TST.
 77

A partir do momento que a administração pública passa a automatizar parte

de seus atos com tecnologias que podem utilizar A/IS, pode se tornar um desafio
publicizar o que é previsto constitucionalmente. Ainda que publicizado, é necessário
estar em uma linguagem acessível ao cidadão, para que este possa exercer sua
participação e controle social. Neste mesmo sentido, é o que consta no relatório na
proposta do Marco Regulatório de IA:

As consequências dessa falta de transparência são enormes, visto que todo

ato administrativo deve explicitar seu motivo sob pena de invalidade. Além
disso, o princípio da publicidade está umbilicalmente conectado à
transparência, sendo um dos princípios corolários da democracia,
proporcionando ao povo a accountability das decisões, de modo a viabilizar
o controle democrático popular. Sem a transparência nas decisões, também
se torna prejudicado o direito de defesa e contraditório. Dessa forma, a
superação do problema de transparência algorítmica é um dos desafios mais
importantes que se desenham para o futuro. (SENADO FEDERAL, 2022b, p.
850)

Ao desenvolver estes tipos de sistemas, deve-se considerar aplicar tanto o

princípio da publicidade quanto o da transparência desde a concepção, acrescido da
publicação de relatórios que incluam informações sobre riscos identificados, medidas
de mitigação ou de reparação previstas, assim como justificativas concretas para a
continuidade ou interrupção dos sistemas em desenvolvimento.
Portanto, a partir do momento que o poder público faz uso de tecnologias que
impeçam o acesso, compreensão ou até mesmo o controle democrático de seus atos,
acaba por violar o princípio da publicidade.

3.2.3 Princípio da Motivação

O princípio da motivação no direito administrativo brasileiro estabelece que os

atos administrativos sejam justificados e tenham motivo claro e explícito para serem
praticados. No caso da decisão administrativa feita por um software, esta deve ser
suficientemente motivada, pois a sua opacidade pode ser motivo de invalidação
(SENADO FEDERAL, 2022b, p. 847).
Neste mesmo sentido, França (2022) menciona:
 78

No modelo de Estado de Direito estabelecido no sistema do Direito Positivo

- o Estado Democrático de Direito - exige-se do Poder Público um alto grau
de intervenção na esfera jurídica dos administrados, seja no domínio
econômico, seja no domínio social. Intervenção esta que se justifica em razão
de metas constitucionais de Justiça Social.

Nesse diapasão, os atos jurídicos do Estado ensejam o redimensionamento,

ou até mesmo a compressão de interesses e direitos individuais dos
administrados em prol dos interesses públicos. Para prevenir o arbítrio
estatal, no campo da Administração Pública, exige-se que a autoridade
apresente os fundamentos de sua decisão. Trata-se do dever de motivação
dos atos administrativos.

Dentre as normas que estabelecem essa obrigatoriedade estão a Constituição

Federal, Lei Federal n.° 9784 de 199964, Lei Federal n.° 5172 de 196665, Lei Federal
n.° 6938 de 198166, Lei Federal n.° 8112 de 199067, Lei Federal n.° 8248 de 199168,
Lei Federal n.° 14.133 de 202169, Lei Federal n.° 9.472 de 199770, entre diversas
outras que também incluem as normas do âmbito estadual e municipal.
Dentre essas legislações, destacam-se alguns artigos da Constituição
Federal, como os artigos (i) 93, X71, (ii) 121, § 2°72 e (iii) 169, § 4°73. Também se
destaca as normas da Lei Federal n.° 9.784/1999 por meio dos artigos (i) 2, caput,

64 Regula o processo administrativo no âmbito da Administração Pública Federal.

65 Dispõe sobre o Sistema Tributário Nacional e institui normas gerais de direito tributário aplicáveis à
União, Estados e Municípios.
66 Dispõe sobre a Política Nacional do Meio Ambiente, seus fins e mecanismos de formulação e
aplicação, e dá outras providências.
67 Dispõe sobre o regime jurídico dos servidores públicos civis da União, das autarquias e das
fundações públicas federais.
68 Dispõe sobre a capacitação e competitividade do setor de informática e automação, e dá outras
providências.
69 Lei de Licitações e Contratos Administrativos.
70 Dispõe sobre a organização dos serviços de telecomunicações, a criação e funcionamento de um
órgão regulador e outros aspectos institucionais, nos termos da Emenda Constitucional n.° 8, de 1995.
71 Art. 93. Lei complementar, de iniciativa do Supremo Tribunal Federal, disporá sobre o Estatuto da
Magistratura, observados os seguintes princípios: ... X as decisões administrativas dos tribunais serão
motivadas e em sessão pública, sendo as disciplinares tomadas pelo voto da maioria absoluta de
seus membros;) ...
72 Art. 121. ... § 2° Os juízes dos tribunais eleitorais, salvo motivo justificado, servirão por dois anos, no
mínimo, e nunca por mais de dois biênios consecutivos, sendo os substitutos escolhidos na mesma
ocasião e pelo mesmo processo, em número igual para cada categoria. ...
73 Art. 169. A despesa com pessoal ativo e inativo e pensionistas da União, dos Estados, do Distrito
Federal e dos Municípios não pode exceder os limites estabelecidos em lei complementar. ... § 4° Se
as medidas adotadas com base no parágrafo anterior não forem suficientes para assegurar o
cumprimento da determinação da lei complementar referida neste artigo, o servidor estável poderá
perder o cargo, desde que ato normativo motivado de cada um dos Poderes especifique a atividade
funcional, o órgão ou unidade administrativa objeto da redução de pessoal. ...
 79

parágrafo único74, (ii) 38, § 2°75 e (iii) 5076. E a Lei Federal n.° 5172/1966 por meio do
artigo 17277.
A partir da fundamentação da decisão pela autoridade administrativa, é
possível atribuir responsabilidades e dar transparência no processo de tomada de
decisão78. Este princípio é considerado fundamental para a proteção dos direitos dos
cidadãos e para garantir a legalidade dos atos administrativos. Espera-se que o
cidadão, como destinatário do ato administrativo, tenha possibilidade de compreender
e contestar a decisão recebida, tanto no âmbito individual quanto coletivo.
A possibilidade de contestação se faz ainda mais necessária quando o ato
administrativo possa ter efeitos jurídicos desfavoráveis, como deveres ou sanções.

74 Art. 2o A Administração Pública obedecerá, dentre outros, aos princípios da legalidade, finalidade,
motivação, razoabilidade, proporcionalidade, moralidade, ampla defesa, contraditório, segurança
jurídica, interesse público e eficiência. Parágrafo único. Nos processos administrativos serão
observados, entre outros, os critérios de: ... VII - indicação dos pressupostos de fato e de direito que
determinarem a decisão ...
75 Art. 38. O interessado poderá, na fase instrutória e antes da tomada da decisão, juntar documentos
e pareceres, requerer diligências e perícias, bem como aduzir alegações referentes à matéria objeto
do processo. ... § 2o Somente poderão ser recusadas, mediante decisão fundamentada, as provas
propostas pelos interessados quando sejam ilícitas, impertinentes, desnecessárias ou protelatórias.
76 Art. 50. Os atos administrativos deverão ser motivados, com indicação dos fatos e dos fundamentos
jurídicos, quando: I - neguem, limitem ou afetem direitos ou interesses; II - imponham ou agravem
deveres, encargos ou sanções; III - decidam processos administrativos de concurso ou seleção
pública; IV - dispensem ou declarem a inexigibilidade de processo licitatório; V - decidam recursos
administrativos; VI - decorram de reexame de ofício; VII - deixem de aplicar jurisprudência firmada
sobre a questão ou discrepem de pareceres, laudos, propostas e relatórios oficiais; VIII - importem
anulação, revogação, suspensão ou convalidação de ato administrativo. § 1o A motivação deve ser
explícita, clara e congruente, podendo consistir em declaração de concordância com fundamentos de
anteriores pareceres, informações, decisões ou propostas, que, neste caso, serão parte integrante
do ato. § 2o Na solução de vários assuntos da mesma natureza, pode ser utilizado meio mecânico
que reproduza os fundamentos das decisões, desde que não prejudique direito ou garantia dos
interessados. § 3o A motivação das decisões de órgãos colegiados e comissões ou de decisões orais
constará da respectiva ata ou de termo escrito.
77 Art. 172. A lei pode autorizar a autoridade administrativa a conceder, por despacho fundamentado,
remissão total ou parcial do crédito tributário, atendendo: I - à situação econômica do sujeito passivo;
II - ao erro ou ignorância escusáveis do sujeito passivo, quanto a matéria de fato; III - à diminuta
importância do crédito tributário; IV - a considerações de equidade, em relação com as características
pessoais ou materiais do caso; V - a condições peculiares a determinada região do território da
entidade tributante. Parágrafo único. O despacho referido neste artigo não gera direito adquirido,
aplicando-se, quando cabível, o disposto no artigo 155.
78 “A capacidade de auditar tecnologias é particularmente essencial para fornecer supervisão e
reparação adequadas. Por exemplo, se uma tecnologia levou a um resultado que é posteriormente
contestado em tribunal ou usado como prova, a administração adequada da justiça exige que a
tecnologia seja totalmente auditável.” (SENADO FEDERAL, 2022b, p. 840)
 80

Art. 50. Os atos administrativos deverão ser motivados, com indicação dos
fatos e dos fundamentos jurídicos, quando: I - neguem, limitem ou afetem
direitos ou interesses; II - imponham ou agravem deveres, encargos ou
sanções; ...

Portanto, o ato administrativo atende aos parâmetros legais, quando exposto

o seu motivo (FERRAZ; DALLARI, 2001, p. 59) e esta motivação é o que permite
associar a validade do ato administrativo à legislação existente (França, 2022).
A motivação mencionada pode ter níveis de complexidade diversos e
diretamente proporcionais ao grau de relevância desse provimento para a esfera
jurídica do administrado (ANDRADE, 1992, p. 240-241). Os elementos da motivação
podem incluir parcial ou totalmente (FRANÇA, 2022) (BANDEIRA DE MELLO, 1992,
p. 404):

(i) a demonstração do suporte fático da norma jurídica aplicada (motivo

fático); (ii) a exposição da norma jurídica que justifica a emissão do ato
(motivo legal); (iii) a comprovação da incidência da norma jurídica
mencionada como lastro de validade para o ato; e, (iv) no caso de atos
administrativos discricionários, a relação de proporcionalidade entre o
conteúdo do ato e o motivo, em face da finalidade (causa).

O princípio da motivação se relaciona e complementa outros princípios como

o da publicidade, da moralidade administrativa, da isonomia, da segurança jurídica e
da razoabilidade. O presente princípio também se relaciona com algumas garantias,
como a garantia do devido processo legal e da ampla defesa.
A partir do momento que é utilizado um sistema de IA para tomar decisões e
não se compreende exatamente como o resultado foi obtido, os jurisdicionados
podem não conseguir compreender e contestar as decisões. O problema se agrava
logo que os sistemas possam gerar decisões discriminatórias ou injustas79. O uso da
inteligência artificial explicável, que será abordado no capítulo seguinte, permite
concretizar o princípio da motivação.

79 Isso ocorre porque os algoritmos usados pela IA podem ser tendenciosos e refletir os preconceitos
dos humanos que os criaram, pelo fato do algoritmo aprender com dados de situações que já
ocorreram. Por exemplo, um algoritmo usado para decidir quem recebe um empréstimo pode ser
mais propenso a aprovar empréstimos para pessoas brancas do que para pessoas negras, desde
que, esse comportamento já tenha sido repetido anteriormente em decisões manuais e estes dados
tendenciosos foram utilizados para treinar o modelo de inteligência artificial.
 81

3.2.4 Princípio da Transparência

O desenvolvimento do princípio da transparência se dá a partir do texto da

Constituição Federal de 1988, em especial sobre os artigos que tratam da
publicidade80.
A transparência desempenha um papel fundamental no fortalecimento da
democracia e no aumento da legitimidade do governo. Segundo De Arruda (2020,
p.44), esse princípio se concretiza ao garantir o acesso às informações e possibilita o
conhecimento das motivações por trás das ações da administração pública, bem como
permite a participação popular tanto na definição de políticas públicas quanto nas
tomadas de decisões. A transparência no agir administrativo favorece o controle
social, contribui para a moralidade, imparcialidade e legalidade, e, dessa forma, ajuda
a reduzir a necessidade de recorrer excessivamente ao judiciário para solucionar
questões. Ao fornecer informações abertas e acessíveis, a transparência reforça o
vínculo entre governo e sociedade e promove uma gestão pública mais ética e
responsável. Neste mesmo sentido, Bobbio (1986) cita "pode-se definir a democracia
das maneiras mais diversas, mas não existe definição que possa deixar de incluir em
seus conotativos a visibilidade ou transparência do poder”.
Em 2011 surge a Lei da Transparência (Lei n.° 12.527/2011), também
conhecida como Lei do Acesso à Informação (LAI). Esta lei se tornou um referencial
jurídico com aplicação direta em todas as esferas da Administração Pública e
possibilitou concretizar alguns dos valores previstos pela constituição81.
O primeiro princípio da LAI, art. 2°, I, estabelece que a regra geral é a
transparência e o fornecimento de informações. No entanto, há casos em que é
justificável aplicar o sigilo para proteger a intimidade ou interesses do Estado. A lei
exige que a Administração Pública seja proativa na promoção de informações de
interesse público, não apenas para responder às solicitações, mas também para
construir sistemas de difusão de informações facilmente acessíveis aos cidadãos,

80 Constituição Federal: Artigo 5, LX, Artigo 37, §1 e Artigo 255, IV.

81 A Constituição Federal prevê diversos direitos autoaplicáveis, que inclui o direito subjetivo dos
cidadãos de receber informações dos órgãos públicos, que abrange informações pessoais, coletivas
e de interesse geral (MARTINS, 2019, p. 4). A LAI dispõe sobre os procedimentos a serem
observados pela União, Estados, Distrito Federal e Municípios, com o fim de garantir o acesso a
informações previsto no inciso XXXIII do art. 5°, no inciso II do § 3° do art. 37 e no § 2° do art. 216 da
Constituição Federal.
 82

inclusive por meio da Internet e meios de comunicação tradicionais. A transparência

é um valor social importante, que deve ser disseminado pela Administração Pública
para fortalecer a prática de controle social.
O artigo 5° da LAI estabelece que é dever do Estado garantir o acesso à
informação de forma transparente, clara e em linguagem de fácil compreensão por
meio de procedimentos objetivos e ágeis ao cidadão. O não cumprimento dessa
obrigação pode ser combatido tanto administrativamente quanto judicialmente.
Portanto, a Administração Pública deve se preparar para atender às demandas por
informações consoantes aos princípios da lei.
Quando se refere ao funcionamento de sistemas de inteligência artificial, pela
complexidade envolvida, muitas vezes não é trivial detalhar o funcionamento interno
do sistema. Além da dificuldade de o próprio corpo técnico do órgão público conhecer
de forma ampla e completa o sistema, na ocasião em que esta informação precisa ser
repassada ao cidadão deve ser em linguagem acessível e simplificada. Se não
deixarem a informação pronta para publicização, dificilmente conseguirão levantá-la
em tempo, devido ao prazo estabelecido pela LAI.
A falta de padronização das informações que devem ser fornecidas ao
cidadão que solicite a transparência de sistemas de IA, também pode gerar diferentes
níveis de respostas entre os diversos órgãos e entidades que compõem o setor
público. O principal problema neste caso, é de que sejam fornecidas informações
muito superficiais e o cidadão não consiga compreender como alguma decisão
automatizada foi feita e o impossibilite de recorrer.
Além da LAI, os valores constitucionais de transparência também são
concretizados de outras maneiras, um exemplo é a regulamentação do Habeas Data
pela Lei n.° 9.507/1997, fundamental para garantir o acesso a documentos públicos
relacionados aos cidadãos. Esse remédio constitucional equilibra interesses públicos,
como a segurança da sociedade e o acesso à determinada informação.

3.3 LEI GERAL DE PROTEÇÃO DE DADOS

A Lei Geral de Proteção de Dados no Brasil dispõe sobre o tratamento de

dados pessoais, inclusive nos meios digitais, por pessoa natural ou por pessoa jurídica
de direito público ou privado, com o objetivo de proteger os direitos fundamentais,
 83

como a liberdade, privacidade e o livre desenvolvimento da personalidade da pessoa

natural.
Nas tecnologias desenvolvidas que utilizam dados para aprendizado, a LGPD
se aplica integralmente, salvo as hipóteses de exclusão (art. 4). Há, portanto, uma
intersecção significativa entre a proteção de dados e a IA82.
Há ainda um aspecto específico que faz parte da área de Inteligência Artificial
e que merece destaque, o artigo 20 da LGPD, que trata sobre as decisões tomadas
unicamente com base em tratamento automatizado de dados pessoais. Neste caso,
as decisões podem ser oriundas de sistemas de inteligência artificial e o controlador
do sistema deve fornecer informações claras e adequadas a respeito dos critérios e
dos procedimentos utilizados para a decisão automatizada, observados os segredos
comercial e industrial.
Entretanto, a Lei Geral de Proteção de Dados brasileira é insuficiente para
considerar todos os aspectos da inteligência artificial, principalmente os critérios
relativos à transparência.
O artigo 20 da LGPD garante ao titular de dados pessoais o direito de revisão
de decisões automatizadas. Neste artigo, também é abordada insuficientemente a
explicabilidade. Outro ponto que gera insegurança jurídica é a ausência de uma
definição para perfilamento, pois seus delineamentos aparecem apenas no caput do
art. 20 sobre decisões automatizadas83.
Há, obviamente, uma primeira limitação da LGPD para tratar dos riscos e
preocupações trazidas pela Inteligência Artificial: a LGPD tem por escopo apenas o
tratamento de dados pessoais e sistemas de inteligência artificial de alto risco, por
exemplo, carros autônomos podem operar sem tratar necessariamente dados
pessoais.
É importante constatar que, ao contrário da legislação europeia, a legislação
brasileira antes confere um direito aos controladores em utilizar decisões

82 Neste mesmo sentido, ARANHA (2020, p. 258) cita “O aumento do poder computacional, a expansão
da inteligência artificial, a progressiva capacidade técnica de coleta e tratamento dos dados - tanto
pelo setor privado, quanto pelo Estado - estão conduzindo a um fluxo exponencial de informações
pessoais que são utilizadas para diversas finalidades - algumas benéficas para a sociedade e outras
perigosas ou obscuras”.
83 LGPD, Art. 20. ... decisões tomadas unicamente com base em tratamento automatizado de dados
pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal
 84

automatizadas. A LGPD, ao prever para o titular um direito à revisão de decisões

automatizadas, reflete uma autorização implícita de qualquer tratamento
automatizado de dados pessoais que satisfaça as exigências da lei, dentre elas a
necessidade de ocorrência de uma das hipóteses de tratamento do artigo 7° da LGPD,
ou, no caso de dados sensíveis, ao art. 11 da LGPD.
Se o titular tem direito a solicitar revisão de decisões unicamente
automatizadas que lhe afetem, então já se pressupõe uma permissão implícita ao
controlador para processamento de decisões automatizadas baseadas em dados
pessoais. Desse modo, a permissão, mesmo que implícita, é mais forte do que uma
simples ausência de proibição e reflete um direito do controlador.
Tal abordagem é oposta ao do art. 22 do RGPD, que enuncia uma proibição
ao controlador de adotar decisões unicamente automatizadas, por meio da previsão
de um direito oponível pelo titular de dados a não se submeter a tais decisões, a não
ser nas hipóteses de exceção, previstas nos incisos daquele mesmo artigo.
Ainda que parte da doutrina europeia interprete o artigo 22 do RGPD
similarmente ao da legislação brasileira (BYGRAVE, 2019) (TOSONI, 2021), outra
corrente com considerável presença na academia (BRKAN, 2019) (ROIG, 2018) e nas
autoridades de proteção de dados (AEPD, 2020) (ARTICLE 29 WP, 2018) traz uma
interpretação mais restritiva, em linha com a literalidade do § 1° deste artigo, que se
refere a um direito à não ser submetido a decisões automatizadas84. O modelo
brasileiro de proteção de dados pessoais se mostra, assim, mais permissivo em
relação ao uso da automação do que seus análogos estrangeiros, uma vez que adota
apenas o controle posterior sobre as decisões automatizadas, por meio dos direitos
do titular de revisão, explicação e auditoria sobre discriminação.
Outro ponto que merece destaque ao comparar a legislação brasileira com as
demais legislações internacionais, está no escopo das decisões cobertas pelo direito
à revisão. Na LGPD, o direito de revisão pode ser exercido contra tratamento
automatizado de dados pessoais que afete os interesses do titular de dados85. Tal

84 De acordo com esta interpretação, decisões automatizadas são lícitas apenas quando baseadas em
uma das três hipóteses explicitamente mencionadas no § 2° do artigo 22: necessidade do tratamento
para a celebração ou desempenho de um contrato entre o titular de dados e o controlador, a
existência de lei da União Europeia ou de seus Estados-Membros autorizando o tratamento de dados
para decisões automatizadas, ou o consentimento explícito do titular.
85 LGPD, artigo 20, caput.
 85

formulação cobre uma ampla gama de interesses juridicamente protegidos (LÓPEZ,

2020) (MARANHÃO; ALMADA, 2021).
Na União Europeia, o direito à não ser submetido a decisões automatizadas
tem uma hipótese mais estreita, tal direito se aplica apenas às decisões que produzam
efeitos jurídicos ou que sejam significativos similarmente a uma decisão jurídica, por
exemplo, ao resultar na perda de um emprego (ARTICLE 29 WP, 2018).
Com relação ainda ao artigo 20 da LGPD, destaca-se que foi suprimido o trecho
que exigia que a revisão da decisão fosse efetuada por pessoa natural. Tal dispositivo
foi objeto de veto presidencial, fundamentado no potencial de que a obrigação de
revisão humana torne inviável diversos modelos de negócio de empresas que usam
sistemas de decisão automatizada, como instituições financeiras (PRESIDÊNCIA DA
REPÚBLICA, 2019).
Com relação ao segundo aspecto, o da explicabilidade, o parágrafo primeiro do
artigo 20 versa sobre o fornecimento, sempre que solicitado, de informações claras e
adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão
automatizada. Apesar de abordar a questão da explicabilidade, não é suficiente, visto
que como já mencionado, a questão de transparência envolve diversos fatores como
a compreensão das variáveis utilizadas, impacto delas na decisão, cada tipo de
algoritmo pode fornecer um grau maior ou menor de explicabilidade. Ou seja, a
previsão é genérica e não contempla as nuances acima abordadas sobre as
diferenças de explicabilidade conforme tipo de sistema, tipo de destinatário da
explicação, a distinção entre explicação e justificação da decisão automatizadas,
tampouco o tipo de explicabilidade exigida.
Ainda na discussão sobre a explicabilidade, o artigo 20 da LGPD não faz
distinção entre tipos de aplicação que podem ou não trazer riscos, ou ainda sobre os
níveis de riscos. Este aspecto é de grande relevância e conforme o risco associado e
contexto envolvido, pode ser necessária uma maior transparência. Ainda há outros
conceitos associados à explicabilidade para garantir uma IA confiável que também
não são abordados pela LGPD, como acurácia, accountability, monitoramento,
segurança dos sistemas, entre outros.
Outra dúvida interpretativa trazida pela redação do art. 20 da LGPD está no
perfilamento (profiling). Ao contrário do RGPD europeu, na LGPD não há uma
definição destacada de profiling e seus delineamentos aparecem apenas no caput do
 86

art. 20 sobre decisões automatizadas. Ou seja, aparentemente, o escopo não trata

apenas de decisões automatizadas que incluam perfis, mas é objeto de revisão, isto
é, constitui decisão automatizada, o próprio processo computacional de formação de
perfil do titular. Assim, pode-se questionar, por exemplo, se uma negativa de
concessão de crédito por humano deve oferecer a explicação da pontuação de risco
de inadimplência feita por sistema de IA.
Esses elementos indicam limitações do art. 20 da LGPD para lidar com os
desafios éticos e mesmo aqueles ligados à transparência de sistemas de inteligência
artificial, ainda que a LGPD tenha a transparência como um de seus princípios e
mencione explicitamente o direito à explicação de decisões automatizadas.

3.4 ACCOUNTABILITY COMO PRINCÍPIO NORMATIVO E VIABILIZADO PELA

TRANSPARÊNCIA

O termo accountability tem origem na área de políticas públicas e governança,

e acabou por ser incorporado e adaptado ao poder judiciário ao longo dos anos.
Segundo Tomio e Robl Filho (2013) o termo significa:

Necessidade de uma pessoa ou instituição que recebeu uma atribuição ou

delegação de poder prestar informações e justificações sobre suas ações e
seus resultados, podendo ser sancionada política, pública, institucional e/ou
juridicam ente por suas atividades.

Este conceito também pode ser interpretado como um arranjo institucional que
estimula os atores individuais (agentes) a um comportamento mais benéfico possível
à coletividade, pelo dever de prestar contas sobre eventuais decisões erradas que
tomarem.
A accountability é possibilitada por intermédio da transparência, do controle e
pela concretização do princípio da publicidade. Filgueiras (2011, p. 84) define como:

De uma perspectiva política, a accountability se refere ao conjunto de

processos, procedimentos e valores atrelado a um ideal de responsabilização
e de controle dos governos, que se realiza nas condições de regimes políticos
democráticos. Nesse sentido, a accountability é um princípio de legitimação
(Barnard, 2001) e exige, para além da transparência, que as políticas, normas
e diretivas postas pelo governo ocorram em condições de publicidade.
 87

Filgueiras (2011, p. 66) também destaca que frequentes demandas por

accountability reforçaram a criação de outro princípio para a democratização do
Estado, o da transparência. Este mesmo autor, defende que este conceito se refere a
um processo político e democrático de exercício da autoridade por parte dos cidadãos
(FILGUEIRAS, 2011, p. 71).
A figura 4 demonstra a relação entre os princípios e terminologias abordados.
Conclui-se, pela doutrina existente sobre o tema, que o princípio da motivação
aprofunda ecomplementa em parte o princípio da publicidade. E estes princípios
contribuem para o conceito de transparência do poder público e por consequência
essa transparência viabiliza a fiscalização e auditoria dos atos governamentais.
Há um vínculo entre o próprio princípio da publicidade com a transparência e
por consequência, da transparência com a accountability, como explicita Filgueiras
(2011, p. 91-92):

A ideia de política da publicidade reivindica que a transparência, sozinha, não

possibilita um processo de crítica social da política nas democracias
contemporâneas. Num processo mais amplo de participação cívica, a
transparência é um dos elementos da política da publicidade. ... A política da
publicidade, portanto, toma a ideia de transparência como algo fundamental
à sua consolidação. Mas a toma num sentido mais profundo: o de estabelecer
um horizonte normativo para o conceito de accountability.

Vale mencionar também, que nem todos os atos do governo precisam ser
transparentes/públicos para o cidadão (FILGUEIRAS, 2011, p. 88). Deste modo, foi
representado no desenho o retângulo da transparência sem abranger a totalidade dos
elementos que representam o princípio da motivação e da publicidade.
Outro comentário referente à figura 4, é a conexão entre o princípio da
publicidade e o da motivação. O princípio da motivação não está incluso no da
publicidade, pelo fato de que todos os atos administrativos merecerem motivação,
mas nem todos os atos administrativos são possíveis de publicidade.
Vale destacar que estes princípios e terminologias são amplos e não se
esgotam no gráfico exposto.
 88

Figura 4 - Relação entre o princípio da motivação, publicidade com a accountability e a transparência.

Fonte: Própria

Também é necessário que o accountability seja realizado corretamente. Neste

sentido, Campos afirma que o verdadeiro controle do governo, em qualquer de suas
divisões, só ocorrerá efetivamente se as ações do governo forem fiscalizadas pelos
cidadãos. Entretanto, para isso é necessário fornecer dados e informações para
assegurar o pleno exercício ativo da cidadania.
Com o crescente uso da inteligência artificial por órgãos do poder públicos,
principalmente para tomada de decisões que eram feitas antes por funcionários
públicos, cresce a preocupação sobre como estes sistemas foram criados e como o
cidadão podem compreender a decisão recebida. A compreensão se faz necessária,
por ser uma garantia constitucional e para viabilizar a contestação no âmbito
administrativo ou judicial.
O controle social não se limita ao indivíduo afetado de forma individual, mas
também a grupos de pessoas afetadas. Desta forma, deve ser possível fiscalizar que
o exercício do poder é guiado por regras claras.
Em relação a accountability no contexto brasileiro, apesar de bastante
consolidada a atuação dos tribunais de contas no poder público e a existência dos
 89

princípios no Direito Administrativo, o portal da transparência foi criado apenas em

2004 e a Lei de Acesso à Informação em 2011. Quando se fala no contexto do poder
judiciário, parte das iniciativas aplicadas ao poder público, também se aplicaram ao
judiciário. Destaca-se a atuação do Conselho Nacional de Justiça no papel de
fiscalizar e julgar os tribunais, além de auxiliar na transparência e divulgação de
estatísticas sobre as atuações.
O princípio da publicidade é um dos pilares do Direito Público brasileiro e
permite o controle social pelos cidadãos, logo se conecta ao conceito de
accountability. Esse princípio tornou-se efetivo com o advento da Lei de Acesso à
Informação, que assegura aos cidadãos o direito de saber como atuam os agentes
públicos, como utilizam os recursos públicos e o que motiva suas decisões
(SALGADO, 2017).
Apesar de algumas possibilidades jurídicas que permitam essa fiscalização,
geralmente encontramos apenas algumas estatísticas e prestação de contas nestes
relatórios, não se visualiza transparência relativa aos sistemas de inteligência artificial
utilizados.

3.5 NORMAS TÉCNICAS

Há várias entidades internacionais e nacionais que criam normas técnicas

para orientar e padronizar o desenvolvimento de tecnologias. Com relação às
entidades internacionais, há o IEEE86 (Institute o f Electrical and Electronics
Engineers), ISO87 (International Organization for Standardization), IEC88 (International

86 O Instituto de Engenheiros Eletricistas e Eletrônicos é uma organização profissional sem fins

lucrativos, fundada nos Estados Unidos. É a maior organização profissional do mundo dedicada ao
avanço da tecnologia em benefício da humanidade. Um de seus papéis mais importantes é
estabelecer padrões para formatos de computadores e dispositivos. Site: https://www.ieee.org/
87 A Organização Internacional para Padronização, popularmente conhecida como ISO é uma entidade
que congrega os grêmios de padronização/normalização de 162 países. Site:
https://www.iso.org/home.html.
88 A Comissão Eletrotécnica Internacional é uma organização internacional de padronização de
tecnologias elétricas, eletrônicas e relacionadas. Alguns dos seus padrões são desenvolvidos
juntam ente com a Organização Internacional para Padronização (ISO). Site: https://iec.ch/homepage
 90

Electrotechnical Commission), ITU89 (International Telecommunication Union), ETSI90

(European Telecommunications Standards Institute), ANSI91 (American National
Standards Institute) e o NIST92 (National Institute of Standards and Technology).
Algumas dessas organizações se unem para elaborar algumas normas, como as
normas ISO/IEC. Com relação ao Brasil, há ABNT93 que visa estabelecer normas
técnicas.
Dentre as organizações que procuraram normatizar a inteligência artificial e
seu uso responsável, estão a IEEE, ANSI, ISO e IEC. As demais estabelecem normas,
mas em outras áreas de uso da inteligência artificial ou não atuam ainda diretamente
neste tema. Interessante notar que, em específico para a inteligência artificial, não há
nenhuma norma da ABNT que regula este tema.
Os padrões técnicos que conceituam Inteligência Artificial e tratam dos temas
associados à transparência na tecnologia, governança e seu uso responsável no setor
público, podem ser visualizados na tabela abaixo. No geral, as normas são aplicáveis
a todos os tipos de organizações, como empresas comerciais, agências
governamentais e organizações sem fins lucrativos. Como são normas técnicas
internacionais, não se limitam a um país ou legislação específica.

89 O Setor de Normatização das Telecomunicações é uma área da União Internacional de

Telecomunicações responsável por coordenar padronizações relacionadas a telecomunicações. No
presente, o ITU-T é uma agência intergovernamental que congrega mais de 700 organizações
públicas e privadas de 191 países. Site: https://www.itu.int/en/ITU-T/Pages/default.aspx
90 O European Telecommunications Standards Institute é um instituto europeu cujo objetivo é definir
padrões de funcionamento das telecomunicações no mercado europeu. Formado pela Comissão
Europeia em 1998, inclui fabricantes e operadores. Site: https://www.etsi.org/
91 A American National Standards Institute, também conhecida por sua sigla ANSI, é uma organização
particular estado-unidense sem fins lucrativos cujo objetivo é facilitar a padronização dos trabalhos
de seus membros. Site: https://ansi.org/
92 O Instituto Nacional de Padrões e Tecnologia é uma agência governamental não regulatória da
administração de tecnologia do Departamento de Comércio dos Estados Unidos. A missão do instituto
é promover a inovação e a competitividade industrial dos Estados Unidos, com a promoção da
metrologia, os padrões e a tecnologia de forma que amplie a segurança econômica e melhore a
qualidade de vida. Site: https://www.nist.gov/
93 A Associação Brasileira de Normas Técnicas é o órgão responsável pela normalização técnica no
Brasil e fornece insumos ao desenvolvimento tecnológico brasileiro. Trata-se de uma entidade
privada, sem fins lucrativos e de utilidade pública, fundada em 1940. Site: Associação Brasileira de
Normas Técnicas.
 91

Tabela 4 - Tabela comparativa das entidades que criaram normas técnicas referentes a inteligência
artificial e aspectos relacionados ao uso responsável.
 92

C onceitos e te rm in o lo g ia

A norma ISO/IEC 22989 de 202294, estabelece terminologias e conceitos

associados à IA. Este documento pode ser usado no desenvolvimento de outros
padrões.
A norma P3123™95, ainda em desenvolvimento, visa definir terminologias e
conceitos utilizados em inteligência artificial e aprendizado de máquina (AI/ML).
A norma ANSI/CTA 208996 de 2020, define os termos relacionados à
inteligência artificial e tecnologias associadas na área da saúde, como a inteligência
assistiva, dados sintéticos, monitoramento remoto de pacientes e sistema de
diagnóstico ativado por inteligência artificial.

Transparência

A norma ISO/IEC AWI 1279297, ainda em desenvolvimento, define conceitos e

elementos, para auxiliar as partes interessadas em sistemas de IA a avaliar a
transparência dos sistemas.
A norma IEEE 7001 ™98 de 2021, descreve níveis mensuráveis e testáveis de
transparência em sistemas de IA, para poderem ser avaliados objetivamente.
A norma P2976™99, ainda em desenvolvimento, visa estabelecer um padrão
técnico para a Inteligência Artificial explicável. A norma visa definir requisitos e
restrições obrigatórias e opcionais que precisam ser satisfeitas para que um sistema
de IA seja reconhecido como explicável.
A norma IEEE P2894™100, ainda em desenvolvimento, visa definir uma
estrutura que facilite a adoção de inteligência artificial explicável (xAI). A estrutura
inclui (i) descrição e definição de IA explicável, (ii) as categorias de técnicas de IA
explicável; (iii) os cenários de aplicação para os quais técnicas de IA explicáveis são
necessárias, (iv) avaliações de desempenho de xAI em sistemas de aplicação reais.

94 Site: https://www.iso.org/standard/74296.html
95 Site: https://standards.ieee.org/ieee/3123/10744/
96 Site: https://webstore.ansi.org/Standards/ANSI/ANSICTA20892020
97 Site: https://www.iso.org/standard/84111 .html
98 Site: https://standards.ieee.org/ieee/7001/6929/
99 Site: https://standards.ieee.org/ieee/2976/10522/
100 Site: https://standards.ieee.org/ieee/2894/10284/
 93

Vieses

A norma ISO/IEC TR 24027101 de 2021, aborda o viés em relação aos

sistemas de IA, especialmente no que diz respeito à tomada de decisão auxiliada por
IA. Técnicas de medição e métodos para avaliar o viés são descritos, visando abordar
e tratar as vulnerabilidades relacionadas à existência de vieses. Todas as fases do
ciclo de vida do sistema de IA estão no escopo, como a coleta de dados, treinamento,
aprendizado contínuo, design, teste, avaliação e uso.
A norma ISO/IEC AWI TS 12791102, ainda em desenvolvimento, visa fornecer
técnicas de mitigação que podem ser aplicadas em todo o ciclo de vida do sistema de
IA para tratar vieses indesejados. Este documento, descreve como lidar com
tendências indesejadas em sistemas de IA que usam aprendizado de máquina para
realizar tarefas de classificação e regressão.
A norma IEEE P7003™103, ainda em desenvolvimento, descreve
metodologias para auxiliar os usuários a identificarem e eliminarem problemas de
vieses negativos104 na criação de seus algoritmos.

C onfiabilidade

A norma ISO/IEC TR 24028105 de 2020, aborda tópicos relacionados à

confiabilidade em sistemas de IA, como: (i) abordagens para estabelecer confiança
em sistemas de IA por meio de transparência, explicabilidade, controlabilidade, etc.;
(ii) riscos associados a sistemas de IA, juntamente com possíveis técnicas e métodos
de mitigação; e (iii) abordagens para avaliar e obter disponibilidade, resiliência,
confiabilidade, precisão, segurança e privacidade de sistemas de IA. A especificação
de níveis de confiança para sistemas de IA está fora do escopo deste documento.

101 Site: https://www.iso.org/standard/77607.html

102 Site: https://www.iso.org/standard/84110.html?browse=tc
103 Site: https://standards.ieee.org/ieee/7003/6980/
104 Por viés negativo, implica no uso de conjuntos de dados excessivamente subjetivos, uniformes ou
informações conhecidas por serem inconsistentes com a legislação sobre dados pessoais sensíveis.
Também se encaixa em viés negativo dados associados ao preconceito contra grupos não
necessariamente protegidos explicitamente pela legislação, mas que de alguma forma diminuem o
bem-estar das partes interessadas.
105 Site: https://www.iso.org/standard/77608.html
 94

A norma ANSI/CTA 2096106, estabelece critérios que devem considerados

para que os sistemas de IA sejam considerados confiáveis.

R iscos

A norma ISO/IEC 23894107 de 2023, fornece orientação sobre gerenciamento

de riscos especificamente relacionados à IA. Além disso, descreve processos para a
implementação e integração eficazes do gerenciamento de riscos em sistemas de IA.

Ética

A norma ISO/IEC TR 24368108 de 2022, fornece uma visão geral sobre as

preocupações éticas e sociais da IA. Também fornece informação relativa aos
princípios, processos e métodos nesta área.
A norma IEEE Std 7000™ 109 de 2021, descreve uma abordagem para
identificar e analisar possíveis questões éticas em um sistema de IA, desde sua
concepção. Os métodos sugeridos na norma podem ajudar a evitar consequências
negativas e não intencionais.

G overnança

A norma ISO/IEC 38507110 de 2022, fornece orientações para estabelecer a

governança e o uso de Inteligência Artificial (IA), a fim de garantir seu uso eficaz,
eficiente e aceitável na organização.
A norma IEEE 7005™111 de 2021 define metodologias para auxiliar os
empregadores, com definição de padrões de acesso, coleta, armazenamento,
utilização, compartilhamento e destruição de dados de funcionários.

106 Site: https://shop.cta.tech/products/guidelines-for-developing-trustworthy-artificial-intelligence-

systems-ansi-cta-2096
107 Site: https://www.iso.org/standard/77304.html
108 Site: https://www.iso.org/standard/78507.html?browse=tc
109 Site: https://standards.ieee.org/ieee/7000/6781/
110 Site: https://www.iso.org/standard/56641 .html?browse=tc
111 Site: https://standards.ieee.org/ieee/7005/7014/
 95

A norma IEEE P7004™112, ainda em desenvolvimento, visa definir

metodologias para auxiliar os usuários a identificarem o acesso, coleta,
armazenamento, utilização, compartilhamento e destruição de dados de crianças e
alunos.
A norma IEEE P2863™113, ainda em desenvolvimento, visa recomendar
critérios de governança, como segurança, transparência, prestação de contas,
responsabilidade e minimização de vieses, além do processo para auditoria,
treinamento e conformidade no desenvolvimento ou uso de inteligência artificial nas
organizações.

112 Site: https://standards.ieee.org/ieee/7004/10270/

113 Site: https://standards.ieee.org/ieee/2863/10142/
 96

4 TRANSPARÊNCIA POR MEIO DA INTELIGÊNCIA ARTIFICIAL EXPLICÁVEL

A Inteligência Artificial Explicável, representada pela sigla inglesa xAI

(explainable artificial intelligence), define que sistemas de IA devem fornecer
justificativas claras e interpretáveis do seu modo de funcionamento. No contexto do
poder público, torna-se importante essa transparência e compreensão, dado que os
cidadãos podem ser beneficiados indevidamente ou prejudicados.
Gunning et al. (2019, p. 3), conceituam por:

O objetivo de um sistema de IA explicável (XAI) é tornar seu comportamento

mais inteligível para humanos com o fornecimento de explicações. Existem
alguns princípios gerais para ajudar a criar sistemas de IA eficazes e mais
compreensíveis para humanos: O sistema XAI deve ser capaz de explicar
suas capacidades e entendimentos; explicar o que fez, o que está fazendo
agora e o que acontecerá a seguir; e divulgar as informações sobre as quais
está agindo.

A xAI é uma das áreas que podem ser abordadas para atingir o mais próximo
de uma IA desenvolvida de forma responsável. As outras áreas são a Auditabilidade
(Auditable AI) e a Governança da IA (Accountable AI). Com o desenvolvimento
adequado destes três pilares, podemos chegar o mais próximo de eliminar a
existência de vieses.
O desenvolvimento da área xAI, além de viabilizar as áreas de Auditabilidade e
Governança de IA, trata de elemento fundamental para que terceiros114 possam obter
elementos críticos para sua avaliação ética e consequências jurídicas. A
transparência, viabilizada por esse tipo de técnica, é veículo social de prestação de
contas (accountability) e de autonomia dos humanos envolvidos e afetados por sua
operação (WISCHMEYER, 2020, p. 76), fatores-chave para o desenvolvimento e
emprego democrático da tecnologia.
Vale destacar que a explicabilidade não deve se confundir com a publicização
de códigos-fonte, dado que refere ao fornecimento de informações úteis e
compreensíveis sobre processos automatizados que os permitam entender esse
funcionamento (SENADO FEDERAL, 2022b, p. 109)

114 Por exemplo, aqueles que operam o sistema, que são diretamente afetados pelos sistemas,
autoridades envolvidas na regulação e adjudicação de conflitos que envolvem a IA e a própria
sociedade.
 97

Há ainda outras vantagens em compreender como um sistema inteligente obtém

determinados resultados. Pode auxiliar os próprios detentores do software e
desenvolvedores a validar que o sistema funciona dentro do esperado e se estão ao
que prevê a legislação. Muitas vezes a legislação pode permitir que as pessoas
questionem determinadas decisões e este questionamento só é possível pela
compreensão de como os resultados foram obtidos.
Ao adentrar o assunto de problemas, desafios e riscos, temos as dificuldades
relacionadas à criação das explicações de modelos (xA I) e os impactos que esses
modelos causam. Importante ressaltar que o contexto ao qual é aplicado a tecnologia
tem grande relevância, pois os sistemas de IA que recomendam produtos de mercado,
por exemplo, não levantam as mesmas preocupações éticas que os sistemas de IA
que propõem tratamentos médicos de risco ou fazem reconhecimento facial de
pessoas procuradas pela justiça.
Com relação aos problemas e desafios associados à xAI, Gunning et al. (2019,
p. 4-5) elencam algum deles como (i) adaptação do grau de explicabilidade conforme
o usuário e o nível de informação que necessita; (ii) precisão do modelo115 x
interpretabilidade; (iii) abstrações para simplificar a descrição dos modelos; e (iv)
explicar competências x explicar decisões, neste problema é necessário verificar os
“pontos cegos” do sistema, ou seja, resultados que o sistema não foi treinado para
encontrar.
Abaixo pode-se verificar uma comparação dos níveis de explicabilidade e
acurácia entre técnicas de inteligência artificial.

115 Modelos mais precisos possuem menor interpretabilidade.

 98

Learning Techniques
Performance vs

Figura 5 - Comparação dos níveis de explicabilidade e acurácia entre técnicas de inteligência artificial.
Verifica-se que as técnicas com maior acurácia tendem a ter mais opacas (baixa explicabilidade).
Fonte: Gunning; Aha (2019, p. 46).

4.1 CONCEITOS

Inteligência Artificial Explicável é um termo genérico e nele estão englobados

outros, como (i) inteligibilidade, (ii) compreensibilidade, (iii) interpretabilidade, (iv)
explicabilidade e (v) transparência (ARRIETA et al., 2020, p. 5), conforme figura 6. O
PL n.° 2338/23, refere a proposta do Marco Regulatório de IA no Brasil traz alguns
conceitos similares ao de ARRIETA et al (2020, p. 5) como transparência,
explicabilidade, inteligibilidade e auditabilidade em seu artigo 3°, VI.
Inteligência Artificial Explicável é o conceito geral que abrange os demais
termos e se refere ao objetivo de tornar os sistemas de inteligência artificial
compreensíveis e transparentes para os seres humanos. É a busca por entender e
explicar como um sistema de IA toma as decisões116 117

116 Como exemplo de IA explicável, temos o seguinte caso: O governo de uma cidade implementou um
sistema de IA para alocar recursos financeiros de forma mais eficiente para serviços públicos, como
educação e saúde. O sistema pode explicar as razões por trás de suas decisões sobre alocação de
orçamento em diferentes áreas e fornece informações claras sobre os critérios usados e os
indicadores que influenciaram cada decisão.
117 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: O
governo de uma cidade implementa um sistema de reconhecimento facial em espaços públicos para
melhorar a segurança. A Inteligência Artificial Explicável, nesse caso, envolve a criação de um
mecanismo que explica por que um indivíduo foi identificado como uma possível ameaça e quais
características específicas levaram à tomada de decisão.
 99

Figura 6 - Representação dos conceitos que envolvem a área de inteligência artificial explicável.
Figura adaptada de Clinciu e Hastie (2019, p. 9).

O ideal é que seja possível detalhar as informações do sistema segundo as 5

categorias supramencionadas que o compõem.
Por inteligibilidade (understandability / intelligibility), compreende-se a
capacidade de um modelo permitir que um humano compreenda sua função, sem a
necessidade de explicar sua estrutura interna ou o processamento algorítmico. A
inteligibilidade deve ser conforme o destinatário da informação, ou seja, para o
desenvolvedor, a inteligibilidade pode ser técnica, com informações sobre o código-
fonte e modelo matemático. Já para o cidadão, a informação deve ser clara e de
linguagem acessível118 119

118 Como exemplo de um sistema de IA inteligível, temos o seguinte caso: Um sistema de

monitoramento e previsão de desastres naturais é projetado para ser inteligível. Ele fornece relatórios
simples, acessíveis e em linguagem clara os riscos e medidas preventivas para diferentes áreas
vulneráveis da cidade, para ajudar os cidadãos em compreenderem as informações e tomarem
decisões.
119 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: O
sistema de reconhecimento facial usado em uma estação de transporte público é projetado para ser
inteligível. Quando um indivíduo é identificado, o sistema exibe uma mensagem simples em um painel
visível ao público e explica que a identificação foi baseada na comparação de características faciais
com um banco de dados de pessoas procuradas pela polícia.
 100

Por compreensibilidade (comprehensibility) define-se pela capacidade de um

modelo representar o conhecimento aprendido de uma forma compreensível por
humanos. A compreensibilidade também está normalmente relacionada à
complexidade do modelo. Um modelo compreensível permite que os usuários
entendam como ele chegou a uma determinada conclusão ou resultado120 121.
Também é necessário diferenciar o conceito de interpretabilidade
(interpretability) e explicabilidade (explainability). A interpretabilidade equivale ao nível
no qual o resultado de um determinado modelo é previsível por um humano e pode
ser caracterizado também pelo quanto este algoritmo é transparente (ARRIETA et al.,
2020, p. 4). Neste caso da interpretabilidade, modelos de aprendizado de máquina
muitas vezes são considerados caixas-pretas e praticamente impossíveis de
interpretar, como as redes neurais profundas122 123
Já a explicabilidade é caracterizada por qualquer ação ou procedimento
aplicado em um modelo com a intenção de esclarecer, ou detalhar suas funções
internas (ARRIETA et al., 2020, p. 4). A explicabilidade é aplicada quando o modelo

120 Como exemplo de um sistema de IA compreensível, temos o seguinte caso: Um sistema de seleção
de bolsistas para um programa de educação pública utiliza um modelo de IA compreensível. O
sistema mostra aos candidatos os principais critérios utilizados para avaliar as inscrições, como
desempenho acadêmico, histórico socioeconômico e participação em atividades extracurriculares e
permite que os candidatos compreendam como suas qualificações foram avaliadas.
121 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: Um
sistema de reconhecimento facial é utilizado para identificar suspeitos de crimes em um evento
público. A compreensibilidade envolve disponibilizar uma interface que mostra os passos que o
modelo de IA seguiu para identificar o suspeito, com destaque para os principais traços faciais que
contribuíram para a decisão.
122 Como exemplo de um sistema de IA interpretável, temos o seguinte caso: Um modelo de IA de
árvore de decisão é utilizado para prever a demanda por transporte público em diferentes horários e
rotas na cidade. Os especialistas podem acessar uma interface em formato de árvore de decisão que
mostra como o modelo funciona e utiliza informações de tráfego histórico, eventos locais e feriados
para fazer suas previsões e permite que a pessoa simule as saídas do sistema.
123 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: Um
modelo de reconhecimento facial utilizado para auxiliar investigações criminais é projetado para ser
altamente interpretável. Os responsáveis pela investigação têm acesso a um painel que mostra quais
características faciais foram identificadas como correspondentes a um suspeito e quais atributos
específicos foram mais influentes na decisão.
 101

de IA não é interpretável por si só e é complexo, logo, devem ser aplicadas técnicas

que aproximem da descrição completa do funcionamento do sistema 124 125
Transparência é a característica de um modelo que é compreensível, uma vez
que um modelo pode apresentar diferentes graus de compreensão, que serão
abordados na seção 4.3.2. Um sistema transparente permite que os usuários acessem
informações relevantes e entendam como o modelo foi treinado e como ele toma
decisões. Neste caso, também podem ser publicizadas decisões de projeto
importantes que influenciaram durante a construção do sistema e por consequência o
resultado126 127
Por fim, a auditabilidade abordada somente no PL n.° 2338/23, surge como
uma alternativa atrativa para verificar se, em concreto, algum sistema oferece danos
aos cidadãos (SENADO FEDERAL, 2022b, p. 613). Uma das formas de ser realizar a
auditabilidade é criar logs das tomadas de decisões do sistema, ou seja, a partir de

124 Como exemplo de um sistema de IA explicável, temos o seguinte caso: Um sistema de IA é

responsável por priorizar e agendar reparos de infraestruturas danificadas em uma cidade. Quando
um cidadão relata um buraco na rua, o sistema fornece uma explicação detalhada sobre o motivo
pelo qual a reparação foi programada para uma determinada data, como a priorização de áreas com
maior tráfego ou o cronograma de outras intervenções em andamento. A justificativa pode dar
algumas informações sobre como chegou à decisão, mas caso o usuário queira detalhes específicos,
como a quantidade de tráfego que foi considerada, o sistema pode não ser capaz de informar.
125 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: Um
sistema de reconhecimento facial usado para controle de acesso em prédios governamentais é
projetado com explicabilidade. Quando um funcionário público é identificado, o sistema fornece uma
explicação detalhada sobre como a identificação foi feita e quais características faciais contribuíram
para a autorização de acesso. Caso o usuário queira saber se o sistema acertaria a identificação,
caso ele fizesse uma cirurgia plástica no nariz, o sistema poderia não saber informar.
126 Como exemplo de um sistema de IA transparente, temos o seguinte caso: Um sistema de
recomendação de políticas públicas é projetado com total transparência. As decisões de políticas
recomendadas são baseadas em dados públicos disponíveis e são fornecidas informações sobre
quais dados foram usados, como o modelo foi treinado e quais foram os resultados de testes e
validações realizados. Informações que constam em outros conceitos também podem ser fornecidas.
127 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: O
governo de um país utiliza o reconhecimento facial para melhorar a segurança em locais públicos.
Para garantir a transparência, o governo divulga informações sobre como o sistema de
reconhecimento facial é utilizado, quais bases de dados são usadas para treinamento do modelo,
quais proteções de privacidade foram implementadas e como os cidadãos podem contestar ou
solicitar a remoção de seus dados do banco de dados utilizado pelo sistema.
 102

quais parâmetros de entrada, ele obteve as saídas. Quanto mais informações associar
a estes dados, mais auditável o sistema será128 129

4.1.1 Interpretabilidade

Como mencionado, a interpretabilidade equivale ao nível no qual o resultado

de um determinado modelo é previsível por um humano e pode ser caracterizado
também pelo quanto este algoritmo é transparente. Podemos considerar um modelo
totalmente interpretável como aquele que fornece explicações completas
(MARANHÃO et al, 2021 ) e transparentes, o que pode ser inviável para diversos tipos
de algoritmos. Já um modelo parcialmente interpretável, é aquele que revela partes
importantes de seu funcionamento, por exemplo, medidas de importância de cada
variável utilizada.
A Lei Geral de Proteção de Dados brasileira, resgatou alguns conceitos
europeus, como privacy by design no art. 46 §2 da LGPD e dentro da inteligência
artificial explicável pode-se pensar no conceito que Interpretable by Design. Neste
caso, pode-se criar modelos que são interpretáveis desde sua concepção e aqueles
que podem se tornar explicáveis por meio de técnicas de explicabilidade.
Entretanto, como ressaltado por Guidotti et. Al (2018), são métodos diferentes
a serem aplicados tanto no design “transparente” dos modelos quanto na explicação
dos modelos “black-box” (opacos).
Técnicas de aprendizado de máquina interpretáveis podem ser agrupadas em
duas categorias: interpretabilidade intrínseca e interpretabilidade post-hoc, e

128 Como exemplo de um sistema de IA auditável, temos o seguinte caso: Um exemplo de sistema de
IA com auditabilidade no contexto do poder público é um sistema de tomada de decisão para alocação
de recursos em projetos de infraestrutura. Esse sistema utiliza algoritmos de aprendizado de máquina
para analisar dados demográficos, indicadores socioeconômicos e necessidades de diferentes regiões.
A auditabilidade é garantida pelo registro de todas as decisões tomadas pelo sistema, como os critérios
utilizados para priorizar os investimentos em cada projeto. Além disso, são mantidos registros
detalhados dos dados de entrada, do treinamento do modelo e das atualizações feitas no algoritmo ao
longo do tempo. Isso permite que as autoridades governamentais e órgãos de controle revisem e
verifiquem a conformidade e a imparcialidade das decisões tomadas pelo sistema de IA.

129 No contexto do uso de reconhecimento facial pelo poder público, temos o seguinte exemplo: Para
garantir a auditabilidade, o sistema registra e armazena em logs todas as identificações faciais
realizadas, como data, hora, local e o resultado de cada identificação (positiva ou negativa). Esses
registros são acessíveis a autoridades responsáveis pela supervisão do sistema e também são
disponibilizados para revisão por órgãos de controle e auditoria.
 103

dependem do momento em que a interpretabilidade é obtida (MOLNAR et al., 2018).

Na figura 7 podemos ver a hierarquia das técnicas de interpretabilidade.
A interpretabilidade intrínseca é alcançada pela construção de modelos
autoexplicativos que incorporam a interpretabilidade diretamente em suas estruturas.
Como exemplo desta categoria, estão a árvore de decisão, modelo baseado em
regras, modelos lineares, entre outros. Em contraposição, o post-hoc requer criar um
segundo modelo para fornecer explicações para um modelo existente. A principal
diferença entre esses dois grupos reside na compensação entre a precisão do modelo
e a fidelidade da explicação. Modelos interpretáveis desde a concepção podem
fornecer explicações precisas e não distorcidas, mas podem sacrificar o desempenho
da previsão até certo ponto (DU; LI; HAU, 2019, p. 2).

Figura 7 - Hierarquia das classificações de técnicas para tornar um modelo matemático interpretável
a partir das categorias definidas por DU, LI e HAU (2019). Fonte: Própria.

Já a interpretabilidade post-hoc é limitada por fazer uma aproximação do

comportamento e não elucidam o mecanismo interno, portanto, elas não são fiéis ao
modelo original. Nos modelos, geralmente black-box, mas que precisam dar alguma
evidência de interpretabilidade (ZHONG; NEGRE, 2021) (post-hoc interpretability),
são aplicadas outras técnicas como realizar ligações entre as características dos
 104

dados de entrada e os resultados, ou ainda, construir um modelo mais simples para

aproximar o modelo original.
Há ainda duas outras subcategorias, a interpretabilidade global e a
interpretabilidade local, estas duas subcategorias aplicam-se tanto nos na
interpretabilidade post-hoc quanto na interpretabilidade intrínseca. A interpretabilidade
global significa que os usuários podem entender como o modelo funciona globalmente
ao inspecionar as estruturas e os parâmetros de um modelo complexo, enquanto a
interpretabilidade local pode examinar localmente uma previsão individual de um
modelo e tentar descobrir o motivo do modelo ter chegado a determinado resultado.
Enquanto a interpretabilidade global pode aumentar sua transparência e
deixar claro o mecanismo interno de funcionamento, a interpretabilidade local pode
auxiliar na descoberta de relações causais entre uma entrada específica e o resultado
obtido. Respectivamente, esses dois auxiliam os usuários a confiarem no modelo e
no resultado obtido.
Quanto à interpretabilidade post-hoc, as suas subcategorias de
interpretabilidade global e local podem ter outras categorizações ainda. As
categorizações são o modelo agnóstico e o modelo específico. Quando se adentra
nestas subcategorias, identifica-se uma aproximação às próprias técnicas de
explicabilidade.
Os métodos agnósticos permitem explicar as previsões de modelos arbitrários
de aprendizado de máquina, independentemente da implementação. Eles fornecem
uma maneira de explicar os resultados, no qual as explicações podem ser geradas
mesmo sem acesso aos parâmetros internos do modelo. Eles trazem diversos riscos
e não podemos garantir que a explicação reflita fielmente o processo de tomada de
decisão de um modelo.
Já os modelos específicos, consistem em abordagens padronizadas conforme
o tipo de modelo existente. Assim que se menciona redes neurais, há diversas
técnicas que podem ser aplicadas a cada tipo de experimento que é realizado. No
caso do modelo específico, Du, Li e Hau (2019, p. 5) dividem em três categorias
principais: métodos baseados em retropropagação em uma abordagem top-down
(back-propagation based methods in a top-down manner), métodos baseados em
perturbação com uma abordagem bottom-up (perturbation based methods in a bottom-
up manner) e investigação de representações profundas em camadas intermediárias
 105

(investigation o f deep representations in intermediate layers). Estes modelos

específicos, são bastante técnicos, mas podem ajudar o próprio desenvolvedor a
validar o comportamento do sistema que criou.

4.1.2 Explicabilidade

A explicabilidade, como mencionado, resulta das ações e esforços feitos pela

equipe que construiu o sistema em detalhar suas funções internas quando o modelo
não é totalmente interpretável. A partir do nível de interpretabilidade do sistema,
podemos definir ações para tornar mais compreensível. Para modelos que são
interpretáveis e viabilizam sua compreensão desde a concepção, haverá menos
esforços para a explicabilidade.
Dentro deste conceito há os seguintes objetivos (i) Credibilidade; (ii)
Causalidade; (iii) Transferibilidade; (iv) Informatividade; (v) Confiança; (vi)
Equidade/Justiça; (vii) Acessibilidade, (viii) Interatividade e (ix) Privacidade
(ARRIETA et al., 2020, p. 8).
A credibilidade (trustworthiness) define o grau com que o modelo toma
decisões conforme o esperado. Para que um sistema de reconhecimento facial seja
aceito e adotado com sucesso pelo poder público, é essencial que ele seja
considerado confiável. Isso significa que as autoridades, bem como os cidadãos,
devem ter confiança de que o sistema é preciso e seguro, protege a privacidade dos
indivíduos e evita erros de identificação.
A causalidade (causality) identifica a relação entre as variáveis de entrada e
o resultado do modelo. No contexto do poder público, a causalidade pode ser
analisada pela relação entre a qualidade das imagens apresentadas ao algoritmo de
reconhecimento facial e a precisão das identificações realizadas. Ao introduzir grupos
de imagens com diferentes níveis de qualidade, pode-se verificar se a variável
"qualidade das imagens” tem um efeito causal na precisão do sistema. Por meio dessa
análise, o governo pode tomar decisões informadas para melhorar o desempenho e a
eficácia do sistema de reconhecimento facial, em identificar suspeitos de maneira
mais precisa e confiável.
 106

Já a transferibilidade (transferability), diz respeito à capacidade de um modelo

de inteligência artificial ser aplicado com sucesso em diferentes contextos ou
domínios, além do qual foi originalmente desenvolvido. Por exemplo, consideremos
um modelo de reconhecimento facial altamente transferível, que pode ser treinado em
uma cidade específica e, em seguida, aplicado em outra cidade distinta, com
resultados precisos em ambos os locais, independentemente das diferenças nas
características demográficas e culturais.
Com relação à informatividade (informativeness), esta é representada pela
acessibilidade do conhecimento interno do modelo, ou seja, como as regras se
organizam internamente conforme os parâmetros de entrada para chegar a um
determinado resultado. Um sistema de reconhecimento facial com alta informatividade
pode explicar, de forma detalhada e compreensível, porque um indivíduo foi
identificado em uma câmera de vigilância em um evento público e destaca quais
características faciais contribuíram para a identificação.
Com relação ao termo confiança (confidence), este se relaciona à robustez e
estabilidade do modelo, geralmente realizados pela comparação de previsões do
modelo, quantificação do risco e otimização do desempenho. Um sistema de
reconhecimento facial com alto grau de confiança, por exemplo, atribui uma
probabilidade alta de acerto na identificação de pessoas procuradas pela polícia, o
que permite que as autoridades tomem ações adequadas com maior segurança.
Há também o conceito de equidade/justiça (fairness), que avalia a existência
de vieses no modelo e a conformidade com padrões éticos, para evitar a discriminação
indevida. Um sistema de reconhecimento facial deve ser projetado para ser imparcial
e garantir que ele não discrimine com base em raça, gênero, idade ou qualquer outra
característica protegida por lei, para assegurar a igualdade de tratamento para todos.
Como medida de não-discriminação, o sistema não pode apresentar comportamento
inferior de acordo com alguns valores de raça, gênero, entre outras variáveis,
analisadas.
Com relação à acessibilidade (accessibility), este objetivo define que as
explicações do modelo devem ser acessíveis aos usuários não técnicos. Um sistema
de reconhecimento facial com alta acessibilidade é projetado com uma interface
amigável e simples. Este sistema permite, por exemplo, que os operadores das
 107

câmeras de vigilância e outros funcionários públicos usem a tecnologia e

compreendam o resultado que recebem, para tomar as medidas cabíveis.
Quanto à interatividade, refere-se à capacidade do sistema de interagir e
responder às perguntas e solicitações dos usuários de forma dinâmica e
compreensível. Um sistema de reconhecimento facial interativo, por exemplo, permite
que os cidadãos façam perguntas específicas sobre o uso da tecnologia, como os
dados coletados e como eles são protegidos. O sistema responde prontamente à
essas perguntas de forma clara e transparente.
E por fim, a questão da privacidade (privacy awareness), considera a
proteção da privacidade dos dados dos usuários durante todo o processo de coleta,
armazenamento e uso das informações. Um sistema de reconhecimento facial, por
exemplo, é projetado para garantir que os dados pessoais dos cidadãos sejam
coletados e utilizados de forma ética e conforme as leis e regulamentações de
proteção de dados.
O nível de explicabilidade do modelo vai depender do algoritmo escolhido e
neste ponto inclui-se um novo aspecto para ser considerado, o da precisão do modelo.
O grande desafio da xAI é o desenvolvimento da explicabilidade em modelos criados
a partir de algoritmos que possuem uma acurácia alta, como as redes neurais
profundas (deep learning).
Há vários métodos aplicáveis para tornar um modelo explicável, como (i)
explicação textual; (ii) explicação visual; (iii) explicação local; (iv) explicação por meio
de exemplos; (v) explicação por meio da simplificação e (vi) explicação por meio de
características relevantes. Uma representação do uso destas técnicas pode ser
visualizada na figura 8.
 108

Figura 8 - Métodos aplicáveis para tornar um modelo explicável. Fonte: (Arrieta et al., 2020, p. 13).

As explicações textuais tratam de representar o modelo por intermédio de

frases que indiquem a relação das variáveis entre si e das variáveis com o resultado.
Neste tipo de técnica podem ser utilizados operadores lógicos, matemáticos para fins
de representar a lógica existente no modelo.
As técnicas de explicação visual, consistem em utilizar gráficos para
demonstrar como as variáveis e resultados se comportam em determinados cenários.
São utilizadas técnicas de redução de dimensionalidade que permitem uma
visualização simples e interpretável por humanos. A visualização pode ser acoplada
a outras técnicas para melhorar seu entendimento, sendo considerada a forma mais
adequada de demonstrar interações complexas para usuários não familiarizados com
a modelagem de ML (Machine Learning).
As explicações locais trabalham com uma parte do modelo, para facilitar a
compreensão de um modelo mais complexo e difícil de ser avaliado globalmente. Já
as explicações orientadas a exemplos, consideram o uso de uma amostra dos dados
 109

usados em treinamento, de modo a associar os dados de entrada com o resultado

obtido. A amostra de dados selecionadas se baseiam em exemplos representativos
das relações e correlações internas, oriundas do modelo analisado.
As explicações por simplificação, implicam na construção de um novo
sistema, desta vez mais simples e transparente, baseado no modelo que se deseja
explicar. Esse novo modelo simplificado tenta replicar o funcionamento do modelo
original, mas com redução da complexidade e visa manter uma precisão similar.
Por fim, os métodos de explicação por intermédio de características
relevantes, detalham o funcionamento interno de um modelo ao calcular uma
pontuação de relevância para as variáveis avaliadas. Essas pontuações quantificam
a sensibilidade que uma variável tem sobre a saída do modelo. A comparação das
pontuações, entre as diferentes variáveis, demonstra a importância que o modelo
atribui a cada uma dessas variáveis.

4.2 MOTIVOS PARA ADOTAR A IA EXPLICÁVEL

Peter Norvig130 destaca que a explicabilidade é uma propriedade essencial,

no entanto, nem sempre é uma necessidade. Peter também traz alguns pontos que
devem ser ponderados, como exigir que cada sistema de IA explique cada decisão
pode resultar em sistemas menos eficientes, escolhas de design forçadas e uma
tendência a resultados explicáveis, mas menos capazes e versáteis. Além disso,
tornar os sistemas de IA explicáveis é, sem dúvida, caro, por exigirem recursos
consideráveis no desenvolvimento do sistema de IA. Assim, é importante pensar sobre
por que e quando as explicações são úteis.
No contexto do poder público, os sistemas que tomam decisões
automatizadas, por exemplo, podem restringir o acesso a benefícios sociais,
financeiros ou até mesmo afetar direitos fundamentais. Neste caso, há justificativa
para os esforços nesse sentido. Adadi et al (2018, p. 5-6) aprofundam e classificam
os motivos que podem ser associados à adoção da transparência. A necessidade de
explicar os sistemas de IA pode derivar de pelo menos quatro motivos, são eles (i)

130 NEW WORLD AI. Google’s approach to Artificial Intelligence Machine Learning: Peter Norvig.
Disponível em https://www.newworldai.com/googles-approach-to-artificial-intelligence-machine-
learning-peter-norvig/. 2019. Acesso em fevereiro de 2023.
 110

explicar para justificar; (ii) explicar para controlar; (iii) explicar para melhorar e (iv)
explicar para descobrir. Os motivos podem ser aplicados de forma autônoma e
conforme o contexto analisado.
A aplicação de técnicas de explicabilidade para justificar, reside no tratamento
de um dos grandes problemas que é produção de resultados tendenciosos ou
discriminatórios. Isso implica na necessidade crescente de explicações131, para
garantir que as decisões baseadas em IA não são tomadas equivocadamente (ADADI
et al, 2018, p. 5-6). O uso de técnicas de explicabilidade fornece os insumos
necessários para justificar os resultados, garante auditabilidade e comprovação de
que as decisões são justas, éticas e legais132, o que leva à construção da confiança.
Já a explicação para o controle, aborda que a explicabilidade não é importante
apenas para justificar decisões, mas para evitar resultados inesperados/errados do
sistema. Compreender o comportamento do sistema, fornece maior visibilidade sobre
vulnerabilidades e falhas desconhecidas, além de ajudar a identificar e corrigir erros.
Este tipo de técnica possibilita um controle aprimorado e auxilia na construção de
sistemas de forma confiável e testável, desde sua concepção.
A explicabilidade para melhorar surge da necessidade de melhorar os
modelos matemáticos de forma contínua. Entretanto, para identificar possíveis falhas
e pontos de melhoria, são necessários esforços de transparência do funcionamento.
Um modelo que pode ser explicado e compreendido é aquele que pode ser
aperfeiçoado com facilidade.
Por fim, a explicabilidade para descobrir, reside no uso da transparência para
compreender as associações entre dados e gerar conhecimento. Pedir explicações é
uma ferramenta útil para aprender novos fatos, coletar informações e, assim, obter
conhecimento. Adadi et al (2018, p. 6) ilustram um exemplo desta categoria com base
no software AlphaGo (CHEN, 2016) e AlphaGo Zero (SILVER, 2017), um modelo

131 Explicação se refere à necessidade de razões ou justificativas para um determinado resultado

gerado por um sistema de IA. Essa explicação se diferente da descrição do funcionamento interno
ou da lógica do raciocínio por trás do processo de tomada de decisão em geral. É necessário
considerar que caso o funcionamento interno seja claro o suficiente, este pode auxiliar na
determinação da justificativa.
132 Por legal, compreende-se que as decisões automatizadas devem estar conforme a legislação. A
legislação pode prever desde regras, direitos, deveres ou o próprio direito de o cidadão conhecer
como a decisão foi tomada. O parágrafo §1° do artigo 20 da LGPD trata esse assunto “ § 1° O
controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos
critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos
comercial e industrial.”.
 111

matemático criado e treinado para jogar um jogo chamado Go. O algoritmo ficou
famoso por vencer humanos facilmente133 e a partir da compreensão do
funcionamento interno do sistema, é possível compreender as melhores estratégias
para jogar. No contexto da administração pública, esta pode se beneficiar da
compreensão do funcionamento interno dos modelos, para definir políticas públicas,
uso do dinheiro público de forma mais eficiente, entre outras.
Quantos aos aspectos técnicos, a necessidade de explicabilidade depende de
(ADADI, 2018, p. 6-7) (i) O grau de opacidade do modelo que é proporcional à
complexidade dos algoritmos de IA; (ii) O grau de aceitação de erros por parte do
sistema, se tiver alta aceitação, erros inesperados são aceitáveis. Para um sistema
de IA sobre publicidade direcionada, por exemplo, um nível baixo de interpretabilidade
pode ser suficiente, pois as consequências de um erro são insignificantes. Por outro
lado, a interpretabilidade para um sistema de diagnóstico de saúde baseado em IA
necessita ser significativamente maior. O impacto que estes erros podem causar
ensejam aplicar técnicas de xAI.

4.3 TRANSPARÊNCIA

O uso da xAI permite concretizar princípio da publicidade nos A/IS e compõe

uma das diversas áreas134 para o desenvolvimento de uma inteligência artificial de
confiança.
A transparência se faz fundamental, não só como valor em si, mas também por
ser instrumental em relação aos demais valores. Apenas em sistemas cujo
desenvolvimento seja transparente é possível identificar se os dados pessoais são
excessivos para a finalidade almejada, se há ou não sobre ou sub-representação nos
dados capaz de gerar vieses ou se os registros da operação do sistema trazem
resultados discriminatórios.

133 SCIENCE. This computer program can beat humans at Go—with no human instruction. Disponível
em https://www.science.org/content/article/computer-program-can-beat-humans-go-no-human-
instruction. 2017. Acesso em fevereiro de 2023.
134 Segundo relatório realizado pela União Europeia (AI, HLEG, p. 3), as áreas são: 1) ação e supervisão
humanas; 2) solidez técnica e segurança; 3) privacidade e governança dos dados; 4) transparência ;
5) diversidade, não-discriminação e equidade; 6) bem-estar ambiental e societal e 7)
responsabilização. Entretanto, para conferir se parte destes aspectos foi atendido, a transparência se
faz fundamental.
 112

Dado o estado da arte atual e das dificuldades em tornar modelos

extremamente opacos em transparentes, a transparência se torna um ideal (ANANNY;
CRAWFORD, 2018, p. 974-975) que muitas vezes não é concretizado em sua
totalidade. Portanto, faz-se necessário também conhecer os limites da transparência
e focar em aspectos éticos na construção do software. Dentre os limites mencionados
pelos autores, e que fazem parte do contexto público, estão (i) Transparência ser
desconectada do poder135; (ii) Transparência pode ser prejudicial136; (iii)
Transparência pode intencionalmente ocultar137; (iv) Transparência pode criar falsos
binários138; (v) Transparência pode sobrecarregar os cidadãos139; (vi) Transparência
não necessariamente gera confiança140; (vii) Transparência tem limitações técnicas141

135 Ananny e Crawford (2018, p. 978) destacam que se a transparência não tiver efeitos significativos,
então a ideia de transparência pode perder seu propósito. Se as práticas corruptas continuarem após
a adoção da transparência, pode levar a mais cinismo e até uma corrupção mais ampla. A visibilidade
acarreta riscos para o objetivo da responsabilização se não houver um sistema pronto e capaz de
processar, digerir e usar a informação, para criar mudanças.
136 Ananny e Crawford (2018, p. 978) mencionam que a transparência total pode causar grandes danos
se implementada sem a devida justificativa de transparência. A transparência pode ameaçar a
privacidade e prejudicar finalidades honestas. Pode ocorrer a exposição de indivíduos ou grupos
vulneráveis e levar à intimidação por parte de autoridades.
137 Ananny e Crawford (2018, p. 979) trazem dois conceitos, a opacidade inadvertida e a opacidade
estratégica. Na opacidade inadvertida, a transparência produz quantidades tão grandes de
informação, que informações importantes ficam inadvertidamente escondidas nos detritos da
informação tornada visível. Já na opacidade estratégica, a empresa tem o dever de publicizar
informações que podem possuir evidências incriminadoras, mas para dificultar os destinatários em
localizar as informações relevantes, misturam um grande volume de outras informações que não são
necessárias.
138 Nesta limitação, deve ser analisado o seguinte questionamento, “que tipos de transparência levam
a que tipos de responsabilidade e sob que condições?”. Sem uma compreensão do tipo de
responsabilidade que a visibilidade é projetada para criar, os apelos à transparência podem ser lidos
como falsas escolhas entre total sigilo e total abertura.
139 O ideal de transparência coloca um fardo enorme sobre os indivíduos para buscar informações sobre
um sistema, para interpretar essas informações e determinar seu significado. Em Estados projetados
para maximizar o poder individual e minimizar a interferência do governo, a devolução da supervisão
aos indivíduos pressupõe não apenas que as pessoas observem e entendam os sistemas, mas
também que as pessoas tenham maneiras de discutir e debater o significado do que veem (ANANNY;
CRAWFORD, 2018, p. 978-979).
140 Embora muitas vezes se pense que a transparência gera confiança nas organizações e nos
sistemas, há poucos trabalhos empíricos que confirmem isso (ALBU; FLYVERBOM, 2016).
Especificamente, diferentes partes interessadas confiam nos sistemas de maneira diferente, com sua
confiança influenciada pelas informações divulgadas e quão claras, precisas e relevantes. A
confiança também pode ir na outra direção. Alguns designers podem não divulgar informações
detalhadas sobre seus sistemas, não devido aos segredos comerciais ou vantagem competitiva, mas
porque não confiam na ética e nas intenções daqueles que podem vê-los (ANANNY; CRAWFORD,
2018, p. 980).
141 Às vezes, os detalhes de um sistema serão protegidos pelo sigilo corporativo ou indecifráveis para
aqueles sem habilidades técnicas, mas inescrutáveis até mesmo para seus criadores devido à escala
e velocidade de criação e atualização dos modelos matemáticos. Pode ser necessário acessar o
código-fonte para atribuir responsabilidade em um sistema, mas ver somente o código-fonte é
insuficiente. Os próprios construtores de sistemas muitas vezes não conseguem explicar como um
 113

e (viii) Transparência tem limitações temporais142. Verifica-se que estes limites devem
ser avaliados caso a caso no poder público, dado os inúmeros tipos de finalidades e
áreas que os sistemas são usados, além de considerar aspectos previstos na
legislação brasileira, como o princípio constitucional da publicidade, o princípio da
motivação e o da transparência.
Para estabelecer formas de mensurar e testar níveis de transparência para
sistemas autônomos, foi criada a norma IEEE STD 7001/2021. Esta norma parte do
princípio que deve ser sempre possível entender por que e como um sistema
autônomo tomou uma determinada decisão e seu comportamento por meio de
processos de verificação e validação. Este tema serve de subsídio para formar o
conceito de inteligência artificial explicável.
A transparência, como elemento de governança de sistemas de inteligência
artificial, também chamada de transparência algorítmica, consiste na prestação de
informações a terceiros sobre o agente artificial inteligente.
Um dos problemas, em termos de governança e transparência, está na
dificuldade de equilibrar a capacidade de compreensão dos resultados do sistema e
sua acurácia143, o que torna o esforço de explicação do funcionamento do sistema
mais difícil, do ponto de vista técnico, em sistemas baseados em modelos mais
complexos, como redes neurais. Estes, por sua vez, têm poder de previsão bastante
elevado, mas são consideradas "caixas pretas” em razão de sua opacidade e

sistema complexo funciona, quais partes são essenciais para sua operação ou como a natureza
efêmera das representações computacionais são compatíveis com as leis de transparência
(ANANNY; CRAWFORD, 2018, p. 981).
142 A dimensão temporal da transparência é ainda mais complicada pelo fato de que dados e sistemas
mudam ao longo do tempo. Mesmo que o código-fonte de um algoritmo, seu conjunto completo de
dados de treinamento e seus dados de teste fossem transparentes, ele ainda forneceria apenas um
momento específico de sua funcionalidade. Qualquer noção de transparência ou auditoria, sem
dimensões temporais, prejudica qualquer análise e interpretação. (ANANNY; CRAWFORD, 2018, p.
981-982).
143 "Here, then, is a core and, for the moment, unavoidable trade-off in designing algorithmic
accountability regimes: Interpretability often comes only at the cost o f efficacy" (ENGSTROM; HO, 2020,
p. 7).
 114

complexidade144 145 Essa característica não impede que sejam detalhadas

informações valiosas para outros atores, como auditores independentes, board de
experts, que apoiem internamente e monitorem a operação do sistema, bem como
apoiem autoridades em tomadas de decisão sobre os sistemas de IA de alto risco ou
que tenham provocado danos (WISCHMEYER, 2020, p. 76). Como o grau de
transparência varia conforme as aplicações e seu destinatário, documentos de
governança recomendam diferentes níveis de transparência, que possam ser
mensurados e testados (IEEE, 2020a).

4.3.1 Tipos de Transparência

No que se refere aos indivíduos e operadores, as informações a serem dadas

sobre o sistema podem se referir ao próprio emprego da IA nos processos de tomada
de decisão (transparência quanto ao uso), como também aos resultados e
procedimentos dos sistemas de IA para tomada de decisão (transparência quanto à
operação).
A transparência quanto ao uso do sistema requer, daqueles que empregam o
sistema de IA, que informem não só se o usuário interage direta ou indiretamente com
um sistema de IA, ou que estão sujeitos a um processo de tomada de decisão,

144 Como exemplo de sistema opaco, temos o seguinte caso: O governo implementa um sistema de
reconhecimento facial em espaços públicos sem fornecer informações detalhadas sobre sua
utilização. Os cidadãos não têm conhecimento sobre a existência do sistema, seu propósito, os locais
onde as câmeras estão instaladas e como seus dados são armazenados e usados. Caso o cidadão
seja identificado pelo sistema, a polícia realiza a prisão do cidadão. Além disso, o algoritmo utilizado
é complexo e de difícil compreensão e não fornece justificativas claras para as identificações feitas.
Isso cria uma falta de transparência e confiança no sistema, pois as pessoas não entendem como
suas informações são tratadas e como as decisões são tomadas. O cidadão, sem entender, não
consegue recorrer da decisão e saber por que foi preso.
145 No mesmo exemplo anterior, mas agora com uso de um sistema transparente, temos o seguinte
caso: O governo implementa um sistema de reconhecimento facial em espaços públicos de forma
transparente e informa que caso alguém seja identificado pelo sistema, será preso. O cidadão é
informado antecipadamente sobre a existência do sistema, suas finalidades, a supervisão humana
dos resultados, os locais onde as câmeras estão instaladas e como seus dados serão coletados e
utilizados. O governo também garante que o algoritmo utilizado seja explicável e fornece informações
claras sobre como as identificações são realizadas e quais características faciais são usadas para
tom ar decisões. O cidadão, antes de ser preso, tem acesso a todas as informações e pode recorrer
da decisão. Essa transparência aumenta a confiança dos cidadãos no sistema, pois têm
conhecimento e entendimento sobre seu funcionamento e podem avaliar e questionar as
identificações realizadas.
 115

influenciado por um sistema de IA, mas também que indiquem qual o grau de
influência da IA no resultado da decisão146.
Quanto à transparência em relação à operação deve-se destacar dois
elementos chave no desenvolvimento de sistemas de IA, em particular aqueles
baseados em machine learning: (i) transparência quanto aos dados e (ii)
transparência quanto ao modelo e suas inferências147.
A transparência quanto aos dados refere-se, em primeiro lugar, à indicação
sobre o emprego de dados pessoais e uso de profiling dos indivíduos sujeitos à
decisão. Medidas nesse sentido, permitem a verificação de legitimidade e
accountability em relação à proteção de dados pessoais. Em segundo lugar, a
transparência também deve conter elementos para avaliar a qualidade dos dados
empregados, como sua completude, fidedignidade, confiança quanto à fonte, forma
de coleta ou possíveis adulterações, frequência de atualização e representatividade
em relação às populações de interesse.
A transparência quanto ao modelo e suas inferências, diz respeito à
explicabilidade e interpretabilidade de seus resultados. Ela abrange, em primeiro
lugar, a documentação sobre a escolha do modelo empregado e que justifique o
descarte de modelos mais transparentes para se atingir o mesmo resultado (trade-off
entre transparência e acurácia).
No sistema opaco, o uso de algoritmos complexos e não explicáveis148, por
exemplo, pode aumentar a acurácia do reconhecimento facial e permitir identificações

146 Neste caso, um exemplo na área de reconhecimento facial é o do governo realizar campanhas de
conscientização e divulgação para informar os cidadãos sobre o uso do sistema de reconhecimento
facial. Os cidadãos são informados sobre o propósito específico da tecnologia, usado apenas para
melhorar a segurança em espaços públicos e ajudar em investigações criminais. As informações são
compartilhadas de forma clara e acessível para que todos compreendam como o sistema será usado,
quais dados serão coletados, por quanto tempo serão armazenados e quem terá acesso a eles. Essa
abordagem garante a transparência quanto ao uso do sistema e permite que os cidadãos entendam
os benefícios e os limites da tecnologia de reconhecimento facial.
147 Nesse exemplo, o governo também assegura a transparência quanto à operação do sistema de
reconhecimento facial. Isso significa que os cidadãos são informados sobre como o algoritmo de
reconhecimento facial opera, quais características faciais são utilizadas na identificação, como o
processo de correspondência funciona e quais medidas de segurança são implementadas para
proteger os dados dos cidadãos. O governo fornece informações detalhadas sobre como as
identificações são realizadas, quais são os resultados esperados e como o desempenho do sistema
é monitorado e avaliado. Essa abordagem garante que os cidadãos compreendam o funcionamento
interno do sistema e como as decisões de identificação são tomadas, torna a operação transparente,
compreensível e com possibilidade de contestação.
148 A complexidade e falta de explicabilidade podem ser observadas em modelos de IA, exemplificados
pelas redes neurais profundas com milhares de parâmetros. Algoritmos complexos e não explicáveis,
como as redes neurais profundas, podem ter maior acurácia em certos contextos devido à sua
 116

mais precisas e confiáveis. No entanto, a falta de transparência em relação ao

funcionamento interno do algoritmo e ao uso dos dados pode criar desconfiança e
preocupações entre os cidadãos sobre a proteção de sua privacidade e a
possibilidade de erros, devido às falhas no treinamento. O ganho de acurácia é obtido
em detrimento da transparência e resulta num sistema menos aceito e mais propenso
a questionamentos éticos e jurídicos.
Por outro lado, no sistema que visa a transparência, a adoção de algoritmos
interpretáveis149 e a divulgação de informações claras sobre o funcionamento do
sistema, garantem a transparência e aumentam a confiança dos cidadãos na
tecnologia de reconhecimento facial, por exemplo. No entanto, o uso de algoritmos
menos complexos e mais interpretáveis ou explicáveis pode levar a uma ligeira
diminuição na acurácia das identificações faciais, o que pode resultar em algumas
falsas identificações ou menor precisão nas correspondências.
Uma boa prática e governança de IA, em termos de transparência, está na
escolha de métodos menos opacos150. Em segundo lugar, a transparência deve
abranger os critérios, fatores ou variáveis relevantes para o resultado da decisão.
Existem métodos computacionais para gerar ou aumentar a explicabilidade de
sistemas de IA (xAI- Explainable AI) e seu emprego também é uma prática
recomendável de governança. O xAI abrange diretrizes específicas em diferentes
contextos, conforme a categoria da explicação, o tipo de destinatário da explicação,
os cenários nos quais a explicação é exigida e uma avaliação periódica da IA
explicável quanto ao desempenho.
Na figura 9 podemos visualizar um exemplo de modelo opaco (primeira linha
com a rede neural) e um exemplo de modelo mais transparente (segunda linha com a
árvore de decisão). No exemplo abaixo, os mesmos dados foram submetidos a
algoritmos diferentes de aprendizado de máquina, entretanto, apenas o modelo que
usa a árvore de decisão facilita explicar como o algoritmo chega na decisão. Vale

capacidade de capturar padrões intricados e relações não-lineares nos dados de treinamento. Esses
modelos normalmente têm uma quantidade significativa de parâmetros, o que lhes permite aprender
representações complexas dos dados.
149 Algoritmos mais simples, como árvores de decisão, tendem a ter menos acurácia em comparação
com modelos mais complexos porque sua capacidade de aprendizado é limitada para capturar
relações não-lineares e padrões presentes em conjuntos de dados, o que pode resultar em
desempenho inferior na tarefa de previsão.
150 Em sistemas de alto risco, deve ser dada prioridade para sistemas mais transparentes.
 117

destacar que os modelos oriundos de redes neurais são tão complexos, que nem
mesmo o desenvolvedor pode entender o funcionamento total do modelo criado.
Para identificar se um modelo é transparente, podemos fazer as seguintes
perguntas (i) Por que chegou a determinado resultado? (ii) Por que não obteve outro
resultado? (iii) Quando o resultado será correto? (iv) Quando o resultado será
errado? (v) Quando podemos confiar no resultado? (vi) Como corrijo um erro que
apareceu no resultado? (GUNNIN; AHA, 2019, p. 48).

Figura 9 - Diferença entre um modelo de inteligência artificial opaco e um modelo transparente,

respectivamente. Fonte: Gunnin; Aha (2019, p. 48).

No momento em que falamos de decisões automatizadas, que podem afetar

direitos ou interesses individuais, a transparência passa a ser veículo fundamental
para o exercício da autonomia individual. Trata-se da transparência no sentido de
explicação ou inteligibilidade de seus resultados, que permite àqueles que operam,
criticarem a IA e àqueles afetados, contestarem as decisões com as quais não se
conformam.
 118

4.3.2 Níveis de Transparência

Os níveis de transparência em sistemas de inteligência artificial são definidos

tanto para proteger a propriedade intelectual dos softwares quanto para definir
informações que as partes interessadas devem ter acesso.
Defende-se que os níveis de transparência devem ser diretamente
proporcionais aos riscos que oferecem, mas também conforme o conhecimento
técnico do destinatário da informação. A teoria de que a informação deve ser
adequada ao destinatário que recebe, vem do conceito de Auditórios do Perelman et
al (1996) "A argumentação visa obter a adesão daqueles a quem se dirige”
(PERELMAN et al, 1996, p. 21), ou seja, relativa ao auditório que possa influenciar. O
conceito de auditório reside no grupo de pessoas que o orador planeja atingir com os
argumentos utilizados, para convencer ou persuadir e conseguir a adesão à tese
desejada.
Perelman et al (1996, p. 33-34), reconhecem que existam um número quase
infinito de auditórios possíveis, mas os classificam em três espécies:

O primeiro, constituído pela humanidade inteira, ou pelo menos por todos os

homens adultos e normais, que chamaremos de auditório universal; o
segundo formado, no diálogo, unicamente pelo interlocutor a quem se dirige;
o terceiro, enfim, constituído pelo próprio sujeito, quando ele delibera ou
figura as razões de seus atos. (PERELMAN et al, 1996, p. 33-34)

Ao fazer a analogia de auditórios com os destinatários das regras de

funcionamento dos sistemas de IA, a argumentação reside na explicação sobre as
regras e o auditório pode ser representado pela (i) explicação genérica do sistema
(auditório universal)151, (ii) cidadão destinatário da decisão (auditório para um único
ouvinte)152; (iii) analista/programador envolvido no projeto de construção do sistema
(auditório para um único ouvinte ou deliberação consigo mesmo)153 , (iv) juiz/fiscal que

151 Fornecer uma visão geral clara e simples sobre o funcionamento básico do sistema de
reconhecimento facial para o público, sem detalhes técnicos complexos.
152 Comunicar de forma personalizada e direta as decisões específicas do sistema de reconhecimento
facial para um cidadão em particular, como os motivos da identificação ou ação tomada.
153 Acesso a informações técnicas detalhadas, como modelos matemáticos e código-fonte do sistema,
para fins de manutenção, aprimoramento e solução de problemas.
 119

precise de informações para realizar seu trabalho (auditório para um único ouvinte)154;
entre outros.
Vale ressaltar que, apesar do cuidado com a linguagem na qual a informação
é transmitida ao seu destinatário, é necessário manter o objetivo. Há requisitos para
o fornecimento da transparência do sistema, é necessário (i) ser verdadeira155; (ii)
conter informações relevantes para as causas de alguma ação, decisão ou
comportamento156; (iii) apresentar um nível de abstração adequado e significativo
para o destinatário157; (iv) considerar a percepção e compreensão das partes
interessadas e evitar a divulgação de informações de uma maneira que gere mal-
entendidos158; (v) a parte interessada deve poder solicitar explicações significativas
sobre a situação do sistema, seja em um momento específico, durante um período
específico ou dos princípios gerais pelos quais as decisões são tomadas159; (vi) ter
informações relevantes sobre o desempenho atual, como confiabilidade e mensagens
de erro160; e (vii) apresentar de forma compreensível para humanos (IEEE, 2022a,
p. 15-16).
Algumas considerações também devem ser feitas ao trabalhar com diferentes
sistemas, são elas (i) um desenvolvedor pode não conseguir ou não desejar alcançar
o mesmo grau de transparência em todos os sistemas; (ii) podem existir diferentes
níveis de transparência com base no próprio sistema e no destinatário (stakeholder)
que acessa as informações; (iii) alguns desses níveis exigem que o sistema seja
explicável, não apenas transparente, para estar conforme este padrão; (iv)
explicabilidade descreve até que ponto as informações disponibilizadas de forma

154 Fornecer informações claras, detalhadas e acessíveis, para auxiliar nas decisões jurídicas e de
fiscalização, como detalhes relevantes sobre a identificação realizada pelo sistema de
reconhecimento facial em questão.
155 As informações fornecidas pelo sistema de reconhecimento facial sobre uma identificação de
indivíduo são precisas e confiáveis.
156 O sistema deve fornecer informações relevantes sobre as características faciais que levaram à
identificação de um suspeito em potencial.
157 As informações fornecidas pelo sistema devem ser compreensíveis e adequadas para o destinatário
que a recebe para permitir uma compreensão clara de como a tecnologia opera.
158 As informações divulgadas pelo sistema devem ser apresentadas de forma transparente e clara,
para evitar jargões técnicos que causem mal-entendidos entre o público.
159 Os cidadãos têm o direito de solicitar informações detalhadas sobre como o sistema de
reconhecimento facial funciona, quais dados são coletados e como as decisões são tomadas. Se o
sistema passou por alguma modificação, o cidadão tem o direito de conhecer o funcionamento do
sistema no lapso temporal informado.
160 O sistema deve fornecer informações sobre a taxa de acertos, falsos positivos e falsos negativos,
bem como alertas sobre possíveis erros ou limitações.
 120

transparente para uma parte interessada podem ser prontamente interpretadas por
essa parte interessada (IEEE, 2022a, p.15-16).
O IEEE (Institute o f Electrical and Electronics Engineers) criou a norma IEEE
Std 7001 ™-2021 (IEEE Standard for Transparency o f Autonomous Systems) (IEEE,
2022a) que estabelece formas de mensurar e testar níveis de transparência para A/IS.
A norma fornece diretrizes para revisar e, se necessário, projetar recursos nesses
sistemas para torná-los mais transparentes (níveis de transparência e requisitos para
cada nível).
Esta norma define que, deve ser sempre possível entender as razões de
determinada decisão e do comportamento, assim como dos processos de verificação
e validação. A norma destaca que a transparência deve ser priorizada, principalmente
em sistemas com potencial de causar danos físicos161, psicológicos, sociais,
econômicos ou ambientais, ou à reputação.
Como exemplo de destinatários (stakeholders) da transparência fornecida
pelos sistemas, a norma IEEE 7001/2021 os classifica em dois grupos, (i) usuários
diretos de sistemas autônomos e a sociedade em geral e (ii) órgãos reguladores ou
de certificação, investigadores de incidentes/acidentes e consultores especializados
em ações administrativas ou litígios.
A norma também traz duas terminologias importantes, a STA e a STS. A
Avaliação da Transparência do Sistema (STA), consiste no processo de avaliação da
transparência de um sistema autônomo existente, para cada grupo de partes
interessadas. Já a STS, Especificação de Transparência do Sistema é o processo de
definição dos requisitos de transparência de um sistema autônomo para cada grupo
de partes interessadas.
Com relação aos níveis de transparência, são definidos requisitos para níveis
de transparência mensuráveis e testáveis em cada categoria de parte interessada. Os
níveis de transparência são definidos de 0 (sem transparência) a 5 (o nível máximo
de transparência alcançável). Os níveis podem ser progressivos ou não conforme a
parte interessada. As categorias das partes interessadas e as definições de
transparência são independentes umas das outras. Não há expectativa de que, se um

161 Quando se fala em danos, deve ser considerado tanto danos diretos quanto danos indiretos, como
“crimes sem vítim as” que não afetam ninguém em particular, mas têm um impacto sobre a sociedade
ou o meio ambiente.
 121

sistema atingir um nível em uma categoria, também atingirá o mesmo nível em outras
categorias de partes interessadas (IEEE, 2022a, p.18).
Arrieta et al. (2020, p. 10-11) definem ainda outros níveis de transparência,
como transparência algorítmica, decomponibilidade e simulabilidade, conforme figura
abaixo.

Figura 10 - Diagrama conceituai que exemplifica os diferentes níveis de transparência de um ML. A

letra a) representa a simulabilidade, a letra b representa a decomponibilidade e a letra c representa a
transparência algorítmica. Fonte: Arrieta et al (2020, p. 11)

De modo geral, a simulabilidade significa que um usuário, a partir de

parâmetros de entrada, consegue simular a saída de um modelo. A simulabilidade é
mais indicada para modelos que apresentam uma certa complexidade, como redes
neurais, em que é possível transparecer o modelo por meio de funções matemáticas.
Já a decomponibilidade, implica em conseguir estudar o modelo por partes,
ou seja, para sistemas mais complexos no qual os modelos se comunicam por meio
de módulos. No entanto, como ocorre também com a transparência algorítmica, nem
todo modelo pode atender à essa propriedade. A decomponibilidade requer que cada
entrada seja prontamente interpretável e para que um modelo se torne decomponível,
todas as partes do modelo devem ser compreensíveis por um ser humano sem a
necessidade de ferramentas adicionais.
Já a transparência algorítmica, considera que o usuário tenha capacidade de
entender as regras seguidas pelo modelo para produzir qualquer saída a partir de seus
dados de entrada. A principal restrição para modelos algoritmicamente transparentes
é que o modelo deve ser totalmente explorável, mediante análises e métodos
matemáticos.
 122

4.4 CATEGORIAS DE DESTINATÁRIOS

Segundo o IEEE (2022a, p. 18), nem todos os usuários exigirão o mesmo grau
de transparência nos sistemas, neste caso, usuários não especialistas normalmente
precisarão de explicações simples e compreensíveis sobre as decisões e ações do
sistema. Já usuários especialistas, exigirão uma transparência completa e informativa.
A norma IEEE Std 7001 ™-2021 (IEEE, 2022a) define todas as categorias de usuários
e os níveis de transparência necessários para cada um.
A seguir serão detalhadas algumas categorias de destinatários das
informações sobre a transparência dos sistemas de IA (IEEE, 2022a, p. 18-19). A
primeira categoria, usuários não especialistas (Non-expert users) incluem tanto
pessoas que têm apenas uma breve interação com o sistema quanto pessoas que
interagem diariamente com o sistema.
A segunda categoria, usuários especialistas de domínio (Domain expert
users), incluem profissionais que usam a tecnologia para auxiliar em suas atividades.
Esta categoria de destinatário possui uma responsabilidade sobre como o sistema é
usado, tanto pelo devido uso do sistema e por terem conhecimento, em alguns casos,
para questionar o resultado obtido pelo sistema. Dentro desta categoria ainda se
encaixam os operadores e supervisores de sistemas autônomos.
A terceira categoria, os super usuários (Superusers) são especialistas não
apenas em sistemas autônomos, mas também nos sistemas específicos pelos quais
são responsáveis. Esses super usuários incluem pessoas responsáveis pelo
desenvolvimento, diagnóstico de erros, correção, manutenção e atualização, além da
operação e supervisão de sistemas autônomos específicos.
A quarta categoria, público em geral, representa as pessoas que não
interagem diretamente um A/IS, mas podem ser afetadas direta ou indiretamente.
Neste caso, quando o poder público decide uma política pública com base em dados
oriundos de sistemas de IA, pode afetar um grupo de pessoas sem estas nem mesmo
saberem.
A quinta categoria, espectadores, são pessoas que interagem com um
sistema autônomo sem nenhuma intenção prévia de atingir algum propósito. Nesta
categoria inclui aqueles que observam o funcionamento do sistema, bem como
aqueles que podem ser afetados passivamente, sem o conhecimento. Neste caso,
 123

podemos exemplificar as pessoas monitoradas por câmeras de reconhecimento facial

pelo poder público.
Por fim, a sexta categoria, são as partes interessadas especializadas. Esta
categoria abrange (i) Agências e auditores de validação e certificação de softwares;
(ii) Investigadores de incidentes e (iii) Peritos/Consultores para ações administrativas
ou contenciosas.

4.5 NÍVEIS DE AUTONOMIA

Além da compreensão do modo de funcionamento do A/IS, também é

importante ter conhecimento do nível de autonomia do sistema, principalmente
quando há intervenção humana no resultado ou há autonomia compartilhada162. Vale
ressaltar que, não há expectativa de que os sistemas de maior autonomia sejam
obrigados a cumprir os níveis mais altos de transparência (IEEE, 2022a, p.18).
Sistema autônomo é definido como um sistema com capacidade de tomar
decisões em resposta aos dados de entrada e de acordo com o nível de autonomia
do sistema. A OECD (2019) define, no mesmo sentido do IEEE, o conceito de níveis
de autonomia do sistema, em que um ser humano pode utilizar uma IA para tomar
decisões ou ainda o sistema tomar decisões de forma autônoma e sem qualquer
intervenção do ser humano. Dentre estes dois extremos, há diferentes níveis também
que podem ser analisados.
Os níveis de autonomia incluem sistemas autônomos, semiautônomos ou
supervisionados163 (grande maioria) (IEEE, 2022a, p.16). Pesquisadores do tema
definiram de formas diferentes os níveis de autonomia. Sheridan (1992) definiu 10
níveis de autonomia do nível 1 “computador não oferece assistência” até o nível 10
“computador faz tudo e ignora decisões humanas” . Já Endsley e Kaber (1999),
definiram 10 níveis do nível 1 “controle manual” e para o nível 10 “automação total na
qual o sistema realiza todas as ações e ele mesmo decide se precisa suspender a
operação para intervenção humana” . Por fim, Durst e Gray (2014) definiram 4 níveis

162 Controle de uma máquina é compartilhada entre um operador humano e um sistema de computador
para atingir um objetivo, seja remotamente ou no mesmo espaço compartilhado (IEEE, 2022a, p. 17).
163 Como autonomia supervisionada, estas são compostas de 3 itens: (i) Direção, ou seja, dizer a um
sistema o que fazer; (ii) Monitoramento, ou seja, observar o que o sistema faz; (iii) Controle, ou seja,
ser capaz de intervir e mudar o que o sistema faz (IEEE, 2022a, p. 17).
 124

(i) Operado por humanos; (ii) Delegado por Humano; (iii) Supervisão Humana; e (iv)
Totalmente Autônomo.
No nível operado por humanos, um operador humano é responsável por todas
as etapas do sistema de reconhecimento facial, desde a coleta de dados até a tomada
de decisões. O sistema fornece informações ao operador, com total controle e
responsabilidade sobre as ações executadas.
No nível delegado por humano, o sistema de reconhecimento facial realiza a
identificação de indivíduos de forma autônoma geralmente, mas um operador humano
ainda supervisiona e pode intervir se necessário. O sistema toma ações de forma
independente, mas o controle final permanece com o operador.
No nível supervisão humana, o sistema de reconhecimento facial pode
executar uma ampla variedade de identificações automaticamente, sem a
necessidade constante de intervenção humana. No entanto, requer permissão ou
direção de um ser humano para situações específicas, nas quais as ações ou decisões
são mais complexas e requerem supervisão.
Por fim, no nível totalmente autônomo, o sistema de reconhecimento facial
recebe objetivos dos humanos e os traduz em tarefas a serem realizadas sem
interação humana. O sistema consegue identificar indivíduos e tomar decisões sem a
necessidade de supervisão ou intervenção humana e é totalmente autônomo em suas
operações.
 125

5 GOVERNANÇA DE IA NO SETOR PÚBLICO BRASILEIRO POR MEIO DA

TRANSPARÊNCIA

A governança é o processo de tomada de decisão e controle em

organizações, como empresas, governos e outras instituições. Envolve a definição de
estruturas, sistemas e princípios para conduzir as atividades da organização, alocar
recursos e monitorar o desempenho. A governança é considerada fundamental para
a responsabilidade, transparência e eficiência nas decisões e ações da organização.
A governança no setor público, inclui a estruturação de órgãos
governamentais, a definição de responsabilidades e papéis, a definição de processos
de tomada de decisão e a monitoração da implementação de políticas públicas.
Peters (2013, p. 29) define governança por:

A raiz da palavra governança vem de um vocábulo grego que significa

direção. Assim, logicamente, o significado fundamental da governança é
dirigir a economia e a sociedade visando objetivos coletivos. O processo de
governança envolve descobrir meios de identificar metas e depois identificar
os meios para alcançar essas metas. Embora seja fácil identificar a lógica da
governança e os mecanismos para atingir essas metas sejam muito bem
conhecidos pela ciência política e administração pública, a governança ainda
não é uma tarefa simples. ... As quatro funções fundamentais que
apresentamos para a governança são: estabelecimento de metas,
coordenação das metas, implementação, avaliação e reações e comentários.

Já o Tribunal de Contas da União (2014) define governança no setor público

por:

... um conjunto de mecanismos de liderança, estratégia e controle postos em

prática para AVALIAR, DIRECIONAR E MONITORAR a gestão, com vistas à
condução de políticas públicas e à prestação de serviços de interesse da
sociedade.

A função fundamental da boa governança no setor público é garantir que as

entidades alcancem seus resultados pretendidos enquanto agem no interesse público
em todos os momentos (IFAC/CIPFA, 2014, p. 10). Agir no interesse público exige (i)
Comportar-se com integridade e demonstrar forte compromisso com os valores éticos
e respeitar o estado de direito e (ii) Assegurar abertura e envolvimento abrangente
das partes interessadas. Além dos requisitos abrangentes para agir no interesse
público, para alcançar uma boa governança no setor público também requer ações
eficazes para (iii) Definição de resultados em termos de benefícios econômicos,
 126

sociais e ambientais sustentáveis; (iv) Determinar as intervenções necessárias para

otimizar a obtenção dos resultados pretendidos; (v) Desenvolver a capacidade da
organização, além da capacidade de suas lideranças e dos indivíduos dentro dela; (vi)
Gestão de riscos e desempenho por meio de um controle interno robusto e uma sólida
gestão das finanças públicas e (vii) Implementação de boas práticas em
transparência, relatórios e auditoria, para fornecer prestação de contas eficaz.
Logo que se delimita a governança no setor público, sob o enfoque da
inteligência artificial, verifica-se que pode reaproveitar diversos conceitos oriundos da
governança no setor público. A governança da IA no setor público refere-se às
políticas, processos e práticas que garantem o uso ético, transparente e responsável
da Inteligência Artificial em organizações governamentais. A governança também se
preocupa com a qualidade do processo decisório e sua efetividade: Como obter o
melhor valor possível? Como, por quem e por que as decisões foram tomadas? Os
resultados esperados foram alcançados?
Conforme avançam as discussões a respeito do uso responsável da IA e seus
princípios, também evoluem os debates sobre estruturas de governança que
promovam métodos e procedimentos que assegurem a observância de tais princípios.
A governança de IA no setor público é crucial para garantir que os sistemas de IA
sejam usados de maneira responsável e ética, além de promover transparência e
responsabilidade. Isso ajuda a construir a confiança do público na IA e garantir que as
tecnologias de IA sejam usadas para beneficiar toda a sociedade.
Este conceito delimita como a sociedade espera que o poder público
desenvolva e fiscalize este tipo de tecnologia, principalmente com o enfoque de
proteger direitos fundamentais. Também envolve o estabelecimento de regras e
padrões para o desenvolvimento, implantação e uso de sistemas de IA, bem como o
monitoramento de seu desempenho e impacto na sociedade. O objetivo da
governança de IA no setor público é promover o uso responsável da IA para proteger
os direitos e interesses dos cidadãos.
Doneda e Almeida (2018, p. 145) abordam um conceito próximo ao de
governança de IA e delimitam como governança dos algoritmos:
 127

A governança dos algoritmos pode variar desde os pontos de vista

estritamente jurídico e regulatório até uma postura puramente técnica. Ela
costuma priorizar a responsabilização, a transparência e as garantias
técnicas. A escolha da abordagem de governança pode basear-se em fatores
tais como a natureza do algoritmo, o contexto em que ele existe ou uma
análise de risco.

Quando se opta por uma abordagem de governança, esta deve buscar

geralmente uma redução dos problemas causados pelos algoritmos. Ela
deveria tentar preservar a sua eficácia e reduzir os resultados indesejáveis.

O Conselho Nacional de Justiça é responsável por direcionar algumas

tecnologias e normas para os tribunais brasileiros. A governança de IA já é uma
preocupação e faz parte do Projeto Justiça 4.0164 Para realizar a governança, o CNJ
criou a plataforma Sinapses165, que possibilita o rastreamento das informações
processadas pelas soluções de IA. A possibilidade de os tribunais desenvolverem e
treinarem soluções centralizadas nessa plataforma, assegura a auditabilidade desde
a concepção. Também há outras iniciativas interessantes realizadas pelo CNJ, como
a plataforma CODEX166 que centraliza bases de dados processuais de diferentes
tribunais e provê dados estruturados que podem ser utilizados como insumo para
treinar modelos de IA.
Com relação ao governo federal, foram localizadas iniciativas referentes à
governança de dados167, que se refere a um conjunto de princípios, políticas, padrões,
métricas e responsabilidades que permitem o alinhamento da estratégia, processos,
pessoas, uso de tecnologia e dados. A governança de dados é fundamental para o
fomento, aprimoramento e garantia da efetividade das políticas públicas e entrega de
soluções e serviços ao cidadão. Uma governança de dados executada rigorosamente
é fundamental para a existência de uma governança de inteligência artificial de forma
responsável, dado que a seleção dos dados para treinamento dos modelos é uma das

164 CNJ. Justiça 4.0: Inteligência Artificial está presente na maioria dos tribunais brasileiros. 2022.
Disponível em https://www.cni.ius.br/iustica-4-0-inteligencia-artificial-esta-presente-na-maioria-dos-
tribunais-brasileiros/. Acesso em junho de 2023.
165 CNJ. Plataforma Sinapses. Disponível em https://www.cni.ius.br/sistemas/plataforma-sinapses/.
Acesso em iunho de 2023. Em agosto de 2020, foi aprovada a Resolução n. 332/2020 que instituiu o
Sinapses como plataforma nacional de armazenamento, treinamento supervisionado, controle de
versionamento, distribuição e auditoria dos modelos de Inteligência Artificial, além de estabelecer os
parâmetros de sua implementação e funcionamento.
166 CNJ. Plataforma CODEX. Disponível em https://www.cni.ius.br/sistemas/plataforma-codex/. Acesso
em iunho de 2023.
167 GOV.BR. Governança de Gestão de Dados. Disponível em https://www .gov.br/governodigita l/pt-
br/governanca-de-dados. Acesso em iunho de 2023.
 128

principais tarefas e pressupõem a existência de dados com qualidade, variabilidade e

estruturados.
A partir do conceito de governança, governança no setor público, governança
de IA e das experiências já relatadas no poder público, principalmente no judiciário,
verifica-se que os conceitos se complementam e buscam um poder público cada vez
mais eficiente com o uso da tecnologia, mas de forma segura, responsável,
transparente e auditável.

5.1 DIGITALIZAÇÃO DO PODER PÚBLICO

A digitalização do poder público é um processo cada vez mais presente em

diversos países. A adoção de tecnologias digitais permite a modernização e agilização
de serviços e processos, para promover uma maior eficiência na prestação de serviços
públicos. Com a digitalização, o poder público pode coletar, armazenar e processar
uma enorme quantidade de dados, desde informações básicas dos cidadãos até
dados complexos sobre políticas públicas, economia e sociedade em geral.
Essa produção massiva de dados é um insumo fundamental para a
transformação digital do poder público. A transformação digital no setor público
significa novas formas de trabalhar com outros órgãos públicos e com o cidadão, para
construir novas estruturas de prestação de serviços e criar outras formas de
relacionamentos (EUROPEAN COMISSION, 2013).
Os dados coletados possibilitam uma análise mais precisa, detalhada da
realidade, das necessidades da população e embasam a tomada de decisões
orientadas para resultados. Com a análise de dados em larga escala, é possível
identificar padrões, além de identificar oportunidades de aprimoramento dos serviços
públicos. Assim, a produção e análise de dados são elementos essenciais para
impulsionar a transformação digital no setor público e promover uma administração
mais eficiente, transparente e voltada para as necessidades da sociedade (GOEDE,
2019).
Abordagens de transformação digital fora do setor público, mudaram as
expectativas dos cidadãos sobre a necessidade de as administrações públicas
fornecerem serviços digitais de alto valor e em tempo real. Países da União Europeia,
por exemplo, mudaram seu modo de operação para melhorar a prestação de serviços,
 129

ter mais eficiência e eficácia em seus projetos e alcançar objetivos como maior
transparência, interoperabilidade e satisfação do cidadão (MERGEL et al, 2019).
Vemos mais uma vez o termo transparência associado à informatização do
poder público brasileiro, dada principalmente pela necessidade de prestação de
contas e possibilidade de controle social. Com o avanço da tecnologia, uso da
tecnologia e a concessão de serviços essenciais do poder público, também reforçam
a questão da transparência.
O fenômeno da digitalização e transformação digital do governo brasileiro tem
início no ano 2000. O Programa de Governo Eletrônico no Brasil iniciou uma série de
adaptações, inovações e desafios para melhorar a qualidade do serviço público. Com
a publicação da Estratégia de Governança Digital (EGD)168, novas políticas e
iniciativas foram implantadas e resultaram em avanços como desburocratização,
modernização do Estado, maior transparência169, acesso à informação pública e a
entrega de mais de 500 serviços públicos digitais à população brasileira (GOV.BR,
2019).
O poder judiciário também passou pelo mesmo processo de digitalização e
transformação digital. Apesar de alguns tribunais já construírem sistemas para tratar
dados judiciais desde 2001170, apenas em 2006 que foi criada a Lei n.° 11.419/2006.
Esta lei disciplinou a informatização do processo judicial, dispondo sobre o uso de
meio eletrônico na tramitação de processos judiciais, comunicação de atos e
transmissão de peças processuais. Após 2006, o judiciário passou por constantes
evoluções na informatização e por consequência produção massiva de dados, dado o
volume de litígios existentes, que são judicializados diariamente.
A presunção de uma base grande de dados estruturados e com qualidade é
fundamental para a existência e eficiência dos sistemas de IA, em razão do seu caráter
orientado a partir de exemplos171. Portanto, a digitalização e transformação digital do

168 A Estratégia de Governança Digital foi criada pelo governo brasileiro em 2016 e é um documento
que abrange um período de 3 a 4 anos. Informações podem ser obtidas em
https://www.gov.br/govemodigital/pt-br/EGD2020/estrategia-de-govemo-digital-2020-2022.
169 Há um portal criado pelo governo brasileiro que versa exclusivamente sobre questões de
transparência e dados abertos. Disponível em https://www.gov.br/governodigital/pt-
br/EGD2020/transparente-e-aberto
170 O STJ criou o "Sistema Justiça" em 2001. Fonte:
https://www.stj.jus.br/sites/portalp/Institucional/Historia/A-era-digital
171 Os sistemas de IA, como redes neurais e algoritmos de machine learning, requerem uma vasta
quantidade de dados para treinamento, validação e aprimoramento de suas capacidades preditivas
e analíticas. Quanto mais dados disponíveis, mais precisa se torna a capacidade do sistema de
 130

poder público brasileiro serviu como uma fase preparatória para o avanço no uso da
inteligência artificial.

5.2 INTELIGÊNCIA ARTIFICIAL E O PODER PÚBLICO

A Inteligência Artificial pode viabilizar o desenvolvimento e melhoria de muitos

setores, no qual se inclui o poder público172. As tecnologias utilizadas na
administração pública podem tanto servir para otimizar o trabalho do servidor público,
servir de insumo para gestores públicos ou ainda tomar decisões que afetem
diretamente o cidadão173. Além do benefício direcionado ao cidadão, o setor público
também pode utilizar a tecnologia para detecção de fraudes e fiscalização de seus
próprios servidores, representantes e terceiros que prestam serviços ao governo.
Apesar das diversas aplicações possíveis, a partir dos dados que estão em
posse do governo, conforme relatório do TCU, há poucas entidades governamentais
federais com sistemas em produção (TCU, 2022)174. Dentre as possibilidades de
aplicação, Citron (2007, p. 1259) cita a de utilização de decisões automatizadas para
o cumprimento das funções dos diversos órgãos públicos175. Dentre os benefícios,
estão a diminuição dos custos e melhoria do desempenho de sistemas automatizados,

identificar padrões, compreender relações complexas e tom ar decisões embasadas em informações

relevantes.
172 O relatório organizado pelo Programa das Nações Unidas para o Desenvolvimento cita que existem
mais possibilidades para a inteligência artificial aumentar a atividade humana do que para automatizar
tarefas existentes (PNUD, 2021).
173 Segundo estudo do projeto Transparência Brasil (COELHO, BURG, 2020a, p. 7), dos 44 sistemas
de IA existentes no governo, 28 sistemas são para tomada de decisão. Do total de sistemas utilizados
para tomada de decisão, oito são destinados ao público externo (cidadãos, empresas e outras
entidades que são impactadas pelo uso da ferramenta).
174 Além do estudo do TCU, o projeto Transparência Brasil (COELHO, BURG, 2020a, p. 4-5) mapeou
os algoritmos de IA e os casos de uso no poder Executivo brasileiro. A metodologia para obter essas
informações consistiu em um questionário enviado aos órgãos da administração pública direta e
indireta do Executivo federal, pedidos de acesso à informação e busca em transparência ativa.
Também foram localizados os sistemas por meio do Google e foram feitos pedidos de Acesso à
Informação aos órgãos públicos. O resultado foi um catálogo de ferramentas de IA usadas pelo setor
público brasileiro. Até o momento, foram mapeadas 44 ferramentas de IA usadas por órgãos
governamentais.
175 Beckman et al (2022) defendem que os exercícios de autoridade administrativa e judicial só são
democraticamente legítimos se e somente se as decisões administrativas e judiciais servirem aos fins
do legislador democrático, forem baseadas em razões que se alinhem com esses fins e sejam
acessíveis ao público. Para os autores, estes requisitos não são satisfeitos pelas decisões
determinadas por uma IA, uma vez que tais decisões são determinadas por operações estatísticas e
são opacas em vários aspectos. Neste caso, os autores sugerem que deve haver esforços no sentido
de incorporar razões e acessibilidade da motivação destas decisões, entre outros aspectos de
transparência.
 131

como decidir as pessoas que receberão assistência médica, fornecimento de licenças

e autorizações para empresas e decidir se os viajantes embarcam em aviões.
Apesar das possibilidades, há limitações e desafios técnicos na “tradução” de
políticas públicas, legislações e orientações do governo para sistemas de IA. Apesar
de grande parte dos sistemas de IA aprenderem com dados passados, certas
configurações manuais podem ser aplicadas, como regras de negócio do sistema ou
previstas na legislação. A dificuldade está em delegar essa “tradução” de regras
previstas na legislação ou políticas públicas para desenvolvedores que muitas vezes
não tem conhecimento da intenção do legislador ou do modo como aplicá-la
corretamente no código-fonte. Nesse sentido, Citron (2007, p. 1261) comenta que,
embora todas as traduções obscureçam o significado original, é provável que a
tradução da regra da linguagem humana para o código fonte, resulte em uma
alteração significativa do significado. Isso ocorre, em parte, porque a informação lida
pelos computadores têm um vocabulário mais limitado do que as línguas humanas.
Ainda, as linguagens de computador podem ser incapazes de capturar as
nuances de uma legislação ou política pública específica. Os programadores também
interpretam as normas na hora em que a traduzem da linguagem humana para o
código-fonte. Não se pode esperar que os consultores de tecnologia da informação
tenham conhecimento especializado em legislação ou políticas públicas. Encontrar e
contratar indivíduos que possuam proficiência em sistemas de informação e
conhecimento de legislação é, sem dúvida, difícil e caro (CITRON, 2007, p. 1261­
1262).
Se há um problema em delegar a interpretação das normas para
programadores, quando essa “tradução” é feita de forma automatizada para um
modelo matemático, o problema se agrava. Nesse sentido, Citron (2007, p. 1296)
comenta que o poder de regulamentação que os programadores exercem
inadvertidamente desafia as origens democráticas e os propósitos da delegação.
Quando os programadores estabelecem novas regras, muitas vezes é por acidente
ou conveniência, não como resultado de uma delegação ponderada do poder público.
O uso da IA no governo também levanta preocupações sobre privacidade,
discriminação e responsabilidade. Por isto, a compreensão de como a tecnologia foi
desenvolvida e estabelecimento de diretrizes éticas e políticas transparentes, pode
aumentar a credibilidade do uso deste recurso.
 132

Quanto aos danos mencionados anteriormente, estes também são plausíveis

de ocorrer no poder público, dado o volume e variedade de dados que os governos
armazenam, sejam na esfera federal, estadual ou municipal. Mas em outros contextos,
podemos excluir da discussão tecnologias que o poder público brasileiro ainda não
desenvolva, por exemplo, carros autônomos e armas letais.
Outra preocupação é relativa ao uso de uma base de dados passados para
treinamento de sistemas de IA que realizam decisões no âmbito administrativo ou
judicial. A possibilidade de a legislação ser atualizada e mudar determinados
entendimentos se torna um grande problema, caso a base de dados tenha decisões
baseadas na legislação fora de vigência. A capacidade de replicar padrões anteriores,
sem a devida contextualização é motivo de preocupação.
A discussão pode se aprofundar nos casos que cidadão possa ser afetado
direta, indireta, individualmente ou ainda por pertencer a um certo grupo. Como
exemplo de tecnologia que afete direto e individualmente um cidadão, podemos citar
o de concessão de benefícios sociais176. Já como exemplo de tecnologia possa afetar
indiretamente, inclui monitoramento massivo de cidadãos177 178 Por fim, tecnologias
que podem afetar diretamente um grupo de pessoas, temos como exemplo o de
concessão de créditos, em que já houve casos de prejudicarem mulheres179.

5.3 TIPOS DE GOVERNANÇA DE INTELIGÊNCIA ARTIFICIAL

Segundo ARRIETA et al. (2020, p. 45), há dois modos de executar a

governança de IA, (i) baseada em comitês que analisam e aprovam os

176 EXTRA CLASSE. Robô do INSS dificulta concessão de benefícios previdenciários. Disponível em
https://www.extraclasse.org.br/opiniao/2022/10/robo-do-inss-dificulta-concessao-de-beneficios-
previdenciarios/. Acesso em: junho de 2022.
177 THE INTERCEPT. Da placa de carro ao CPF. Disponível em
https://theintercept.com/2020/09/21/governo-vigilancia-cortex/. Acesso em: junho de 2022.
178 Em 2018 foi bastante midiatizado o escândalo que envolveu a empresa Cambridge Analytica
(KAISER, 2020). Apesar de não ter sido necessariamente um governo que desenvolveu, foi utilizada
por um candidato à presidência com intuito de influenciar as eleições norte-americanas em 2016.
Além do objetivo de manipular as eleições, para atingir este objetivo foram coletados e tratados dados
pessoais e pessoais sensíveis de 87 milhões de eleitores de forma ilícita. Também usavam estas
informações para impulsionar notícias tendenciosas por meio da plataforma de propaganda do
Facebook, além de atender ao objetivo de manipular o voto dos eleitores.
179 MIGALHAS. O impacto social causado pelo uso de algoritmos discriminatórios e a superveniência
da LGPD. Disponível em https://www.migalhas.com.br/coluna/migalhas-de-protecao-de-
dados/376497/o-impacto-social-causado-pelo-uso-de-algoritmos-discriminatorios. 2022. Acesso em:
junho de 2022.
 133

desenvolvimentos de sistemas em IA e (ii) baseada na autorresponsabilidade dos

funcionários.
Os autores sugerem a segunda opção como ideal, ao conscientizar os
funcionários que atuam neste tipo de tecnologia. O uso de comitês deve ser priorizado
para questões importantes e específicas. Este tipo de governança é muito similar ao
movimento que as empresas desenvolvedoras de software fizeram para se adequar à
Lei Geral de Proteção de Dados.
No caso da LPGD, apesar de ter o encarregado de dados em cada
organização, é necessário e preferível que o software seja construído desde o início
e pondere questões de proteção de dados (privacy by design), pois, arrumar uma falta
de adequação do software à legislação é muito custoso.
A partir do que foi exposto, fica evidente que a implementação dos princípios
de IA Responsável nas empresas deve equilibrar dois requisitos: (i) grandes
mudanças culturais e organizacionais necessárias para impor tais princípios sobre o
desenvolvimento de sistemas que usam IA; e (ii) avaliar a viabilidade e conformidade
da implementação de tais princípios com os ativos, políticas e recursos de TI já
disponíveis na empresa.
Vemos também que a transparência, mais uma vez, é imprescindível para a
governança de inteligência artificial. Como destacam Arrieta et al. (2020, p. 45), com
o aumento da conscientização corporativa em torno dos princípios e valores da IA
responsável, o xAI será adotado com mais facilidade e criará um grande impacto
positivo.

5.4 RECOMENDAÇÕES DE GOVERNANÇA EXISTENTES

Dentre as entidades brasileiras e documentos que já fizeram recomendações

sobre governança da inteligência artificial e seu uso transparente, estão o site
Transparência Brasil, Estratégia Brasileira de Inteligência Artificial e o Relatório Final
da Comissão de Juristas responsável por subsidiar a elaboração de substitutivo sobre
Inteligência Artificial, que virou o PL n.° 2338/23 posteriormente.
 134

5.4.1 Transparência Brasil

O site Transparência Brasil180, em parceria com a Controladoria Geral da

União (CGU) e Ministério da Ciência, Tecnologia e Inovação (MCTI), publicou um
estudo em 2021 que mapeou o uso de ferramentas de inteligência artificial por órgãos
da administração pública federal. A partir da análise das ferramentas, foram
elaboradas recomendações de governança para o uso de IA pelo poder público, que
são, (i) bases de dados representativas e apropriadas para o contexto; (ii)
necessidade de supervisão humana, como salvaguarda para a revisão de decisões
automatizadas; (iii) efetiva proteção dos dados pessoais do cidadão; e (iv)
tra nspa rên cia e exp lica bilida de dos sistemas. Verifica-se que estas recomendações
são ações para reduzir impactos negativos aos direitos.
A primeira recomendação visa “prevenir e eliminar/mitigar os vieses dos
algoritmos e dos dados de treinamento que podem reforçar situações de violência
estrutural (racismo, machismo, LGBTQIfobia, entre outros) em serviços públicos e
investigações do aparato de segurança” (COELHO; BURG, 2020a, p. 17).
Já a segunda recomendação, aborda o artigo 20 da LGPD, em que o titular
dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base
em tratamento automatizado de dados pessoais que afetem seus interesses.
COELHO e BURG (2020a, p. 20) orientam que a Autoridade Nacional de Proteção de
Dados (ANPD) deve interpretar o artigo 20 da LGPD expansivamente, já que uma
interpretação restritiva do "unicamente" cria um cenário no qual o direito à revisão
raramente poderá ser reivindicado.
Com relação à terceira recomendação, aborda o artigo 6° e 23 da LGPD e
recomenda que as pessoas sejam informadas com transparência sobre a finalidade
da coleta de seus dados pessoais e como são utilizados pelo poder público, com
respectiva fiscalização por parte da ANPD. Nesta recomendação, também há a
observação de verificar na ANPD se houve uso de ferramentas de IA de forma
compatível com as finalidades informadas ao titular de dados e com as expectativas
legítimas de privacidade e proteção de dados.

180 Site: https://www.transparencia.org.br

 135

Por fim, com relação à quarta recomendação, que também é o tema deste
trabalho, Coelho e Burg (2020a, p. 23) destacam que:

Uma maior transparência do poder público em relação ao uso de algoritmos

e tomada de decisão automatizada é importante até mesmo para se avaliar a
eficiência dessas ferramentas. Mesmo que não existam ameaças a direitos
fundamentais, deve-se avaliar como elas estão sendo usadas, se há um
ganho, de fato, na sua utilização, ou ainda, se a ferramenta não está
ocasionando prejuízos, como acentuar diferenças sociais e a opressão a
grupos marginalizados.

Para chegar nessa transparência mencionada por Coelho e Burg, é preciso

garantir acesso às informações públicas relativas aos algoritmos usados pelo setor
público. Para isto, os autores sugerem algumas opções: (i) uso de algoritmos de IA
com códigos-fontes abertos; (ii) a realização periódica de auditorias do funcionamento
do algoritmo; e (iii) garantir a explicabilidade dos algoritmos.
No caso de uso de algoritmos de IA com códigos abertos, os autores
mencionam:

... os códigos devem ser acompanhados de descrições de funcionamento do

algoritmo, do banco de dados utilizado para treinamento e, se possível, o
próprio banco de dados utilizado ou uma versão anonimizada. Ademais,
devem existir mecanismos de transparência ativa e o cidadão deve poder
solicitar via e-SIC (Sistema Eletrônico do Serviço de Informações ao Cidadão)
a relação de quais sistemas algorítmicos o setor público está usando, onde e
como. (COELHO; BURG, 2020a, p. 24)

Podemos destacar uma certa dificuldade técnica e até de privacidade em

adotar a solução proposta pelos autores. Uma vez que pode ser inviável disponibilizar
os dados de treinamento, seja pelo volume ou pela impossibilidade de anonimização,
em contextos específicos. Um exemplo de impossibilidade de anonimização, é uma
base de treinamento com rostos de pessoas. Também há o problema da verdadeira
anonimização de dados, que em certos casos pode ser impossível, principalmente
pela possibilidade de cruzar dados com outras informações e inferir quem é a pessoa.
Ainda na primeira opção, parece ser mais plausível o poder público fornecer
estes tipos de dados. Vejamos:
 136

Quando houver restrição de acesso por razões de sigilo (como sigilo

comercial), há dois mecanismos de transparência e accountability que devem
ser debatidos para escolher o melhor modelo. De maneira mais simples, o
poder público deve inform ar pelo menos as variáveis de entrada e saída do
modelo, bem como o tipo de algoritmo utilizado (regressão, redes neurais,
árvores de decisão, etc.). Em outras palavras, é necessário que as etapas do
processo de aprendizado de máquina que resultaram em ação por parte da
IA sejam rastreáveis e que as variáveis que pesaram na tomada de decisão
sejam públicas.

Entretanto, em termos práticos, o cidadão apenas com posse das variáveis de

entrada, saída e algoritmo utilizado não tem como compreender como a decisão foi
tomada e questionar o resultado obtido.
Já na segunda opção, os autores mencionam que deve ser realizada
periodicamente auditorias do funcionamento do algoritmo, por especialistas externos
à empresa ou órgão público, para averiguar se o algoritmo é eficaz em relação ao seu
propósito e se ocasiona algum impacto negativo aos direitos fundamentais. Quanto a
este ponto, é necessário definir parâmetros para a realização destas auditorias, devido
à subjetividade e diferentes sistemas em diferentes órgãos serem avaliados com mais
ou menos critérios.
Quanto à terceira opção, sobre o governo garantir a explicabilidade dos
algoritmos, é um tema complexo e discutido no presente trabalho. É necessária a
definição de diretrizes de como a explicabilidade deve ser executada, pois uma
explicação que não seja acessível ou completa, pode não auxiliar a atingir ao objetivo
proposto.
Até janeiro de 2023, nenhuma das medidas anteriores de governança foi
seguida e impediu que a sociedade civil pudesse aferir riscos que essas ferramentas
geram aos direitos fundamentais. Neste sentido, foi publicado um novo documento
com a seguinte recomendação “Que o governo federal edite norma para obrigar todos
os órgãos da administração pública federal direta e indireta a publicarem ativamente,
em um repositório único, informacões das ferramentas de IA/ML em uso” (LINS;
COELHO, 2023, p. 8).
 137

5.4.2 Estratégia Brasileira de IA

O governo brasileiro, com o intuito de fornecer diretrizes para o avanço da IA

no Brasil estabeleceu a Estratégia Brasileira de Inteligência Artificial (EBIA)181. A
governança de IA faz parte de um dos eixos transversais, vejamos:

Figura 11 - Diretrizes da Estratégia Brasileira de Inteligência Artificial. Fonte: Brasil (2020, p. 7)

A EBIA (BRASIL, 2021, p. 24) menciona que é necessário prevenir e eliminar

os vieses, que podem decorrer tanto dos próprios algoritmos utilizados, como também
das bases de dados usadas para o seu treinamento. Entretanto, para viabilizar a
identificação e remoção de vieses o algoritmo/modelo deve ser “explicável” ou
“interpretável”. Para resolver estas questões e outras previstas pelo uso responsável
da IA, devem ser estabelecidas estruturas de governança de IA, (i) a designação de
indivíduos ou de grupos específicos na organização para promover a conformidade
com os princípios; (ii) a adoção de medidas para aumentar a conscientização interna
sobre a necessidade dessa conformidade, com orientações e treinamentos em toda a
empresa; e (iii) a implementação de um processo de escalação, em que funcionários
podem levantar preocupações de conformidade e resolver essas preocupações.
Podem, ainda, envolver a criação de selos, certificações e códigos de conduta
corporativos ou governamentais (BRASIL, 2021, p. 24).

181 A EBIA (BRASIL, 2021) possui como papel nortear as ações do Estado brasileiro em prol do
desenvolvimento das ações que estimulem a pesquisa, inovação e desenvolvimento de soluções em
Inteligência Artificial, além do uso consciente e ético.
 138

No EBIA também é sugerida a criação de conselhos de revisão de dados ou

comitês de ética em relação à IA, que podem ser internos ou externos a tais
organizações. Além das estruturas de governança, a EBIA traz alguns elementos da
governança que merecem destaque como a (i) transparência e (ii) uso de dados
abertos.
Apesar da EBIA trazer o conceito de transparência como estrutura importante
na governança de IA, não detalha como executar e atingir esse objetivo:

Também a transparência constitui elemento importante de estruturas de

governança de IA, seja no que se refere à informação quanto à interação com
sistemas de IA (disclosure), seja no que tange à ideia de explicabilidade de
decisões tomadas por sistemas autônomos, conforme debatido
anteriormente. Do ponto de vista procedimental, a ideia de transparência
pode ser traduzida pela adoção de metodologias transparentes e auditáveis
quanto ao desenvolvimento dos sistemas de IA, quanto às fontes de dados e
aos procedimentos e documentação do projeto em questão. (BRASIL, 2021,
p. 25).

Jáoutras ações estratégicas, relativas à governança de IA, detalhadas no

EBIA são (i)Estruturar ecossistemas de governança do uso da IA, no setor público e
no setor privado; (ii) Incentivar o compartilhamento de dados, observada a LGPD; (iii)
Promover o desenvolvimento de padrões voluntários e consensuais para gerenciar os
riscos associados aos aplicativos de IA; (iv) Estimular que as organizações criem
conselhos de revisão de dados ou comitês de ética em relação à IA; (v) Criar um
observatório de Inteligência Artificial no Brasil, que possa se conectar a outros
observatórios internacionais; (vi) Estimular o uso de conjuntos de dados
representativos para treinar e testar modelos; (vii) Facilitar o acesso aos dados
abertos do governo; (viii) Melhorar a qualidade dos dados disponíveis, de modo a
facilitar a detecção e correção de vieses algorítmicos; (ix) Estimular a divulgação de
códigos fonte abertos capazes de verificar tendências discriminatórias nos conjuntos
de dados e nos modelos de aprendizado de máquina; (x) Desenvolver diretrizes para
a elaboração de Relatórios de Impacto de Proteção de Dados (RIPD); (xi)
Compartilhar os benefícios do desenvolvimento da IA na maior extensão possível e
promover oportunidades iguais de desenvolvimento para diferentes regiões e
indústrias; (xii) Elaborar campanhas educacionais e de conscientização; (xiii)
Estimular diálogo social com participação multissetorial; (xiv) Alavancar e incentivar
práticas de accountability relacionadas à IA nas organizações e (xv) Definir
 139

indicadores gerais e específicos por setores (agropecuária, financeiro, saúde, etc.)

(BRASIL, 2021, p. 26-27).
Verifica-se que algumas das sugestões tratadas no EBIA são plausíveis de
serem seguidas e adotadas. Em um cenário do poder público brasileiro que continua
evoluindo com a adoção da IA, começar com orientações mais acessíveis, como
treinamento, conscientização e criação de comitês de ética em IA, auxiliará os órgãos
a reconhecerem a necessidade e evoluir dentro do esperado. Mas ainda faltam
detalhes neste documento para guiar a adoção da transparência, por exemplo, em
sistemas de IA.

5.4.3 Proposta do Marco Regulatório de IA sobre Governança

O PL n.° 2338/23 possuí um capítulo exclusivo para a governança de IA e é

tratado entre os artigos 19 e 21. A proposta legislativa define que os agentes de
inteligência artificial deverão criar estruturas de governança e processos internos
aptos a garantir a segurança dos sistemas e o atendimento dos direitos de pessoas
afetadas. Dentre as medidas estabelecidas estão (i) medidas de transparência quanto
ao emprego de sistemas de IA na interação com pessoas naturais; (ii) transparência
quanto às medidas de governança adotadas no desenvolvimento e emprego do
sistema de IA pela organização; (iii) medidas de gestão de dados adequadas para a
mitigação e prevenção de potenciais vieses discriminatórios; (iv) legitimação do
tratamento de dados conforme a legislação de proteção de dados; (v) adoção de
parâmetros adequados de separação e organização dos dados para treinamento,
teste e validação dos resultados do sistema.
Além das medidas citadas anteriormente, para sistemas de alto risco a
proposta legislativa também prevê medidas específicas e criteriosas como (i)
documentação que detalha o funcionamento e construção do sistema; (ii) uso de
ferramentas de registro automático da operação do sistema, de modo a permitir a
avaliação de sua acurácia e robustez e a apurar potenciais discriminatórios, bem como
a implementação das medidas de mitigação de riscos adotadas, com especial atenção
para efeitos adversos; (iii) realização de testes para avaliação de níveis apropriados
de confiabilidade; (iv) medidas de gestão de dados para mitigar e prevenir vieses
 140

discriminatórios182; (v) adoção de medidas técnicas para viabilizar a explicabilidade

dos resultados dos sistemas de IA e de medidas para disponibilizar aos operadores e
potenciais impactados informações gerais sobre o seu funcionamento.
Vale destacar também medidas sugeridas pelo PL n.° 2338/23 para sistemas
de alto risco e que sejam contratadas ou desenvolvidas pelo poder público, são elas
(i) realização de consulta e audiência públicas prévias sobre a utilização planejada
dos sistemas de IA; (ii) definição de protocolos de acesso e de utilização do sistema
que permitam o registro de quem o utilizou e com qual finalidade; (iii) utilização de
dados provenientes de fontes seguras, que sejam exatas, relevantes, atualizadas e
representativas das populações afetadas e testadas contra vieses discriminatórios;
(iv) garantia facilitada e efetiva ao cidadão de direito à explicação e revisão humanas
de decisão por sistemas de IA que gerem efeitos jurídicos relevantes ou que impactem
significativamente os interesses do afetado; (v) uso da interoperabilidade; (vi)
publicização das avaliações preliminares dos sistemas de IA desenvolvidos,
implementados ou utilizados pelo poder público e independente do grau de risco.
Durante as discussões entre especialistas que originou o PL n.° 2338/23, foi
abordada a questão da governança multissetorial, que vai ao encontro das sugestões
abordadas por Arrieta et al. (2020, p. 45). No relatório (SENADO FEDERAL, 2022b,
p. 89-91) ressaltaram a necessidade um comitê, com envolvimento do Governo,
empresas, academia e sociedade civil. Dentre as atribuições do comitê estão, (i)
consultoria sobre questões relevantes; (ii) tradução de comandos regulatórios em
comandos técnicos; (iii) criação de diretrizes alinhadas à legislação; (iv) definir ações
educativas e (v) medidas de mitigação de vieses.

5.5 CRITÉRIOS DE AVALIAÇÃO DE UM A/IS

Há diversos critérios para avaliar um sistema de inteligência artificial, são eles:

(i) Precisão; (ii) Desempenho; (iii) Robustez; (iv) E xplicabilidade; (v) Experiência do

182 Dentre as medidas, estão: (i) avaliação dos dados com medidas apropriadas de controle de vieses
cognitivos humanos que afetem a coleta e organização dos dados, bem como medidas para evitar a
geração de vieses por problemas na classificação, falhas ou falta de informação em relação a grupos
afetados, falta de cobertura ou distorções em representatividade, conforme a aplicação pretendida,
bem como medidas corretivas para evitar a incorporação de vieses sociais estruturais que possam
ser perpetuados e ampliados pela tecnologia; (ii) composição de equipe inclusiva responsável pela
concepção e desenvolvimento do sistema, orientada pela busca da diversidade.
 141

Usuário; (vi) Privacidade e segurança; (vii) Escalabilidade e (viii) Custo. Ao analisar

o sistema por estes critérios, deve-se considerar o ser humano como elemento central,
assim como a proteção dos direitos fundamentais. O objetivo da definição destes
critérios visa o desenvolvimento responsável da tecnologia e alinhado à proposta
Marco Regulatório de IA que entrará em vigência eventualmente.
Por precisão, delimita-se pela à capacidade do sistema de produzir resultados
corretos. O segundo item, desempenho, refere-se à velocidade com que o sistema
opera e a quantidade de recursos computacionais que ele utiliza para o
processamento. Por robustez, entende-se pela capacidade do sistema de lidar com
entradas inesperadas, mudanças no servidor, entre outros fatores que podem causar
falhas.
Quanto ao item explicabilidade, refere-se ao grau em que as decisões e
saídas do sistema podem ser compreendidas e explicadas por humanos. Este item,
inclusive, é um dos focos deste trabalho. Quanto ao item experiência do usuário,
refere-se à facilidade de uso, possibilidade de usar intuitivamente, sem precisar de um
manual, e satisfação geral do sistema do ponto de vista do usuário.
Quanto à privacidade e segurança, delimita-se pela capacidade do sistema de
proteger informações confidenciais, sensíveis e manter a privacidade dos usuários,
além de estar adequado à legislação de proteção de dados do país. Quanto ao item
escalabilidade, abrange a capacidade do sistema de lidar com volumes de dados
acima do que estava preparado inicialmente, sem diminuir o desempenho. Por fim,
por custo, compreende-se pelo custo financeiro de desenvolvimento, implantação e
manutenção do sistema, bem como o custo de hardware e infraestrutura necessários.
Esses critérios podem ser usados para avaliar um sistema de IA em um
aplicativo ou caso de uso específico. O peso atribuído a cada critério dependerá dos
requisitos específicos da tarefa ou problema a ser resolvido e dos objetivos da
implantação do sistema.
A figura abaixo ilustra um exemplo de fluxo desde a concepção do A/IS até a
submissão do destinatário à decisão automatizada. A partir deste fluxo e do recorte
definido neste trabalho, serão abordadas as diretrizes e perguntas que podem guiar e
confirmar se o sistema possui a tra nspa rên cia/exp licabilida de necessária.
 142

Figura 12 - Imagem que ilustra o ciclo da tomada de decisão automatizada, desde sua concepção até
o destinatário receber o resultado oriundo do sistema, poder compreender e se for o caso recorrer.
Fonte: Própria

O PL n.° 2338/23 também traz pontos importantes que devem ser

considerados durante a avaliação de um sistema de IA. O primeiro deles é o que
consta no artigo 13, que estabelece que um sistema de IA passará por avaliação
preliminar para classificação do grau de risco antes de ser colocado no mercado.
Ainda segundo o artigo 13, §4° do PL n.° 2338/23, em caso de sistemas
classificados como alto risco, deverá ser realizado uma avaliação de impacto e adoção
de medidas de governança citadas na seção 5.4.3 do presente trabalho.
Caso a proposta legislativa se concretize, outras questões deverão ser
consideradas, com destaque para (i) supervisão humana efetiva e intervenção
humana (art. 3, III, art. 5, IV, art. 8, V e art. 10); (ii) transparência (art. 3, VI, art. 5, II,
art. 19,I, II e art. 21, IV); (iii) possibilidade de contestação (art. 3, VIII, art. 5, III, art. 8,
IV e art. 9); (iv) rastreabilidade das decisões feitas durante o ciclo de vida do sistema
(art. 3, IX); (v) mitigação de riscos sistêmicos (art. 3, XI e art. 13); (vi) notificação ao
 143

usuário que interage com um sistema de IA (art. 5, I); (vii) informações sobre o nível
de autonomia do sistema (art. 7, I, art.8, II); (viii) informações gerais sobre o sistema,
assim como dados utilizados e medidas de segurança adotadas (art. 7, II, V, VI, art.
8, III, art. 19, V e art. 20); (ix) verificar se a lei não veda o sistema (art. 14 e art. 15);
(x) realização de audiências públicas (art. 21, I); (xi) realização de avaliação de
impacto algorítmico (art. 22 e 23); (xii) criação de códigos de boas práticas e de
governança (art. 30); (xiii) possibilitar que dados de sistemas fiquem acessíveis ao
público sempre que possível, principalmente quando envolver sistemas de alto risco
(art. 43). Além das recomendações anteriores, também há o dever de cumprir o já
previsto nas legislações em vigência como Constituição Federal, LAI e LGPD.
A seguir serão abordadas algumas perguntas para serem respondidas
durante cada etapa do ciclo de vida do desenvolvimento da IA, de acordo com critérios
sugeridos na literatura e na proposta legislativa. As perguntas foram separadas em
subcategorias de acordo com princípios previstos pelo FAT/ML. Geralmente, o
processo de desenvolvimento é iterativo, ou seja, o software se aperfeiçoa e cada fase
é revisitada. Em alguns casos, os questionamentos realizados em cada fase podem
ser reaproveitados.
Vale ressaltar que as perguntas formuladas são apenas alguns exemplos do
que pode ser avaliado em cada fase, para contextos específicos é necessário
aprofundar os questionamentos.

5.5.1 Design

Na fase de design, que contempla desde a concepção do sistema de A/IS,

como planejamento e definição da arquitetura do sistema, alguns itens importantes já
podem ser considerados para verificar a possibilidade de o projeto avançarr. Em caso
de identificação de algum risco ou erro não aceitável, é necessário considerar
interromper o desenvolvimento do projeto.

o Responsabilidade
■ Quem são os operadores e fornecedores do sistema de IA?
■ Quais são as medidas de governança adotadas no
desenvolvimento e emprego do sistema pela organização?
 144

■ Qual o papel do sistema de inteligência artificial e dos humanos

envolvidos no processo de tomada de decisão, previsão ou
recomendação?
■ Qual será o processo de denúncia e o processo de recurso?
■ Quem poderá decidir sobre as mudanças necessárias no sistema
durante a fase de projeto, pré-lançamento e pós-lançamento?
■ As pessoas que trabalharam no sistema têm conhecimento de
questões éticas, técnicas e jurídicas para desenvolvimento com
responsabilidade?
o Explicabilidade
■ Quem são os usuários finais e partes interessadas?
■ Os níveis de transparência foram estabelecidos?
■ Há justificativa na lei para o cidadão ter limitação da
transparência?
■ O modelo escolhido é transparente?
• Caso não seja transparente, há justificativa para escolha
de um modelo mais opaco?
■ Há outras opções de modelos mais transparentes que podem ser
utilizadas?
■ Há uma descrição geral do sistema, tipos de decisões,
recomendações ou previsões que se destina a fazer e
consequências de sua utilização para os cidadãos?
■ Há publicização em veículos de fácil acesso, preferencialmente
em seus sítios eletrônicos, das avaliações preliminares dos
sistemas de inteligência artificial desenvolvidos, implementados
ou utilizados pelo poder público da União, Estados, Distrito
Federal e Municípios, independentemente do grau de risco?
o Precisão e Imparcialidade
■ Quais são os piores cenários plausíveis, em termos de como os
erros podem impactar a sociedade, os indivíduos e as partes
interessadas?
o Auditabilidade
■ O cidadão tem ciência que é submetido a um A/IS?
 145

■ Há documentação e histórico da tomada de decisão em cada fase

do projeto?
■ Qual o nível de autonomia do sistema?
• Em caso de nível parcial de autonomia, há definições
claras e registros de informações quando um ser humano
intervém na decisão ou comportamento do A/IS?
■ Há documentação que demonstre que o sistema está preparado
para funcionar conforme a legislação vigente?
■ Há realização de consulta e audiência públicas prévias sobre a
utilização dos sistemas de inteligência artificial, com informações
sobre os dados a serem utilizados, a lógica geral de
funcionamento e resultados de testes realizados?
5.5.2 Dados

Na fase de dados, que contempla a coleta de dados, limpeza e preparo para

ser usado no A/IS, também se faz necessário validar alguns pontos. Entre eles estão:

o Responsabilidade
■ Os dados são tratados de acordo com LGPD?
■ A empresa estabeleceu normas para governança de dados,
governança de IA e são aplicadas?
■ Pessoas externas foram envolvidas para avaliar impactos em
certos grupos de pessoas?
o Explicabilidade
■ Quais fontes de dados podem ser publicizadas?
o Precisão
■ Foi avaliada a origem, veracidade e qualidade dos dados e foram
consideradas fontes alternativas de dados?
o Auditabilidade
■ É possível fornecer auditoria pública ou há informações
confidenciais que demandem auditoria por terceiros designados?
■ Como será facilitada a auditoria pública ou de terceiros da base
de treinamento e teste?
 146

o Imparcialidade
■ Há medidas de gestão de dados adequadas para a mitigação e
prevenção de potenciais vieses discriminatórios?
■ Existem grupos específicos que podem ser favorecidos ou
desfavorecidos?
■ O sistema usa dados pessoais sensíveis ou críticos? Há
justificativa para o uso?
■ Há dados que envolvam aspectos culturais?
• Caso sim, há diferença de cultura entre as pessoas que
foram fonte da informação e as que serão destinatárias da
decisão? Foi feito alguma ponderação neste caso?

5.5.3 Modelo

Na fase de criação do modelo, o algoritmo que processará os dados e que

criará o modelo, já foi escolhido na fase de design. Na presente fase será avaliada
questões do modelo matemático/computacional treinado e pontos que necessitam de
avaliação.

o Responsabilidade
■ Quem é responsável pelo treinamento e configuração do modelo?
o Explicabilidade
■ Quanto do sistema/algoritmo é possível explicar aos usuários e
partes interessadas?
• Caso não seja possível mapear com muitos detalhes, há
justificativa para usar um modelo opaco?
■ Há um modelo que represente de forma simplificada o
comportamento do modelo original do A/IS?
o Precisão
■ Quais os possíveis erros e como podem ser tratados?
■ Qual a precisão das decisões produzidas pelo sistema?
■ Foram avaliadas entradas de dados fora do padrão conhecido e
que podem influenciar no resultado?
 147

o Auditabilidade
■ É possível fornecer auditoria pública ou há informações
confidenciais que demandem auditoria por terceiros designados?
■ Como será viabilizada a auditoria pública ou de terceiros sem
abrir o sistema para acesso injustificado?
■ Há registros de logs sobre o rastreamento das decisões tomadas,
assim como das variáveis utilizadas, modelo utilizado, pesos
atribuídos e valores das variáveis na época da execução?
■ Quais são as medidas de segurança, de não-discriminação e de
confiabilidade adotadas, como acurácia, precisão e cobertura?
o Imparcialidade
■ Existem grupos específicos que podem ser favorecidos ou
desfavorecidos?

5.5.4 Verificação e Validação

A fase “verificacão e validacão” , reside em fornecer mecanismos para avaliar

a “confianca” do A/IS. Nesta etapa também envolve a realização de ajustes dos
modelos executados para maximizar o desempenho. Os pontos que necessitam de
avaliação são:

o Responsabilidade
■ Há cuidados em cada fase do ciclo de vida do projeto e
devidamente documentados?
o Explicabilidade
■ Não foram identificadas perguntas neste caso.
o Precisão
■ Os possíveis erros do sistema são conhecidos?
■ Há pontos cegos no A/IS?
■ Foram realizados testes para avaliação de níveis apropriados de
confiabilidade, conforme o contexto e o tipo de aplicação do
 148

sistema de inteligência artificial, como testes de robustez,

acurácia, precisão e cobertura?
o Auditabilidade
■ As melhorias foram mapeadas?
■ Os erros identificados foram mapeados e corrigidos?
■ Existe um documento sobre a Avaliação de Impacto Algorítmico?
o Imparcialidade
■ Há casos de teste mapeados para variáveis que potencialmente
ofereçam danos ao cidadão?

5.5.5 Operação e monitoramento

Quanto à fase de monitoramento, engloba a operação do A/IS e a avaliação

contínua de suas recomendações e impactos (intencionais e não intencionais). Nesta
fase, os problemas são identificados e os ajustes são feitos para reverter para outras
fases ou, se necessário, retirar o A/IS da produção. Os pontos que necessitam de
avaliação são:

o Responsabilidade
■ Quem é o responsável pela operação, uso e monitoramento do
sistema em produção?
o Explicabilidade
■ Não foram identificadas perguntas neste caso.
o Precisão
■ Há melhoria contínua do sistema?
■ Há medidas de contenção e reparo em caso de erro do sistema?
o Auditabilidade
■ As fontes de dados externas são monitoradas para verificar se
algo afetou sua integridade?
■ É possível fornecer auditoria pública ou há informações
confidenciais que demandem auditoria por terceiros designados?
■ Como será viabilizada a auditoria pública ou de terceiros sem
abrir o sistema para acesso injustificado?
 149

■ Há registros de logs sobre o rastreamento das decisões tomadas,

assim como das variáveis utilizadas, modelo utilizado, pesos
atribuídos e valores das variáveis na época da execução?
■ Há adoção de medidas adequadas de segurança da informação
desde a concepção até a operação do sistema?
■ Há definição de protocolos de acesso e de utilização do sistema
que permitam o registro de quem o utilizou, para qual situação
concreta, e com qual finalidade?
o Imparcialidade
■ Há variáveis de entrada, que não fizeram parte da base de
treinamento, que podem favorecer ou desfavorecer certos grupos
específicos?

5.5.6 Eficácia da Explicabilidade

Quanto à forma de avaliação do sistema, por parte do usuário ou cidadão

afetado pelo sistema, Gunning, Aha (2019, p. 50-51) elencam alguns parâmetros para
definir o nível de eficácia da explicabilidade fornecida ao usuário, são eles:

o Satisfação do Usuário
o A explicação fornecida é clara para o usuário?
o A explicação fornecida é útil para o usuário?
o O usuário sabe quando confiar e quando não confiar nos
resultados obtidos?
o Modelo
o É possível compreender decisões individuais?
o É possível compreender o modelo por completo?
o O que o modelo dará de resultado?
o Como intervir no resultado do modelo?
o Usuário consegue prever as decisões/comportamento do
sistema em novas situações?
o Desempenho
o A explicação ajuda na tomada de decisão do usuário?
 150

o O usuário executa as tarefas para as quais o sistema foi

projetado para suportar?

5.6 FORMAS DE INTERVENÇÃO

Almada (2019, p. 7-8) aborda a questão do direito à intervenção humana na

tomada de decisões baseadas em IA, previsto tanto no ordenamento europeu (GDPR)
quanto no brasileiro (Art. 20 da LGPD) e que esta medida não deve ser apenas reativa.
A intervenção permite que o titular de dados pessoais possua meios para proteger
seus direitos, liberdades e interesses legítimos. A partir dessa questão, o autor
defende o conceito de “contestability by design” , em que o sistema é desenvolvido
visando a prestação de contas e questionamento público. Desta forma, os titulares
dos dados podem contestar as hipóteses e escolhas de design feitas em cada etapa
do ciclo de vida de uma IA, em vez de apenas questionar o resultado decisivo de
processos automatizados. No contexto do poder público, este tipo de abordagem pode
ser muito interessante, principalmente durante a construção de sistemas que limitem
o acesso do cidadão aos serviços estatais ou afetem direitos fundamentais.
Wimmer e Doneda (2021, p. 393-394) abordam fatores que devem ser
considerados para decidir a intervenção humana em sistemas de IA, assim como o
grau dessa intervenção. Dentre esses fatores estão (i) grau de delegação de decisões
à máquina (autonomia); (ii) capacidade humana (intelectual, emocional, motora) de
(re)avaliar as decisões sugeridas por sistemas de IA, de acordo com a compreensão
do próprio modelo ou volume de dados da análise e (iii) momento da intervenção
humana, que considera se antes ou depois do sistema produzir efeitos.
Também devem ser considerados os (i) riscos e consequências atuais e
futuros gerados para os indivíduos e grupos afetados, principalmente quando envolver
direitos fundamentais, possibilidade de discriminação e reversão dos efeitos da
decisão e (ii) natureza da decisão, em particular no que se refere às decisões sobre
juízos de “certo” e “errado” , entre outros valores subjetivos (WIMMER; DONEDA, 2021
p. 395). Decidido que haverá a intervenção humana, também é necessário definir uma
forma de verificar a necessidade de intervenção no próprio sistema de IA e modelo
matemático utilizado.
 151

6 CONSIDERAÇÕES FINAIS

A regulamentação da inteligência artificial no âmbito mundial, tanto pelo poder

legislativo quanto por entidades que criam padrões técnicos internacionais, ainda é
muito recente. O Brasil, apesar de discutir este tema desde 2019 por intermédio de
projetos de lei, no primeiro semestre de 2023 ainda não teve o marco regulatório
aprovado.
A União Europeia, que acaba por ser uma das referências mundiais em
proteção de dados e regulação da inteligência artificial, também está com a legislação
em tramitação. Quanto às entidades internacionais como a IEEE e ISO/IEC, as
normas existentes têm publicação recente183 e verifica-se que diversas normas estão
em andamento.
Há dificuldades em regular a inteligência artificial, devido às características e
necessidades de cada país. Mas como destacado pelo próprio relatório do PL n.°
2338/2023 - Marco Regulatório da IA, o foco da regulação deve ser centrado no ser
humano e com vistas a proteger os direitos fundamentais.
Apesar das dificuldades inerentes à regulação, se faz necessário o
estabelecimento de diretrizes legislativas e técnicas, dado os inúmeros impactos
negativos verificados no âmbito nacional e internacional, no qual grande parte destes
impactos acabam por violar direitos fundamentais. A grande capacidade de
armazenamento e processamento dos dados, aliada a necessidade do poder público
tomar decisões automatizadas, pode impactar e até mesmo ser difícil rastrear
decisões tomadas equivocadamente e que violem a própria legislação. Há também
um crescente volume de cidadãos potencialmente afetados à medida que o governo
avança na digitalização e transformação digital.
Apesar do TCU ter levantado que o poder executivo não adota a IA do modo
esperado, os poucos que adotaram já geram danos graves e em larga escala, como
o caso de prisões de pessoas inocentes e indeferimento de benefícios
financeiros/sociais. É necessário avaliar, antes de qualquer adoção da tecnologia, os
benefícios que ela pode prover em comparação aos malefícios. Nesta consideração

183 Ao consultar as normas técnicas publicadas pela IEEE e ISO/IEC, as primeiras normas relativas ao
tema inteligência artificial e áreas correlatas de governança, riscos, aspectos éticos, transparência,
vieses, surgem a partir de 2020.
 152

também devem ser avaliadas maneiras de usar a tecnologia de forma responsável e

reduzir ou eliminar estes malefícios, muitas vezes viabilizado por técnicas de
transparência e ética durante o desenvolvimento e escrutínio público.
Na busca de evitar os malefícios do uso irresponsável da tecnologia, entidades
nacionais e internacionais definiram princípios184 para guiar o desenvolvimento da IA.
Dentre os princípios, a transparência/explicabilidade, tema deste trabalho, é o único
princípio comum em todas as entidades estudadas. Também se concluiu que a
transparência é o princípio que viabiliza a própria confirmação dos demais. A
transparência/explicabilidade também é um dos pilares do desenvolvimento da
inteligência artificial responsável, em conjunto com a Auditabilidade e Governança de
IA, temas que também foram abordados neste trabalho.

Dever de tra nspa rên cia do s sistem as de IA no poder p ú b lico

O dever constitucional de transparência pode ser aplicado aos sistemas de

inteligência artificial do poder público, apesar de não prever como essa transparência
será concretizada. A proteção dos Direitos Fundamentais exige medidas adicionais,
como regulamentações específicas para garantir a ética e privacidade dos dados, bem
como mecanismos de responsabilização em caso de uso inadequado da IA.
A promoção da transparência no agir administrativo é benéfica ao controle
social, favorece a moralidade, imparcialidade e legalidade, além de contribuir para a
redução de recorrer excessivamente ao judiciário para resolver questões. Ao
disponibilizar informações abertas e acessíveis, a transparência fortalece a conexão
entre governo e sociedade e impulsiona uma gestão pública mais ética e responsável.
No contexto do poder público e nos sistemas que tomam decisões
automatizadas, os sistemas podem restringir o acesso aos benefícios sociais,
financeiros ou até mesmo afetar os direitos fundamentais, neste caso é necessária a
transparência para compreender e até recorrer da decisão feita.
O fato da Constituição Federal de 88 já prever princípios como publicidade,
motivação e transparência, estes podem ser aplicados para criar um dever de
transparência de sistemas de IA que auxiliem ou realizem funções estatais. Na prática,

184 Como exemplo de iniciativas nacionais temos princípios definidos pelo EBIA.
 153

há dificuldade em obter detalhes completos do funcionamento dos sistemas já usados,

pois, muitas vezes o poder público não tem essa informação organizada e pronta para
fornecimento. O problema se agrava no momento em que tecnologias estrangeiras
são contratadas sem o repasse devido do funcionamento interno delas.
O uso da inteligência artificial explicável não se demonstrou apenas como
uma conduta proativa a ser adotada pelo governo, mas também uma necessidade,
para concretizar os princípios constitucionais da transparência, publicidade e
motivação. A transparência também vem no sentido de o poder público ter pleno
entendimento que o sistema funciona dentro do que a legislação prevê e para o
cidadão ter confiança de que o resultado gerado pela máquina é confiável e não viola
nenhum direito fundamental. O poder público também deve estar preparado para
responder aos questionamentos que surgirão, e se não houver um sistema pronto,
capaz de processar e prestar contas ao cidadão, não atenderá ao seu objetivo.
Dentre as recomendações realizadas por pesquisadores e entidades
governamentais, como o relatório do TCU, site Transparência Brasil (COELHO;
BURG, 2020a), Relatório do Marco Regulatório de IA no Brasil e EBIA, todos
mencionam a necessidade de uma transparência e explicabilidade dos sistemas de
IA, mas não entram no mérito de como executar esta transparência ou informações
que devem ser levantadas. Foi neste sentido o foco deste trabalho, com fim de
aprofundar e concretizar estas orientações no poder público brasileiro.
Apesar do foco do trabalho ser a transparência, ela sozinha não é suficiente,
dado que ela não é um objetivo em si, mas um meio para concretizar os princípios
constitucionais e principalmente resguardar os direitos fundamentais. É essencial que
o cidadão realize o controle social e que o estado tenha ciência do funcionamento do
sistema para evitar erros e discriminação.
É necessário o engajamento de múltiplos atores para enfrentar os desafios e
mitigação dos riscos conhecidos mundialmente, assim como aplicar conceitos de
transparência desde a concepção do sistema para criar uma rastreabilidade de todas
as decisões do projeto e que influenciem no resultado obtido.
A transparência representa apenas a parte simples, a parte complexa é
assegurar que esses algoritmos gerem resultados justos. Entretanto, só se consegue
analisar se modelos de IA não possuem nenhuma discriminação ou comportamento
 154

inadequado se houver uma transparência suficientemente clara que permita essa

avaliação.

A in su ficiê n cia da legislação vigente para tra ta r a necessidade de transparência

da IA

A falta de uma legislação específica que estabeleça os critérios para validar e

identificar os requisitos de transparência de sistemas de IA, dificulta a fiscalização e
torna desafiador para os órgãos públicos implementarem todas as exigências
necessárias. Embora existam normas técnicas internacionais relacionadas a esse
tema, muitas delas são recentes e estão em desenvolvimento.
Com a vigência da legislação referente à proteção de dados no Brasil, trouxe
diversas diretrizes as quais as empresas desenvolvedoras de software e empresas
titulares dos softwares necessitaram se adequar. Entretanto, com relação aos
sistemas de IA, a LGPD se mostra insuficiente. Do mesmo modo é o que acontece
com a LAI, dado que o poder público ainda carece de parâmetros para definir o que
exatamente precisa documentar de seus sistemas para responder às solicitações. A
ausência de padronização das informações fornecidas ao cidadão, que solicita
transparência sobre sistemas de IA, pode levar a respostas variadas entre os
diferentes órgãos públicos. Isso pode resultar em informações superficiais que tornam
difícil a compreensão de como as decisões automatizadas foram tomadas e
impossibilita um recurso adequado.
Quando se refere ao funcionamento de sistemas de inteligência artificial, pela
complexidade envolvida, muitas vezes não é trivial detalhar o funcionamento interno
do sistema. Além da dificuldade de o próprio corpo técnico do órgão público conhecer
de forma ampla e completa o sistema, quando esta informação precisa ser repassada
ao cidadão, ela deve ser em linguagem acessível e simplificada.
A proposta do Marco Regulatório da IA no final de 2022, surgiu como uma
necessidade imediata, principalmente para o poder público, visto que o Brasil já
presencia desde 2019 diversos impactos negativos, como relatado no estudo de caso
do reconhecimento facial que consta no apêndice. Como abordado no presente
trabalho, a LGPD e outras legislações se mostraram insuficientes para tratar o tema.
O que agrava mais ainda a situação do reconhecimento facial, é que na grande
 155

maioria usa tecnologias estrangeiras no Brasil e não possuem transparência para os

cidadãos. Há dúvidas se o próprio poder público que contrata a tecnologia, tem acesso
ao funcionamento interno do sistema. Por consequência, pessoas com seus direitos
violados pela tecnologia têm que arcar com o ônus da prova para justificar que a
tecnologia estava errada.
Vale ressaltar que a proposta legislativa feita pelo CJSUBIA (Comissão de
Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência
artificial no Brasil), também aborda em diversos artigos o tema da transparência e
explicabilidade. O presente trabalho concluiu que, verificar se os sistemas de IA
adotam os princípios estabelecidos e não violam direitos fundamentais, só é possível
com a compreensão detalhada do sistema e em uma linguagem compatível com o
destinatário que recebe as informações. Atualmente, o Brasil está distante de aplicar
uma explicabilidade acessível ao cidadão, com textos explicativos, gráficos e
fluxogramas, como se verificou com o estudo de caso do reconhecimento facial. O
máximo que vemos, relativo à transparência, ocorre após muitos impactos negativos
e quando uma entidade governamental intervém, como o judiciário.
Não há dúvidas que a transparência pode auxiliar na identificação dos riscos
para posterior tratamento ou até na melhoria do sistema, no entanto, nem sempre será
uma necessidade ou obrigatoriedade. É necessário ponderar os contextos em que se
exigirá uma maior ou menor transparência para não inviabilizar o desenvolvimento
tecnológico no país. Uma sugestão do contexto em que deve ser aplicada a
transparência, é esta ser proporcional ao nível de risco associado à tecnologia.
Inclusive, a questão dos riscos foi abordada na proposta do Marco Regulatório da IA
brasileiro.
É necessário criar essa distinção de níveis de transparência, pois exigir que
todos os sistemas de IA expliquem cada decisão tomada, pode resultar em sistemas
menos eficientes, escolhas de design forçadas e uma tendência a resultados
explicáveis, mas menos capazes e versáteis, como afirmou Norvig. Além disso, tornar
os sistemas de IA explicáveis é, sem dúvida, caro por exigirem recursos consideráveis
no desenvolvimento. Portanto, é importante pensar sobre o porquê e quando as
explicações são úteis, assim como considerar a diversidade de destinatários das
explicações.
 156

IA E xplicável com o m aneira de co n cre tiza r p rin c íp io s c o n s titu c io n a is

As diretrizes estabelecidas para a explicabilidade dos sistemas de IA (xA I) são

fundamentais para concretizar os princípios constitucionais da transparência,
publicidade e motivação, apesar dos desafios técnicos de alguns modelos que
apresentam opacidade.
O grande desafio da aplicação do princípio da publicidade e da motivação se
dá quando a tarefa de julgamento e motivação da decisão administrativa ou judicial é
transferida parcial, ou totalmente, para uma tecnologia, como a inteligência artificial,
treinada com dados passados para fazer inferências futuras.
O primeiro ponto que se destaca é referente aos dados passados serem
usados no treinamento do modelo matemático. Por mais que haja um filtro para
apenas usar decisões passadas, que não foram questionadas judicialmente e tem um
grau de certeza, podem existir questionamentos posteriores ou erros que não foram
questionados. Esses erros, podem gerar um impacto negativo no sistema treinado ao
fazer inferências futuras equivocadas.
O segundo ponto que se destaca é da diversidade de técnicas para aplicar na
inteligência artificial e algumas delas são mais transparentes e outros mais opacas.
Na questão da motivação e detalhamento de como a decisão administrativa foi tomada
por intermédio deste tipo de tecnologia, torna-se um grande desafio técnico e muitas
vezes inviável, detalhar no mesmo patamar que a lei impõe. No caso de uso de uma
técnica opaca que resulte em resultados indesejados, dificulta saber quais dados ou
configurações do modelo resultaram no erro.
No segundo ponto há também a ponderação da transparência e eficiência do
sistema. Neste caso, podem existir justificativas para a utilização de uma técnica mais
eficaz, entretanto, é mais opaca, como o caso das redes neurais profundas. É
necessária uma justificativa para esta escolha de projeto e necessidade de considerar
que o princípio da publicidade, atravessa todo o regime jurídico de Direito Público e
sua compreensão adequada à Constituição não permite que ele seja ponderado com
os demais princípios, como o princípio da eficiência. Neste ponto também podemos
fazer uma analogia da eficácia/acurácia do A/IS com a própria eficiência da
administração pública.
 157

O terceiro ponto que se destaca é o dos níveis de transparência do modelo

matemático, comparado aos níveis de complexidade da fundamentação, (ANDRADE,
1992, p. 240-241) e os próprios elementos da motivação (BANDEIRA DE MELLO,
1992, p. 404). Como já abordado, há diversos níveis de transparência das técnicas e
algumas delas permitem compreender, em certo ponto, como a decisão foi tomada.
Mas, é necessário averiguar se esta transparência é suficiente conforme a legislação.
Também se faz necessário ponderar se o ato administrativo pode ser delegado para
uma inteligência artificial, justamente pelas dificuldades relatadas.
O quarto ponto é que não podemos falar de transparência, sem associar a um
lapso temporal. Como abordado no trabalho, a dimensão temporal da transparência é
complexa pelo fato de que dados e sistemas mudam ao longo do tempo,
principalmente em sistemas em constante aprendizado. Mesmo que o código-fonte de
um modelo e o conjunto completo de dados de treinamento/teste sejam transparentes,
ele ainda fornece apenas um momento específico da funcionalidade. Qualquer
solicitação de transparência ou auditoria sem dimensões temporais, prejudica
qualquer análise e interpretação. Há também uma dificuldade técnica em registrar o
comportamento do modelo matemático que está em constante aprendizado, tanto pelo
volume de informações quanto pela escolha de qual lapso temporal é adequado.
Outro ponto que este trabalho abordou, foram as diversas áreas associadas
à Inteligência Artificial Explicável que viabiliza a aplicação do princípio da
transparência da IA. Dentro da IA explicável, a informação deve ser preparada e
fornecida ao destinatário de modo que seja útil. Por exemplo, um cidadão submetido
a uma decisão automatizada e não concorda com o resultado recebido, precisa
compreender como a decisão foi tomada e quais variáveis foram utilizadas. Se a
informação é entregue parcialmente e não permite o questionamento, houve falha no
processo de transparência. O cidadão não pode receber um código-fonte ou modelo
matemático que dificulte a interpretação e compreensão resultado.
Apesar de existirem técnicas para tornar mais transparente, muitas vezes são
feitas aproximações e não se conhece a totalidade do comportamento do sistema.
Geralmente, estes algoritmos opacos possuem uma taxa de precisão/acurácia
superior aos dos algoritmos interpretáveis, por isso, é uma decisão de projeto a
escolha do algoritmo que foi feita e deve ser justificada.
 158

Neste sentido, o poder público deve evitar o uso de algoritmos opacos para
treinar modelos de IA sempre que possível. A transparência é crucial para a
responsabilização e garantia dos Direitos Fundamentais e como foi verificado, ações
de explicabilidade apenas chegam a uma aproximação do comportamento do modelo.
Essa justificativa sobre a escolha do algoritmo e diversas outras evidências
sobre como o sistema foi construído, além de decisões tomadas sobre a construção,
devem ser registradas para permitir a auditabilidade do sistema. Além do mapeamento
de questões do projeto do sistema, também é interessante, dentro do possível,
envolver os cidadãos para contestar as hipóteses e escolhas de design feitas em cada
etapa do ciclo de vida de uma IA. Este é o objetivo da contestabilidade by design, em
que o cidadão pode participar do processo de desenvolvimento do sistema ao invés
de apenas questionar o resultado, quando o sistema já foi finalizado e apresenta
comportamento prejudicial. No contexto do poder público, este tipo de abordagem
pode ser muito benéfico, principalmente durante a construção de sistemas que limitem
o acesso do cidadão aos serviços estatais ou afetar direitos fundamentais.

C om entários fin a is

No presente trabalho não procurou se esgotar o tema, em vista do Marco

Regulatório de IA ainda precisar ser aprovado, entrar em vigor no Brasil e diversas
normas técnicas internacionais ainda estão em construção. O que se objetivou neste
trabalho foi demonstrar a necessidade, diretrizes e viabilidade técnica de o poder
público transparecer o modo de funcionamento dos sistemas de inteligência artificial
que tenham potencialidade de prejudicar indivíduos ou grupos de pessoas. Como
observado no trabalho, também é necessário ponderar os contextos que são viáveis
a transparência, considerando os casos de exceção185 previstos na legislação.
As diretrizes propostas no presente trabalho viabilizam uma governança da IA
focada na transparência de modo a padronizar as informações necessárias e
concretizar os princípios constitucionais mencionados.

185 Exemplos de exceção (i) Casos de sigilo estabelecidos pelo governo; (ii) Quando a transparência
afete o resultado pretendido, como investigações criminais ou identificação de fraude.
 159

A partir de todo o exposto, conclui-se que a proposta atual do Marco

Regulatório de IA, Lei Geral de Proteção de Dados, Lei de Acesso à Informação e
diretrizes técnicas internacionais, representam esforços para reduzir os impactos
negativos da tecnologia e proteção dos Direitos Fundamentais. Apesar da existência
destas normas, ainda há grandes limitações técnicas que inviabilizam atender ao
princípio da transparência e explicabilidade na sua completude. Com relação ao
princípio da publicidade e motivação em decisões automatizadas oriundas do poder
público, estes também podem ser prejudicados por estas limitações técnicas. A
transparência, que deve ser proporcional ao nível de risco atribuído a cada sistema,
deve ter embasamentos jurídicos e técnicos para justificar quando um sistema não
atingir o nível de explicabilidade que deveria.
Como trabalhos futuros, sugere-se acompanhar a publicação das normas
técnicas que visam padronizar ações sobre esse tema, visto que há diversas em
andamento, e adequar as sugestões à legislação brasileira.
Também é necessário avaliar outros casos de impactos negativos resultantes
da inteligência artificial usada pelo poder público e se medidas, como a transparência,
mitigam ou eliminam este problema. Como exemplos de problemas que já
aconteceram, estão o uso de algoritmos para seleção de estudantes186 187, score de
crédito (MENDES; MATTIUZZO, 2022), tratamento médico188 189 e sistema

186 BBC. 'Algoritmo roubou meu futuro': solução para 'Enem britânico' na pandemia provoca escândalo.
Disponível em https://www.bbc.com/portuguese/internacional-53853627. 2020. Acesso em fevereiro
de 2023.
187 No Reino Unido, era utilizado um algoritmo para decidir as notas dos estudantes no Reino Unido
para poderem ingressar em uma universidade. O algoritmo foi criado na época da pandemia de
coronavírus e determinou um jeito único de avaliar os alunos, entretanto, nenhuma transparência foi
dada previamente de como as notas eram calculadas. Foi constatado que estudantes mais pobres
foram prejudicados com atribuição de notas inferiores, mesmo para alunos que eram avaliados muito
bem pelos seus professores. Após muitos questionamentos, o sistema desenvolvido não foi mais
utilizado.
188 WIRED. How an Algorithm Blocked Kidney Transplants to Black Patients. Disponível em
https://www.wired.com/story/how-algorithm-blocked-kidney-transplants-black-patients/. 2020. Acesso
em fevereiro de 2023.
189 Nos Estados Unidos, hospitais utilizavam técnicas de inteligência artificial para avaliar a gravidade
da doença renal e determinar pessoas elegíveis para transplante renal. O grande problema foi
considerar aspectos de raça nesta seleção. No presente caso, o sistema atribuía atribui pontuações
mais saudáveis aos negros, os deixavam fora da lista de gravidade e consequentemente não
elegíveis ao transplante. A fórmula aplicável para calcular a função renal variava de acordo com a
raça. Na notícia, é mencionado um caso sim ilar de um software, usado por muitos sistemas de saúde
norte americanos, que privilegiava sistematicamente pacientes brancos em detrimento de pacientes
negros.
 160

penitenciário190 191. Os casos mencionados demonstram que se houvesse

transparência quanto à finalidade e funcionamento do sistema, além da possibilidade
de questionamento prévio pelos cidadãos, grande parte dos problemas seriam
evitados.

190 PROPUBLICA. Machine Bias. Disponível em https://www.propublica.org/article/machine-bias-risk-

assessments-in-criminal-sentencing. 2016. Acesso em fevereiro de 2023.
191 Desde 2012, nos Estados Unidos, foi midiatizado o caso COMPAS (Correctional Offender
Management Profiling for Alternative Sanctions) que consistia em um sistema de inteligência artificial
capaz de prever a chance de reincidência no cometimento de crimes. O sistema era utilizado pelos
tribunais estadunidenses para sentenciar acusados e possuía tendências contra pessoas negras. As
pessoas eram sentenciadas a partir de informações recomendadas pelo software e sequer tinham
acesso a como o algoritmo determinava o resultado.
 161

REFERÊNCIAS

ABNT. ABNT NBR ISO/IEC 27005. 2019.

ACM. P ublic P olicy. S tatem ent on a lg o rith m ic tra nspa ren cy and a cco untability.
ACM, 2017.

ADADI, Amina; BERRADA, Mohammed. Peeking inside the black-box: a survey on

explainable a rtificia l in te llig ence (XAI). IEEE access, v. 6, p. 52138-52160, 2018.

AEPD. RGPD com pliance o f p ro ce ssin g s th a t em bed A rtific ia l Intelligence.

Madrid: Agencia Espanola de Protección de Datos, 2020.

AI, HLEG. High-level expert group on artificial intelligence. E thics gu id e lin e s fo r

tru s tw o rth y AI, 2019.

ALBU, Oana Brindusa; FLYVERBOM, Mikkel. O rganizational transparency:

C onceptualizations, co n d itio n s , and consequences. Business & Society, v. 58, n.
2, p. 268-297, 2019.

ALEXY, Robert. D ireitos fun da m en tais no estado c o n s titu c io n a l dem ocrático.

Revista de direito administrativo, v. 217, p. 55-66, 1999.

ALMADA, Marco. Human in te rve n tio n in autom ated decisio n-m aking : Tow ard the
co n s tru c tio n o f contestable system s. In: Proceedings of the 17th International
Conference on Artificial Intelligence and Law (ICAIL 2019), Montréal, QC, Canada:
ACM, 2019. p. 1-10.

ANANNY, Mike; CRAWFORD, Kate. Seeing w ith o u t kno w in g: L im ita tio n s o f the
tra nspa ren cy ideal and its a p p lica tio n to a lg o rith m ic a cco u n ta b ility. New media
& society, v. 20, n. 3, 2018. p. 973-989.

ANDRADE, José Carlos Vieira. O dever da fundam entação expressa de actos

a d m inistra tivos. Coimbra: Almedina, 1992.

ARANHA, Estela. Parecer. Revista do Ministério Público do Estado do Rio de Janeiro

n.° 75, jan./mar. 2020.

ARNAUDO, Daniel et al. Combating information manipulation: A playbook for elections

and beyond. The International R epublican In stitute & The National D em ocratic
In stitute & The S tanford Internet O bservatory, 2021.

ARRIETA, Alejandro Barredo et al. E xplainable A rtific ia l Intelligence (XAI):

C oncepts, taxonom ies, o p p o rtu n itie s and challenges tow ard re spon sible AI.
Information Fusion, v. 58, 2020. p. 82-115.

ARTICLE 29 WP. G uidelines on A utom ated in d ivid u a l d e cisio n-m aking and
P ro filin g fo r the purposes o f R egulation 2016/679, Brussels: Article 29 Data
Protection Working Party, 2018.
 162

ÁVILA, Humberto. Teoria dos p rin cíp io s: da d e fin içã o à aplicação do s p rin cíp io s
ju ríd ico s. 17a. São Paulo: Malheiros Editores, 2016.

ÁVILA, Humberto. Segurança ju ríd ic a : entre perm anência, m udança e realização

no d ire ito trib u tá rio . São Paulo: Malheiros, 2011.

BANDEIRA DE MELLO, Celso Antônio. D iscricionariedade a d m in is tra tiv a e

co n tro le ju ris d ic io n a l. São Paulo: Malheiros Editores, 1992.

BARBOZA, Estefânia Maria de Queiroz; KOTINDA, Thierry Chozem Zamboni.

D ireitos fun da m en tais e co n tro le ju d ic ia l. 2014.

BBC. 'A lg o ritm o roubou meu fu tu ro ': s o lu çã o para 'Enem b ritâ n ic o ' na pandem ia
provoca escândalo. Disponível em https://www.bbc.com/portuguese/internacional-
53853627. 2020. Acesso em fevereiro de 2023.

BBC. C artilha da desinform ação: com o agem os g ru p o s que usam redes so cia is
para espalhar fake news e m o b iliza r eleitores. 2023. Disponível em
https://www.bbc.com/portuguese/articles/ceq55vxe9leo. Acesso em junho de 2023.

BBC. C hina 'socia l cre d it': B eijing sets up huge system . Disponível em
https://www.bbc.com/news/world-asia-china-34592186. 2015. Acesso em fevereiro de
2023

BBC. Os do cum e nto s secretos que revelam detalhes de cam pos de p ris io n e iro s
uig ure s na China. Disponível em https://www.bbc.com/portuguese/internacional-
61557466. 2022. Acesso em fevereiro de 2023.

BECKMAN, Ludvig; HULTIN ROSENBERG, Jonas; JEBARI, Karim. A rtific ia l

in te llig ence and dem ocratic legitim acy. The problem o f p u b lic ity in p u b lic
authority. AI & SOCIETY, p. 1-10, 2022.

BELLMAN, R. E. An In tro d u c tio n to A rtific ia l Intelligen ce: Can C om puters T h in k?

Boyd & Fraser Publishing Company, 1978.

BISMARCK. E. PL 21/2020. Disponível em https://www.camara.leg.br/propostas-

legislativas/2236340. 2020. Acesso em fevereiro de 2023.

BOBBIO, Norberto. O fu tu ro da dem ocracia: um a defesa das regras do jo g o . Rio

de Janeiro: Paz e terra, 1986.

BOL. SP lança edital para sistem a de câm eras que id e n tific a c o r e 'vadiagem '.
Disponível em https://www.bol.uol.com.br/noticias/2022/11/28/sp-lanca-edital-para-
sistema-de-cameras-que-identifica-cor-e-vadiagem.htm. 2022. Acesso em fevereiro
de 2023.

BRASIL. E stratégia B rasileira de Inteligência A rtific ia l. EBIA. Disponível em

https://www.gov.br/mcti/pt-br/acompanhe-o-
 163

mcti/transformacaodigital/arquivosinteligenciaartificial/ebia-diagramacao_4-
979_2021 .pdf . 2021. Acesso em: junho de 2022.

BRASIL. Lei n.° 9.784. Regula o processo administrativo no âmbito da Administração

Pública Federal. 1999.

BRASIL. Lei n.° 12.527. 2011.

BRASIL. Lei n.° 13.709. 2018.

BRASIL. PL 21/2020. Disponível em: https://www.camara.leg.br/propostas-

legislativas/2236340. Acesso em: junho de 2022.

BRASIL. PL 2338/2023. Disponível em:

https://www25.senado.leg.br/web/atividade/materias/-/materia/157233. Acesso em:
junho de 2023.

BRKAN, Maja. Do a lg o rith m s rule the w o rld ? A lg o rith m ic d e cisio n-m aking and
data p ro te ctio n in the fra m ew o rk o f the GDPR and beyond. International Journal
of Law and Information Technology, v. 27, n. 2, 2019. p. 91-121.

BUOLAMWINI, Joy; GEBRU, Timnit. G ender shades: Intersectional accuracy

d isp a ritie s in com m ercial gender cla ssifica tio n . In: Conference on fairness,
accountability and transparency. PMLR, 2018. p. 77-91.

BYGRAVE, Lee A. M inding the M achine v2.0: The EU General Data P rotection
R egulation and A utom ated D ecision Making. In: YEUNG, Karen; LODGE, Martin
(Orgs.), Algorithmic Regulation, Oxford: Oxford University Press, 2019.

CAF. C om o a in te lig ê n cia a rtific ia l afetará o em prego p ú b lic o na A m érica Latina?

2021. Disponível em https://www.caf.com/pt/conhecimento/visoes/2021/08/como-a-
inteligencia-artificial-afetara-o-emprego-publico-na-america-latina/

CÂMARA DOS DEPUTADOS. C o n su lto ria Legislativa da Câmara utiliza

in te lig ê n cia a rtificia l para agiliza r trabalhos. Disponível em
https://www.camara.leg.br/assessoria-de-imprensa/568452-consultoria-legislativa-da-
camara-utiliza-inteligencia-artificial-para-agilizar-trabalhos/ .Acesso em: junho de
2022.

CAMPOS, Anna Maria. A c c o u n ta b ility : W hen can we translate it in to P ortuguese?

Revista de Administração Pública, v. 24, n. 2, p. 30, 1990.

CELLA, José Renato Gaziero; SERBENA, Cesar Antonio. Lógica deôntica

pa raconsistente e hard cases. In: Anais do VI Congresso Brasileiro de Filosofia.
1999. p. 973-986.

CHARNIAK, E. AND MCDERMOTT, D. In tro d u c tio n to A rtific ia l Intelligence.

Addison-Wesley, 1985.
 164

CHEN, Jim X. The e vo lution o f co m p u tin g : A lphaG o. Computing in Science &

Engineering, v. 18, n. 4, p. 4-7, 2016.

CITRON, Danielle Keats. T echnological due process. Wash. UL Rev., v. 85, p. 1249,
2007.

CLÉVE, Clèmerson Merlin; FRANZONI, Júlia Ávila. A d m in istra çã o P ública e a nova

Lei de A cesso à Inform ação. Interesse Público. Belo Horizonte, v. 15, n. 79, p. 15­
40, 2013.

CLINCIU, Miruna; HASTIE, Helen. A survey o f explainable AI te rm ino lo gy. In:

Proceedings of the 1st workshop on interactive natural language technology for
explainable artificial intelligence (NL4XAI 2019). 2019. p. 8-13.

CNJ. J u s tiç a em N úm eros 2022: J u d ic iá rio ju lg o u 26,9 m ilhões de p rocesso s em

2021. Disponível em https://www.cni.ius.br/iustica-em-numeros-2022-iudiciario-
julgou-269-milhoes-de-processos-em-2021/. 2022a. Acesso em fevereiro de 2023.

CNJ. Ju s tiç a 4.0: Inteligên cia A rtific ia l está presente na m aioria dos trib u n a is
brasileiros. Disponível em https://www.cni.ius.br/iustica-4-0-inteligencia-artificial-
esta-presente-na-maioria-dos-tribunais-brasileiros/. 2022b. Acesso em: iunho de
2022.

CNJ. P rojetos com Inteligência A rtific ia l no Poder Ju d iciá rio . Disponível em

https://paineisanalytics.cni.ius.br/single/?appid=29d710f7-8d8f-47be-8af8-
a9152545b771&sheet=b8267e5a-1f1f-41a7-90ff-d7a2f4ed34ea&lang=pt-
BR&opt=ctxmenu,currsel. 2022c. Acesso em: iunho de 2022.

CNN. Beyond San Francisco, m ore citie s are saying no to facia l recogn ition.
Disponível em https://edition.cnn.com/2019/07/17/tech/cities-ban-facial-
recognition/index.html. 2019. Acesso em fevereiro de 2023.

CNN. San F rancisco ju s t banned fa c ia l-re c o g n itio n technology. Disponível em

https://edition.cnn.com/2019/05/14/tech/san-francisco-facial-recognition-ban/index.
2019; Acesso em fevereiro de 2023.

COELHO, J.; BURG, T. Uso de in te lig ê n cia a rtific ia l pelo poder público.
R ecom endações de G overnança. Departament of Research, Transparência Brasil,
2020a.

COMPARITECH. Estatísticas de câmeras de vigilância: quais cidades têm mais

câmeras de CFTV? Disponível em https://www.comparitech.com/vpn-privacy/the-
worlds-most-surveilled-cities/. Acesso em fevereiro de 2023.

CONVERGÊNCIA DIGITAL. Ju s tiç a argentina proíbe reconhecim ento facial após

prisõ es indevidas. Disponível em
https://www.convergenciadigital.com.br/Seguranca/Justica-argentina-proibe-
reconhecimento-facial-apos-prisoes-indevidas-
61384.html?UserActiveTemplate=mobile. 2022. Acesso em fevereiro de 2023.
 165

COVINGTON. European P arliam ent V otes in Favor o f B anning the Use o f Facial
R eco gnitio n in Law Enforcem ent. Disponível em
https://www.insideprivacy.com/artificial-intelligence/european-parliament-votes-in-
favor-of-banning-the-use-of-facial-recognition-in-law-enforcement/. 2021. Acesso em
fevereiro de 2023.

DATAREPORTAL. D igital 2022: G lobal O verview Report. 2022. Disponível em

https://datareportal.com/reports/digital-2022-global-overview-report. Acesso em
fevereiro de 2023.

DA SILVEIRA, Sergio Amadeu; DA SILVA, Tarcizio Roberto. CONTROVÉRSIAS

SOBRE DANOS ALGORÍTMICOS: d is c u rs o s co rp o ra tiv o s sobre d iscrim in a çã o
codificada. Revista Observatório, v. 6, n. 4, p. a1pt-a1pt, 2020.

DE ARRUDA, Carmen Silvia Lima. O p rin c íp io da transparência. Quarter latin, 2020.

DE TEFFÉ, Chiara Spadaccini; MEDON, Filipe. R esponsabilidade c iv il e regulação

de novas te cn olog ias: questões acerca da utilização de in te lig ê n cia a rtific ia l na
tom ada de de cisões em presariais. REI-Revista Estudos Institucionais, v. 6, n. 1, p.
301-333, 2020.

DIAKOPOULOS, N. Transparency. In: Dubber, M., Pasquale, F. and Das, S. The

Oxford Handbook of Ethics of AI.OUP, 2020. p. 197 a 214.

DIETTERICH, Thomas G.; HORVITZ, Eric J. Rise o f con cern s about AI: re fle ctio n s
and dire ction s. Communications of the ACM, v. 58, n. 10, 2015. p. 38-40.

DIGNUM, V. R esponsible A rtific ia l Intelligence - How to Develop and Use AI in a

R esponsible Way. Artificial Intelligence: Foundations, Theory, and Algorithms.
Springer, 2019.

DONEDA, Danilo; ALMEIDA, Virgílio AF. O que é a governança de algoritm os.

Tecnopolíticas da vigilância: Perspectivas da margem, 2018. p. 141-148.

DONEDA, Danilo Cesar Maganhoto et al. C onsiderações in ic ia is sobre in te lig ên cia

a rtificia l, ética e autonom ia pessoal. Pensar-Revista de Ciências Jurídicas, v. 23, n.
4, 2018. p. 1-17.

DU, Mengnan; LIU, Ninghao; HU, Xia. Techniques fo r interpretable m achine

learning. Communications of the ACM, v. 63, n. 1, p. 68-77, 2019.

DURST, P.J.; M. GRAY. Levels o f autonom y and autonom ous system

perform ance assessm ent fo r in te llig e n t unm anned system s. ERDC/GSL Sr -14-
1, 2014.

EHRHARDT JÚNIOR, Marcos; SILVA, Gabriela Buarque Pereira. D iretrizes éticas

para a in te lig ê n cia a rtificia l confiável na União Europeia e a regulação ju ríd ic a
no B rasil, 2020.
 166

ENDSLEY, M. R.; D. B. KABER. Level o f autom ation effects on perform ance,

situ a tio n aw areness and w o rklo a d in a dynam ic c o n tro l task. Ergonomics, vol. 42,
no. 3, pp. 462-492, 1999.

ENGSTROM, David Freeman; HO, Daniel E., A rtific ia lly In te llig e n t G overnm ent: A
Review and Agenda. In: VOGL, Roland (org). Big Data Law, 2020.

EUROPEAN COMISSION. AI A ct. Disponível em https://eur-lex.europa.eu/legal-

content/EN/TXT/?uri=CELEX:52021 PC0206. 2021a. Acesso em: fevereiro de 2023.

EUROPEAN COMISSION. R egulatory fra m ew o rk proposal on a rtific ia l

Intelligence. Disponível em https://digital-
strategy.ec.europa.eu/en/policies/regulatory-framework-ai. 2021b. Acesso em: junho
de 2022.

EUROPEAN COMMISSION. P ow ering European p u b lic s e c to r in n ovatio n:

Tow ards a new architecture. Report of the Expert Group on Public Sector Innovation,
Directorate General for Research and Innovation, Innovation Union, European
Commission, Brussels, 2013.

EUROPEAN UNION. General Data P rotection R egulation (GDPR). Disponível em

https://eur-lex.europa.eu/EN/legal-content/summary/general-data-protection-
regulation-gdpr.html. 2016. Acesso em junho de 2022.

EXTRA. P refeitura do Rio faz processo s e le tivo com Inteligência A rtific ia l para
e sco lher ocupantes de cargos com issio nad os. Disponível em
https://extra.globo.com/economia-e-financas/servidor-publico/prefeitura-do-rio-faz-
processo-seletivo-com-inteligencia-artificial-para-escolher-ocupantes-de-cargos-
comissionados-24948603.html. 2021. Acesso em junho de 2023.

EXTRA CLASSE. Robô do INSS d ific u lta concessão de benefícios

previdenciários. Disponível em https://www.extraclasse.org.br/opiniao/2022/10/robo-
do-inss-dificulta-concessao-de-beneficios-previdenciarios/. Acesso em: junho de
2022.

FAT/ML. The Fairness, A c c o u n ta b ility and Transparency in M achine Learning

O rganization. Disponível em https://www.fatml.org/resources/principles-for-
accountable-algorithms . Acesso em: fevereiro de 2023.

FÉLIX, Syngryd Nonato Freire Queiroz; NETO, Daniel Antonio de Aquino. Análises
das antinomias entre a Lei de Acesso à Informação (LAI) e a Lei Geral de Proteção
de Dados (LGPD) na prática da administração pública. Equidade: R evista E letrônica
de D ireito da UEA - ISSN: 2675-5394, [S.l.], v. 8, n. 1, mar. 2023. ISSN 2675-5394.
Disponível em: <http://periodicos.uea.edu.br/index.php/equidade/article/view/2823>.
Acesso em: 23 jul. 2023.

FERRAZ, Sérgio; DALLARI, Adilson Abreu. P rocesso a d m in istra tivo . São Paulo:
Malheiros Editores, 2001.
 167

FILGUEIRAS, Fernando. A lém da transparência: a c c o u n ta b ility e p o lítica da

publicidade. Lua nova: revista de cultura e política, 2011. p. 65-94.

FOLHA DE SÃO PAULO. C hina usa re conhecim ento facial para rastrear
m anifestantes co n tra C ovid zero. Disponível em
https://www1 .folha.uol.com.br/mundo/2022/12/china-usa-reconhecimento-facial-para-
rastrear-manifestantes-contra-covid-zero.shtml. 2022. Acesso em fevereiro de 2023.

FOLHA DE SÃO PAULO. N ordeste v ira palco de guerra fria te cn o ló g ica entre EUA
e China. Disponível em https://www1.folha.uol.com.br/mundo/2019/08/nordeste-vira-
palco-de-guerra-fria-tecnologica-entre-eua-e-china.shtml. 2019. Acesso em fevereiro
de 2023.

FOLHA DE SÃO PAULO. PF com pra sistem a que cruzará dados b io m é trico s de
50 m ilhões de b rasileiro s. Disponível em
https://www1 .folha.uol.com.br/tec/2021/07/pf-compra-sistema-que-cruzara-dados-
biometricos-de-50-milhoes-de-brasileiros.shtml. 2021. Acesso em fevereiro de 2023.

FOLHA DE SÃO PAULO. Sob crítica s p o r viés racial, re conh ecim e nto facial
chega a 20 estados. Disponível em
https://www1 .folha.uol.com.br/cotidiano/2021/07/sob-criticas-por-vies-racial-
reconhecimento-facial-chega-a-20-estados.shtml. 2021. Acesso em fevereiro de
2023.

FRANÇA, V. R. P rincípio da m otivação no D ireito A d m in is tra tiv o . In:

CAMPILONGO, C. F.; GONZAGA, A. A.; FREIRE, A. L. (coords.). Enciclopédia
jurídica da PUC-SP. São Paulo: PUC-SP, 2022. Disponível em:
https://enciclopediajuridica.pucsp.br/verbete/124/edicao-2/principio-da-motivacao-no-
direito-administrativo. 2022; Acesso em: janeiro de 2023.

FRANCISCO, Pedro Augusto; HUREL, Louise Marie; RIELLI, Mariana Marques.

Regulação do re conh ecim e nto facial no s e to r p ú b lico : avaliação de experiências
inte rna ciona is. Brasil: Instituto Igarapé e Data Privacy Brasil Research, 2020.

FRAZÃO, Ana. A lg o ritm o s e in te lig ê n cia a rtificia l. Jota, v. 15, 2018.

FRAZÃO, Ana. Julg am e ntos a lg o rítm ico s: A necessidade de assegurarm os as

preocupações éticas e o devido processo legal. In: Tutela jurídica do corpo
eletrônico: novos desafios ao direito digital. Editora Foco, 2022. p. 579-596.

FRAZÃO, Ana; GOETTENAUER, Carlos. B lack box e o d ire ito face à opacidade
algorítm ica. In: Barbosa, Mafalda Miranda. Direito Digital e Inteligência Artificial.
Indaiatuba: Editora Foco, Edição do Kindle, v. 79, 2021.

GAZETA DO POVO. Com o a C hina usa in te lig ê n cia a rtific ia l para id e n tific a r uma
m inoria. Disponível em https://www.gazetadopovo.com.br/mundo/china-usa-
inteligencia-artificial-para-identificar-minoria/. 2019. Acesso em fevereiro de 2023

GOEDE, Miguel. E-Estonia: The e-governm ent cases o f Estonia, Singapore, and
Curaçao. Archives of Business Research, v. 7, n. 2, 2019.
 168

G1. Metrô de SP in icia operação de sistem a de reconhecim ento facia l; TJ chegou

a im p e d ir instalação. Disponível em https://g1 .globo.com/sp/sao-
paulo/noticia/2022/11/21/metro-de-sp-inicia-operacao-de-novo-sistema-de-
monitoramento-eletronico-por-meio-de-reconhecimento-facial-tj-chegou-a-impedir-
instalacao.ghtml. 2022. Acesso em fevereiro de 2023.

G1. Metrô de SP terá sistem a de reconhecim ento facial. Disponível em

https://g1 .globo.com/sp/sao-paulo/noticia/2019/07/17/metro-de-sp-tera-sistema-de-
reconhecimento-facial.ghtml. Acesso em fevereiro de 2023.

G1. J u s tiç a de SP determ ina que M etrô in te rro m pa im plantação de sistem a de

re conh ecim e nto facial. Disponível em https://g1 .globo.com/sp/sao-
paulo/noticia/2022/03/22/justica-de-sp-determina-que-metro-interrompa-implantacao-
de-sistema-de-reconhecimento-facial.ghtml . 2022. Acesso em fevereiro de 2023.

GOOGLE. A Scalable A pproach to R educing G ender Bias in G oogle Translate.

Disponível em https://ai.googleblog.com/2020/04/a-scalable-approach-to-reducing-
gender.html . Acesso em: junho de 2022.

Gov.Br. Linha do Tempo. Disponível em https://www.gov.br/governodigital/pt-

br/estrategia-de-governanca-digital/do-eletronico-ao-digital. 2019. Acesso em: abril de
2023.

Gov.Br. Entrou em fu n cio n a m e n to a 1a ponte aérea bio m étrica do m undo para

em barque de passageiros. Disponível em https://www.gov.br/pt-br/noticias/transito-
e-transportes/2022/08/entrou-em-funcionamento-a-1a-ponte-aerea-biometrica-do-
mundo-para-embarque-de-passageiros. 2022a. Acesso em: junho de 2022.

Gov.Br. Gov.br já oferece 4 mil serviços públicos digitais ao cidadão. Disponível em

https://www.gov.br/pt-br/noticias/transito-e-transportes/2022/08/gov-br-ja-oferece-4-
mil-servicos-publicos-digitais-ao-cidadao. 2022b. Acesso em fevereiro de 2023.

Gov.BR. PORTARIA n.° 793, DE 24 DE OUTUBRO DE 2019. Disponível em

https://www.in.gov.br/en/web/dou/-Zportaria-n-793-de-24-de-outubro-de-2019-
223853575. 2019. Acesso em fevereiro de 2023.

GOV.UK. A guide to usin g a rtific ia l inte llig ence in the p u b lic sector. Disponível
em https://www.gov.uk/government/publications/understanding-artificial-
intelligence/a-guide-to-using-artificial-intelligence-in-the-public-sector. 2019. Acesso
em fevereiro de 2023.

GREENE, Joshua. Tribos Morais: a tragédia da moralidade do senso comum.

Tradução de Alessandra Bonrruquer. Rio de Janeiro: Record, 2018.

GROTHER, Patrick; NGAN, Mei; HANAOKA, Kayee. Face re co g n itio n ve n d o r test

(fvrt): Part 3, dem ographic effects. Gaithersburg, MD: National Institute of Standards
and Technology, 2019.
 169

GUIDOTTI, R.; MONREALE, A.; S. RUGGIERI; TURINI, F.; GIANNOTTI, F.;

PEDRESCHI, D. A su rve y o f m ethods fo r e xp laining black box m odels. ACM
Completinho Surveys 51 (5), 2018, p. 93:1-93:42.

GUNNING, David; AHA, David. DARPA’s explainable a rtific ia l in te llig ence (XAI)
program . AI magazine, v. 40, n. 2, p. 44-58, 2019.

GUNNING, David et al. XAI— E xplainable a rtific ia l intelligence. Science Robotics,

v. 4, n. 37, 2019.

HACHEM, Daniel Wunder. P rincípio c o n s titu c io n a l da suprem acia do interesse

público. Belo Horizonte: Fórum, 2011.

HAIDT, Jonathan. The em otional dog and its rational ta il: a socia l in tu itio n is t
approach to m oral judgm ent. Psychological review, v. 108, n. 4, p. 814, 2001.

HAN, Jiawei; KAMBER, Micheline; PEI, Jian. Data M ining: C oncepts and
Techniques. Massachusetts: Morgan Kaufmann, v. 3, 2012.

HARARI, Yuval Noah. 21 lições para o sé cu lo 21. Editora Companhia das Letras,
2018.

HAUGELAND, J. (Ed.). A rtific ia l Intelligence: The Very Idea. MIT Press, 1985.

HOFSTEDE, G. C ultures and O rganizations: softw a re o f the m ind. London:

McGraw-Hill, 1991.

HOFSTEDE, Geert. D im ensionalizing C ultures: The H ofstede Model in C ontext.

Online readings in psychology and culture, v. 2, n. 1, p. 2307-0919.1014, 2011.

IEEE. Ethically Aligned Design: Prioritizing Human Wellbeing with Autonomous

and Inteliigent Systems v2, 2019.

IEEE. IEEE S tandard fo r Transparency o f A u to n o m o u s S ystem s. 2022a.

IEEE. IEEE P2894™ - Guide fo r an A rc h ite c tu ra l Fram ew ork fo r Explainable

A rtific ia l Intelligence, 2020b.

IEEE. The E thics C ertifica tio n Program fo r A u to n o m o u s and In te llig e n t S ystem s

(ECPAIS). Disponível em https://standards.ieee.org/industry-connections/ecpais/.
Acesso em: junho de 2022.

IENCA, Marcello; ANDORNO, Roberto. Tow ards new hum an rig h ts in the age o f
neuroscience and ne urotechnology. Life sciences, society and policy, v. 13, n. 1, p.
1-27, 2017.

IFAC/CIPFA. International fram ew ork: Good governance in the p u b lic sector.

International Federation of Accountants, 2014.
 170

IGARAPE. R econhecim ento Facial no Brasil. Disponível em

https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. 2019. Acesso em
fevereiro de 2023.

ISAAK, Jim; HANNA, Mina J. User data privacy: Facebook, C am bridge A nalytica,
and priva cy protection. Computer, v. 51, n. 8, p. 56-59, 2018.

ISO;IEC. ISO/IEC 27000. 2018.

ISO;IEC. ISO/IEC 23894. 2023

JAIN, Anil; BOLLE, Ruud; PANKANTI, Sharath. In tro d u ctio n to biom etrics. Springer
US, 1996.

KAISER, Brittany. M anipulados: com o a C am bridge A n a lytica e o Facebook

invadiram a privacidade de m ilhões e botaram a dem ocracia em xeque.
HARLEQUIN, 2020.

KURZWEIL, R. The A ge o f In te llig e n t Machines. MIT Press, 1990.

LINS; R. COELHO, J. R ecom endações à CGU para fo rta le cim e n to da

tra nspa rên cia (2023-2026). Departament of Research, Transparência Brasil, 2023.

LÓPEZ, Nuria. Um direito, um dever: guia para o art. 20 da LGPD, In: OPICE BLUM,
Renato (Org.), Proteção de Dados - Desafios e Soluções na Adequação à Lei, 1a
Edição. Rio de Janeiro: Editora Forense, 2020.

MACK, Chris A. F ifty years o f M oore's law. IEEE Transactions on semiconductor

manufacturing, v. 24, n. 2, 2011, p. 202-207.

MARANHÃO, Juliano; ALMADA, Marco. Inteligência A rtific ia l no S etor de Saúde:

É tica e Proteção de Dados. In: DALLARI, Analluza Bolivar; MONACO, Gustavo
Ferraz de Campos (Orgs.), LGPD na Saúde, 1a edição. São Paulo: Thomson Reuters,
Revista dos Tribunais, 2021, p. 357-372.

MARANHÃO, JULIANO S. A.; COZMAN, F. G.; ALMADA, M. C oncepções de

explicação e do d ire ito à e xplicação de de cisões autom atizadas. In: Rony Vainzof,
Andrei Gutierrez. (Org.). Inteligência Artificial: Sociedade Economia e Estado. 1ed.São
Paulo: Thomson Reuters Brasil, 2021, v. 1, p. 137-154.

MARTINS, Humberto. Lei da Transparência e sua A plicaçã o na A d m in is tra ç ã o

P ública: valores, d ire ito e te cn o lo g ia em evolução. http://www.stj.jus.
br/internet_docs/ministros/Discursos/0001182/LEI% 20DA% 20TRANSPAR% C3%
8ANCIA% 20E% 20SUA% 20APLICA% C3, v. 87, p. C3, 2019.

MASSENO, Manuel David. Das C onsequências Ju ríd ica s da A desão do B rasil aos
P rincíp ios da OCDE Para a Inteligência A rtific ia l, E specialm ente Em Matéria De
Proteção de Dados. Journal of Law and Sustainable Development, v. 8, n. 2, p. 113­
122, 2020.
 171

MASSENO, David, M. A in te lig ê n cia a rtific ia l e a proteção de dados: A “ d e finição

de p e rfis ” para a prevenção de crim es graves e do te rro ris m o nas fo n te s da
união europeia” . 2022. Revista Eletrônica Do Curso De Direito Da UFSM, 17(2),
e83679. https://doi.org/10.5902/1981369483679.

MASSENO, M. D. . Da v ig ilâ n c ia bio m étrica no O rdenam ento da União Europeia:

(para fin s de segurança em espaços acessíveis ao p ú b lico ) - Uma perspectiva
portuguesa especialm ente de stinada ao B rasil. Revista do c Ej u R/TJSC:
Prestação Jurisdicional, Florianópolis (SC), v. 11, n. 00, p. e0402, 2023. DOI:
10.37497/revistacejur.v11i00.402. Disponível em:
https://revistadocejur.tjsc.jus.br/cejur/article/view/402. Acesso em: 24 jul. 2023.

MCCARTHY, John et al. A proposal fo r the dartm outh sum m er research pro je ct
on a rtificia l intelligence, au gust 31, 1955. AI magazine, v. 27, n. 4, p. 12-12, 2006.

MERGEL, Ines; EDELMANN, Noella; HAUG, Nathalie. D efining dig ita l

tra n sfo rm a tio n : R esults fro m expert interview s. Government information quarterly,
v. 36, n. 4, p. 101385, 2019.

MEIRELLES, H. L. D ireito A d m in is tra tiv o B rasileiro, Edit. Revista dos Tribunais, 8a

edição, 1981.

MENDES, Laura Schertel; MATTIUZZO, Marcela. A lg o rith m s and d is c rim in a tio n :

the case o f cre d it s co rin g in Brazil. In: Personality and Data Protection Rights on
the Internet: Brazilian and German Approaches. Cham: Springer International
Publishing, 2022. p. 407-443.

MENDES, Laura Schertel; MATTIUZZO, Marcela. D iscrim inação algorítm ica:

conceito, fun da m en to legal e tip o lo g ia . Direito Público, v. 16, n. 90, 2019.

MENZIES, Tim; PECHEUR, Charles. V e rifica tio n and V alidation and A rtific ia l
Intelligence. Advances in Computers. 65, 2005.

MIGALHAS. O im pacto socia l causado pelo uso de a lg o ritm o s d is c rim in a tó rio s

e a superve niên cia da LGPD. Disponível em
https://www.m igalhas.com. br/coluna/migalhas-de-protecao-de-dados/376497/o-
impacto-social-causado-pelo-uso-de-algoritmos-discriminatorios. 2022. Acesso em:
junho de 2022.

MITTELSTADT, Brent Daniel et al. The eth ics o f a lg o rith m s: M apping the debate.
Big Data & Society, v. 3, n. 2, 2016.

MOLNAR, Christoph; CASALICCHIO, Giuseppe; BISCHL, Bernd. iml: An R package

fo r interpretable m achine learning. Journal of Open Source Software, v. 3, n. 26, p.
786, 2018.

MOOR, James. The D artm outh C ollege a rtific ia l in te llig ence conference: The next
fifty years. Ai Magazine, v. 27, n. 4, p. 87-87, 2006.
 172

NASS, C., MOON, Y. M achines and m indlessness: Social re sponses to

com puters. Journal of Social Issues 56, 1, 2002, p. 81-103.

NEW WORLD AI. G oogle’s approach to A rtific ia l Intelligence M achine Learning:

Peter Norvig. Disponível em https://www.newworldai.com/googles-approach-to-
artificial-intelligence-machine-learning-peter-norvig/. 2019. Acesso em fevereiro de
2023.

NILSSON, N. J. A rtific ia l Intelligence: A New S ynthesis. Morgan Kaufman, 1998.

NORVIG, Peter; RUSSELL, Stuart. Inteligência artificial. Rio de Janeiro: Grupo GEN,
2013.

OECD. R ecom m endation o f the C ouncil on A rtific ia l Intelligence. Disponível em

https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449. 2019. Acesso
em: iunho de 2022.

OECD. OECD Fram ew ork fo r the C la ssifica tio n o f AI system s. OECD Digital
Economy Papers, No. 323, OECD Publishing, Paris, 2022.

O GLOBO. Índia usa reconhecim ento facial para re p rim ir protestos. Disponível
em https://oglobo.globo.com/mundo/india-usa-reconhecimento-facial-para-reprimir-
protestos-24253958. 2020. Acesso em fevereiro de 2023.

O GLOBO. R econhecim ento facial falha em seg und o dia, e m u lh er inocente é

co n fu n d id a com crim in o s a já presa. Disponível em
https://oglobo.globo.com/rio/reconhecimento-facial-falha-em-segundo-dia-mulher-
inocente-confundida-com-criminosa-ia-presa-23798913. 2019. Acesso em fevereiro
de 2023.

OLHAR DIGITAL. Polícia b ritânica não usa re conhecim ento facial de fo rm a ética
e legal, diz pesquisa. Disponível em
https://olhardigital.com.br/2022/10/31/seguranca/policia-britanica-nao-usa-o-
reconhecimento-facial-de-forma-etica-e-legal-diz-pesquisa/. 2022. Acesso em
fevereiro de 2023.

PERELMAN, Chaim; OLBRECHTS-TYTECA, Lucie; COELHO, Fábio Olhôa. Tratado

da argum entação: a nova retórica. Martins Fontes, 1996.

PETERS, Brainard Guy. O que é G overnança? Revista do TCU, n. 127, p. 28-33,

2013.

PNUD. Índice do R elatório do D esenvolvim ento Hum ano de 2021/2022. Disponível

em https://www.undp.org/sites/g/files/zskgke326/files/2023-05/hdr2021-22ptpdf.pdf.
2021. Acesso em iunho de 2023.

POLITICO. France’s to p a d m in istra tive c o u rt bans drone use to m o n ito r protests.

Disponível em https://www.politico.eu/article/frances-top-administrative-court-bans-
drone-use-to-monitor-protests/. 2020. Acesso em fevereiro de 2023.
 173

POOLE, D., MACKWORTH, A. K., AND GOEBEL, R. C om putational inte llig ence : A
log ica l approach. Oxford University Press, 1998.

PRESIDÊNCIA DA REPÚBLICA. Mensagem n° 288, de 8 de ju lh o de 2019, Brasília:

Presidência da República, 2019.

PRINZ, Jesse. The em otional basis o f m oral ju d g m e n ts. Philosophical explorations,

v. 9, n. 1, p. 29-43, 2006.

PROPUBLICA. M achine Bias. Disponível em

https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-
sentencing. 2016. Acesso em fevereiro de 2023.

PRZEWORSKI, A. O Estado e o Cidadão. Sociedade e Estado em transformação, p.

325, 1999.

QUINZANI, P. A.; SANDRE, J. P. S. SOC298 - A nti-S kep tikal: clusterização da

m atriz de H ofstede p o r m eio de in te lig ê n cia a rtific ia l no com bate ao
negacio nism o das vacinas no Brasil. Disponível em
https://virtual.febrace.org.br/2022/SOC/298/. 2022. Acesso em fevereiro de 2023.

REUTERS. Am azon scra ps secret AI re c ru itin g to o l th a t show ed bias against

W omen. Disponível em https://www.reuters.com/article/us-amazon-com-jobs-
automation-insight-idUSKCN1MK08G . Acesso em: junho de 2022.

REUTERS. Fears fo r c h ild re n 's priva cy as Delhi sc h o o ls in sta ll facial

re cogn ition. Disponível em https://www.reuters.com/article/us-india-tech-
facialrecognition-trfn-idUSKBN2AU0P5. 2021. Acesso em fevereiro de 2023.

RH BAHIA. Bahia se to rn a referência de uso da te cn o lo g ia na adm inistração

pública. Disponível em https://servidores.rhbahia.ba.gov.br/noticias/2021-09-
28/bahia-se-torna-referencia-de-uso-da-tecnologia-na-administracao-publica. Acesso
em fevereiro de 2023.

RICH, E. AND KNIGHT, K. Artificial Intelligence. McGraw-Hill, 2ed, 1991.

ROIG, Antoni. S afeguards fo r the rig h t no t to be s u b je c t to a de cisio n based

so le ly on autom ated pro ce ssin g (A rticle 22 GDPR). European Journal of Law and
Technology, v. 8, n. 3, 2018.

SALAMA, MOSTAFA A.; HASSANIEN, ABOUL ELLA; MOSTAFA, AHMAD. The

p re d ictio n o f v iru s m utation usin g neural netw orks and rough set techniques.
EURASIP Journal on Bioinformatics and Systems Biology, 2016, p. 1-11.

SALGADO, E. D. P rincípio da publicidade. In: CAMPILONGO, C. F.; GONZAGA, A.

A.; FREIRE, A. L. (coords.). Enciclopédia jurídica da PUC-SP. São Paulo: PUC-SP,
2017. Disponível em: https://enciclopediajuridica.pucsp.br/ verbete/37/edicao-
1/principio-da-publicidade. Acesso em: junho de 2022.
 174

SCHEDLER, Andreas; DIAMOND, Larry Jay; PLATTNER, Marc F. (Ed.). The s e lf­
re stra in in g state: pow er and a c c o u n ta b ility in new dem ocracies. Lynne Rienner
Publishers, 1999.

SCHNALL, S.; HAIDT, Jonathan; CLORE, G. Irrelevant d is g u s t m akes m oral

ju d g m e n t m ore severe, fo r tho se w ho listen to th e ir bodies. Unpublished
manuscript. Charlottesville: University of Virginia, 2005.

SCIENCE. This computer program can beat humans at Go—with no human

instruction. Disponível em https://www.science.org/content/article/computer-program-
can-beat-humans-go-no-human-instruction. 2017. Acesso em fevereiro de 2023.

SEDJELMACI, Hichem et al. C yber s e c u rity based on a rtific ia l in te llig e n ce fo r

cyber-p hysical system s. IEEE Network, v. 34,n. 3, p. 6-7, 2020.

SENADO FEDERAL. P rojeto de Lein.° 21, de 2020. Disponível em

https://www25.senado.leg.br/web/atividade/materias/-/materia/151547. 2022a.
Acesso em fevereiro de 2023.

SENADO FEDERAL. P rojeto de Lei n.° 2338, de 2023. Disponível em

https://www25.senado.leg.br/web/atividade/materias/-/materia/157233. 2023. Acesso
em junho de 2023.

SENADO FEDERAL. R elatório Final da C om issão de J u ris ta s responsável p o r

s u b s id ia r a elaboração de s u b s titu tiv o sobre Inteligên cia A rtific ia l. 2022b.

SERBENA, Cesar Antonio. A “ INTENSIONALIDADE” DA LINGUAGEM JURÍDICA.

Revista da Faculdade de Direito UFPR, v. 48, 2008.

SERBENA, CESAR ANTONIO. D ireito, Lógica e P araconsistência: c o n flito s entre

norm as, co n tra d içõ e s e paradoxos nos S istem as Jurídicos. 1. ed. Curitiba: Juruá,
2016. 142p.

SERBENA, C. A. Paradoxos sem ântico s e au toreferência na reform a

co n stitu cio n a l. In: Mauricio Dalri Timm do Valle; Alexsander Roberto Alves Valadão;
Dalton Luiz Dallazem. (Org.). Ensaios em homenagem ao professor José Roberto
Vieira: ao mestre e amigo, com carinho.... 1ed.São Paulo: Noeses, 2017, v., p. 271­
300.

SERPRO. A e ro p o rto de capital do país testa em barque com reconhecim ento

facial. Disponível em https://www.serpro.gov.br/menu/noticias/noticias-
2021/embarque-seguro-brasilia. 2021. Acesso em fevereiro de 2023.

SESARTIC, A. S urfin g the sea o f data H andling data storage and preventing
degradation. 2017. Disponível em https://www.explora.ethz.ch/en/sZsurfing-the-sea-
of-data/ . Acesso em fevereiro de 2023.

SHERIDAN, T. B., T elerobotics, A uto m atio n, and Human S upe rvisory C ontrol.
Cambridge, MA: MIT Press, 1992.
 175

SILVA, Tarcízio. Linha do Tem po do R acism o A lg o rítm ico . Blog do T arcizio Silva,
2022. Disponível em: <https://tarciziosilva.com.br/blog/posts/racismo-algoritmico-
linha-do-tempo>. Acesso em: fevereiro de 2023.

SILVER, David et al. M astering the game o f go w ith o u t hum an know ledge. nature,
v. 550, n. 7676, p. 354-359, 2017.

SOUZA JÚNIOR, Cezar Saldanha. M orfologia P olítica do Estado e S istem as de

Poderes. Tese para exame de livre-docência junto ao Departamento de Direito do
Estado - Área de Teoria Geral do Estado, da Faculdade de Direito da Universidade
de São Paulo. São Paulo: USP, 2003.

STF. P rojeto V ic to r avança em pesquisa e desenvo lvim ento para ide ntificaçã o
dos tem as de repercussão geral. Disponível em
https://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=471331&ori=1.
Acesso em: junho de 2022.

STF. RE 865.401, Rei. Min. Dias Toffoli, Pleno, julg. 25/04/2018, Disponível em:
https://portal.stf.jus.br/processos/detalhe.asp?incidente=4709214. Acesso em 23 de
junho de 2023

SUNDFELD, Carlos Ari. P rincíp io da publicidad e a d m in istra tiva (D ireito de

certidão, vista e intim ação). Revista de Direito Administrativo, v. 199, p. 97-110,
1995.

TCU. TCU avalia uso de in te lig ê n cia a rtific ia l pelo govern o federal. Disponível
em https://portal.tcu.gov.br/imprensa/noticias/tcu-avalia-uso-de-inteligencia-artificial-
pelo-governo-federal.htm. 2022. Acesso em fevereiro de 2023.

TCU. G overnança P ública: referencial básico de governança aplicável a órgãos

e entidades da ad m in istra çã o p ú blica e ações in d u to ra s de m elhoria. Brasília:
TCU, Secretaria de Planejamento, Governança e Gestão, 2014.

TECNOBLOG. Rio de Janeiro id e n tific o u 8 m il pessoas com reconhecim ento

facial no Carnaval. Disponível em https://tecnoblog.net/noticias/2019/05/10/rio-de-
janeiro-identificou-8-mil-reconhecimento-facial/. Acesso em fevereiro de 2023.

THE GUARDIAN. G oogle alters search autocom plete to rem ove 'are Jew s evil'
suggestion. Disponível em
https://www.theguardian.com/technology/2016/dec/05/google-alters-search-
autocomplete-remove-are-jews-evil-suggestion . Acesso em: junho de 2022.

THE GUARDIAN. Do G oogle's 'u n p ro fe ssio n a l hair' re su lts sh o w it is racist?

Disponível em https://www.theguardian.com/technology/2016/apr/08/does-google-
unprofessional-hair-results-prove-algorithms-racist- . Acesso em: junho de 2022.

THE GUARDIAN. We ju s t w an t to live in a norm al w o rld : C hina’s yo u n g protesters

speak out, and disappear. Disponível em
https://www.theguardian.com/world/2023/feb/08/we-just-want-to-live-in-a-normal-
 176

world-chinas-young-protesters-speak-out-and-disappear. 2023. Acesso em fevereiro

de 2023.

THE INTERCEPT. Da placa de carro ao CPF. Disponível em

https://theintercept.com/2020/09/21/governo-vigilancia-cortex/. Acesso em: junho de
2022.

THE INTERCEPT. Exclusivo: levantamento revela que 90,5% dos presos por
monitoramento facial no Brasil são negros. Disponível em
https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/.
Acesso em fevereiro de 2023.

TOMIO, F. R.; ROBL FILHO, I. N. A c c o u n ta b ility e independência ju d ic ia is : uma

análise da com petência do C onselho Nacional de J u s tiç a (CNJ). Rev. Sociol. Polit.
[online]. 2013, vol.21, n.45, p.29-46.

TOSONI, Luca. The rig h t to o b je ct to autom ated in d ivid u a l de cisio ns: re solving
the a m b ig u ity o f A rtic le 22(1) o f the General Data P rotection R egulation,
International Data Privacy Law, v. 11, n. 2, 2021. p. 125-144.

TRANSPARÊNCIA BRASIL. LGPD: Reforço a respostas negativas. 2021. Disponível

em
https://www.transparencia.org.br/downloads/publicacoes/lgpd reforco respostas ne
gativas dez 2021.pdf.

UN Women. UN W om en ad series reveals w idespread sexism . Disponível em

https://www.unwomen.org/en/news/stories/2013/10/women-should-ads . Acesso em:
junho de 2022.

UOL. A p ó s o 8/1, Palácio do P lanalto terá nova segurança com 708 câm eras e
recurso s IA. Disponível em https://gizmodo.uol.com.br/planalto-tera-sistema-
seguranca-708-cameras-recursos-ia/. 2023. Acesso em fevereiro de 2023.

UOL. Bancada do PSL vai à C hina im p o rta r sistem a que reconhece ro s to de

cidadãos. Disponível em https://noticias.uol.com.br/politica/ultimas-
noticias/2019/01/16/bancada-do-psl-vai-a-china-para-importar-tecnicas-de-
reconhecimento-facial.ht. 2019. Acesso em fevereiro de 2023.

UOL. Deputada qu er barrar reconhecim ento facial em SP p o r ra cism o - e com

razão. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2022/12/01/deputada-quer-barrar-
reconhecimento-facial-em-sp-por-racismo.htm. 2022. Acesso em fevereiro de 2023.

UOL. S istem a de reconhecim ento facial erra, e hom em negro é preso po r

engano. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2020/06/25/homem-e-preso-apos-erro-
de-tecnologia-de-reconhecimento-facial-nos-eua.htm. 2020. Acesso em fevereiro de
2023.
 177

UOL. R econhecim ento facial usado na China é testado no B rasil; saiba com o
opera. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2019/01/18/reconhecimento-facial-usado-
na-china-e-testado-no-brasil-saiba-como-opera.htm. 2019. Acesso em fevereiro de
2023.

VEJA. Câmeras de reconhecim ento facia l se m u ltip lica m em São Paulo.

Disponível em: https://vejasp.abril.com.br/cidades/cameras-reconhecimento-facial-
sp/. 2022. Acesso em fevereiro de 2022.

Venture Beat. G oogle C loud AI rem oves gender labels fro m C loud V isio n API to
avoid bias. Disponível em https://venturebeat.com/2020/02/20/google-cloud-ai-
removes-gender-labels-from-cloud-vision-api-to-avoid-bias/. 2020. Acesso em: junho
de 2022.

VICE. Facial R ecognition Is O ut o f C ontrol in India. Disponível em

https://www.vice.com/en/article/akew98/facial-recognition-is-out-of-control-in-india.
2022. Acesso em fevereiro de 2023.

WIMMER, Miriam. Inteligência a rtific ia l, a lg o ritm o s e o d ire ito : um panoram a dos

p rin cip a is desafios. In: LIMA, Ana Paula Moraes Canto de; HISSA, Carmina Bezerra;
SALDANHA, Paloma Mendes (org.). Direito digital: debates contemporâneos. São
Paulo: Revista dos Tribunais, 2019.

WIMMER, Miriam; DONEDA, Danilo. “ Falhas de IA” e a intervenção hum ana em

decisões autom atizadas: Parâm etros para a legitim ação pela hum anização.
Direito Público, v. 18, n. 100, 2021.

WINFIELD, Alan FT et al. IEEE P7001: A proposed standard on transparency.

Frontiers in R obotics and AI, p. 225, 2021.

WINSTON, P. H. A rtific ia l Intelligence.Addison-W esley, Third edition, 1992.

WIRED. How an A lg o rith m B locked K idney T ransplants to B lack Patients.
Disponível em https://www.wired.com/story/how-algorithm-blocked-kidney-
transplants-black-patients/. 2020. Acesso em fevereiro de 2023.

WISCHMEYER, T. A rtific ia l Intelligence and Transparency: opening the black

box. In: WISCHMEYER, T and RADEMACHER, T. Regulating Artificial Intelligence,
Springer, 2020. p. 76 - 97.

YAHOO. Bancos adotarão reconhecimento facial em transações de rotina. Disponível

em https://br.financas.yahoo.com/news/bancos-adotarao-reconhecimento-facial-em-
transacoes-de-rotina-171015498.html. 2022. Acesso em fevereiro de 2023.

YARSHELL, Flavio Luiz. C urso de D ireito P rocessual C ivil. São Paulo: Marcial
Pons, 2014, p. 133.

ZHONG, Jinfeng; NEGRE, Elsa. AI: To in te rp re t o r to explain? In: Congrès Inforsid

((INFormatique des ORganisations et Systèmes d'Information et de Décision), 2021.
 178

APÊNDICE A - ESTUDO DE CASO SOBRE O RECONHECIMENTO FACIAL

O uso de inteligência artificial pelo poder público pode levar a impactos

negativos significativos em diferentes áreas. Por exemplo, a coleta abundante de
dados pessoais pelos governos para uso em sistemas de IA pode resultar em
violações em relação à privacidade. Além disso, a automação de decisões com base
em algoritmos pode levar a decisões injustas ou discriminatórias e afetar a igualdade
e os direitos humanos. Outro exemplo é o uso de sistemas de IA para fins de vigilância,
que podem afetar a liberdade de expressão e a privacidade dos cidadãos. Portanto, é
importante que o uso de IA pelo poder público seja cuidadosamente avaliado e
regulamentado para minimizar os riscos e impactos negativos.
O reconhecimento facial pelo poder público pode ser utilizado para diversas
finalidades e abrange desde a segurança pública até a administração de serviços. Na
segurança, é aplicado para identificação de suspeitos em investigações criminais e
prevenção de atividades ilícitas. Em aeroportos e fronteiras, pode auxiliar na
verificação de passageiros e identificação de indivíduos com comportamentos
suspeitos. Além disso, em serviços públicos, pode ser utilizado para simplificar
processos, como na emissão de documentos e controle de acesso aos prédios
governamentais192.
Os impactos negativos também podem abranger a violação de direitos
fundamentais, como a não-discriminação, a liberdade de expressão e a segurança.
Por exemplo, sistemas de IA podem ser programados para tomar decisões com base
em características pessoais, como gênero, idade, etnia e orientação sexual.
A falta de transparência nos sistemas de IA, bem como a impossibilidade de
compreender como as decisões são tomadas, pode comprometer a responsabilidade,
a prestação de contas e gerar riscos e impactos negativos na sociedade. Portanto, é
fundamental serem implementadas medidas de proteção para garantir que o uso de
IA respeite e proteja os direitos fundamentais.

192 Masseno (2023) comenta sobre os riscos da vigilância biométrica nos espaços acessíveis ao
público, para fins de segurança pública e de justiça criminal na União Europeia. Dentre os riscos
analisados, estão as violações de direitos fundamentais.
 179

A seguir serão relatados alguns casos193 de impactos negativos provenientes

de sistemas de IA no poder público, tanto nacional quanto internacionalmente. A partir
da descrição dos casos, será abordado como a IA explicável pode tratar alguns riscos
e evitar a violação de direitos fundamentais194.
A tecnologia de reconhecimento facial é um campo da visão computacional que
utiliza algoritmos para identificar ou verificar a identidade de uma pessoa por meio de
suas características faciais. Segundo Jain et al. (1996, p. 103-104), o processo de
reconhecimento facial pode ser dividido em três etapas: obtenção da imagem,
detecção de rosto e o reconhecimento facial, vejamos:

Figura 13 - Etapas para realizar o reconhecimento facial. Fonte: Jain et al (1996, p. 104).

A primeira etapa consiste na aquisição da imagem que será aplicada a técnica.

As imagens podem ser obtidas a partir das seguintes categorias (i) banda espectral
(visível, infravermelho e térmica) usada para gravar a imagem e (ii) natureza da
técnica de renderização da imagem (2D, 3D e vídeo) (JAIN et al., 1996, p. 104). A
maioria dos sistemas automatizados de reconhecimento facial utiliza imagens 2D
adquiridas no espectro visível.
Na segunda etapa, o sistema localiza e segmenta a região da imagem que
possui uma face, também é verificado se há uma face na imagem. Já na terceira
etapa, relativa ao reconhecimento facial, é subdividida em extração de características
e posteriormente na identificação se é uma pessoa conhecida pelo sistema.

193 O pesquisador Tarcízio Silva elencou diversos casos de racismo algorítmico desde 2010. (SILVA,
2022).
194 Apesar de uma maior liberdade do estado de usar sistemas para fins de segurança pública, que
ensejam maiores exigências para os controladores dos dados e limitação dos direitos para os
cidadãos, é necessário avaliar as consequências em casos de erros.
 180

Durante a extração das características, o rosto é mapeado por meio de polígonos

e podem ser identificadas características como a expressão facial, gênero/etnia/idade
e a modelagem do rosto. Os polígonos criados, a partir do rosto da pessoa, podem
identificar a posição dos olhos, formato do nariz, contorno da face, textura da pele,
entre outros, usados para criar um vetor de recursos faciais que representam a face
do indivíduo. Além dos polígonos, também são verificados detalhes como manchas
na pele. Já na subetapa identificação, o rosto analisado é comparado com os dados
armazenados em um banco de dados, para identificar a pessoa correspondente.
A tecnologia de reconhecimento facial tem diversas aplicações no contexto do
poder público, como em sistemas de segurança, controle de acesso, identificação de
criminosos, entre outros. A tecnologia de reconhecimento facial já é utilizada em
aeroportos195, bancos196 e prédios governamentais197 para verificar a identidade de
pessoas e aumentar a segurança.
Segundo publicado pelo The Intercept198, as tecnologias de reconhecimento
facial aplicadas ao policiamento se utilizam dessa modelagem do rosto para definir
alertas para os policiais. Esses alertas são emitidos quando o rosto da pessoa filmada
pela câmera possui certo grau de semelhança com alguma das faces presentes no
banco de dados utilizado, como o caso de mandados de prisão em aberto. Esse grau
de semelhança é definido pelo utilizador, em que caso aceite níveis menores do que
90% de semelhança, por exemplo, pode provocar um número muito grande de falsos
positivos. No extremo oposto, se a semelhança exigida pelo algoritmo for 99,9%, por
exemplo, a chance de o sistema emitir alertas será muito baixa.
No entanto, a tecnologia de reconhecimento facial também é controversa
devido às questões de privacidade e vieses. Segundo Grother et al. (2019, p. 17-18),
a precisão da tecnologia de reconhecimento facial varia conforme a qualidade das

195 SERPRO. Aeroporto de capital do país testa embarque com reconhecimento facial. Disponível em
https://www.serpro.gov.br/menu/noticias/noticias-2021/embarque-seguro-brasilia. 2021. Acesso em
fevereiro de 2023.
196 YAHOO. Bancos adotarão reconhecimento facial em transações de rotina. Disponível em
https://br.financas.yahoo.com/news/bancos-adotarao-reconhecimento-facial-em-transacoes-de-
rotina-171015498.html. 2022. Acesso em fevereiro de 2023.
197 UOL. Após o 8/1, Palácio do Planalto terá nova segurança com 708 câmeras e recursos IA.
Disponível em https://gizmodo.uol.com.br/planalto-tera-sistema-seguranca-708-cameras-recursos-
ia/. 2023. Acesso em fevereiro de 2023.
198 THE INTERCEPT. Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial
no Brasil são negros. Disponível em https://theintercept.com/2019/11/21/presos-monitoramento-
facial-brasil-negros/. 2019. Acesso em fevereiro de 2023.
 181

imagens, o ângulo do rosto e a iluminação. Além disso, a tecnologia pode ter uma taxa
de erro maior para certos grupos, raças e mulheres, em razão de problemas de coleta
de dados e treinamento dos algoritmos. Esses problemas podem resultar em erros de
identificação, falsos positivos e levantar preocupações sobre a precisão da tecnologia
de reconhecimento facial.
A taxa de acerto dos sistemas de reconhecimento facial também depende do
algoritmo utilizado para treinamento, do sistema que o utiliza e dos dados que
alimentam o sistema, que deve considerar diferentes dados demográficos. A
verificação destes itens se faz fundamental pelo órgão público que desenvolve ou
adquire este tipo de tecnologia.
Como há diferentes sistemas no mercado que oferecem este serviço, o NIST
(GROTHER et al., 2019, p. 1) avaliou 189 algoritmos de 99 desenvolvedores. Na
avaliação, é verificado a taxa de sucesso de cada algoritmo quando executa tarefas
de reconhecimento facial. A primeira tarefa, consiste na confirmação que uma foto
corresponde a uma foto diferente da mesma pessoa em um banco de dados
(correspondência "um para um”). A segunda, consiste em determinar se a pessoa da
foto tem alguma correspondência em um banco de dados (correspondência "um para
muitos”).
Para avaliar o desempenho de cada algoritmo em sua tarefa, a equipe mediu
as duas classes de erro que o software pode cometer: falsos positivos e falsos
negativos. Um falso positivo significa que o software erroneamente considerou fotos
de dois indivíduos diferentes para mostrar a mesma pessoa, enquanto um falso
negativo significa que o software não conseguiu combinar duas fotos que, de fato,
mostram a mesma pessoa. Fazer essas distinções é importante porque a classe de
erro e o tipo de pesquisa podem ter consequências muito diferentes.
Como destacam Grother et al (2019, p. 2-3), em uma pesquisa individual, um
falso negativo pode ser apenas uma inconveniência, no qual você não pode acessar
seu telefone, por exemplo, mas o problema pode ser remediado com uma segunda
tentativa. Mas um falso positivo em uma pesquisa um-para-muitos coloca uma
correspondência incorreta em uma lista de candidatos que justificam um exame mais
minucioso. Verifica-se que os problemas gerados no Brasil, de pessoas presas por
engano, se encaixam neste segundo tipo de erro.
 182

Dos algoritmos disponíveis do mercado e analisados pelo NIST, chegou-se às

seguintes conclusões: (i) dados de treinamento mais diversificados podem produzir
resultados mais equitativos; (ii) Para correspondência um-para-muitos, a equipe
observou taxas mais altas de falsos positivos para mulheres afro-americanas. Analisar
casos falsos positivos em correspondência um-para-muitos são particularmente
importantes, porque as consequências podem incluir acusações falsas, como se
verifica no Brasil e (iii) algoritmos diferentes funcionam de maneiras diferentes, logo,
podem interferir na quantidade de falsos negativos ou falsos positivos.
Na figura 14 pode-se visualizar um resumo dos estágios de reconhecimento
facial a partir de uma foto. Na primeira coluna, a foto é alterada com mais e menos
luminosidade para considerar ambientes muito ou pouco iluminados. Na segunda
coluna, é avaliado se o sistema pode diferenciar uma máscara de uma pessoa
verdadeira. Na terceira coluna, a foto é comparada com uma foto dentro ou fora do
padrão estabelecido (exemplo foto 3x4, olhos abertos etc.). As demais fases (face
détection, feature extraction e récognition) já foram detalhadas anteriormente. E por
fim, recomenda-se que haja uma revisão humana para avaliar se o rosto encontrado
pelo sistema é a pessoa procurada.

Figura 14 - Estágios do reconhecimento facial automatizado de uma pessoa. Fonte: Grother et al

(2019, p. 14),
 183

O site Comparitech199 fez um levantamento das cidades que possuíam mais

câmeras de vigilância200, isto auxilia a compreender o fenômeno da vigilância dos
cidadãos por parte do governo e dado os problemas existentes, discutir a necessidade
do uso transparente deste tipo de tecnologia. Outra informação relevante identificada
pelo site Comparitech é a falta de correlação entre câmeras de vigilância e índice de
criminalidade. É interessante essa observação, justamente pela alegação de diversos
países em usar esse tipo de tecnologia para combater crimes, quando, não há prova
que a tecnologia diminuirá a criminalidade.
Embora a China mais uma vez seja conhecida mundialmente pela vigilância
em massa, há outros países cujas táticas de vigilância são uma preocupação
crescente, como a Índia e de acordo com a figura 15.

Figura 15 - As cidades mais vigiadas do mundo - câmeras a cada 1.000 pessoas. Fonte: Comparitech
(2022).

Já ao analisar as cidades mais monitoradas do mundo, as cidades chinesas

têm grande destaque. Em seguida, países como Índia, Cingapura, Rússia e Iraque
também têm cidades muito monitoradas. A seguir serão detalhados alguns casos
verídicos midiatizados e formas de tratar estes problemas.

199 COMPARITECH. Estatísticas de câmeras de vigilância: quais cidades têm mais câmeras de CFTV?
Disponível em https://www.comparitech.com/vpn-privacy/the-worlds-most-surveilled-cities/. Acesso
em fevereiro de 2023.
200 Os números mencionados no relatório sobre de câmeras de vigilância são aproximados, dado que
os países não publicizam este tipo de informação. O site utiliza como uma das fontes de informação
as câmeras públicas existentes em cada cidade/país.
 184

1. CASOS NACIONAIS

No Brasil, verifica-se que as Polícias Civis e Militares de cada Estado, Polícia

Federal, Secretarias de Segurança Pública e Ministério da Justiça, utilizam sistemas
de reconhecimento facial. Dentre as finalidades, estão investigar crimes, monitorar
locais públicos, identificar suspeitos de crimes, imigrantes e refugiados, identificar
passageiros em voos internacionais, controlar o acesso nas estações do metrô,
localizar pessoas desaparecidas, entre outros.
Segundo Francisco et al (2020, p. 2), até maio de 2019 foram identificados 48
casos publicamente reportados de implementação do reconhecimento facial por
autoridades públicas, conforme figura 16. Desses casos, 13 tinham a garantia da
segurança pública como principal objetivo.

Figura 16 - Cidades do Brasil que usavam a tecnologia de reconhecimento facial até 2019. Fonte:
IGARAPE201 (2019)

201 IGARAPE. Reconhecimento Facial no Brasil. Disponível em https://igarape.org.br/infografico-

reconhecimento-facial-no-brasil/. 2019. Acesso em fevereiro de 2023.
 185

Em 2019, ano em que diversos estados brasileiros começaram a contratar

empresas que desenvolvessem esse tipo de tecnologia, o Governo Federal publicou
uma portaria202 que dava incentivos financeiros para a implantação de sistemas de
videomonitoramento com soluções de reconhecimento facial, com justificativa para
enfrentamento à criminalidade violenta.
Apesar da portaria ter sido publicada em 2019, alguns estados já buscavam
esse tipo de tecnologia antes, como a Bahia. Desde 2018, o Estado da Bahia203
investe no uso de reconhecimento facial para a segurança pública, com instalação de
câmeras de vigilância por diversas cidades.

Em julho de 2021, Rui autorizou a expansão da tecnologia de câmeras de

reconhecimento facial, sistema que já opera em Salvador, para mais 77
cidades baianas até o fim de 2022. O contrato prevê o investimento de R$
665 milhões para a prestação do serviço. O projeto piloto foi implantado em
novembro de 2018, com R$ 18 milhões investidos na aquisição das primeiras
câmeras de reconhecimento facial. Instalados em locais de grande circulação
na capital baiana, os equipamentos já localizaram 217 criminosos com
mandados de prisão expedidos.

Entretanto, conforme dados levantados pela Rede de Observatório da

Segurança em 2019, 90,5% das pessoas que foram presas porque foram flagradas
pelas câmeras eram negras204. O estudo considerou abordagens e prisões com o uso
da tecnologia, com 51,7% das prisões na Bahia, 37,1% no Rio, 7,3%, em Santa
Catarina, 3,3% na Paraíba e o Ceará, com 0,7%. Segundo informações do UOL, o
sistema adquirido da Bahia é de origem chinesa205.
Ainda em 2019, de acordo com dados levantados pelo The Intercept206,
durante o carnaval na Bahia, o sistema de videomonitoramento capturou os rostos de

202 Gov.BR. PORTARIA n.° 793, DE 24 DE OUTUBRO DE 2019. Disponível em

https://www.in.gov.br/en/web/dou/-/portaria-n-793-de-24-de-outubro-de-2019-223853575. 2019.
Acesso em fevereiro de 2023.
203 RH BAHIA. Bahia se torna referência de uso da tecnologia na administração pública. Disponível em
https://servidores.rhbahia.ba.gov.br/noticias/2021-09-28/bahia-se-torna-referencia-de-uso-da-
tecnologia-na-adm inistracao-publica. 2021. Acesso em fevereiro de 2023.
204 THE INTERCEPT. Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial
no Brasil são negros. Disponível em https://theintercept.com/2019/11/21/presos-monitoramento-
facial-brasil-negros/. 2019. Acesso em fevereiro de 2023.
205 UOL. Reconhecimento facial usado na China é testado no Brasil; saiba como opera. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2019/01/18/reconhecimento-facial-usado-na-china-e-
testado-no-brasil-saiba-como-opera.htm . 2019. Acesso em fevereiro de 2023.
206 THE INTERCEPT. Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial
no Brasil são negros. Disponível em https://theintercept.com/2019/11/21/presos-monitoramento-
facial-brasil-negros/. 2019. Acesso em fevereiro de 2023.
 186

mais de 1,3 milhões de pessoas e gerou 903 avisos, o que resultou no cumprimento
de 18 mandados e na prisão de 15 pessoas, ou seja, de todos os avisos emitidos,
mais de 96% não resultaram em nada.
No mesmo ano, no Rio de Janeiro também ocorreram problemas207, onde uma
mulher inocente foi presa devido à tecnologia ter indicado que ela era foragida. O erro
se agrava mais ainda, pois, a mulher que era procurada pela justiça já estava presa.

Uma mulher, que estava sentada numa calçada da Avenida Nossa Senhora
de Copacabana, segurando uma placa de compra de ouro e prata, foi
identificada, terça-feira, pelas câmeras de reconhecimento facial instaladas
no bairro como sendo ********** condenada por homicídio e procurada pela
polícia. Imediatamente, a mulher, que estava sem documentos e realmente
era parecida com **********, foi levada para a delegacia da área, onde, depois
que parentes levaram sua identidade, foi constatado o engano. ..., Mas o erro
no sistema não foi só este. ********** que estava sendo procurada pelas
câmeras, já está, na verdade, presa desde 2015, informação que a Polícia
Militar, responsável pela operação do sistema, desconhecia.

Neste caso do Rio de Janeiro, não houve apenas um erro da tecnologia, mas
também um erro humano confiar totalmente no resultado e não fazer outros tipos de
conferência, como digitais e verificar se a procurada já estava presa. O Estado do Rio
de Janeiro chegou a alegar, na época, que o sistema estava em fase de testes.
Também não foi detalhado como o sistema seria aperfeiçoado para evitar estes
problemas. As empresas que forneceram a tecnologia para o monitoramento foram a
Oi e Huawei208
Outro exemplo de uso de IA pelo poder público, que gerou questionamentos,
foi a implantação de um sistema de reconhecimento facial na estação Sé do Metrô de
São Paulo em 2019209 O sistema foi desenvolvido para identificar pessoas procuradas
pela polícia, mas houve críticas em relação à falta de transparência e ao potencial de
uso indevido da tecnologia, mesmos problemas que ocorreram em outros estados.

207 OGLOBO. Reconhecimento facial falha em segundo dia, e mulher inocente é confundida com
criminosa já presa. Disponível em https://oglobo.globo.com/rio/reconhecimento-facial-falha-em-
segundo-dia-mulher-inocente-confundida-com-criminosa-ja-presa-23798913. 2019. Acesso em
fevereiro de 2023,
208 TECNOBLOG. Rio de Janeiro identificou 8 mil pessoas com reconhecimento facial no Carnaval.
Disponível em https://tecnoblog.net/noticias/2019/05/10/rio-de-janeiro-identificou-8-mil-
reconhecimento-facial/. 2019. Acesso em fevereiro de 2023.
209 G 1. Metrô de SP terá sistema de reconhecimento facial. Disponível em https://g1 .globo.com/sp/sao-
paulo/noticia/2019/07/17/metro-de-sp-tera-sistema-de-reconhecimento-facial.ghtml. 2019. Acesso
em fevereiro de 2023.
 187

Segundo informações do UOL, o sistema adquirido em São Paulo é de origem

chinesa210.
Já em 2020, foi noticiado que a Polícia Militar de São Paulo usava um software
de reconhecimento facial que apresentava altos índices de erros, como a confusão
entre pessoas inocentes e suspeitas211. Essa tecnologia pode ter um impacto negativo
na segurança e nos direitos dos cidadãos, especialmente daqueles que pertencem a
certos grupos. Vejamos um trecho mencionado na notícia da Folha:

O algoritmo já tem um viés racial, ou seja, pessoas negras vão ser mais
confundidas. O banco de dados de procurados também é racializado, com a
maioria negra. Então um banco de dados alvo majoritariamente negro e um
algoritmo que tem viés racial vão causar maior abordagem de pessoas
negras.

O problema reside também quando essa tecnologia não é desenvolvida pelo

poder público e sim adquirida de um fornecedor privado nacional ou estrangeiro, como
a importação de tecnologia chinesa212. No caso de algoritmos de reconhecimento
facial confeccionados nos Estados Unidos e Europa, por exemplo, têm muita
dificuldade não só com homens negros, mas principalmente com mulheres negras e
pessoas asiáticas213. Na notícia é mencionada a taxa de acerto conforme o gênero e
raça, vejamos:

Foram avaliadas tecnologias desenvolvidas pela Microsoft, a IBM e a chinesa

Megvii. As pesquisadoras utilizaram 1.270 rostos de três países africanos e
três países nórdicos. O algoritmo que se saiu melhor tinha precisão de 100%
para homens de pele mais clara e 79,2% para mulheres de pele mais escura.
O que teve o pior desempenho reconhecia homens de pele mais clara com
99,7% de precisão, enquanto mulheres de pele mais escura com 65,3%.
(FOLHA DE SÃO PAULO, 2021)

210 UOL. Reconhecimento facial usado na China é testado no Brasil; saiba como opera. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2019/01/18/reconhecimento-facial-usado-na-china-e-
testado-no-brasil-saiba-com o-opera.htm . 2019. Acesso em fevereiro de 2023.
211 FOLHA DE SÃO PAULO. Sob críticas por viés racial, reconhecimento facial chega a 20 estados.
Disponível em https://www1 .folha.uol.com.br/cotidiano/2021/07/sob-criticas-por-vies-racial-
reconhecimento-facial-chega-a-20-estados.shtml. 2021. Acesso em fevereiro de 2023.
212 UOL. Bancada do PSL vai à China importar sistema que reconhece rosto de cidadãos. Disponível
em https://noticias.uol.com.br/politica/ultimas-noticias/2019/01/16/bancada-do-psl-vai-a-china-para-
importar-tecnicas-de-reconhecimento-facial.ht. 2019. Acesso em fevereiro de 2023.
213 FOLHA DE SÃO PAULO. Sob críticas por viés racial, reconhecimento facial chega a 20 estados.
Disponível em https://www1 .folha.uol.com.br/cotidiano/2021/07/sob-criticas-por-vies-racial-
reconhecimento-facial-chega-a-20-estados.shtml. 2021. Acesso em fevereiro de 2023.
 188

Apesar dos problemas relatados, em 2021 foi noticiado que vinte estados das
cinco regiões do Brasil utilizavam ou estavam implementando a tecnologia de
reconhecimento facial na segurança pública local. Outros três estudavam a
implementação e apenas quatro estados não utilizavam, não tiveram contato com o
sistema ou planejavam utilizar. Os dados foram levantados pela Folha214, por meio
das secretarias estaduais de Segurança e das polícias Civil e Militar. O uso ainda não
se restringia às policiais estaduais, mas também à Polícia Federal215.
Em novembro de 2022, após fortes questionamentos e intervenção do
Tribunal de Justiça de São Paulo216, o uso do reconhecimento facial em São Paulo
tomou proporções maiores217. O Metrô de São Paulo iniciou a operação de sistema
de reconhecimento facial com utilização de cerca de 5 mil câmeras de monitoramento,
quando estiver 100% implementado. Além dos questionamentos já citados
anteriormente, o TJSP alegou que não existia comprovação de que o sistema seria
usado apenas para ações de Segurança Pública, o que pode atingir direitos
fundamentais dos cidadãos. Dentre as violações levantadas pelo tribunal, estavam
não atender aos requisitos legais previstos na Lei Geral de Proteção de Dados
(LGPD), no Código de Defesa do Consumidor, no Código de Usuários de Serviços
Públicos, no Estatuto da Criança e do Adolescente, na Constituição Federal e nos
tratados internacionais.
Em dezembro de 2022, a presidente do Metrô de São Paulo rechaçou a ideia
de que haja algum viés racial nas tecnologias, pelo fato de ter investido R$58 milhões
de reais na tecnologia218:

214 FOLHA DE SÃO PAULO. Sob críticas por viés racial, reconhecimento facial chega a 20 estados.
Disponível em https://www1 .folha.uol.com.br/cotidiano/2021/07/sob-criticas-por-vies-racial-
reconhecimento-facial-chega-a-20-estados.shtml. 2021. Acesso em fevereiro de 2023.

215 FOLHA DE SÃO PAULO. PF compra sistema que cruzará dados biométricos de 50 milhões de
brasileiros. Disponível em https://www1 .folha.uol.com.br/tec/2021/07/pf-compra-sistema-que-
cruzara-dados-biometricos-de-50-milhoes-de-brasileiros.shtml. 2021. Acesso em fevereiro de 2023.
216 G1. Justiça de SP determina que Metrô interrompa implantação de sistema de reconhecimento
facial. Disponível em https://g1 .globo.com/sp/sao-paulo/noticia/2022/03/22/justica-de-sp-determina-
que-m etro-interrompa-implantacao-de-sistema-de-reconhecimento-facial.ghtml. 2022. Acesso em
fevereiro de 2023.
217 G1. Metrô de SP inicia operação de sistema de reconhecimento facial; TJ chegou a impedir
instalação. Disponível em https://g1 .globo.com/sp/sao-paulo/noticia/2022/11/21/metro-de-sp-inicia-
operacao-de-novo-sistema-de-monitoramento-eletronico-por-meio-de-reconhecimento-facial-tj-
chegou-a-impedir-instalacao.ghtml. 2022. Acesso em fevereiro de 2023.
218 VEJA. Câmeras de reconhecimento facial se multiplicam em São Paulo. Disponível em:
https://vejasp.abril.com.br/cidades/cameras-reconhecimento-facial-sp/. 2022. Acesso em fevereiro
de 2022.
 189

Investimos 58 milhões no projeto. Ninguém irá fazer um investimento desses

no setor público para fazer discriminação racial. Acho pouco sensato quem
utiliza esse argumento.

Entretanto, o custo da tecnologia não implica que tecnologia seja confiável. É

necessário dar transparência à forma de funcionamento do sistema, para que
entidades externas e a população façam o controle social. Sem transparência, há
grandes chances dos problemas já relatados nacional e internacionalmente se
repitam. O fato de a tecnologia ser adquirida de países que enfrentaram problemas
parecidos, traz um grande risco aos brasileiros.
Como mencionado, as tecnologias no geral não são desenvolvidas no órgão
público brasileiro, mas adquiridas de países como China e Estados Unidos219:

Os estados da região também querem se unir para comprar sistemas de

monitoramento para segurança pública, aproveitando a experiência do país
na área. Câmeras de companhias como Dahua Technology e Hikvision são
usadas pelo governo chinês para monitorar cidadãos da minoria muçulmana
uigure na província rebelde de Xinjian. Segundo Lucas Kubaski, gerente da
área de pré-vendas da Dahua, o Consórcio Nordeste está muito interessado
nas tecnologias para segurança e câmeras que fazem reconhecimento facial.
As câmeras conseguem detectar a expressão — tristeza ou alegria, por
exemplo— , além de tipo e cor de roupa usadas e a idade aparente.

A aquisição e uso de tecnologias estrangeiras no Brasil, é uma grande

preocupação, principalmente quando vem de países conhecidos mundialmente por
vigilância excessiva de seus cidadãos, como a China220 que possuía em 2019 cerca
de 170 milhões de câmeras instaladas e com previsão de instalação de mais de 400
milhões:

A China tem em uso o maior e mais moderno sistema de vigilância do mundo,

que usa o reconhecimento facial para identificar os cidadãos - e, desta
maneira, prender criminosos e suspeitos. No país, existem 170 milhões de
câmeras com essa capacidade e outras 400 milhões serão instaladas, de
acordo com informações divulgadas pelo governo. Os equipamentos
conseguem reconhecer o rosto das pessoas e fazer imediatamente a
associação com suas informações registradas.

219 FOLHA DE SÃO PAULO. Nordeste vira palco de guerra fria tecnológica entre EUA e China.
Disponível em https://www1 .folha.uol.com.br/mundo/2019/08/nordeste-vira-palco-de-guerra-fria-
tecnologica-entre-eua-e-china.shtml. 2019. Acesso em fevereiro de 2023.
220 UOL. Bancada do PSL vai à China importar sistema que reconhece rosto de cidadãos. Disponível
em https://noticias.uol.com.br/politica/ultimas-noticias/2019/01/16/bancada-do-psl-vai-a-china-para-
importar-tecnicas-de-reconhecimento-facial.ht. 2019. Acesso em fevereiro de 2023.
 190

Outro questionamento que deve ser feito é se os dados de brasileiros podem

ser tratados fora do país, compartilhados com outras empresas e se os cidadãos têm
ciência disto.
Como os órgãos governamentais, no geral, não publicizam maiores detalhes
sobre como a tecnologia funciona, quem a desenvolveu, quais as taxas de falsos
positivos e falsos negativos, dados de treinamento e representatividade, e como as
abordagens são feitas a partir da recomendação do software, fica difícil realizar o
controle social e até mesmo avaliar se a tecnologia é confiável. As poucas informações
localizadas estão em editais de licitação ou publicadas em notícias.

2. CASOS INTERNACIONAIS

Na China, os sistemas de reconhecimento facial são amplamente utilizados

no país, inclusive para justificar prisões de manifestantes contra o governo221. A China
é um dos países que mais investe na tecnologia de reconhecimento facial e em outras
formas de monitorar massivamente os cidadãos. Esta tecnologia é usada
internamente e exportada.
Apesar do uso massivo pelo governo chinês, este é alvo de críticas, como foi
o caso do monitoramento da população, em especial da minoria muçulmana uigur222.
Segundo denúncias de organizações de direitos humanos, o sistema foi usado para
identificar e perseguir membros da comunidade uigur, que já sofrem com a repressão
do governo chinês. Além disso, há relatos de que a tecnologia foi usada para monitorar
e controlar outras minorias étnicas223 , políticas224 e controlar a dissidência225.

221 FOLHA DE SÃO PAULO. China usa reconhecimento facial para rastrear manifestantes contra Covid
zero. Disponível em https://www1 .folha.uol.com.br/mundo/2022/12/china-usa-reconhecimento-facial-
para-rastrear-manifestantes-contra-covid-zero.shtml. 2022. Acesso em fevereiro de 2023.
222 BBC. Os documentos secretos que revelam detalhes de campos de prisioneiros uigures na China.
Disponível em https://www.bbc.com/portuguese/internacional-61557466. 2022. Acesso em fevereiro
de 2023.
223 GAZETA DO POVO. Como a China usa inteligência artificial para identificar uma minoria. Disponível
em https://www.gazetadopovo.com.br/mundo/china-usa-inteligencia-artificial-para-identificar-
minoria/. 2019. Acesso em fevereiro de 2023.
224 THE GUARDIAN. We just want to live in a normal world: China’s young protesters speak out, and
disappear. Disponível em https://www.theguardian.com/world/2023/feb/08/we-just-want-to-live-in-a-
normal-world-chinas-young-protesters-speak-out-and-disappear. 2023. Acesso em fevereiro de 2023.
225 BBC. China 'social credit': Beijing sets up huge system. Disponível em
https://www.bbc.com/news/world-asia-china-34592186. 2015. Acesso em fevereiro de 2023.
 191

Já nos Estados Unidos, em 2020, o departamento de polícia de Detroit (EUA)

prendeu um homem, acusado de um roubo de uma loja de luxo, com base na
identificação via software de reconhecimento facial226. O problema é que o sistema
reconheceu a pessoa errada e tanto o suspeito quanto a pessoa presa por engano
eram negros. A pessoa presa injustamente, sequer foi informada do motivo da
restrição de liberdade. Aqui vemos mais uma vez a confiança irrestrita na tecnologia,
no qual o cidadão não tem conhecimento que foi identificado por um sistema
automatizado. Na notícia é informado ainda o sistema utilizado para reconhecimento
facial (Rank One Computing), algo que não se verifica no Brasil.
No Reino Unido também não é diferente, a Universidade de Cambridge
identificou que o uso de reconhecimento facial ao vivo (LFR) pelas forças policiais do
Reino Unido não atende aos padrões éticos e legais mínimos227. A justificativa para o
uso da tecnologia se baseia no combate do crime e do terrorismo. Entretanto, em dois
casos, o LFR foi usado pela polícia para sondar multidões, comparar rostos com os
de uma "lista de observação criminosa”, e "identificar indivíduos procurados em tempo
real”. Também não há transparência sobre o comportamento do sistema e como usam
dados demográficos. Pesquisadores defendem que a tecnologia deve ser proibida
para uso em todos os espaços públicos, como já se verifica em outros países228.
O governo indiano também adota este tipo de tecnologia e possui cidades
com maior número de câmeras por 1000 habitantes, logo abaixo da China. Com
relação às críticas, foi identificado que o país também usava a tecnologia para reprimir
protestos229 e violar direitos humanos230. No entanto, ativistas dos direitos civis
criticaram a medida por ser invasiva e por representar uma ameaça à privacidade e

226 UOL. Sistema de reconhecimento facial erra, e homem negro é preso por engano. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2020/06/25/homem-e-preso-apos-erro-de-tecnologia-de-
reconhecimento-facial-nos-eua.htm. 2020. Acesso em fevereiro de 2023.
227 OLHAR DIGITAL. Polícia britânica não usa reconhecimento facial de forma ética e legal, diz
pesquisa. Disponível em https://olhardigital.com.br/2022/10/31/seguranca/policia-britanica-nao-usa-
o-reconhecimento-facial-de-forma-etica-e-legal-diz-pesquisa/. 2022. Acesso em fevereiro de 2023.
228 CNN. Beyond San Francisco, more cities are saying no to facial recognition. Disponível em
https://edition.cnn.com/2019/07/17/tech/cities-ban-facial-recognition/index.html. 2019. Acesso em
fevereiro de 2023.
229 O GLOBO. Índia usa reconhecimento facial para reprimir protestos. Disponível em
https://oglobo.globo.com/mundo/india-usa-reconhecimento-facial-para-reprimir-protestos-24253958.
2020. Acesso em fevereiro de 2023.
230 VICE. Facial Recognition Is Out of Control in India. Disponível em
https://www.vice.com/en/article/akew98/facial-recognition-is-out-of-control-in-india. 2022. Acesso em
fevereiro de 2023.
 192

liberdades individuais. Além disso, em 2019, a cidade de Hyderabad foi criticada por
usar tecnologia de reconhecimento facial para monitorar estudantes durante exames
de admissão em escolas, o que levantou preocupações sobre a privacidade dos
alunos231.

3. LOCAIS QUE BANIRAM A TECNOLOGIA

Alguns países e cidades do mundo baniram ou restringiram severamente o

uso do reconhecimento facial, em razão das preocupações com privacidade, violação
de direitos humanos, imprecisões nos sistemas de reconhecimento facial, desvio da
finalidade, entre outros problemas já relatados. O banimento se dá principalmente em
locais públicos e em casos excepcionais, alguns países que baniram ainda usam a
tecnologia para contextos específicos, como aeroportos.
Buenos Aires, na Argentina, adotou um sistema de reconhecimento facial de
fugitivos em 2019, mas a Justiça declarou o uso da tecnologia inconstitucional232. A
capital implantou um programa com objetivo de procurar cerca de 40 mil fugitivos, mas
coletou informações pessoais de cerca de 10 milhões de pessoas. A alegação da
inconstitucionalidade residiu no descumprimento das disposições legais de proteção
dos direitos pessoais dos habitantes. Além da coleta excessiva de dados, o sistema
também propiciou prisões indevidas, devido aos falsos positivos e violação do
princípio da inocência.
Na França, em 2020, o Conselho de Estado francês baniu o uso de drones
equipados com tecnologia de reconhecimento facial para monitorar protestos e citou
preocupações com a privacidade e a liberdade de expressão233.
No ano de 2019, São Francisco se tornou a primeira cidade dos EUA a banir
o uso de tecnologia de reconhecimento facial pelo governo e outras agências

231 REUTERS. Fears for children's privacy as Delhi schools install facial recognition. Disponível em
https://www.reuters.com/article/us-india-tech-facialrecognition-trfn-idUSKBN2AU0P5. 2021. Acesso
em fevereiro de 2023.
232 Convergência Digital. Justiça argentina proíbe reconhecimento facial após prisões indevidas.
Disponível em https://www.convergenciadigital.com.br/Seguranca/Justica-argentina-proibe-
reconhecimento-facial-apos-prisoes-indevidas-61384.html?UserActiveTemplate=mobile. 2022.
Acesso em fevereiro de 2023.
233 POLITICO. France’s top administrative court bans drone use to monitor protests. Disponível em
https://www.politico.eu/article/frances-top-administrative-court-bans-drone-use-to-monitor-protests/.
2020. Acesso em fevereiro de 2023.
 193

públicas234. A legislação proíbe o uso de câmeras de vigilância com tecnologia de

reconhecimento facial e o acesso a dados de reconhecimento facial coletados por
empresas privadas. Vale destacar que, apesar do banimento, em casos excepcionais
como monitoramento de aeroportos, por exemplo, a tecnologia é permitida. Ainda, nos
Estados Unidos, outros estados e governos locais também adotaram medidas, como
Illinois, que exige que as empresas obtenham o consentimento dos clientes antes de
coletar informações biométricas.
A União Europeia, em 2021235, propôs o banimento do uso da tecnologia de
reconhecimento facial em locais públicos, a fim de avaliar os riscos e regulamentar
seu uso. A comissão europeia concluiu ser necessário desenvolver uma metodologia
eficiente para medir os impactos e instrumentos de gestão de riscos. A suspensão do
uso de reconhecimento facial foi uma resposta aos repetidos erros resultantes da
tecnologia, principalmente com a violação de direitos fundamentais.
Diante dos problemas conhecidos e relatados internacionalmente, antes
mesmo da popularização da tecnologia no Brasil, há políticos que se posicionam
contra o uso da tecnologia em solo brasileiro236, acompanhado de institutos de
pesquisa, como o Coalizão Direitos na Rede. No caso em específico, há
posicionamentos contrários ao projeto de São Paulo denominado Smart Sampa que
visa integrar mais de 20 mil câmeras até 2024 e modernizar o monitoramento delas
na capital. O investimento estimado é de R$ 70 milhões por ano. O projeto gera
grandes questionamentos por detectar movimentos e apontar atividades tidas como
suspeitas, pessoas procuradas, objetos perdidos, além do reconhecimento facial237.
Além da finalidade muito ampla, a tecnologia não oferece uma boa precisão e não é
neutra.

234 CNN. San Francisco just banned facial-recognition technology. Disponível em

https://edition.cnn.com/2019/05/14/tech/san-francisco-facial-recognition-ban/index. 2019. Acesso em
fevereiro de 2023.
235 COVINGTON. European Parliament Votes in Favor of Banning the Use of Facial Recognition in Law
Enforcement. Disponível em https://www.insideprivacy.com/artificial-intelligence/european-
parliament-votes-in-favor-of-banning-the-use-of-facial-recognition-in-law-enforcement/. 2021. Acesso
em fevereiro de 2023.
236 UOL. Deputada quer barrar reconhecimento facial em SP por racismo - e com razão. Disponível em
https://www.uol.com.br/tilt/noticias/redacao/2022/12/01/deputada-quer-barrar-reconhecimento-facial-
em -sp-por-racismo.htm. 2022. Acesso em fevereiro de 2023.
237 BOL. SP lança edital para sistema de câmeras que identifica cor e 'vadiagem'. Disponível em
https://www.bol.uol.com.br/noticias/2022/11/28/sp-lanca-edital-para-sistema-de-cameras-que-
identifica-cor-e-vadiagem.htm. 2022. Acesso em fevereiro de 2023.
 194

4.DIREITOS FUNDAMENTAIS ENVOLVIDOS

Os erros oriundos da tecnologia de reconhecimento facial podem originar

constrangimentos, prisões arbitrárias e violações de direitos fundamentais. Da Silveira
e Da Silva (2020, p. 3) destacam uma relação entre falta de transparência dos
sistemas algorítmicos e processos discriminatórios de pessoas, assim que submetidos
à governança praticada pelos algoritmos. Por isto, se faz necessária a adoção de
medidas de transparência durante a construção da tecnologia pelo poder público,
além de cuidados e auditorias ao adquirir de terceiros.
Geralmente, os erros originados de sistemas de reconhecimento facial estão
associados aos fenótipos, como raça, gênero, idade, orientação sexual, entre outros.
No estudo realizado por Buolamwini e Gebru (2018, p. 1) é avaliado o viés presente
em algoritmos e conjuntos de dados de análise facial automatizada em relação a
alguns fenótipos. As autoras identificaram que, a partir da análise de 3 sistemas
comerciais de classificação de gênero, foi identificado que as mulheres negras são o
grupo com alta taxa de erros (de até 34,7%). Já a taxa de erro máxima para homens
de pele branca é de 0,8%.
Dentre os direitos fundamentais passíveis de violação, estão (i) privacidade;
(ii) liberdade de expressão; (iii) não-discriminação; (iv) presunção de inocência; (v)
segurança e (vi) devido processo legal.
Pelo direito à privacidade e à imagem, o reconhecimento facial pode captar
imagens, dados biométricos e informações pessoais das pessoas sem consentimento.
Como aponta a Lei Geral de Proteção de Dados (LGPD), para realizar o tratamento é
necessário considerar as hipóteses previstas no artigo 7 da LGPD, como cumprir uma
obrigação legal ou regulatória, executar uma política pública, realizar atividade de
proteção à vida, possuir o consentimento livre, informado e inequívoco do titular dos
dados para o seu tratamento, entre outros.
Além do artigo 7 da LGPD, o emprego de sistemas de reconhecimento facial
no Brasil implica no atendimento às demais previsões da referida lei. Destacam-se os
 195

princípios da LGPD neste contexto, como o da finalidade238, necessidade239,

transparência240, segurança da Informação241 e não-discriminação242. Vemos que
estes princípios se comunicam e complementam os próprios direitos fundamentais
protegidos pela Constituição.
Com relação ao direito à liberdade de expressão, a vigilância por meio do
reconhecimento facial pode inibir a livre expressão de opiniões e ideias em passeatas
pacíficas, por exemplo, uma vez que as pessoas podem se sentir vigiadas e
censuradas. A vigilância de massas é uma forma de controle social que limita a
liberdade de expressão e pensamento crítico.
Com relação ao direito à não-discriminação e à igualdade, o reconhecimento
facial pode apresentar falhas ao identificar pessoas de determinadas raças, gêneros,
etnias ou características físicas, o que pode levar a prejudicar alguns grupos com
maior frequência. Inclusive, a tecnologia, caso possua vieses, pode perpetuar
estereótipos e preconceitos.
Já sobre o direito à presunção de inocência, a identificação incorreta no
reconhecimento facial pode levar à acusação e restrição da liberdade de pessoas
inocentes. Inclusive, deve-se evitar o uso do reconhecimento facial como única prova
para incriminar alguém. Com relação ao direito à segurança, a falta de
regulamentação e controle do uso do reconhecimento facial pode levar à exposição

238 O princípio da finalidade implica no tratamento de dados pessoais realizado com uma finalidade
específica, legítima e informada ao titular dos dados. No caso do reconhecimento facial, implica na
limitação do uso da tecnologia. Na prática, vemos que os países que usam a tecnologia, estabelecem
como finalidade a segurança pública e identificação de criminosos, mas fazem vigilância em massa
dos cidadãos.
239 O princípio da necessidade prevê que o tratamento de dados pessoais deve se lim itar ao mínimo
necessário para atingir a finalidade informada ao titular dos dados. No contexto do reconhecimento
facial, verifica-se que, em muitos casos, não há limites estabelecidos e os dados coletados dos
cidadãos ultrapassam a finalidade sendo usados para fins não legítimos.
240 O princípio da transparência define que o titular dos dados tem o direito de receber informações
claras, precisas e facilmente acessíveis sobre o tratamento de seus dados pessoais. No caso do
reconhecimento facial em ambientes públicos, muitas vezes o cidadão não tem ciência que é
monitorado e quais dados são coletados.
241 O princípio da segurança prevê que o tratamento de dados pessoais deve ser feito com medidas de
segurança adequadas para proteger os dados contra acesso não autorizado, perda ou destruição.
Na prática, vemos que não há publicização sobre como os sistemas de reconhecimento facial são
geridos pelo poder público, principalmente pelos aos dados que são coletados, tratados e se há
eliminação deles. É necessário explicitar também de quem que os dados são armazenados e se há
uma justificativa para ele (exemplo: pessoa procurada pela justiça).
242 O princípio da não-discriminação prevê que o tratamento de dados pessoais não pode ser utilizado
para discrim inar ou prejudicar o titular dos dados de qualquer forma. Na prática, por não haver
transparência sobre as ferramentas, desconhece-se se há medidas técnicas para eliminação de
vieses, qual a precisão do algoritmo utilizado e se foi avaliado o impacto social da tecnologia.
 196

de informações pessoais, privadas e colocar a segurança dos indivíduos em risco. Por

fim, o direito ao devido processo legal consiste em não utilizar exclusivamente as
tecnologias de reconhecimento facial como meio de prova em processos criminais.

5. FORMAS DE TRATAR OS RISCOS

Identificar formas de tratar os riscos de reconhecimento facial é fundamental

para proteger os direitos fundamentais das pessoas e garantir que o uso dessa
tecnologia ocorra de forma ética e responsável. O reconhecimento facial pode ser uma
ferramenta muito útil para a segurança pública, no entanto, sua utilização também
pode levar a violações de privacidade, discriminação, erros de identificação e outros
riscos associados.
Ao implementar medidas que visem tratar os riscos de reconhecimento facial,
as organizações podem minimizar os efeitos negativos do uso dessa tecnologia, ao
mesmo tempo, em que mantêm seu potencial de benefícios. Por exemplo, o
estabelecimento de limitações de uso pode garantir que o reconhecimento facial seja
utilizado apenas em situações específicas e reduzir a possibilidade de discriminação.
A transparência neste caso se faz fundamental e pode promover a confiança dos
cidadãos em relação à tecnologia.
Identificar formas de tratar os riscos de reconhecimento facial pode ajudar a
garantir a adequação às leis, que se tornam cada vez mais rigorosas em todo o
mundo. Por exemplo, no Brasil, a Lei Geral de Proteção de Dados (LGPD) estabelece
que as empresas devem garantir a proteção dos dados pessoais coletados e tratados
em sistemas de reconhecimento facial. Ainda, com a iminente vigência do Marco
Regulatório de IA no Brasil, estes cuidados facilitarão a compatibilidade com ele.
Neste sentido, uma forma de tratar riscos é o uso de frameworks de IA abertos
(DA SILVEIRA; DA SILVA, 2020, p.3), principalmente naqueles que tiverem grande
relevância pública. Tratado os riscos, busca-se que a tecnologia seja utilizada de
forma responsável e ética para proteger os direitos fundamentais das pessoas e
garantir a privacidade e segurança. A partir dos problemas expostos, nacional e
internacionalmente, das experiências internacionais e da avaliação a partir do
princípio da transparência, sugere-se medidas a serem adotadas pelo poder público.
 197

Também é indicado submeter o sistema às perguntas do capítulo anterior da presente

tese.
Como o reconhecimento facial é uma tecnologia específica e com problemas
peculiares ao seu uso, sugere-se também algumas avaliações com vistas a proteger
os direitos fundamentais previstos na Constituição.
Com relação ao princípio da privacidade, além da adequação à LGPD, é
necessário averiguar a finalidade, necessidade, transparência, segurança e não-
discriminação pelos questionamentos que serão abordados a seguir (FRANCISCO et
al, 2020, p. 4-5).
Para a finalidade, deve-se avaliar (i) As normas e políticas públicas justificam
o uso de sistemas de reconhecimento facial? (ii) Há definição expressa do poder
público sobre finalidades autorizadas ou proibidas?
Para a necessidade, deve-se avaliar (i) Quais são os limites impostos aos
sistemas de reconhecimento facial? (ii) Quais são os protocolos de uso desses
sistemas?
Para a transparência, deve-se avaliar (i) Existe alguma previsão de política de
transparência e comunicação aos cidadãos sobre o uso dos sistemas de
reconhecimento facial?
Para a segurança, deve-se avaliar (i) Quais medidas técnicas foram
implantadas para a proteção dos dados coletados pelos sistemas de reconhecimento
facial? (ii) O tempo de retenção de dados e motivo para retenção foram definidos?
Para a não-discriminação, deve-se avaliar (i) Há medidas técnicas e/ou
transparência com relação aos riscos de vieses no uso de sistemas de
reconhecimento facial? (ii) Há avaliações de impacto social dos sistemas de
reconhecimento facial?
Dado os problemas levantados anteriormente em experiências internacionais,
também é necessário avaliar os seguintes pontos (i) Identificar algoritmo/fornecedor
utilizado para treinamento do reconhecimento facial; (ii) Avaliação da possibilidade do
cidadão optar por não ser submetido ao reconhecimento facial; (iii) Há diversidade de
dados na base de treinamento de variáveis, como gênero, idade, etnia e orientação
sexual ?; (iv) Quais direitos fundamentais podem ser afetados a partir do resultado ?
(v) Estatísticas sobre a precisão da tecnologia (falsos positivos, falsos negativos,
acurácia, erro, entre outros); (vi) Os dados tratados nos sistemas de reconhecimento
 198

facial adquiridos de outros países ou empresas privadas, são enviados para fora do
país ou compartilhados com outras empresas? (vii) Quais riscos existentes, formas
de tratamento e quais não foram tratados? (v iii) Como são tratados/eliminados os
dados de pessoas que não atendem à finalidade do sistema? (ix) Quais traços de
comportamento são monitorados? e (x) Há possibilidade de intervenção humana nos
resultados243?
A partir de estudos realizados, como o caso de Grother et al (2019, p. 26-28),
também é necessário avaliar se o algoritmo e/ou fornecedor, possuem taxas de falsos
positivos e falsos negativos aceitáveis e inversamente proporcionais aos impactos
negativos que o sistema pode gerar. Todas as informações mencionadas
anteriormente devem ser publicizadas. Em caso de hipóteses de sigilo ou exceção
para não divulgação, devem ser justificadas.
Em sistemas novos, antes do desenvolvimento ou contratação de terceiros,
as informações mencionadas anteriormente devem ser levantadas e submetidas ao
escrutínio público, principalmente se o resultado obtido pelo sistema resultar em
violações de direitos fundamentais.
Além do tratamento do risco, é necessário estabelecer uma cadeia de
responsabilidade desde a concepção ou prospecção de um sistema de IA. Essa
cadeia de responsabilidade pode incluir representantes dos fornecedores das
tecnologias utilizadas na solução. A responsabilidade sobre o uso de IA na segurança
pública abrange os funcionários, supervisores e equipes envolvidas na concepção,
desenvolvimento e arquitetura da tecnologia, bem como aqueles que irão operar os
sistemas em uso (SENADO FEDERAL, 2022b, p. 839).
No contexto das aplicações na segurança pública, a responsabilidade se
refere principalmente aos seguintes aspectos: garantir que os indivíduos afetados
entrem em contato com o responsável pelo sistema com garantia de atendimento de
sua demanda; e assegurar que os responsáveis pelo fornecimento da tecnologia
estejam comprometidos com a precisão/acurácia das soluções e com seus impactos
sociais, sejam eles intencionais ou não.

243 Masseno (2022) aborda a questão da intervenção humana em sistemas de alto risco, como na
utilização de sistemas de inteligência artificial para a prevenção de crimes graves e do terrorismo.