Machine Translated by Google
Equipe de Análise e Pesquisa
ARTE - ARTIGO DE PESQUISA
ChatGPT no setor público –
exagerado ou negligenciado?
ÿ
Sumário executivo
O sucesso sem precedentes de ferramentas
de IA como o ChatGPT pegou muitos de
surpresa. Mas os modelos de linguagem
grande (LLM) estão aqui para ficar e
continuarão a crescer em sofisticação. Esses
modelos usam algoritmos de processamento de linguagem natural
para interpretar e responder à entrada humana baseada em texto.
Embora seja possível entender os princípios básicos que
impulsionam modelos como o ChatGPT, as empresas por trás
deles - principalmente com sede nos Estados Unidos - estão se
tornando cada vez mais reticentes em divulgar informações
detalhadas sobre o código e os parâmetros que determinam a maneira como geram suas saídas.
Isso torna mais desafiador avaliar as implicações e o impacto da
integração de grandes modelos de linguagem no local de trabalho.
No atual ritmo de expansão, é apenas uma questão de tempo até
que tais modelos sejam integrados ao setor público com amplas
aplicações práticas, vantagens e possíveis ganhos de
eficiência, desde a disponibilidade 24 horas por dia, 7 dias por
semana, até o gerenciamento de grandes volumes de consultas
simultaneamente.
Mas também há limitações. Embora a IA sofisticada, como o
ChatGPT, possa parecer extremamente inteligente, capaz e
confiável, essa não é uma imagem totalmente precisa. O ChatGPT
certamente tem alguns recursos em uma velocidade e escala que
os humanos não têm, mas às vezes fornece respostas imprecisas,
tendenciosas ou sem sentido. Sua abordagem puramente
matemática do raciocínio não deve ser confundida com a
inteligência humana.
Isenção de responsabilidade: as opiniões expressas são exclusivamente do(s) autor(es). Em nenhum caso devem ser considerados ou interpretados como representando uma
posição oficial do Conselho da União Europeia ou do Conselho Europeu. © União Europeia, 2023 Reprodução autorizada mediante indicação da fonte. Qualquer questão ou comentário
deve ser dirigido a ART@consilium.europa.eu
ÿ
2023
24 de abril
Se o ChatGPT e ferramentas semelhantes se tornarem parte dos
fluxos de trabalho diários, essa tendência também afetará as
instituições públicas. Ao fornecer serviços que são fundamentais
para o funcionamento do Estado e afetam os direitos e obrigações
dos cidadãos, o setor público é particularmente sensível à
introdução de tais tecnologias baseadas em IA. A administração
pública tem características e princípios próprios que a distinguem
do setor privado. Por extensão, os princípios-chave da administração
pública, como responsabilidade, transparência, imparcialidade ou
confiabilidade, precisam ser considerados minuciosamente no
processo de integração.
Para beneficiar das vantagens oferecidas pelo ChatGPT e
ferramentas similares, os riscos devem ser reconhecidos, geridos
e, sempre que possível, mitigados. Enquanto algumas das
limitações existentes serão superadas pelos avanços tecnológicos,
outras, como vieses, são de natureza mais estrutural e não podem
ser totalmente corrigidas. Medidas são, portanto, necessárias para
garantir que os procedimentos apropriados e controles humanos
estejam em vigor, bem como o estabelecimento de ciclos de
feedback dos cidadãos e auditorias independentes.
Na ausência de regulamentação clara sobre a responsabilidade
do ChatGPT, são necessários humanos para monitorar a produção,
especialmente ao considerar o que está por vir. E somente os
seres humanos podem fornecer serviços personalizados,
flexibilidade, inteligência emocional e pensamento crítico
necessários para atender aos requisitos do serviço público.
ÿ1
Machine Translated by Google
Introdução
O lançamento do ChatGPT em novembro de 2022 gerou
um debate animado sobre seus pontos fortes e fracos, seu
potencial, possíveis riscos e suas respostas ocasionalmente
bizarras. Para cortar essas discussões, é importante dar
um passo atrás e perceber que modelos de linguagem
grandes (LLMs), como o ChatGPT, já fazem parte do nosso
dia a dia há algum tempo: as pesquisas do Google em
inglês, por exemplo, foram suportadas por IA tecnologia
desde 2019. No entanto, as implicações práticas e políticas
do ChatGPT permanecem difíceis de definir, e é importante
evitar subestimar ou superestimar as capacidades dos
LLMs.
Também há questões importantes sobre quem está
desenvolvendo essa tecnologia e onde. Essas questões
são críticas para o processo de integração dos LLMs no
local de trabalho, principalmente para o setor público.
Esta nota toma o ChatGPT como base para avaliar o
impacto de modelos linguísticos cada vez mais sofisticados
no setor público e os princípios em que se baseia. É preciso
um objetivo e factual
1. O que é ChatGPT
O ChatGPT é uma forma de Inteligência Artificial que pode
processar e produzir linguagem natural e que é capaz de
realizar uma grande variedade de tarefas baseadas em texto.
O próprio ChatGPT não entende o significado do texto que
produz. Suas respostas são baseadas em estatísticas e
probabilidades, mas tem sido suficientemente
Como chegamos aqui?
A linguagem sempre esteve no centro da inteligência
artificial (ver fig.1). Desde que a IA foi concebida em um
contexto computacional, principalmente pelo decifrador da
,
Enigma, Alan Turing, na década de 19502, a "inteligência"
de um programa de IA tem sido medida por sua capacidade
de imitar as capacidades da linguagem humana3 . Até a
década de 1980, o desenvolvimento de modelos de
linguagem (e IA de forma mais ampla) visava não apenas
imitar a linguagem humana, mas realmente apreendê-la.
No final da década de 1980, a abordagem mudou para
modelos probabilísticos, que produziam resultados com
base em cálculos informados por conjuntos de dados e que
levaram ao surgimento de modelos estatísticos de linguagem4 . plataformas, esses conjuntos de dados cresceram
ÿ2
veja a tecnologia por trás do ChatGPT. Também destaca
possíveis riscos e oportunidades que isso pode criar para
o setor público agora e no futuro.
Para melhorar nossa compreensão do que LLMs como o
ChatGPT podem significar para o setor público, o documento
começa analisando como o ChatGPT funciona, quem está
por trás dele e o que o diferencia de outros modelos de
linguagem e chatbots. Isso leva a uma avaliação da
extensão em que os modelos linguísticos podem ajudar a
apoiar o trabalho dos servidores públicos, mas também de
seus riscos e armadilhas potenciais. Em seguida, analisa
como isso pode ser mitigado. O artigo termina avaliando o
desenvolvimento futuro dos LLMs e suas possíveis
implicações para o futuro do setor público.
Um glossário no Anexo contém explicações de alguns dos
termos técnicos que aparecem ao longo do documento.
ajustados para fazê-los parecer originários de uma fonte
humana. É importante lembrar que ele não tem a capacidade
de processar e compreender o significado da forma como
os humanos o fazem1 .
“ChatGPT não entende o
significado do texto que produz. Suas respostas
são baseadas em estatísticas e probabilidades”
O século 21 viu um crescimento exponencial na sofisticação
da inteligência artificial, especialmente desde o surgimento
do 'Big Data' na década de 2010. Big Data refere-se a
conjuntos de dados extremamente grandes contendo
diferentes tipos de dados que podem ser analisados
computacionalmente para revelar correlações, padrões e
tendências dentro de uma população particular. Juntamente
com o crescente domínio do mercado de grandes empresas
de tecnologia com sede nos EUA, como Amazon, Apple,
Google e Meta, que coletam dados por meio de suas
maciçamente e constituem um pool de recursos sem precedentes.
Machine Translated by Google
ÿ3

1950 No entanto, foi o desenvolvimento de técnicas de

Os primeiros trabalhos em
processamento de linguagem
natural (PNL) concentram-
se em sistemas baseados em
regras, com pesquisadores
desenvolvendo gramáticas artesanais
e regras semânticas para analisar e gerar texto.
Computação de Turing aprendizagem profunda5 , particularmente redes neurais
Máquinas e Inteligência e transformadores
, posteriores6 que permitiram a criação
de modelos de linguagem muito maiores e mais sofisticados.
1960 Os teóricos da lógica O texto gerado por esses modelos é geralmente coerente
inventaram
e cheio de nuances, muitas vezes indistinguível da
escrita ou da fala humana. Isso levanta questões éticas
sobre a fusão da comunicação baseada em humanos e
ELIZA
criou baseada em computador.
1970
contagem de parâmetros (em bilhões)
1000
1º
inverno de IA

1980

Sistemas Especialistas 540B PaLM

introduzidos
530B
280B Gopher
megatron
- Turing NLG 176B BLOOM
Modelos estatísticos de linguagem,
2º 175B
como o modelo n-gram e o 175B OPT-175b
inverno de IA GPT-3 137B
Hidden Markov Model (HMM), 1990 100
LaMDA
começam a surgir, usando
modelos probabilísticos para
70B
analisar e gerar linguagem 65B
Chinchila
natural. LLaMa

Derrotas do Deep Blue

Garry Kasparov
2000

O desenvolvimento de
modelos de linguagem 10
baseados em redes neurais,
como o Recurrent Neural
Network (RNN) e o modelo 2010
Long Short-Term Memory
(LSTM), permite a criação de
modelos de linguagem maiores Mercado global de big data
e mais sofisticados, com milhões de atinge US$ 10 bilhões

parâmetros (ver fig.2).

provável 2B
Introdução de
2020 1.5B Bardo/LaMDA
Arquitetura do transformador
1 GPT-2 leve

O desenvolvimento e
aceleração de grandes
modelos de linguagem (LLMs). 117 milhões

GPT-2

Lenda
345M BERT grande
110M BERT base
0,1
Progresso dos LLMs

2018 2019 2020 2021 2022 2023

marcos de IA

2022
Atividade reduzida Lenda
Bate-papoGPT: N/A
ou progresso limitado
OpenAI Big Science
no campo da IA 2023
Google / DeepMind Microsoft / NVIDIA
Pardal: N/A
meta
GPT-4: N/A
Fig. 1: Crescimento exponencial do desenvolvimento da

inteligência artificial Fig. 2: Parâmetros dos modelos selecionados em milhões (M) ou bilhões (B)
Machine Translated by Google
Como funciona o ChatGPT?
O ChatGPT é um chatbot7 de IA que se sobrepõe a um Large
Language Model (LLM), um tipo de modelo de aprendizado de
máquina projetado para processar linguagem natural (consulte
a fig.3). Esses modelos fazem parte do que é chamado de
sistemas de IA de propósito geral, que podem executar uma
variedade de tarefas gerais, como tradução, detecção de
padrões ou resposta a perguntas8 . Os LLMs usam grandes
quantidades de texto para inferir a relação entre diferentes
palavras nesses textos e usam essas informações para gerar
seus próprios textos semelhantes aos humanos. Em sua forma
mais básica, os LLMs funcionam de maneira semelhante às
mensagens de texto preditivas em um telefone celular. Eles
determinam quais palavras são estatisticamente prováveis de
aparecer uma após a outra e usam esse conhecimento para
prever a próxima palavra.
No entanto, esses modelos mais simples são incapazes de
compreender conexões mais sutis dentro do idioma que estão
processando. Quando se deparam com várias opções
semelhantes para gerar a próxima palavra em uma frase,
muitas vezes não conseguem escolher a mais apropriada
logicamente9 . Modelos como os usados pelo ChatGPT, os
chamados Transformers, podem resolver esse problema com
um mecanismo chamado de autoatenção10.
A autoatenção permite que esses modelos subdividam seus
dados de entrada em pequenos segmentos (tokens) e atribuam
a eles valores com base na importância de
solicitar
do utilizador
auto atenção
permite que o Transformer atenda a todos
as palavras ao codificá-lo, em vez de apenas as palavras
que estão próximas.
Fig.3: Funcionamento do ChatGPT
ÿ4
cada segmento para o significado geral da sequência de
entrada. Durante seu treinamento, o modelo usa esses valores
para gerar bilhões de pesos normalizados que fornecem uma
base sobre a qual ele pode calcular a resposta mais precisa à
entrada que recebe.
O modelo do ChatGPT executa esses cálculos várias vezes
seguidas, o que permite reconhecer mais significados
subtextuais, como humor. No entanto, isso também explica
por que pode acabar gerando respostas diferentes para
perguntas muito semelhantes: variar a posição de uma palavra
em uma frase desencadeia uma sequência diferente de
cálculos, que por sua vez leva a respostas formuladas de
maneira diferente.
Os LLMs podem ser classificados tanto por seus parâmetros
quanto pela quantidade de dados usados para treiná-los.
Parâmetros são os pesos e vieses que o modelo aprendeu
durante seu treinamento. Eles conduzem seus processos de
tomada de decisão, como neurônios em um cérebro humano.
Durante a fase de treinamento, esses parâmetros são
constantemente ajustados e atualizados por um algoritmo de
autoaprendizagem dentro do modelo. Como regra geral,
quanto mais parâmetros um modelo tiver, mais ampla será a
gama de tarefas que ele pode realizar11. Quanto mais dados
de treinamento forem alimentados, mais precisamente ele
poderá ajustar seus pesos e com mais precisão responderá à
consulta de um usuário12.
chatgpt saída
modelo de linguagem grande
baseado em transformadores
resposta extensa
baseada em contexto
redes neurais
transformadoras que aprendem o
contexto e o significado em dados
sequenciais rastreando as relações entre as palavras.
parâmetros afinação
pesos e vieses que o modelo aprendeu durante adapta os parâmetros de autoaprendizagem
seu treinamento conduzindo seu processo de do modelo para tarefas específicas com dados
tomada de decisão. de treinamento personalizados.
Machine Translated by Google
Depois de algum treinamento inicial, os LLMs geralmente são
ajustados para gerar respostas mais alinhadas com a intenção do
usuário. Modelos com ajuste fino podem ser baseados em
modelos maiores com capacidades mais gerais. Por exemplo, o
modelo por trás da versão inicial do ChatGPT é baseado em um
LLM existente que foi otimizado para criar conversas com som
mais natural13. O que diferencia o ChatGPT de outros modelos
de linguagem é a forma como o ser humano
Quais empresas estão por trás disso?
O ChatGPT foi criado por uma empresa chamada OpenAI, uma
empresa de pesquisa e implantação de IA (consulte a fig.4).
Fundada em 2015 por Sam Altman, Elon Musk16 e vários ex-
pesquisadores de outras empresas de IA (ver. fig.5), a OpenAI
visa “garantir que a inteligência geral artificial (AGI) - com o que
queremos dizer sistemas altamente autônomos que superam os
humanos em trabalho economicamente mais valioso - beneficia
toda a humanidade”17. Inicialmente um laboratório de pesquisa
sem fins lucrativos, a OpenAI criou uma subsidiária de negócios18,
que lhe permitiu entrar em uma parceria comercial exclusiva com
a Microsoft em 2019, um negócio que incluiu um investimento de
US$ 1 bilhão. Em janeiro de 2023, ambas as empresas
anunciaram a extensão de sua parceria, com a Microsoft
investindo mais US$ 10 bilhões19.
A OpenAI desenvolveu vários produtos de IA, principalmente sua
série de modelos generativos de linguagem trans pré-treinados,
GPT-1 -to -4, e vários outros modelos mais especializados, como
a imagem
Como é a competição?
A OpenAI não é a única empresa desenvolvendo e implantando
grandes modelos de linguagem em escala. De fato, embora o
GPT-3, o modelo no qual o ChatGPT se baseia, tenha sido de
longe o maior modelo de idioma quando lançado em 2020, ele
não é mais o maior nem o mais preciso. O ChatGPT original
lançado em 30 de novembro de 2022 está usando um modelo
chamado GPT-3.5-turbo, que é uma versão aprimorada do
modelo GPT-3 original24. Os detalhes de sua arquitetura não
foram revelados pela OpenAI, mas algumas fontes assumem que
ela pode ter apenas 20B de parâmetros25.
No entanto, desenvolver um modelo de linguagem como o
ChatGPT pode ser um processo complexo. Como treinar e
executar um grande modelo de linguagem pode ser muito
ÿ5
o feedback foi usado durante o processo de ajuste fino para
garantir que a saída esteja mais alinhada com as intenções do
usuário14.
Além de modelos de geração de texto como o ChatGPT, agora
também existem LLMs especializados em gerar imagens ou
mesmo vídeos a partir de entradas escritas.
Técnicas de grandes modelos de linguagem também são usadas
para completar e gerar frases faladas15.
modelos de geração DALL-E e DALL-E 2. Também oferece uma
interface de programação de aplicativos (API), que permite aos
clientes pagantes desenvolver seus próprios aplicativos em cima
de seus modelos e que fornece suas próprias ferramentas20.
Apesar de sua proclamada intenção de desenvolver IA para o
benefício de toda a humanidade, a OpenAI tornou-se muito
menos transparente nos últimos anos. Desde a sua mudança de
estrutura de uma organização sem fins lucrativos para uma
subsidiária comercial, não é mais obrigada a publicar os salários
de seus principais funcionários21. Enquanto o GPT-2 era de
código aberto e foi lançado com pesos de código e modelo22,
seu sucessor, GPT-3, e todos os modelos subseqüentes
permaneceram proprietários23. Isso significa que pouco se sabe
sobre a arquitetura do modelo por trás da versão inicial do
ChatGPT, o modelo de maior sucesso da OpenAI até o momento,
e a empresa se recusa a publicar informações detalhadas sobre
o código e os parâmetros que sustentam os processos de tomada
de decisão de seus modelos recentes .
caros, poucos atores podem se dar ao luxo de desenvolvê -los26.
Grandes empresas de tecnologia e algumas start-ups bem
financiadas, portanto, dominam o mercado.
Em parte em resposta aos altos custos de execução do ChatGPT,
a OpenAI introduziu um plano de assinatura de $ 20/mês
chamado ChatGPT Plus em 1º de fevereiro de 2023.
Os assinantes obtêm acesso preferencial ao ChatGPT, bem como
acesso prioritário a novos desenvolvimentos. Em 14 de março de
2023, a OpenAI lançou um modelo novo e supostamente muito
melhorado chamado GPT-4. O lançamento foi acompanhado por
uma documentação detalhada sobre o teste de segurança GPT-4,
mas, de acordo com os lançamentos anteriores, não continha
nenhum detalhe sobre o tamanho do modelo e os dados de
treinamento.
Machine Translated by Google
ÿ6

Estrutura organizacional da OpenAI

OpenAI LP
OpenAI Inc.
(Sociedade Limitada)
(Incorporado)
Corporação comercial Subsidiária
Organização sem fins lucrativos
Fundada em 2015 como limitada com fins lucrativos fundada em

2019 pela OpenAI Inc.

um laboratório de pesquisa sem fins lucrativos

OpenAI LP é governado e
gerenciado pela OpenAI Inc's
Conselho Administrativo

Governança: O Conselho de Administração da OpenAI Inc é composto por:

Funcionários da OpenAI LP ÿ não funcionários

investidores atuais ÿ
Greg Brockman (presidente e presidente) ÿ Sam ÿ Adam D'Angelo ÿ Tasha McCauley ÿ Reid
Hoffman ÿ Helen Toner Microsoft ÿ
Altman (CEO) ÿ Ilya
ÿ Will Hurd ÿ Shivon Zilis Reid Hoffman Foundation ÿ Khosala
Sutskever (cientista-chefe)
Ventures

ChatGPT
é um produto de pesquisa e desenvolvimento da OpenAI
possibilitado em parte por sua parceria com a Microsoft

OpenAI—Parceria da Microsoft

A parceria permite que a OpenAI aproveite a experiência e os recursos da Microsoft para avançar em suas pesquisas, enquanto a
Microsoft obtém acesso à tecnologia de ponta de IA da OpenAI para aprimorar seus próprios produtos e serviços.

A Microsoft é um grande investidor na OpenAI LP.

supercomputadores
No entanto, a OpenAI continua sendo uma entidade separada da Microsoft.
ÿ A Microsoft é o provedor de nuvem exclusivo da
um investimento total de $ 13 bilhões ÿ 2019: OpenAI para todas as suas necessidades de
parceria comercial exclusiva, investimento de $ 1 computação. ÿ Microsoft e OpenAI trabalham em
bilhão. ÿ Jan. 2023: novo
conjunto nos supercomputadores Azure AI da Microsoft.
investimento de US$ 10 bilhões.

Microsoft e OpenAI oferecem várias ferramentas de IA

ÿ api: Azure OpenAI Services combina a API da OpenAI com a plataforma de computação em nuvem
Microsoft Azure e permite o acesso a GPT-3, DALL-E2 (somente por convite) e outros modelos da OpenAI.
ÿ pesquisa: a Microsoft está integrando o GPT-4 em seu mecanismo de
pesquisa Bing. ÿ outros produtos: a Microsoft poderia incluir modelos de
linguagem OpenAI em outros aplicativos, como seus programas do Office.

Observação: ambas as empresas podem comercializar independentemente a tecnologia avançada de IA resultante de suas pesquisas conjuntas.

Fig.4: Estrutura da OpenAI e parceria com a Microsoft

Machine Translated by Google
O que destaca o ChatGPT é a acessibilidade do modelo
subjacente e o processo de treinamento. O ChatGPT inicial
usa um dos maiores LLMs acessíveis ao público, e o primeiro
a ser treinado com feedback humano - tudo o que é necessário
para usá-lo é uma conta ChatGPT gratuita27. A forma como
o modelo foi ajustado para permitir interação semelhante a
uma conversa e até perguntas de acompanhamento o torna
único até agora em comparação com outros LLMs28. Isso
não significa que o ChatGPT seja sempre preciso: vários
artigos pré-impressos documentam que, embora o ChatGPT
funcione muito bem ao realizar várias tarefas de raciocínio e
diálogo, ele luta com raciocínio e matemática mais
complexos29. Mesmo com seu elaborado ajuste fino, ele
ainda inventa informações, e seus recursos de segurança
integrados em conteúdo indesejado podem ser contornados30.
Apesar dessas deficiências, o ChatGPT ganhou popularidade
rapidamente. Desde o seu lançamento em novembro de
2022, o número de usuários diários vem aumentando
constantemente, com mais de 40 milhões de visitas diárias
até o final de fevereiro31.
Até o lançamento do ChatGPT, nenhuma outra empresa
comercial havia concedido acesso nesta escala a um
aplicativo tão versátil e preciso. A maioria dos modelos de
linguagem grande de última geração são proprietários com
acesso pago apenas. Isso necessariamente limita sua
disponibilidade. Grandes empresas estabelecidas tendem a
relutar em fornecer acesso público gratuito
Os apoiadores financeiros iniciais da OpenAI
investidores corporativos iniciais
prometeram coletivamente US$ 1 bilhão
ÿ 1. Amazon Web Services (AWS) ÿ
2. Y Combinator (incubadora de startups) ÿ
3. Infosys (gigante indiano de TI)
investidores individuais iniciais
ÿ 4. Sam ALTMAN (Y Combinator) ÿ
5. Elon MUSK (CEO da Tesla) ÿ
6. Peter THIEL (co-fundador do PayPal)
ÿ 7. Jessica LIVINGSTON (parceira da Y Combinator)
ÿ 8. Reid HOFFMAN (co-fundador do LinkedIn )
ÿ 9. Ilya SUTSKEVER (DeepMind)
Fig.5: Investidores corporativos e individuais iniciais da OpenAI
ÿ7
às suas aplicações de IA, principalmente por preocupação
com danos à reputação, caso sua tecnologia produza
respostas ofensivas ou imprecisas. No entanto, a estratégia
incomum da OpenAI de liberar o ChatGPT para o público
gerou uma corrida entre grandes empresas de tecnologia
para lançar sua própria IA para um público mais amplo32.
Somente em fevereiro de 2023, a Microsoft introduziu um
mecanismo de pesquisa Bing com IA,33 o Google anunciou
a introdução de sua própria IA conversacional chamada
Bard,34 e a Meta lançou seu novo LLM chamado LLaMa sob
uma licença não comercial35.
“[O ecossistema LLM] é amplamente dominado
por um punhado de grandes empresas de
tecnologia baseadas principalmente nos EUA e
um grupo de start-ups bem financiadas”
No geral, embora existam alguns outros participantes no
grande ecossistema de modelos de linguagem, ele é
amplamente dominado por um punhado de grandes empresas
de tecnologia sediadas principalmente nos Estados Unidos e
um grupo de start-ups bem financiadas, cujos funcionários
muitas vezes passam a criar suas próprias startups. O
ChatGPT atraiu a atenção de um público mais amplo graças
à sua interface de usuário de fácil acesso e à forma como
foi afinado para responder às consultas.
5
1
2
6
7
3
8
9
Machine Translated by Google
E a indústria da UE?
Quando se trata de grandes modelos de linguagem, as
empresas europeias têm lutado para acompanhar.
Até o momento, todos os modelos de linguagem grande
de ponta foram desenvolvidos fora da UE36 (ver fig. 6).
Grande parte do desenvolvimento europeu de IA é
apoiado pela academia, o que pode ser uma
desvantagem em um campo onde a maioria dos
desenvolvimentos de ponta vem de entidades
comerciais (ver fig. 7). De acordo com um estudo da
Large European AI Models (LEAM), uma iniciativa de
associações nacionais de IA em toda a Europa, a
indústria dos EUA está até dois anos à frente dos
concorrentes europeus e de código aberto quando se
trata de capacidades LLM37. Os LLMs lançados pelos
estados membros da UE tendem a ser modelos menores
e menos intensivamente treinados que melhoram ou
imitam os modelos existentes. BLOOM, um LLM de
código aberto desenvolvido por um grande coletivo
científico e treinado em um supercomputador francês,
e Lumi nous, o LLM desenvolvido pela start-up alemã
Aleph Alpha, são duas exceções notáveis38. A principal
razão para isso é a dificuldade de acesso ao capital de
risco, a falta de capacidade computacional e a insuficiência deconcurso
Levantar capital é um dos maiores obstáculos para
novos entrantes no mercado, o que coloca os
concorrentes europeus em desvantagem significativa.
Outra é a falta de supercomputadores disponíveis
comercialmente, onde os países europeus dependem
muito mais de iniciativas públicas do que os EUA e a China40.
entre ciência, negócios e tecnologia financiado pelo
Existem várias iniciativas em andamento destinadas a
melhorar a posição da Europa no LLM. Aleph Alpha
está lançando o comercial mais rápido da Europa
China
15%
Local
73% NÓS
de
desenvolvimento do LLM
Outro 13%
Fig.6: Origem geográfica de modelos de linguagem grandes de
ponta (LLM)
ÿ8
“A indústria americana está até dois anos à frente
dos concorrentes europeus e de código aberto
quando se trata de capacidades LLM”
Centro de dados de IA41. O LEAM produziu um estudo
de viabilidade apoiado pelo governo alemão, que estima
que a construção de uma infraestrutura de
supercomputação adequada para o desenvolvimento
de IA na Alemanha custará € 350-400 milhões42. A
Empresa Comum Europeia de Computação de Alto
Desempenho (EuroHPC JU) é uma iniciativa conjunta
entre a Comissão, países europeus e parceiros privados
para desenvolver um ecossistema de supercomputadores
europeus43. Ela está desenvolvendo oito
supercomputadores, um dos quais é atualmente o
terceiro mais rápido globalmente44. O consórcio para
High-Performance Language Technologies (HPLT) visa
desenvolver materiais de formação multilingues e treinar
modelos linguísticos que suportem as línguas
europeias45. Além disso, a Comissão lançou um
talentos de
disponíveis39.
20 milhões de euros para compreensão e
interação da linguagem natural em tecnologias
avançadas de linguagem por meio do programa
Horizon, para promover um “desenvolvimento ético e
centrado no ser humano” de modelos de linguagem46.
Finalmente, o OpenGPT-X, um projeto colaborativo
governo alemão, constrói e treina LLMs para a economia
da UE e pretende oferecer versões de código aberto de
seus modelos47.
Entidades
entidades Instituições
86% 13%
comerciais em desenvolvimento
acadêmicas
LLM
1%
Outro
Fig.7: Tipo de entidades na vanguarda do desenvolvimento de
modelo de linguagem grande (LLM) de ponta
Machine Translated by Google
2. Qual seria o impacto do uso
modelos de linguagem no setor público?
A natureza do trabalho está tendo que se adaptar rapidamente ao
uso crescente de inteligência artificial. Os LLMs já facilitam o
atendimento automatizado ao cliente, a tradução on-line e a análise
automática de dados, permitindo que as empresas reduzam os
níveis de pessoal e economizem custos.
Mas o setor público tem um conjunto bastante diferente de
prioridades com base no princípio de servir ao interesse público e
precisa respeitar padrões mais elevados de responsabilidade. O
papel do setor público na
Como os LLMs poderiam apoiar o trabalho dos funcionários públicos?
“O fato de os LLMs terem capacidades além
a dos humanos não significa necessariamente que
todos (ou quaisquer) empregos desaparecerão”
O fato de os LLMs terem capacidades além das dos humanos não
significa necessariamente que todos (ou quaisquer) empregos
desaparecerão. A dicotomia de substituir empregos por meio da
digitalização em oposição à preservação de empregos ao custo da
eficiência não é tão polarizada quanto parece. É importante
distinguir entre o uso de LLMs para tarefas específicas e limitadas
e seu potencial para substituir empregos inteiros. Uma abordagem
orientada a tarefas para LLMs na administração pública pode
permitir que os funcionários gastem menos tempo trabalhando em
tarefas mundanas. O tempo economizado pode ser usado para
trazer uma perspectiva mais humana ao seu trabalho, permitindo
que mais tempo e energia sejam dedicados a tarefas mais
interessantes ou explorando abordagens alternativas para o seu
trabalho.
Uma das principais vantagens dos grandes modelos de linguagem
é sua capacidade de processar e analisar grandes volumes de
dados com mais rapidez e eficiência do que os humanos.
A maquinaria neste nível de sofisticação requer supervisão e
manutenção humana, o que significa empregos. Trabalhadores
qualificados em áreas como análise de dados, segurança cibernética
e tecnologia podem usar LLMs para assumir determinadas tarefas,
mas, ao mesmo tempo, haverá a necessidade de os trabalhadores
assumirem novas tarefas e responsabilidades. Um relatório do
Fórum Econômico Mundial de 2020 prevê que até 2025, 85 milhões
de empregos serão afetados (mas não necessariamente
substituídos) por máquinas, mas 97 milhões de novos empregos
podem surgir como parte de
ÿ9
a prestação de serviços que apoiem o funcionamento do Estado, e
que afetem os direitos e obrigações dos cidadãos individuais, torna-
o particularmente sensível à introdução de novas tecnologias
baseadas em IA. Há uma variedade de possíveis casos de uso de
LLMs para o trabalho de funcionários públicos, mas eles também
podem afetar os principais princípios que sustentam o trabalho do
setor público.
esta transição48. Mais recentemente, uma pesquisa da Goldman
Sachs estima que 300 milhões de empregos em tempo integral
podem ser afetados49.
Uma aplicação potencial de LLMs no setor público diz respeito a
chatbots e assistentes virtuais50.
Esses modelos podem ser usados 24 horas por dia, 7 dias por
semana, para fornecer um atendimento rápido e eficiente, tirar
dúvidas e resolver problemas básicos sem a necessidade de
intervenção humana. Isso pode ajudar a liberar o tempo dos
funcionários públicos, permitindo que eles se concentrem em
tarefas mais complexas e de alta prioridade. Outra área em que os
LLMs podem ser aplicados na administração pública é na análise
de documentos ou textos. Um LLM poderia ser treinado para
identificar informações importantes em documentos complexos,
como contratos legais, reduzindo o tempo necessário para que
sejam revisados por funcionários públicos. Modelos de linguagem
grandes também podem ser usados em processos de tomada de
decisão, como avaliação de solicitações de subsídios ou
determinação de elegibilidade para serviços sociais. Ao processar
e analisar quantidades substanciais de dados com rapidez e
precisão, os LLMs têm o potencial de apoiar uma tomada de
decisão mais justa e rápida.
No entanto, os LLMs ainda carecem de uma compreensão
diferenciada das emoções, intenções e contexto humanos, razão
pela qual algum grau de supervisão humana permanecerá
necessário.
LLMs como o ChatGPT podem ser treinados em dados financeiros
e contábeis para fornecer insights, responder perguntas, gerar
relatórios e fornecer consultoria financeira com base nas tendências
de mercado e análise de dados.
Na área de recursos humanos, os LLMs podem auxiliar em tarefas
como triagem de currículos, correspondência de candidatos e
realização de entrevistas iniciais.
Machine Translated by Google
É tecnicamente possível treinar LLMs para realizar triagem
automatizada de currículos e recomendar os candidatos mais
qualificados. Eles podem analisar grandes volumes de dados
baseados em texto, como descrições de cargos e currículos,
para identificar padrões e fazer previsões com base em
decisões anteriores de contratação. Crucialmente, a qualidade
das recomendações dependeria muito da qualidade e
quantidade do conjunto de dados inicial e pode não capturar
fatores cruciais, como habilidades de comunicação não
verbal, atitudes em relação à ética no trabalho e histórico
cultural, pois o LLM pode não ter foram treinados em uma
gama suficientemente ampla de dados para capturar essas
nuances. Isso significa que confiar apenas em um sistema de
recrutamento baseado em IA pode levar a preconceitos e
discriminação e, como tal, levanta algumas questões éticas.
Como os LLMs podem afetar os princípios fundamentais das administrações públicas?
O setor público tem características específicas e é baseado
em uma série de princípios que o distinguem em muitos
aspectos do setor privado. Existem aplicações práticas muito
amplas, vantagens e possíveis ganhos de eficiência na
integração de uma ferramenta como o ChatGPT dentro de
uma administração pública. No entanto, os riscos associados
devem ser reconhecidos, geridos e, sempre que possível,
mitigados. A próxima seção deste artigo avalia o impacto da
possível introdução de LLMs como o ChatGPT no setor
público em relação a cada um dos oito princípios europeus
de administração pública inspirados nos padrões
estabelecidos pela UE/OCDE51 para os países candidatos à
UE:
ÿ Transparência e responsabilidade:
responsabilidade é sobre uma administração reconhecer e
assumir a responsabilidade por suas ações e ser capaz de
fornecer razões satisfatórias para justificá-las. A
transparência52 facilita o escrutínio e a responsabilização.
Isso pode ser mais desafiador se os LLMs forem integrados
aos procedimentos administrativos. Como muitas outras
formas de IA, os LLMs são essencialmente 'caixas pretas', o
que significa que o código-fonte da maioria dos modelos é
proprietário e, em qualquer caso, confusamente complexo.
As empresas de tecnologia há anos usam o argumento do
interesse comercial para resistir a dar acesso a seus
algoritmos,53 mas mesmo aqueles por trás desses modelos
não entendem totalmente suas criações. Como os LLMs se
treinam autonomamente em seus conjuntos de dados e não
explicam seu raciocínio, é quase
ÿ 10
No setor jurídico, os LLMs podem ser usados para analisar e
resumir grandes volumes de textos jurídicos para apoiar os
advogados do setor público. Eles poderiam ser treinados
para responder a questões jurídicas e fornecer aconselhamento
jurídico, embora isso exigisse muita atenção aos princípios
éticos e legais. A longo prazo, o uso de LLMs pode levar à
perda de conhecimentos e habilidades entre os profissionais
do direito. No entanto, também é possível que grandes
modelos de linguagem possam ser usados para apoiar o
trabalho de advogados humanos, permitindo que eles se
concentrem em questões jurídicas mais complexas e
diferenciadas.
impossível entender por que eles chegaram a um determinado
resultado.54 Para decisões sensíveis das administrações
públicas, como as relacionadas à atribuição de benefícios
sociais, isso levanta questões críticas em torno da área de
prestação de contas.55
ÿ Igualdade e imparcialidade
significam fornecer o mesmo tratamento a diferentes
grupos de pessoas com o mesmo padrão,
independentemente de sua origem.
O ChatGPT e o GPT-4, como a IA em geral, estão sujeitos a
preconceitos56 e discriminação, apesar dos esforços da
OpenAI para reduzir isso. Vieses não são necessariamente
negativos. Eles podem, por exemplo, ser usados para adaptar
serviços a conjuntos de habilidades e públicos-alvo específicos
ou para proteger os direitos das minorias. Por outro lado, os
preconceitos podem prejudicar a capacidade das
administrações públicas de agir com imparcialidade. A
agência humana nas administrações públicas nunca está
totalmente isenta de preconceitos, como mostram numerosos
estudos. E, de acordo com uma pesquisa recente do
Eurobarômetro, 74% dos cidadãos da UE também acreditam
que há corrupção nas instituições públicas nacionais em seu
país.57 Os LLMs poderiam, em teoria, ajudar a lidar com
preconceitos arraigados dentro de uma administração
pública.58 Mas, mesmo assim, as decisões não seriam
completamente imparcial. A maioria dos vieses apresentados
em LLMs se origina de seus conjuntos de dados de
treinamento, que geralmente são baseados em subseções
específicas da Internet, como conteúdo do Reddit ou Wikipe
dia.59 Dados em inglês dominam a maioria dos conjuntos de dados, enqua
Machine Translated by Google
sub-representado.60 Por causa dessa predominância, os valores
que determinam o raciocínio de um modelo são baseados
resultados substantivos.
principalmente naqueles de um determinado segmento da sociedade americana.
Devido à maneira como processam a entrada, os modelos de
linguagem autodidata podem espelhar e até mesmo amplificar os
vieses nos dados.61 Tentativas recentes de selecionar conjuntos
de dados e ajustar modelos durante o treinamento levaram a algumas
melhorias. Mas os próprios critérios usados para filtrar conjuntos de
dados refletem os preconceitos culturais dos curadores, que por sua
vez representam apenas um pequeno subconjunto da população.62
Portanto, embora o ajuste fino de modelos como o ChatGPT possa
ajudar, não é uma bala de prata. O contexto e as preferências
pessoais também podem desempenhar um papel significativo em
determinar se um indivíduo considera uma resposta aceitável ou
prejudicial63. Isso também é um problema quando a tomada de
decisões em uma administração pública combina informações
humanas e de IA, com pesquisas indicando que os humanos tendem
a seguir conselhos gerados por IA com mais frequência quando isso
confirma seus preconceitos pré-existentes64. Em geral, a IA tende a
amplificar a dinâmica de poder existente65. Questões de igualdade
e imparcialidade surgem, portanto, de um problema estrutural
fundamental ligado ao fato de que os bancos de dados e aqueles
que os programam tendem a refletir e confirmar a atual visão de
mundo dominante.
ÿ 11
ÿ Eficiência:
trata-se de fazer o uso mais eficaz dos recursos para fornecer
Os LLMs já superam os humanos em muitas tarefas administrativas
básicas. No entanto, esses ganhos de eficiência têm um custo alto:
modelos de linguagem como o ChatGPT exigem enorme poder
computacional tanto para treinamento quanto para operação66. Isso
não é apenas caro, mas traz uma forte pegada de CO2. Por exemplo,
estima-se que o treinamento GPT-3, o
modelo pai do ChatGPT, já gerou cerca de 550t CO2 67, o que
ainda não inclui o custo de funcionamento efetivo do modelo. Por
enquanto, existem poucos incentivos para que os criadores de
modelos considerem o impacto ambiental de seus modelos. Dados
sobre recursos computacionais e pegada de CO2 relativos à
capacidade do modelo geralmente não são publicados, e a escolha
do hardware é determinada mais por habilidades computacionais do
que por emissões e uso de energia68. Parte da pegada dos LLMs
pode ser mitigada no futuro por meio da evolução da tecnologia,
compensações de carbono ou o uso de modelos menores, que são
muito mais baratos de operar e treinar69.
Mas, por enquanto, a corrida tem se concentrado principalmente em
produzir o melhor e mais poderoso modelo de linguagem.
Machine Translated by Google
ÿ 12

ÿ Qualidade da produção: ÿ Previsibilidade e confiabilidade:

garantir a qualidade da produção é importante para a gerando confiança ao se comportar consistentemente com
credibilidade de uma administração pública perante a população integridade e probidade ao longo do tempo.
que ela atende.
LLMs treinados em bancos de dados internos podem servir como

Podem existir ganhos de eficiência na utilização do ChatGPT, memória institucional e simplificar a gestão do conhecimento. Mas
como a capacidade de produzir primeiras minutas ou resumos podem surgir problemas quando se trata de reproduzir resultados.
de documentos administrativos. De acordo com a OpenAI, o Grandes modelos de linguagem podem produzir respostas
GPT-4 oferecerá melhorias adicionais para tarefas mais complexas consistentes, particularmente no caso de consultas curtas e
que exigem o manuseio de instruções mais sutis. No entanto, relativamente simples. No entanto, para entradas mais complexas,
ainda existem limites para a confiabilidade da saída. Em primeiro eles geralmente não conseguem produzir exatamente a mesma
lugar, embora as respostas criadas pelo ChatGPT geralmente resposta para a mesma consulta ao longo do tempo. Em
pareçam convincentes, o conteúdo pode ser bastante superficial. comparação com outros modelos de linguagem, as habilidades
do ChatGPT para recuperar a entrada são notáveis.
A qualidade da saída também depende muito do texto exato do Mas, embora seja capaz de lembrar e incluir a entrada de até
prompt. 3.000 palavras em uma conversa em andamento, ele não
consegue se lembrar de conversas anteriores em diferentes
Em segundo lugar, apesar dos esforços para tornar sua tecnologia tópicos. Quando questionado pela equipa do ART, o próprio
mais confiável, o ChatGPT ainda "alucina" ocasionalmente e ChatGPT indicou que as respostas que gera podem variar com
oferece informações imprecisas ou enganosas. Também tende base no input, no contexto da conversa e nos dados de treino
a fornecer uma resposta – qualquer resposta, em vez de admitir (ver fig.8).
que é incapaz de responder. (Após a integração pela Microsoft
da tecnologia baseada em ChatGPT em seu mecanismo de
busca, o Bing uma vez afirmou que "a corrida foi inventada em
1700 por Thomas Running"70). A OpenAI afirma que com o
GPT-4 é possível reduzir “significativamente” a ocorrência de
alucinações. No entanto, a menos que possam ser completamente
eliminados, uma melhoria poderia - contra-intuitivamente - criar
um risco ainda maior para a qualidade do resultado, uma vez que
maior confiança pode levar a menos escrutínio humano. No caso
do ChatGPT, que não fornece fontes, a maioria das reivindicações
ainda precisaria ser verificada manualmente. Alguns modelos de
linguagem mais especializados já fornecem fontes dentro de um
contexto limitado71.

Em terceiro lugar, não existem padrões ou pontos de referência

estabelecidos em toda a indústria para a segurança e o
desempenho do LLM, o que torna bastante difícil comparar a
qualidade de modelos individuais e escolher aquele que melhor
se adapta a uma tarefa específica72. Finalmente, a dependência
humana induzida da tecnologia pode levar a uma perda de
treinamento e redução correspondente na capacidade dos
humanos de realizar tarefas que podem ser delegadas a máquinas
Fig.8: Resposta do ChatGPT a uma questão colocada pela equipa do ART
ou mesmo a um declínio na capacidade de pensamento crítico.
sobre a sua capacidade de gerar respostas consistentes.
Sem controle de qualidade (humano) adicional, todos esses
elementos podem levar a resultados de qualidade inferior e até
mesmo a erros básicos.
Machine Translated by Google
ÿ O envolvimento e a confiança dos
cidadãos fazem parte dos processos democráticos que
permitem aos cidadãos garantir que as decisões que afetam
as suas vidas sejam tomadas em prol do bem comum.
Os LLMs podem ajudar aqui. Eles podem ser usados para
personalizar e adaptar mensagens aos cidadãos ou deputados,
como no contexto de campanhas políticas.
Isso poderia ajudar organizações ou grupos de indivíduos
sem acesso a profissionais de assuntos públicos a serem
incluídos no processo de tomada de decisão. Os LLMs
também podem apoiar cidadãos que podem se sentir menos
à vontade para redigir cartas para administrações públicas ou
funcionários eleitos.
No entanto, a confiança pode ser prejudicada se os cidadãos
sentirem que a IA está substituindo amplamente a agência
humana na resposta às suas perguntas ou ajudando a moldar
decisões e políticas de sua administração local. Além disso,
o ChatGPT pode ser usado para impulsionar as atividades de
lobby por meio da composição automática de informações
em processos regulatórios, como cartas a autoridades eleitas,
ou para gerar postagens em mídias sociais e comentários em
sites de jornais. Os LLMs podem ajudar a identificar os
indivíduos mais relevantes em todos os níveis do governo e
direcioná-los com uma enxurrada de mensagens
personalizadas73. Dada a capacidade dos LLMs de replicar
mensagens humanas, eles também podem ser usados para
apoiar campanhas de desinformação em grande escala74 e
gerar impressões enganosas da opinião pública. A tecnologia
atual para determinar se um texto foi escrito por uma IA, como
GTP Zero75, não está suficientemente desenvolvida para
permitir uma taxa de detecção confiável.
ÿ Ao serviço do interesse
público: As administrações públicas comprometem-se a
prestar serviços no interesse dos seus cidadãos76.
Mesmo que grandes modelos de linguagem pareçam ser
capazes de replicar a moral humana geral e os valores de
seus dados de treinamento77, não está claro de quem são
os interesses que eles priorizam. Os LLMs exigem grandes
investimentos para financiar seu desenvolvimento e operação.
Apenas um pequeno número de startups bem financiadas e
gigantes da tecnologia têm acesso a esse nível de
financiamento, com o desenvolvimento público e de código aberto ficando
Isso significa que um pequeno número de empresas está
determinando o software e os modelos oferecidos e
ÿ 13
eles o fazem com cada vez menos transparência (conforme
mencionado acima, o lançamento de modelos pela OpenAI
mudou de uma abordagem de código aberto e bem
documentada para uma que fornece pouca ou nenhuma
informação técnica básica). Isto levanta a questão de saber
se a utilização do ChatGPT em áreas sensíveis da
administração pública serve genuinamente o interesse público,
ou melhor, os interesses da sua empresa-mãe ou proprietária.
Mesmo os criadores de LLMs reconhecem o risco de que os
modelos possam ser treinados para dar precedência a um
determinado ponto de vista ou enfatizar demais uma
perspectiva específica79. Até o momento, nem a UE nem os
EUA têm legislação específica em vigor que estabeleça
padrões para a implantação de LLMs, nem possuem uma
agência que supervisione o desenvolvimento de LLMs80,
embora a UE esteja atualmente analisando como os LLMs
podem ser cobertos no âmbito da futura Lei da IA. Sem maior
transparência e supervisão81, é extremamente difícil
determinar quais interesses estão sendo atendidos.
ÿ Proteção e segurança de dados
refere-se à proteção de quantidades significativas de
informações confidenciais ou pessoais mantidas e
gerenciadas pelas administrações públicas.
LLMs como ChatGPT e GPT-4 podem ser usados para
identificar vulnerabilidades em sistemas de computador e
bancos de dados, como erros em linhas de código, mas
existem algumas limitações importantes relacionadas à sua
tendência a alucinações e ao tamanho do código-fonte que
precisa ser ser pequeno o suficiente para caber na janela de
contexto cria algumas limitações. Há também vários modelos
de linguagem que podem ser usados para ajudar a detectar
malware, como o MalBERT82.
Mas também há riscos de LLMs para a proteção de dados.
Ao coletar todas as informações sobre o conteúdo criado
durante o uso de uma contagem ChatGPT-ac de maneira
não anônima e usá-la para treinar versões futuras, o OpenAI
pode gerar acesso a uma enorme quantidade de informações.
Essas informações incluem consultas, respostas, endereços
de IP e localização, que podem ser divulgadas às afiliadas e
serão armazenadas em servidores baseados nos Estados
Unidos83. Qualquer pessoa que possua esses dados de uma
administração pública pode obter insights sobre discussões
internas.
Emtrás78.
para sua documentação lançada junto com o GPT-4,
o OpenAI afirma que foi ajustado
Machine Translated by Google
ÿ 14

em 'tráfego de produção (com consentimento dos usuários)'.
Este consentimento é, na prática, concedido automaticamente
por qualquer pessoa que se inscreva em uma conta para usar
o ChatGPT ou outros modelos OpenAI84.
Em segundo lugar, foi demonstrado que os LLMs memorizam
seus dados de treinamento, que podem ser extraídos por
usuários qualificados do modelo por meio de técnicas
relativamente simples85. Um futuro LLM treinado em dados
de entrada não anônimos de modelos anteriores que podem
ser diretamente vinculados a uma administração pública
poderia, em teoria, ser usado para acessar informações
internas. Além disso, modelos como o ChatGPT são treinados
em dados que foram extraídos da Internet
sem o consentimento dos usuários, inclui muitas informações
publicamente acessíveis das quais os cidadãos podem não
estar cientes - dados que também podem ter vazado ou
compartilhado inadvertidamente86. Com as consultas certas,
os adversários podem fazer com que os LLMs divulguem
informações sobre um indivíduo, como um funcionário eleito ou
mesmo qualquer cidadão comum, sem o seu consentimento.
Em terceiro lugar, os LLMs, com sua capacidade de gerar
código mediante solicitação, podem facilitar o acesso ao
desenvolvimento de malware. Embora as proteções de
segurança integradas devam impedir que o ChatGPT crie
malware, os especialistas em segurança mostraram que esses
recursos podem ser contornados87.

Como os riscos apresentados pelos LLMs podem ser mitigados?

Se os grandes modelos linguísticos vieram para ficar, a questão deve ser levantada sobre como as administrações públicas podem
garantir a redução dos riscos mais significativos. retêm as vantagens de usar esses modelos enquanto a maioria dessas medidas
se relaciona com os modelos mitigando seus riscos. Mitigar os riscos que os próprios LLMs e como eles são executados, enquanto
outras preocupações representam, significa primeiro entender sua natureza, o poder de regulamentação e a maneira como os
modelos são usados. cial, limitações e seu possível impacto nas funções-chave de uma administração pública. Também
significa compartilhar essas informações com o público.

Medidas relativas aos modelos

ÿ Organismos do setor público poderiam desenvolver seus
próprios modelos. No entanto, embora o custo de
desenvolvimento e treinamento de grandes modelos de
linguagem pareça ter diminuído ultimamente,88 os recursos
necessários ainda são enormes. Mesmo com o aumento da
eficiência energética, é provável que esses custos de
desenvolvimento permaneçam além dos meios da maioria das
administrações públicas, sem mencionar a necessidade de
atrair e reter listas de especialistas qualificados.
ÿ Os modelos podem ser ajustados. Como o sucesso do
ChatGPT demonstrou, um modelo de linguagem não precisa
ser excessivamente grande para fornecer resultados úteis.
Modelos menores e mais ajustados são uma possibilidade,
embora sua natureza muitas vezes proprietária signifique que
ainda haveria transparência limitada em sua arquitetura exata
e dados de treinamento inicial. A maioria dos principais
provedores de LLM de uso geral oferece versões menores que
podem ser ajustadas em conjuntos de dados adaptados às
necessidades de um cliente, o que pode levar a resultados
mais precisos. No entanto, muitos modelos ajustados ainda
exigem muito
poder de computação, o que significa que terão que ser
executados em servidores em nuvem que podem ser acessados
remotamente via internet. Isso pode criar problemas com
dados internos confidenciais que precisam permanecer no local
e também incorrer em custos de um provedor de nuvem externo.
ÿ Os modelos podem ser executados localmente. Os
modelos de borda são modelos deliberadamente em pequena
escala e podem ser modelos maiores ajustados ou modelos
menores treinados do zero. Eles podem ser executados no
local e sem acesso à internet, o que melhora muito os custos
e a privacidade, tornando-os mais adequados para os meios
mais limitados dos sistemas de TI do setor público. Como não
precisam transmitir dados para uma nuvem, podem até ser
mais rápidos que os modelos conectados à internet,
dependendo do hardware usado para executá-los. Devido ao
seu pequeno tamanho, os modelos edge oferecem apenas uma
funcionalidade limitada89. Também há evidências de que,
embora as taxas de erro não sejam tão diferentes de modelos
maiores, as técnicas de compressão podem amplificar vieses
em determinadas áreas90.
Machine Translated by Google
ÿ Podem ser usados modelos de código aberto e europeus.
Há uma ampla variedade de modelos de código aberto
atualmente disponíveis para ajuste fino. Provedores como
HuggingFace ou Streamlit podem ser facilmente usados para
criar aplicativos institucionais. Além disso, como mencionado
anteriormente, já existem vários consórcios de pesquisa globais
e pan-europeus trabalhando no fornecimento de modelos de
código aberto mais acessíveis e melhor adaptados às
necessidades europeias, inclusive promovendo o multilinguismo
nos dados de treinamento. Mas essas iniciativas precisarão de
mais tempo e financiamento para alcançar a liderança muito
significativa dos modelos de ponta desenvolvidos pela indústria
dos EUA.
Medidas relativas à regulamentação
ÿ A ação legislativa e a supervisão podem melhorar os
LLMs. Nas últimas duas décadas, a legislação tem lutado para
acompanhar a velocidade vertiginosa com que novas
tecnologias estão sendo desenvolvidas e implantadas. O
mesmo é verdade para a legislação sobre LLMs.
Atualmente, o setor é principalmente autorregulado, com
algumas empresas de IA apresentando iniciativas conjuntas e
promessas voluntárias92. Não há leis ou padrões específicos
sobre construção, treinamento ou implantação de LLMs, nem
sobre direitos autorais e responsabilidade por seu conteúdo.
“A legislação tem lutado para
acompanhar a velocidade vertiginosa
em que novas tecnologias estão sendo
desenvolvidas e implantadas”
Alguns desenvolvimentos estão em andamento, principalmente
a Lei de IA no nível da UE. O quadro jurídico proposto centra-
se na utilização específica de sistemas de IA e nos riscos
associados. O texto propõe estabelecer uma definição
tecnologicamente neutra de sistemas de IA na legislação da
UE e estabelecer uma classificação para sistemas de IA com
diferentes requisitos e obrigações adaptados a uma
«abordagem baseada no risco». As negociações podem levar
à
ÿ 15
ÿ Estruturas cooperativas poderiam ser usadas para obter
modelos. Instituições do setor público poderiam desenvolver
infraestrutura conjunta para usar modelos de linguagem
semelhantes a IA especializados de maneira compartilhada,
como executando um data center em nuvem combinado
combinado com modelos de ponta híbridos menores que
acessam a nuvem apenas periodicamente91. Eles também
podem adquirir modelos e armazenamento em nuvem em conjunto com prov
Mas, neste caso, questões relacionadas a dados proprietários
e infraestrutura permaneceriam, enquanto as lacunas de
conhecimento nas administrações vis-à-vis as empresas
privadas das quais elas podem depender para executar
projetos cooperativos poderiam criar espaço para abusos.
adição de disposições específicas para sistemas de IA de uso
geral, que incluiriam LLMs93. Os analistas também estão
pedindo aos governos que invistam mais recursos no
monitoramento dos desenvolvimentos da IA para evitar
assimetrias de informação entre o setor público e privado e a
exploração da atual falta de medições94. Outras áreas para
possível ação legislativa e supervisão incluem ideias para
avaliações de impacto algorítmico95 e padrões comuns para
dados de treinamento, desenvolvimento, implantação e impacto
ambiental96 de LLMs, bem como benchmarks de desempenho
mais universais97.
ÿ Crie regras claras para LLMs em contexto de trabalho.
Outro campo de ação possível para o setor público é a
regulamentação clara e inequívoca sobre o uso de LLMs no
trabalho. Questões como responsabilidade pela produção de
LLMs e transparência no uso de IA em processos no setor
público precisariam ser esclarecidas98. A auditoria externa e a
criação de ciclos de feedback de cidadãos ou administradores
para relatar a qualidade das respostas recebidas também são
fundamentais.
Isso permitiria que ações corretivas fossem tomadas quando
necessário.
Machine Translated by Google
Medidas baseadas no usuário
ÿ O uso de melhores estratégias imediatas pode melhorar
os resultados. Uma maneira importante de obter melhores
resultados é ajustar a entrada de modelos como o ChatGPT
para refletir a missão e o raciocínio de uma organização99. A
equipe pode ser treinada em pronto
Outros riscos podem ser mitigados por avanços tecnológicos.
'Alucinações' ainda existem na versão mais recente do ChatGPT,
mas a OpenAI afirma que elas foram drasticamente reduzidas
com o GPT4. A mesma afirmação é feita para técnicas de
'jailbreak' de LLMs e levá-los a desconsiderar seus recursos de
segurança embutidos. Os LLMs atuais geralmente têm uma data
limite em relação às informações às quais podem se referir ao
responder a perguntas, portanto, suas respostas podem não
estar atualizadas. Mas modelos mais novos podem consultar a
internet para preparar suas respostas. Em geral, a qualidade da
saída, principalmente no caso de consultas complexas, aumenta
à medida que novos modelos são desenvolvidos.
Alguns riscos, no entanto, são de natureza mais estrutural e não
podem ser totalmente corrigidos, apesar dos melhores esforços.
Esse é o caso para detectar e remover vieses nos dados de
treinamento e nas saídas do modelo. Os esforços para sanear
conjuntos de dados podem até piorar os vieses. Dada a taxa
atual de desenvolvimento, alguns pesquisadores temem que os
desenvolvedores possam em breve ficar sem dados de alta
qualidade para treinar modelos e possam recorrer a conjuntos
de dados ainda mais falhos, em um momento em que as
estratégias de mitigação ainda estão engatinhando100.
Relacionado a preconceitos está o risco de perpetuação do
status quo. Os LLMs refletem os valores, hábitos e atitudes que
estão presentes em seus dados de treinamento, o que não deixa
muito espaço para mudanças ou visões sociais sub-representadas101.pode ser reforçado por rápidos avanços tecnológicos. Isso pode
Confiar em LLMs que foram treinados com documentos
previamente produzidos em uma administração pública limita
severamente o escopo para melhoria e inovação e corre o risco
de deixar o setor público ainda menos flexível do que já é
percebido.
A questão da 'caixa preta', onde os modelos de IA chegam a
conclusões ou decisões sem revelar o processo de como elas
foram alcançadas, também é principalmente estrutural, embora
a decisão das empresas de IA de não conceder acesso aberto
ao seu código não ajude. Isso significa que as habilidades em
evolução de
ÿ 16
engenharia, como dividir instruções mais complexas em etapas
lógicas menores, escrever instruções mais detalhadas e pedir
ao modelo para ajustar o conteúdo. Isso pode levar a resultados
mais confiáveis de acordo com a intenção do usuário.
“Mitigando os riscos do uso de LLMs
requer uma avaliação honesta
de cada área de uso possível”
modelos de linguagem ainda não são bem compreendidos.
Embora pareça haver algum entendimento sobre o tamanho que
um LLM precisa ter antes de dominar uma habilidade específica,
o surgimento de habilidades anteriormente desconhecidas ou
não intencionais em um modelo após seu treinamento e ajuste
fino continua sendo um risco significativo. O ajuste fino também
pode levar a 'saltos de capacidade' anteriormente desconhecidos,
que podem dominar os recursos de segurança102. O problema
da caixa-preta também torna extremamente difícil corrigir
modelos já implantados, pois muitas vezes não está claro quais
partes do modelo precisam ser consertadas103.
Além disso, é provável que a falta de financiamento continue a
ser um problema tanto para o setor público quanto para a
indústria europeia ou para a comunidade de código aberto, que
lutará para fechar a lacuna com a indústria dos EUA em breve.
A regulamentação de novas tecnologias continuará sendo um
jogo de gato e rato. O risco de aceleração (o surgimento de
uma corrida para implantar nova IA o mais rápido possível em
detrimento dos padrões de segurança) também é uma área de
preocupação104. Finalmente, como mencionado anteriormente,
um grande risco estrutural reside no excesso de confiança, que
levar a uma falta de habilidades de pensamento crítico
necessárias para avaliar e supervisionar adequadamente a
saída do modelo, especialmente entre uma geração mais jovem
entrando em uma força de trabalho onde tais modelos já estão
sendo usados.
Mitigar os riscos do uso de LLMs requer uma avaliação honesta
de cada área de uso possível. Nem todas as situações criarão
benefícios suficientes para compensar os riscos. E nem todos
os LLMs podem ser adequados para uso sem personalização
prévia. Quando se trata de usar o ChatGPT em sua forma atual,
os problemas que ocorrem
Machine Translated by Google
contra alguns dos principais pilares da administração pública
são difíceis de mitigar, o que o torna menos adequado para
uso regular. Isso se aplicará a aplicações futuras baseadas
neste modelo. Na ausência de regulamentação clara sobre a
responsabilidade do LLM, apenas humanos podem monitorar
regularmente a saída do ChatGPT e de outros LLMs. Dadas as
falhas estruturais dos LLMs, os seres humanos ainda são muito
necessários para fornecer serviços personalizados, flexibilidade,
inteligência emocional, crítica
3. O que vem pela frente?
O lançamento do ChatGPT galvanizou ainda mais uma indústria
já dinâmica. Mas o ChatGPT não é o único modelo de linguagem
e certamente não será o último. Ferramentas de IA, como
modelos de linguagem, devem se tornar uma parte cada vez
maior do trabalho diário, uma tendência que também afetará as
instituições públicas.
Olhando para o futuro, os LLMs serão cada vez mais integrados
aos programas existentes. Atualmente, a Microsoft está
trabalhando em formas de integrar o ChatGPT e outros modelos
OpenAI em seus aplicativos de escritório, como Outlook105 e
Microsoft Teams106. À medida que os LLMs se tornam mais
difundidos, a competição para estar na vanguarda de seu
desenvolvimento está esquentando.
Um dos principais campos de batalha atualmente são os
esforços para revolucionar as buscas online. Embora essa
competição possa estar concentrada em um pequeno punhado
de grandes empresas de tecnologia, ela é brutal, ganhando o
título de 'guerras de busca'107. O Google dominou a indústria
de mecanismos de busca no passado e foi um dos primeiros a
adotar a busca assistida por LLM, mas não há garantia de que
isso continuará a ser o caso. A Microsoft, em particular, (com
agradecimentos parciais, pelo menos, ao seu investimento
multibilionário em OpenAI) provavelmente será a vencedora: no
início de fevereiro de 2023, a Microsoft anunciou uma nova e
aprimorada experiência de mecanismo de pesquisa, disponível
por meio de seus Navegadores Bing e Edge, que integram um
OpenAI LLM de última geração projetado para responder a
consultas de pesquisa de maneira abrangente e conversacional,
em vez de fornecer páginas de links para sites. Para evitar
ficar para trás, o Google planeja lançar novos recursos
suportados pelo LLM para sua pesquisa no Google e atualmente
está testando o novo AI de conversação Bard108.
No entanto, a pressão para inovar implica riscos familiares,
como resultados de pesquisa bastante limitados em detrimento
de nuances e, mais importante, falta de rastreabilidade da fonte.
Esta questão é especialmente pertinente
ÿ 17
pensamento e a capacidade de se adaptar rapidamente às
circunstâncias mutáveis necessárias para atender às demandas
do serviço público. Quando questionado, o ChatGPT concordou
com essa avaliação, destacando suas próprias limitações.
Portanto, uma administração pública apoiada pelo ChatGPT
ainda precisará contar com uma proporção significativa de
julgamento humano, monitoramento regular e uma estratégia
de mitigação robusta.
quando se trata do debate em torno da extração do trabalho de
outras pessoas para produzir algo creditado a um programa de
IA (e, por extensão, à empresa que o criou), que continua
tenso. Vários artistas (principalmente baseados nos EUA)109
e programadores de computador110 já entraram com ações
judiciais contra LLMs geradores de imagens e códigos para
esclarecer questões de direitos autorais ou pirataria. As
preocupações com o uso de dados também têm crescido na
Europa: em 31 de março, a autoridade italiana de proteção de
dados decidiu proibir o ChatGPT de processar dados de
usuários italianos111 . A Organização Europeia do Consumidor
(BEUC) também apelou à UE e às autoridades nacionais para
investigar os riscos do ChatGPT e modelos semelhantes112.
Além disso, uma carta aberta iniciada pelo Future of Life
Institute, assinada por vários desenvolvedores proeminentes de
IA, pedia uma pausa de seis meses no desenvolvimento de
sistemas mais poderosos que o GPT-4, citando possíveis riscos
sociais e falta de sistemas de segurança robustos113.
“A pesquisa sobre LLMs ainda está em desenvolvimento,
e suas habilidades e potencial ainda não são bem
compreendidos”
A pesquisa sobre LLMs ainda está em desenvolvimento e suas
habilidades e potencial ainda não são bem compreendidos114.
Depois de uma tendência para modelos cada vez maiores, os
desenvolvimentos atuais parecem centrar-se na otimização e
no ajuste fino com o objetivo de criar modelos mais pequenos e
mais potentes. Após o sucesso do ChatGPT, a IA conversacional
e o ajuste fino do LLM por meio do aprendizado por reforço
provavelmente receberão muito mais atenção nos próximos
meses115. Os analistas também estão monitorando os
desenvolvimentos em modelos de áudio e vídeo generativos e
coletivos de pesquisa descentralizados116.
Machine Translated by Google
ÿ 18

Embora grandes modelos de linguagem já possam executar
uma ampla gama de tarefas, eles ainda têm seus limites.
Existem várias tarefas em que os modelos são incapazes de
superar os humanos com melhor desempenho ou até mesmo
falham em atingir um grau de precisão que é distinguível de
padrões completamente aleatórios.
Eles são incapazes de pensar e entender como um ser
humano, independentemente de quão humano sua produção
possa parecer. Como os modelos de linguagem estão prestes
a se tornar mais presentes em nosso cotidiano, é importante
ter em mente seus riscos e não nos enganarmos ao considerá-
los tão capazes quanto um ser humano.
Infelizmente, a forma como os humanos percebem os outros
e avaliam sua inteligência vai contra isso, já que os humanos
tendem a confundir fluência com inteligência.
Juntamente com o viés da automação – a inclinação para
classificar os resultados gerados por máquinas como mais
precisos – e uma preferência por resultados gerados por
máquinas sobre o conselho de humanos quando se adequa
aos vieses pré-existentes de alguém, o risco de excesso de
confiança aumenta drasticamente. Isso já está criando um perigosoadaptar
over às mudanças que os grandes modelos de linguagem poderiam traz
dependência das soluções supostamente fáceis, precisas e
prontamente disponíveis fornecidas por aplicativos baseados
em LLM, como o ChatGPT. Por razões de conveniência, os
funcionários públicos podem, deliberada ou involuntariamente,
ignorar ou minimizar os riscos em detrimento das funções-
chave do serviço público.
A alfabetização digital é, portanto, fundamental. Para as
administrações públicas, isso significa manter-se informado
sobre os desenvolvimentos no campo dos grandes modelos
linguísticos e disseminar esse conhecimento para seus
funcionários, bem como para os cidadãos a quem atendem.
As instituições que implantam LLMs em seus processos
diários terão interesse em se comunicar regularmente sobre
a importância de avaliar criticamente qualquer saída proveniente do LLM.
A crescente integração de LLMs pode mudar
fundamentalmente aplicativos e programas usados
regularmente, como mecanismos de pesquisa ou programas
de processamento de texto. Nesta conjuntura crítica, as
administrações públicas poderiam lançar as bases para se

Perguntas-chave

O ChatGPT e outros LLMs chegaram para ficar e parecem destinados a ganhar maior importância estratégica em
nossas sociedades, nossas vidas diárias e nossas formas de trabalhar. As seguintes questões merecem atenção:

ÿ O ChatGPT já é utilizado, pelo menos informalmente, por funcionários do setor privado e público. Que medidas as administrações
públicas devem tomar para maximizar o potencial dos LLMs e, ao mesmo tempo, mitigar os riscos?

ÿ Quais são os principais entraves jurídicos possíveis na integração dos LLMs nos processos da administração pública?
Como abordar questões de responsabilidade legal?

ÿ Que impacto terão os LLMs nas formas de trabalhar?

Como as administrações públicas poderiam avaliar o impacto dos LLMs no futuro do trabalho no setor público?
Existem sinergias a procurar entre os níveis local, nacional e da UE?

ÿ A transparência é um dos aspectos-chave ao integrar LLMs em processos do setor público.

Os cidadãos e outras partes interessadas não devem ter a impressão de que isso é feito pelas costas.
Como as administrações públicas devem se comunicar sobre o uso de LLMs e coordenar suas estratégias para garantir
mensagens coerentes quando necessário?

ÿ Com mais de 70% dos LLMs desenvolvidos nos EUA e enormes custos de entrada dando uma vantagem à grande tecnologia, não
é fácil para os atores baseados na UE alcançá-los e para os campeões europeus emergirem nesta nova corrida. Não apenas a
Europa está atrasada, mas essa vantagem estrutural também afeta a natureza e a mentalidade desses modelos, que são muito
mais baseados em valores e ideais americanos. Que outros caminhos poderiam ser explorados para evitar que os europeus
sejam apenas usuários avançados de tecnologias estrangeiras?
Machine Translated by Google
ÿ 19

Anexo: Glossário

ÿ Inteligência Artificial (IA): refere-se ao desenvolvimento de sistemas computacionais capazes de realizar

tarefas que normalmente requerem inteligência humana

ÿ Inteligência artificial geral (AGI): forma teórica de IA que seria

capaz de realizar quaisquer tarefas intelectuais que um ser humano pode fazer

ÿ Chatbot: programa de computador desenvolvido para simular conversas com

Usuários

ÿ Modelo de borda: tipo de modelo de aprendizado de máquina projetado para executar com eficiência
dispositivos com poder computacional limitado

ÿ Fine-tuning: processo em que um modelo pré-treinado é posteriormente treinado em um pequeno conjunto de

dados para melhorar seu desempenho em tarefas específicas

ÿ Sistema de IA de uso geral: um sistema de IA que pode ser aplicado a uma ampla gama de tarefas e domínios,
em oposição a um sistema projetado para uma finalidade específica

ÿ Alucinação: fenômeno em que um modelo gera saídas sem sentido ou infiéis aos dados de entrada nos quais o
modelo foi treinado

ÿ Large language model (LLM): tipo de sistema de IA treinado em grandes quantidades de dados de texto que
podem gerar respostas de linguagem natural para uma ampla gama de entradas

ÿ Aprendizado de máquina: um subcampo da IA que envolve o uso e desenvolvimento de algoritmos e modelos

estatísticos que são capazes de aprender com os dados e adaptar seu desempenho sem serem explicitamente
programados para isso

ÿ Redes neurais: neste contexto, refere-se a um tipo de algoritmo de aprendizado de máquina projetado para
simular o funcionamento do cérebro humano

ÿ Parâmetro: pesos e vieses dentro de um modelo de aprendizado de máquina que o modelo usa em seus
processos de tomada de decisão

ÿ Prompt: frase fornecida a um modelo de linguagem para gerar uma resposta ou realizar uma tarefa

ÿ Autoatenção: mecanismo utilizado em redes neurais que permite ao modelo focar simultaneamente em
diferentes partes dos dados de entrada durante o processamento

ÿ Token: unidade discreta de texto, como uma palavra ou sinal de pontuação, que é usada como
entrada para modelos de linguagem grandes

ÿ Transformer: tipo de arquitetura de rede neural utilizada em linguagem natural

em processamento

ÿ Assistente virtual : sistema de IA projetado para fornecer assistência e executar tarefas

para usuários
Machine Translated by Google
ÿ 20

Referências
1 Um artigo recente sugere que o que parece ser um sinal de inteligência em um modelo pode, na verdade, ser um espelho da inteligência do usuário, que se materializa nos tipos de
prompts que o usuário escolhe, ver Terrence J. Sejnowski, 'Large Language Models and the Reverse Turing Test', Neural Comput 2023, vol. 35, nº 3, pp. 309–342. doi: https://doi.org/
10.1162/neco_a_01563.

2 Alan Turing, 'Computing Machinery and Intelligence', Mind, 1950, Vol.59, No.236, pp.433–460.

3 Joel Walmsley, Mind and Machine, Basingstoke: Palgrave Macmillan, 2012.

4 Kate Crawford, Atlas of AI, New Haven: Yale University Press, 2021.

5 Young et al. 'Tendências recentes em processamento de linguagem natural baseado em aprendizagem profunda'. Revista de Inteligência Computacional IEEE. Vol.13, No.3, pp.55-75, https://
arxiv.org/pdf/1708.02709.pdf

6 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser e Illia Polosukhin. 'Atenção é tudo que você precisa'.
Avanços em sistemas de processamento de informações neurais. Vol.30 pp.1-11.

7 Se ChatGPT é o nome da interface de conversação ou do próprio modelo, inicialmente não ficou claro. Algumas fontes iniciais chamam a interface de ChatGPT e o modelo abaixo dela de GPT-3.5,
enquanto a OpenAI usou ChatGPT para se referir tanto ao modelo quanto à interface do chatbot. Posteriormente, chamou o modelo de gpt 3.5-turbo.

8 «Proposta de Regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial (Lei da Inteligência Artificial) e que altera determinados
atos legislativos da União», Conselho da União Europeia, Dossier Interinstitucional 2021/0106(COD), 25 Novembro de 2022, https://data.consilium.europa.eu/doc/document/
ST-14954-2022-INIT/en/pdf, p.71.

9 Molly Ruby, 'How ChatGPT Works: The Model Behind The Bot', Medium, 30 de janeiro de 2023, https://towardsdatascience.com/how-chatgpt-works-the
models-behind-the-bot-1ce5fca96286.

10 Ver Vaswani et al., 'Attention is all you need', op. cit.

11 Ver Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu e Dario
Amodei, 'Leis de escala para modelos de linguagem neural', preprint arXiv arXiv:2001.08361 , 23 de janeiro de 2020.

12 Ver Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas et al., 'Training
modelos de linguagem grandes computacionais ótimos', pré-impressão arXiv arXiv: 2203.15556, 29 de março de 2022.

13 'Apresentando o ChatGPT', OpenAI, 30 de novembro de 2022, https://openai.com/blog/chatgpt.

14 Ver Michiel Bakker, Martin Chadwick, Hannah Sheahan, Michael Tessler, Lucy Campbell-Gillingham, Jan Balaguer, Nat McAleese et al. , 'Modelos de
linguagem de ajuste fino para encontrar concordância entre humanos com diversas preferências', Avanços em Sistemas de Processamento de Informações Neurais, 2022, vol. 35, pp. 38176-38189;
e Ouyang Long, et al. 'Modelos de linguagem de treinamento para seguir instruções com feedback humano', pré-impressão arXiv arXiv: 2203.02155, 04 de março de 2022. Para uma explicação
menos técnica, consulte Marco Ramponi, How ChatGPT realmente funciona, AssemblyAI, 23 de dezembro de 2022, https://www.assemblyai . com/blog/how-chatgpt-actually-works/.

15 Maximilian Schreiner, 'Google mostra modelo generativo de IA para fala e música', The Decoder, 14 de setembro de 2022, https://the-decoder.com/google
shows-generative-ai-model-for-speech-and-music/.

16 Elon Musk renunciou em 2018 citando conflitos de interesse sobre sua propriedade da Tesla, que estava se expandindo cada vez mais para a IA. Após o acordo com a Microsoft no início de 2023,
Musk se distanciou publicamente da empresa. Veja Christiaan Hetzner, 'Elon Musk ataca a sensação do ChatGPT que ajudou a criar após o investimento maciço da Microsoft —'Não é o que eu
pretendia'', Fortune, 17 de fevereiro de 2023, https://fortune.com/2023/02/17/chatgpt -elon-musk openai-microsoft-company-regulator-oversight/.

17 'Sobre', OpenAI, 2023, https://openai.com/about.

18 'OpenAI LP', OpenAI, 11 de março de 2019, https://openai.com/blog/openai-lp.

19 'OpenAI e Microsoft estendem parceria', OpenAI, 23 de janeiro de 2023, https://openai.com/blog/openai-and-microsoft-extend-partnership/.

20 'API OpenAI', OpenAI, 11 de junho de 2020, https://openai.com/blog/openai-api/.

21 Cade Metz, 'Pesquisadores de IA estão ganhando mais de US$ 1 milhão, mesmo sem fins lucrativos', The New York Times, 19 de abril de 2019,
https://www.nytimes.com/2018/04/19/technology/artificial-intelligence-salaries-openai.html.

22 'GPT-2: versão 1.5B', OpenAI, 05 de novembro de 2019, https://openai.com/research/gpt-2-1-5b-release.

23 Noor Al-Sibai, 'OpenAI foi fundado para combater a IA ruim, agora vale bilhões, pois faz o oposto', Futurism, https://futurism.com/the-byte/openai
bilhões-ruim-ai.

24 'Modelos', OpenAI, 2023, https://platform.openai.com/docs/models.

25 Aleks Farseev, 'Maior é melhor? Por que o ChatGPT vs. GPT-3 vs. GPT-4 'Battle' Is Just A Family Chat', Forbes, 17 de fevereiro de 2023, https://www.forbes.com/
sites/forbestechcouncil/2023/02/17/is-bigger-better-why-the-chatgpt-vs-gpt-3-vs-gpt-4-battle-is-just-a-family-chat/.

26 Para estimativas, veja, por exemplo, Or Sharir, Barak Peleg e Yoav Shoham. "O custo do treinamento de modelos nlp: uma visão geral concisa." pré-impressão do arXiv
arXiv:2004.08900, 19 de abril de 2019; e Dylan Patel, 'The AI Brick Wall - A Practical Limit For Scaling Dense Transformer Models, and How GPT 4 Will Break Past It', Semianalysis, 24 de janeiro
de 2023, https://www.semianalysis.com/p/the-ai -parede-de-tijolos-um-limite-prático.

27 Sindhu Sundar, 'Se você ainda não tem certeza do que é o ChatGPT, este é o seu guia para o chatbot viral de que todo mundo está falando', Business Insider, 01 de março
2023, https://www.businessinsider.com/everything-you-need-to-know-about-chat-gpt-2023-1?r=US&IR=T.

28 Yejin Bang et al. 'Uma avaliação multitarefa, multilíngue e multimodal do ChatGPT sobre raciocínio, alucinação e interatividade', pré-impressão do arXiv
arXiv:2302.04023, 08 de fevereiro de 2023, https://arxiv.org/pdf/2302.04023.pdf, p.3.

29 Op. cit., pp.22-23; ver também Chenwei Qin et al., 'Is ChatGPT a general-purpose natural language processing task solver?', arXiv preprint arXiv:2302.06476 15 de fevereiro de 2023; https://arxiv.org/
pdf/2302.06476.pdf; Simon Frieder et al., Mathematical Capabilities of ChatGPT, arXiv preprint arXiv:2301.13867, 31 de janeiro de 2023.

30 Jon Christian, 'Amazing "Jailbreak" Bypasses ChatGPT's Ethics Safeguards', Futurism, 04 de fevereiro de 2023, https://futurism.com/amazing-jailbreak
chatgpt.
Machine Translated by Google
ÿ 21

31 David F. Carr, 'ChatGPT Topped 1 Billion Visits in February', Similarweb, 21 de março de 2023, https://www.similarweb.com/blog/insights/ai-news/chatgpt-1-
bilhão/.

32 Pranshu Verma, 'O que saber sobre a OpenAI, a empresa por trás do ChatGPT', The Washington Post, 14 de março de 2023, https://www.washingtonpost.com/ technology/2023/02/06/
what-is-openai-chatgpt /.

33 Yusuf Mehdi, 'Reinventing search with a new AI-powered Microsoft Bing and Edge, your copilot for the web', Official Microsoft Blog, 07 de fevereiro de 2023, https://
blogs.microsoft.com/blog/2023/02/07 /reinventando-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/.

34 Sundar Pichai, 'An important next step on our AI journey', The Keyword, Google, 06 de fevereiro de 2023, https://blog.google/technology/ai/bard-google-ai
search-updates/.

35 'Apresentando o LLaMA: um modelo de linguagem grande de 65 bilhões de parâmetros fundamental', Meta AI, 24 de fevereiro de 2023, https://ai.facebook.com/blog/large
language-model-llama-meta-ai/.

36 'Große KI-Modelle für Deutschland', Machbarkeitsstudie zu LEAM – Large European AI Models, Akademie für künstliche Intelligenz AKI gGmbH, 2023,
https://leam.ai/wp-content/uploads/2023/01/LEAM-MBS_KIBV_webversion_mitAnhang_V2_2023.pdf, p.6.

37 Op. cit., pp.56-60.

38 Op. cit., p.57.

39 Consulte 'Emerging Non-European Monopolies in the Global AI Market', Future of Life Institute, novembro de 2022, https://futureoflife.org/wp-content/
uploads/2022/11/Emerging_Non-European_Monopolies_in_the_Global_AI_Market.pdf.

40 Matthias Bastian, 'Iniciativa alemã visa construir uma infraestrutura de IA europeia', The Decoder, 25 de janeiro de 2023, https://the-decoder.com/german
iniciativa-objetiva-construir-uma-infra-estrutura-ai-europeia/.

41 Maximilian Schreiner, 'concorrente da OpenAI Aleph Alpha lança o data center de IA comercial mais rápido da Europa', The Decoder, 16 de setembro de 2022,
https://the-decoder.com/openai-competitor-launches-europes-fastest-commercial-ai-data-center/.

42 'Große KI-Modelle für …', op. cit., p.7.

43 'Discover EuroHPC JU', Empresa Comum Europeia de Computação de Alto Desempenho (EuroHPC JU), 2023, https://eurohpc-ju.europa.eu/about/discover
eurohpc-ju_en.

44 'LUMI supercomputer', LUMI consortium, 2023, https://www.lumi-supercomputer.eu/lumi_supercomputer/.

45 'Um espaço que combina petabytes de dados de linguagem natural com treinamento de modelos em larga escala', HPLT High Performance Language Technologies Consortium,
2023, https://hplt-project.org/static/media/hplt-factsheet.2b9a51f64b7fd81f1e79.pdf. HPLT (hplt-project.org).

46 'Compreensão e interação da linguagem natural em tecnologias avançadas de linguagem (AI Data and Robotics Partnership) (RIA)', Financiamento e licitação
oportunidades Área Única de Intercâmbio de Dados Eletrônicos (SEDIA), Comissão Europeia, https://ec.europa.eu/info/funding-tenders/opportunities/portal/ screen/opportunities/topic-
details/horizon-cl4-2023-human-01 -03.

47 'Project OpenGPT-X', KI Bundesverband, 2022, https://opengpt-x.de/en/project.

48 Consulte 'The Future of Jobs Report 2020', Fórum Econômico Mundial, outubro de 2020, https://www3.weforum.org/docs/WEF_Future_of_Jobs_2020.pdf,
pp. 29-34.

49 'IA generativa definida para afetar 300 milhões de empregos nas principais economias', Financial Times, 27 de março de 2023, https://www.ft.com/content/7dec4483-ad34-4007-
bb3a-7ac925643999.

50 Brady e Wang Ting, 'Chatting about ChatGPT: How May AI and GPT Impact Academy and Libraries?' Library Hi Tech News, 2023. https://papers.ssrn. com/sol3/Delivery.cfm/
SSRN_ID4333415_code5653239.pdf?abstractid=4333415&mirid=1&type=2.

51 OECD, 'European Principles for Public Administration', SIGMA Papers, No. 27, OECD Publishing, 1999, https://doi.org/10.1787/5kml60zwdr7h-en ; De Vries, Michiel S. e Pan Suk Kim,
Value and Virtue in Public Administration A Comparative Perspective, Springer, 2011.

52 Tero Erkkilä, 'Transparency in Public Administration', Oxford Research Encyclopedia of Politics, 29 de maio de 2020, https://doi.org/10.1093/
acrefore/9780190228637.013.1404.

53 Hannah Bloch-Wehba, 'Transparency's AI Problem', Knight First Amendment Institute and Law and Political Economy Project's Data & Democracy Essay Series, 2021, https://
scholarship.law.tamu.edu/facscholar/1477, pp . 12.

54 Radford A, Wu J, Child R, Luan D, Amodei D, Sutskever I. 'Modelos de linguagem são aprendizes multitarefa não supervisionados'. Ciência da Computação, 24 de fevereiro de 2019,
https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf.

55 A política de uso da OpenAI proíbe o uso de seus modelos para “tomada de decisão governamental de alto risco, incluindo: aplicação da lei e justiça criminal; Migração e asilo”, mas
isso ainda deixa algum espaço para um uso potencial de seus modelos para processos de tomada de decisão, consulte as políticas de uso da OpenAI, 17 de março de 2023, https://
openai.com/policies/usage-policies.

56 Emily M. Bender, Gebru Timnit, Angelina McMillan-Major e Schmargaret Schmitchell, 'On the Dangers of Stochastic Parrots: Can Language Models Be
Too Big?', na Conferência da Association for Computing Machinery on Fairness, Accountability, and Transparency, março de 2021, https://dl.acm.org/
doi/10.1145/3442188.3445922#sec-cit.

57 Eurobarômetro Especial 523: Corrupção, março-abril de 2022, https://europa.eu/eurobarometer/api/deliverable/download/file?deliverableId=83025, pág. 16.

58 Matthew M. Young, Justin B. Bullock e Jesse D. Lecy. 'Discricionariedade artificial como ferramenta de governança: uma estrutura para entender o impacto da
inteligência artificial na administração pública', Perspectives on Public Management and Governance 2, no.4, 2019, p. 308.

59 Tamanho não garante diversidade mesmo quando se olha para toda a Internet. O acesso à Internet não é distribuído uniformemente, resultando em uma super-representação de
usuários mais jovens e de países desenvolvidos. As vozes das pessoas com maior probabilidade de seguir um ponto de vista hegemônico também têm maior probabilidade de
serem retidas.

60 Fahim Faisal, Yinkai Wang, Antonios Anastasopoulos, 'Dataset Geography: Mapping Language Data to Language Users', Proceedings of the 60th Annual
Reunião da Association for Computational Linguistics Volume 1: Long Papers, 22-27 de maio de 2022, p. 3384.

61 Schramowski, Patrick, Turan, Cigdem, Andersen, Nico, Rothkopf, Constantin A., e Kersting, Kristian, 'Grandes modelos de linguagem pré-treinados contêm vieses semelhantes
aos humanos sobre o que é certo e errado fazer', Nature Machine Intelligence, 2103.11790.pdf, p.16 ; Abid, Abubkar, Farooqi, Maheen e Zou, James, 'Persistent Anti-Muslim
Bias in Large Language Models' AAAI/ACM Conference on AI, Ethics, and Society, 2021, 2101.05783.pdf.
Machine Translated by Google
ÿ 22

62 Emily Bender et al, 'On the Dangers of Stochastic Parrots…', op. cit., pp. 613-615.

63 Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob
Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell , Peter Welinder, Paul Christiano, Jan Leike e Ryan Lowe, 'Treinando modelos de linguagem para seguir
instruções com feedback humano' Trigésima Sexta Conferência sobre Sistemas de Processamento de Informações Neurais, 28 de novembro de 2022, 2203.02155.pdf, pp.
19-20.

64 Saar Alon-Barkat e Madalina Busuioc, 'Human-AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice",
Journal of Public Administration Research and Theory, Volume 33, Issue 1, January 2023 , https://academic.oup.com/jpart/article/33/1/153/6524536 ., pp. 165-166.

65 Crawford, Kate, Atlas of AI, New Haven: Yale University Press, 2021.

66 ChatGPT queima milhões todos os dias. Os cientistas da computação podem tornar a IA um milhão de vezes mais eficiente?', Forbes, 10 de fevereiro de 2023 https://
www. forbes.com/sites/johnkoetsier/2023/02/10/chatgpt-burns-millions-every-day-can-computer-scientists-make-ai-one-million-times-more eficiente/?
sh=771ef56d6944.

67 David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier e Jeff Dean, 'Carbon
Emissions and Large Neural Network Training', pré-impressão arXiv, https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf, p. 6.

68 Roy Schwartz, Jesse Dodge, Noah A. Smith e Oren Etzioni, 'Criar eficiência na pesquisa de IA diminuirá sua pegada de carbono e aumentará sua
a inclusão como estudo de aprendizado profundo não deve exigir os bolsos mais profundos' Green AI, https://dl.acm.org/doi/pdf/10.1145/3381831,p. pág. 63; David Patterson,
'Reduzindo as emissões de carbono da IA' - OECD.AI', 12 de abril de 2022, https://oecd.ai/en/wonk/reducing-ai-Reducing the carbon-missions of AI - OECD.AI.

69 David Patterson, Joseph Gonzalez, Urs Hölzle, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier e Jeff Dean, 'The Carbon Footprint of
Machine Learning Training Will Plateau, Then Shrink', IEEE , https://ieeexplore.ieee.org/document/9810097 , pp. 6-7.

70 'Chatbots Got Big—and Their Ethical Red Flags Got Bigger', Wired, 16 de fevereiro de 2023, https://www.wired.com/story/chatbots-got-big-and-their-ethical
bandeiras vermelhas ficaram maiores /.

71 Consulte https://consensus.app/home/about-us/

72 Deep Ganguli, Danny Hernandez, Liane Lovitt, Nova Dassarma, Tom Henighan, Andy jones, Nicholas Joseph, Jackson Kernion, Ben Mann, Amanda
Askell, Yuntao Bai, Anna Chen, Tom Conerly, Dawn Drain, Nelson Elhage, Sheer el Showk, Stanislav Fort, Zac Hatfield-Dodds, Scott Johnston, Shauna Kravec, Neel Nanda,
Kamal Ndousse, Catherine Olsson, Daniela Amodei, Tom Brown, Jared Kaplan, Sam McCandlish, Chris Olah, Ario Amodei e Jack Clark, 'Previsibilidade e surpresa em grandes
modelos generativos', 2022, p.11.

73 'How ChatGPT Highjacks Democracy', The New York Times, 15 de janeiro de 2023 https://www.nytimes.com/2023/01/15/opinion/ai-chatgpt-lobbying
democratic.html.

74 Ben Buchanan, Andrew Lohn, Micah Musser e Katerina Sedova 'Verdade, mentiras e automação - como os modelos de linguagem podem mudar a desinformação'
Centro de segurança e tecnologia emergente, maio de 2021.

75 'GPT Zero foi projetado para reconhecer textos escritos por IA', Medium, 12 de janeiro de 2023 https://medium.datadriveninvestor.com/gpt-zero-is-designed-to
reconhecer-textos-escritos-por-ai-ab7ff4d11fd6.

76 Elmer B. Staats, 'Public Service and the Public Interest', Public Administration Review ublic Administration Review, vol. 48, nº 2, março-abril de 1988, pp.
601-605+ii.

77 Schramowski, Patrick, Turan, Cigdem, Andersen, Nico, Rothkopf, Constantin A., e Kersting, Kristian, 'Grandes modelos de linguagem pré-treinados contêm vieses
semelhantes aos humanos do que é certo e errado fazer', Nature Machine Intelligence, pág. 17, 2103.11790.pdf, p.11.

78 Deep Ganguli et al, 'Previsibilidade e surpresa em grandes modelos generativos', op.cit., p.13.

79 Michiel Bakker et al., 'Fine-tuning language models…' op.cit., p.10.

80 Deep Ganguli et al., 'Previsibilidade e surpresa em grandes modelos generativos', 2022 ACM Conference on Fairness, Accountability, and Transparency, p. 9.

81 Khari Johnson, 'The Movement to Hold AI Accountable Gains More Steam', Wired, 02 de dezembro de 2021, https://www.wired.com/story/movement-hold-ai
Accountable-gains-steam/.

82 Abir Rahali e Moulay A. Akhloufi, 'MalBERT: Detecção de malware usando representações de codificador bidirecional de transformadores,' 2021 IEEE
Conferência Internacional sobre Sistemas, Homem e Cibernética (SMC), Melbourne, Austrália, 2021, pp. 3226-3231.

83 'Política de privacidade', OpenAI, 14 de março de 2023, https://openai.com/policies/privacy-policy.

84 'GPT-4 System Card', OpenAI, 23 de março de 2023, https://cdn.openai.com/papers/gpt-4-system-card.pdf, p.22.

85 Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts et al. 'Extraindo dados de treinamento de
Large Language Models', USENIX Security Symposium, vol. 6, 11 de agosto de 2021, p.13.

86 Hannah Brown, Katherine Lee, Fatemehsadat Mireshghallah, Reza Shokri e Florian Tramèr, 'What Does it Mean for a Language Model to Preserve
Privacidade?', 2022 ACM Conference on Fairness, Accountability, and Transparency, 20 de junho de 2022, pp.

87 Eran Shimony e Omer Tsarfati, 'Conversando sobre como criar um malware polimórfico', Cyberark, 17 de janeiro de 2023, https://www.cyberark.com/
resources/threat-research-blog/chatting-our-way-into-creating-a-polymorphic-malware.

88 A OpenAI está entre as empresas que recentemente reduziram os preços para treinar seus modelos, consulte 'Setembro de 2022 - Perguntas frequentes sobre atualização de preços da API OpenAI',
OpenAI, setembro de 2022, https://help.openai.com/en/articles/6485334-september-2022-openai-api-pricing-update-faq; e Daniel Zhang, Nestor Maslej, Erik Brynjolfsson,
John Etchemendy, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Michael Sellitto, Ellie Sakhaee, Yoav Shoham, Jack Clark e Raymond Perrault, 'The
AI Index 2022 Annual Report, ' AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University, março de 2022, p. 97.

89 Kyle Wiggers, 'Os tipos emergentes de modelos de linguagem e por que eles importam', TechCrunch, 28 de abril de 2022, https://techcrunch.com/2022/04/28/the
tipos emergentes de modelos de linguagem e por que eles importam /.

90 Sara Hooker, Nyalleng Moorosi, Gregory Clark, Samy Bengio e Emily Denton, 'Caracterizando o viés em modelos compactados', pré-impressão do arXiv
arXiv:2010.03058, 06 de outubro de 2020, https://arxiv.org/pdf/2010.03058.pdf.

91 'Guia Completo para Edge Computing: Edge IoT, Edge AI e mais', Run.ai, https://www.run.ai/guides/edge-computing.
Machine Translated by Google
ÿ 23

92 'Recomendação conjunta para implantação de modelo de linguagem', Cohere, OpenAI e AI 21 Labs, https://cdn.openai.com/papers/joint-recommendation-for language-model-deployment.pdf.

93 Lei de Inteligência Artificial: Conselho apela para a promoção de uma IA segura que respeite os direitos fundamentais', Conselho da União Europeia, 6 de dezembro de 2022,
https://www.consilium.europa.eu/en/press/press-releases/2022/12/06/artificial-intelligence-act-council-calls-for-promoting-safe-ai-that-respects fundamental-rights /.

94 Johanna Okerlund, Evan Klasky, Aditya Middha, Sujin Kim, Hannah Rosenfeld, Molly Kleinman e Shobita Parthasarathy, 'O que há no Chatterbox?
Large Language Models, Why They Matter, and What We Should Do About Them', University of Michigan Technology Assessment Report, abril de 2022, https://stpp.fordschool.umich.edu/
research/research-report/whats-in-the -tagarela; Jess Whittlestone e Jack Clark, 'Por que e como os governos devem monitorar o desenvolvimento da IA', 2021, https://arxiv.org/pdf/
2108.12427.pdf.

95 Selbst, 'An Institutional View Of Algorithmic Impact Assessments', Harvard Journal of Law & Technology 2021; Escola de Direito da UCLA, Pesquisa em Direito Público
Paper No. 21-25, https://ssrn.com/abstract=3867634.

96 'IEEE exige padrões para combater as mudanças climáticas e proteger as crianças na era da IA', VentureBeat, 6 de fevereiro de 2020, https://venturebeat.com/ai/ieee
chama-por-padrões-para-combater-as-mudanças-climáticas-e-proteger-as-crianças-na-era-da-ai/.

97 Rishi Bommasani, Percy Liang e Tony Lee, 'Os modelos de linguagem estão mudando a IA. Precisamos entendê-los', Standford University Human-Centered
Inteligência Artificial https://hai.stanford.edu/news/language-models-are-change-ai-we-need-understand-them.

98 Hannah Bloch-Wehba, 'Transparency's AI Problem', op. cit., pp.19-21.

99 'O novo trabalho mais quente da tecnologia: sussurro de IA. Nenhuma codificação necessária.' The Washington Post, 25 de fevereiro de 2023, https://
www.washingtonpost.com/technology/2023/02/25/prompt-engineers-techs-next-big-job/ .

100 Zhuo, Terry Yue, Yujin Huang, Chunyang Chen e Zhenchang Xing., 'Explorando a ética do chatgpt: uma análise diagnóstica', preprint arXiv, 22 de fevereiro
2023, arXiv:2301.12867.

101 Emily Bender et al, 'On the Dangers of Stochastic Parrots…', op. cit., pp. 614.

102 GPT-4 System Card', OpenAI, 23 de março de 2023, https://cdn.openai.com/papers/gpt-4-system-card.pdf, p.29.

103 Miller, Katherine, 'How Do We Fix and Update Large Language Models?', Stanford University Human-Centered Artificial Intelligence, 13 de fevereiro de 2023,
https://hai.stanford.edu/news/how-do-we-fix-and-update-large-language-models.

104 GPT-4 System Card', OpenAI, 23 de março de 2023, https://cdn.openai.com/papers/gpt-4-system-card.pdf, p.21.

105 Matteo Pagani, 'Traga o modelo ChatGPT para nossos aplicativos', Microsoft, https://techcommunity.microsoft.com/t5/modern-work-app-consult-blog/
bring-the-chatgpt-model-into-our-applications/ba-p/3766574.

106 Nicole Herskowitz, 'Microsoft Teams Premium: Corte custos e adicione produtividade com tecnologia de IA', Microsoft, 1º de fevereiro de 2023 https://www.microsoft.com/
en-us/microsoft-365/blog/2023/02/01/microsoft-teams-premium-cut-costs-and-add-ai-powered-productivity/.

107 'Guerras de busca reacendeu por avanços de inteligência artificial', Financial Times, 6 de fevereiro de 2023. https://www.ft.com/content/b236b70d-82dc-40f8-
84be-dc4daff151e4.

108 Sundar Pichai, 'An important next step on our AI journey', Google, 6 de fevereiro de 2023 https://blog.google/technology/ai/bard-google-ai-search-updates.

109 'Primeiro AI Art Generator Lawsuits Threaten Future of Emerging Tech', Bloomberg, 20 de janeiro de 2023. https://news.bloomberglaw.com/ip-law/first-ai-art
processos-geradores-ameaçam-o-futuro-da-tecnologia-emergente.

110 'Lawsuit Takes Aim at the Way AI Is Built', New York Times, 23 de novembro de 2022. https://www.nytimes.com/2022/11/23/technology/copilot-microsoft-ai
ação judicial.html

111 'L'Intelligenza artificiale: il Garante blocca ChatGPT. Coleta de arquivos de dados pessoais. Assenza di sistemi per la verification dell'età dei minori', Garante per la
protezione dei dati personali, 31 de março de 2023, https://www.gpdp.it/web/guest/home/docweb/-/docweb-display/docweb/9870847.

112 'Investigação das autoridades da UE necessária para a tecnologia ChatGPT', European Consumer Organization (BEUC), 30 de março de 2023, https://www.beuc.eu/press-releases/
investigation-eu-authorities-needed-chatgpt-technology .

113 'Pause Giant AI Experiments: An Open Letter', Future of Life Institute, 22 de março de 2023, https://futureoflife.org/open-letter/pause-giant-ai-experiments/; Jyoti Narayan, Krystal Hu,
Martin Coulter, Supantha Mukherjee, 'Elon Musk e outros pedem uma pausa na IA, citando 'riscos para a sociedade'', Reuters, 29 de março de 2023, https://www.reuters.com/technology/
musk-experts -urge-pause-training-ai-systems-that-can-outperform-gpt-4-2023-03-29/.

114 'Os tipos emergentes de modelos de linguagem e por que eles importam', TechCrunch, 28 de abril de 2023, https://techcrunch.com/2022/04/28/the-emerging-types-of
modelos de linguagem e por que importam/?guccounter=1.

115 'Tendências em AI — Resumo de 2023', Medium/ Towards AI, 25 de janeiro de 2023, https://pub.towardsai.net/trends-in-ai-2023-round-up-e6c52578fe92.

116 Nathan Benaich e Ian Hogarth, 'State of AI Report 2022', State of AI, https://www.stateof.ai/.

Isenção de responsabilidade: durante o processo de redação, o ChatGPT foi usado para obter uma visão sobre
algumas das descrições de técnicas de aprendizado de máquina e foi consultado sobre se sua própria avaliação de sua
capacidade de respeitar alguns dos princípios subjacentes ao trabalho do setor público correspondia à nossa ter.
Machine Translated by Google