 Março 2023 

[CH 396]

ChatGPT: tecnologia, limitações e impactos

Virgilio Almeida
Departamento de Ciência da Computação
Universidade Federal de Minas Gerais
Ricardo Fabrino Mendonça
Departamento de Ciência Política
Universidade Federal de Minas Gerais
Fernando Filgueiras
Faculdade de Ciências Sociais
Universidade Federal de Goiás

A chegada de uma nova ferramenta tecnológica de diálogo em novembro

de 2022, chamada ‘ChatGPT’, trouxe deslumbramento, por um lado, e
preocupação, por outro. Projetado para simular conversação humana, em
resposta a solicitações ou perguntas, o ChatGPT gera conteúdos
sintéticos aparentemente convincentes, mas que podem estar incorretos.
Assim, é preciso conhecer o alcance dos impactos sociais e políticos que
a nova tecnologia reserva e criar uma regulamentação que permita
proteger a sociedade de possíveis consequências adversas.

ILUSTRAÇÕES: RAFAELA PASCOTTO

Em um artigo publicado na revista Nature em 2020, destaca-se uma

observação que se aplica bem à chegada da nova onda de tecnologias de
inteligência artificial (IA), popularizada pelo surgimento do ChatGPT
(ferramenta de diálogo) no fim de 2022. Diz a autora: não pergunte se a IA é
boa ou justa. A questão é mais ampla e deveria buscar explorar como a IA está
mudando as relações de poder.

Essa pergunta se aplica diretamente ao ChatGPT. Para entender o impacto

dessa tecnologia, além do deslumbramento inicial que capturou a imaginação
das pessoas, são necessários alguns conhecimentos multidisciplinares. É
importante conhecer não apenas a arquitetura tecnológica desses ‘chatbots’
como também saber interpretar o significado dessas ferramentas, decidir como
devem ser aplicadas e, principalmente, em que mundo queremos viver com
esses seres tecnológicos.

Portanto, precisamos contar com conhecimento de especialistas de vários

campos da ciência, engenheiros da computação, pesquisadores das ciências
sociais, das humanidades e do direito. Todos têm a contribuir.

Fundamentos da nova ferramenta

Os sistemas usados no processamento de linguagens naturais são conhecidos
como modelos de linguagem. A definição clássica de um modelo de linguagem
é uma distribuição de probabilidades sobre sequências de símbolos ou
palavras. Embora conceitualmente um modelo de linguagem seja um objeto

1
simples, na prática a atribuição de probabilidades significativas a todas as
sequências de símbolos ou palavras é complexa e requer habilidades
linguísticas extraordinárias e conhecimento da realidade. Para isso, esses
modelos são treinados com grandes massas de dados textuais.

Para calcular a distribuição de sequências de símbolos ou textos, são usados

modelos generativos, conjuntos de algoritmos que visam aprender a
distribuição real de dados para então gerar probabilidades de novos textos com
algumas variações. Como nem sempre é possível aprender a distribuição real
dos dados, procura-se modelar um padrão que seja o mais próximo possível da
distribuição real. Para aprender uma função aproximada de distribuição de
probabilidades dos dados reais, são usadas redes neurais (modelo
computacional baseado em unidades chamadas de neurônios artificiais,
conectadas entre si para transmitir sinais).

O desenvolvimento de IAs baseadas em aprendizado de máquina (machine

learning) já ocorre há algumas décadas. Quando o cientista da computação
alemão Joseph Weizenbaum (1923-2008) criou, entre 1964 e 1966, o algoritmo
Eliza, contribuiu com aspectos teóricos para o processamento de linguagem
natural e construiu a percepção sobre os impactos dessas tecnologias na
sociedade. Ao ver sua secretária no Instituto de Tecnologia de Massachusetts
(MIT), nos Estados Unidos, fazer confidências para Eliza, mesmo sabendo que
se tratava de um programa de computador, Weizenbaum percebeu o poder
dessa tecnologia.

Ao ver sua secretária no Instituto de Tecnologia de Massachusetts (MIT),

nos EUA, fazer confidências para Eliza, mesmo sabendo que se tratava de
um programa de computador, Weizenbaum percebeu o poder dessa
tecnologia

Relação entre humanos e máquinas

A interação entre humanos e máquinas inteligentes implica relações de poder e
enquadramento da ação humana na sociedade. Weizenbaum dedicou-se a
discutir o poder político e social dessas tecnologias, apontando que, em alguns
casos discutíveis, caberia à sociedade estabelecer o controle daquilo que
deveria ou não ser levado adiante.

2
O GPT-3 (Generative Pre-trained Transformer) é um modelo de linguagem
autorregressivo de terceira geração, que usa o aprendizado profundo para
produzir textos semelhantes a textos gerados por humanos. É um sistema
computacional projetado para gerar sequências de palavras, códigos ou outros
símbolos, a partir de uma fonte de entrada chamada ‘prompt’. O modelo de
linguagem é treinado em agigantados conjuntos de dados, compostos de textos
extraídos da Wikipedia, livros e textos coletados na internet, além de arquivos
de códigos de programas obtidos no repositório público do Github, que
costuma compartilhar softwares de código aberto.

Em novembro de 2022, a empresa de pesquisa em inteligência artificial sem

fins lucrativos OpenAI anunciou sua nova ferramenta de processamento de
linguagem natural, o ChatGPT, um chatbot projetado para simular conversação
humana, em resposta a solicitações ou perguntas. ChatGPT é um modelo
grande de linguagem (Large Language Model – LLM), com 175 bilhões de
parâmetros, treinado em uma imensa base de dados, capaz de aprender de
forma autônoma e produzir textos sofisticados, aparentemente inteligentes. Os
parâmetros são chave para os algoritmos de aprendizado de máquina, pois
representam aquilo que é aprendido pelo modelo com os dados de
treinamento.

A inteligência artificial generativa descreve algoritmos que podem ser usados

para gerar novos conteúdos, incluindo textos, áudios, imagens, vídeos, códigos
e simulações. Modelos generativos de linguagem, como o ChatGPT, ou de
imagens, como o DALL-E, são capazes de criar textos e imagens sintéticos por
amostragem condicional do modelo, dada uma solicitação escrita por humanos
ou por outros ‘bots’.

Esses modelos são treinados para corresponder à distribuição de conteúdo

gerado por humanos, com resultados que mostram, em muitos casos, a
incapacidade dos humanos de distinguir os conteúdos sintéticos produzidos por
máquinas. Embora os conteúdos sintéticos, como textos, artigos ou mesmo
imagens, pareçam convincentes, é importante enfatizar que são criações
fictícias dos algoritmos que podem estar incorretos factualmente. Apesar dos
avanços recentes dos modelos de linguagem, existem sérias limitações que
precisam ser analisadas.

3
Embora os conteúdos sintéticos, como textos, artigos ou mesmo
imagens, pareçam convincentes, é importante enfatizar que são criações
fictícias dos algoritmos que podem estar incorretos factualmente

Limitações do modelo
As respostas do ChatGPT nem sempre estão corretas. Na verdade, muitas
vezes, acontece o que é chamado de alucinação – uma resposta da ferramenta
de inteligência artificial que não parece ser justificada por seus dados de
treinamento. Abordar a veracidade dos resultados do ChatGPT é um grande
desafio de pesquisa, pois a ferramenta não oferece referências ou links como
fontes de informações para verificar a veracidade do resultado.

As respostas do ChatGPT nem sempre estão corretas. Na verdade, muitas

vezes, acontece o que é chamado de alucinação – uma resposta da
ferramenta de inteligência artificial que não parece ser justificada por
seus dados de treinamento

O perigo é que o usuário não consegue saber quando a resposta do ChatGPT

está incorreta, a menos que já conheça a resposta correta.

Assim, um aspecto preocupante com a rápida popularidade e adoção de

ferramentas como o ChatGPT é a falta de transparência dessas tecnologias.
Os conjuntos de treinamento, a origem dos dados, os processos de rotulação
de dados e imagens e os algoritmos usados não estão disponíveis
publicamente. Explicabilidade, interpretabilidade e inteligibilidade são conceitos
essenciais para promover compreensão, segurança e confiança no uso de
algoritmos de inteligência artificial e do ChatGPT – sobretudo, em domínios de
‘alto risco’, como a medicina.

Há necessidade de estudos e pesquisas sobre os riscos que o ChatGPT

representa para a sociedade e para cada de um nós. São múltiplas as
ameaças em potencial, que incluem vieses discriminatórios, estereótipos,
desinformação, violação de privacidade e concentração de poder em poucos
grupos econômicos.

São múltiplas as ameaças em potencial, que incluem vieses

discriminatórios, estereótipos, desinformação, violação de privacidade e
concentração de poder em poucos grupos econômicos

Considerando que as tecnologias de inteligência artificial generativa podem ter

presença significativa na educação e na ciência, é preciso desenvolver
mecanismos e regras de responsabilização, para evitar o uso fraudulento e
malicioso dessas ferramentas. A China, por exemplo, tem criado mecanismos
de regulação, que exigem que conteúdos sintéticos, em texto, imagem ou
vídeo, estejam visivelmente rotulados como tais para os usuários.
Impactos sociais e políticos
São muitas e diversas as consequências sociopolíticas dessas tecnologias. Há,
em primeiro lugar, uma forte preocupação com os impactos que tais

4
dispositivos podem ter sobre o mercado de trabalho, uma vez que mais
funções e ocupações podem ser vistas como obsoletas, demandando
transformações profundas nesse universo. A própria ideia do que é trabalho e a
clássica distinção entre mão de obra manual e mão de obra intelectual veem-se
amplamente desafiadas.

Há, em segundo lugar, uma forte preocupação ética sobre autoria e plágio.
Tecnologias de Inteligência Artificial generativa podem borrar ainda mais a
ideia de autoria, materializando complexas tramas intertextuais, que são
apropriadas por atores diversos. E elas borram autoria em duas direções:
primeiro, porque se apropriam de fragmentos e ideias de outros autores sem
crédito ou remuneração; segundo, porque facilitam que pessoas se apropriem
das ideias de outras e das próprias novas construções como se fossem suas,
impedindo a explicitação do cruzamento de vozes que constitui os discursos.

Há, em terceiro lugar, o risco de enfraquecimento de instituições

tradicionalmente vinculadas à produção de informações e conteúdos. Institutos
de pesquisa, universidades e meios de comunicação podem sofrer grandes
abalos não apenas de receitas, mas também de legitimidade pública, quando
pensamos nas conseqüências de longo prazo dessas tecnologias.

Observa-se, em quarto lugar, a possibilidade de enrijecimento de uma fonte

privada de informação, que é potencialmente enviesada e raramente submetida
a questionamentos políticos. Teríamos, assim, novos oráculos técnicos em
quem se confia piamente, mesmo que a realidade indique o contrário.
Confiança essa que pode retroalimentar formas excludentes de organização
social, como a pesquisa em IA tem demonstrado de forma sistemática e
consistente.

Poderíamos continuar elencando possíveis impactos e desafios. Interessa-nos,

contudo, chamar a atenção para o fato de muitos deles serem atravessados
por um mesmo e macroprocesso de transformação daquilo que cientistas
sociais chamam de esfera pública. Trata-se de um âmbito discursivo fluido e
abstrato, em que questões de relevância pública ganham existência comum e
são processadas por atores a partir de diferentes perspectivas.

A esfera pública é essencial à democracia e está ancorada em ecossistemas

comunicacionais que se transformam historicamente, mas que dependem de
nossa capacidade de produzir sentidos em coletividade. Sentidos esses que
são tensos, controversos e disputados, mas que se referem a um terreno
comum da política.

Tecnologias de Inteligência Artificial generativa afetam o ecossistema

comunicacional, promovendo reestruturações que alimentam desafios
colocados às democracias. Um desses desafios importantes tem a ver com a
capacidade de cidadãos serem ouvidos pela comunidade política. Muito da
teoria democrática enquadrou essa questão a partir da ideia de liberdade de
expressão. Afinal, em contraposição a monarquias absolutistas ou a regimes
autoritários de natureza diversa, as democracias precisavam garantir direitos

5
fundamentais básicos, incluindo a possibilidade de pensar, acreditar e dizer o
que se pensa.

Tecnologias de Inteligência Artificial generativa afetam o ecossistema

comunicacional, promovendo reestruturações que alimentam desafios
colocados às democracias

Pouco a pouco, teorias democráticas fizeram um movimento no sentido de

reconhecer que não bastava poder se expressar, era fundamental ser ouvido e
considerado. Isso se torna ainda mais evidente, em contextos nos quais há
muita possibilidade de fala, mas poucas chances de ser ouvido. A abundância
comunicativa das mídias digitais saturou a esfera pública de vozes, deixando
os ouvidos ainda mais raros e escassos para o processamento de todas elas. É
nesse sentido, que as teorias democráticas têm enfatizado a necessidade de
assegurar formas institucionais e procedimentais de escuta para que cidadãos
sejam de fato escutados.

Democracia em risco?
Mas o que tudo isso tem a ver com a IA generativa do ChatGPT e similares?
Tais tecnologias afetam o contexto de produção de fala e escuta, alterando os
regimes de visibilidade que permitem pensar a escuta democrática. Num
cenário de profusão de vozes, essas tecnologias tendem a se tornar
dispositivos de vocalização mais potentes, recebendo mais atenção que outras
fontes e, de certo modo, abafando-as. Podem tornar-se, nesse sentido,
condensadores de perspectivas, dificultando que vozes e opiniões alternativas
venham à tona.

Além disso, essas tecnologias podem tornar mais complexa a

responsabilização por falas, o que dificulta a regulação democrática da
expressão. O que acontece, por exemplo, se tais dispositivos começam a
reproduzir discursos de ódio? Quem deve ser responsabilizado por isso? Como
lidar com uma esfera pública tomada por sínteses linguageiras que podem não
expressar opiniões de grupos específicos? E se tais sínteses se tornarem
dominantes e convencerem as pessoas de visões e desejos que não tinham a
priori? Contribuirão elas para a desmobilização de grupos que reivindicam
mudança? Poderão elas alimentar revoltas? Como elas alterarão as atividades
de lobby político? Em suma, que consequências políticas podem ter esses atos
de fala, já que discursos são, em si, formas de ação? E, como a aparente
despersonalização do dizer pode afetar as relações políticas em uma
democracia?

6
Essas questões dizem respeito a transformações estruturais por que têm
passado os regimes políticos em um contexto de crescente adoção de
tecnologias de IA para tomadas de decisão diversas. A IA generativa talvez
seja a ponta de um iceberg massivo, mas que tem a vantagem de, pelo menos,
chamar a atenção para a presença e as possíveis consequências da IA nas
sociedades contemporâneas.

Próximos desafios
Uma nova mudança estrutural da esfera pública desafia os regimes
democráticos vigentes. São visíveis os problemas com bolhas e câmaras de
eco que persistem em plataformas de mídias sociais, como Twitter, Facebook
ou TikTok. Tecnologias como ChatGPT proporcionam potencialmente um
controle do que se fala e do que se ouve na esfera pública, sem a necessidade
de editoriais ou controle do conteúdo.

São novas perspectivas que surgem da conveniência para o usuário de uma

tecnologia como essa para ter a informação quase que em tempo real, sem
intermediações, que não as dos algoritmos, e sem requerer formas de
aprendizado pelo que se ouve e fala. Aprendizado esse que passa a ser
exercido automaticamente por meio de algoritmos que fazem por nós, em
muitas situações, escolhas que influenciam a vida das pessoas.

O futuro reserva os desafios de compreender o alcance das consequências

dessas ferramentas no cotidiano dos cidadãos e as implicações para o
funcionamento das já combalidas democracias mundo afora. O ChatGPT
proporciona o controle daquilo que se fala e do que se ouve em arenas
públicas cada vez mais intensamente transformadas. Mudamos o meio de fala
e a audiência sem que percebamos as consequências democráticas desse
processo.

John Dewey, um filósofo estadunidense do século 20, defendia que sociedades

democráticas requerem formas de aprendizado plural e participativo para que
valores como equidade e liberdade prosperassem. Discursos, falas e
audiências plurais seriam essenciais para o funcionamento de regimes
democráticos. Democracia requer formas de convivência e conhecimento
humanos.

O controle do discurso que emerge com as IAs generativas põe em xeque a

capacidade humana de discutir democraticamente os problemas públicos e
suas soluções. Assim, tecnologias disruptivas como o ChatGPT requerem
mecanismos de responsabilização de inteligências artificiais que emergem em
diversos campos do conhecimento. São várias as discussões que surgem, tais
como se inteligências artificiais podem ser juridicamente responsabilizadas,
cabendo essa responsabilidade a empresas ou designers dessas tecnologias.

Da mesma forma, que mecanismos de regulação devem emergir para lidar com
tecnologias disruptivas e quais mecanismos de transparência devem ser
assegurados sobre bases de dados, modelos de treinamento e resultados?

7
Os desafios contemporâneos são enormes. Resta a governos, parlamentos e
sistemas judiciais criarem parâmetros e limites, não com base apenas em
aspectos éticos, mas, principalmente, sobre as consequências sociais e
políticas de tais tecnologias. Para que as tecnologias digitais sejam usadas
com responsabilidade é necessário estabelecer políticas e regulamentações
para proteção da sociedade contra consequências sociais adversas.

FONTE:

https://cienciahoje.org.br/artigo/chatgpt-tecnologia-limitacoes-e-impactos/