See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/371033965

Avaliação diante da Inteligência Artificial

Presentation · May 2023

CITATIONS READS

0 77

4 authors, including:

Angela Araujo Nunes José Edielson da Silva Melo

Federal University of Pernambuco Federal University of Pernambuco
1 PUBLICATION 0 CITATIONS 1 PUBLICATION 0 CITATIONS

SEE PROFILE SEE PROFILE

All content following this page was uploaded by Marcelo Sabbatini on 25 May 2023.

The user has requested enhancement of the downloaded file.

 EMT918
EMT 918
Tecnologiae eSociedade
Tecnologia Sociedade

Avaliação diante da
Inteligência
QuestãoArtificial
Angela Araujo Nunes
José Edielson da Silva Melo
Grupo Costa Valente
Sara Rosa Piedade

Conteúdo
Conteúdosob Licença
sob CC
Licença BY-SA
CC 4.0.
BY-SA 4.0.
 Qual a problemática?

● Como será a avaliação da

aprendizagem escolar com a
popularização da Inteligência Artificial
(IA) generativa?
● Estariam os professores dispostos a
incluir a tecnologia em seus planos de
aula?
● Ou mesmo preparados para conduzir a
avaliação do desempenho dos
estudantes quando utilizarem aplicativos
de IA?
FONTE: Instagram (2023)
 Por que é importante?
● Cada vez mais rápido obtemos
conhecimento e respostas às indagações,
sendo necessário saber lidar com
estudantes cada vez mais conectados e
ávidos por inovações tecnológicas;
● Para que os professores possam rever
posturas autoritárias diante de novas
possibilidades avaliativas com uso de
ferramentas informacionais;
● Porque demonizar tecnologias não é uma
prática que garanta aprendizado eficaz. A
discussão e o debate sobre acesso e
inclusão digital parece um caminho mais
sensato. FONTE: Instagram (2023)
 Por que é importante?
Pereira, Lehmann e Oliveira (2021) colocam as seguintes
questões, fundamentais para a entender essa
modernidade que cria novas definições de identidade
individual e coletiva:
● Como deveriam as escolas e seus professores reagir
à expansão das tecnologias de informação, tendo em
vista o trabalho educativo a realizar?
● Como ajudar os professores a lidar com os vários
tipos de inovações tecnometodológicas?
● Que eixos dominantes deveriam orientar a formação
de professores, face a essas novas tecnologias?
● Que competências docentes estarão associadas à
manutenção de humanos no trabalho docente se os
sistemas de inteligência artificial se expandirem na
Educação?
● Que procedimentos pedagógicos, que bases
ontológicas e éticas deveriam orientar a formação FONTE: Instagram (2023)
docente, nas várias especialidades?
Por que é importante?
 ?
O que se sabe?
??

● Ao acessar um aplicativo, qualquer usuário pode pedir um

determinado tipo de texto e obter algo plausível, de acordo com
as informações que forneça.
 ?
O que se sabe?
● São diversas ferramentas de Inteligência Artificial, usadas para
gerar textos, imagens e sons.
??

AGUIAR, Ilana. [Ferramentas IA indispensáveis]. WhatsApp: [COGNIÇÃO EDUMATEC]. 30 mar. 2023.

17h19. mensagem de WhatsApp.
 ?
O que se sabe?
● O material produzido por IAs
geradoras de texto:
??
É gramaticalmente
correto

É relevante para
discussão de um tema

Tem estilo de escrita

acadêmica

Parece plausível

Fonte: Mills (2023)

 Cenário 1 - AVALIAÇÃO
● João Maria, é professor de ciências e está há 10 anos
em sala de aula. Ele prefere ensinar de forma clássica:
aulas teóricas com ajuda do livro didático adotado em
sua escola, lousa, atividades feitas nos cadernos.
● Em seu processo de avaliação, ele costuma realizar
provas com questões abertas. E de maneira pungente,
rejeita respostas que se apresentem diferentes ao que
o livro usado em sala apresenta.
● Há poucos meses, ele assistiu a uma matéria que
tratava sobre inteligência artificial no processo de
Ensino e de Avaliação.
● João ficou indignado, pois sempre acreditou na
Sala de aula da década de 1930, com o
eficácia do seu método e de suas ferramentas, não primórdio da educação audiovisual
(PIMENTEL; CARVALHO, 2021).
precisando de tecnologia para conduzir a
aprendizagem de seus alunos. Só ficou tranquilo em
relação a possíveis fraudes na avaliação, porque era
professor à moda antiga, que fazia aluno decorar
resposta de livro…
 O que seria
interessante discutir?
● Conceitos que ajudem os professores e
professoras a encontrar formas de avaliação que
permitam aos estudantes a compreensão do
erro, a possibilidade de aprendizagem e
utilização da avaliação como uma prática
classificatória, pensada em sucesso x fracasso
escolar.
● Conceitos como:
○ Avaliação Mediadora ( HOFFMANN, 2019a,
2019b)
○ Aprendizagem Significativa (AUSUBEL Apud
MOREIRA, 2010)
○ Mínimo Necessário (LUCKESI, 2011)
● A utilização dos resultados dos alunos para uma
FONTE: Pimentel e Carvalho
autocrítica, autoavaliação por parte do docente. (2021b)
Cinco equívocos sobre
avaliação da aprendizagem

● Itens para discussão a partir de

Pimentel e Carvalho ( 2021a)
 A escola seria só isso?

FONTE: Pimentel e Carvalho (2021c)

“Se, em vez de objetivos educacionais, preferirmos trabalhar com a noção de

competência (SACRISTÁN, 2011) – usualmente caracterizada pelo modelo “CHA”:
Conhecimentos (conteúdos, conhecimentos teóricos), Habilidades (saber-fazer) e
Atitudes (como as competências socioemocionais) –, pensaremos na prova como um
possível instrumento para examinar os conhecimentos, mas dificilmente a indicaremos
para avaliar as habilidades e as atitudes.” (PIMENTEL; CARVALHO, 2021)
 A escola seria só isso?

FONTE: Pimentel e Carvalho (2021c)

 Cenário 2 - IA e Avaliação
● Maria João, professora de uma Escola Municipal e
aluna do mestrado, também viu a mesma matéria
que João e adorou. Passou a pesquisar sobre a IA,
para entender a tecnologia e as possibilidades de
utilização em sala de aula.
● Ao invés de seu colega, ela pensou que a
ferramenta poderia ser usada para otimizar seu
tempo e levar mais qualidade para seu processo de
avaliação.
● Nessa busca, ela encontrou uma IA com algoritmos
capazes de identificar padrões nas respostas dos
estudantes e, a partir disso, gerar um perfil de Ilustração da capa: Mariano Pimentel e
MidJourney
habilidades e competências para cada um deles.
FONTE: Pimentel, Azevedo e Carvalho
● Agora, Maria planeja usar a IA em suas avaliações, (2023c)
de modo a permitir o melhor conhecimento dos
estudantes, sem ter apenas um caráter
classificatório. Criando, inclusive, materiais e
atividades especiais.
 Breve linha do tempo…
● 1943 Artigo sobre rede neural;
● 1950 Proposto o “Teste Turing” para
medir a capacidade de uma máquina
demonstrar comportamento
inteligente - “As máquinas
conseguem pensar?”;
● 1956 Surge o termo “Inteligência
Artificial”
● 1959 Desenvolvido programa que
joga xadrez e aprende com suas
próprias jogadas;
● 1965 Criado o ELIZA, programa de
computador que simula uma
terapeuta, capaz de manter diálogos ● 2020 A linguagem de programação
simples;
● 1986 Criado o sistema de regras
para IA;
● 1997 O computador “Deep Blue” da
IBM, derrotou o campeão mundial
de xadrez;
● 2011 O IBM Watson vence
concorrentes humanos em um
programa de tv utilizando
processamento de linguagem
natural e aprendizado de máquina;
● 2015 O AlphaGo vence o jogo de
xadrez considerado o mais
complexo, utilizando técnicas
avançadas de aprendizado
profundo;
GPT-3 é lançada, sendo capaz de
produzir textos muito próximos aos
escritos por um ser humano.
 Quais os impactos para o
ensino e a aprendizagem?

● Personalização do aprendizado para

cada aluno;
● Melhoria da eficiência dos professores -
automatização de tarefas, coleta e
análise de dados;
● Acesso a recursos de aprendizagem
mais eficazes;
● Aprendizado adaptativo a partir da
criação de sistemas;
● A implementação da IA na educação
FONTE: Pimentel, Azevedo e Carvalho (2023a)
deve ser feita com cuidado e levar em
consideração as preocupações éticas e
de privacidade.
 Quais os impactos para o
ensino e a aprendizagem?

● A IA não substituirá os professores, mas

poderá ajudá-los a melhorar e personalizar
a experiência de aprendizado dos alunos;
● A IA tem o potencial de transformar a
educação e melhorar a qualidade do ensino
e do aprendizado;
● Os professores que se adaptam a essa
mudança e aprendem a usar a IA, de forma
eficaz, podem oferecer aos estudantes
uma experiência educacional adequada a
necessidades individuais. FONTE: Pimentel, Azevedo e Carvalho
(2023b)
 O que pode ser feito?
● Mills (2023) fala em uso da
escrita como modo de
aprendizagem, que fortalece o
conhecimento e o
desenvolvimento cognitivo;
● Mills (2023) se pergunta: “Então,
como podemos confiar na escrita
como forma de avaliação?” E
lança alternativas para evitar a
utilização antiética e abusiva das
IAs.
● “Minha hipótese de trabalho:
podemos escolher uma
combinação de abordagens para
dissuadir o uso indevido da IA e
assim, ajudar a prevenir a perda
de aprendizagem”.
● Ela propõe primeiramente fortalecer o
processo de produção do conhecimento.
Através:
○ do reconhecimento do papel da
escrita
○ da motivação da escrita
○ do incentivo e motivação coerentes
ao universo dos alunos;
○ do uso da criatividade;
○ da construção de conexões com
realidade e entorno;
○ do ensino do processo de escrita
○ da discussão da ética;
○ do alerta para vazamento de dados,
detecção de plágio e de questões
éticas no uso de IAs;
○ do ensino de funcionamento dos
IAs;
○ da colaboração com pesquisadores
e professores.
 O que pode ser feito?
Ethan Mollick, professor dedicado à
inclusão de IAs no processo educativo,
sugere:
● Exigir que os estudantes usem
variações diversificadas para entrada
de dados e reflitam sobre a qualidade
das saídas do ChatGPT;
● Ensinar aos estudantes como usar
instruções mais específicas para
entradas, como descrever o estilo
desejado;
● Ensinar aos estudantes como solicitar
FONTE: Mills (2023)
uma pequena seção de texto de cada
vez e dar feedback ao ChatGP sobre
como melhorar
● Pedir aos alunos que solicitem ao
ChatGPT muitas ideias e, em
seguida, escolham ideias promissoras
para desenvolver.
 O que está sendo feito?
● Softwares de detecção de uso de IA ● Como é feita a detecção, segundo
para produção de textos
• TurnItIn’s detector
• OpenAI’s AI Text Classifier
• CheckGPT
• Crossplag AI Content Detector
• GPTZero
• DetectGPT demo
• OpenAI’s older detector
• AIWritingCheck.org
Mills (2023):
○IA, como Chat GPT, não tem
acesso a um banco de dados de
suas próprias saídas para verificar;
○A detecção é baseada não em
semelhança direta, mas em
suposições probabilísticas baseadas
em características do texto;
○O ChatGPT e outras ferramentas
de IA podem ajustar o texto para
evitar a detecção.
 O que está sendo feito?
● Uso de detectores de uso podem ● GPTZero rotulou a Declaração de
incidir em “falsos positivos" (MILLS, Direitos de "provável IA" (MILLS,
2023) 2023)

FONTE: Mills (2023)

 O que está sendo feito?
● Incremento e refinamento tecnológico ● Ações pautadas em
para melhoria da análise de resultados; tecnofobia e retrocesso
tecnológico.

● Em contrapartida, já são conhecidos

dispositivos aplicados para evitar a
detecção do uso de IA, como o Quillbot.
 Quais as perspectivas de futuro?

● Ensino adaptativo personalizando individualmente, considerando

necessidades e habilidades;
● Análise de dados educacionais identificando tendências e auxiliando na
tomada de decisões;
● Tutoria virtual com uso de chatbots, com orientação e mediação pelo
docente;
● Possibilidade de automação de procedimentos, permitindo aos professores
dedicar mais tempo ao ensino e feedback;
● Por fim, a IA não pode, e nem deve, substituir o professor. Ela deve ser vista
como uma ferramenta para ajudar a melhorar e aprimorar o processo de
ensino e aprendizagem.
 Cenário 3 - Atividade
● Maria João e João Maria receberam um convite para participar de
uma formação docente e, ao chegarem, foram encaminhados
para uma oficina sobre a utilização de ferramentas de IA em sala
de aula.
● Os professores tiveram a oportunidade de testar aplicativos e
programas, ampliando seu conhecimento sobre as ferramentas e
sobre as possibilidades oferecidas por elas.
● Maria João, que lecionava matemática, experimentou um chatbot
que ajudava seus alunos a tirar dúvidas sobre cálculo, enquanto
João Maria, que dava aulas de ciências, testou um algoritmo de
análise de textos que auxiliava na identificação de informações
relevantes em textos.
● Ao final, os professores foram convidados a apresentar suas
experiências e compartilhar como planejavam utilizar as
Texto adaptado de
ferramentas de IA para complementar suas aulas, permitindo que resposta oferecida pelo
os alunos aprendessem de maneira mais eficiente e autônoma. E ChatGPT
mesmo não tendo a mesma opinião sobre as IAs e suas práticas
pedagógicas, ela e ele aproveitaram para aprender mais e
conhecer a tecnologia que pode ampliar suas estratégias para
melhorar o ensino e o aprendizado de seus estudantes.
 Atividade

● Vamos montar ao menos 4 grupos;

● Cada grupo deve escolher uma disciplina:
matemática, história, geografia, ciências, língua
estrangeira, preferencialmente aplicável aos
anos iniciais;
● Desenvolvam uma atividade de avaliação da
aprendizagem em que os estudantes utilizem
um programa ou aplicativo de Inteligência
Artificial para realizar a atividade;
● Privilegiam outras IAs além das generativas de
texto, estimulando o uso criativo;
● Por fim, indiquem alguns critérios a serem
utilizados para análise dos resultados dos
estudantes.
Mecanismos de avaliação típicos da cibercultura
(PIMENTEL; CARVALHO, 2021b)
 Considerações Finais
Princípios de avaliação
para aprendizagem na
educação online, sugeridos
por Pimentel e Carvalho
(2021c). Valem a reflexão
sobre nossas práticas e
sobre a inclusão da IA no
cotidiano escolar
Considerações Finais
Mas cuidado…
 Referências
https://chat.openai.com/
https://www.donegacontabilidade.com.br/capa.asp?infoid_noticia=1179
HOFFMANN, J. Avaliação Mediadora: uma prática em construção da pré-escola à
universidade. 35. ed. Porto Alegre: Editora Mediação, 2019a. ISBN:
9788577061365.
HOFFMANN, J. Avaliação: mito & desafio. 46. ed. Porto Alegre: Editora Mediação,
2019b. ISBN: 9788577061273.
LUCKESI, C. C. Avaliação da aprendizagem escolar. 22. ed. São Paulo: Cortez,
2011. ISBN: 9788524917448.
MILLS, A. Rethinking Writing for Assessment in the Era of Artificial
Intelligence. San Diego, USA.. UC San Diego "Threats & Opportunities" Virtual
Symposium. 18 abr. 2023. Apresentação slides. Disponível em:
https://twitter.com/EnglishOER/status/1648439271647510528?t=EZpEQ9JGtUr6Lz
CwfE8dRg&s=19. Acesso em: 19 abr. 2023.
MOREIRA, M. A. O Que é Afinal Aprendizagem Significativa? Aula Inaugural do
Programa de Pós-Graduação em Ensino de Ciências Naturais, Instituto de Física,
Universidade Federal do Mato Grosso. Cuiabá, p.28, 23 de abril de 2010.
PEREIRA, A.; LEHMANN, L.; OLIVEIRA, M. O desafio das tecnologias de
inteligência artificial na Educação:: percepção e avaliação dos professores. Ensaio:
Avaliação e Políticas Públicas em Educação, Rio de Janeiro, 22 fev. 2021
1809-4465. DOI: https://doi.org/https://doi.org/10.1590/S0104-40362020002803115.
Disponível em: https://www.scielo.br/j/ensaio/a/nM9Rk8swvtDvwWNrKCZtjGn/.
Acesso em: 10 abr. 2023.
 Referências
PIMENTEL, Mariano; AZEVEDO, Viviane; CARVALHO, Felipe. ChatGPT: a era da autoria
híbrida humana/o-IA. SBC Horizontes, 21 mar. 2023a. ISSN 2175-9235. Disponível em:
<http://horizontes.sbc.org.br/index.php/2023/03/chatgpt-a-era-da-autoria-hibrida/>. Acesso
em: 19 abr. 2023.
PIMENTEL, Mariano; AZEVEDO, Viviane; CARVALHO, Felipe. ChatGPT é realmente
inteligente? SBC Horizontes, 17 mar. 2023b. ISSN 2175-9235. Disponível em:
<http://horizontes.sbc.org.br/index.php/2023/03/chatgpt-e-realmente-inteligente/>. Acesso
em: 19 abr. 2023.
PIMENTEL, Mariano; AZEVEDO, Viviane; CARVALHO, Felipe. ChatGPT substituirá
professoras e professores? SBC Horizontes, 10 mar. 2023c. ISSN 2175-9235. Disponível
em:
<http://horizontes.sbc.org.br/index.php/2023/03/chatgpt-substituira-professoras-e-professo
res>. Acesso em: 19 abr. 2023.
PIMENTEL, Mariano; CARVALHO, Felipe. Cinco equívocos sobre avaliação da
aprendizagem. SBC Horizontes, ago. 2021a. ISSN 2175-9235. Disponível em:
<http://horizontes.sbc.org.br/index.php/2021/08/equivocos-sobre-avaliacao>. Acesso em:
19 abr. 2023.
PIMENTEL, Mariano; CARVALHO, Felipe da Silva Ponte. Instrução (re)programada,
máquinas (digitais em rede) de ensinar e a pedagogia (ciber)tecnicista. SBC Horizontes,
jul. 2021b. ISSN 2175-9235. Disponível em:
<http://horizontes.sbc.org.br/index.php/2020/06/02/maquinas-de-ensinar>. Acesso em: 19
abr. 2023.
PIMENTEL, Mariano; CARVALHO, Felipe. Princípios da avaliação para aprendizagem na
educação online. SBC Horizontes, set. 2021c. ISSN 2175-9235. Disponível em:
<http://horizontes.sbc.org.br/index.php/2021/09/avaliacao-online>. Acesso em: 19 abr.
2023.
View publication stats