Coordenadoria Regional de Desenvolvimento da Educação - CREDE 9

Célula de Desenvolvimento da Escola e da Aprendizagem - CEDEA

XIV FEIRA DE CIÊNCIAS E CULTURA - TEIA 2023

CorrAut - Correção Automatizada de Gabaritos e Análise de Desempenho
CorrAut - Automated Bubble Sheet Correction and Performance Analysis
EEEP EDSON QUEIROZ
Autores:

1º autor: Marcos Paulo da Silva Sousa

2º autor: José de Ribamar Ferreira Neto
3º autor: Manuel Edvar Bento Filho
4º autor: Francisco Leonardo Rocha

Participantes:

● Marcos Paulo da Silva Sousa

● José de Ribamar Ferreira Neto
● Pedro Yuri Alves Fabrício
● Ramon Silva de Oliveira
● Maria Elisa Nogueira Capistrano
● Guilherme Rocha de Almeida
● Pedro Henrique Ferreira Lima
● Ana Letícia Costa Dos Santos

Resumo:

O escopo do projeto tem o propósito de automatizar o processo de correção de

gabaritos tornando-o mais assertivo e prático para oferecer maior suporte às redes escolares e
educadores. Essa implementação envolve a criação de uma aplicação que utiliza um banco de
dados como base para a automatização da correção de gabaritos a partir de um escaneamento
de fotografias. Adicionalmente, o aplicativo também oferece uma análise mais estatística dos
dados armazenados que podem facilmente ser acessados pelo profissional da educação e
utilizados para realçar pontos específicos como taxas de infrequência e a geração de médias
separadas por turma para uma visão geral de desempenho. O CorrAut 2023 conta com esta
funcionalidade para suprir tarefas convenientes quanto ao que se refere às visões acadêmicas
e informações que podem ser aproveitadas pelo professor, além disso, trouxe um referencial
de pesquisa prática na coleta de dados que caracterizou o aplicativo com mais pragmatismo e
assertidão, sobressaindo sobre a antiga arquitetura e trazendo melhores resultados no
desempenho do código como a variabilidade das informações a serem coletadas, o
treinamento de uma inteligência artificial para o reconhecimento destas e a dispensa de uma
estrutura para realizar as fotografias do cartão resposta.

Abstract:

The scope of the project aims to automate the process of answer sheet correction,
making it more precise and practical to provide greater support to school networks and
educators. This implementation involves the creation of an application that utilizes a database
as a foundation for automating the correction of answer sheets through scanning photographs.
Additionally, the application also offers a more statistical analysis of stored data that can be
readily accessed by educational professionals and utilized to highlight specific aspects such
as absenteeism rates and the generation of separate class averages for an overall performance
overview.

Palavras-chave: Correção, Gabaritos, Automação, Análise, Educação

Keywords: Correction, Bubble sheet, Analysis, Education

Justificativa e Contextualização:

O expediente dos professores, sobretudo, na rede pública no Brasil, encontra-se

repleto de incumbências nos dias atuais, devido os seus serviços envolverem não só a
preleção aos alunos, mas também o encargo gerado na produção que estende-se em muitos
âmbitos fora da sala de aula. Além do que se entende por ambiente de trabalho, é notório o
defronte com diversos processos cansativos que exigem mais do profissional, seja pelo
acompanhamento do desenvolvimento acadêmico do aluno a partir de dados gerados nos
semestres até mesmo o planejamento de aulas que atendam às necessidades dos educandos.
Em suma, a maioria das Instituições de ensino se agregam da avaliação para
compreender o conhecimento e o desempenho do aluno acerca de todo o ano letivo, tomando
como referencial as alternativas assinaladas pelo aluno em provas de múltipla escolha. Esse
método é fielmente utilizado pois consolida uma padronização da correção da avaliação e,
por conseguinte, gera maior praticidade para o profissional da educação. São muitos os
benefícios a qual esse modelo de aplicação apresenta, sobretudo em avaliações realizadas por
uma grande quantidade de alunos. Mesmo sem necessitar-se da análise das respostas tal como
em provas subjetivas, o professor abdica-se de uma grande carga horária para gerar os
resultados, pois os processos de correção geralmente são manuais, tornando o trabalho
monótono e repetitivo. Sendo assim, essa prática é lenta e desperdiça o tempo em que ele
poderia aprimorar suas aulas e priorizar a dificuldade dos alunos com o resultado destas
avaliações.
Baseado nisso, é possível cobiçar um novo método que consiga de modo efetivo
apresentar uma forma de resolver o empecilho e gerar um instrumento aliado ao professor
que ajude a otimizar seu tempo e esforço. Nos dias hodiernos, a tecnologia se tornou uma
ferramenta pragmática indispensável que a cada dia vem facilitando o cotidiano trazendo
soluções eficientes para atingir uma maior qualidade de produção. Esse evento se consolidou
em diversas áreas de atuação e está reformulando as interações entre pessoas e uma visão
mais aprimorada sobre o uso do meio digital. Dentre as diversas esferas sociais, ela
estende-se, estoicamente, às redes de ensino de modo a complementar as tarefas do
profissional da educação e, consequentemente, dos educandos. Seguindo o ópice supracitado,
a proposta neste projeto, CorrAut, visa auxiliar na correção de gabaritos utilizando tecnologia
para tornar o processo de correção mais rápido, prático e preciso através da disponibilização
de um ambiente acessível para escolas com poucos recursos tecnológicos.

Objetivo geral:

O propósito fundamental do projeto é automatizar e aprimorar de maneira substancial

o processo de correção de gabaritos em avaliações educacionais, proporcionando uma
solução tecnológica eficiente, precisa e ágil. Adicionalmente, o artigo busca apresentar uma
análise completa das funcionalidades da aplicação, incluindo a implementação de recursos de
inspeção estatística e visualização de desempenho, com o intuito de oferecer aos educadores
uma ferramenta poderosa para compreender de forma mais profunda o progresso acadêmico
dos alunos e identificar tendências relevantes.

Objetivos específicos:

● Desenvolver uma aplicação e um website para correção automatizada de avaliações

objetivas.
● Implementar um sistema de correção de gabaritos utilizando inteligência artificial
baseada em redes neurais.
● Criar um módulo de controle de frequência para registro de presença dos alunos
relacionado a um dashboard.
● Desenvolver um dashboard que apresente informações detalhadas sobre o
desempenho das turmas utilizando as informações obtidas com o uso da aplicação.
● Construir uma ferramenta de análise de desempenho que estabeleça correlações entre
o registro de faltas de um aluno e suas médias acadêmicas.

Fundamentação Teórica:

O método de identificação de opções utilizado no projeto, ocorrido em 2022,

baseou-se na técnica da cascata de Haar, originalmente desenvolvida por Paul Viola e
Michael Jones em 2001. Essa abordagem envolve a aplicação de filtros simples, chamados de
características de Haar, em imagens em escala de cinza para detectar objetos de interesse,
como faces humanas. O algoritmo de aprendizado utilizado, chamado AdaBoost, seleciona e
combina essas características para formar um classificador forte. No entanto, essa técnica
mostrou-se eficaz apenas até certo ponto, exigindo ajustes significativos para tornar os
resultados práticos e confiáveis. Essas adaptações também tiveram o impacto negativo de
aumentar o tempo de processamento necessário em cada etapa da análise.
Diante da necessidade de encontrar soluções mais avançadas para o projeto, o método
central atualmente adotado pelo CorrAut é o YOLO[3] (You Only Look Once), um paradigma
desenvolvido por Joseph Redmon e Ali Farhadi em 2016, vinculados à Universidade de
Washington. O YOLO é um modelo de rede neural convolucional (CNN) que permite a
detecção de objetos em tempo real. Ele divide a imagem em uma grade e prevê as
coordenadas e classes dos objetos presentes em cada célula dessa grade em uma única etapa.
Essa abordagem é fundamentalmente diferente da técnica anterior, que exigia múltiplas
etapas para localização e classificação de objetos. O resultado é um sistema mais rápido e
preciso em comparação com os modelos tradicionais. A incorporação do YOLO representou
um marco significativo em termos de melhoria na eficiência do processo de correção, bem
como em um código mais compacto e eficiente, com redução de 50% no tempo necessário
para identificar cartões resposta.
Este artigo apresenta um projeto que faz uso de duas tecnologias fundamentais no
desenvolvimento de aplicativos móveis modernos: Firebase[5] e React Native[2]. O Firebase,
uma plataforma oferecida pela Google, abrange diversos serviços em nuvem, incluindo
autenticação de usuários, armazenamento de dados, hospedagem de aplicativos, análise de
dados e comunicação em tempo real. Ele oferece uma interface intuitiva para gerenciar dados
e usuários e fornece SDKs para várias plataformas, incluindo o React Native. Por outro lado,
o React Native, um framework de código aberto desenvolvido pelo Facebook, possibilita a
criação eficiente de aplicativos móveis nativos para iOS e Android, utilizando principalmente
JavaScript[1]. Ele emprega conceitos semelhantes aos do React para a web, como
componentes, estados e props, para construir interfaces de usuário nativas com base em
elementos declarativos. Essa combinação estratégica dessas tecnologias proporciona uma
infraestrutura sólida para o desenvolvimento cross-platform, permitindo a criação de
interfaces de usuário nativas e a integração eficaz e inovadora de recursos essenciais.
Além desses recursos, o projeto também se beneficia dos serviços da AWS[4] (Amazon
Web Services), amplamente utilizados na seção de correção de gabaritos da aplicação. A
AWS é uma plataforma de computação em nuvem que oferece uma ampla gama de serviços,
como armazenamento, processamento, banco de dados, rede, segurança, inteligência
artificial, entre outros. Esses serviços permitem que os desenvolvedores acessem recursos
computacionais escaláveis e confiáveis sem a necessidade de investir em infraestrutura
própria.
Em resumo, o projeto passou de uma abordagem baseada na cascata de Haar para a
utilização do YOLO, resultando em melhorias significativas na detecção de objetos. A
combinação de Firebase e React Native ofereceu uma infraestrutura sólida para o
desenvolvimento de aplicativos móveis nativos, enquanto os serviços da AWS contribuíram
para a eficiência geral do software, permitindo a comunicação eficaz entre os elementos do
projeto. Essas tecnologias modernas e estratégicas desempenharam um papel crucial na
melhoria do processo de identificação de opções e no desempenho geral da aplicação.

Figura 1: Comparação, método anterior / atual.

Metodologia:

Uma evolução no projeto relaciona-se com a flexibilidade do método. Agora, o

processo de cadastro de gabaritos foi reformulado para ser viabilizado com o uso de um
aplicativo desenvolvido para dispositivos móveis, dispensando, assim, a necessidade de uma
configuração que possua uma webcam conectada diretamente ao computador. Essa adaptação
amplia as possibilidades de aplicação do sistema de modo a torná-lo democrático, acessível e
prático para um público mais amplo de usuários.

Figura 2: Telas do aplicativo já desenvolvidas.

Além das melhorias supracitadas, a aplicação foi enriquecida pela adição de um

módulo dedicado à análise de frequência e desempenho dos estudantes, estabelecendo
conexões entre as médias por disciplina e as respectivas taxas de infrequência. Atualmente
adaptamos uma versão da aplicação com este módulo e ela está sendo usada na nossa
instituição de ensino, EEEP Edson Queiroz, por PCA’s (Professores coordenadores de área) e
coordenadores para a realização da frequência do dia, e a visualização de forma específica da
taxa de presença das turmas e alunos. A inclusão desse módulo representa um passo adicional
notável em termos de funcionalidade e utilidade do sistema, além da ajuda visível aos
professores, o que facilitou a realização da frequência e a possibilidade de acompanhar de
maneira real e precisa as taxas de presença e o desempenho dos alunos.
Quanto à infraestrutura tecnológica, a aplicação foi desenvolvida fazendo uso da
tecnologia React Native e está integrada ao Firebase[5], garantindo assim armazenamento
seguro de dados e funcionalidades de autenticação. Ademais, o sistema está conectado a um
servidor web hospedado na AWS, plataforma desenvolvida pela Amazon, um servidor que
centraliza as operações de reconhecimento dos gabaritos, permitindo uma experiência mais
ágil e eficaz para os usuários, visto que a execução não depende exclusivamente do poder de
processamento dos dispositivos móveis.

Figura 3: Protótipo de uma futura implementação do sistema por intermédio de uma

plataforma web.

No início do atual estágio do projeto, procedeu-se à anotação de imagens de gabaritos

preenchidos por meio da plataforma Roboflow. O objetivo se baseou em construir um
conjunto de dados específico para o treinamento da Rede Neural Convolucional (CNN). As
CNNs, uma classe de redes neurais artificiais amplamente empregadas no processamento de
imagens, foram adotadas para esse propósito, e, de maneira específica, a arquitetura YOLO
foi escolhida como a abordagem central neste estudo.
 Figura 4: Exemplo da anotação de um gabarito no Roboflow.

Em seguida, empreendeu-se o treinamento de um modelo de reconhecimento

personalizado, utilizando-se as anotações que indicam a localização das alternativas
assinaladas ou em branco. Através dessa abordagem, obteve-se um resultado com a
capacidade de identificar de forma precisa todas as alternativas presentes em um cartão de
respostas, classificando-as de maneira adequada.

Figura 5: Lote Nº630 de treinamento do modelo YOLO.

Uma vez concluído o processo de modelagem, desenvolveu-se um código em

linguagem Python, utilizando o modelo resultante para gerar uma lista que contém retângulos
representativos das alternativas assinaladas e não assinaladas. A etapa subsequente de
pós-processamento abrange uma série de procedimentos visando a obtenção da lista
definitiva de respostas:
 1. Arredondamento das coordenadas do eixo Y dos retângulos, a fim de mitigar
discrepâncias decorrentes de ligeiras inclinações nos gabaritos.
2. Eliminação de retângulos sobrepostos, prevenindo situações em que o modelo
detecta a mesma alternativa múltiplas vezes.
3. Ordenação sequencial padrão dos resultados da esquerda para a direita e de cima
para baixo, garantindo a fidelidade à disposição original das questões.
4. Segmentação das alternativas em conjuntos de cinco, usando um algoritmo de
organização baseado em linhas horizontais com distâncias dos pontos predefinidas.
5. Cálculo dos números correspondentes às questões, levando em consideração o
formato bifurcado de duas colunas.
6. Conversão das respostas numéricas resultantes em alternativas, representadas pelas
letras de A a E.

Figura 6: Visão do modelo da CNN / Algoritmo de organização por linhas.

Análise e discussão de resultados:

O trajeto de correção manual se encontra integrado no cotidiano acadêmico, contudo,

há certos desafios para serem vencidos quanto a realização dessa tarefa em um menor tempo
possível. Esse empecilho é facilmente compreendido por uma pesquisa interna de correção
realizada com 45 alunos da EEEP Edson Queiroz e 5 educadores. Dessa forma, após a
realização de uma simulação proposta pela equipe, cada professor recebeu uma certa
quantidade de gabaritos no modelo de 20 questões com alternativas de A a E a fim de
analisar o tempo gasto para a conclusão do processo de correção. Ademais, foram assinaladas
as mesmas mediações de tempo de correção utilizando a ferramenta CorrAut conectada a
servidor interno. Ao final da pesquisa, constatou-se que os 5 educadores levam em média
cerca de 1min e 20,8s (80,8s) para a correção de um cartão resposta, enquanto o corretor
automático apresentou uma média de aproximadamente 3s por gabarito (2.9557s).
Suas taxas de precisão atingem cerca de 99,6% no processamento das respostas de gabaritos
preenchidos com caneta preta, contudo, há ressalvas quanto ao recurso de reconhecimento em
fotografias que contém tintura azul utilizada para preencher a alternativa. O uso de uma CNN
conseguiu atingir o propósito de escanear modelos que apresentem distorções de posição dos
cartões-resposta de modo a criar mais liberdade e flexibilidade no escaneamento das
fotografias. Por esse prisma, esse recurso tornou a ferramenta treinável, capacitando uma
correção exata de 1300 itens com a identificação adequada de alternativas preenchidas ou que
se encontravam vazios.
O CorrAut conseguiu atingir uma melhora significativa comparada a versão
inicializada em 2022, seu desempenho atingiu um uma otimização no tempo de correção do
professor e conseguiu proporcionar uma interação mais dinâmica e conveniente com o
incremento da análise de resultados. Nesse contexto, uma versão aplicada em uma rede
escolar conseguiria suprir as necessidades de correções rápidas por uma demanda
significativa de cartões respostas para propor uma geração de notas mais ágil e uma
prolongação no tempo livre de expediente do educador.

Figura 7: Tabela estatística do processamento das fotografias. / Professora Coordenadora de

Área utilizando o aplicativo para realização da frequência.
Obs.: Duplas 1-3 corrigidas com o aplicativo, tempo de resposta do servidor incluso na inferência.

8. Gráficos acerca dos dados coletados na pesquisa.

Considerações finais:

Tendo em vista que o objetivo do trabalho era reduzir o tempo necessário para a
correção de gabaritos, e que propôs-se um aplicativo para diminuí-lo com correção
automatizada de gabaritos e com um sistema de análise de desempenho, além de
disponibilizar um módulo de frequência integrado, esse foi alcançado. Após aplicar-se o
sistema na correção de provas, constatou-se que o tempo necessário para a correção
reduziu-se para 1/3 do tempo original (de 15 segundos para 5 segundos), o que é uma
melhora significativa. Além disso, considera-se o aplicativo uma solução viável para a
maioria dos contextos escolares, tendo em vista que o port para mobile torna-o acessível para
dispositivos móveis, mais presentes nas escolas do que os computadores desktop
convencionais. Apesar disso, é possível implementar funcionalidades para tornar o projeto
mais abrangente e prático. Dentre elas, é possível destacar a reorganização da base de dados
do app com o propósito de melhorar a forma com que eles são armazenados. Essa melhoria
conta com a ação de dispor esses dados em uma organização mais categórica e também
compreender o acesso offline a elas . Além disso, outro incremento seria utilizar da biblioteca
Document Scanner do React Native para gerar uma melhoria no que condiz a correção dos
cartões respostas. Essa ação se mostra necessária uma vez que seria otimizado e simplificado
para a parte do scanner das fotografias. A biblioteca iria detectar as bordas do gabarito e
aplicar correção de perspectiva a partir das informações coletadas pra melhorar o
reconhecimento. Ademais, pode-se ressaltar um tópico para notificações do app sobre alertar
situações mais específicas envolvendo os pais e coordenadores sobre o excesso de falta acima
da margem de média ou a crescente taxa de infrequência do aluno. Cabe ainda integrar ao
projeto a versão para aplicação web para possibilitar a eficiência de cadastro e informações
das escolas o que traz uma visualização abrangente e detalhada no que é viável em aparelhos
móveis.

Referências:

1. JavaScript. Adquira Informações sobre a Tecnologia JavaScript. Disponível em:

https://developer.mozilla.org/pt-BR/docs/web/javascript/guide/introduction. Acesso
em: 27 set. 2023.
2. React Native. Biblioteca JavaScript para Construção de Interface de Usuário.
Disponível em: https://github.com/facebook/react-native. Acesso em: 27 set. 2023.
3. YOLO. You Only Look Once: Detecção de Objeto em Tempo Real. Disponível em:
https://github.com/AlexeyAB/darknet. Acesso em: 27 set. 2023.
4. AWS. Amazon Web Services. Disponível em: https://aws.amazon.com/. Acesso em:
27 set. 2023.
5. Firebase Documentation. Disponível em: https://firebase.google.com/docs. Acesso
em: 27 set. 2023.
6. Flanagan, D. "JavaScript: The Definitive Guide." O'Reilly Media. 2021.
7. Eich, B. "JavaScript: The First 20 Years." Mozilla Developer Network. 2020.
8. MENOCIN, L.C. e ANTONELLO, R. "Correção Automática de Avaliações Objetivas
com Leitura do Cartão-Resposta por Visão Computacional." SECITEC, VI. 2017.