PleTes - Plataforma Educativa pra Teste de Software: um estudo
empírico.
Lucas Santos, Fischer Ferreira, Anderson Barbosa, Felipe Almeida, Andesson Sousa
{lucassantos,fischerjonatas}@ufc.br
{anderson.barbosa,felipe.almeida,andesson.sousa}@uninta.edu.br
Sobral, Ceará, BR
RESUMO
A testagem de software é uma atividade essencial para a garantia da
qualidade do software. No entanto, seu ensino pode ser um desafio,
pois requer a compreensão de conceitos complexos e a aplicação
de técnicas práticas. Este trabalho apresenta uma plataforma edu-
cacional que aborda os desafios do ensino de testagem de software.
A plataforma adota uma abordagem lúdica e envolvente, combi-
nando elementos de entretenimento com objetivos educacionais.
Isso torna o aprendizado mais motivador e eficaz, permitindo que
os alunos absorvam conceitos complexos de testagem de software
de forma mais rápida e eficiente. A plataforma foi validada em um
estudo com estudantes de cursos de computação e profissionais
atuantes na área de testagem de software. Foi realizado uma análise
qualitativa para validar a ferramenta e abordagem proposta com
estudantes de graduação e pós-graduação de cursos da área de com-
putação no nordeste do Brasil. Foi realizada uma análise qualitativa
para validar as funcionalidades da ferramenta, bem como alinhar
às expectativas de alunos de cursos da área de computação.
CCS CONCEPTS
• Social and professional topics → Computing education.
PALAVRAS-CHAVE
Educação de computação, Brasil, EduComp
1 INTRODUÇÃO
A testagem de software é um dos pilares da engenharia de software,
desempenhando um papel crítico na garantia da qualidade e con-
fiabilidade de sistemas de software. Com o crescente aumento da
dependência da sociedade em sistemas computacionais, a demanda
por profissionais qualificados em testagem de software nunca foi
tão alta. No entanto, o ensino eficaz dessa disciplina é um desafio
constante enfrentado por instituições de ensino em todo o mundo.
Os cursos de testagem de software representam uma vertente
essencial no ensino de desenvolvimento de programas [2, 11, 23].
Esses cursos, em geral, adotam uma abordagem equilibrada entre a
teoria e a prática, com foco na habilidade de conceber casos de teste
capazes de identificar falhas no código-fonte [2]. No entanto, esse
processo de aprendizado demanda uma compreensão aprofundada
Fica permitido ao(s) autor(es) ou a terceiros a reprodução ou distribuição, em parte ou
no todo, do material extraído dessa obra, de forma verbatim, adaptada ou remixada, bem
como a criação ou produção a partir do conteúdo dessa obra, para fins não comerciais,
desde que sejam atribuídos os devidos créditos à criação original, sob os termos da
licença CC BY-NC 4.0.
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
© 2023 Copyright mantido pelo(s) autor(es). Direitos de publicação licenciados à
Sociedade Brasileira de Computação (SBC).
dos fundamentos da testagem, aliada a habilidades práticas para
sua aplicação eficaz [10].
Nesse contexto, é crucial destacar que os estudantes muitas vezes
se deparam com desafios substanciais ao tentar criar conjuntos
de testes abrangentes. A capacidade de formular casos de teste
que sejam tanto rigorosos quanto representativos dos cenários
reais de uso é uma habilidade complexa que demanda prática e
orientação [10]. Além disso, a interpretação dos resultados obtidos
durante a execução dos testes também representa um ponto de
interesse crítico. Os alunos precisam ser capazes de discernir entre
resultados esperados e anomalias que podem indicar potenciais
falhas ou áreas de aprimoramento no código.
Outro aspecto relevante é a integração de tecnologias inovadoras
no processo de ensino de testagem de software. O uso de platafor-
mas educacionais que incorporam análise de testes mutantes e
assistência de IA é um exemplo notável nesse sentido [18, 20, 26].
Tais avanços oferecem aos alunos a oportunidade de vivenciar um
aprendizado mais dinâmico e interativo, permitindo a aplicação
prática dos conhecimentos adquiridos. Além disso, essa abordagem
inovadora não apenas beneficia os estudantes, mas também propor-
ciona aos professores insights valiosos sobre o progresso individual
dos alunos e áreas que necessitam de aprimoramento no processo
de ensino [4].
Este trabalho se concentra em aprimorar a formação educacio-
nal oferecida, propondo uma plataforma inovadora que combina a
análise de testes mutantes com a assistência de IA [15]. A análise
de testes mutantes, uma técnica notavelmente eficaz, implica na
introdução controlada de "mutantes"no código-fonte, simulando
potenciais falhas, sendo então os casos de teste empregados para
identificar tais alterações. Não obstante, a aplicação prática dessa
técnica pode ser desafiadora para estudantes.
A necessidade de incorporar abordagens educacionais mais di-
nâmicas e abrangentes para a testagem de software é respaldada
pelas diretrizes estabelecidas por entidades respeitáveis, como a
ACM (Association for Computing Machinery) e outros órgãos en-
carregados da definição de ementas em Ciência da Computação e
áreas afins. Tais instituições reconhecem a crescente complexidade
e importância da testagem de software no processo de desenvolvi-
mento de software. Portanto, a introdução de métodos pedagógicos
que promovam uma compreensão mais sólida e prática dessa disci-
plina é crucial para formar profissionais qualificados e preparados
para os desafios do mercado de trabalho na área de Tecnologia da
Informação[9, 12].
Além disto, é fundamental destacar que a integração da análise
de testes mutantes com a assistência de IA representa um passo
significativo rumo à modernização do ensino de testes de soft-
ware [12, 19, 25].. Essa abordagem não apenas capacita os alunos
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
a compreenderem e aplicarem a técnica de forma mais eficaz, mas
também os expõe a tecnologias de vanguarda que estão moldando o
cenário atual da indústria de desenvolvimento de software. Portanto,
ao alinhar o conteúdo educacional com as tendências e necessidades
da indústria, podemos preparar os futuros profissionais de forma
mais abrangente e competitiva.
A plataforma proposta oferece aos estudantes a oportunidade
de criar casos de teste e submetê-los para avaliação em relação
aos mutantes gerados. Além disso, um assistente de IA inteligente
sugere casos de teste e implementação de testes simples, oferecendo
orientação personalizada. Isso não apenas reforça o aprendizado teó-
rico, mas também proporciona aos alunos uma experiência prática
valiosa.
Este trabalho também pode beneficiar professores e pesquisado-
res da área, permitindo que eles monitorem o progresso dos alunos
de maneira eficiente, identifiquem áreas de dificuldade e ajustem
seus métodos de ensino de acordo. Ao fornecer uma visão detalhada
do desempenho dos alunos, os professores podem oferecer orienta-
ção direcionada, adaptando o ensino para atender às necessidades
individuais.
No restante deste artigo, será detalhada a arquitetura da plata-
forma, será discutida a implementação da análise de testes mutantes
e a assistência de IA, e serão exploradas as implicações pedagógicas
dessa abordagem inovadora. Acredita-se que a plataforma tem o po-
tencial de revolucionar o ensino de testagem de código, capacitando
os alunos a se tornarem profissionais competentes na garantia da
qualidade de software.
2 FUNDAMENTAÇÃO TEÓRICA
Esta seção aborda o referencial teórico utilizado para embasar o es-
tudo. A seção aborda os conceitos de testes de software, análise por
teste mutante, o uso de inteligências artificiais e do Chat GPT, além
do cenário do ensino de testes no Brasil e os trabalhos relacionados.
2.1 Testes de Software
Os testes de software são uma etapa crítica no ciclo de desenvolvi-
mento de qualquer aplicativo ou sistema[13, 14, 22]. Essa prática
consiste na execução controlada de programas ou partes de có-
digo com o objetivo de avaliar sua funcionalidade[1], identificar
possíveis falhas e garantir que o software atenda aos requisitos es-
tabelecidos. Existem diversas abordagens de teste, incluindo testes
unitários, que examinam componentes individuais do código, testes
de integração, que avaliam a interação entre diferentes partes do
sistema, e testes de aceitação, que verificam se o software atende
às expectativas dos usuários finais. Por meio dessas verificações
sistemáticas, os testes de software desempenham um papel crucial
na garantia da qualidade e confiabilidade de sistemas, contribuindo
para a redução de erros e a entrega de produtos mais robustos e
eficazes.
Além disso, os testes de software desempenham um papel fun-
damental na detecção e correção de falhas antes que um programa
seja disponibilizado ao público. Essa prática ajuda a evitar custos
e complicações significativos associados à correção de problemas
após o lançamento. Além disso, os testes são essenciais para a ma-
nutenção e evolução contínua do software, uma vez que permitem
que novas funcionalidades sejam introduzidas de forma segura e
-
sem comprometer a estabilidade do sistema existente. Portanto, os
testes de software não são apenas uma etapa isolada no processo de
desenvolvimento, mas sim um componente integral para garantir a
qualidade e confiabilidade de qualquer solução de software.
2.2 Análise por teste mutante
A análise por teste mutante é uma técnica poderosa e fundamen-
tal na avaliação da eficácia dos conjuntos de testes em um ambi-
ente de desenvolvimento de software. Essa abordagem consiste
na introdução controlada de mutações, ou pequenas alterações no
código-fonte do programa, para verificar se os testes existentes são
sensíveis o suficiente para detectar tais modificações. Se os testes
forem capazes de identificar as mutações, isso indica uma cober-
tura adequada e confiança na robustez do código. No entanto, se
as mutações passarem despercebidas, isso sugere a necessidade de
aprimorar os testes existentes para garantir uma cobertura mais
completa e eficaz. A análise por teste mutante desempenha um
papel crucial na garantia da qualidade do software, ao fornecer uma
métrica objetiva e quantificável da eficácia dos testes.
Além disso, a análise por teste mutante também serve como uma
ferramenta valiosa para a identificação de áreas de fragilidade no
código. Ao criar mutações deliberadas, os desenvolvedores podem
avaliar quais partes do código são mais suscetíveis a erros e exi-
gem atenção adicional durante o processo de teste. Essa técnica
não apenas aprimora a confiabilidade do software, mas também
ajuda a direcionar os esforços de teste para as áreas mais críticas e
vulneráveis, otimizando assim o processo de garantia da qualidade.
Portanto, a análise por teste mutante é uma prática essencial para
equipes de desenvolvimento de software que buscam criar sistemas
robustos e confiáveis.
2.3 O uso de Inteligências Artificiais e o
ChatGPT
A integração do ChatGPT na educação abre um vasto leque de
possibilidades para aprimorar o processo de aprendizado. Este mo-
delo de linguagem avançado pode atuar como um tutor virtual,
proporcionando suporte individualizado e respostas instantâneas
às dúvidas dos alunos. Além disso, o ChatGPT pode ser programado
para oferecer feedback específico em tarefas práticas, fornecendo
orientação valiosa durante exercícios e projetos [15].
Além do ChatGPT, as Inteligências Artificiais (IAs) de modo geral
têm o potencial de revolucionar a educação ao combinar o ensino
teórico e prático. Elas podem simular ambientes de aprendizado
autênticos, permitindo que os alunos pratiquem habilidades em um
contexto controlado e seguro. As IAs também têm a capacidade de
personalizar o currículo de acordo com as necessidades individuais
dos estudantes, adaptando-se ao ritmo de aprendizado de cada
um. Com essa capacidade de adaptação, as IAs proporcionam uma
experiência de aprendizado mais eficaz e eficiente, ao mesmo tempo
que oferecem uma variedade de recursos e materiais didáticos para
enriquecer o processo educacional. Em conjunto, a utilização de IAs
na educação promove uma abordagem mais dinâmica e envolvente
para a aquisição de novas habilidades, promovendo a formação de
profissionais mais capacitados e preparados para os desafios do
mundo atual.
PleTes - Plataforma Educativa pra Teste de Software: um estudo empírico
2.4 Cenário do Ensino de Testes em
universidades federais no Brasil
Em um estudo anterior[OMITIDO PARA REVISÃO DOUBLE-BIND],
ao realizar uma análise de ementas de cursos de computação ofere-
cidos pelas universidades federais brasileiras que dentre 143 uni-
versidades federais consultadas somente 44 (30,7%) incluem alguma
disciplina dedicada ao tema de testagem de software. As demais 99
universidades, correspondentes a 69,3% das universidades federais,
que possuem cursos de computação não oferecem uma disciplina
específica de teste de software [19, 25]. Uma lista das universidades
federais, juntamente com os respectivos cursos de teste de software
está disponível no site deste trabalho 1 . Esta lacuna no currículo de
muitas instituições pode impactar diretamente na preparação dos
egressos para lidar com testes na indústria de software [9, 12].
Desenvolver materiais e objetos para o ensino de testagem de
software passa a ter um papel crucial no desenvolvimento de futu-
ros egressos, mais capacitados, e também impacta na garantia da
qualidade dos produtos de software oferecidos no mercado [11]. Os
testes desempenham um papel crítico no ciclo de desenvolvimento,
assegurando a detecção de defeitos, a aderência aos requisitos e
a robustez do software [1]. Ao elaborar materiais focados nesse
domínio, torna-se possível abordar de maneira mais aprofundada
uma ampla gama de técnicas de teste, estratégias de validação e
ferramentas disponíveis, capacitando os estudantes com conheci-
mentos específicos e atualizados. Além disso, ao direcionar o ensino
para essa área, as instituições de ensino e as empresas do setor
contribuem para a formação de uma cultura de qualidade, promo-
vendo a redução de erros, o aumento da satisfação do cliente e,
consequentemente, fortalecendo a competitividade e confiabilidade
da indústria de software [12, 19, 25].
2.5 Trabalhos relacionados
Benitti e Draylson [5] discutem a criação de materiais didáticos
e o desenvolvimento de metodologias de ensino que abordem de
forma clara e objetiva os fundamentos de teste, fazendo uso de
mecanismos de automação buscando apresentar soluções eficazes
para o ensino destes tópicos. Já o trabalho atual tem como propósito
desenvolver uma plataforma para auxliar no processo de ensino-
aprendizagem de testagem de software. O trabalho busca fornecer
aos envolvidos uma abordagem inovadora, permitindo que explo-
rem novos cenários de testes e descubram formas adicionais de
testar trechos de código, fazendo uso de elementos de inteligência
artificial, expandindo o leque de oportunidades do estudante.
O trabalho de Corte et al [8] discute o uso do software Prog-
Test para automatizar a avaliação de trabalhos de programação
e de testes de software. Embora a ferramenta ProgTest seja ca-
paz de avaliar a qualidade do código e dos testes submetidos pelos
alunos, ela pode não ser suficiente para ajudá-los a identificar os
cenários de teste adequados para o código em questão. Em con-
traste, o trabalho atual utiliza o EvoSuite para apoiar os alunos
na identificação desses cenários de teste. O EvoSuite é capaz de
gerar automaticamente casos de teste de alta qualidade, permitindo
que os desenvolvedores tenham uma suíte de testes automatizados
inicial com baixo custo. Este relato de experiência investiga se o
1 https://organizationstart.github.io/first/
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
EvoSuite pode ainda servir de apoio pedagógico, indicando novos
cenários de teste e formas de testar trechos de código com os quais
o estudante tenha dificuldade.
O estudo "ProTesters: a board game for teaching the testing pro-
cess"de Gonçalves et al. (2022) [17] trata das questões referentes
as motivações do estudante e utiliza abertamente estratégias de
gamificação para ensinar testagem de software. Em contraste com o
presente trabalho, que segue uma metodologia de teste de software
com elementos lúdicos, preparando os alunos para um ambiente
de desenvolvimento semelhante ao que encontrarão na indústria
de software, enquanto o motiva a explorar eventuais casos de teste
com suporte da assistente por IA. O estudo "How do students test
software units?"de Bijlsma et al. (2021) [6] busca lidar com estu-
dantes recém-formados em cursos de computação, explorando seus
conhecimentos e vivências, visando entender as abordagens que
eles podem seguir ao criar testes.
Em geral, os artigos relacionados ao ensino de teste de software
e ferramentas de automação buscam apresentar soluções eficazes
para o ensino desses tópicos, contribuindo para a formação de pro-
fissionais melhor preparados para atuar na área de desenvolvimento
e testagem de software [11, 23, 24]. O trabalho atual se mantém
alinhado a esta proposta, utilizando a plataforma PleTes como
uma ferramenta de ensino de testes de software, fornecendo uma
abordagem diferenciada e explorando a geração de dicas de testes e
mesmo fragmentos de código via inteligência artificial.
3 ARQUITETURA E FERRAMENTAL
A aplicação desenvolvida para testes de software apresenta uma
arquitetura robusta e utiliza diversas tecnologias que se integram
harmoniosamente para fornecer uma experiência eficaz aos usuá-
rios. Este artigo explora os principais elementos dessa arquitetura
e as tecnologias escolhidas para cada componente.
3.1 Interface e usabilidade da ferramenta
A interface da ferramenta PleTes, exibida na figura 1 para o ensino
de teste de software é intuitiva e bem organizada, proporcionando
uma experiência fluida aos usuários. Na seção lateral esquerda, os
usuários encontram uma série de chips que representam diferen-
tes arquivos e funcionalidades. Ao clicar nesses chips, os arquivos
específicos correspondentes são abertos, facilitando a navegação e
o acesso rápido às informações necessárias. Já na parte principal
do site, localizada à direita, destaca-se um editor de código fonte
baseado no renomado Mônaco Editor. Essa poderosa ferramenta
oferece uma ambiente de desenvolvimento robusto e amigável, que
possibilita aos alunos trabalharem em seus códigos de forma eficaz
e produtiva. Além disso, nessa mesma área, são disponibilizados
botões de ação que permitem salvar, compilar e executar o código,
proporcionando uma experiência completa de desenvolvimento.
No centro da interface, encontra-se um prompt interativo, onde
os alunos podem solicitar ajuda de uma assistente de IA. Esta as-
sistente é capaz de gerar dicas de código pertinentes e esclarecer
dúvidas relacionadas à plataforma e ao processo de teste de soft-
ware. Essa funcionalidade adiciona um elemento valioso de suporte
e orientação, auxiliando os alunos a superarem obstáculos e apri-
morarem suas habilidades no teste de software. Com uma interface
tão bem projetada e funcionalidades tão bem integradas, a PleTes
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
Figura 1: Interface da plataforma PleTes
proporciona um ambiente de aprendizado eficaz e agradável para
estudantes interessados no campo de teste de software.
3.2 Arquitetura da plataforma PleTes
A base da aplicação reside na utilização da linguagem de progra-
mação Java para a criação e execução de testes. A escolha dessa
linguagem se deve à sua ampla adoção na indústria de desenvol-
vimento de software e à sua capacidade de oferecer uma sintaxe
clara e concisa. Além disso, a gestão de dependências e a automa-
ção do processo de compilação são facilitadas pelo uso do Maven.
Essa ferramenta proporciona uma estrutura organizada e eficiente
para gerenciar os projetos, garantindo a coesão e a consistência do
código.
O backend da aplicação é construído com NodeJS, uma plata-
forma amplamente reconhecida por sua escalabilidade e eficiência
na execução de código JavaScript no servidor. Complementando
o NodeJS, a plataforma Docker é adotada como ambiente de exe-
cução. Isso proporciona um ambiente isolado e consistente para
a aplicação, garantindo que o código seja executado de maneira
previsível em diferentes ambientes. No frontend, a escolha recai
sobre o ReactJS, uma biblioteca JavaScript renomada pela criação de
interfaces de usuário interativas e reativas. Além disso como uma
forma de superar os desafios técnicos da implementação foi ado-
tado um provedor de computação em nuvem o ambiente da AWS
(Amazon Web Services), por simplificar e agilizar a infraestrutura e
implementação da ferramenta e suas componentes.
3.3 Mecanismos de integração da aplicação
A plataforma adota uma abordagem sofisticada de integração, ope-
rando por meio de dois principais mecanismos de comunicação.
Primeiramente, utiliza o protocolo REST para estabelecer uma co-
nexão fluida entre o cliente e a API da OpenAI. Essa integração
permite uma troca de dados eficaz e em tempo real, garantindo que
-
o cliente desfrute de uma interação contínua e eficiente com a plata-
forma. O uso do protocolo REST também confere à plataforma uma
alta flexibilidade, tornando-a capaz de se adaptar a uma variedade
de necessidades e requisitos específicos dos usuários.
Além disso, a plataforma emprega o Dockerode para se comu-
nicar de forma direta com o Docker Engine localizado no servidor.
Esse mecanismo é essencial para a gestão eficiente de contêineres e
a execução de operações vitais no ambiente de desenvolvimento.
Ao tirar pleno partido da capacidade do Dockerode para interagir
com o Docker Engine local, a plataforma assegura uma execução
suave de processos, garantindo a estabilidade e a confiabilidade das
operações realizadas no servidor.
Essa integração meticulosa de mecanismos, baseada na comuni-
cação REST para interação com a API da OpenAI e na utilização do
Dockerode para comunicação com o Docker Engine local, confere
à plataforma uma base tecnológica sólida. Dessa forma, ela se des-
taca como uma ferramenta robusta e altamente adaptável, capaz de
atender às exigências dinâmicas do desenvolvimento de software
de forma eficaz e eficiente.
3.4 Estrutura do Prompt para a IA
Role Content
System generate a JUnit test case for the received source code
Assistant this is a sample generated from the provided input
User [input]
Tabela 1: Estrutura de Prompt para a API do GPT
A tabela 1 apresenta a estrutura do prompt empregada para a
API do ChatGPT. Cada interação é delineada por um papel especí-
fico (Role) e o conteúdo associado a esse papel (Content). O início
da interação se dá com um comando do sistema, responsável por
PleTes - Plataforma Educativa pra Teste de Software: um estudo empírico
Figura 2: Diagrama de sequência do software ProTEST
instruir o modelo (System), o qual é seguido por uma resposta do
assistente (Assistant). Essa resposta oferece uma amostra gerada a
partir da entrada previamente fornecida. Por fim, o usuário (User)
desempenha seu papel ao fornecer a entrada de texto, que serve
como contexto essencial para a geração da resposta pelo modelo.
Esta estrutura facilita a comunicação entre o sistema e o usuário,
estabelecendo uma interação fluida e eficaz com a API do ChatGPT.
O uso dessa estrutura de prompt é fundamental para orientar
a interação entre o sistema e o modelo de linguagem da API do
GPT. O papel do sistema é fornecer uma instrução clara e direta
sobre o que se espera que o modelo realize, neste caso, a geração
de um caso de teste JUnit com base no código-fonte recebido. A
resposta subsequente do assistente apresenta uma amostra gerada
a partir da entrada fornecida, oferecendo ao usuário um exemplo
prático do que pode ser obtido. Por fim, o usuário contribui com sua
própria entrada de texto, que serve como contexto para o modelo
compreender e gerar a resposta desejada. Essa estrutura padroni-
zada facilita a comunicação entre o sistema e o usuário, resultando
em uma experiência mais eficiente e produtiva na geração de casos
de teste JUnit.
3.5 Fluxo de utilização da ferramenta
O fluxo de utilização é descrito na figura 2, começando com a ve-
rificação da disponibilidade da API pelo Frontend, assegurando
que a comunicação possa ser estabelecida. Uma vez confirmada a
funcionalidade, o Frontend solicita o código-fonte à API. A API, por
sua vez, interage com o Docker Engine para obter um sumário do
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
JUnit existente, que é então enviado de volta à API. A API repassa
esse sumário ao Frontend, fornecendo assim um resumo do estado
dos testes JUnit.
Simultaneamente, a API também solicita ao Docker Engine um
sumário do Pitest existente. Esse resumo é, em seguida, transmi-
tido ao Frontend, permitindo uma visão abrangente do estado dos
testes realizados com o Pitest. Com o código-fonte em mãos, o
Frontend requisita dicas de código à API. Esta, por sua vez, estabe-
lece uma conexão com a OpenAI para acionar o ChatGPT e gerar
uma sugestão de código, acompanhada de uma breve explicação.
A OpenAI retorna a dica de código e a explicação para a API, que
por sua vez envia essas informações de volta ao Frontend, forne-
cendo ao usuário uma valiosa orientação para o desenvolvimento
do código. Este fluxo integrado e eficaz permite que o Frontend e a
API interajam harmoniosamente, aproveitando tanto os recursos
internos quanto os serviços externos para oferecer uma experiência
de desenvolvimento mais rica e produtiva.
3.6 Análise de dados
Foram conduzidas entrevistas com o propósito de validar a eficá-
cia da ferramenta de ensino de testes junto a um grupo composto
por cinco estudantes e profissionais atuantes na área. Durante as
sessões, as funcionalidades e a interface da ferramenta foram apre-
sentadas, permitindo que os participantes a explorassem e interagis-
sem. Subsequentemente, foram recolhidas as opiniões e feedbacks
dos participantes, abordando tanto eventuais problemas quanto
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
possíveis melhorias. Ademais, buscou-se identificar os pontos de
destaque da ferramenta em sua abordagem educacional.
Para a análise dos resultados obtidos, procedeu-se com a trans-
crição das respostas dos participantes. A equipe responsável pela
codificação das informações foi composta pelos autores. Este pro-
cesso englobou a identificação de temas e padrões emergentes,
proporcionando uma compreensão mais aprofundada das percep-
ções dos entrevistados sobre a ferramenta. A colaboração entre os
membros da equipe desempenhou um papel crucial para garantir
uma análise abrangente e rigorosa dos dados coletados.
3.7 Entrevista com os estudantes e profissionais
A entrevista com os estudantes desempenha um papel crucial na
avaliação da eficácia da plataforma educativa PleTes para o ensino
de testagem de software. As perguntas elaboradas têm o propósito
de sondar as expectativas e percepções dos alunos antes e após a
utilização da plataforma. Inicialmente, questiona-se sobre as expec-
tativas prévias dos estudantes em relação ao aprendizado de testes
de software, proporcionando um ponto de partida para avaliar o
impacto da plataforma no cumprimento dessas expectativas. Além
disso, ao indagar sobre os desafios percebidos na aprendizagem de
testagem de software, busca-se identificar as potenciais barreiras
que os estudantes podem enfrentar e que a plataforma pode ajudar
a superar.
Ao abordar os objetivos pessoais dos alunos ao utilizar o PleTes,
a entrevista busca compreender as metas individuais de aprendi-
zado, o que é crucial para avaliar a eficácia da plataforma em atender
às necessidades específicas de cada estudante. A discussão sobre a
abordagem lúdica e envolvente introduz um elemento crucial, já
que visa entender como a metodologia da plataforma pode influen-
ciar a experiência de aprendizado dos alunos em comparação com
métodos de ensino mais tradicionais. Essa reflexão pode fornecer
insights valiosos sobre o potencial de inovação educacional na área
de testagem de software e sua aplicação em outros contextos peda-
gógicos. Portanto, a entrevista com os estudantes se revela como
uma ferramenta essencial para aprofundar a compreensão sobre o
impacto da plataforma PleTes no processo de ensino e aprendizado
em testagem de software.
Realizamos entrevistas para coleta de dados conduzidas online
em outubro de 2023. Adotamos o conceito de Entrevista Focada [7].
Esse tipo de entrevista enfatiza as respostas subjetivas e pessoais
dos entrevistados, onde o entrevistador se engaja em obter mais
informações [3]. De acordo com Merriam [16], as entrevistas efe-
tivamente obtêm informações sobre coisas que não podem ser ob-
servadas. Utilizamos entrevistas semiestruturadas com perguntas
abertas, pois esse método proporciona respostas mais ricas em com-
paração com entrevistas estruturadas [21]. Entrevistados: entramos
em contato com cada participante por e-mail. Cada entrevista ocor-
reu em uma sala privada de reuniões no Google. Neste trabalho,
apresentamos a plataforma de ensino de testes, explicando o seu
funcionamento e as saídas esperadas, assim como o auxílio do as-
sistente de IA. Validamos junto aos entrevistados quais elementos
podem necessitar de ajustes e quais atendem às suas expectativas.
-
3.8 Questões da entrevista
As questões abordadas durante a entrevista foram elaboradas de
modo a guiar o raciocínio do entrevistado acerca dos elementos
pertinentes à ferramenta e às expectativas às quais o estudante
possa vir a ter durante o processo de ensino-aprendizagem.
(1) Antes de utilizar a plataforma PleTes, quais eram suas expec-
tativas em relação ao aprendizado de testes de software?
(2) O que você acredita serem os desafios comuns ao aprender
sobre testes de software?
(3) Quais são seus objetivos pessoais ao utilizar a plataforma
PleTes para aprender sobre testagem de software?
(4) Como você acha que a abordagem lúdica e envolvente da
plataforma pode influenciar sua experiência de aprendizado
em comparação com métodos tradicionais?
(5) Você tem alguma experiência prévia com atividades de testes
de software? Se sim, poderia compartilhar um pouco sobre
ela?
(6) Quais são os principais conceitos ou técnicas de testagem de
software que você espera aprender ou aprimorar utilizando
a plataforma PleTes?
(7) Como você acha que a plataforma pode ajudá-lo a absorver
e aplicar conceitos complexos de testagem de software de
forma mais eficiente?
(8) Quais são suas expectativas em relação à interação com o
ChatGPT como parte do processo de aprendizado na plata-
forma PleTes?
(9) Você tem alguma preocupação ou dúvida específica sobre o
uso da plataforma ou sobre o aprendizado de testagem de
software em geral?
(10) Após utilizar a plataforma, quais são suas expectativas em
termos de habilidades e conhecimentos adquiridos na área
de testes de software?
4 RESULTADOS
Esta seção apresenta as respostas dadas pelos participantes, bem
como suas percepções acerca da ferramenta e abordagens utilizadas
e oportunidades de melhoria.
4.1 Respostas à entrevista
As respostas dos participantes oferecem uma valiosa visão sobre as
expectativas e percepções em relação à plataforma de ensino. Um
ponto destacado é a apreciação pelo sistema de feedback, visto como
uma forma de recompensar o esforço dos alunos. Esta estratégia
pode ser especialmente eficaz para estimular o engajamento dos
estudantes com o conteúdo, pois proporciona uma sensação de
progresso e reforça a importância do aprendizado contínuo.
A interface intuitiva da ferramenta é outro ponto de destaque. Ao
empregar um editor de texto familiar, a plataforma facilita a adapta-
ção dos usuários e permite uma transição suave para o ambiente de
aprendizado. Além disso, a capacidade de fazer o upload de código
próprio é vista como uma funcionalidade valiosa, proporcionando
aos estudantes a oportunidade de aplicar o conhecimento adquirido
de maneira prática e personalizada.
Houve também uma observação crítica sobre os feedbacks, indi-
cando a possibilidade de incluir respostas mais abrangentes, como a
PleTes - Plataforma Educativa pra Teste de Software: um estudo empírico
exibição do terminal de saída do JUnit e do Pitest. Essa sugestão de-
monstra um desejo de maior detalhamento e clareza nas avaliações,
o que pode enriquecer a experiência de aprendizado dos usuários.
A sugestão de disponibilizar uma interface mobile é uma obser-
vação pertinente. Ao oferecer portabilidade, a plataforma se torna
mais acessível e flexível, permitindo que os estudantes acessem o
conteúdo de forma conveniente, independentemente do dispositivo
utilizado. Esta melhoria potencializaria o alcance da plataforma e
atenderia a uma diversidade de perfis de usuários.
No geral, as respostas dos participantes fornecem valiosos in-
sights para aprimorar a plataforma de ensino. O feedback positivo
sobre o sistema de feedback e a interface intuitiva ressalta pon-
tos fortes a serem mantidos, enquanto as sugestões de melhorias
indicam áreas de oportunidade para otimizar a experiência de apren-
dizado e tornar a plataforma ainda mais eficaz e acessível.a com os
alunos
4.2 Percepção acerca da interface e fluxo de
utilização
A percepção da interface e do fluxo de utilização da plataforma apre-
senta uma mistura de impressões positivas e sugestões de melhorias.
Um dos entrevistados, que atua profissionalmente na área de testes
de software, expressou seu apreço pela simplicidade da interface,
ressaltando a numeração dos passos e a inclusão do assistente de
IA como elementos notáveis. Ao comentar sobre a acessibilidade
da plataforma em dispositivos móveis, ele observa que "ela funci-
ona no dispositivo móvel também, como ela está hospedada na web".
No entanto, ele também aponta para uma área de aprimoramento,
indicando que a responsividade pode ser otimizada.
O entrevistado destaca ainda a importância de uma documenta-
ção intuitiva e esclarecedora, especialmente para os iniciantes na
área de testes de software. Ele compartilha uma preocupação sobre a
usabilidade de ferramentas de teste, mencionando que já encontrou
situações em que "a ferramenta era muito completa, mas o usuário
não sabia que ela era completa porque ela não deixava claro o que ela
poderia fazer". Nesse sentido, ele ressalta a relevância de elementos
que auxiliem na compreensão e no uso eficaz da plataforma.
Outro entrevistado, desta vez aluno de pós-graduação, demons-
trou uma visão positiva em relação à interface da ferramenta de
ensino de testes. Ele elogiou a disposição dos elementos na plata-
forma, afirmando que "os botões estão bem sugestivos do que fazer".
Além disso, destacou a utilidade de atalhos funcionais no editor,
comparando-o favoravelmente ao Visual Studio Code. No entanto,
ele mencionou uma leve confusão quanto à função de sincronização,
sugerindo que esse aspecto poderia ser mais esclarecido.
Quanto à assistência por IA na geração de código e sugestões
de testes, o entrevistado expressou entusiasmo. Ele viu grande
potencial na capacidade da IA de fornecer cenários adicionais para a
criação de novos casos de teste, tornando os testes mais abrangentes
e completos, além de poder esclarecer eventuais dúvidas acerca do
código-fonte.
Em resumo, os entrevistados apreciaram a interface da ferra-
menta, elogiando sua praticidade e a integração do editor com a
assistência de IA. Eles também viram benefícios significativos na
abordagem da ferramenta para a geração de testes mais abrangen-
tes. Essas observações positivas indicam que a plataforma possui
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
elementos que podem facilitar o processo de aprendizado de testes
de software. No entanto, algumas sugestões foram levantadas em
relação à função de sincronização do código fonte, indicando que
ainda há espaço para melhorias na experiência do usuário.
Em suma, a percepção da interface da plataforma é geralmente
positiva, com destaque para a simplicidade e a inclusão de recursos
como a numeração de passos e a assistência de IA. No entanto, o
entrevistado identifica áreas específicas que podem ser aprimoradas,
como a responsividade em dispositivos móveis e a necessidade de
uma documentação esclarecedora para garantir uma experiência
de usuário mais eficaz, especialmente para aqueles que estão dando
os primeiros passos na área de testes de software.
4.3 Percepção acerca do assistente de IA
O assistente de IA revelou-se uma ferramenta extremamente valiosa,
conforme relatado pelos participantes. Um dos pontos destacados
foi a sua capacidade de fornecer assistência em situações em que os
usuários se deparam com desafios de teste ou enfrentam dúvidas
sobre como acessar determinadas partes de código. Essa funcio-
nalidade se mostrou particularmente útil para resolver impasses e
fornecer orientação em cenários complexos de desenvolvimento.
Além disso, o assistente de IA se revelou uma fonte eficaz de
inspiração para a criação de novos casos de teste e a exploração
de fluxos desconhecidos. Os participantes perceberam que a IA
tinha a capacidade de estimular a criatividade e promover uma
abordagem mais abrangente na concepção de testes, o que é crucial
para garantir uma cobertura completa e eficaz, conforme relatou o
participante:
"[...]já tive contato com o chatgpt e no meu uso ele
ajudou a levantar situações não mapeadas, cenários
mais elaborados de verificação, sugestões de abordagem
que trouxeram ótimos resultados no meu uso. Creio que
seria a mesma experiência com o pletes."
O participante destaca a sua experiência positiva ao utilizar o
ChatGPT, ressaltando que a ferramenta foi eficaz em identificar
situações não previamente consideradas e em elaborar cenários de
verificação mais complexos. Além disso, outro participante enfatiza
que as sugestões de abordagem fornecidas pelo ChatGPT resultaram
em resultados muito satisfatórios. Ao expressar a crença de que
teria uma experiência semelhante com o PleTes, o participante
indica uma expectativa otimista em relação à utilidade e eficácia
dessa nova plataforma.
"Essa plataforma oferece uma abordagem inovadora
para lidar com desafios no aprendizado de programa-
ção. Ao disponibilizar orientações precisas sobre trechos
de código complexos, seja diretamente ou por meio de
assistência de IA, ela auxilia os alunos a superar blo-
queios e avançar em seu processo de aprendizado. Isso é
especialmente valioso para evitar a frustração e desis-
tência, proporcionando uma experiência de aprendizado
mais eficaz e gratificante."
Foi notável também o impacto da integração do chatGPT e outras
ferramentas semelhantes na plataforma. O entrevistado expressou
surpresa ao descobrir as amplas capacidades que essa integração
possibilitava. A facilidade com que o assistente de IA foi incorporado
na plataforma e sua contribuição significativa para aprimorar a
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
eficiência e a eficácia dos processos de teste demonstraram ser uma
revelação surpreendente para os usuários.
Outro entrevistado, também aluno de pós-graduação, mencio-
nou sua curiosidade em relação a assistentes de geração de texto e
geração de código baseados em IA, como o GPT, e admitiu ter inte-
ragido com eles por pura curiosidade. No entanto, ele não chegou a
solicitar que a IA realizasse a refatoração de um trecho de código
ou a implementação de algum código específico.
Sobre a integração da IA na plataforma, ele mencionou: "Então,
mesmo que o retorno não seja exatamente o que é, pode ajudar a gente
a criar novos cenários para tornar o teste mais completo. Então, bem
interessante esse tipo de abordagem da ferramenta." Essas citações
destacam a importância da prática para o aprendizado efetivo e o
potencial da IA para auxiliar na geração de cenários de teste mais
abrangentes.
Em resumo, o assistente de IA se destacou como um recurso
altamente valioso para os participantes. Sua capacidade de orientar
em situações desafiadoras, estimular a criatividade na concepção de
testes e surpreender os usuários com suas capacidades integradas na
plataforma demonstrou seu potencial para transformar e aprimorar
os processos de teste de forma significativa.
A tabela 2 elicita algumas das possibilidades levantadas pelos
entrevistados acerca das diversas formas de interação com a IA e os
benefícios associados aos casos de uso em programação e criação
de testes. A seguir, foram relacionados estes esses elementos com
as respostas fornecidas pelos entrevistados:
(1) Assistência em Desenvolvimento:
• Benefícios em Programação: Os entrevistados destacaram a
capacidade da IA de fornecer orientações e soluções para
desafios de codificação, alinhando-se com a capacidade da
IA de auxiliar em situações de incerteza sobre como testar
ou acessar um trecho de código.
• Benefícios na Criação de Testes: Os entrevistados ressal-
taram a capacidade da IA de estimular a criatividade na
concepção de testes, o que corresponde à observação dos
entrevistados sobre a capacidade da IA de sugerir casos de
teste.
(2) Geração de Código:
• Benefícios em Programação: Os entrevistados destacaram
a habilidade da IA em criar trechos de código e otimizar
processos, refletindo o benefício percebido pelos entrevis-
tados ao utilizarem a IA para implementar soluções em
seus projetos.
• Benefícios na Criação de Testes: Embora não explicitamente
mencionado, a geração de código também pode ser útil na
criação de scripts de teste automatizados.
(3) Análise Estática:
• Benefícios em Programação: Os entrevistados podem ter
experimentado os benefícios da IA ao identificar erros de
sintaxe e receber sugestões de melhorias no código, o que
está alinhado com a capacidade da IA de realizar análise
estática.
• Benefícios na Criação de Testes: Embora não tenha sido
diretamente mencionado, a IA pode ajudar na otimização
da cobertura de teste, o que é essencial para a criação de
testes eficazes.
-
A tabela fornece uma representação visual e organizada das
interações com a IA e os benefícios correspondentes. Relacionando
isso com as respostas dos entrevistados, podemos observar uma
congruência entre as percepções dos usuários e as capacidades
identificadas na tabela. Isso destaca a utilidade e a eficácia da IA
como uma ferramenta de apoio no processo de programação e
criação de testes.
5 DISCUSSÃO
As expectativas dos alunos em relação à plataforma PleTes abran-
gem uma variedade de perspectivas e metas de aprendizado. Inicial-
mente, muitos alunos esperam que a plataforma proporcione uma
abordagem de ensino mais dinâmica e envolvente em comparação
com métodos tradicionais. A incorporação de elementos lúdicos é
percebida como um potencial motivador para absorver conceitos
complexos de testagem de software de maneira mais eficaz. Além
disso, os estudantes demonstram grande interesse em aprimorar
suas habilidades práticas em testes de software, reconhecendo a
importância fundamental desse conhecimento no desenvolvimento
de software de alta qualidade. A interação com assistentes de IA
é vista como uma oportunidade valiosa para praticar a formula-
ção de casos de teste e esclarecer dúvidas durante o processo de
aprendizado.
Por outro lado, os alunos também expressam expectativas rela-
cionadas à personalização do aprendizado. Eles buscam utilizar a
plataforma PleTes para atender a suas necessidades individuais,
aprofundando-se em conceitos específicos de testagem de software
que possam ser relevantes para seus objetivos profissionais. Além
disso, muitos estudantes esperam que a plataforma forneça uma vi-
são abrangente dos diferentes tipos de testes possíveis, capacitando-
os a explorar uma gama diversificada de cenários de teste. Eles estão
ansiosos para adquirir um conjunto de habilidades robustas que
possam aplicar não apenas na plataforma, mas também em suas
futuras práticas de desenvolvimento de software. Em resumo, as
expectativas dos alunos em relação à plataforma PleTes refletem
um desejo de aprender de forma prática, interativa e personalizada,
com um foco claro no desenvolvimento de habilidades essenciais
em testagem de software.
5.1 Limitações
A plataforma PleTes, apesar de ser uma ferramenta valiosa para
o ensino de testagem de software, apresenta algumas limitações a
serem consideradas. Uma delas está relacionada à quantidade de
abordagens empregadas. Embora a plataforma possa oferecer uma
variedade de cenários e desafios de testes, pode haver uma eventual
limitação na diversidade de situações que ela é capaz de simular.
Isso pode impactar a capacidade de os alunos explorarem todas as
nuances e complexidades da prática de testagem de software em si-
tuações extremamente específicas ou fora do escopo das simulações
oferecidas.
Além disso, é importante considerar possíveis barreiras peda-
gógicas associadas ao uso da plataforma. Alguns alunos podem
enfrentar desafios ao adaptar-se ao ambiente virtual de aprendi-
zado, especialmente se não estiverem familiarizados com esse tipo
de plataforma educacional. Questões como a curva de aprendizado
do uso da interface e a adaptação à interação com o ChatGPT podem
PleTes - Plataforma Educativa pra Teste de Software: um estudo empírico
Tipo de Interação Casos de Uso em Programação
Auxilia em desafios de código
Assistência em Desenvolvimento
Fornecimento de orientações para implementação
Criação de trechos de código
Geração de Código
Otimização e automação de processos
Identificação de erros de sintaxe
Análise Estática
Sugestões de melhorias de código
Tabela 2: Formas de Interação com IA e Benefícios para Programação e Testes
representar desafios iniciais. Além disso, é importante garantir que
a plataforma seja acessível a todos os alunos, independentemente
de suas habilidades técnicas ou níveis de experiência prévia em
testagem de software. Isso pode exigir um suporte adicional ou
materiais complementares para alunos que enfrentem dificuldades
iniciais. Portanto, ao implementar a plataforma PleTes, é funda-
mental estar ciente dessas possíveis limitações e trabalhar para
mitigar quaisquer barreiras pedagógicas que possam surgir.
6 CONSIDERAÇÕES FINAIS
Este estudo sobre a plataforma educativa PleTes para teste de soft-
ware inaugura um campo promissor de pesquisa e desenvolvimento
na área de educação em testagem de software. Diversos desdobra-
mentos futuros podem emergir deste trabalho, visando aprimorar
ainda mais o ensino e aprendizado dessa disciplina crucial na enge-
nharia de software.
Uma linha de pesquisa potencial diz respeito à expansão e adapta-
ção da plataforma PleTes para diferentes contextos e públicos-alvo.
Investigar a eficácia da plataforma em cenários diversos, como em
cursos técnicos ou em ambientes de ensino à distância, pode propor-
cionar uma compreensão mais abrangente de como a abordagem
lúdica pode ser otimizada para atender às necessidades educacionais
específicas de diferentes grupos de estudantes.
6.1 Trabalhos Futuros
Além disso, a integração de métricas de desempenho e avaliação
dentro da plataforma poderia aprimorar a capacidade de monito-
rar o progresso dos alunos de forma mais precisa. Isso permitiria
aos educadores adaptar o conteúdo e as atividades com base no
desempenho individual, personalizando ainda mais a experiência
de aprendizado.
Para os professores, este estudo oferece uma perspectiva ino-
vadora sobre como abordar o ensino de testagem de software de
maneira mais envolvente e eficaz. A aplicação bem-sucedida da pla-
taforma PleTes demonstra que métodos educacionais que combinam
entretenimento com objetivos pedagógicos podem ser altamente
eficazes na transmissão de conceitos complexos, fornecendo um
modelo valioso para a criação de ambientes de aprendizado mais
dinâmicos e motivadores.
Aos alunos, essa pesquisa oferece uma abordagem mais interativa
e imersiva para a aprendizagem de testes de software. Ao utilizar a
plataforma PleTes, os estudantes são incentivados a explorar ativa-
mente os conceitos, promovendo uma compreensão mais profunda
e duradoura. Além disso, a interação com o ChatGPT proporciona
uma oportunidade única para os alunos praticarem a formulação
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
Criação de Testes
Sugere casos de teste
Estimula criatividade na concepção
Gera scripts de teste
Facilita criação de testes automatizados
Identificação de gaps na cobertura
Otimização da cobertura de teste
de casos de teste de maneira guiada, o que pode ser crucial para
o desenvolvimento de habilidades práticas na área. Portanto, este
estudo não apenas beneficia o ensino de testagem de software,
mas também contribui para a evolução da prática educacional em
engenharia de software como um todo.
REFERÊNCIAS
[1] P. Ammann and J. Offutt. 2016. Introduction to Software Testing (2 ed.). Cambridge
University Press.
[2] M. Aniche, F. Hermans, and A. van Deursen. 2019. Pragmatic Software Testing
Education. In Proceedings of the 50th ACM Technical Symposium on Computer
Science Education.
[3] M Bärring, D Näfors, D Henriksen, D Olsson, B Johansson, and U Larsson. 2017. A
VSM Approach to Support Data Collection for a Simulation Model. In Proceedings
of the 2017 Winter Simulation Conference, WSC ’17. IEEE Press.
[4] Joseph Beck, Beverly Woolf, and Carole Beal. 2000. ADVISOR: A machine learning
architecture for intelligent tutor construction.
[5] F. B. V. Benitti. 2018. A Methodology to Define Learning Objects Granularity: A
Case Study in Software Testing. Informatics Educ. 17, 1–20.
[6] L. Bijlsma, N. Doorn, H. Passier, H. Pootjes, and S. Stuurman. 2021. How Do
Students Test Software Units?. In Proceedings of the 43rd International Confe-
rence on Software Engineering: Joint Track on Software Engineering Education and
Training.
[7] Michael Bloor. 2001. Focus Groups in Social Research. Sage.
[8] C. K. D. Corte, A. C. Riestin, M. A. G. Silva, E. F. Barbosa, and Jose Carlos
Maldonado. 2007. PROGTEST: Ambiente para submissão e avaliação de trabalhos
práticos. In XVIII Simpósio Brasileiro de Informática na Educação (SBIE 2007)
Workshop sobre Ambientes de Apoio à Aprendizagem de Algoritmos e Programação.
São Paulo, SP.
[9] S. H. Edwards. 2004. Using Software Testing to Move Students from Trial-and-
Error to Reflection-in-Action. SIGCSE Bull. 36, 1, 26–30.
[10] T. Ferreira, D. Viana, J. Fernandes, and R. Santos. 2018. Identifying Emerging
Topics and Difficulties in Software Engineering Education in Brazil. In Procee-
dings of the XXXII Brazilian Symposium on Software Engineering. Association for
Computing Machinery, New York, NY, USA.
[11] V. Garousi, A. Rainer, P. Lauvås, and A. Arcuri. 2020. Software-testing education:
A systematic literature mapping. Journal of Systems and Software 165, 110570.
[12] B. Gopal, S. Cooper, J. Olmanson, and R. Bockmon. 2021. Student Difficulties in
Unit Testing, Integration Testing, and Continuous Integration: An Exploratory
Pilot Qualitative Study. Psychology of Programming Interest Group.
[13] D. Huizinga and A. Kolawa. 2007. Automated Defect Prevention: Best Practices in
Software Management.
[14] M. Leppänen, S. Mäkinen, M. Pagels, V.-P. Eloranta, J. Itkonen, M. V. Mäntylä, and
T. Männistö. 2015. The highways and country roads to continuous deployment.
IEEE Software 32, 2, 64–72.
[15] Xiaolin Liu and Yaoqing Li. 2022. Redefining Teacher Qualification in the Artificial
Intelligence Era: A Professional Capital Perspective. In Proceedings of the 5th
International Conference on Big Data and Education (Shanghai, China) (ICBDE
’22). Association for Computing Machinery, New York, NY, USA, 35–39.
[16] Sharan B Merriam and Elizabeth J Tisdell. 2015. Qualitative research: A guide to
design and implementation. John Wiley & Sons.
[17] G. G. Moreira, S. Reinehr, A. Malucelli, and F. Van Amstel. 2023. ProTesters: A
Board Game for Teaching the Testing Process. In Proceedings of the XXI Brazilian
Symposium on Software Quality (Curitiba, Brazil) (SBQS ’22). Association for
Computing Machinery, New York, NY, USA, Article 28, 9 pages.
[18] Siobhan O’Connor. 2023. Corrigendum to “Open artificial intelligence platforms
in nursing education: Tools for academic progress or abuse?” [Nurse Educ. Pract.
66 (2023) 103537]. Nurse Education in Practice 67, 103572.
[19] L. Paschoal and S. Souza. 2018. A Survey on Software Testing Education in Brazil.
EduComp’23, Abril 24-29, 2023, Recife, Pernambuco, Brasil (On-line)
[20] Parsa Rajabi, Parnian Taghipour, Diana Cukierman, and Tenzin Doleck. 2023.
Exploring ChatGPT’s Impact on Post-Secondary Education: A Qualitative Study.
In Proceedings of the 25th Western Canadian Conference on Computing Education
(Vancouver, BC, Canada) (WCCCE ’23). Association for Computing Machinery,
New York, NY, USA, Article 9, 6 pages.
[21] Herbert J Rubin and Irene S Rubin. 2011. Qualitative Interviewing: The Art of
Hearing Data. Sage.
[22] M. Shahin, M. Ali Babar, and L. Zhu. 2017. Continuous Integration, Delivery
and Deployment: A Systematic Review on Approaches, Tools, Challenges and
Practices. IEEE Access 5, 3909–3943.
[23] M. Silva, T. Rocha, and M. Perkusich. 2021. O ensino de engenharia de software
no nível superior: um mapeamento sistemático. Revista Principia - Divulgação
-
Científica e Tecnológica do IFPB 1.
[24] D. Souza, J. C. Maldonado, and E. F. Barbosa. 2012. Aspectos de Desenvolvimento
e Evolução de um Ambiente de Apoio ao Ensino de Programação e Teste de
Software. Brazilian Symposium on Computers in Education (Simpósio Brasileiro de
Informática na Educação - SBIE) 23, 1.
[25] P. H. Valle, E. Barbosa, and J. Maldonado. 2015. CS curricula of the most relevant
universities in Brazil and abroad: Perspective of software testing education. 62–
68.
[26] Liguo Zhang, Kefeng Fu, and Xiaolin Liu. 2022. Artificial Intelligence in Educa-
tion: Ethical Issues and Its Regulations. In Proceedings of the 5th International
Conference on Big Data and Education (Shanghai, China) (ICBDE ’22). Association
for Computing Machinery, New York, NY, USA, 1–6.