IHC 2014 Proceedings - Short Paper
Análise de Abordagens Objetivas para
Avaliação de Softwares Educativos
Ozonias de Oliveira B. Junior Yuska Paola Costa Aguiar
Universidade Federal da Paraíba-Campus IV, Universidade Federal da Paraíba-Campus IV,
Centro de Ciências Aplicadas e Educação (CCAE), Centro de Ciências Aplicadas e Educação (CCAE),
Departamento de Ciências Exatas (DCE) Departamento de Ciências Exatas (DCE)
Rua das Mangueiras s/n – Centro – Rio Tinto/PB, Rua das Mangueiras s/n – Centro – Rio Tinto/PB,
CEP 58297000 CEP 58297000
ozonias.oliveira@dce.ufpb.br yuska@dce.ufpb.br
RESUMO
A informática na educação está modificando o ambiente
escolar com o uso de recursos digitais, os quais devem ser
adequados para não comprometer o processo de
aprendizagem. Para tanto, abordagens para avaliação de
softwares educativos (SE) são aplicadas antes de sua
adoção. Dentre a diversidade de possibilidades, pretende-se
analisar, de forma comparativa, as abordagens objetivas
para avaliação de softwares educativos a fim de identificar
a completude e abrangência destas em relação aos critérios
técnicos e pedagógicos adotados.
Palavras-Chave
Avaliação Objetiva, Software Educacional, Processo de
Ensino e Aprendizagem.
ABSTRACT
Informatics on education is modifying the school
environment by making usage of digital resources, which
need to be suitable so they do not disturb the learning
process. For such, evaluative approaches are applied before
educational softwares (ES) are adopted. Among the existing
possibilities, it is intended to analyse on a comparative way,
the objective approaches to evaluate the educational
softwares in order to identify completeness and coverage of
those according to the chosen technical and pedagogical
criterias.
Author Keywords
Objective Evaluation, Educational Software, Teaching and
Learning Process.
ACM Classification Keywords
H.5.2 User Interfaces (D.2.2, H.1.2, I.3.6); K.3.2 Computer
Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise,
or republish, to post on servers or to redistribute to lists, requires prior
specific permission and/or a fee. IHC'14, Brazilian Symposium on Human
Factors in Computing Systems. October 27-31, 2014, Foz do Iguaçu, PR,
Brazil. Copyright 2014 SBC. ISSN 2316-5138 (pendrive). ISBN 978-85-
7669-291-1 (online).
353
Foz do Iguaçu - PR, Brazil
and Information Science Education.
General Terms
Human Factors
INTRODUÇÃO
O uso do computador na sala de aula proporciona uma nova
busca pelo conhecimento, transformando o ambiente
escolar com a inserção de novos recursos educacionais no
processo de ensino-aprendizagem. O computador pode ser
utilizado para enriquecer ambientes de aprendizagem e
auxiliar o aprendiz no processo de construção do
conhecimento [1]. A utilização correta de recursos
tecnológicos favorece ao aprendizado, uma vez que podem
melhorar a compreensão dos conteúdos ministrados pelos
professores, melhorar a interpretação do conteúdo teórico a
partir de sua aplicação prática, exercitar a resolução de
problemas com maior agilidade, entre outros.
No entanto, para que tais benefícios sejam alcançados as
ferramentas educacionais devem ser adequadas e associadas
a metodologias que potencializem as características
positivas do computador [2]. Logo, a adoção desses
recursos deve ser analisada de forma criteriosa, pois seu uso
inadequado pode interferir negativamente no processo de
ensino-aprendizagem. Recomenda-se, portanto, a aplicação
de abordagens para avaliação de softwares educativos (SE)
antes de sua adoção, com objetivo de identificar suas
potencialidades e limitações para seu contexto de uso.
Esta pesquisa, diante da importância da avaliação de SE
para sua inserção no contexto didático, apresenta e compara
um conjunto de abordagens destinadas para a avaliação SE
com o intuito de identificar a abrangência e completude dos
critérios adotados por estas.
O artigo encontra-se organizado em 6 seções, incluindo
esta. Na seção 2 tem-se a definição para abordagens
objetivas e formativas para avaliação de SE e a descrição
das abordagens contempladas na análise. Na seção 3
apresenta-se a metodologia aplicada para a realização da
análise comparativa entre as abordagens. Na seção 4 são
apresentados os resultados parciais alcançados. Por fim, as
seções 5 e 6 apresentam-se as conclusões e as
possibilidades de continuidade do trabalho.
IHC 2014 Proceedings - Short Paper Foz do Iguaçu - PR, Brazil

INSTRUMENTOS DE AVALIAÇÃO PARA SE base pedagógica utilizada no SE (clareza epistemológica);

Segundo [3] a avaliação de SE deve ser realizada (iii) Conteúdo: área de conhecimento utilizada no SE
considerando as abordagens objetiva e formativa. No (pertinência do conteúdo; correção do conteúdo; estado da
primeiro caso, os instrumentos de apoio à construção do arte; adequação à situação de aprendizagem; conhecimentos
conhecimento necessitam ser avaliados objetivamente, prévios); (iv) Programação: relativo ao SE como um
levando em consideração: (i) critérios pedagógicos para programa para rodar em computador (confiabilidade
analise da coerência entre o processo de aprendizagem dos conceitual, fidedignidade e integridade; facilidade de uso,
discentes, suas necessidades e o melhoramento do ensino e legibilidade, manutenibilidade, operacionalidade,
aprendizagem no ambiente escolar diante da adoção de um reutilizabilidade, custo e benefício, avaliabilidade,
SE; e (ii) critérios técnicos de qualidade [15], usabilidade modularidade e documentação).
[4] e ergonomia [5] de software, para avaliar características
do software que, se inadequadas, podem comprometer os A partir de uma análise quantitativa de abrangência dos
objetivos pedagógicos da adição do SE. As abordagens critérios utilizados pelas abordagens, e qualitativa sobre
formativas, por sua vez, têm o foco na identificação da quais categorias de critérios são contemplados por estas,
relação entre os alunos, os professores e o SE durante sua objetiva-se identificar a abrangência e a completude destas
utilização no contexto escolar. Nestes casos os processos de acordo com os critérios técnicos (usabilidade, ergonomia
cognitivos e a efetividade do aprendizado são objetos de e qualidade de software) e pedagógicos de [3]. Como
investigação a partir de questionários, entrevistas e técnicas consequência, verifica-se a necessidade (ou não) da
de observação. Para esta pesquisa inicial o escopo foi aplicação combinada de abordagens para promover uma
reduzido para considerar abordagens de caráter objetivo, avaliação mais completa do SE.
sendo consideradas as oito abordagens para avaliação de SE Na próxima seção tem-se a apresentação dos resultados
descritas, brevemente, a seguir: Método de Reeves [6] parciais deste estudo comparativo, indicando quais as
considera 24 critérios sob a perspectiva pedagógica e de deficiências e vantagens de cada abordagem.
interface do usuário; Modelo de Avaliação de Campos [7]
RESULTADOS PARCIAIS
adota um checklist, com 10 critérios técnicos relativos à
Sob o aspecto qualitativo, pretende-se verificar quais das
utilizabilidade e confiabilidade conceitual; Técnica de
classes (interação aluno-SE-professor, fundamentação
Mucchielli [8] utiliza um checklist com 10 critérios de
pedagógica, conteúdo e programação) são predominantes
qualidade de software; LORI (Learning Object Review
em cada abordagem. Assim é possível identificar a
Instrument) [12] dispõe de 9 critérios de qualidade para
Objetos de Aprendizagem (AO); Técnica TICESE [9] adota necessidade e a possibilidade de aplicação conjunta de mais
16 critérios de inspeção com enfoque na ergonomia; de uma abordagem a fim de se alcançar um resultado mais
abrangente da avaliação realizada (Figura 1).
Taxonomia de Bloom [10] considera 5 critérios pedagógicos
tais como domínios cognitivos, afetivos e psicomotores;
Metodologia de Martins [11] baseia-se nas heurísticas de
Nilsen [13] para avaliar a interface e o projeto pedagógico a
partir de 13 itens associados à escala de cinco pontos; e,
Método Rocha [14] abrange a avaliação de 16 propriedades
gerais de qualidade de usabilidade e de qualidade interna.
A seção seguinte apresenta a metodologia adotada para a
análise comparativa entre as abordagens
METODOLOGIA
As abordagens citadas foram analisadas através de uma
pesquisa aplicada, com abordagem qualitativa e quantitativa
do problema, tendo um objetivo exploratório. Como
procedimentos de pesquisa, fez-se uso de pesquisa
bibliográfica, a partir de engenhos de busca especializados,
como base para a realização de uma análise comparativa
entre as abordagens para avaliação de SE. Tal análise tem
como base a proposta de [3] que, embora mantenha um alto
nível de abstração dos critérios, estes são abrangentes e
organizados de forma coerente e interessante, como segue: Figura 1: Análise qualitativa de abrangência de critérios
(i) Interação aluno-SE-professor: facilidade para a Para a abordagem de Reeves os critérios consideram,
aprendizagem do aluno pelo professor (facilidade de uso; predominantemente, aspectos técnicos relacionados à
recursos motivacionais; adequação dos recursos de mídia às usabilidade e a programação. No entanto, também se refere
atividades pedagógicas; interatividade social; papel de aos fundamentos pedagógicos e de conteúdo do SE.
facilitador do professor); (ii) Fundamentação pedagógica: Portanto, em termos de abrangência, Reeves contempla as

354
IHC 2014 Proceedings - Short Paper Foz do Iguaçu - PR, Brazil

quatro classes consideradas neste estudo. A Técnica

TICESE também contempla as quatro classes, no entanto
apresenta uma equivalência em número dos critérios de
conteúdo, de interação aluno-SE-professor e de
programação.
Três das quatro classes consideradas são contempladas pela
Taxonomia de Bloom (conteúdo, fundamentação
pedagógica e interação aluno-SE-professor), a Metodologia
de Martins e LORI abordam os mesmos aspectos
(programação, interação aluno-SE-professor e conteúdo) e a
Técnica de Mucchielli (interação aluno-SE-professor,
programação e fundamentação pedagógica).
O Modelo de Avaliação de Campos e O Método de Rocha
possuem menor abrangência e consideram, igualmente, os
aspectos de programação e interação aluno-SE-professor.
Para os critérios quantitativos, toma-se como referência
comparativa de completude a quantidade de critérios
adotados em [3], total de 72, a saber: interação aluno-SE-
professor (33), fundamentação pedagógica (2), conteúdo
(12) e programação (25). Tem-se que, em termos de
completude, as abordagens contemplam a seguinte
quantidade de critérios: Reeves (21/72), Campos (8/72),
Mucchielli (8/72), LORI (10/72), TICESE (16/72), Bloom
(5/72), Martins (13/72) e Rocha (16/72). A distribuição da
completude por classe pode ser observada a partir da Figura
2, onde tem-se que as abordagens de Reeves, TICESE e
Rocha são aquelas mais completas em relação à [3].
Esta análise permite afirmar que é interessante o uso
complementar de abordagens diferentes para que a
avaliação do SE seja mais abrangente e contemple uma
gama maior de critérios. Embora as abordagens de Reeves e
de TICESE contemplem as quatro classes definidas no
estudo ainda existem lacunas no tocante aos itens não
considerados por estas. Além disto, deve-se atentar para as
abordagens que consideram as mesmas classes, assim elas
não devem ser aplicadas de forma complementar. Como
exemplo temos as abordagens de Campos e de Rocha que
priorizam programação e abordam, de forma leve, a
interação aluno-SE-professor.
Outra informação de relevância, extraída da análise, é de
como os aspectos pedagógicos são pouco explorados pelas
abordagens, sendo contemplados apenas para Reeves,
Mucchielli, TICESE e Bloom. Mesmo assim, esta classe
considera apenas dois itens em [3], o que mostra sua Figura 2: Análise quantitativa de completude de critérios
fragilidade, mesmo considerando que os critérios de
conteúdo (12) contemplam, de forma tangente, aspectos
pedagógicos. Os critérios de conteúdo são abordados pelas 2. Fundamentação pedagógica = método de Reeves OR
abordagens Reeves, LORI, TICESE, Bloom e Martins. Das Mucchielli OR Bloom;
quais TICESE contempla um maior número de itens (5). 3. Conteúdo = Técnica TICESE AND Lori AND
Portanto, de uma forma geral, sugere-se o uso conjunto das metodologia de Martins
abordagens de acordo com as seguintes equações: 4. Programação = Rocha AND (TICESE OR Martins) AND
1. Interação aluno-SE-professor = método de Reeves AND Lori AND método de Reeves AND metodologia de
metodologia de Martins AND Técnica TICESE ; Campos.

355
IHC 2014 Proceedings - Short Paper
CONCLUSÃO
Considerando a importância da adequada adoção de
softwares educativos e entendendo que a adequação
depende da forma como estes softwares se insere nas
práticas pedagógicas do ensino, assume-se como
pressuposto que as avaliações de SE devem considerar as
características técnicas (de usabilidade, qualidade,
ergonomia de software) e pedagógicas.
Diante da diversidade de abordagens para avaliação de SE e
da variedade dos critérios adotados por estas, a escolha por
avaliar um SE com base em uma única abordagem pode
desprezar um conjunto de outros critérios relevantes, porém
não considerados pela abordagem aplicada. A não
completude dos critérios de avaliação do SE podem
fragilizar o resultado da avaliação e, consequentemente,
sugerir a adoção de um SE cuja verificação não foi
abrangente o suficiente.
Neste cenário, após a análise inicial resultante deste
trabalho de pesquisa, identifica-se a necessidade de adoção
de mais de uma abordagem para avaliação de SE a fim de
tornar o resultado da avaliação mais abrangente e completo.
Além disto, identificou-se a necessidade de incluir nas
abordagens um maior detalhamento sobre os critérios
pedagógicos e de conteúdo, uma vez que estes são tratados
de forma ainda muito abstrata, com alto nível de
granularidade.
SUGESTÕES DE TRABALHOS FUTUROS
Tendo em vista a continuação deste trabalho de pesquisa,
pretende-se ampliar o escopo das abordagens analisadas
incluindo, além de outros instrumentos objetivos,
abordagens formativas. Tais abordagens visam localizar as
dificuldades no processo de assimilação do conhecimento
através da utilização do SE, possibilitando assim identificar
a evolução da aprendizagem no decorrer da utilização do
software.
Além disto, espera-se refinar as proposições de unir
abordagens (equações sugeridas) para elaboração de um
guia de aplicação de avaliação para SE. Tem-se em mente,
ainda, evoluir este guia para a especificação e
desenvolvimento de um software que facilite a aplicação da
mescla dos critérios abordados em diferentes abordagens.
Neste caso, na busca por uma avaliação dirigida as
características específicas do SE e que seja o mais completa
e abrangente possível. Objetiva-se que ao final de uma
avaliação que disponha deste recurso seja possível emitir
um parecer sobre a adequação do SE aos critérios
analisados.
REFERÊNCIAS
1. Valente, J. A. O computador na sociedade do
conhecimento. NIED – Unicamp Campinas, São Paulo,
1999.
2. Cysneiros, P. G. Novas tecnologias no cotidiano da
escola. Texto de apoio oferecido na 23ª Reunião anual
da Anped, Caxambu-MG, 2000.
356
Foz do Iguaçu - PR, Brazil
3. de Oliveira, Celina Couto, José Wilson da Costa, and
Marcia Moreira.Ambientes informatizados de
aprendizagem: produção e avaliação de software
educativo. Papirus, 2001.
4. Dias, Cláudia. Usabilidade na web: criando portais
mais acessíveis. AltaBooks, 2003.
5. Wisner, Alain. Le diagnostic en ergonomie ou le choix
des modèles opérants en situation réelle de travail.
Laboratoire de physiologie du travail et d'ergonomie,
1972.
6. CAMPOS, Gilda Helena Bemardino de. "Construção e
validação de ficha de avaliação de produtos
educacionais para microcomputadores." Rio de Janeiro
(1989)..
7. Campos, Gilda Helena Bernardino de. "Metodologia
para avaliação da qualidade de software educacional.
Diretrizes para desenvolvedores e usuários." Rio de
Janeiro (1994).
8. Silva, C. R. Bases Pedagógicas e Ergonômicas para
Concepção e Avaliação de Produtos Educacionais
Informatizados. Dissertação de Mestrado submetida à
Universidade Federal de Santa Catarina. Florianópolis
(1998).
9. Gamez, L. Ticese - Técnica de inspeção de
conformidade ergonômica de software educacional.
Dissertação de Mestrado submetida à Universidade do
Minho. Portugal, 1998.
10. Bertoldi, S. Avaliação de Software Educacional:
Impressões e Reflexões. Dissertação de Mestrado -
Universidade Federal de Santa Catarina. Florianópolis,
1999.
11. Martins, M. de L. O. O papel da usabilidade no ensino a
distância mediado por computador. Dissertação de
Mestrado. Centro Federal de Educação tecnológica de
Minas Gerais. Minas Gerais, 2004.
12. Nesbit, J., Belfer, K., Leacock, T. Learning Object
Review Instrument (LORI).
http://cenlinu1.centennialcollege.ca/aahs/LORI/help.php
13. Nilsen, J. Usability engineering. 1994.
14. Rocha, A .R. C. ,da Campos, Gilda H. Bernadino de.
Avaliação da qualidade de software educacional. Em
Aberto, ano 12 (1993): 32-44..
15. Swebok: Guide to the software engineering Body of
Knowledge. IEEE Computer Society, 2004.