7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

Desenvolvimento, testagem e proposta de um

Roteiro para Avaliação de Software para Educação Musical

Susana Ester Kr üger

RESUMO
Nesta pesquisa foi desenvolvido, testado e proposto um Roteiro para Avaliação de Software
para Educação Musical. Este foi formado por três categorias de avaliação: A) Parâmetros
Pedagógicos; B) Interações Sociais; e C) Informática & Educação Musical, fundamentadas
nas áreas de Educação, Educação Musical, Informática Educacional, entre outras. Nas três
fases da pesquisa, foi empregada a metodologia de Pesquisa de Desenvolvimento: Fase I :
programadores de software para música/educação musical e educadores musicais
analizaram as categorias e sugeriram questões; Fase II : elaboração do Roteiro Preliminar;
Fase III : testagem do Roteiro Preliminar por uma amostra reduzida de indivíduos da Fase I.
 A partir destes resultados, foi proposto um novo Roteiro. Obteve-se alto grau de aprovação
dos parâmetros propostos, sugerindo-se a adoção do Roteiro por educadores musicais e
programadores, em avaliações formativas e somativas de protótipos e produtos. Destaca-se
a necessidade de testagem em pesquisas subseqüentes de avaliação de software para
educação musical.

Introdução
 A avaliação de software educacional é considerada contemporânea e relevante no
ensino básico, sendo necessário que venha a ter a mesma importância na
educação musical brasileira. Isto porque é premente que sejam criados programas
fundamentados em pesquisas e práticas correntes na educação musical,
contemplando necessidades pedagógico/sociais atuais. Igualmente, a avaliação
anterior ao uso dos programas possibilita a otimização das atividades
educativo-musicais.
No início desta pesquisa, efetuou-se uma análise comparativa de roteiros para
avaliação de software do ensino básico e dos roteiros propostos por educadores
musicais. Constatou-se que roteiros de ambas as áreas seriam insuficientes a um
processo avaliativo abrangente, contextualizado e atualizado: (a) os roteiros do
ensino básico são extensos e detalhados; normalmente focalizam a avaliação de
atributos computacionais; não possuem critérios específicos à área de música; e,
os atributos pedagógicos não são totalmente pertinentes às tendências atuais da
educação musical; (b) os roteiros da educação musical são concisos, focalizam
atributos técnicos e não contemplam todos os tópicos ou recursos considerados
atuais e pertinentes à avaliação de software deste domínio. Destacou-se assim a
necessidade de pesquisas mais abrangentes sobre a criação de um roteiro,

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 1/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  2

fundamentado em parâmetros de avaliação de software do ensino básico, em

educação musical, informática educativa e áreas afins.
Com o intuito de contribuir com os estudos sobre parâmetros para avaliação de
software para educação musical, esta pesquisa teve como objetivo desenvolver,
testar e propor um Roteiro para Avaliação de Software para Educação Musical. Os
objetivos específicos foram: (a) estabelecer parâmetros amplos para avaliação de
software de educação musical; (b) coletar e analisar as questões de avaliação que
educadores musicais e programadores de software para música/educação musical
consideram adequados ao processo de avaliação de software para educação
musical, a partir dos parâmetros estabelecidos; (c) elaborar um Roteiro Preliminar
para avaliação de software para educação musical; (d) testar o Roteiro Preliminar
por meio de análises críticas e da atribuição de graus de pertinência e importância a
cada questão; e (e) sugerir um Roteiro para testagem em pesquisas subseqüentes.

1. Parâmetros para Avaliação de Software para Educação Musical

Nesta pesquisa, são definidos como software para educação musical   aqueles
especificamente projetados e desenvolvidos para uso em processos de
ensino/aprendizagem musical. A avaliação de software educacional caracteriza-se
como: formativa: de software em desenvolvimento (protótipo), focaliza
modificações; e somativa: de software finalizado (produto); avalia a qualidade e
variedade de experiências educacionais que o mesmo pode fomentar; visa
decisões sobre aquisição ou adoção (SQUIRES & McDOUGALL, 1994; HANNAFIN
& PECK, 1988).
Nestas avaliações, são usados Roteiros,  definidos como um conjunto de
parâmetros (categorias e questões de avaliação) para avaliação dos software

educativos. Podem ser elaborados para professores, alunos e entidades de

pesquisa ou comerciais. Um formato comum, também adotado na criação deste
Roteiro, é o método baseado em categorias  (BARKER & KING, 1993, p.309): o
agrupamento de questões em categorias que representam os parâmetros amplos
de avaliação. Pode ser sugerida a criação de sub-categorias e questões de
avaliação.
Para este Roteiro, foram criadas as categorias: A) Educação/Educação Musical, B)

Interações Sociais possíveis durante o uso do Software, e C) Informática &

Educação Musical. A primeira avalia as demandas da educação musical quanto

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 2/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  3

aos software educacionais, e compreende as sub-categorias: a.1. Teorias de

 Aprendizagem (behaviorismo e construtivismo); a.2. Concepções de Educação
Musical (tradicional e progressista); a.3. Parâmetros de Atividades Musicais
(Modelo (T)EC(L)A – Swanwick, 1979); a.4. Objetivos Pedagógicos (conteúdos e
processos pedagógicos; objetivos extrínsecos e intrínsecos); a.5. Avaliação do
 Aprendizado (diagnóstica, formativa e somativa); e a.6. Adequação Sócio-cultural e
Musical (aspectos sócio-culturais e musicais em geral). A segunda subdivide-se
em: b.1. Entre Professor e Aluno (papéis do professor) e b.2. Entre Alunos (formas
de relacionamento entre os alunos). A terceira avalia a interface, usabilidade e
interatividade do software com relação à educação musical. Estas categorias foram
pesquisadas em diferentes áreas (Tabela 1).

2. Desenvolvimento do Roteiro Preliminar

Optou-se pela Pesquisa de Desenvolvimento, que visa aperfeiçoar processos de

projetos de software educacional, de desenvolvimento, e de avaliação destes
software, podendo ser conduzida em fases distintas (RICHEY & NELSON, 1996,
p.1213;1218). Neste campo, foi encontrada a pesquisa de BARKER & KING (1993),
a qual apresentou características pertinentes à esta pesquisa, como os
procedimentos de validação de uma versão preliminar de roteiro.

2.1. Metodologia das Fases I e II

Na Fase I, os indivíduos sugeriram questões e realizaram uma análise crítica das
categorias e sub-categorias. RICHEY & NELSON (1996) apontam a Survey  
(Estudo de Levantamento) como um método freqüentemente empregado na

Pesquisa de Desenvolvimento (p.1229). Assim, foi empregada a Survey de Corte

Transversal  - uma única coleta de dados dos indivíduos da amostra (CASEY, 1992,
p.116). Foi utilizado um Questionário Aberto solicitando a elaboração de, no
mínimo, três questões para cada sub-categoria, e a análise das categorias. O
questionário foi aplicado via e-mail (RICHEY & NELSON, 1996). Na Fase II foi
criado o Roteiro Preliminar.

2.1.1. Amostra

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 3/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  4

Foram buscados dados de programadores e professores que trabalhassem com

software para música/educação musical. Como no Brasil existe um número
reduzido destes indivíduos, a escolha foi realizada por amostragem não
 probabilística, que permite a delimitação da população pesquisada. Foi adotada a  
amostragem por objetivo, na procura de indivíduos com características pertinentes
à pesquisa (CASEY, 1992, p.117).
2.1.2. Procedimentos
Fase I: criação das categorias e sub-categorias; contatos com dez indivíduos via
e-mail, solicitando a participação na pesquisa; envio de e-mail a oito indivíduos,
contendo o Questionário Aberto e um arquivo com as categorias e sub-categorias;
correspondência pessoal com os indivíduos.
Fase II: análise comparativa qualitativa das questões para verificação de
recorrência temática; formação do Roteiro Preliminar com questões sugeridas
pelos indivíduos (selecionadas e adaptadas), e questões criadas a partir da
fundamentação teórica.

2.2. Resultados
Foram obtidas 185 sugestões de questões e 55 textos de análise. As
sub-categorias foram reavaliadas, visando sua inclusão, exclusão ou reformulação
teórica e de layout  para o Roteiro Preliminar. Foram criadas 73 questões. O Roteiro
enfatizou questionamentos relacionados à educação musical; em segundo lugar,
as questões da informática aplicada à música/educação musical; e em terceiro
lugar, os questionamentos sobre as interações sociais. Como outros roteiros, as
questões apresentaram diferentes formatos de respostas: alternativas “cafeteira”
(opções de resposta) (MUCCHIELLI, 1975, p.37); respostas sim/não; e escala de

graduação unipolar de cinco graus (OSTROM & GANNON, 1996, p.304-5). Após
cada uma foi incluída a pergunta “Comentários Sobre o Software”, para descrição
de aspectos emergentes. Não foi sugerida a quantificação dos resultados.

3. Testagem do Roteiro Preliminar

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 4/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  5

O Roteiro Preliminar foi testado quanto à pertinência e importância dos seus

parâmetros e redação das questões. A metodologia também foi caracterizada como
uma Survey .

3.1. Metodologia da Fase III

Foram utilizados, simultaneamente, dois instrumentos de coleta de dados:
questionário fechado (avaliação quantitativa); e entrevista semi-estruturada
(Técnicas de Entrevista Cognitiva; avaliação qualitativa). O Questionário Fechado
foi formado por duas questões com opções de respostas, em forma de “ficha de
avaliação”, para atribuição de graus de pertinência e importância às questões do
Roteiro Preliminar (Figura 2). Estas opções foram compostas por escalas de
graduação unipolares de três graus (OSTROM & GANNON, 1996), sendo três o
mais elevado. Na entrevista semi-estruturada foram empregadas todas as Técnicas
de Entrevista Cognitiva: “pensar em voz alta”, questões de sondagem, paráfrases e
avaliação da segurança (DeMAIO & ROTHGEB (1996, p.179). As entrevistas foram
transcritas, categorizadas e analisadas. Os dados quantitativos obtidos por meio do
questionário fechado também foram comparados entre si e categorizados.
3.1.1. Amostras
Foram utilizados dois grupos de amostras, demandando em duas técnicas de
amostragem: amostragem por estágios  (uso de uma porcentagem da amostra
inicial em fases posteriores) (COHEN & MANION, 1987; MUCCHIELLI, 1979) e
amostragem por objetivo (CASEY, 1992, p.117). Amostra 1: dos oito indivíduos que
participaram da Fase II, foram selecionados seis (amostragem por estágios).
 Amostra 2: dois software para educação musical (amostragem por objetivo): STR
(Sistema de Treinamento Rítmico) e SETMUS (Sistema Especialista de Teoria

Musical) (Laboratório de Computação & Música da UFRGS).  Os mesmos não

foram avaliados, servindo como simulação ou background   para a testagem do
Roteiro Preliminar.
3.1.2. Procedimentos
Fase III: esclarecimento do objetivo da entrevista; explicação dos procedimentos
gerais; leitura da página de abertura do questionário fechado, visando a
compreensão do uso do questionário fechado e sua diferenciação do Roteiro

Preliminar; aplicação do questionário fechado durante a entrevista cognitiva. Todas

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 5/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  6

entrevistas foram gravadas em fita cassete e transcritas. Os dados obtidos foram

analisados qualitativa e quantitativamente.

3.2. Resultados
 A análise das entrevistas e da atribuição dos graus de pertinência e importância
demonstra que os parâmetros do Roteiro Preliminar foram tidos como pertinentes e
importantes à avaliação de software para educação musical, apresentando alto
grau de aprovação (Gráfico 3). Foi comprovada a necessidade de elaboração de
uma nova proposta de Roteiro, pois foram sugeridas modificações como:
diminuição do número de questões, agrupamento de sub-categorias (a.1. e a.2.); e
fundamentação teórica adicional. Desta forma, foram inseridas uma teoria de
aprendizagem (cognitivismo), duas concepções de educação musical (social ou
multicultural e psicológica-social), e um texto para verificação do feedback  
proporcionado pelo software. Foram mantidas as descrições das sub-categorias, e
inseridas uma nova folha de rosto para explicação de uso do Roteiro e referências
bibliográficas. A Tabela 4 apresenta as modificações estruturais deste Roteiro
(ressaltam-se as mudanças de nomenclatura, e agrupamento e exclusão de
sub-categorias).
 As questões foram analisadas, reescritas e reordenadas a fim de absorver as
modificações. As formas de resposta foram mantidas com poucas alterações. A
questão “Comentários Sobre o Software” foi disposta após a última questão de
cada sub-categoria. Como no Roteiro Preliminar, a nova proposta não sugere
quantificação dos resultados, embora tenha sido acrescentado um quadro para
uma “Conclusão Geral Sobre o Software” (qualitativa). A proposta final de Roteiro é
mais concisa, pois as 73 questões do Roteiro Preliminar foram reduzidas para 50.

Foi obtido também um maior equilíbrio quanto ao número de questões entre as

sub-categorias.

4. Conclusão
 A pesquisa revelou que os parâmetros do Roteiro foram tidos como
contemporâneos e amplamente utilizados na educação, educação musical e
informática educacional. Ao mesmo tempo, muitos ainda carecem de estudos e

podem ser considerados inovadores, sendo fontes de pesquisa para futuras

investigações. O Roteiro pode ser utilizado na avaliação de software protótipo e

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 6/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  7

produto, em avaliações formativas e somativas. Tal possibilidade é relevante para a

educação musical, por serem poucas as pesquisas nesta área. Pode ser utilizado
por educadores musicais para conhecer as possibilidades e limites do software e
verificar sua adequação aos alunos e contexto em geral; e, como uma lista de
sugestões para programadores. Todos os parâmetros foram propostos como
referência para avaliação de possibilidades e limites do software, não sendo
critérios de valor. O Roteiro é uma proposta flexível de avaliação, sugerindo-se o
acréscimo ou exclusão de questões que não se aplicariam ao software avaliado ou
às suas necessidades educacionais. As questões também podem fomentar a
investigação mais aprofundada de determinado atributo do software.
Constata-se que o presente Roteiro é um dos poucos que são fundamentados em
necessidades e interesses dos profissionais da própria área, sendo criado em
conjunto com e direcionado à estes profissionais. Em educação musical, tal fator é
ainda mais relevante por não ter sido encontrado um instrumento para avaliação de
software com parâmetros ao mesmo tempo abrangentes (fundamentação teórica
diversificada e interdisciplinar) e específicos (direcionados à área).
Sugere-se que Roteiro seja testado em situações reais de uso e avaliação de
software, por uma amostra maior de educadores musicais e programadores de
software para educação musical, utilizando vários programas e em diferentes
contextos pedagógicos e sócio-culturais. Em termos gerais, cada parâmetro e
questão pode ser um ponto de partida para futuras investigações, uma vez que a
área ainda carece de muitos estudos.

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 7/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  8

Referências Bibliográficas
BARKER, Philip; KING, Terry. Evaluating interactive multimedia courseware  –  a methodology. 
Computers & Education, Vol. 21, N. 4, pp. 307-319, 1993.
BEHAR, Patricia Alejandra.  Avaliação de softwares educacionais no processo de ensino

aprendizagem computadorizado: estudo de caso.  Porto Alegre, 1993. Dissertação. Curso

de Pós-Graduação em Ciência da Computação, UFRGS.
CASEY, Donald E. Descriptive research: techniques and procedures. In: COLWELL, Richard (ed.).
Handbook of Research on Music Teaching . New York, Schirmer Books, pp.115-123, 1992.
COHEN, Louis & MANION, Lawrence. Research methodos in education. 2ª. ed., London, Croom
Helm, 1985.
DeMAIO, Theresa J.; ROTHBEG, Jennifer M. Cognitive interviewing techniques: in the lab and in the
field. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering Questions: Methodology
for Determining Cognitive and Communicative Processes in Survey Research.  San
Francisco, Jossey-Bass Publishers, pp.177-196. 1996.
HANNAFIN, Michael J.; PECK, Kyle L. The design, development, and evaluation of instructional
software. New York, Macmillan, 1988.
MUCCHIELLI, Roger. O questionário na pesquisa psicossocial.  Trad. RIVERA, Luiz Lorenzo e
MAGALDI, Silvia; rev. SILVA, Mônica S. M. São Paulo, Martins Fontes, 1979.
OSTROM, Thomas M.; GANNON, Katherine M. Exemplar generation: assessing how respondents
give meaning to rating scales. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering
Questions: Methodology for Determining Cognitive and Communicative Processes in Survey

Research. San Francisco, Jossey-Bass Publishers, pp.293-318, 1996.

RICHEY, Rita C.; NELSON, Wayne A. Developmental research.  In: JONASSEN, David H. (ed.).
Handbook of Research for Educational Communications and Technology . New York,
Macmilan, pp.1213-1246, 1996.
SQUIRES, David; McDOUGALL, Anne. Choosing and using educational software: a teachers’ guide. 
London, Falmer Press, 1994.
SWANWICK, Keith. A basis for music education. London, Routledge, 1979.

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 8/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  9

 Anexo: Tabelas, Gráficos e Figuras (numerados seqüencialmente) 

Tabela 1: Fundamentação Teórica

CATEGORIAS DO ROTEIRO

ÁREAS Parâmetros Pedagógicos Interações Sociais Informática

&
Teorias de Concep-ç  Parâme-tr  Objetivos  Avaliação  Adequa-ç  Entre Entre
PESQUI-S  Aprendi-z  ões de os da Pedagó-gi  do ão Professor  Alunos
Educação
ADAS Musical
agem Educação Experiênci  cos  Apren-diz  Sócio-cult  e Alunos
Musical a Musical ado ural e
Musical

Educação
Informática
Educacional
Educação
Musical
Informática
(HCI)
Computação
& Música

Figura 2: Questionário Fechado para Avaliação do Roteiro Preliminar

(Questionário Fechado: Graus estabelecidos

 para a avaliação do Roteiro Preliminar)
Grau de Grau de
Pertinência Importância (Descrição das questões do Roteiro Preliminar )
1 2 3 1 2 3
( ) ( ) ( ) ( ) ( ) ( ) 2) Há algum tipo de limitação no design do software que dificulte
seu uso de acordo com a teoria de aprendizagem do professor? 
1 2 3 4 5
( ) ( ) ( ) ( ) ( ) 
Comentários sobre o software : ____________________

Gráfico 3: Roteiro Preliminar - Classificações no Grau 3

Roteiro Preliminar - Classificações no Grau 3 (máximo)

100

78 80 79
80 73
70
66
61 63
58 75
70
60
61 63 Pertinência 3
% 58 59 59
56 Importância 3
50
40

20

a.1 a.2 a.3 a.4 a.5 a.6 b.1 b.2 c

Categorias e Sub-categorias

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 9/10
7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

  10

Tabela 4: Estrutura do Roteiro: Modificações Durante a Pesquisa

Fase I: Categorias e Fase II: Roteiro Preliminar Nova Proposta

Sub-categorias de Roteiro 

Categoria A –  Categoria A –  Categoria A – 

Educação / Educação Musical   Educação / Educação Musical   Parâmetros Pedagógicos 
a.1) Teorias de Aprendizagem a.1) Teorias de Aprendizagem a.1) Teorias de Aprendizagem &
a.2) Concepções de Educação a.2) Concepções de Educação Concepções de Educação
Musical Musical Musical
a.3) Atividades Musicais  –  a.3) Parâmetros da Experiência a.2) Parâmetros da Experiência
Modelo (T)EC(L)A Musical – Modelo (T)EC(L)A Musical
a.4) Adequação Social e Cultural a.4) Objetivos Pedagógicos a.3) Objetivos Pedagógicos
a.5) Significados da Música a.5) Formas de Avaliação do a.4) Avaliação do Aprendizado
a.6) Objetivos Curriculares  Aprendizado a.6) Adequação Sócio-cultural e
a.6.1) Relação dos objetivos ao a.6) Adequação Sócio-cultural e Musical
conteúdo e processo do Musical ao contexto
software educacional pretendido
a.6.2) Forma de apresentação
dos objetivos curriculares
a.6.3) Amplitude dos conteúdos
curriculares
a.7) Formas de Avaliação do
 Aprendizado

Categoria B –  Categoria B –  Categoria B – 

Interações Sociais Possíveis Interações Sociais Interações Sociais 
Durante o Uso do Software
b.1) Entre Professor e Alunos
b.1) Entre Professor e Alunos b.2) Entre Alunos
b.2) Entre Alunos

Categoria C –  Categoria C –  Categoria C – 

Informática & Educação Musical Informática & Educação Musical Informática & Educação Musical

10

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 10/10