Desenvolvimento, testagem e proposta de um

Roteiro para Avaliao de Software para Educao Musical

Susana Ester Krger
RESUMO
Nesta pesquisa foi desenvolvido, testado e proposto um Roteiro para Avaliao de Software
para Educao Musical. Este foi formado por trs categorias de avaliao: A) Parmetros
Pedaggicos; B) Interaes Sociais; e C) Informtica & Educao Musical, fundamentadas
nas reas de Educao, Educao Musical, Informtica Educacional, entre outras. Nas trs
fases da pesquisa, foi empregada a metodologia de Pesquisa de Desenvolvimento: Fase I:
programadores de software para msica/educao musical e educadores musicais
analizaram as categorias e sugeriram questes; Fase II: elaborao do Roteiro Preliminar;
Fase III: testagem do Roteiro Preliminar por uma amostra reduzida de indivduos da Fase I.
A partir destes resultados, foi proposto um novo Roteiro. Obteve-se alto grau de aprovao
dos parmetros propostos, sugerindo-se a adoo do Roteiro por educadores musicais e
programadores, em avaliaes formativas e somativas de prottipos e produtos. Destaca-se
a necessidade de testagem em pesquisas subseqentes de avaliao de software para
educao musical.

Introduo
A avaliao de software educacional considerada contempornea e relevante no
ensino bsico, sendo necessrio que venha a ter a mesma importncia na
educao musical brasileira. Isto porque premente que sejam criados programas
fundamentados em pesquisas e prticas correntes na educao musical,
contemplando necessidades pedaggico/sociais atuais. Igualmente, a avaliao
anterior ao uso dos programas possibilita a otimizao das atividades
educativo-musicais.
No incio desta pesquisa, efetuou-se uma anlise comparativa de roteiros para
avaliao de software do ensino bsico e dos roteiros propostos por educadores
musicais. Constatou-se que roteiros de ambas as reas seriam insuficientes a um
processo avaliativo abrangente, contextualizado e atualizado: (a) os roteiros do
ensino bsico so extensos e detalhados; normalmente focalizam a avaliao de
atributos computacionais; no possuem critrios especficos rea de msica; e,
os atributos pedaggicos no so totalmente pertinentes s tendncias atuais da
educao musical; (b) os roteiros da educao musical so concisos, focalizam
atributos tcnicos e no contemplam todos os tpicos ou recursos considerados
atuais e pertinentes avaliao de software deste domnio. Destacou-se assim a
necessidade de pesquisas mais abrangentes sobre a criao de um roteiro,

fundamentado em parmetros de avaliao de software do ensino bsico, em

educao musical, informtica educativa e reas afins.
Com o intuito de contribuir com os estudos sobre parmetros para avaliao de
software para educao musical, esta pesquisa teve como objetivo desenvolver,
testar e propor um Roteiro para Avaliao de Software para Educao Musical. Os
objetivos especficos foram: (a) estabelecer parmetros amplos para avaliao de
software de educao musical; (b) coletar e analisar as questes de avaliao que
educadores musicais e programadores de software para msica/educao musical
consideram adequados ao processo de avaliao de software para educao
musical, a partir dos parmetros estabelecidos; (c) elaborar um Roteiro Preliminar
para avaliao de software para educao musical; (d) testar o Roteiro Preliminar
por meio de anlises crticas e da atribuio de graus de pertinncia e importncia a
cada questo; e (e) sugerir um Roteiro para testagem em pesquisas subseqentes.

1. Parmetros para Avaliao de Software para Educao Musical

Nesta pesquisa, so definidos como software para educao musical aqueles
especificamente projetados e desenvolvidos para uso em processos de
ensino/aprendizagem musical. A avaliao de software educacional caracteriza-se
como:

formativa:

de

software

em

desenvolvimento

(prottipo),

focaliza

modificaes; e somativa: de software finalizado (produto); avalia a qualidade e

variedade de experincias educacionais que o mesmo pode fomentar; visa
decises sobre aquisio ou adoo (SQUIRES & McDOUGALL, 1994; HANNAFIN
& PECK, 1988).
Nestas avaliaes, so usados Roteiros, definidos como um conjunto de
parmetros (categorias e questes de avaliao) para avaliao dos software
educativos. Podem ser elaborados para professores, alunos e entidades de
pesquisa ou comerciais. Um formato comum, tambm adotado na criao deste
Roteiro, o mtodo baseado em categorias (BARKER & KING, 1993, p.309): o
agrupamento de questes em categorias que representam os parmetros amplos
de avaliao. Pode ser sugerida a criao de sub-categorias e questes de
avaliao.
Para este Roteiro, foram criadas as categorias: A) Educao/Educao Musical, B)
Interaes Sociais possveis durante o uso do Software, e C) Informtica &
Educao Musical. A primeira avalia as demandas da educao musical quanto
2

aos software educacionais, e compreende as sub-categorias: a.1. Teorias de

Aprendizagem (behaviorismo e construtivismo); a.2. Concepes de Educao
Musical (tradicional e progressista); a.3. Parmetros de Atividades Musicais
(Modelo (T)EC(L)A Swanwick, 1979); a.4. Objetivos Pedaggicos (contedos e
processos pedaggicos; objetivos extrnsecos e intrnsecos); a.5. Avaliao do
Aprendizado (diagnstica, formativa e somativa); e a.6. Adequao Scio-cultural e
Musical (aspectos scio-culturais e musicais em geral). A segunda subdivide-se
em: b.1. Entre Professor e Aluno (papis do professor) e b.2. Entre Alunos (formas
de relacionamento entre os alunos). A terceira avalia a interface, usabilidade e
interatividade do software com relao educao musical. Estas categorias foram
pesquisadas em diferentes reas (Tabela 1).

2. Desenvolvimento do Roteiro Preliminar

Optou-se pela Pesquisa de Desenvolvimento, que visa aperfeioar processos de

projetos de software educacional, de desenvolvimento, e de avaliao destes
software, podendo ser conduzida em fases distintas (RICHEY & NELSON, 1996,
p.1213;1218). Neste campo, foi encontrada a pesquisa de BARKER & KING (1993),
a qual apresentou caractersticas pertinentes esta pesquisa, como os
procedimentos de validao de uma verso preliminar de roteiro.

2.1. Metodologia das Fases I e II

Na Fase I, os indivduos sugeriram questes e realizaram uma anlise crtica das
categorias e sub-categorias. RICHEY & NELSON (1996) apontam a Survey
(Estudo de Levantamento) como um mtodo freqentemente empregado na
Pesquisa de Desenvolvimento (p.1229). Assim, foi empregada a Survey de Corte
Transversal - uma nica coleta de dados dos indivduos da amostra (CASEY, 1992,
p.116). Foi utilizado um Questionrio Aberto solicitando a elaborao de, no
mnimo, trs questes para cada sub-categoria, e a anlise das categorias. O
questionrio foi aplicado via e-mail (RICHEY & NELSON, 1996). Na Fase II foi
criado o Roteiro Preliminar.

2.1.1. Amostra
3

Foram buscados dados de programadores e professores que trabalhassem com

software para msica/educao musical. Como no Brasil existe um nmero
reduzido destes indivduos, a escolha foi realizada por amostragem no
probabilstica, que permite a delimitao da populao pesquisada. Foi adotada a
amostragem por objetivo, na procura de indivduos com caractersticas pertinentes
pesquisa (CASEY, 1992, p.117).
2.1.2. Procedimentos
Fase I: criao das categorias e sub-categorias; contatos com dez indivduos via
e-mail, solicitando a participao na pesquisa; envio de e-mail a oito indivduos,
contendo o Questionrio Aberto e um arquivo com as categorias e sub-categorias;
correspondncia pessoal com os indivduos.
Fase II: anlise comparativa qualitativa das questes para verificao de
recorrncia temtica; formao do Roteiro Preliminar com questes sugeridas
pelos indivduos (selecionadas e adaptadas), e questes criadas a partir da
fundamentao terica.

2.2. Resultados
Foram obtidas 185 sugestes de questes e 55 textos de anlise. As
sub-categorias foram reavaliadas, visando sua incluso, excluso ou reformulao
terica e de layout para o Roteiro Preliminar. Foram criadas 73 questes. O Roteiro
enfatizou questionamentos relacionados educao musical; em segundo lugar,
as questes da informtica aplicada msica/educao musical; e em terceiro
lugar, os questionamentos sobre as interaes sociais. Como outros roteiros, as
questes apresentaram diferentes formatos de respostas: alternativas cafeteira
(opes de resposta) (MUCCHIELLI, 1975, p.37); respostas sim/no; e escala de
graduao unipolar de cinco graus (OSTROM & GANNON, 1996, p.304-5). Aps
cada uma foi includa a pergunta Comentrios Sobre o Software, para descrio
de aspectos emergentes. No foi sugerida a quantificao dos resultados.

3. Testagem do Roteiro Preliminar

O Roteiro Preliminar foi testado quanto pertinncia e importncia dos seus

parmetros e redao das questes. A metodologia tambm foi caracterizada como
uma Survey.

3.1. Metodologia da Fase III

Foram utilizados, simultaneamente, dois instrumentos de coleta de dados:
questionrio fechado (avaliao quantitativa); e entrevista semi-estruturada
(Tcnicas de Entrevista Cognitiva; avaliao qualitativa). O Questionrio Fechado
foi formado por duas questes com opes de respostas, em forma de ficha de
avaliao, para atribuio de graus de pertinncia e importncia s questes do
Roteiro Preliminar (Figura 2). Estas opes foram compostas por escalas de
graduao unipolares de trs graus (OSTROM & GANNON, 1996), sendo trs o
mais elevado. Na entrevista semi-estruturada foram empregadas todas as Tcnicas
de Entrevista Cognitiva: pensar em voz alta, questes de sondagem, parfrases e
avaliao da segurana (DeMAIO & ROTHGEB (1996, p.179). As entrevistas foram
transcritas, categorizadas e analisadas. Os dados quantitativos obtidos por meio do
questionrio fechado tambm foram comparados entre si e categorizados.
3.1.1. Amostras
Foram utilizados dois grupos de amostras, demandando em duas tcnicas de
amostragem: amostragem por estgios (uso de uma porcentagem da amostra
inicial em fases posteriores) (COHEN & MANION, 1987; MUCCHIELLI, 1979) e
amostragem por objetivo (CASEY, 1992, p.117). Amostra 1: dos oito indivduos que
participaram da Fase II, foram selecionados seis (amostragem por estgios).
Amostra 2: dois software para educao musical (amostragem por objetivo): STR
(Sistema de Treinamento Rtmico) e SETMUS (Sistema Especialista de Teoria
Musical) (Laboratrio de Computao & Msica da UFRGS). Os mesmos no
foram avaliados, servindo como simulao ou background para a testagem do
Roteiro Preliminar.
3.1.2. Procedimentos
Fase III: esclarecimento do objetivo da entrevista; explicao dos procedimentos
gerais; leitura da pgina de abertura do questionrio fechado, visando a
compreenso do uso do questionrio fechado e sua diferenciao do Roteiro
Preliminar; aplicao do questionrio fechado durante a entrevista cognitiva. Todas

entrevistas foram gravadas em fita cassete e transcritas. Os dados obtidos foram

analisados qualitativa e quantitativamente.

3.2. Resultados
A anlise das entrevistas e da atribuio dos graus de pertinncia e importncia
demonstra que os parmetros do Roteiro Preliminar foram tidos como pertinentes e
importantes avaliao de software para educao musical, apresentando alto
grau de aprovao (Grfico 3). Foi comprovada a necessidade de elaborao de
uma nova proposta de Roteiro, pois foram sugeridas modificaes como:
diminuio do nmero de questes, agrupamento de sub-categorias (a.1. e a.2.); e
fundamentao terica adicional. Desta forma, foram inseridas uma teoria de
aprendizagem (cognitivismo), duas concepes de educao musical (social ou
multicultural e psicolgica-social), e um texto para verificao do feedback
proporcionado pelo software. Foram mantidas as descries das sub-categorias, e
inseridas uma nova folha de rosto para explicao de uso do Roteiro e referncias
bibliogrficas. A Tabela 4 apresenta as modificaes estruturais deste Roteiro
(ressaltam-se as mudanas de nomenclatura, e agrupamento e excluso de
sub-categorias).
As questes foram analisadas, reescritas e reordenadas a fim de absorver as
modificaes. As formas de resposta foram mantidas com poucas alteraes. A
questo Comentrios Sobre o Software foi disposta aps a ltima questo de
cada sub-categoria. Como no Roteiro Preliminar, a nova proposta no sugere
quantificao dos resultados, embora tenha sido acrescentado um quadro para
uma Concluso Geral Sobre o Software (qualitativa). A proposta final de Roteiro
mais concisa, pois as 73 questes do Roteiro Preliminar foram reduzidas para 50.
Foi obtido tambm um maior equilbrio quanto ao nmero de questes entre as
sub-categorias.

4. Concluso
A pesquisa revelou que os parmetros do Roteiro foram tidos como
contemporneos e amplamente utilizados na educao, educao musical e
informtica educacional. Ao mesmo tempo, muitos ainda carecem de estudos e
podem ser considerados inovadores, sendo fontes de pesquisa para futuras
investigaes. O Roteiro pode ser utilizado na avaliao de software prottipo e
6

produto, em avaliaes formativas e somativas. Tal possibilidade relevante para a

educao musical, por serem poucas as pesquisas nesta rea. Pode ser utilizado
por educadores musicais para conhecer as possibilidades e limites do software e
verificar sua adequao aos alunos e contexto em geral; e, como uma lista de
sugestes para programadores. Todos os parmetros foram propostos como
referncia para avaliao de possibilidades e limites do software, no sendo
critrios de valor. O Roteiro uma proposta flexvel de avaliao, sugerindo-se o
acrscimo ou excluso de questes que no se aplicariam ao software avaliado ou
s suas necessidades educacionais. As questes tambm podem fomentar a
investigao mais aprofundada de determinado atributo do software.
Constata-se que o presente Roteiro um dos poucos que so fundamentados em
necessidades e interesses dos profissionais da prpria rea, sendo criado em
conjunto com e direcionado estes profissionais. Em educao musical, tal fator
ainda mais relevante por no ter sido encontrado um instrumento para avaliao de
software com parmetros ao mesmo tempo abrangentes (fundamentao terica
diversificada e interdisciplinar) e especficos (direcionados rea).
Sugere-se que Roteiro seja testado em situaes reais de uso e avaliao de
software, por uma amostra maior de educadores musicais e programadores de
software para educao musical, utilizando vrios programas e em diferentes
contextos pedaggicos e scio-culturais. Em termos gerais, cada parmetro e
questo pode ser um ponto de partida para futuras investigaes, uma vez que a
rea ainda carece de muitos estudos.

Referncias Bibliogrficas
BARKER, Philip; KING, Terry. Evaluating interactive multimedia courseware a methodology.
Computers & Education, Vol. 21, N. 4, pp. 307-319, 1993.
BEHAR, Patricia Alejandra. Avaliao de softwares educacionais no processo de ensino
aprendizagem computadorizado: estudo de caso. Porto Alegre, 1993. Dissertao. Curso
de Ps-Graduao em Cincia da Computao, UFRGS.
CASEY, Donald E. Descriptive research: techniques and procedures. In: COLWELL, Richard (ed.).
Handbook of Research on Music Teaching. New York, Schirmer Books, pp.115-123, 1992.
COHEN, Louis & MANION, Lawrence. Research methodos in education. 2. ed., London, Croom
Helm, 1985.
DeMAIO, Theresa J.; ROTHBEG, Jennifer M. Cognitive interviewing techniques: in the lab and in the
field. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering Questions: Methodology
for Determining Cognitive and Communicative Processes in Survey Research. San
Francisco, Jossey-Bass Publishers, pp.177-196. 1996.
HANNAFIN, Michael J.; PECK, Kyle L. The design, development, and evaluation of instructional
software. New York, Macmillan, 1988.
MUCCHIELLI, Roger. O questionrio na pesquisa psicossocial. Trad. RIVERA, Luiz Lorenzo e
MAGALDI, Silvia; rev. SILVA, Mnica S. M. So Paulo, Martins Fontes, 1979.
OSTROM, Thomas M.; GANNON, Katherine M. Exemplar generation: assessing how respondents
give meaning to rating scales. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering
Questions: Methodology for Determining Cognitive and Communicative Processes in Survey
Research. San Francisco, Jossey-Bass Publishers, pp.293-318, 1996.
RICHEY, Rita C.; NELSON, Wayne A. Developmental research. In: JONASSEN, David H. (ed.).
Handbook of Research for Educational Communications and Technology. New York,
Macmilan, pp.1213-1246, 1996.
SQUIRES, David; McDOUGALL, Anne. Choosing and using educational software: a teachers guide.
London, Falmer Press, 1994.
SWANWICK, Keith. A basis for music education. London, Routledge, 1979.

Anexo: Tabelas, Grficos e Figuras (numerados seqencialmente)

Tabela 1: Fundamentao Terica
CATEGORIAS DO ROTEIRO
Parmetros Pedaggicos

REAS
de Concep- Parme-tr Objetivos
PESQUI-S Teorias
Aprendi-z
es de
os da
Pedag-gi
ADAS
agem
Educao Experinci
cos
Musical

a Musical

Interaes Sociais
Avaliao
do
Apren-diz
ado

Adequa-
o
Scio-cult
ural e
Musical

Entre
Professor
e Alunos

Entre
Alunos

Informtica
&
Educao
Musical

Educao
Informtica
Educacional
Educao
Musical
Informtica
(HCI)
Computao
& Msica

Figura 2: Questionrio Fechado para Avaliao do Roteiro Preliminar

(Questionrio Fechado: Graus estabelecidos

para a avaliao do Roteiro Preliminar)

Grau
Pertinncia
1
( )

2
( )

de Grau
Importncia
3
( )

1
( )

2
( )

de
3
( )

(Descrio das questes do Roteiro Preliminar)

2) H algum tipo de limitao no design do software que dificulte
seu uso de acordo com a teoria de aprendizagem do professor?
1
2
3
4
5
( )
( )
( )
( )
( )
Comentrios sobre o software: ____________________

Grfico 3: Roteiro Preliminar - Classificaes no Grau 3

Roteiro Preliminar - Classificaes no Grau 3 (mximo)
100

78

80

79

80

70
61

60

73

70
61

66

63

75

58
63

58

P ertinncia 3

59

56

59

Impo rtncia 3

50

40

20

a.1

a.2

a.3

a.4

a.5

a.6

b.1

Categorias e Sub-categorias

b.2

10

Tabela 4: Estrutura do Roteiro: Modificaes Durante a Pesquisa

Fase I: Categorias e
Sub-categorias

Fase II: Roteiro Preliminar

Nova Proposta
de Roteiro

Categoria A
Educao / Educao Musical

Categoria A
Educao / Educao Musical

Categoria A
Parmetros Pedaggicos

a.1) Teorias de Aprendizagem

a.2) Concepes de Educao
Musical
a.3) Atividades Musicais
Modelo (T)EC(L)A
a.4) Adequao Social e Cultural
a.5) Significados da Msica
a.6) Objetivos Curriculares

a.1) Teorias de Aprendizagem

a.2) Concepes de Educao
Musical
a.3) Parmetros da Experincia
Musical Modelo (T)EC(L)A
a.4) Objetivos Pedaggicos
a.5) Formas de Avaliao do
Aprendizado
a.6) Adequao Scio-cultural e
Musical
ao
contexto
educacional pretendido

a.1) Teorias de Aprendizagem &

Concepes de Educao
Musical
a.2) Parmetros da Experincia
Musical
a.3) Objetivos Pedaggicos
a.4) Avaliao do Aprendizado
a.6) Adequao Scio-cultural e
Musical

Categoria B
Interaes Sociais

Categoria B
Interaes Sociais

a.6.1) Relao dos objetivos ao

contedo e processo do
software
a.6.2) Forma de apresentao
dos objetivos curriculares
a.6.3) Amplitude dos contedos
curriculares

a.7) Formas de Avaliao do

Aprendizado
Categoria B
Interaes Sociais Possveis
Durante o Uso do Software
b.1) Entre Professor e Alunos
b.2) Entre Alunos
Categoria C
Informtica & Educao Musical

b.1) Entre Professor e Alunos

b.2) Entre Alunos

Categoria C
Informtica & Educao Musical

10

Categoria C
Informtica & Educao Musical