Você está na página 1de 14

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo1.


Ana Paula Gladcheff2, Rosely Sanches3, Dilma Menezes da Silva 4 2 Faculdade So Lus Rua Haddock Lobo, 400 So Paulo SP ana.pgladchef@cei.sp.senac.br 3 Instituto de Cincias Matemticas e de Computao USP Caixa Postal 668 So Carlos SP rsanches@icmc.sc.usp.br 4 IBM TJ Watson Research Center P.O. Box 218 Yorktown Heights NY, 10598 dilma@watson.ibm.com

Resumo
A utilizao de softwares educacionais no ambiente de ensino-aprendizagem tem sido cada vez mais freqente em todos os nveis da educao. No entanto, os professores devem estar atentos a fim de garantir que esses produtos sejam utilizados de forma responsvel, com potencialidades pedaggicas realmente verdadeiras. Assim, fundamental que se coloque em reflexo o tema Avaliao de Qualidade de Produto de Software Educacional. Essa rea de trabalho bastante complexa, pois um produto com essa especificidade deve ser avaliado tendo como base no apenas caractersticas tcnicas, mas, tambm, caractersticas ligadas educao. O presente trabalho tem como objetivo apresentar um processo para elaborao de um instrumento, na forma de questionrios, que serve para avaliar um produto de software educacional, tendo como metodologia bsica a abordagem Goal/Question/Metric. Palavras -Chave: Qualidade, Produto de Software Educacional, Instrumento de Avaliao da Qualidade.

Abstract
The use of educational software in the teaching-learning environment has been incre asing steadily in all education levels. Notwithstanding, educators should be attentive in order to guarantee that these products be utilized in a responsible way, with really truthful pedagogical potentialities. Thus, it is fundamental that the theme Assessment of the Educational Software Quality be submitted to reflection. This area of work is very complex since a product with this specificity should be assessed on the basis of not only technical characteristics but also on the characteristics linked with education. This work has the objective of presenting a process for the elaboration an instrument, in the form of questionnaires, that serve to evaluate an educational software product having the approach Goal/Question/Metric as the basic methodology.

KeyWords: Quality, Educational Software Product, Quality Evaluation Tool.

O trabalho que fundamentou este artigo foi desenvolvido no Instituto de Matemtica e Estatstica da Universidade de So Paulo IME/USP, com apoio financeiro da FAPESP. Processo no 98/02569-9.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

1. Introduo O computador exerce um poder de fascinao muito grande sobre alunos e professores e tem sido utilizado de forma cada vez mais freqente em todos os nveis da educao. No entanto, os professores devem estar atentos a fim de garantir que essa ferramenta seja utilizada de forma responsvel, com potencialidades pedaggicas realmente verdadeiras e no apenas como uma mquina que possui programas divertidos e agradveis [22]. Deve haver, portanto, uma preocupao com as vantagens e perigos que ele proporciona, com o desenvolvimento de metodologias adequadas, com o papel do professor, com aspectos tcnicos, pedaggicos, psicolgicos, polticos e sociolgicos ligados ao computador e, tambm, com a avaliao criteriosa de softwares educacionais [5]. A interao entre aluno/computador/professor se d atravs da utilizao de softwares, assim sendo, fundamental que se coloque em reflexo o tema Avaliao de Qualidade de Produto de Software Educacional, discutindo em que medida um software pode contribuir para a educao hoje questionada ou em que medida poder concorrer para uma educao transformadora. A avaliao da qualidade de software educacional uma rea de trabalho bastante complexa por envolver diversas disciplinas. No se pode avaliar um software educacional apenas com base nas caractersticas de qualidade tcnicas, por exemplo, funcionalidade, usabilidade, confiabilidade, eficincia, manutenibilidade, portabilidade (ISO/IEC 9126-1 [10]). Essa rea coloca em cena outros elementos, pois a incorporao de aplicativos computacionais na educao s se justifica na medida em que possibilite um avano qualitativo nos processos de ensino e aprendizagem. Portanto, devem ser levados em conta, tambm, aspectos educacionais envolvidos, ou seja, aspectos pedaggicos, psicopedaggicos, socioculturais, cognitivos e ldicos. necessrio ressaltar a importncia da realizao da avaliao de produtos educacionais por uma equipe multidisciplinar. Isso pois, em geral, o professor no est familiarizado com tantos critrios tcnicos envolvidos na rea computacional. O objetivo deste trabalho descrever como elaborar um instrumento de avaliao de qualidade de produto de software educacional, o qual considera tanto aspectos tcnicos quanto educacionais. Na Seo 2, o processo de elaborao do instrumento de avaliao apresentado. Na Seo 2.1 descrita a metodologia de pesquisa utilizada, ou seja, o mtodo GQM. Esse mtodo aplicado duas vezes: na Seo 2.2 apresentada a primeira utilizao do mtodo GQM, assim como uma tcnica de Aquisio de Conhecimento Explcito usada nessa etapa. Na Seo 2.3 enfatizada a segunda utilizao do mtodo GQM, assim como atributos e heursticas de usabilidade usadas nessa etapa do trabalho. Na Seo 3, um relato sobre uma aplicao prtica de um instrumento elaborado com o uso dos procedimentos descritos neste artigo descrito de forma sucinta. A Seo 4 corresponde s consideraes finais. 2. Descrio do Processo de Elaborao do Instrumento de Avaliao Para a elaborao do instrumento de avaliao de qualidade de software educacional, a metodologia Goal/Question/Metric utilizada duas vezes distintas. Na primeira, para adquirir conhecimento atravs de especialistas da rea educacional. Na segunda, para elaborar o instrumento de avaliao, verificar a qualidade de softwares educacionais e obter feedback inicial de professores sobre o instrumento. A metodologia GQM j foi usada em muitos

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

projetos de pesquisa em Engenharia de Software [20] e vem sendo adotada em programas de avaliao de qualidade de software [8,9]. Sua principal caracterstica a capacidade de adaptao aos objetivos e particularidades do programa de avaliao a ser realizado. A seguir apresenta-se o mtodo GQM e sua utilizao para elaborao do instrumento de avaliao. 2.1. A Abordagem GQM A abordagem GQM foi originalmente proposta por Victor Basili [2], estendida e formalizada pelo mesmo, com a colaborao de Rombach e sua equipe [3,19]. Ela segue os princpios do paradigma de Avaliao Orientada a Objetivos e possui o objetivo de servir como uma metodologia genrica para orientar a elaborao e execuo de programas de avaliao da qualidade de produtos e processos na rea de Engenharia de Software. Segundo Gresse [1,8], a abordagem GQM envolve: Paradigma onde toda a coleo de dados em um programa de avaliao deve ser baseada em objetivos especficos explicitamente documentados; Modelo onde seus componentes elementares so: 1. o objetivo que envolve cinco aspectos - objeto de estudo (processo ou produto), propsito (determinar, caracterizar, melhorar, controlar algum aspecto de qualidade do objeto de medida), foco de qualidade (caractersticas de qualidade), ponto de vista (identifica a quem interessa os resultados da pesquisa) e ambiente (fornece o contexto para as interpretaes dos resultados); 2. as questes que expressam a necessidade de se obter informaes em uma linguagem natural cujas respostas devem estar de acordo com o objetivo; 3. as mtricas que especificam, em termos quantitativos e avaliveis, as informaes que se deseja obter durante as avaliaes Mtodo que inclui planejamento, execuo e empacotamento das experincias obtidas durante o programa. O processo GQM, que se divide em trs etapas, mostrado na Figura 2.1.1.

DESENVOLVIMENTO DO PLANO GQM 1. Pr-estudo 2. Elaborao do Plano GQM 3. Elaborao do Plano de Avaliao

EXECUO DO P LANO DE AVALIAO 4. Coleta de Dados 5. Tratamento dos Dados

P REPARAO DOS RESULTADOS 6. Preparao da Documentao Final 7. Composio da Base de Experincias

Figura 2.1.1 Etapas e fases do processo GQM [1] Na fase de pr-estudo, as pr-condies para a introduo do programa de avaliao so identificadas. A fase de elaborao do pla no GQM dividida em dois passos: identificao dos objetivos da avaliao (que serviro de base para a elaborao do plano GQM e so detalhados nos cinco aspectos j mencionados) e preparao do plano GQM (onde um conjunto de questes elaborado, caracterizando o objeto de pesquisa e seus aspectos de

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

qualidade, assim como um conjunto de mtricas associadas s questes, que visam respondlas de maneira quantitativa). Na elaborao do plano de avaliao so identificados quando os dados podero ser coletados, quem os fornecer e como. O objetivo da fase de coleta de dados obter os dados de avaliao, atravs do preenchimento do questionrio elaborado. Esses dados so validados atravs da verificao da no ocorrncia de erros, consistncia e completude. Uma anlise e interpretao dos dados realizada na fase de tratamento dos dados, para que as informaes obtidas durante a coleta sejam utilizadas, de acordo com o objetivo da avaliao. Na fase de preparao da documentao final um documento, contendo todos os dados coletados durante a avaliao, desenvolvido. Finalmente a fase de composio da base de experincias possui como objetivo armazenar as experincias adquiridas no programa de avaliao, para reutilizar esse conhecimento em projetos de software e programas de avaliao futuros. 2.2. A Primeira Utilizao do Mtodo GQM Nessa etapa, o mtodo GQM utilizado com o objetivo principal de adquirir conhecimento de especialistas da rea educacional, sobre aspectos ligados ao processo ensinoaprendizagem que devem estar presentes no software educacional. A Figura 2.2.1 representa o esquema resumido das atividades realizadas durante a Primeira Utilizao do Mtodo GQM.
GQM
1a utilizao Tipos de software educacional Educao com Informtica

Tcnicas de A C. Explcito

Questionrio para extrair conhecimento de especialistas na rea educacional

Entrevistas
Literatura Especializada Caractersticas que um software educacional deve possuir Indicaes de uso do computador

PCN

Figura 2.2.1 - Esquema Resumido das Atividades Realizadas Durante a 1a Utilizao do Mtodo GQM Antes da descrio das fases realizadas no trabalho, preciso ressaltar que, como j mencionado, o software educacional faz parte de uma estrutura complexa onde os requisitos de qualidade possuem, alm de caractersticas tcnicas, caractersticas ligadas educao. Portanto, um programa de avaliao da qualidade para software educacional deve ser elaborado no apenas com base nas caractersticas tcnicas de qualidade descritas na Norma ISO/IEC 9126-1 [10] e apresentadas na Tabela 2.2.1, mas tambm nas caractersticas ligadas ao processo educacional. Para que esta nova tendncia de educao possa enriquecer e

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

favorecer o processo de aprendizagem, em uma avaliao de produtos de software educacional, o conhecimento de especialistas de tal rea, deve ser considerado [17].
Caracterstica Funcionalidade Usabilidade Confiabilidade Eficincia Manutenibilidade Portabilidade Descrio Evidencia que o conjunto de funes atende s necessidades explcitas e implcitas para a finalidade a que se destina o produto. Evidencia a facilidade de utilizao do software. Evidencia que o desempenho se mantm ao longo do tempo em condies estabelecidas. Evidencia que os recursos e os tempos envolvidos so compatveis com o nvel de desempenho requerido para o produto. Evidencia que h facilidade para correes, atualizaes e alteraes. Evidencia que possvel utilizar o produto em diversas plataformas com pequeno esforo de adaptao.

Tabela 2.2.1 Caractersticas da Qualidade de Software segundo a ISO/IEC 9126-1 [21] Sendo assim, para a elaborao das questes desenvolvidas durante a fase de preparao do plano GQM , a tcnica Entrevista Estruturada (Aquisio de Conhecimento Explcito) incorporada junto ao processo de desenvolvimento do instrumento de avaliao [12]. Segundo Gammack e Young [4,12], a tcnica Entrevista Estruturada uma das mais usadas para elicitar o conhecimento de um Especialista do Domnio, por permitir que o Engenheiro de Conhecimento compreenda rapidamente conceitos e vocabulrio importantes no domnio. As sesses da entrevista estruturada possuem cinco fases. So elas: planejamento, comeo, corpo, fechamento e follow up. Na fase do planejamento , uma vez que os tpicos foram selecionados, uma agenda e exemplos de questes a serem utilizadas durante a entrevista so desenvolvidos. As questes podem ser do tipo abertas (no so seguidas por alternativas e encorajam a resposta livre) ou do tipo fechadas (determinam limites para o tipo, nvel e quantidade de informaes que o Especialista do Domnio fornece). Nessa fase, o processo a ser utilizado para a anotao das informaes tambm decidido e preparado. A principal funo da fase comeo da entrevista motivar os participantes a uma comunicao ativa. Um formulrio, tal como mostrado na Figura 2.2.2, pode servir como um guia para o corpo ou parte principal da entrevista. O mais importante que o formulrio induz a reas planejadas a serem cobertas, ao contrrio de perguntas aleatrias que podem no proporcionar investigaes adequadas em um tpico ou rea.

Figura 2.2.2 Formulrio de Aquisio de Conhecimento [12]

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

O fechamento da entrevista tambm uma importante parte da sesso. Se o engenheiro de conhecimento faz um bom trabalho resumindo os pontos principais e os propsitos da sesso de Aquisio de Conhecimento, prov a oportunidade ao Especialista do Domnio de clarear ou revisar esses pontos. Finalmente, quando a entrevista acaba, o Engenheiro de Conhecimento entra na fase em que deve traduzir as informaes obtidas em um formato til. Esta a fase de follow up. As Tabelas 2.2.1 e 2.2.2 a seguir, apresentam a descrio das fases realizadas na primeira etapa do trabalho.

P RIMEIRA UTILIZAO DO MTODO GQM (OBTENO DE CONHECIMENTO JUNTO A ESPECIALISTAS ) 1. PR-ESTUDO : Nessa fase so identificadas literaturas referentes Educao, Informtica na Educao e Modalidades de Softwares Educacionais. Objetivo Objeto de estudo: produto de software educacional. Propsito: extrair conhecimento de especialistas da rea educacional sobre a parte ligada educao do objeto de estudo. Foco de qualidade : caractersticas ligadas educao, ou seja, 2. ELABORA O pedaggicas, ldicas, psicopedaggicas, culturais. Desenvolvimento DO PLANO GQM : Ponto de vista: especialistas da rea educacional. do Plano GQM Ambiente: local de pesquisa dos especialistas do conhecimento. Conjunto de Questes: O conjunto de questes elaborado nessa fase diz respeito ao que respondido pelos especialistas, atravs da Tcnica de Aquisio de Conhecimento Entrevista Estruturada. As questes podem ser do tipo "abertas" pois, com isso, os especialistas sentem-se vontade para expor o conhecimento que possuem sobre o domnio. Cada questionrio direcionado especialidade do entrevistado. 3. ELABORAO DO PLANO DE A VALIAO: O planejamento para as entrevistas elaborado especificando -se "quando", "como" e "por quem" as questes levantadas na fase anterior so respondidas. Um formulrio de Aquisio de Conhecimento elaborado para cada um dos especialistas. Ele pode conter, tambm, especificaes a respeito do processo utilizado para a anotao das informaes durante a entrevista e uma descrio dos tipos de software contemplados no instrumento de avaliao a ser gerado (exerccio e prtica, tutorial, jogo pedaggico, sistema hipermdia e simulao). preciso que os formulrios sejam entregues aos especialistas com antecedncia a cada entrevista. TABELA 2.2.1 Descrio das Fases realizadas na 1a Utilizao do Mtodo GQM

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

(CONT) PRIMEIRA UTILIZAO DO MTODO GQM (OBTENO DE CONHECIMENTO JUNTO A ESPECIALISTAS ) 4. COLETA DE DADOS: Nessa fase os dados so coletados atravs da realizao das entrevistas, ou seja, as questes Execuo do elaboradas na fase 2 so respondidas por um grupo de especialistas da rea educacional, com Plano de uso do computador. Fazem parte do grupo: psicopedagogos com experincia em Informtica Avaliao na educao, professores que utilizam o computador em suas aulas, pesquisadores na rea de Informtica na Educao, pedagogos com especializao em Informtica, professores universitrios, responsveis pela rea de Informtica na Educao. 5. T RATAMENTO DOS DADOS: Os dados obtidos atravs dos especialistas so analisados e interpretados. Nessa fase, as entrevistas podem ser transcritas na ntegra e depois editadas, caso o processo utilizado para anotao das informaes seja a gravao. 6. PREPARAO DA DOCUMENTAO FINAL: Uma listagem com todos os dados coletados elaborada de tal forma a sintetizar as Preparao dos informaes necessrias ao desenvolvimento do instrumento/questionrio de avaliao. Essa Resultados listagem deve conter, de forma sintetizada, as caractersticas que um software educacional deve possuir, levando em conta o seu tipo (exerccio e prtica, tutorial, jogo pedaggico, sistema hipermdia ou simulao). Para isso, alm das informaes coletadas junto aos especialistas, so utilizadas tanto uma literatura especializada na rea quanto, por exemplo, os Parmetros Curriculares Nacionais 5 [16]. 7. COMPOSIO DA BASE DE EXPERINCIAS : A listagem elaborada na Fase 6 armazenada a fim de ser reutilizada na segunda etapa do trabalho, ou seja, na segunda utilizao do mtodo GQM.

TABELA 2.2.2 (cont.) Descrio das Fases realizadas na 1a Utilizao do Mtodo GQM Como pode ser observado na Figura 2.2.1, nessa etapa do trabalho tem-se como produto final uma listagem contendo as caractersticas ligadas rea educacional que um software educacional deve possuir e as indicaes de uso do computador no processo educacional. 2.3. A Segunda Utilizao do Mtodo GQM Nessa etapa do trabalho, o mtodo GQM utilizado com os objetivos de elaborar o instrumento de avaliao, verificar a qualidade de softwares educacionais e obter feedback inicial de professores sobre o instrumento de avaliao. A Figura 2.3.1 representa o esquema resumido das atividades realizadas durante a Segunda Utilizao do Mtodo GQM.

Parmetros Curriculares Nacionais: Constituem um documento do MEC - Ministrio da Educao - contendo propostas para a renovao da base curricular do Ensino em tod o o pas. Os PCN trazem para a discusso nacional objetivos, contedos e critrios de avaliao escolar.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

GQM
Caractersticas Tcnicas Caractersticas que um software Heursticas e educacional deve possuir Atributos de Indicaes de uso do computador Usabilidade 2a utilizao

Q1 - Questionrio para Avaliao Geral do Produto


de Software Educacional

AVALIAO

Questionrio de Julgamento do Instrumento

Respostas do Questionrio de Julgamento

Nova Verso Questionrio

FIGURA 2.3.1 - Esquema Resumido das Atividades Realizadas Durante a 2 a Utilizao do Mtodo GQM Tendo em vista o tipo especfico do produto que est sendo enfocado, a caracterstica tcnica usabilidade, ou seja, a questo relacionada a quo bem os usurios podem usar a funcionalidade definida pelo sistema, possui uma importncia ainda maior por se tratar de softwares que podero ser utilizados em um ambiente de ensino-aprendizagem. A norma ISO/IEC 9126-1, ao tratar da caracterstica usabilidade, no engloba diretamente aspectos cognitivos e emocionais do usurio. Por isso, os atributos de usabilidade propostos por Nielsen [13] e as heursticas, ou princpios de usabilidade, propostas pelo mesmo em seu mtodo da Avaliao Heurstica [14] s o estudados durante a fase de prestudo do mtodo GQM a fim de realimentar o processo de desenvolvimento do instrumento de avaliao. Segundo Nielsen, a caracterstica usabilidade pode ser definida em funo de mltiplos componentes e tradicionalmente associada a cinco atributos. So eles: 1. facilidade de aprendizado - o uso do sistema deve ser fcil de aprender, de forma que o usurio possa comear a interagir rapidamente; 2. eficincia de uso, uma vez aprendido - uma vez que o usurio aprendeu a utilizar o sistema, preciso que tenha um elevado nvel de produtividade; 3. facilidade de retorno - preciso que o usurio, ao voltar a usar o sistema aps um certo tempo, lembre-se facilmente de como deve utiliz-lo; 4. freqncia de ocorrncia e seriedade dos erros - o erro, neste contexto, definido como uma ao do usurio que no leva ao resultado esperado. preciso que o sistema no leve o usurio a cometer muitos erros durante sua utilizao; 5. satisfao subjetiva - o sistema deve ser agradvel, de forma que o usurio fique satisfeito ao utiliz-lo. A Avaliao Heurstica a realizao de uma inspeo sistemtica da interface a fim de identificar problemas de usabilidade, tomando como base um conjunto de heursticas ou princpios de usabilidade. Essa avaliao, de acordo com indicadores de experincias de

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

maior sucesso [15], pode ser conduzida por um pequeno conjunto de avaliadores, em torno de trs a cinco pessoas. As heursticas de usabilidade so regras gerais que objetivam descrever propriedades comuns de interfaces usveis [14]. Adicionalmente ao conjunto de heursticas gerais, pode-se, tambm, considerar heursticas especficas de acordo com a categoria do produto que est sendo avaliado. As heursticas so descritas na Tabela 2.3.1.
HEURSTICAS DE USAB ILIDADE
Heurstica 1. Visibilidade sobre o estado do sistema Descrio preciso que o sistema mantenha os usurios informados durante as atividades, fornecendo retorno adequado dentro de um tempo razovel. O sistema deve falar a linguagem do usurio, utilizando palavras, frases e conceitos familiares, ao invs de termos orientados ao sistema. Deve seguir convenes do mundo real, fazendo com que a informao aparea numa ordem natural e lgica. Os usurios geralmente escolhem erroneamente funes do sistema, portanto, necessrio que existam sadas claras de emergncia, fazendo com que o usurio deixe o estado no desejado sem que o fluxo do dilogo e sua continuidade sejam prejudicados. O sistema deve tratar o "desfazer" e o "refazer". Os usurios no devem ser surpreendidos com diferentes palavras, situaes ou aes que possuam o mesmo significado. Melhor que uma boa mensagem de erro um projeto cuidadoso, que previna problemas, antes mesmo de ocorrerem. O sistema deve possuir objetos, aes e opes de forma visvel. Ele no deve obrigar o usurio a relembrar informaes da parte de um dilogo para outro. As instrues para uso do sistema devem estar visveis ou dispostas de forma apropriada para fcil reconhecimento e recuperao quando necessrio. O sistema deve, tambm, fornecer aceleradores, desconhecidos pelos usurios novatos, a fim de que seja facilitada a interao para um usurio mais experiente, com isto favorecendo ambas as categorias. Deve-se permitir que usurios experientes possam "cortar caminhos" em aes freqentes. Dilogos no devem conter informaes irrelevantes ou raramente necessrias. Toda unidade extra de informao em um dilogo concorre com unidades relevantes e diminuem sua visibilidade relativa. Mensagens de erro devem ser expressas em linguagem clara (sem cdigos), indicando precisamente o problema e sugerindo, construtivamente, uma soluo. O melhor seria que o sistema fosse utilizado sem que o usurio precisasse recorrer documentao ou ao help . Mesmo assim, necessrio que o sistema possua uma documentao a fim de que o usurio seja auxiliado. Estes recursos devem ser de fcil acesso e elaborados em funo das tarefas tpicas do usurio, listando passos concretos a serem percorridos, e no muito extensos.

2. Relao entre o sistema e o mundo real

3. Controle do usurio e liberdade

4. Consistncia e padres

5. Preveno de erros

6. Reconhecimento ao invs da recorrncia memria do usurio

7. Flexibilidade e eficincia de uso do sistema

8. Simplicidade e esttica do sistema

9. Ajuda aos usurios no reconhecimento, diagnstico e correo de erros 10. Documentao e ajuda aos usurios

TABELA 2.3.1 Conjunto de Heursticas de Usabilidade [14] As Tabelas 2.3.3 e 2.3.4 a seguir, apresentam a descrio das fases realizadas na segunda etapa do trabalho, ou seja, na segunda utilizao do mtodo GQM.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

S EGUNDA UTILIZAO DO MTODO GQM (ELABORAO DO INSTRUMENTO PARA AVALIAO E FEEDBACK ) 1. P R-ESTUDO: A introduo do programa de avaliao baseada na documentao final elaborada na primeira utilizao do mtodo GQM, nas Normas ISO/IEC 9126-1 [10] e ISO/IEC 12119 [11], em literatura especializa na rea, nos atributos de usabilidade de Nielsen [18] e nas heursticas de usabilidade propostas tambm por Nielsen [14]. Sob o ponto de vista dos especialistas, aspectos de funcionalidade e usabilidade do software educacional podem ser indicados como os mais relevantes para esse tipo especfico de produto, mas preciso ressaltar que aspectos de confiabilidade, eficincia, portabilidade (no que diz respeito facilidade de instalao do produto) e manutenibilidade (no que diz respeito a indicaes feitas pelo produtor), tambm so includos no instrumento de avaliao gerado, a fim de que tambm Desenvolvimento do sejam analisados no produto. Plano GQM Objetivo Objeto de estudo : produto de software educacional e o prprio instrumento de avaliao gerado. Propsitos: verificar a qualidade de softwares educacionais utilizando o instrumento e, tambm, obter feedback inicial de professores sobre o mesmo. 2. ELABORAO DO Foco de qualidade: caractersticas tcnicas e educacionais. PLANO GQM: Ponto de vista : professores e orientadores pedaggicos. Ambiente: ensino-aprendizagem apoiado por ferramentas computacionais. Conjunto de Questes: Nessa fase so elaborados dois conjuntos de questes - um para compor o instrumento de avaliao com base no estudo realizado na fase de pr-estudo e outro para a avaliao do instrumento em si, ou seja, um questionrio de julgamento para o instrumento de avaliao gerado. Mtricas: A gradao (nmero de nveis) utilizada para as respostas (mtricas) aos questionamentos do instrumento elaborada de acordo com a questo. Respostas dissertativas podem ser requisitadas, mas, no caso de alternativas, pode-se utilizar uma gradao com 4 nveis, como por exemplo: sim, quase inteiramente, pouco, no. Tambm pode ser utilizado um nvel com a sigla NN que significa no necessrio para este produto. importante destacar que deve ser evitado o uso de um nmero mpar de nveis, pois a tendncia que, na dvida, o avaliador opte pela alternativa que se encontra no nvel do meio. 3. ELABORAO DO P LANO DE AVALIAO: So elaborados dois planos de avaliao 1. o primeiro para ser utilizado juntamente com o instrumento de avaliao gerado e possui especificaes de "como" e "por quem" os softwares podem ser avaliados. Esse plano Desenvolvimento do Plano GQM contm: um procedimento para a realizao da avaliao do produto de software educacional usando o instrumento/questionrio gerado, um guia para a elaborao de um relatrio sobre o software avaliado e um glossrio com os termos tcnicos utilizados no instrumento gerado; 2. o segundo para ser utilizado na Fase 4, contendo especificaes de "quando" e "por quem" os softwares podem ser avaliados, a fim de obter um feedback inicial sobre o instrumento de avaliao. 4. COLETA DE DADOS: Os dados (respostas aos questionrios) so coletados atravs de avaliaes de alguns softwares, Execuo do Plano de realizadas por um grupo de professores ou orientadores pedaggicos. Os produtos usados nos experimentos podem ser adquiridos atravs de uma pesquisa dos produtos disponveis no mercado, Avaliao junto ao comrcio varejista, atacadista e fabricantes. Nessa fase, os professores ou orientadores pedaggicos respondem aos questionamentos contidos no instrumento (1o conjunto de questes da Fase 2) e logo em seguida, ao questionrio de julgamento do instrumento (2o conjunto de questes da Fase 2). 5. TRATAMENTO DOS DADOS: Os dados coletados so analisados e interpretados para fins de refinamento do instrumento de avaliao elaborado.

TABELA 2.3.3 Descrio das Fases realizadas na Segunda Utilizao do Mtodo GQM

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

( CONT) S EGUNDA UTILIZAO DO MTODO GQM (ELABORAO DO INSTRUMENTO PARA AVALIAO E FEEDBACK ) 6. P REPARAO DA DOCUMENTAO FINAL: Um documento final, ou seja, a ltima verso do instrumento/questionrio, com todos os dados coletados durante as avaliaes elaborado. Preparao dos O documento final composto pelo questionrio de "Avaliao Geral" do produto de software Resultados educacional. Com ele, um produto pode ser analisado em relao s caractersticas de qualidade tcnicas e educacionais e verificada a presena de condies mnimas para atendimento das necessidades do usurio final. Essa anlise examina o produto como um todo e o procedimento de avaliao utilizado pelo professor composto por: - questes que englobam critrios baseados nas Normas ISO/IEC 12119 e ISO/IEC 9126-1, nos atributos e heursticas de usabilidade; - questes referentes s caractersticas pedaggicas gerais, que abordam critrios ligados educao, considerados necessrios em qualquer tipo de software educacional; - quest es referentes educao, especficas a cada um dos tipos de software educacional, que podem ser um tutorial, uma simulao, um jogo pedaggico, um sistema hipermdia (que engloba sistemas que utilizam tcnicas de hipermdia e sites web) ou um exerccio e prtica; e, - questes que abordam as caractersticas pedaggicas relacionadas a cada ciclo do processo de ensino-aprendizagem, tendo como base os objetivos propostos pelos Parmetros Curriculares Nacionais. 7. COMPOSIO DA BASE DE EXPERINCIAS: Por fim, as experincias adquiridas durante o programa de avaliao so armazenadas a fim de serem reutilizadas em programas de avaliao futuros.

TABELA 2.3.4 (cont.) Descrio das Fases realizadas na Segunda Utilizao do Mtodo GQM Como pode ser observado na Figura 2.3.1, tem-se como produto final uma nova verso do instrumento de avaliao que apresenta o refinamento do mesmo. Com isso, o instrumento est elaborado. 3. Relato de uma Aplicao Prtica Como pode ser observado, na fase de Coleta de dados durante a segunda utilizao do mtodo GQM, professores respondem aos questionamentos contidos no instrumento e logo em seguida, ao questionrio de julgamento do instrumento. Nessa seo, uma aplicao prtica dessa fase, desenvolvida por Gladcheff [1], relatada sucintamente. No trabalho mencionado, foi proposto um instrumento para avaliar a qualidade de produtos de software educacionais de Matemtica, direcionados ao Ensino Fundamental. Atravs do CAEM-USP (Centro de Aperfeioamento do Ensino de Matemtica IME USP), quatorze professores do Ensino Fundamental de Matemtica foram selecionados dentre os que se prontificaram a realizar avaliaes de alguns softwares mais usados nas escolas, utilizando o questionrio proposto [1]. Dentre esses professores, apenas quatro realizaram as avaliaes em seu prprio computador, em casa, e outros quatro efetuaram a avaliao na Universidade de So Paulo (Instituto de Matemtica e Estatstica IME-USP). Cada um deles avaliou um produto de software direcionado ao ciclo do Ensino Fundamental em que leciona. Essa rpida investigao com os professores revelou alguns fatores tcnicos propostos no questionrio original e que no necessariamente so importantes na avaliao de um software educacional, sob a tica do professor (por exemplo, questes relativas anlise da embalagem do produto). Sete, dentre os oito professores que participaram desse experimento, consideraram esse instrumento um importante apoio para a avaliao de um software educacional de Matemtica. Destacaram aspectos positivos de sua utilizao, como a objetividade, a facilidade de uso (proporcionada pelo apoio do glossrio de termos tcnicos includos no questionrio original), a abrangncia dos pontos a serem observados no produto, inclusive

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

quanto usabilidade da interface do mesmo. A grande maioria afirmou que no se lembraria de vrios aspectos tcnicos e educacionais apresentados pelo questionrio, ou se teria fixado em alguns detalhes, perdendo a objetividade da avaliao. Essa experincia nos forneceu tambm alguns indicativos de como o instrumento de avaliao proposto poderia ter maior eficcia, em termos educacionais. Em nosso entendimento, o professor deve primeiramente avaliar o produto de software educacional, utilizando o instrumento proposto, para somente depois planejar suas atividades de ensino e, ento, utiliz-lo com seus alunos. Pensamos que a antecedncia da avaliao sistemtica do software educacional pode auxiliar na previso de outras metodologias e desafios a serem incorporados na sala de aula, com essa nova ferramenta. 4. Comentrios Finais

A proposta apresentada neste trabalho originou-se de um instrumento, na forma de questionrios, desenvolvido por Gladcheff [7]. Os questionrios foram elaborados com o objetivo de servirem como um instrumento para avaliao de qualidade de produtos de software educacional de Matemtica, direcionados ao Ensino Fundamental. Uma descrio detalhada do projeto pode ser encontrada em [6]. preciso ressaltar que tanto a metodologia base utilizada na elaborao do instrumento (Abordagem GQM), como a tcnica para a extrao do conhecimento junto aos especialistas (Entrevista Estruturada) e a base da avaliao da caracterstica usabilidade (atributos de usabilidade e o mtodo da Avaliao Heurstica), foram essenciais para o desenvolvimento do trabalho. Com esses procedimentos foi possvel traar objetivos de forma estruturada e buscar alcan-los de maneira disciplinada. Um importante diferencial a ser considerado, o envolvimento direto de educadores tanto na etapa de extrao do conhecimento dos especialistas (atravs da entrevista estruturada) como na etapa de refinamento do instrumento de avaliao gerado (atravs das avaliaes de softwares educacionais de Matemtica, realizadas por professores do Ensino Fundamental). Ressaltamos tambm a importante possibilidade de realimentao do instrumento final gerado, repetindo-se parcialmente os procedimentos propostos, de tal forma a gerarmos uma nova verso do questionrio. Dentro do mesmo contexto, podemos destacar a possibilidade de validao do instrumento final mediante aplicao em ambiente prtico (real). Dentre as principais dificuldades encontradas durante o desenvolvimento do trabalho, podemos destacar: a sintetizao e relao das diversas informaes colhidas junto aos especialistas (apesar da objetividade com que os entrevistados colocaram suas idias); o agendamento dos professores para a aplicao do instrumento, com o objetivo de obter um feedback para seu refinamento; a dificuldade na aquisio dos softwares educacionais para as avaliaes, apesar da variedade constatada em catlogos de distribuidores e em guias sobre estes produtos (muitos j no eram mais fabricados e outros no eram de fcil acesso); a complexidade do trabalho, por conta das diversas reas que o envolveram (Matemtica, Informtica, Pedagogia, Psicologia). Por fim, entendemos que os procedimentos utilizados no desenvolvimento do instrumento mencionado, possuem um grande potencial para ser empregado na elaborao de instrumentos similares, destinados, tambm, a outras reas.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

5. Bibliografia [1] ABIB, J.C. Abordagem Goal Question Metric (GQM) para Avaliao da Qualidade de Software. So Carlos, 1998. Dissertao (Mestrado) Centro de Cincias Exatas e de Tecnologia, Universidade Federal de So Carlos. [2] BASILI , V.R.; WEISS, D.M. A Methodology for Collecting Valid Software Engineering Data. IEEE Transactions on Software Engineering, November, p.728-38, 1994. [3] BASILI , V.R.; CALDIERA , G.; ROMBACH , H.D. Goal Question Metric Paradigm. In: Encyclopedia of Software Engineering, John Wiley & Sons, New York, v.1, p.527-32, 1995. [4] GAMMACK, J.; YOUNG, R. Psychological Techniques for Eliciting Expert Knowledge . In: M. Brarner, ed. Research and Development in Expert Systems. Cambridge University Press, 1985. [5] GIRAFFA, L.M.M. A Comunidade de Informtica Educativa Brasileira: Perspectiva Histrica e Pesquisa. Painel Integrado de Palestras e Debates. In: VI WORKSHOP DE INFORMTICA NA ESCOLA , Curitiba, Brasil, Julho, 2000. [6] GLADCHEFF , A.P. Projeto de Mestrado "Um Instrumento de Avaliao da Qualidade para Software Educacional de Matemtica, Direcionado ao Ensino Fundamental". DCC IME Universidade de So Paulo, 2000. Disponvel em http://www.ime.usp.br/dcc/posgrad/teses/anapaula. [7] Gladcheff, A.P. Um Instrumento de Avaliao da Qualidade para Software Educacional de Matemtica. So Paulo. Dissertao (Mestrado) Departamento de Cincia da Computao, Instituto de Matemtica e Estatstica da Universidade de So Paulo, 2001. [8] GRESSE, C.; HOILS, B.; WST, J. A Process Model for GQM Based Measurement. University of Kaiserslautern, Germany. (Relatrio Tcnico STTI-95-04-E) [9] GRESSE, C.; R OMBACH , H.D; R UHE, G. A Practical Approach for Building GQM ~ Based Measurement Programs ~ Lessons Learned from Three Industrial Case Studies. Tutorial. In: X Simpsio Brasileiro de Engenharia de Software, So Carlos, So Paulo, Brasil, Outubro, 1996. [10] INTERNATIONAL ORGANIZATION FOR STANDARDIZATION . Information technology Software quality characteristics and metrics - Part 1: Quality characteristics and subcharacteristics. ISO/IEC 9126-1. Janeiro, 1997 (Commitee Draft). [11] INTERNATIONAL ORGANIZATION FOR STANDARDIZATION . Information technology Software packages - Quality requirements and testing. ISO/IEC 12119. Outubro, 1994. [12] M CGRAW , K.L.; BRIGGS , K.H. Knowledge Acquisition: Principles and Guidelines . Prentice Hall, 1989. [13] NIELSEN, J. Usability Engineering. Academic Press, Cambridge, MA, 1993. [14] NIELSEN, J. Heuristic Evaluation. In: Usability Inspection Methods. John Wiley, New York, 1994. [15] Nielsen, J. Why You Only Need to Test With 5 Users, 2000. Disponvel em http://www.useit.com. [16] PCN Brasil. Secretaria de Educao Fundamental. Parmetros Curriculares Nacionais: Matemtica - Ensino de 1a 4a srie e 5a 8a srie. Braslia: MEC/SEF, 1997. [17] REISER, R.A.; KEGELMANN , H.W. Evaluating Instrucional Software: A Review and Critique of Current Methods. ETR&D, v.42, n.3, p.63-69, 1994. [18] ROCHA , H.V.D.; BARANAUSKAS, M.C.C. Design e Avaliao de Interfaces HumanoComputador. Tutorial. In: Escola de Computao 2000 , So Paulo, Brasil, Julho, 2000. [19] ROMBACH, H.D. Practical Benefits of Goal-Oriented Measurement. Software Reliability and Metrics, Elsevier Applied Science , 1991.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva

Simpsio Brasileiro de Engenharia de Software VIII W ORKSHOP DE QUALIDADE DE SOFTWARE, Rio de Janeiro, RJ, Brasil, 2001. Anais.

[20] SANCHES , R. A Influncia do Software e de seu Processo de Manuteno no Esforo de Manuteno. So Paulo, 1993. Tese (Doutorado) Faculdade de Economia, Administrao e Contabilidade da Universidade de So Paulo. [21] Tsukumo, A.N., et al (1997) Qualidade de Software: Vises de Produto e Processo de Software. In: VIII CITS - CONFERNCIA INTERNACIONAL DE TECNOLOGIA DE SOFTWARE: QUALIDADE DE SOFTWARE, Curitiba, Paran, Brasil. Anais. [22] VIEIRA, F.M.S. Avaliao de Software Educativo: Reflexes para uma Anlise Criteriosa, 2000. Disponvel em http://www.edutecnet.com.br.

Um Instrumento de Avaliao de Qualidade de Software Educacional: como elabor-lo.

Ana Paula Gladcheff, Rosely Sanches, Dilma Menezes da Silva