UNIVERSIDADE FEDERAL DE SANTA CATARINA

PROGRAMA DE PS-GRADUAO EM CINCIA DA

COMPUTAO


Universidade Federal de Santa Catarina





Srgio Bertoldi





AVALIAO DE SOFTWARE EDUCACIONAL
Impresses e Reflexes





Dissertao submetida Universidade Federal de Santa Catarina como parte dos requisitos para a obteno do grau
de bacharel em Cincia da Computao






Edla Maria Faust Ramos






Florianpolis, 1999.
I.INTRODUO


Muito j tem se falado sobre o desenvolvimento e avaliao de software para a rea educacional e
pouco se tem verificado de realizaes concretas. No momento, numerosas empresas oferecem
produtos tecnolgicamente avanados com som, animao, cores e um sem nmero de recursos
embora o contedo e a prtica pedaggica estejam esquecidos...Uma primeira observao que deve
ser feita refere-se necessidade na formao dos professores e formao de engenheiros de
computao em Informtica na Educao como um campo de conhecimento especfico e, isto inclui os
avanos da didtica.

A particularidade da didtica em relao a outras reas reside na dimenso epistemolgica de sua
problemtica que considera a especificidade do conhecimento a ser trabalhado. Este fato revela a
importncia das situaes geradas onde determinado um valor funcional aos conhecimentos, aos
mtodos implcitos ou explcitos que determinam a interao aluno/professor relacionada s situaes e
as dificuldades cognitivas que podem ser encontradas. A contribuio da didtica s pesquisas em
Informtica na Educao, especificamente aos ambientes interativos de aprendizagem com o
computador, so de ordem metodolgica e terica. Trata-se, na verdade, da caracterizao e da
modelizao de situaes de ensino; da anlise das condutas e das concepes dos alunos diante de
um contedo do conhecimento em um contexto; de estudos dos fenmenos de transferncia do saber;
do estudo das formulaes do saber, e, dos mtodos de validao. Devemos incluir ainda os mtodos
de avaliao.

Sob o ponto de vista da informtica, as ferramentas para a pesquisa podem colaborar essencialmente
na observao detalhada das diferentes fases da introduo e da construo de um procedimento.

Desta forma, a integrao da informtica nas situaes de ensino introduzem uma nova complexidade
no campo da didtica, pois permite abordar a modelizao computacional dos processos didticos.
Esta modelizao uma nova rea de pesquisa, possui caractersticas prprias tais como a necessidade
de constituio pelo aluno de representaes concernentes organizao e ao funcionamento do
computador e interao desta habilidade com o contedo a ser trabalhado.

A figura, a seguir, demonstra o quadro de anlise de reas que esto relacionadas com a Informtica
na Educao no momento da instalao de um projeto na instituio de ensino.
Comentrio:
Figura1: Quadro de anlise das reas envolvidas para a instalao de um projeto de Informtica na
Educao em uma instituio de ensino. (Mendelsohn, 1989)

O despreparo dos profissionais da educao para com a rea tecnolgica, faz com que no se tenha
uma possibilidade de avaliao satisfatria dos softwares utilizados na educao, em conseqncia
disto softwares que no possuem boa aplicao didtica so adquiridos mas por sua baixa qualidade
no utilizados. Fazendo assim os laboratrios de informtica das escolas se tornarem espaos ociosos.

Pensando no problema da anlise dos softwares educacionais resolveu-se desenvolver um material
acessvel visando facilitar a anlise dos mesmos atravs de chek-list e de mtodos discursivos. Atravs
de leituras de embasamento terico, didtico e de outros trabalhos nesta rea desenvolveu-se ento
este trabalho que se apresenta, dentro dos objetivos, satisfatrio.









II. TAXOMANIA CLSSICA E CARACTERSTICAS DAS MODALIDADES DE
SOFTWARE EDUCACIONAL.


psicologia cognitiva
instituio cincia da informtica
didtica das disciplinas
A forma at hoje mais utilizada para classificar as modalidades de software educacional foi proposta
por Taylor em 1980 quando explicou que o computador em educao poderia ser utilizado como
Tutor, Ferramenta ou Tutelado. Como Tutor, o computador desempenha o papel de professor,
orientando o aluno para aquisio de um novo conhecimento; como Tutelado os alunos ensinam o
computador e, como Ferramenta o computador utilizado para adquirir e manipular informaes.
Kemmis (in Underwood & Underwood, 1990) apresentou uma nova maneira de classificao onde a
utilizao do computador em educao estava voltada para 4 paradigmas: Instrucional, Revelatrio,
Conjectural e Emancipatrio. Sthal(1991) afirma que Kemmis relacionou estes paradigmas com um
continuum com as principais categorias de programas: CAI(Computer Assisted Instruction),
Simulaes, Modelagem e Labor-saving (os programas no possuem contedo, o aluno tem o controle
sendo, portanto, o programa centrado no aluno). Campos e Santos (1990) demonstram que Kemmis
apresentou as formas de utilizao dos computadores baseadas em uma filosofia educacional. Estes
paradigmas podem ser compreendidos da seguinte forma:
-Paradigma instrucional: inclui instruo programada, exerccio e prtica;
-Paradigma revelatrio: onde o aluno faz descobertas usando simulaes;
-Paradigma conjectural: com o computador sendo usado para construo e avaliao de modelos;
-Paradigma emancipatrio: no qual o computador usado como ferramenta para a manipulao de
textos/nmeros, tratamento e recuperao da informao.

De toda forma, algumas modalidades de uso do computador tem sido consagradas e, por isso, abaixo
esto relacionadas as definies, caractersticas e critrios para o desenvolvimento para cada uma
delas.

Exerccio e prtica.

Forma tradicional em que os computadores tem sido utilizados em educao. o tipo de software
mais fcil de ser desenvolvido e utilizado. Visa a aquisio de uma habilidade ou a aplicao de um
contedo j conhecido pelo aluno, mas no inteiramente dominado. Pode suplementar o ensino em sala
de aula, aumentar e/ou automatizar habilidades bsicas. Em geral utiliza feedback positivo e no deve
julgar as respostas erradas. Os alunos trabalham com uma seleo randmica de problemas, repetindo
o exerccio quantas vezes forem necessrias para atingirem os objetivos determinados no programa. As
respostas erradas so rapidamente detectadas, o que reduz a possibilidade de reforo em
procedimentos errneos.



Caractersticas:


- Existncia de recursos motivacionais, para despertar a ateno do aluno.
n Acesso a ajudas, para encaminhar o aluno a respostas certas, sendo que o acesso a ajudas deve
ser diminudo de acordo com a crescente complexidade da instruo.
- Existncia de mensagens de erro. para encaminhar o aluno a resposta adequada.
n Uso de ilustraes, uso de animao, uso de cor. uso de recursos sonoros. para
despertar. manter e reforar a ateno e a motivao do aluno,
n Controle da sequenciao do programa pelo usurio, para respostas tambm sequenciadas e
capazes de oferecer situaes para a aquisio e reteno do contedo.
n Fornecimento de 'feedback". para melhoria do desempenho do aluno e assegurar o
conhecimento da habilidade desejada.
n Tratamento de erro do usurio, para conduzi-lo ao domnio do contedo
n Gerao randmica de atividades. para a reteno, melhoria do desempenho e ateno.
n Capacidade de armazenamento das respostas. a fim de verificar-se o desempenho do aluno.
n Adaptablidade ao nvel do usurio. assegurando o domnio das habilidades necessrias.
n Adequao do programa ao currculo da escola.
n Integrao do programa com outros recursos ou materiais instrucionais, para o
enriquecimento do aluno.
- Apresentao dos escores e resultados dos alunos para que este saiba a sua posio diante do
contedo apresentado.
- Resistncia do programa a respostas inadequadas assegurando a continuidade do programa.
- Facilidade de leitura da tela a fim de obter uma interao adequada com o aluno.



Tutorial

Os programas tutoriais podem introduzir conceitos novos, apresentar habilidades, pretender a
aquisio de conceitos, princpios e ou generalizaes atravs da transmisso de determinado
contedo ou da proposio de atividades que verifiquem a aquisio deste contedo. Servem como
apoio ou reforo para aulas, para preparao ou reviso de atividades. entre outros aspectos.


Caractersticas:

- Existncia de recursos motivacionais, a fim de garantir a ateno do aluno.
- Fornecimento de "feedback encaminhando para respostas corretas.
- Adequando o vocabulrio ao nvel do usurio. garantindo a compreenso do
contedo e do que est sendo pedido.
n Controle da sequenciao do programa pelo usurio. Especificando
n caminhos alternativos que possam ser escolhidos e seu grau de dificuldade.
- Mensagens de erro. com o intuito de conduzir o aluno a resposta correta, desejada
ou adequada.
- Uso de Ilustraes, uso de animao, uso de cor, uso de recursos sonoros, para despertar a
ateno do aluno e mant-la.
n Definio do tempo de resposta permitido que o aluno aprenda em seu prprio ritmo.
n Adaptabildade ao nvel do usurio, promovendo a aplicao das habilidades j adquiridas e a
aprendizagem das novas.
n Existncia de ramificao para enfoques alternativos da instruo, facilitando a reteno e a
transferncia.
n Existncia do tratamento de erro do usurio, analisando as respostas do aluno, determinando ou
propondo segmentos corretivos ou mesmo fornecendo novas abordagens do contedo apresentado.
n Capacidade de armazenamento das respostas, para a verificao do desempenho final do aluno.
n Possibilidade de incluso de novos elementos e/ou estruturas de contedo, tornando a substncia do
programa sempre atualizada e ao nvel da clientela.
n Indicao de outros materiais para enriquecimento do aluno.
n Adequao do programa s necessidades curriculares da escola. e a conseqente integrao ao
currculo.
n Verificao dos pr-requisitos necessrios instruo afim de diagnosticar as necessidades do
aluno e situ-lo no programa.
n Orientao da aprendizagem atravs de segmentos propostos no menu
n Resistncia do programa a situaes hostis.
n Facilidade de leitura da tela, facilitando a comunicao usuario-computador.
n Passos da soluo de problemas implcitos no programa.
n Capacidade de reformular o conhecimento, inferindo sobre o conhecimento j existente.
n Existncia de recursos motivacionais.
n Adequao do vocabulrio.
n Controle da sequenciao do programa
n Mensagens de erro.
n Representao do conhecimento utilizando som, cor, animao e grficos.
n Ramificaes do processo instrucional.
n Armazenamento de respostas.
n Diagnstico dos pr-requisitos.
n Orientao da aprendizagem.
n Robustez.
n Facilidade de leitura das telas.
n Suporte para anlises heursticas.
n Respostas satisfatrias.

Simulaes e Modelagem.

a representao ou modelagem de um objeto real. de um sistema ou evento. um modelo simblico
e representativo da realidade que deve ser utilizada a partir da caracterizao dos aspectos essenciais
do fenmeno. Isto significa que a simulao deve ser utilizada aps a aprendizagem de conceitos e
princpios bsicos do tema em questo.

A primeira abordagem sobre simulaes foi o uso de modelos em pequena escala para propsitos
experimentais. A seguir, surgiram os computadores analgicos com possibilidade para se fazer
computao paralela, mas ainda limitados para clculos algbricos ou aritmticos.

A simulao induz a um nvel intermedirio entre o abstrato e o concreto, o valor pedaggico deste
nvel intermedirio de abstrao entre o fenmeno real e o modelo abstrato inserido para um conjunto
de relaes descrevendo o comportamento do fenmeno e que deve ser discutido. Deve-se a
importncia para clarificar os processos do mundo fsico que so funcionalmente invisveis para os
alunos em sua interao com outros objetos.

As simulaes so classificadas de acordo com o uso de computadores em educao como
aprendizagem por descoberta, possibilitando aos alunos usar o computador e habilidades para explorar
e solucionar problemas. Outra classificao encaixa a simulao como reveladora na qual so
ressaltadas as habilidades dos computadores fazerem experincias com modelos e a capacidade de
variar as condies.
Inmeros fenmenos podem ser representados neste modelo simblico e representativo da realidade.
As caractersticas de realismo e imaginao so bsicas simulao: dependem do fenmeno
trabalhado e de seu objetivo. Os componentes principais e invariveis de uma simulao so: (a) o
sistema de apresentao: (b) o aluno; (c) o sistema de controle. e. (d) o sistema de gerenciamento. Na
apresentao do sistema o contedo pode ser trabalhado sob diversas formas. desde que estimule o
usurio. O usurio o elemento participante da simulao que controla o sistema, isto , as
variveis e os parmetros. O sistema gerenciador ajusta a simulao baseado na manipulao dos
sistemas de controle pelos usurios. Cabe salientar que as simulaes podem ser estticas ou
interativas.

A modelagem comptutacional um sistema dinmico e cada passo do clculo pode ser definido de
maneira elementar. Os modelos so construdos passo a passo, modificando-se os modelos
anteriores. No caso das simulaes os modelos no so visveis no podendo ser analisados. A
vantagem da modelagem reside em verificar como atuam as variveis de um sistema.

A modelagem pode ser (a) dinmica, onde identifican-se variveis importantes que descrevem um
sistema e especifica-se como elas variam ao longo do tempo, como os resultados dos valores de outras
variveis e constantes. As regras para evoluo do sistema so regras para o clculo dos prximos
valores de uma varivel; (b) autmatos celulares, consistindo em conjunto de clulas, cada uma com um
nmero finito de estados. O estado de uma clula pode variar em funo do estado que se encontram
seus prximos vizinhos. O conceito fundamental a evoluo da estrutura de comportamento do
conjunto de objetos que compe o sistema: (c ) modelagem semi-quantitativa um modelo que parte
da premissa de que em geral dispomos de muito poucos dados para formular um modelo quantitativo
exato. O objetivo deste prottipo desenvolver um programa em que se possa representar
quantidades sem se indicar nada acerca de seus valores absolutos, mas onde possvel indicar
alteraes e sentido das alteraes. Construir um modelo significa criar e indicar nomes das variveis,
lig-las com setas que indicam se uma varivel ao aumentar tem tendncia a provocar o aumento da
outra. Esse tipo de modelagem pode ser o primeiro passo para estudantes compreenderem sistemas
cada vez mais complexos.

Caractersticas:

n Fornecimento de feedback.
n Clareza nos comandos pedidos pelo programa.
n Controle das sequencias reprodutoras do evento pelo aluno, facilitando a simulao da realidade.
n Mensagens de erro claras e indicadoras do caminho correto a ser seguido pelo aluno.
n Uso de ilustraes, uso de cor, animao e recursos sonoros para fornecer dados mais reais ao
aluno, suprindo deficincias que a palavra escrita possa apresentar.
n Facilidade de leitura da tela.
n Apresentao dos resultados ao aluno tanto parcialmente quanto ao final da simulao.
n Ramificaes para enfoques alternativos, apresentando as possibilidades diante do problema
simulado.
n Capacidade de armazenamento das respostas, a fim de conhecer-se a estrutura do raciocnio do
aluno diante do problema dado.
n Possibilidade de incluso de novas estruturas e/ou segmentos de programa a fim de manter o
contedo sempre atualizado e reproduzindo a realidade.
n Possibilidade de correo de erros realizados pelo aluno e detectados pelo prprio antes do
registro.




Jogos

Os jogos devem ser fonte de recreao com vista a aquisio de um determinado tipo de
aprendizagem. Geralmente envolvem elementos de desafio ou competio. Muitos jogos so
confundidos com a simulao, pois utilizam algum tipo de habilidade. Os atributos motivacionais dos
so vrios e podem ser divididos em duas categorias: individual e interpessoal. So considerados
motivaes individuais o desafio, a curiosidade, o controle e a fantasia. So consideradas motivaes
interpessoais a cooperao, a competio e o reconhecimento.

Os jogos correspondem a um certo nvel do desenvolvimento cognitivo. Os jogos so biolgica e
culturalmente determinados, e o autor supe que h uma relao indissocivel entre capacidade de
solucionar problemas e tipos de problemas que o indivduo enfrenta.

Com jogos aprende-se a negociar, a persuadir, a cooperar, a respeitar a inteligncia dos adversrios, a
projetar consequncias de longo prazo em um cenrio, a ver o todo mais do que as partes.

Caractersticas:
Existncia de recursos motivacionais para despertar, manter e fixar a ateno do aluno.
Clareza dos comandos a serem pedidos pelo programa antes de seu incio.
Controle da sequenciao pelo aluno
Mensagens de erro claras
Fornecimento de diretrizes no incio do jogo e sua manuteno, a no ser quando a descoberta for
parte do jogo.
Diagramao da tela de forma clara.
Apresentao dos resultados do aluno e de seu nvel de desempenho.
Adaptabilidade ao nvel do usurio, promovendo interaes que faciletem o alcance do objetivo do
jogo.
Capacidade de resistncia a situaes hostis.
Fornecimento de feedbackpara facilitar o aumento do conhecimento e estimular o aluno- usurio.

HIPETEXTO / HIPERMDIA
Hipertexto comumente definido como uma forma no linear de armazenamento e recuperao
de informaes. Isto significa que a informao pode ser examinada em qualquer ordem, atravs da
seleo de tpicos de interesse. Desta forma, um hipertexto tem como principal caracterstica a
capacidade de interligar pedaos de textos ou outros tipos de informao entre si atravs do uso de
palvras-chave. O termo hipertexto refere-se aos primeiros sistemas construdos com a filosofia de
ligaes embutidas.
Nelson (1960) ao inventar o termo hipertexto visava imprimir as idias de leitura e escrita no
linear utilizando um sistema informatizado (XANADU). Tecnicamente um hipertexto descrito como
um conjunto de ns conectados por ligaes. Os ns podem ser palavras, pginas, imagens, grficos,
sequncias sonoros e documentos complexos. Os itens de informaes no so ligados linearmente
mas, sim atravs de ligaes como estrelas de forma reticular. Funcionalmente, o hipertexto um
ambiente de Software para a organizao de conheciementos ou dados para a aquisio de
informaes e para a comunicao. Hiperdocumento um documento de hipertexto construdo em
parte pelo autor e em parte pelo leitor.
Campos (1994), citando Macdaid (1991) define hipermdia como um estilo de construo de
sistemas para criao, manipulao, apresentao e representao da informao na qual:
A informao se armazena em uma coleo de ns multimdia.
Os ns se encontram organizadas em forma explcita ou implcita em uma ou mais estruturas
(habitualmente uma rede de ns conectados por links).
Os usurios podem acessar a informao, navegando atravs das estruturas disponveis.

Hipertextos, hipermdia so particularmente adequados educao. Pode-se enfatizar que a
interao ativa de um indivduo com a aquisio do saber pedagogicamente interessante. Com a
multimdia interativa, isto , com a possibilidade de uma dimenso reticular, no linear, h o
favorecimento de uma postura exploratria diante de um contedo a ser assimilado. Desta forma,
hipermdia estaria relacionada uma aprendizagem ativa. Neste sentido, ressalta-se que o produto
de hipermdia e o processo de desenvolvimento de uma aplicao interessam, ambos, educao.
O produto de hipermdia consiste em sistemas que tornam possvel a disponibilidade de uma grande
quantidade de material de aprendizagem estruturado. Este material acessvel a partir de uma
mquina e, navegvel atravs de ligaes explcitas. O material de aprendizagem armazenado no
produto de hipermda envolve comunicao de instrues baseada em diferentes canais (texto,
grfico, audio, video, etc...).
Segundo Ilabaca (1992) a estrutura de um hipertexto pode variar em diferentes modelos. Um
tpico software de hipertexto consiste em um editor grfico, base de dados e ferramenta de
brownsing para uma viso tridimensional.
FCampos ((1994) em tese de Mestrado apresentada COPPE/UFRJ e em trabalhos
conjuntos com Gcampos e Rocha (1993a e 1993b) estabeleceu caractersticas para hipertextos e
hipermdia que so citados a seguir.
Caractersticas
Qualidade da documentao;
Facilidade de entendimento da estrutura do hiperdocumento;
Documento disponvel sobre os ns;
Alterabilidade corretiva
Clareza das informaes;
Facilidade de aprendizado;
Eficincia de utilizao;
Facilidade de lembrana;
Facilidade de localizao;
Clareza dos comandos;
Adequao do vocabulrio ao nvel do usurio;
Estabilidade;
Existncia de recursos motivacionais;
Controle da sequenciao do hiperdocumento;
Diagramao das telas;
Uso de ilustraes, animao, video, cor;
Uso de marcas especiais;
Uso de recursos sonoros;
Facilidade de leitura de textos na tela;
Tempo de troca de ns;
Suporte de mltiplas janelas;
Rolamento de telas e janelas;
Uso de cones;
Previso de realimentao;
Seleo de auxlio;
Integrao;
Tutorial para leitura;
Tempo de exposio de telas.

TUTORES INTELIGENTES
O objetivo dos Tutores Inteligentes (ITS) trazer maior flexibilidade e interatividade no domnio
da tutoria, sobretudo em Matemtica, programao e Medicina. Pode-se definir estes sistemas
como uma tentativa de integrar tcnicas de Inteligncia Artificial e uma teoria da psicologia de
aquisio de conhecimento dentro de um plano de ensino.
Os objetivos dos ITS deve ser muito exato pois, o sistema deve fornecer capacidades de
raciocnio e resoluo de problemas no domnio de aplicao. O ITS deve possuir um
conhecimento do perfil do aluno a fim de ser sensvel ao comportamento do estudante.
Evidentemente, o ITS deve possuir uma interface com linguagem natural e a capacidade de dilogo
deve ser desenvolvida.
A diferena crucial entre ITS e CAI situa-se na separao do programa de decises e do
programa de conhecimento. Ressalta-se que esta separao metodolgica essencial porque o
objetivo principal torna-se uma compreenso mais profunda do sistema de tutoria para poder
construir modelos apropriados.
A estrutura de uma arquitetura de ITS












fig(1) Fonte:( Fischetti & Gisolfi, 1990)

O mdulo especialista possui o conhecimento sobre o tpico a ser ensinado; o modelo de aluno
gerencia a compreenso do estudante sobre o contedo, o mdulo de ensino explica as estratgias de
tutorias adequadas e a interface lida com a forma da comunicao do conhecimento.
Caractersticas:
Conhecimento do domnio do problema;
Representao do entendimento do aluno sobre o assunto durante a sesso de tutoria
Conhecimento de estratgias pedaggicas
Possibilidade de reconhecimento do raciocnio do aluno
Dialogo intensivo e ativo com o aluno
Modelagem do ensino
Interface que modela o sistema, oferecendo possibilidades de utilizao de outras modalidades
como simulao
Possibilidade de uso de animao e uso de smbolos expressivos (cones)
Possibilidade de diagnstico do conhecimento do aluno sobre o problema
Pedido de resposta do aluno a fim de oferecer tutoria constante
Mdulo Especialista


+
Base de
conhecimento
Mquina de
inferncia
Modelo do aluno
Mdulo de Ensino
Inteface

Possibilidade de oferecimento de ajuda para soluo do problema
Possibilidade de anlise estatstica do desempenho do aluno
Possibilidade de inferncia do domnio do aluno sobre o tpico.

Werneck(1993) ressalta que alguns tutores inteligentes foram desenvolvidos a partir de sistemas
especialistas. comparando esses dois sistemas constata-se que eles atendem a diferentes
propsitos. Enquanto os sistemas especialistas tm a inteno de solucionar problemas, os tutores
inteligente, alm de resolver problemas, constroem um modelo de soluo humana do problema
para possibilitar o reconhecimento do raciocnio do aluno.

A TAXONOMIA DE MENDELSOHN

Mendelsohn (1990) ao estudar os ambientes inteligentes de aprendizagem (AIA) demonstrou
que o surgimento e o desenvolvimento das tecnologias educativas podem provocar uma renovao
da pesquisa cognitiva pois, as novas tecnologias de tratamento da informao permitem imaginar e
realizar cenrios a fim de assistir e melhorar a eficcia da aprendizagem atravs do ensino. Trs
argumentos so apresentados para serem pontos de partida para definio de ambientes:
1. A construo de sistemas informatizados dedicados ao ensino necessitam de contedos
adaptados ao aluno;
2. A gesto da interao entre o sistema e o aluno, isto , considerar a concepo de
interface;
3. As tecnologias permitem a construco de um sistema de coleta de dados sobre a
aprendizagem e suas condies de realizao.

Os AIAs podem ser descritos em dois eixos ortogonais: um caracteriza o ambiente informatizado e
o outro, as aprendizagem visada pelo sistema. O primeiro eixo representa a abertura do sistema
informatizado em relao s aes que o sujeito pode realizar sobre o ambiente. O segundo eixo
representa o tipo de conhecimento sobre o qual se prev que o software possa contribuir para a
aprendizagem. Mendelsohn(1990) afirma que em uma das extremidades (eixo 1) se encontra as
atitudes do metaconhecimento (planificao da ao e heurstica de resoluo de problemas) e
sob o eixo 2 , os sistemas especializados construdos para permitir a aquisio de um
conhecimento bem definido. Este conhecimento tem a propriedade de ser dependente de um
contexto especfico. O produto cartesiano destas duas dimenses delimita quatro zonas distintas
nas quais os principais ambientes de aprendizagem disponveis podem ser explicitados (figura 1).
Os softwares aplicativos (tratamento de texto, planilhas, base de dados, software grfico,
software para clculo, etc...) podem ser considerados como abertos do ponto de vista da
informtica. Oferecem a possibilidade de construo de macro-comandos similares aos
procedimentos de linguagem de programao clssica. Sendo software especializados, destinam-se
a uma atividade com contedo preciso como esquematizar, classificar objetos ou resoluo de
problemas numricos.
Os micro-mundos so sistemas informatizados abertos onde o aluno deve explorar um
domnio com um mnimo de ajuda do sistema, combinando as primitivas de uma linguagem de
programao (ex: LOGO). O aluno aprende a aprender utilizando o ambiente para espelhar seus
conhecimentos e construir novos objetos.
Os courseware so softwares educacionais clssicos que, a partir de uma situao interativa
entre o aluno e um problema, leva o aluno a resolv-la. A gama de atividades possveis vasta mas,
cada sequncia fechada por respostas interpretveis pelo programa. So considerados como
parte de um ambiente que favorece pouco a iniciativa do aluno e so muito especializados em
relao aos objetivos pedaggicos. A concepo deste ambiente repousa no dilogo interativo, e ,
a aprendizagem consiste no sujeito (aluno) realizar a sequncia de procedimentos associados a
determinados conceitos.
Os tutorias so como alguns coursewares onde caractersticas de resoluo de
problemas acrescentou-se o componente tutorial onde so representados o modelo do aluno, o
conhecimento e a tcnica do professor, e , a especializao do conhecimento a ser ensinado. A
idia permitir aprendizagem de alto nvel (a lgica compreenso) atravs da tutoria entre o
sistema do professor e o sistema do aluno. A concepo destes sistemas anloga s ajudas
on line disponveis, por exemplo, nos aplicativos.
Os ambientes inteligentes de aprendizagem permitem ultrapassar a oposio
simplista entre os defensores da aprendizagem por induo (atividades exploratrias do sujeito)
e os defensores de tutorias. Estes sistemas devem ser capazes de favorecer a aquisio de
conceitos e procedimentos associados a um domnio do conhecimento, permitindo ao aluno
transformar-se suas experincias em conhecimento organizado. Neste ambientes, considera-
se que a melhor forma de aprender conceber ferramentas que assistam aos alunos para que
possam comunicar-se de forma eficaz.

METODOLOGIA PARA AVALIAO DE SOFTWARE EDUCACIONAL DE
THOMAS REEVES
A metodologia proposta por Reeves em [Reeves, 1994] apresenta duas abordagens
complementares na avaliao de software educacional. Uma delas baseia-se em quatorze
critrios e a outra em dez critrios relacionados a interface com usurio.
Os critrios so avaliados atravs de uma marca sobre uma escala no dimensionada
representada por uma seta dupla. Em cada extremidade da seta so colocados os conceitos
antagnicos que caracterizam o critrio. De modo que na extremidade esquerda fica situado o
conceito mais negativo. A concluso a respeito da avaliao obtida graficamente analisando a
disposio dos pontos marcados nas setas que devem ser ligados colocando-se as setas umas
sobre as outras. A figura 4 mostra o procedimento grfico realizado nos critrios.

(...) valorizao do erro
Aprendizado sem erro Aprendizado com experincia

Motivao
Extrnseca Intrnseca
Figura 4: Procedimento grfico na metodologia de Reeves.
A seguir so descritos os critrios que compe cada uma das abordagens.


Critrios Pedaggicos:
1. Epistemologia: diz respeito a natureza do conhecimento

Epistemologia
Objetivista Construtivista

Epistemologia Objetivista: estabelece as seguintes facetas:
Conhecimento existe separado do saber
Realidade existe independente da existncia da experincia
O conhecimento adquirido de forma objetiva atravs dos sentidos
A aprendizagem consiste em adquirir verdades
O aprendizado pode ser medido precisamente com testes

Epistemologia construtivista: estabelece as seguintes facetas:
O conhecimento no tem sentido sem a participao do homem
Embora a realidade exista independentemente, o que conhecemos dela, individualmente
constudo.
O conhecimento construdo subjetivamente baseado em experincias anteriores e em um
processo metacognitivo ou reflexo
O aprendizado consiste na aquisio de estratgias que atenda a um objetivo
O aprendizado pode ser estimado atravs de observaes e dilogos.

2. Filosofia Pedaggica
filosofia pedaggica
Instrutivista Construtivista

Instrutivista:
Infatiza a importncia de metas e objetivos independentes do aluno
Baseada na teoria comportamentalista
O aluno visto como um agente passivo, como um recipiente vazio que ser preenchido de
conhecimento.

Construtivista:
Enfatiza a primazia da inteno, experincia e estratgias metacognitivas do aluno
O conhecimento construdo individualmente pelo aluno
Garantir um ambiente de aprendizado o mais rico possvel
Diferente da instrutivista , o aluno visto como um indivduo repleto de conhecimento pr existente,
atitudes e motivaes.

3. Psicologia Subjacente
Psicologia subjacente
Comportamental Cognitiva
Comportamental:
Os fatores do aprendizado no so estados internos que podem ou no existir, mas
comportamentos que podem ser diretamente observados
A instruo consiste na modelagem do comportamento desejvel obtido atravs de estmulo-
respostas.

Cognitiva:
D nfase nos estados mentais internos ao invs do comportamento psicolgico
Reconhece que uma ampla variedade de estratgias de aprendizagem deve ser empregada
considerando o tipo de conhecimento a ser construdo.

4. Objetividade

Precisamente focalizado no focalizado

Precisamente Focalizado: forma empregada em tutores e treinamentos
No- focalizados: forma empregada nos micro-mundos, simulaes virtuais e ambientes de
aprendizado.
5.Sequnciamento Instrucional

Reducionista Construtivista

Reducionista: o aprendizado sobre determinado contedo requer que todos os seus componentes
sejam previamente entendidos.
Construtivista: o aluno colocado em um contexto realstico, o qual ir requerer solues de
problemas, o apoio introduzido de acordo com a necessidade individual do aluno.

6. Validade Experimental

Abstrato Concreto

Abstrato: utiliza situaes que no pertencem ao mundo real do aluno.
Concreto: se preocupa em sempre contextualizar o contedo apresentando situaes da realidade.

7. O papel do instrutor

Provedor de Materiais Agente facilitador
Professor provedor de materiais : o programa instrutor considerado o dono do conhecimento.
Agente Facilitador: o programa instrutor visto como uma fonte de orientao e consulta.

8. Valorizao do Erro

Aprendizado sem erro Aprendizado com a experincia

Aprendizado sem erro: as instrues so organizadas de maneira que o aluno induzido a responder
corretamente.
Aprendendo com a experincia: apoia-se na mxima a experincia o melhor professor. Prov
oportunidades para que o aluno aprenda com seus prprios erros.

9. Motivao

Extrnseca Intrnseca

Extrnseca: a motivao vem de fora do ambiente de aprendizado
Intrnseca: integrada ao ambiente de aprendizado.




10. Estruturao

Alta Baixa
Alta: os caminhos so previamente determinados
Baixa: uma srie de opes oferecida de modo que o aluno possa escolher a ordem que desejar.
11. Acomodao de diferena individuais

No Existentes Multi-facetadas

No existentes:considera os indivduos iguais(homogneos)
Multi-facetada: leva em considerao a diferena entre os indivduos.


Controle do Aluno



No existente Irrestrito

No Existente: todo o controle pertence ao programa
Irrestrito : o aluno decide que sees estudar, que caminhos seguir, que material utilizar.
Obs. Ainda uma questo em aberto at que ponto o controle irrestrito benfico. Embora essa
classificao esteja na posio direita.


Atividade do Usurio


Matemagnico Generativo

Matemagnico: ambientes de aprendizagem nos quais pretende-se capacitar o aluno a acessar vrias
representaes do contedo.
Generativo: ambientes de aprendizagem que engajam o aluno no processo de criao, elaborao ou
representao do contedo.

Aprendizado Cooperativo


No suportado Integral
No suportado: no permite o trabalho cooperativo entre alunos (em pares ou grupos).
Integral: permite o trabalho cooperativo de modo que os objetivos sejam compartilhados beneficiando
o aluno tanto instrucionalmente quanto socialmente.
A seguir sero apontados dez critrios que avaliam a interface com o usurio, que de acordo com
Reeves (1994)no so suficientes para fazer uma anlise completa de um software educacional, mas
auxiliam a avaliar os aspectos artsticos e tcnicos que no so citados nos critrios de abordagem
pedaggica.
1. Facilidade de Utilizao

difcil fcil
2. Navegao

difcil fcil

3. Carga Cognitiva

difcil fcil

4. Mapeamento (se refere a habilidade do programa em rastrear os caminhos percorridos pelo aluno)

nenhum Poderoso

5.Design de Tela

Princpios violados Princpios respeitados

6.Compatibilidade Espacial do Conhecimento

Incompatvel compatvel
7. Apresentao da informao

confusa clara
8. Integrao das Mdias

no coordenada coordenada
9. Esttica

Desagradvel Agradvel
10. Funcionalidade Geral

No funcional Altamente Funcional





AS NORMAS ISSO PARA AVALIAO DA QUALIDADE DE PRODUTOS DE
SOFTWARE

A norma ISO/IEC 12119 trata de pacotes de software na forma como so oferecidos e
liberados para uso. Nesta seo vamos verificar como a norma ISO considera a avaliao, o
julgamento e a certificao.
A avaliao o processo tcnico de mediao de qualidade. Julgamento a emisso de um
juzo sobre a qualidade e a Certificao a emisso de uma declarao a respeito da qualidade, sendo
portanto, uma atividade essencialmente administrativa.
A avaliao do Processo de desenvolvimento de Software consiste no exame dos
procedimentos operacionais e gerenciais, mtodos e tcnicas utilizados nas fases de desenvolvimento
de um produto de software, com o objetivo de identificar prticas que possam provocar problemas na
qualidade do produto e de estabelecer novas prticas que evitem estes problemas. Procura-se avaliar
como est sendo desenvolvido o software atravs de: verificao de gerenciamento de configurao e
controle de verses (manutenibilidade); uma adequada organizao de testes e procedimentos para
controle de mudanas (confiabilidade); e testes internos bem elaborados que possam auxiliar no
processo de reviso.
A avaliao do Produto de software no exame de um produto final resultante de um Processo
de desenvolvimento de software, ou de produtos resultantes de atividades de fases intermedirias
desse processo. Deve-se avaliar a qualidade do produto liberado por diversas razes: identificar e
entender as razes tcnicas para as deficincias e limitaes do produto, que podem manifestar-se
atravs de problemas operacionais ou problemas de manuteno. Comparar um produto com outro,
mesmo que indiretamente e formular um plano de ao de como fazer o produto de software evoluir.
A avaliao do Processo d uma expectativa de gerao de produtos melhores mas, no
garante a qualidade do produto final. Neste sentido, os dois tipos de avaliao so necessrios e
complementares. Ambas as avaliaes tem como objetivo final melhorar a qualidade do produto em
uso. Qualidade em uso o grau em que o produto pode ser usado por usurios especficos para
alcanar objetivos especificados com eficcia e satisfao num contexto especfico de uso (ISO/IEC
14598-1).
Os aspectos tcnicos para a avaliao da qualidade do produto so abordados em trs normas:
ISO/IEC 9126: Caractersticas de Qualidade de Software
ISO/IEC 14598: Guias para Avaliao do Produto de Software
ISO/IEC 12119: Requisitos de Qualidade e Testes de Pacotes de Software.

VALOR E VIABILIDADE NO SOFTWARE EDUCACIONAL

Neste sentido, o EDUCOM (uma associao americana com inmeros: colgios, escolas,
universidades e outros tipos de organizao associadas) vem desenvolvendo pesquisa a fim de
identificar quais famlias de software que possuem valor e so viveis.
A definio de termos faz aqui importante, pois, valor significa a utilizabilidade educacional
demonstrada basicamente por preos e resultados de avaliaes. O software vivel quando utilizado
bastante e por um perodo longo de tempo no qual os desenvolvedores, distribuidores e usurios
possam sentir -se satisfeitos com o retorno de seus investimentos individuais. O EDUCOM criou, ento,
um projeto Valuable Viable Software Project cujos integrantes so acadmicos, editores de
software e vendedores de hardware.
Apresentam uma taxonomia do software vivel e com valor que reproduzimos abaixo
Produtos de software criado para uso instrucional;
Produtos worldware( isto , produtos de software criados sem um propsito educacional e que
mais tarde, so redesenhados, em parte, para uso educacional, com contedo).

UMA EXPERINCIA E SEUS RESULTADOS
Em 1992, 1993 e 1994 foi realizada uma pesquisa de campo cuja amostra constou de 67
professores de diferentes disciplinas, em exerccios, seja na rede estadual ou em colgios particulares
do Estado do Rio de Janeiro(Tese de Doutorado de Gilda H.B. CamposCOOPE/UFRJ-1994). O
percentual da rea de atuao destes professores foi distribuidos nos dois anos da pesquisa em 50% de
professores da cidade do RJ e de Niteri e, 50% de diferentes municpios do estado do RJ. A razo da
distribuio desta amostragem deveu-se a realizao do I e II Curso de Informtica na Educao para
graduados promovido pela Universidade Federal do Rio de Janeiro, UFJR, atravs da Coordenao
de Informtica no Desenvolvimento e Avaliao de Software Educacional onde foi aplicado um
instrumento com o intuito de validar os critrios avaliativos a partir da opinio dos professores. Neste
instrumento foi pedido aos professores que assinalassem o grau de relevncia de cada critrio que
havia sido selecionado na literatura e em contato com especialistas. Ao analisar as respostas, verificou-
se logo que os professores compuseram trs grandes classes compostas da seguinte forma:



Classe 1 Classe2 Classe3

A primeira classe, indicada pelo grupamento das respostas dos professores parece sugerir
recomendaes par ao desenvolvedor quanto aos requisitos de interface. Sob a anlise efetuada das
respostas dos professores durante esta pesquisa , verificou-se que este trabalho deveria estar ligado
aos desenvolvedores de software j que no parece pertinente que o professor deva dominar a
tcnica de programao ou mesmo a estrutura lgica. A segunda classe evidencia recomendaes
quanto transparncia da apresentao do programa ao aluno. Poderia-se chamar esta classe de
preocupaes didticas pois ela revela o lado pedaggico que um produto de software deve
possuir. A terceira classe sugere facilidades para a interao do professor- software na prtica
pedaggica, pois demonstra a pertinncia da interatividade em uma possvel construo de
conhecimento atravs das atividades propostas pelo ambiente.
A utilizabilidade o objetivo mais importante para os professores, significando que o
especialista em informtica deve estar presente no desenvolvimento do software educacional. Uma
equipe multidisciplinar deve ser formada para o trabalho de desenvolvimento. Para seleo de um
produto de software ningum mais representativo que o professor que domine o seu contedo, as
estratgias pedaggicas e que esteja atualizado com as novas necessidades educacionais. Gostaria de
acrescentar a importncia de se ouvir o aluno em relao importncia dos critrios para a avaliao
da qualidade de software em sua f ase de desenvolvimento. Os alunos sabem apontar quais os
mecanismos que despertam sua motivao.
Agora pode-se pensar em critrios de avaliao da qualidade de um software educacional. Na
verdade, so critrios para a avaliao da qualidade de um software que pode ser utilizado como
educacional tambm. E isto importante, pois, estamos tratando aqui de produtos de software
disponveis no mercado. Quando professores vo adquirir um software ou vo adquirir um software
Interao do Software com o
professor


Apresentao
do programa
Requistos de Interface
ou vo trabalhar em uma equipe de desenvolvimento, o que devem olhar? O que devem analisar e
previlegiar? Abaixo esto listados alguns aspectos que devem ser considerados.
Possibilidade de correo de contedo (alterabilidade)
Facilidade de leitura da tela (amenidade ao uso)
Clareza dos comandos(amenidade de uso)
Independncia da linguagem (independncia do ambiente)
Adaptabilidade ao nvel do usurio (Eficincia do processamento)
Adequao do programa ao nvel do usurio (Validabilidade)
Facilidade de leitura do programa (Clareza)
Ausncia de erros no processamento do programa (Correo)
Adequao do programa s necessidades curriculares (Rentabilidade)
Independncia de hardware (Independncia do ambiente)
Existncia de recursos motivacionais (Amenidade de uso)
Previso de atualizaes (Validabilidade)
Ausncia de erros de contedos (Validabilidade)
Possibilidade de incluso de novos elementos (Alterabilidade)
Resistncia do programa a respostas inadequadas (Robustez)
Adequao do vocabulrio (Amenidade ao uso)
Fornecimento de feedback (Amenidade ao uso)
Apresentaes dos escores aos alunos (Validabilidade)
Uso do tempo do equipamento (Rentabilidade)
Integrao do programa com outros recursos (Rentabilidade)
Capacidade de armazenamento das respostas (Eficincia do processamento)
Existncia de tratamento de erro (Amenidade ao uso)
Controle da sequenciao do programa (Amenidade ao uso)
Diagramao das telas (Amenidade ao uso)
Tempo de resposta (Eficincia do processamento)
Existncia de ramificaes para enfoques alternativos (Amenidade ao uso)
Existncia de mensagem de erro (Amenidade ao uso)
Acesso a helps (Amenidade ao uso)
Existncia de manual do usurio (Amenidade ao uso)
Uso de ilustraes (Amenidade ao uso)
Uso de cor (Amenidade ao uso)
Tempo de exposio de telas (Amenidade ao uso)
Uso de animao (Amenidade ao uso)
Existncia de gerao randmica de atividades (Amenidade de uso)
Uso de recursos sonoros (Amenidade de uso).

No entanto, com o intuito de estabelecer preciso e fornecer garantia de seriedade nos resultados
da avaliao apresentamos, a seguir, um mtodo que torna vivel a estruturao dos critrios
avaliativos.
AVALIAO DA QUALIDADE DE SOFTWARE EDUCACIONAL
Neste trabalho procurou-se fornecer critrios de caracter genrico que so importantes para
qualquer especificidades de cada modalidade de software educacional, onde forma identificadas
caractersticas e critrios para Exerccios e Prtica , Tutorial, Simulao e Modelagem, Jogos,
Hipertextos e Tutores Inteligentes.
Sei que o assunto no foi esgotado e que uma metodologia possui sempre um carater
prescritivo. No entanto, acredito que a orientao para a realizao da avaliao sempre positiva.

CONSIDERAES

O software educacional alm de estar posicionando-se no mercado, vem despertando interesse
crescente na comunidade acadmico cientfica quanto sua avaliao.
Por ser um processo complexo, a avaliao de software, tanto em seu desenvolvimento como
na seleo de produto, envolve inmeras questes a respeito do processo de ensino- aprendizagem
como problemas concretos e operacionais relativos Engenharia de Software.
A fim de identificar quais so os objetivos e fatores que determinam a qualidade do produto de
software educacional, e para auxiliar na avaliao dos mesmos que foi desenvolvido este projeto
procurando sempre dar um enfoque mais atualizado aos mtodos de avaliao.
MTODO PARA A AVALIAO DA QUALIDADE
O mtodo para avaliao da qualidade baseia-se nos seguintes conceitos.
Objetivos de qualidade: determinam as propriedades gerais que o produto deve possuir.
Fatores de qualidade do produto: determinam a qualidade do ponto de vista dos diferentes usurios
do produto.
Critrios: definem atributos primitivos possveis de serem avaliados.
Processo de Avaliao: determinam os processos e os instrumentos a serem utilizados de forma a
medir o grau de presena, no produto, de um determinado critrio.
Medidas: indicam o grau de presena, no produto, de um determinado critrio.
Medidas agregada: Indicam o grau de presena de um determinado fator e so resultantes da
agregao das medidas obtidas da avaliao segundo os critrios.

Os objetivos de qualidade so atingidos atravs dos fatores de qualidade, que podem ser
compostos por outros fatores, que por sua vez, so avaliados atravs de critrios. Os critrios definem
atributos de qualidade para os fatores. Medidas so os valores resultantes da avaliao de um produto
segundo um critrio especfico.
A partir do mtodo descrito e considerando-se que o software desenvolvido para atender as
necessidades de seus usurios, determinados objetivos devem ser atingidos:
Confiabilidade Conceitual dado que o produto precisa satisfazer s necessidades e requisitos
que motivaram sua costruo.
Confiabilidade de representao, que refere-se s caractersticas de representao do produto
que afetam sua comprenso e manipulao, e
Utilizabilidade, que determina a convenincia e viabilidade de utilizao do produto ao longo de
sua vida til. Para que um produto seja utilizvel so necessrias a confiabilidade conceitual e a
confiabilidade de representao.






























REFERENCIAS BIBLIOGRAFICA

Campos,Gilda Helena Bernadino de. Contrucao e Validacao de Ficha de avaliacao
de produtos educacionais para microcomputadores. Dissertacao de Mestrado
apresentada a faculdade de Educacao. UFRJ,1989.

Campos, Gilda Helena Bernadino de & Rocha, Ana Regina C. da. Manual para
avaliacao da qualidade de software educacional. Relatrio tcnico do programa de
Engenharia de Sistemas e Computacao. COPPE/UFHJ. 1990

Mendelsohn.P. Les environements intelligents. TCFA document, 9-17.Gnve.
1990

Campos, Gilda H. Bernadino de & Rocha, Ana Regina C.da . Critrios de
avaliacao e modalidade do uso do computador como tutor. Congresso Latino
americano de tecnologia . Caracas Anais . 1991.

Campos, Gilda H. Bernadina de; Campos, Fernandan C.A & Rocha, Ana Regina
C.da. Avaliacao da qualidade de software educacional. Congresso Qualidade Total
em Educacao. Universidade Gama Filho. 1993. Anais.


Campos, Gilda H.Bernadino de.Vers une mthodologie d`valuation des logiciels
ducatifs.
Fascicule de Didactique des Mathmatiques. Institut de Recherche Mathmatique
de Rennes. 1992.

Cardoso, Rogrio H. B. Nesi Pereira.Predicao, Estimada e Medicao da
confiaabilidade durante o ciclo de vida do software. Ddissertacao de Mestrado
apresenta a COPPE, programa de Engenharia de Sistemas e Computacao
UFRJ,1990.

Davis,Carol J; Thompson Barrie & Smith, Peter. Industrial acceptance of Software
Qualifiy Assurance Standards. IEEE, 1993.

Basili, Victor R.& Rombach ,Dieter H. Implementing quantitave SQA: A practical
model. IEEE Software, september. 1987.

Baranson, Jack & Roark. Robin. Trends in north-south tranfer of high
techonology.In, Natan Rosenberg & Claudio Fristack (Eds.) International
Technology transfer: Concepts,Measures and Comparisons. London, 1985.

Gras,Rgis. L nalyse des donnes: une mthodologie de traitement de questions de
didactique. Recherches en didactique des mathmatiques,1992.12. (1).59-72.

Gras, Rgis & Larher . Annie. L`implication statistique, une nouvelle mthode
d`analyse de donns. Mathmatique, Informatique et Science humaine.1993,
31(120).5-31.

Ilabaca,Jaime S. Informtica Educativa. Editorial Universitrio. Santiago de
Chile.1993.

Reeves, Thomas. Systematic Evaluation Procedures for Interactive Multimedia for
Education and Training. Multimedia computing: preparing for the 21 st century.
Harrisburg, PA. Idea Group. 1994.

Kahn,Brian. Os computadores no ensino da cincia. Publicacoes Dom Quixote.
Lisboa.1991.


Kahn,Brian. Os computadores no ensino da cincia. Publicacoes Dom Quixote.
Lisboa.1991.

Ogborn,john; Teodoro . V.& Freitas, J. Modelacao com o computador:
possibilidades e perspectivas. Desenvolvimento de sistemas educativos. GEP.1992.

Oliveira, Joo Batista Arajo & Chadwick, Clifton B. Tecnologia Educacional.
Teorias da instrucao. Petrpolis, Vozes, 1984.

Panqueva A .H.G. Reflexion acerca del uso education primaria y
secundaria.Informatica Educativa. Colombia (4),1.1991.

Pelgrum, Willem J.& Plomp, Tjeerd. The worwide use of computers: a description
of main trends. Computers in education, vol.20 (4),323-332. Great - Britain.1993.

Pressman, Roger S. software Engineering. A practitioner`s Approach. Nem York:
Macgraw-Hill, Nem York, 1992.

Rocha, A .R. C. da Campos, Gilda H. Bernadino de. Avaliacao da qualidade de
software educacional. Em Aberto. Braslia. ano 12, (57), jan|mar. 1993.

Shepperd. M. products ,process and metrics. Information sand software
Technology, vol.34 (10). Out. 1992.

Stahl, Marimar M. Avaliaco da qualidade de software educacional. Relatrio
tcnico do programa Engenharia de Sistemas e Computaco.COPPE/UFRJ,1988.