Universidade Federal de Pernambuco UFPE

Centro de Informtica CIn

Ps-Graduao em Cincia da Computao








REQUISITOS PARA FERRAMENTAS DE AVALIAO EM AMBIENTES
VIRTUAIS DE ENSINO












JORGE LUIS CAVALCANTI RAMOS

RECIFE
2006


1


Universidade Federal de Pernambuco
Centro de Informtica
Ps-Graduao em Cincia da Computao



JORGE LUIS CAVALCANTI RAMOS



REQUISITOS PARA FERRAMENTAS DE AVALIAO EM AMBIENTES
VIRTUAIS DE ENSINO




Dissertao apresentada ao Programa de
Ps-Graduao em Cincia da
Computao do Centro de Informtica da
Universidade Federal de Pernambuco,
como requisito parcial para obteno do
grau de Mestre em Cincia da
Computao sob orientao do Prof. Dr
Alex Sandro Gomes.


RECIFE
2006


2




































Ramos, Jorge Luis Cavalcanti
Requisitos para ferramentas de avaliao em
ambientes virtuais de ensino / Jorge Luis Cavalcanti
Ramos. Recife : O Autor, 2006.
123 folhas : il., fig., quadros.

Dissertao (mestrado) Universidade Federal de
Pernambuco. CIn. Mestrado em Cincia da
Computao, 2006.

Inclui bibliografia e apndice.

1. Cincia da Computao Engenharia de Software.
2. Educao - Ensino Distncia- Ambientes Virtuais. 3.
Avaliao On-line Definio de requisitos para
ferramentas. 4. Prottipos de ferramentas Tipos de
avaliao on-line. I. Ttulo.

004. 414.38 CDU (2.ed.) UFPE
005.12 CDD (22.ed.) BC2006-377



3






















Para Silvana, Marcela e Sofia, a minha famlia,
o meu porto seguro.
Para D. Mal e D. Lourdinha, que se foram e
nos deixaram heranas de carter, sabedoria e
bondade.


4



































Demorei uma vida inteira para
aprender a desenhar como as crianas.
Pablo Picasso


5
AGRADECIMENTOS

Muitas foram as dificuldades e os obstculos. Muitos os momentos de angstia e de
ansiedade. Mas um sonho e uma meta foram sempre maiores que qualquer coisa. No
alimento desse sonho e na busca dessa meta que encontramos a luz para superarmos as
barreiras. E agora, como reconhecimento e profundo sentimento de gratido:

A Deus, criador supremo e maior amigo, que me guia e ilumina os caminhos que percorro.
Ao Professor Alex Sandro Gomes, pelo inestimvel apoio, pelo grande incentivo e acima de
tudo, pela amizade construda ao longo desses dois anos de curso.
Ao Colega Joclio Passos, por compartilhar todos os momentos desse curso, pela amizade e
companheirismo.
Ao Professor Francisco de Assis Tenrio de Carvalho, pela ateno dispensada que permitiu
a chegada nesse ponto.
Secretaria da Ps-Graduao do Centro de Informtica, pelo apoio e atendimento s
minhas demandas.
Aos colegas do Projeto AMADEUS, pelo intercmbio de experincias e pelas sugestes ao
presente trabalho.
A FACAPE, por proporcionar um ambiente de trabalho e pesquisa adequado e disponibilizar
sua infra-estrutura para o bom desenvolvimento desse projeto.
A todos aqueles que contriburam, de qualquer maneira, para a conquista dessa meta e
realizao desse sonho.



6
SUMRIO

1 Introduo ............................................................................................................................ 14
1.1 Definio do Problema ................................................................................................ 16
1.2 Organizao da dissertao ........................................................................................ 17
2 Avaliao em EaD............................................................................................................... 18
2.1 Estado da Arte de Avaliao em EaD ....................................................................... 22
2.2 Suporte a Avaliao em Ambientes de Ensino Distncia ................................... 26
2.2.1 Suporte Avaliao Baseada em Testes Objetivos .................................................. 27
2.2.2 Suporte Avaliao Contnua................................................................................ 28
3 O Ambiente de Ensino a Distncia AMADEUS ......................................................... 32
3.1 Acessando o ambiente ................................................................................................ 33
3.1.1 Logando como Aluno ............................................................................................... 35
3.1.2 Logando como Professor .......................................................................................... 36
4 Processo de design iterativo do modelo de avaliao do AMADEUS ......................... 39
4.1 Objetivo Geral do Processo de Design ..................................................................... 40
4.2 Objetivos Especficos ................................................................................................... 41
4.3 Engenharia de Requisitos para Prototipao do Modelo ...................................... 41
4.4 Anlise de competidores ............................................................................................ 43
4.4.1 AulaNet ................................................................................................................... 44
4.4.2 Blackboard ............................................................................................................... 53
4.4.3 WebCT ..................................................................................................................... 56
4.4.5 TelEduc .................................................................................................................... 60
4.5 Entrevistas com usurios ............................................................................................ 66
4.6 Cenrios de uso ............................................................................................................ 68
4.7 Prototipao .................................................................................................................. 70
5 Resultados ............................................................................................................................ 73
5.1 Anlise de competidores ............................................................................................ 73
5.1.1 Comparativo entre os mtodos de avaliao nos ambientes ......................... 73
5.2 Cenrios ........................................................................................................................ 78
CENRIO 1 Planejamento de uma avaliao on-line em um curso no
AMADEUS. .................................................................................................................... 80
CENRIO 2 Criao, notificao e resoluo de uma avaliao usando banco
de questes objetivas. .................................................................................................... 82
CENRIO 3 Correo automtica de uma prova objetiva. .................................. 83
CENRIO 4 Criao, notificao e resoluo de avaliao com questes
discursivas (abertas). ..................................................................................................... 84
CENRIO 5 Correo de uma prova com questes abertas e notificao do
aluno. ............................................................................................................................... 86
CENRIO 6 Criao e participao de uma avaliao a partir de uma das
ferramentas de comunicao do ambiente. ............................................................... 87


7
CENRIO 7 Avaliao de atividade desenvolvida a partir de ferramenta de
comunicao. .................................................................................................................. 88
5.3 Requisitos de ambientes de avaliao on-line ......................................................... 89
5.3.1 Requisitos gerados pela anlise de competidores ........................................... 89
5.3.2 Requisitos gerados pelos questionrios aplicados ........................................... 91
5.3.3 Requisitos gerados pelos cenrios ...................................................................... 92
5.4 Prototipagem orientada a padres de e-learning ................................................... 98
5.4.1 Mecanismos do Sistema de Correo e Clculo de Notas ............................ 103
6 Concluses ......................................................................................................................... 115
6.1 Trabalhos Futuros ...................................................................................................... 116
7 Referncias Bibliogrficas ................................................................................................... 118
Apndice A Questionrio para professores usurios .................................................. 122



8
LISTA DE FIGURAS

Figura 1 - Ferramentas de comunicao do ambiente AulaNet (AULANET, 2005). ... 28
Figura 2 - Relatrio de avaliao de participao do ambiente AulaNet. ..................... 29
Figura 3 Relatrio de avaliaes disponveis em um curso no ambiente TelEduc. .. 30
Figura 4 Listagem de notas por atividade de um curso no TelEduc (TELEDUC,
2005). ................................................................................................................................ 30
Figura 5 Arquitetura do AMADEUS. .............................................................................. 33
Figura 6 - Tela inicial do AMADEUS.................................................................................. 34
Figura 7 - Tela aps logon como aluno. ............................................................................... 35
Figura 8 - Tela de detalhamento da turma do aluno ........................................................ 36
Figura 9 - Tela aps logon como professor. ....................................................................... 36
Figura 10 - Tela de detalhamento de curso do professor. ................................................ 37
Figura 11 - Tela de detalhamento da turma do professor. .............................................. 38
Figura 12 Classificao das tcnicas de anlise de requisitos (FERRE, 2003). ........... 40
Figura 13 - Os componentes de uma Anlise de Concorrncia (PORTER 2005). ......... 43
Figura 14 - Tela de abertura do AulaNet. .......................................................................... 46
Figura 15 Barra de criao e mecanismos de comunicao no AulaNet. ................... 47
Figura 16 Gerenciamento de avaliaes. ......................................................................... 48
Figura 17 - Lista de questes de prova. .............................................................................. 49
Figura 18 Incluso de questes. ........................................................................................ 50
Figura 19 Intervalo de conceitos. ....................................................................................... 50
Figura 20 Seleo de Relatrio. ......................................................................................... 51
Figura 21 - Relatrio de participao. ................................................................................. 52
Figura 22 - Relatrio de participao em eventos. ............................................................ 52
Figura 23 - Tela de abertura do Blackboard My Blackboard. ......................................... 54
Figura 24 - Painel de controle do Blackboard na viso do instrutor. ............................... 54
Figura 25- Criar nova avaliao. .......................................................................................... 55


9
Figura 26- Recurso de avaliao no Blackboard Gradebook. .......................................... 55
Figura 27 Tela de abertura do WebCT myWebCT. ...................................................... 57
Figura 28 - Ferramenta para criar e gerenciar avaliaes no WebCT. ........................... 58
Figura 29 - Ferramenta para calcular notas. ...................................................................... 59
Figura 30 - Ferramenta para gerenciar notas. .................................................................... 59
Figura 31 - Relatrio das aes realizadas pelo aluno no WebCT. ................................. 60
Figura 32 - Tela de abertura de um curso no TelEduc. .................................................... 61
Figura 33- Cadastro de avaliao - Frum. ........................................................................ 62
Figura 34 Lista de Avaliaes de um curso. ................................................................... 63
Figura 35 Portiflio no TelEduc. ....................................................................................... 64
Figura 36 Ferramenta acessos. ........................................................................................... 64
Figura 37 Relatrio de acessos no TelEduc. ..................................................................... 65
Figura 38 Grafo gerado pelo Intermap no TelEduc. ....................................................... 66
Figura 39. Tela inicial do sistema AMADEUS. .................................................................. 98
Figura 40. Lista de cursos do professor. ............................................................................. 99
Figura 41. Acessando um curso. Em destaque a opo de avaliao. ........................... 99
Figura 42. Mdulo de Planejamento de Avaliaes. ...................................................... 100
Figura 43. Mdulo de Criao e Edio de Avaliaes. ................................................. 101
Figura 44. Mdulo de Correo e Resultados das Avaliaes. ..................................... 102
Figura 45. Banco de Questes. ........................................................................................... 103
Figura 46. Relatrio de desempenho individual. ............................................................ 114



10
LISTA DE QUADROS


Quadro 1- Distribuio dos instrumentos de coleta por ambientes virtuais. ............... 67
Quadro 2 Principais recursos para avaliao nos ambientes analisados. ................... 76
Quadro 3 Pontos fortes nos ambientes analisados. ........................................................ 76
Quadro 4 Pontos fracos nos ambientes analisados. ....................................................... 77
Quadro 5 Exemplo de distribuio de questes e pesos em uma prova objetiva. ... 105
Quadro 6 Resultados do Aluno X na avaliao objetiva. ............................................ 105
Quadro 7 Resultados do Aluno Y na avaliao objetiva. ............................................ 106
Quadro 8 Exemplo de distribuio de questes e pesos em uma prova discursiva.
........................................................................................................................................ 108
Quadro 9 Resultados do Aluno X na avaliao discursiva. ....................................... 109
Quadro 10 Resultados do Aluno Y na avaliao discursiva. ..................................... 109
Quadro 11 Exemplo de distribuio de questes e pesos em um frum de
discusso. ...................................................................................................................... 111
Quadro 12 Resultados do Aluno X no frum. .............................................................. 112
Quadro 13 Resultados do Aluno Y no frum. .............................................................. 112








11
LISTA DE ABREVIATURAS E ACRNIMOS


AMADEUS Agentes Micromundo e Anlise do Desenvolvimento no Uso de Instrumentos
AVE - Ambientes Virtual de Ensino
CAD - Computer Aided Design Projeto Auxiliado por Computador
CASE - Computer Aided Software Engineering Engenharia de Software Assistida por Computador
CCTE - Cincias Cognitivas e Tecnologia Educacional
CIn-UFPE - Centro de Informtica da Universidade Federal de Pernambuco
EaD Ensino a Distncia
IP - Internet Protocol Protocolo de Internet
HCI - Human Computer Interaction Interao Humano Computador
HTML Hypertext Markup Language Linguagem de Marcao de Hipertexto
NIED - Ncleo de Informtica Aplicada Educao
RAD - Rapid Application Development Desenvolvimento Rpido de Aplicaes
UNICAMP - Universidade Estadual de Campinas
WWW World Wide Web Servio da Internet para apresentao de contedo e navegao a
partir de hipertextos e imagens.




12

RESUMO

Muito se discute sobre as formas de avaliao da aprendizagem em contextos de Ensino
Distncia. Os principais resultados mostram que apenas avaliaes planejadas, confiveis,
abrangentes e efetivas aumentam a eficcia das mesmas para a aprendizagem dos alunos
egressos desse tipo de ensino. Este estudo tem como objetivo modelar parte de um ambiente
virtual de ensino que dar suporte a atividades de avaliao discente para cursos on-line. Esse
ambiente deve permitir realizar avaliaes que contribuam para a formao dos aprendizes. O
projeto de tais ambientes procedeu-se com tcnicas de design iterativo baseado em anlise de
competidores, entrevistas, cenrios e prototipao. A prototipao foi orientada pela
metodologia de cenrios. A elicitao de requisitos ocorreu ainda pela anlise dos principais
produtos competidores e por questionrios aplicados a professores que utilizam a Internet para
ministrar cursos, tendo como importante atividade do processo, a avaliao dos alunos.
Reconhece-se o valor de se analisar os sistemas e trabalhos pioneiros, reutilizando os
requisitos positivos encontrados. A partir da anlise desses sistemas, foram estabelecidos
critrios para as etapas seguintes, assim como entender mais profundamente como funcionam
os ambientes virtuais de ensino. Os prottipos foram gerados a partir de anlises dos
requisitos gerados nas metodologias empregadas, sendo possvel estabelecer modelos que
atendem s mais diversas situaes ou caractersticas das avaliaes. Os resultados mostram
que avaliar o desempenho de alunos em qualquer curso, seja em ambiente presencial ou
virtual, um desafio para qualquer educador, pois envolve muito mais que aspectos
numricos e conceitos, para que a avaliao reflita o real estado da aprendizagem do aluno.

Palavras-chave: Educao Distncia, Ensino Distncia, Ambientes Virtuais de Ensino,
Avaliao On-line, e-learning.



13
ABSTRACT


A lot have been discussed about how can be the learning evaluation in Long-distance
Learning. The main results have shown that only planned, trustworthy, comprehensible and
effective evaluations can increase their effectiveness for the learning of the students found in
this kind of teaching method. This project target is to model part of an environment of virtual
teaching which will support the student activity evaluation in on-line courses. This
environment must allow making evaluations that contribute to the students education. The
project of these environments proceeded with interactive design techniques based in analysis
of competitors, interviews, scenarios and prototyping. The prototyping was guided by the
scenarios methodology. The discovery and listing of requirements still occurred by the
analysis of the main competitor products and by questionnaires applied to teachers who use
the Internet in the courses, having as the important activity of the process, the students
evaluation. Is recognized the value of analyzing systems and the pioneer work, reusing the
found positive requirements. From the analysis of these systems, the rules were established
for the following stages, as deeply understand how the environments of virtual teaching work.
The prototypes were generated from the analysis of requirements of the used methodologies,
being possible that establish models that suit to different situations or characteristics of the
evaluation. The results show us that evaluate students performance in any course, either in
present or virtual environment is a challenge to any teacher, as involve much more than
numerical aspects and concepts, so that the evaluation reflects the real state of student
learning.




14
1 Introduo


O uso das redes de computadores, em especial a rede Internet, vem
proporcionando meios de comunicao e espaos de interatividade prticos e eficientes para a
difuso de informao.
A Internet vem permitindo a criao de ambientes virtuais de ensino e
aprendizado, simulando, com eficincia e qualidade, todo o processo educacional em sua
forma presencial. Mais importante, permite uma reduo de custos cada vez maior de suas
tecnologias e de instalao, para que populaes desprovidas socialmente, ou em regimes de
trabalhos inadequados (distantes ou em horrios distintos aos ambientes escolares presenciais)
realizem seus estudos, seja de natureza formal ou para aperfeioamento profissional.
Devido a esse rpido e geomtrico crescimento da rede Internet, o ensino
distncia, mediado por computador, vem ganhando grande espao. Com o crescimento de tal
forma de educao, aumenta a polmica em torno de algumas questes: como tem sido a
avaliao nos cursos distncia? Como assegurar que o contedo exposto tenha sido
absorvido pelo aluno? Como garantir a autenticidade de quem realiza uma avaliao
(OTSUKA E ROCHA, 2002)? Assim, intuitiva a deduo da complexidade de se avaliar
participantes de um curso on-line.
Sabe-se que os processos educacionais oferecidos em modalidade distncia
esto ligados s formas de comunicao adotadas no ambiente instrucional (ALVES, 2003).
No se gera conhecimento sem que antes, de forma ativa e colaborativa, possa se promover
uma comunicao bidirecional entre o aprendiz e o tutor. O dilogo certamente um dos
maiores beneficirios do processo de busca sem fim de conhecimento. Esse , com certeza,
um dos maiores legados que a chamada era da informao est permitindo ao processo
educacional distncia: a revoluo das comunicaes e suas conseqentes quebras de
fronteiras nos relacionamentos interpessoais (SHIH et al., 2003).


15
Em muitos Ambientes Virtuais de Ensino (AVE)
1
, a avaliao realizada por
meio de provas presenciais, que so ministradas no final do curso. No entanto, nesse caso, a
avaliao apenas verifica os resultados, no havendo o acompanhamento e a mediao do
processo de aprendizagem dos alunos. Como forma de mediao pedaggica, promove-se o
desenvolvimento e a aprendizagem dos alunos (ALVES, 2003).
A avaliao realizada distncia mais complexa, por no existir o feedback das
interaes face a face, que possibilita uma avaliao informal da aprendizagem do aluno
(OTSUKA E ROCHA, 2002). Existe tambm a questo da autenticao do usurio, ou seja,
como podemos garantir que quem est realizando a avaliao realmente quem diz ser?
Como observar sua participao? Como o professor acompanha o processo da aprendizagem?
apenas o contedo passado que deve ser levado em considerao? Shih et al. (2003) afirma
que a avaliao a mais importante e mais difcil etapa da educao distncia e que as
ferramentas para suportar a avaliao da aprendizagem do estudante devem ser sofisticadas o
bastante para evitar a avaliao ambgua.
As metodologias de avaliao em Ensino a Distncia (EaD) no garantem, por si
ss, a autoria do aluno com relao s respostas. Entretanto, deve-se observar que a questo
da autoria tambm se aplica na situao presencial, na qual nada garante que trabalhos
solicitados sejam de autoria real dos supostos autores (PEROSA E SANTOS, 2003).
Pode-se destacar algumas atitudes de confiana entre o aluno e o professor e/ou
tutor que podero amenizar a complexidade da avaliao: um acompanhamento de natureza
cumulativa com retorno imediato ao aluno. Esse retorno permite a continuidade ou
reconstruo do percurso. Por ser a EaD uma modalidade de ensino que evidencia a auto-
aprendizagem, o olhar do professor poder estar voltado de forma mais direcionada ao ritmo
particular de cada aluno. Nesse aspecto, respeitado o tempo disponvel do aluno, a sua
facilidade ou no em lidar com as diferentes possibilidades de interao. Um outro aspecto a
ser considerado, o envolvimento do aluno com os demais colegas, que poder ser observado
na troca de informaes e idias nos chats (bate-papo), fruns e trabalhos de grupos on-line.
O processo de avaliao, quando realizado distncia em ambientes virtuais,
enfrenta novos problemas, como a necessidade de acesso aos recursos computacionais,
habilidades tcnicas requeridas, falta de riqueza de expresso da comunicao (que

1
Segundo Valente (2003), um AVE um ambiente que propicia a interao, a cooperao, a anlise, a
interpretao, a observao, o teste de hipteses, a elaborao, a construo de relaes que constituem a
construo de novos conhecimentos. O AVE possue outras denominaes: Ambientes Virtuais de Aprendizagem
(AVA), Plataforma Virtual ou Plataforma de E-learning.


16
predominantemente textual), alm dos inmeros problemas tcnicos que podem ocorrer
(OTSUKA E ROCHA, 2002).
Por outro lado, a avaliao distncia, mediada por computador, oferece diversas
vantagens, como a distribuio fcil e barata, a simplicidade e rapidez das atualizaes, a
grande interatividade possibilitada pelos mecanismos de comunicao, a facilidade para
prover feedback, alm do registro das interaes para posterior anlise (Id. Ibid.).
A avaliao deve ser contnua, no-aleatria e participativa. Para uma avaliao
mais correta e precisa, os modelos e instrumentos devem estar claros e transparentes.
A partir de metodologias distintas, mas focalizadas no mesmo objetivo de
estabelecer os mecanismos para implementao de ferramentas de avaliao dentro de um
ambiente de ensino atravs da Internet, foi determinada uma srie bastante significativa de
requisitos, com o propsito de tornar o ambiente de ensino virtual no qual este projeto faz
parte, a altura de outros ambientes largamente usados e citados na literatura da rea de
Ensino/Educao a Distncia.
Dessa forma, o presente trabalho est centrado na questo da avaliao distncia
enquanto forma de promover a aprendizagem. Ele tem como um de seus objetivos principais,
a definio de um modelo computacional que represente diversas formas de avaliao dos
alunos, necessrias ao aprendizado em um ambiente de Ensino a Distncia via Web. Esse
modelo estar descrito nos requisitos que foram elicitados no processo de design interativo
das ferramentas de avaliao, a ser descrito no Captulo quatro deste trabalho.
1.1 Definio do Problema
Projetar recursos que suportem as atividades de avaliao em cursos oferecidos
com o suporte de um ambiente virtual de ensino. Os recursos propostos sero obtidos a partir
de metodologias de anlise, que envolvem o conhecimento das estratgias de avaliao
atualmente em uso, o levantamento das necessidades apontadas pelos profissionais que atuam
na rea e na elicitao dos requisitos para implementao de ferramentas de avaliao, nas
diversas atividades dentro de um curso on-line.
Pretende-se a continuao dos trabalhos aps a implementao do modelo, com
sua conseqente utilizao em um curso distncia. Com isso, espera-se o aperfeioamento
desse modelo e suas respectivas ferramentas, medida de sua utilizao.



17
1.2 Organizao da dissertao
A dissertao est organizada em mais seis captulos. No Captulo dois, alm da
conceituao de Ensino a Distncia e da avaliao em tal modalidade, sero apresentados
outros conceitos importantes sobre aspectos relacionados a estas atividades, destacando
tambm o estado da arte do tema verificado na ampla literatura.
O Captulo trs destaca as diferentes formas de se avaliar alunos em cursos on-
line, apresentando o Ambiente Virtual de Estudos AMADEUS, como destaque e para o qual
sero propostas as ferramentas de avaliao.
No Captulo quatro est fundamentada toda a metodologia para alcanar os
objetivos do estudo. A escolha recaiu sobre o uso de trs tcnicas de elicitao e anlise de
requisitos, todas de vasta utilizao no desenvolvimento de solues de software (FERRE,
2003). Os resultados (requisitos) decorrentes do uso das tcnicas so apresentados no Captulo
cinco. Ainda neste captulo, so mostrados os prottipos de telas que nortearam a
implementao das ferramentas de avaliao no AMADEUS, sendo elaborados com base nos
requisitos levantados na anlise de como esses prottipos atendem s necessidades dos
usurios.
Por fim, o Captulo 6 seis apresenta as concluses e as perspectivas de trabalhos
futuros baseados nos resultados apresentados neste texto.



18
2 Avaliao em EaD


O termo Ensino a Distncia (EaD) representa uma variedade de modelos
educacionais, que possuem em comum, a separao fsica do professor de seus ou de alguns
dos seus alunos. Os cursos baseados em EaD so desenvolvidos em torno de componentes
centrais de processos instrucionais, isto : apresentao do contedo, interao com o corpo
docente, recursos, aplicaes prticas e avaliao. Cada modelo aplica tecnologia usando
variados meios para poder focalizar alguns ou todos esses componentes (Shih et al., 2003).
Os diversos modelos de EaD diferem em vrios aspectos, tais como os tipos de
tecnologias empregadas, o controle da velocidade e o local da instruo. Em alguns modelos,
os docentes e a instituio possuem um controle completo ou parcial sobre esses. Em outros, o
controle recai sobre os alunos, nos quais cada um pode determinar seu ritmo de estudo e de
aprendizagem.
Ainda segundo Shih et al. (2003), os elementos de EaD incluem polticas, pessoas
e tecnologias. As tecnologias usadas no processo podem ser classificadas da seguinte maneira:
- Tecnologias de comunicao que incluem computadores e infra-estrutura de rede
(hardware e software), largura de banda, redes sem fio, multimdia, sistemas
distribudos e sistemas mveis;
- Tecnologias Inteligentes, que incluem tutores inteligentes, redes neurais artificiais,
anlise de ambientes, mecanismos de autenticao e computao visual; e,
- Tecnologias educacionais que incluem novas prticas e novos modelos de
aprendizagem, mtodos de avaliao automtica e sistemas eficientes de autoria.
A avaliao do processo de ensino-aprendizagem, em qualquer modalidade de
ensino, um tema muito delicado, pois possui implicaes pedaggicas que ultrapassam os
aspectos tcnicos e metodolgicos, envolvendo aspectos sociais, ticos e psicolgicos.
importante lembrar, que o indivduo que elabora e/ou implementa um curso distncia, deve
ter clareza de seus pressupostos acerca de como avaliar, pois assim ter melhores condies
para conduzir tal etapa.


19
Sobre os mtodos de avaliao, Willis (apud EASTMOND, 1994) menciona os
mtodos quantitativos e qualitativos.
Quantitativo Pressupe questes que possam ser estatisticamente tabuladas e
analisadas, limitando as respostas s categorias disponveis e necessitam de grande quantidade
de alunos para uma anlise relevante.
Qualitativo mais subjetivo, envolve coletar uma grande variedade de
informaes em profundidade, mais difcil de tabular em categorias, menos afetada por
classes pouco numerosas, mais flexvel e dinmica, no limitada por questes pr-
formuladas e permite que os alunos proponham os tpicos.
Ainda o mesmo autor sugere a avaliao dos seguintes itens:
- Uso da tecnologia familiaridade, problemas, aspectos positivos, atitudes no uso da
tecnologia;
- Formatos das aulas eficcia das exposies do professor, discusses, perguntas e
respostas, qualidade das questes ou problemas levantados aos alunos para se
expressarem;
- Atmosfera das aulas conduo do aprendizado dos alunos;
- Nvel de interatividade - quantidade e qualidade das interaes com outros alunos e
com o instrutor;
- Contedo do curso relevncia, adequao do contedo, organizao;
- Atividades relevncia, grau de dificuldade e tempo requerido, rapidez das respostas,
nvel de legibilidade dos materiais impressos;
- Testes freqncia, relevncia, quantidade de matria, dificuldade, retorno das
avaliaes;
- Estrutura de suporte facilitadores, tecnologia, bibliotecas, disponibilidade dos
instrutores;
- Produo dos alunos adequao, propriedade, rapidez, envolvimento dos alunos;
- Atitudes dos alunos freqncia, trabalhos apresentados, participao nas aulas; e


20
- Instrutor contribuies como lder das discusses, efetividade, organizao,
preparao, entusiasmo, abertura aos pontos de vista dos alunos.
Eastmond (1994) sugere para os cursos de EaD uma avaliao sistmica, em
quatro etapas:
- Escolha da estratgia de avaliao;
- Conduo da avaliao formativa relatrios freqentes de aspectos rotineiros de um
curso em andamento;
- Conduo da avaliao somativa relatos globais com objetivos institucionais; e
- Divulgao dos resultados providncias apontadas para serem tomadas.
Existe uma forte ligao entre os mtodos de instruo e os mtodos de avaliao
em um processo instrucional. Segundo Massetto (2001), o propsito de uma avaliao
auferir a extenso do aprendizado do aluno.
O papel da avaliao como elemento ativo do processo de aprendizado no deve
ser relegado a um plano secundrio, tanto no ensino presencial quanto no ensino distncia.
Bem planejada, ela pode vir a exercer funo de estmulo para o aprendizado. Masseto (Ibid.)
tambm afirma:
... muitas vezes o que acontece a perda de todo o trabalho docente inovador por
no se cuidar coerentemente da avaliao, ou em outras palavras: perde-se todo um
trabalho novo porque a avaliao feita do modo mais tradicional e convencional
que se conhece.
Uma viso empirista da avaliao submete os alunos simples receptores do
conhecimento agentes passivos do processo de aprendizagem, percebe o professor enquanto
detentor e nico repassador de conhecimentos do sistema educacional, fazendo da avaliao
um mecanismo de excluso. Tal situao se d por meio de simples atos de medir
conhecimentos adquiridos, atravs do certo e do errado, associando erro ao estado do no
saber e acerto ao estado de sabedoria, medido pela coincidncia das respostas aos
conhecimentos passados nas aulas (ESTEBAN, 2000).
Nessa perspectiva limitante, a avaliao deixa de ser objeto ativo do aprendizado
tornando-se apenas uma representao do conhecimento armazenado at o momento da prova,
uma avaliao parcial e provisria da realidade (SANTANNA, 2000).


21
Ao contrrio, uma avaliao deveria visar a obteno de informaes e subsdios
para auxiliar o desenvolvimento dos conhecimentos do aluno. Ao obter essas informaes,
possvel adotar procedimentos para correes e melhorias no processo, aperfeioando o
trabalho pedaggico da educao. um sistema de controle de qualidade pelo qual pode ser
determinado, em certa etapa do processo ensino-aprendizagem, a efetividade ou no do
processo e, em caso negativo, que mudanas precisam ser feitas para assegurar sua efetividade
antes que seja tarde (Id. Ibid.).
Uma outra importante definio para a avaliao foi apresentada por Bloom et al.
(1971), quando afirmou que a avaliao a coleta sistemtica de evidncias por meio das
quais se determinam mudanas que ocorrem nos alunos e como elas ocorreram. Inclui uma
grande variedade de evidncias que vo alm do tradicional exame final de lpis e papel.
Um sistema de avaliao deve possuir dois objetivos educativos (MOSTAT E
TELES, 1999). Inicialmente o sistema deve oferecer condies para o acompanhamento da
evoluo da aprendizagem do aluno. No segundo momento, o que freqentemente ocorre, so
utilizados mecanismos de pontuao na avaliao do seu desempenho. Essa pontuao se
destina a analisar e comparar, por meios de dados estatsticos, o nvel de participao e
aprendizagem dos alunos a partir dos resultados finais obtidos.
Para caracterizar a importncia do processo avaliativo nos mtodos de ensino e
aprendizagem, Lck (2003) aborda novas teorias, pesquisas e concepes educacionais que
apresentam a proposta de avaliao como um mecanismo de motivao, seguindo uma nova
abordagem. O objetivo da avaliao estendido, para que o aluno passe a ter desempenho
satisfatrio, que o torne capaz de dominar e incorporar novos valores, habilidades e
conhecimentos. A avaliao deve estimul-lo a ter conscincia de que h alegria no ato de
aprender algo novo. A questo no apenas sobre as notas e passa a ser sobre o aspecto se o
aluno aprendeu ou no. Em caso negativo, como ajud-lo a superar as dificuldades. A
qualquer momento do curso, o resultado das avaliaes passa a ser usado como um subsdio,
um recurso para traar as novas aes do processo como um todo e em um ensino mais focado
no perfil do aluno.
Lck (2003) ressalta ainda que, quanto avaliao no processo, cabe aos
professores coletar dados e informaes, com o objetivo de constatar evidncias do que
realmente est acontecendo com a aprendizagem. Se for diagnosticada qualquer dificuldade,
compete ao professor, acessar todos os mecanismos, mtodos e prticas pedaggicas para que


22
o problema seja sanado. Segundo ela, o objetivo principal da avaliao melhorar a
aprendizagem e, o processo de avaliar (que um meio), s tem razo de ser ao agregar uma
realimentao do processo de aprender (que deve ser o fim desejado).
2.1 Estado da Arte de Avaliao em EaD
Quando se aborda o tema avaliao em EaD, alguns aspectos podem ser logo
expostos, como por exemplo, a repetio de estratgias de ambientes presenciais como provas
escritas, com testes de mltipla escolha, questes de resposta aberta, trabalhos finais e outras
formas mais comuns. Pode existir, tambm, o problema com verificao de autenticidade de
quem realiza a prova. Alm disso, as dificuldades em avaliar podem ser agravadas, algumas
vezes, pela heterogeneidade dos alunos e, alm disso, pela falta do conhecimento entre os
alunos e o professor e de uma interao face-a-face entre todos os que participam do processo
de ensino-aprendizagem.
Um dos grandes desafios para a afirmao do EaD como alternativa para difuso
do conhecimento, a questo da avaliao nesses ambientes. Tal aspecto, talvez seja o ponto
de maior debate dentro do escopo de teorias e prticas que compem o estudo das cincias
pedaggicas. A avaliao s ser eficiente e eficaz se ocorrer de forma interativa entre
professor e aluno, ambos caminhando na mesma direo, em busca do mesmo objetivo
(SANTANNA, 2000). O aluno no ser um indivduo passivo, e o professor, a autoridade
que decide o que o aluno precisa e deve saber. O professor no ir apresentar verdades, mas,
em conjunto com o aluno, ir investigar, descobrir problemas e juntos avaliaro o sucesso das
novas descobertas e, pelos erros, as melhores alternativas para super-los (Id. Ibid.).
O desempenho do aluno na EaD pode ser avaliado atravs de diversas formas,
tradicionais ou no: trabalhos escritos, depoimentos, testes, encontros presenciais,
monografias, exerccios de aplicao, auto-avaliao e avaliao do tutor que desempenha
um papel importante no desenvolvimento da aprendizagem(HENTEA et al., 2003). A forma
de avaliao a ser adotada depender do tipo de curso, do pblico-alvo e da(s) tecnologia(s)
empregada(s).
Tendo em vista as caractersticas dos cursos de EaD, que exigem maior previso e
antecipao das aes que sero realizadas em quaisquer de seus elementos estruturais
(alunos, materiais didticos ou professores), a avaliao torna-se um elemento fundamental e
determinante para o sucesso e ajuste dos cursos (MOORE E KEARSLEY, 1996).


23
No Ensino a Distncia, a avaliao nos cursos deve ser planejada e os
instrumentos e as estratgias de avaliao previamente definidas. Os resultados devero
indicar como acontece o funcionamento do curso em todos os aspectos: organizao, material
didtico, apoio tutorial e avaliao da aprendizagem dos alunos (RUHE, 2002). Atravs dos
resultados de uma avaliao planejada, confivel, constante e contnua, obtm-se informaes
sobre a qualidade dos cursos, os pontos de acertos, os pontos falhos e assim, possvel
subsidiar as tomadas de decises.
Palloff e Pratt (2002) descrevem a avaliao em um curso de EaD como sendo
formativa e somativa:
Avaliao Formativa um processo contnuo que pode ocorrer em qualquer
momento do curso, trazendo tona, lacunas no contedo ou na capacidade que o aluno tem de
entend-lo. Facilita a adaptao do curso e do contedo e identifica falhas no planejamento e
a necessidade de ajustes.
um tipo de avaliao que se inicia juntamente com o prprio curso. Segundo
Perrenoud (1999), pode ser entendida como:
Toda prtica de avaliao contnua que pretenda melhorar a aprendizagem em
curso, contribuindo para o acompanhamento e a orientao dos alunos durante todo
seu processo de formao. formativa toda a avaliao que ajuda o aluno a aprender
e a se desenvolver, que participa da monitoria da aprendizagem e do
desenvolvimento no sentido de um projeto educativo.
Avaliao Somativa (Final) Acontece ao trmino do curso, sendo o modelo
usado com mais freqncia. Avalia a eficcia global de um produto ou curso, verificando se
os seus objetivos foram alcanados. Os resultados podem ser a base de informao para o
planejamento de um novo curso ou programa, mas no afetam os estudantes do curso em
questo, uma vez que so obtidos aps o trmino do curso.
H um consenso entre os autores de que a avaliao somativa e a formativa so
complementares, utilizando-se de acordo com o contexto e a situao concreta.
No campo legal, existe a obrigatoriedade por Lei (Decreto Federal n
o
. 2494 de
fev. 98, art. 7
o
) para que cursos formais, realizados a distncia e reconhecidos pelo Ministrio
da Educao, tenham suas avaliaes realizadas de modo presencial. Alm das exigncias
legais, cursos de EaD devem possibilitar aos seus alunos, as condies plenas de aprendizado
em suas reas, permitindo competitividade no mercado de trabalho idntica a dos egressos de
cursos tradicionais (ALVES, 2003).


24
Uma forma de aumentar a efetividade dos processos de avaliao no processo de
aprendizagem dos alunos egressos de cursos dessa modalidade construindo mecanismos de
avaliao que engajem alunos e professores em atividades produtivas. Outra maneira,
construir mecanismos de avaliao mais confiveis e que mensurem, com mais exatido, o
grau de aprendizado e as competncias alcanadas (WOIT E MASON, 2003).
Conforme citado por muitos autores (CERNY, 2001; HARASIM, 1996;
HOOPER 1998) o processo de avaliao no EaD tem sido realizado de modo bastante
tradicional e convencional. Em muitos cursos distncia, a avaliao feita somente por
meio de provas ministradas ao final do curso ou em perodos pr-determinados, no havendo
preocupao em acompanhar o aprendizado do aluno durante o curso. Os professores tm
deixado de lado os mecanismos complementares, com os quais, mesmo distncia, poderiam
ter uma avaliao mais completa e abrangente do aluno. Ademais, eles ignoram ainda o fato
de que, sendo um ambiente on-line, o meio pelo qual os alunos aprendem, este tambm
deveria ser o meio pelo qual deveriam ser avaliados.
Harasim et al. (1996), ao refletirem sobre a avaliao de cursos distncia,
afirmam: Para que haja uma abordagem centrada no aluno, a avaliao deve ser parte do
processo ensino-aprendizagem, estar inserida nas atividades de aula e nas interaes entre os
alunos e desses com os professores. Esses autores falam do processo de avaliao formativa
que se constri na estrutura das aulas.
Se os professores determinarem com sucesso, as diretrizes e os resultados de
aprendizagem e, tambm, os critrios de avaliao de desempenho do aluno, ser muito
menos complicado estabelecer um processo de avaliao. Tais avaliaes devem levar em
considerao mltiplas fontes de dados, como a quantidade de mensagens e a qualidade da
participao nas discusses on-line, alm claro, do desempenho do aluno nas atividades
desenvolvidas no curso (PALLOFF & PRATT, 2002).
Segundo Moore & Kearsley (1996), existem vrios tipos de avaliao com
caractersticas diferentes, pontos fracos e fortes e, por isso, especialistas recomendam que
uma tcnica deve ser usada, inmeras vezes, para se ter uma viso real de como o curso ou o
programa est funcionando. A avaliao deve ter um planejamento com objetivos claros e
aprovados pela instituio, ser formativa e somativa, usar o maior nmero possvel de
alternativas para coleta de dados, usar mtodos quantitativos e qualitativos, divulgar os
relatrios de forma clara e objetiva, conter informaes slidas e confiveis para subsidiarem


25
decises a longo prazo que envolvam recursos financeiros significativos. A avaliao deve
considerar tambm trabalhos realizados em grupo, que medem a capacidade do aluno
trabalhar com outras pessoas, inclusive em equipes com integrantes que usam apenas o
ambiente virtual para interagirem.
Mirshawka e Mirshawka (2002) descrevem algumas formas de avaliao em
cursos on-line, das quais destacam-se:
- Testes e questionrios realizados diretamente no site ou enviados por e-mail;
- Elaborao de textos e artigos para fazer com que os alunos reflitam e aprofundem
sobre um assunto ou matria;
- Uso de portiflio como uma consolidao dos dados e das informaes desenvolvidas
pelos alunos, mostrando o aprendizado adquirido, refletindo seu esforo nos estudos e
sua evoluo;
- Registro em dirios das experincias que os alunos on-line tm medida que lidam
com alguma experincia de aprendizado; e,
- Construo do seu website pessoal para divulgao profissional ou para abordar
assuntos do seu interesse.
Diante de tal complexidade, constata-se a extrema importncia da avaliao para
os cursos de EaD e o cuidado a ser considerado no desenvolvimento de ambientes e meios
para a sua realizao. Ressalta-se a necessidade de um planejamento consciente e cuidadoso
da avaliao, do envolvimento da instituio e dos educandos, no sentido de enxergar a
avaliao como um instrumento sistemtico que assegura o funcionamento de tudo que foi
planejado, que aponta os acertos e as falhas, mostra novos caminhos e possibilita aprimorar os
cursos de EaD, no sentido de criar cursos mais interessantes, atrativos e que atendam de forma
eficaz s necessidades e expectativas dos alunos, por meio da aprendizagem efetiva e
significativa.
Uma avaliao formativa pode levar em conta as interaes dos alunos dentro de
um ambiente. Dessa forma, pode-se pensar nos seguintes aspectos a serem avaliados e
relacionados com a aprendizagem on-line:


26
- Autonomia dos alunos para refletir sobre determinado tema, argumentar e enunciar
propostas crticas, criativas e alternativas, em qualquer ou todas as modalidades
existentes para o trabalho distncia;
- Continuidade e periodicidade das intervenes dos aprendizes (e tutores); e
- Socializao do conhecimento coletivo articulado em um trabalho de fim de curso.
Tambm importante pensar na avaliao dos resultados alcanados, pois h
sempre que atribuir diplomas ou certificados aos aprendizes. Essa a funo da avaliao
somativa que vai refletir-se em trs vetores principais: apreciaes realizadas pelos
professores envolvidos, aplicao de instrumentos de avaliao integradores e confronto dos
resultados obtidos pelos alunos com os objetivos estabelecidos no incio do curso.
2.2 Suporte a Avaliao em Ambientes de Ensino Distncia
Vrios ambientes de aprendizagem oferecem mecanismos de interao nos quais
todos devem ser orientados para uma mesma finalidade, que a aprendizagem. Devem ser
analisados todos os tipos de interao que podem ser realizados para depois, identificar as
questes relativas avaliao. No captulo cinco desse trabalho, sero mostrados os resultados
da anlise de quatro ambientes de aprendizagem que utilizam a Internet como meio de
distribuio dos seus cursos.
Conforme observado no seo 2.1, a avaliao em EaD pode ser resumida em trs
formas principais:
Presencial: a avaliao feita por meio de uma prova, na presena do tutor ou de
uma outra pessoa responsvel, para garantir a sua legitimidade;
Virtual com aplicao de testes on-line: a avaliao feita por meio de
mecanismos de testes on-line a serem respondidos e enviados posteriormente, para o professor
por meio de e-mail ou de formulrios de envio;
Avaliao ao longo do curso (contnua): a avaliao feita de modo contnuo,
baseada em processos que fornecem subsdios para o formador avaliar seus aprendizes de
modo ampliado, tais como pelas atividades realizadas, pelos comentrios postados, pelas
participaes em grupos de discusso e em chats e pelas mensagens postadas no correio.
Atualmente, diversas pesquisas tm sido desenvolvidas para propor alternativas
para a avaliao on-line, com objetivos de diminuir as suas restries e explorar as vantagens
de tal forma de avaliao. Duas linhas de pesquisa principais podem ser identificadas: o


27
suporte avaliao baseada em testes objetivos e o suporte avaliao ao longo do curso
(OTSUKA E ROCHA, 2002).
2.2.1 Suporte Avaliao Baseada em Testes Objetivos
Os testes objetivos, includos os de mltipla escolha, verdadeiro/falso,
preenchimento de lacunas e associao de termos, so projetados para terem uma nica
resposta correta e portanto, podem ser facilmente automatizados. Essa forma de avaliao
ganhou grande popularidade nos sistemas de EaD devido rapidez e facilidade da aplicao e
gerao imediata de feedback.
Um dos principais focos das pesquisas desenvolvidas na rea de suporte a testes
objetivos est concentrado no estudo de formas de armazenamento, para que permitam uma
maior flexibilidade na apresentao dos testes. Segundo Brusilovisky (apud OTSUKA E
ROCHA, 2002), o estado da arte da tecnologia de armazenamento est no uso de um sistema
de banco de dados de questes armazenadas em um formato interno, ou seja, tendo partes das
questes (estrutura, respostas e feedback) armazenadas em tabelas de banco de dados e a
questo gerada pelo sistema no momento em que for apresentada para o aprendiz, podendo
ser apresentada de diferentes formas.
H um grande interesse tambm na busca da gerao de testes mais
individualizados (SHEN et al, 2001). Outra linha de pesquisa importante encontrada est
relacionada com o uso de meta-dados de questes, ou seja, so armazenadas informaes
sobre as questes (tipo, tpico avaliado, palavras-chave, peso ou complexidade), e o sistema
de avaliao gera questionrios personalizados sob demanda, de acordo com os parmetros
solicitados pelo autor/professor (OTSUKA E ROCHA, 2002).
Outra linha de pesquisa envolve o desenvolvimento de questes adaptativas. A
soluo baseada na construo e anlise do modelo do aluno, que representa o conhecimento
do educando em diferentes conceitos e tpicos do curso, e a partir desse modelo, so geradas
questes adaptadas ao seu nvel de conhecimento (KARAGIANNIDIS et al., 2001).
Apesar de terem aplicaes pedaggicas restritas por enderearem contedos
pontuais e encorajarem uma aprendizagem superficial, os testes objetivos so muito usados
para enfatizar alguns termos e conceitos importantes que merecem uma ateno extra. Outras
propostas relacionadas com testes objetivos sero expostas na apresentao dos resultados
deste trabalho, so detalhadas no Captulo 5 (cinco).


28
2.2.2 Suporte Avaliao Contnua
A avaliao contnua feita distncia pode ser realizada por meio da anlise dos
registros das participaes dos aprendizes no curso (atividades desenvolvidas, registro de
interaes e colaborao entre os aprendizes), sobretudo em cursos de maior durao. Ela tem
especial importncia no contexto da EaD por possibilitar uma avaliao do nvel de interesse
do aprendiz, favorecer a identificao de problemas, alm de permitir alguma forma de
autenticao da identidade do aprendiz, pela familiarizao com seu estilo e suas habilidades
(OTSUKA E ROCHA, 2002).
Os ambientes virtuais de aprendizagem deixam de ser apenas espaos de
apresentao de informao e passam a ser tambm, um local de interaes, de colaborao e
de construo colaborativa do conhecimento, possibilitando a explorao de novos objetivos
de aprendizagem, como o desenvolvimento de habilidades de comunicao, realizao
trabalho em grupo e aquisio de conhecimento em Tecnologia da Informao, que so
habilidades de alta demanda atualmente. Na Figura 1, mostrado um exemplo das
ferramentas de comunicao e as formas de colaborao que so disponibilizadas para um
curso on-line.

Figura 1 - Ferramentas de comunicao do ambiente AulaNet (AULANET, 2005).
Todas as interaes que ocorrem no ambiente virtual de ensino devem ser
registradas a fim de possibilitar a avaliao formativa, baseada no acompanhamento contnuo


29
dos registros, bem como na reflexo dos aprendizes sobre o processo de aprendizagem. No
entanto, apenas o registro das interaes no suficiente para prover suporte efetivo
avaliao formativa. Esse processo de avaliao demanda muito trabalho e tempo do tutor no
acompanhamento, uma anlise e orientao das atividades desenvolvidas ao longo do curso,
consistindo num dos principais problemas da avaliao formativa, seja ela presencial ou
distncia. O uso de ferramentas que gerem relatrios de avaliao podem ajudar
consideravelmente nesse processo, conforme mostra o exemplo da Figura 2.

Figura 2 - Relatrio de avaliao de participao do ambiente AulaNet.
Dessa forma, novas tecnologias computacionais vm sendo pesquisadas, a fim de
explorar melhor os registros das interaes dos aprendizes em ambientes de EaD e prover
suporte para o tutor na coleta, identificao, seleo e anlise de dados relevantes avaliao
formativa. Essas pesquisas tm apontado diversas alternativas, que embora tecnologicamente
distintas, focam no objetivo final que melhor avaliar os alunos e promover ajustes nos
cursos e ambientes, como forma de consolidar tal meio de difuso de conhecimentos
(OTSUKA E ROCHA, 2002).


30

Figura 3 Relatrio de avaliaes disponveis em um curso no ambiente TelEduc.
So vrios os recursos disponibilizados pelos AVE para que o processo de
avaliao seja eficiente e as informaes acerca do desempenho individual ou coletivo, em
uma disciplina ou em todo o curso, sejam rapidamente reportadas e de fcil acesso para as
pessoas que participam do processo. A partir do exemplo dado na Figura 4, onde mostrado
um relatrio que contm as notas individuais por atividade dentro de um determinado curso,
gerenciado pelo Ambiente TelEduc (TELEDUC, 2005).

Figura 4 Listagem de notas por atividade de um curso no TelEduc (TELEDUC, 2005).


31
Como poder ser notado nas demais sees desse trabalho, as formas de avaliar
em ambientes virtuais de ensino podem ser as mais diversificadas. O grande desafio extrair
e consolidar as informaes dessa variedade de avaliaes, representando e/ou medindo o
grau de aprendizagem do aluno, podendo tambm indicar possveis ajustes no curso para
assegurar melhores condies para garantir essa aprendizagem.



32
3 O Ambiente de Ensino a Distncia AMADEUS
Para consolidao desse estudo e aplicao de metodologias de avaliao em EaD,
foi escolhido o ambiente AMADEUS (TEDESCO E GOMES, 2002),que atualmente est em
fase de implementao no Centro de Informtica da Universidade Federal de Pernambuco
(Cin-UFPE). O Projeto AMADEUS tem como objetivo o desenvolvimento de um ambiente
virtual de aprendizagem baseado no conceito de micromundo
2
, e em outros conceitos,
metodologias e ferramentas que permitam um avano significativo das reflexes sobre as
tecnologias de ensino e uma melhoria no seu uso (Id. Ibid.).
Esse projeto, dada a envergadura dos objetivos e as dificuldades tcnicas a serem
suplantadas, tinha uma durao prevista de dois anos, mas se transformou em um projeto
contnuo, no qual alunos e professores se engajaram, desenvolvendo trabalhos em paralelo,
alm de artigos, dissertaes e teses diversas com o objetivo de resolver problemas relevantes
da rea de EaD. Por estar inserido no grupo de Cincias Cognitivas e Tecnologia Educacional
(CCTE) do Centro de Informtica da Universidade Federal de Pernambuco, prev uma srie
de integraes e funcionalidades, ainda em fase de pesquisa e desenvolvimento. A equipe do
CCTE prope, dentre os vrios interesses de cada pesquisador, facilitar as atividades docentes
e de aprendizagem dos participantes de cursos distncia, atravs do AMADEUS.
O sistema oferece aos professores a oportunidade de gerenciar cursos on-line de
maneira rpida e fcil, enriquecida pelas ferramentas disponibilizadas no ambiente. Dentre as
possibilidades est a criao de turmas, com a disponibilizao de atividades diversas. Numa
verso futura do sistema, h possibilidade de criar cursos off-line e agregar outras
funcionalidades como mecanismos de interao e percepo de status de usurios, alm de
incorporar recursos multimdia.
Aos alunos, o AMADEUS oferece a possibilidade de participar de quaisquer
cursos que estejam disponveis on-line, atravs de uma interface amigvel, materiais de apoio
e ferramentas de interao.
A Figura 5 mostra a arquitetura proposta para o Ambiente, com todos os seus
componentes em desenvolvimento.

2
Existem muitas definies para o termo Micromundo de Aprendizagem, que adquiriu uma maior divulgao atravs da linguagem Logo
e do micromundo da tartaruga graas aos trabalhos de Seymour Papert . Segundo Papert (1980), micromundo como um sub-conjunto da
realidade ou uma realidade construda, cuja estrutura casa com a estrutura de um mecanismo cognitivo de maneira a prover um ambiente
onde esta pode operar efetivamente p. 204.



33


Figura 5 Arquitetura do AMADEUS.
O Mdulo de Avaliaes est inserido dentro do contedo do curso, a partir das
ferramentas de atividades (viso do professor e do aluno).
3.1 Acessando o ambiente
A Figura 6 mostra a tela inicial do Ambiente, onde ser possvel acessar as
principais funcionalidades do Ambiente.


34

Figura 6 - Tela inicial do AMADEUS.
O acesso ao ambiente ser em funo da definio de perfis para cada usurio do
sistema. Existem quatro tipos de usurios que iro utilizar o AMADEUS:

a) Aluno: representa qualquer aluno cadastrado que se encontra devidamente
matriculado em um determinado curso.
b) Professor: representa os professores responsveis por manter os cursos e turmas no
ambiente, avaliando seus alunos e disponibilizando os materiais necessrios. Para ser
um professor o usurio precisa fazer uma solicitao ao administrador do sistema,
opo disponvel aps o logon no ambiente.
c) Monitor: representa um aluno monitor responsvel por auxiliar o professor no ensino
de um determinado curso. Para ser um monitor o usurio precisa fazer uma solicitao
ao professor, opo disponvel na rea interna do curso no ambiente.
d) Administrador: representa os administradores do sistema, responsveis por validar a
inscrio de professores e resolver questes diversas relacionadas ao suporte do
ambiente.



35
3.1.1 Logando como Aluno

Aps digitar o login e a senha, o aluno tem acesso a uma pgina onde esto
listados todos os cursos nos quais ele est matriculado (Figura 7).



Figura 7 - Tela aps logon como aluno.
Para obter detalhes sobre o curso, basta clicar no nome do mesmo. Assim, o aluno
ter acesso a uma tela sobre a turma na qual est matriculado e aos materiais disponveis,
alm da possibilidade de se candidatar monitoria do curso. A Figura 8 exibe as opes do
curso para o aluno.



36

Figura 8 - Tela de detalhamento da turma do aluno
3.1.2 Logando como Professor

Aps digitar o login e a senha, o professor ter acesso a uma pgina onde esto
listados todos os cursos que ele est oferecendo, podendo, tambm, cadastrar novos cursos
(Figura 9).


Figura 9 - Tela aps logon como professor.


37

O professor tem a opo de atualizar ou excluir algum de seus cursos, a partir da
listagem. Para obter detalhes sobre o curso, basta clicar no seu nome. Assim, o professor ter
acesso a uma tela sobre o curso que est ministrando, com as turmas existentes e os materiais
disponveis, alm da possibilidade de cadastrar novas turmas e novos materiais (Figura 10).


Figura 10 - Tela de detalhamento de curso do professor.

Da mesma forma, nesse local, o professor pode atualizar os dados de uma turma
ou exclu-la, bastando para isso clicar no boto correspondente. Para obter detalhes sobre uma
turma, basta clicar no nome dela. Assim, o professor ter acesso a uma tela que mostra os
alunos matriculados na turma e os pedidos pendentes de monitoria (Figura 11).















38



Figura 11 - Tela de detalhamento da turma do professor.
Embora esses prottipos mostrados contm as principais funcionalidades at agora
obtidas pela equipe do Projeto, a interface poder sofrer ajustes nos layouts, em funo de
novos estudos que continuam sendo feitos, dos novos requisitos elicitados e finalmente pelos
resultados dos testes de usabilidade que sero feitos em todos os mdulos do ambiente. A
verso final depende destas etapas, mas essas telas sero teis para visualizar alguns
resultados deste estudo.



39
4 Processo de design iterativo do modelo de avaliao do
AMADEUS


O processo de avaliao em EaD, como descrito nas sees anteriores, apresenta-
se como complexo e, ao mesmo tempo necessrio, para que os objetivos propostos nos cursos
tenham melhores condies de serem alcanados. Assim, importante que os modelos a
serem propostos passem por uma srie de simulaes e anlises, antes de ficarem disponveis
para os usurios do ambiente.
O design iterativo baseado na organizao de uma srie de processos cclicos de
anlise de requisitos de usurios, como no uso de cenrios e prototipao de modelos que so
submetidos amostragem, cuja amostra representa os potenciais usurios do ambiente. Nesse
caso, tais usurios so formados pelo professor/tutor que elabora as atividades de avaliao e
acompanha o desenvolvimento dos alunos e pelos prprios alunos, que sero os avaliados.
A interao acontece por conta do feedback que ambos os tipos de usurios
proporcionaro para o estudo, cada um contribuindo no seu domnio dentro do ambiente.
Dessa forma, o processo de design um processo analtico e cclico, o qual deve ser retro-
alimentado a cada retorno do usurio, at que se tenha um modelo prximo do ideal, que
possa ser efetivamente empregado por um nmero maior de usurios.
Nesse trabalho, optou-se pelos seguintes processos de definio de requisitos
do modelo de avaliao do AMADEUS:
A anlise de competidores, buscando em alguns ambientes virtuais existentes,
referncias positivas e negativas para definio do modelo a ser proposto. Tais
ambientes foram escolhidos segundo alguns critrios observados durante a
reviso de literatura;
A entrevista com usurios de AVE, para buscar informaes da prtica
avaliativa feita por quem vive esta situao com freqncia;
O uso de cenrios como simulador de situaes reais a serem verificadas no
processo de avaliao dos alunos;


40
A prototipao, que gera modelos preliminares do ambiente proposto para
testes e anlise de resultados.
A etapa de anlise de requisitos uma importante fase do desenvolvimento de
sistemas e existem vrias tcnicas que visam garantir o levantamento eficaz desses requisitos.
Ferre (2003) apresenta uma distribuio das diversas tcnicas de usabilidade e suas aplicaes
nas atividades de anlise de requisitos, conforme mostra a Figura 12.










Figura 12 Classificao das tcnicas de anlise de requisitos (FERRE, 2003).
Dentre as diversas tcnicas disponveis para colaborar com a anlise de requisitos,
foram escolhidas trs para comporem a metodologia, acrescentando a entrevista com usurios
para complementar o processo. No captulo seguinte, so apresentados os detalhes como cada
uma das tcnicas foi aplicada no desenvolvimento desse trabalho.

4.1 Objetivo Geral do Processo de Design
As tcnicas empregadas para obteno de requisitos e prototipao, tiveram como
objetivo geral a definio de um modelo para o ambiente virtual de ensino AMADEUS -
que promover atividades de avaliao discente para cursos on-line.

Anlise de Competidores
Cenrios
Tcnicas de Prototipao


41
4.2 Objetivos Especficos
- Mapear o estado da tcnica de ambientes de suporte da avaliao distncia para
conhecimento dos padres (guidelines) de produto;
- Analisar alguns ambientes virtuais em uso, destacando seus pontos fortes e fracos;
- Modelar as principais atividades associadas realizao de avaliaes on-line para o
professor e para o aluno;
- Criar cenrios de uso futuro englobando atores e artefatos na realizao de avaliaes
distncia;
- Gerao de prottipos de baixa fidelidade mock ups de ambientes de suporte a
avaliao usando mdia digital.

4.3 Engenharia de Requisitos para Prototipao do Modelo
A engenharia de requisitos reconhecida como uma fase importante do processo
de Engenharia de Software (SANTANDER, 2002). Isso se deve a descoberta de que a maior
parte dos problemas no desenvolvimento de Software tem origem nas etapas iniciais do
processo (Id. Ibid.). A definio clara dos requisitos do sistema leva a um processo de
desenvolvimento mais eficiente e objetivo.
A engenharia de requisitos o processo no qual so identificados os servios que
um sistema deve prover e as possveis restries que deve atender. um processo sistemtico
do qual deriva uma definio do software esperado (KOTONIA, 1998).
Os requisitos de um sistema dizem respeito a o que o mesmo deve fazer e no
como ele deve funcionar. Eles so definidos durante as primeiras fases do desenvolvimento de
um sistema como uma especificao do que deveria ser implementado. Assim, os requisitos
devem ser definidos de forma clara e concisa, pois problemas nessa definio resultam em
atrasos na entrega do sistema, insatisfao dos usurios e, possivelmente, em pedidos de
mudanas aps a operacionalizao do sistema.
Um conjunto de requisitos pode ser definido como uma condio ou capacidade
necessria que o sistema deve possuir para: a) que o usurio possa resolver um problema ou
atingir um objetivo ou b) atender s necessidades ou restries da organizao ou dos outros
componentes do sistema (LEITE, 2000).


42
Os requisitos podem ser definidos como funcionais e no funcionais. Os requisitos
funcionais descrevem o que o sistema faz, isto , suas funcionalidades necessrias para
atender os objetivos do sistema, descrevendo os fluxos de eventos, prioridades, entradas e
sadas de cada recurso a ser implementado . (CHUNG, 1995; YEH, 1984).
Os requisitos no funcionais, no entanto, dizem respeito qualidade do sistema.
Eles descrevem as facilidades do sistema e so diretamente ligados a aspectos que muitas
vezes so negligenciados pelos Engenheiros de Software, que so os fatores psicolgicos. A
falta de considerao desses fatores, na fase responsvel pela anlise de requisitos, durante o
desenvolvimento de um software, constitui uma das principais razes de uma eventual
insatisfao do usurio com relao a um sistema computacional. Dentre essas razes, podem
ser destacadas: desempenho, integridade, confiabilidade, segurana, projeto de interfaces
incluindo o uso de cores e outros (Id. Ibid.).
Os requisitos no funcionais, desejveis em uma boa interface, podem ser
agrupados em trs categorias: requisitos relacionados s interaes de um modo geral,
requisitos relacionados exibio de informao e requisitos relacionados entrada de dados
(PRESSMAN, 1995).
O objetivo da engenharia de requisitos de um sistema a elaborao de um
documento no qual os objetivos do sistema e suas caractersticas so detalhados. Tal
documento serve de referncia para todos os envolvidos no processo de desenvolvimento do
sistema, desde clientes at programadores. Eles, entretanto, possuem graus de envolvimento e
compreenso distintos, sendo necessrio que o processo de engenharia de requisitos seja
dividido em nveis de detalhamento, conforme indicados abaixo (KOTONIA, 1998):
Definio de requisitos uma descrio em linguagem natural e em diagramas,
dos servios esperados pelo sistema e as restries em que devem atuar. Essa
definio gerada a partir das informaes do cliente.
Especificao de requisitos um documento estruturado que descreve o
sistema em detalhes, tambm chamado de especificao funcional. Deve ser o
mais preciso possvel.
Especificao do software Detalhamento do software a ser desenvolvido que
serve de base para o projeto e implementao. Fornece detalhes adicionais s
especificaes de requisitos.


43
O presente trabalho apontar os principais requisitos do mdulo de avaliao do
AMADEUS, atuando no nvel de definio dos requisitos que servir de base para as
especificaes e implementaes futuras do ambiente.
4.4 Anlise de competidores
Uma das tcnicas de elicitao de requisitos adotadas nesse trabalho foi a
redefinio e adequao dos componentes de uma anlise de concorrncia para avaliar as
estratgias de avaliao em EaD, adotadas por ambientes virtuais disponveis no mercado.
Assim, tendo conhecimento das metodologias e ferramentas em uso, pode-se ter parmetros
mais refinados de avaliao e condies de apresentar alternativas aos processos atuais.
O objetivo foi localizar as tcnicas e conhecimentos externos em uso,
desenvolvendo, ento, procedimentos inovadores aos praticados pela entidade, buscando o
aperfeioamento das prticas de avaliao, como forma de obter uma melhoria no
desempenho.
Algumas formas atuais utilizadas para avaliao em EaD devem ser
continuamente analisadas e reavaliadas para que continuem a atingir o seu objetivo maior, que
a aprendizagem do aluno. Assim, a proposta adota, como uma das estratgias para um maior
conhecimento dessas formas, a anlise de competidores, baseada em modelo desenvolvido
por Porter, em Estratgia Competitiva (2005), no qual o autor descreve os componentes de
uma anlise de concorrncia conforme descrito na Figura 13.

Figura 13 - Os componentes de uma Anlise de Concorrncia (PORTER 2005).
Metas
futuras
Perfil de respostas do concorrente
O concorrente est satisfeito com a posio atual?
Quais os provveis movimentos que o concorrente far?
Onde o concorrente vulnervel?
Hipteses Capacidades
Estratgias
em
curso
O que orienta O que o concorrente
o concorrente est fazendo e pode fazer


44
Nesse tipo de anlise, amplamente usada na indstria (Porter, 2005), existem
quatro componentes de diagnsticos: metas futuras, estratgia em curso, hipteses e
capacidades. A compreenso deles permitir uma bem formada predio do perfil de respostas
do concorrente, conforme articulado nas questes-chave colocadas na Figura 13.
A anlise de competidores foi desenvolvida a partir da observao dos requisitos
para a realizao de pesquisas vlidas, com especial ateno para o estabelecimento de
instrumentos, definies e condutas de levantamento de dados que garantam uma comparao
entre diferentes casos (GOMES, 2004). Assim, a escolha dos ambientes virtuais para a
avaliao foi fundamentada na anlise das seguintes caractersticas: a) ter divulgao e
utilizao na comunidade acadmica, b) facilidade de utilizao e, c) dispor de ferramentas de
avaliao no ambiente.
Utilizou-se, neste momento, o precioso trabalho realizado por Gomes (2004)
como forma de fornecer requisitos a respeito da avaliao em ambientes virtuais de ensino.
Alm de ser um trabalho recente, inserido no mesmo contexto do projeto AMADEUS
(AMADEUS, 2005), representou uma valiosa fonte de informaes para o presente trabalho.
Dessa forma, foram selecionados os seguintes ambientes virtuais para a anlise da
concorrncia: AulaNet (AULANET, 2005), Blackboard (BLACKBOARD, 2005), TelEduc
(TELEDUC, 2005) e o WebCT (WEBCT, 2005). Cada modelo aplica tecnologia usando
variados meios para poder focalizar algumas ou todas as caractersticas descritas.
4.4.1 AulaNet

O AulaNet um ambiente virtual de ensino, que vem sendo desenvolvido desde
1997 no Laboratrio de Engenharia de Software (LES) do Departamento de Informtica da
Pontifcia Universidade Catlica do Rio de Janeiro - PUC-Rio, onde so disponibilizados
diversos recursos para o oferecimento de cursos distncia, baseados numa abordagem de
groupware
3
. O objetivo central do ambiente oferecer salas de aula virtuais para cursos nas
mais diversas reas. A verso utilizada nessa pesquisa foi a 2.0.
No AulaNet, os seguintes elementos (atores) participam de um curso virtual:
Administrador Responsvel pela infra-estrutura e suporte do curso. Ele
tambm cuida da interao entre os demais participantes do curso;

3
Sistemas baseados em computador que suportam grupos de pessoas engajadas em uma tarefa comum e que
provem interface para um ambiente compartilhado (ELLIS, 1999).


45
Coordenador Quem cria o curso, podendo ser o prprio docente que conduzir
o processo de ensino-aprendizagem;
Docente co-autor Para os casos de cursos com mais de um professor/tutor;
Aprendiz O aluno participante do curso;
Mediador Pode ser o responsvel por aplicar o curso.
Apesar dessa diviso de atribuies, muitas vezes, verifica-se que a maior parte
das funes pode ser exercida somente pelo professor.
Os cursos do AulaNet baseiam-se nas seguintes premissas:
O autor do curso no precisa ser um especialista em Internet;
Os cursos criados devem buscar grande capacidade de interatividade, a fim de
atrair maior participao do aluno no processo de aprendizado;
Os recursos oferecidos para a criao dos cursos devem corresponder aos de
uma sala de aula convencional, acrescidos de outros normalmente disponveis
no ambiente Web;
Os professores devem selecionar os mecanismos que utilizaro no curso.
Na Figura 14, mostrada a tela de abertura do ambiente, na qual so colocadas as
diversas opes para o usurio, seja ele aluno, professor, coordenador ou mediador.
permitido ao professor, atuar como outros atores, inclusive como aprendiz, possibilitando-o
ter diversas vises sobre o curso.


46

Figura 14 - Tela de abertura do AulaNet.
As atividades de interao dentro do ambiente so bastante diversificadas, pois o
AulaNet oferece aos responsveis pela montagem e conduo do curso, um assistente para a
criao e manuteno dos cursos atravs de uma barra de menu, denominada Criao,
localizada no rodap de cada tela referente criao de cursos.
A barra de criao (Figura 15) oferece recursos que sero utilizados na criao do
curso para que sejam disponibilizados servios para os alunos. Na barra de criao existem as
seguintes opes: informaes (orientaes gerais sobre o ambiente), comunicao
(Ferramentas responsveis pela comunicao entre os participantes do curso), cooperao
(ferramentas de criao e edio dos contedos criados pelos participantes do curso),
coordenao (ferramentas de gerenciamento do curso) e configurao (ajustes e
parametrizao do ambiente).


47

Figura 15 Barra de criao e mecanismos de comunicao no AulaNet.

As ferramentas de avaliao no AulaNet podem ser acessadas a partir da opo
Avaliao no menu principal de criao de cursos (Figura 16). Nessa rea, o professor dispe
de duas opes para realizar avaliaes no ambiente. Uma a Lista de Provas (Figura 17), na
qual so listadas todas as provas elaboradas para o curso. A outra opo o Banco de
Questes (Figura 18), na qual so listadas todas as questes j usadas ou no nas avaliaes.
Barra de criao


48

Figura 16 Gerenciamento de avaliaes.
O AulaNet oferece a possibilidade de uso de trs tipos de questes para serem
usadas nas avaliaes: mltipla-escolha, verdadeiro/falso ou discursiva (Figura 18). As
questes de mltipla-escolha e as de verdadeiro/falso podem ser corrigidas automaticamente
pelo AulaNet, pois esto disponveis recursos a partir de respostas associadas a questes do
tipo mltipla-escolha ou verdadeiro/falso. Uma caracterstica interessante nas questes a
possibilidade de classificao de cada uma segundo a Taxonomia de Bloom (BLOOM, 1971),
que define critrios para identificar nveis de aprendizado alcanados, com base no grau de
dificuldade dos objetivos educacionais dentro do domnio cognitivo. Isso permite assim, a
criao de condies para estabelecer parmetros para um melhor processo de avaliao. Essa
taxonomia possui seis subdivises - conhecimento, compreenso, aplicao, anlise, sntese e
avaliao, que variam do comportamento mais simples ao mais complexo. Nesse contexto, o
professor pode contar com essa classificao de questes,para ser inserida nas avaliaes do
curso, para que possa dispor da evoluo do aprendizado do aluno, em cada nvel cognitivo
que a taxonomia de Bloom apresenta.


49

Figura 17 - Lista de questes de prova.
Para atribuio das notas das provas, o ambiente disponibiliza um recurso
denominado Notas das Provas que permite anotar e observar o desempenho da turma por
meio da lista de notas ou corrigindo as questes discursivas.
As notas podem ser fornecidas a partir de escores numricos ou ento
transformadas em conceitos (A,B,C,D,E). Para essa converso, o AulaNet fornece um recurso
denominado Intervalo para os Conceitos (Figura 19) que possibilita ao professor, definir
intervalos para os conceitos do curso, tanto para as atividades sncronas chats, debates,
conferncias, quanto para as assncronas avaliaes, fruns, dentre outras.


50

Figura 18 Incluso de questes.

Figura 19 Intervalo de conceitos.


51
Para que o professor possa ter subsdios para avaliar a participao de cada aluno
nas atividades programadas, o ambiente fornece diversos relatrios pr-definidos, que
propiciam tambm a percepo do grupo sobre as atividades sncronas e assncronas
realizadas pelos seus membros (FUCKS et al., 2003). Como um exemplo, os Relatrios de
Participaes, mostrados na Figura 20, na Figura 21 e na Figura 22, podem ser utilizados nas
atividades de avaliao, pois permitem a quantificao e qualificao das participaes dos
alunos por intermdio da anlise das diversas formas de contribuies dos discentes durante o
curso: mensagens enviadas nas Listas de Discusso e nas Conferncias, atuaes nos debates,
submisso de contedos (Co-Autoria de Aluno) eavaliaes (provas) realizadas. Este um
recurso interessante, porque mapeia todas as atividades realizadas pelo aluno no ambiente e
permite ao professor, monitorar seu desempenho na realizao de determinadas tarefas.

Figura 20 Seleo de Relatrio.


52

Figura 21 - Relatrio de participao.

Figura 22 - Relatrio de participao em eventos.
Esses relatrios possibilitam aos participantes de um curso, a obteno de
informaes de percepo para uma anlise quantitativa e qualitativa (por meio das notas e
conceitos atribudos) da sua performance, podendo acompanhar sua evoluo ao longo do
curso, o que torna tais relatrios, muito teis no processo de avaliao formativa.


53
4.4.2 Blackboard
O Blackboard um ambiente virtual de ensino que comeou a operar em 1997,
quando diversos estudantes da Universidade Cornell trabalharam juntos, a fim de
desenvolverem sites de Internet para seus professores (BLACKBOARD, 2005). Hoje, este
ambiente disponvel comercialmente para entidades que oferecem cursos na modalidade
distncia, contando com uma boa base de clientes. A verso analisada neste estudo foi a
nmero 5.
O ambiente oferece instrumentos para o desenvolvimento de materiais didticos
como planos de estudo e cronogramas on-line, com quatro reas principais de
funcionalidades:
- Gerenciamento de Contedo - ferramentas para publicao de material;
- Comunicao - ferramentas de colaborao sncronas e assncronas;
- Avaliaes - capacidade de criao de testes, avaliaes e boletim de
notas;
- Controle - ferramentas gerenciais para professores e pessoal acadmico;
- Multilnge - permite selecionar a lngua de navegao e instrues de uso
de acordo com o curso.
Para os usurios cadastrados, o acesso ao ambiente feito a partir de uma tela de
abertura denominada MyBlackboard (Figura 23), que uma rea na qual esto disponveis
informaes sobre cursos e ferramentas do ambiente tais como: e-mail, notas, calendrio,
tarefas propostas, diretrio e agenda. Alm disso, MyBlackboard fornece opes para criar,
gerenciar e/ou participar de cursos.


54

Figura 23 - Tela de abertura do Blackboard My Blackboard.
As atividades de avaliao so acessadas a partir da opo Assessment do Painel
de Controle (Figura 24). Algumas delas so mostradas na Figura 25. A partir dessa opo, o
Blackboard fornece uma srie de questes que podem ser usadas para atividades discentes.
Com essas questes, o professor pode avaliar conceitos, fornecer exerccios, apurar opinies,
administrar as avaliaes dos cursos (Assessment Manager, disponvel no Painel de Controle),
dentre outros.

Figura 24 - Painel de controle do Blackboard na viso do instrutor.
Assessment
Manager


55

Figura 25- Criar nova avaliao.
As alternativas de avaliao esto organizadas em duas opes de elaborao,
descritas a seguir:
a) Survey: essa opo possibilita criar avaliaes que registram respostas
anonimamente. Pode servir como parmetro inicial de apurao de aprendizagem da turma,
funcionando como um pr-teste;
b) Quiz/Test: nessa opo, podem ser atribudos pesos a cada pergunta. Os
resultados podem ser registrados para cada aluno no Gradebook
4
(Figura 26). O Gradebook
pode ser usado em conjunto com a planilha eletrnica do ambiente (Spreadsheet View),
disponibilizando para o professor uma ferramenta para gerenciar as avaliaes submetidas aos
alunos. Com ela, o professor pode visualizar, tal como em uma caderneta escolar, todos os
alunos do curso e a diviso de todos os possveis parmetros de avaliao utilizados. Assim, o
professor pode acompanhar o desempenho individualmente.

Figura 26- Recurso de avaliao no Blackboard Gradebook.

4
Denominao do modulo no qual gerenciadas as notas dos alunos tal como uma espcie de caderneta escolar.


56
O professor tambm pode avaliar o desempenho dos alunos por meio de suas
participaes em diversas reas do ambiente no Blackboard, usando para isso, as ferramentas
relativas a frum (Discussion Board), e-mails, Digital Drop Box, Virtual Classroom, dentre
outras. A sua utilizao como parte do processo de avaliao acontece de maneira informal,
pois o Blackboard no explicita a utilizao desses recursos para tal propsito, cabendo ao
professor, aproveitar as ferramentas com o objetivo de avaliao, agregando novas funes
quelas para as quais as ferramentas foram implementadas, na maioria dos casos, para
aumentar a efetividade da comunicao no ambiente.
4.4.3 WebCT
O WebCT um ambiente virtual de ensino corporativo, desenvolvido pelo
Departamento de Cincia da Computao da University of British Columbia, Canad
(WEBCT, 2005). O WebCT (Web Course Tools) fornece um conjunto de ferramentas que
facilita a criao de cursos educacionais baseados no ambiente WWW. Ele tambm pode ser
utilizado como ferramenta complementar de um curso j existente, na disponibilizao de
material. A verso avaliada em tal anlise foi a de nmero 3.6.
O Webct orientado a objetos, provendo um conjunto de ferramentas teis para
diferentes estratgias de cursos. De acordo com a sua documentao, o ambiente aberto o
suficiente para a construo de cursos que privilegiam a transmisso de contedo ou a
comunicao, ou o processo de avaliao. Entre os recursos oferecidos, esto o Chat, grupo
de discusso, e-mail, criao de testes e avaliaes e vrios recursos especficos para o
professor acompanhar o andamento do curso.
As ferramentas do WebCT esto separadas em trs funes bsicas e
complementares em relao ao curso: a) Desenvolvimento, que inclui ferramentas para
auxiliar professores a criar, montar e customizar seus cursos (Construtor WebCourse e a
Ferramenta de Programa), b) Disponibilizao, que incluem ferramentas de comunicao e
colaborao, e c) Avaliao e Gerenciamento do curso.
O acesso a um curso no WebCT, feito atravs de uma rea denominada
myWebCT vinculada a um usurio, tal como o myBlackboard do ambiente Blackboard. Neste
contexto, no myWebCT (Figura 27) so apresentadas informaes sobre o(s) curso(s) que se
administram e/ou esto inscritos, alm da possibilidade de criar cursos, inscrever e/ou
cancelar a participao em outros.


57

Figura 27 Tela de abertura do WebCT myWebCT.
A barra de menu no ambiente WebCT do curso inscrito contm uma estrutura
bsica que apresenta vnculos para o myWebCT, Resumo do Curso, Mapa de Curso,
Recursos (somente disponvel na viso projetista
5
) e Ajuda.
As atividades de avaliao podem ser realizadas no WebCT atravs das
ferramentas Communications tools, Quiz/Survey Database Management e On Line
Gradebook, descritas a seguir:
1.Communications Tools (ferramentas de comunicao). Est disponvel o Chat,
e-mail, listas de discusso e o quadro negro virtual. Tais ferramentas alm de serem utilizadas
para a comunicao entre os participantes do curso, podem ser locais de observao para o
professor no intuito de avaliar seus alunos. Entretanto, em nenhum momento, esta
possibilidade explicitada ao professor no WebCT.
2.Quiz/Survey Database Management (Figura 28). responsvel pelo cadastro
de uma base de perguntas e gerenciamento de atividades tais como provas, exerccios e
outras. Esse recurso apresenta as informaes obtidas do aluno relacionado disponibilidade
da avaliao, sua durao e respectivas notas.
Com relao s questes, estas podem ser do tipo: mltipla escolha, respostas
curtas, pargrafo, associao, auto-teste e de clculo.

5
No WebCT, so adotados vrios tipos de funes para as pessoas que participam do curso. O projetista o
designer do curso responsvel em adapt-lo de forma organizada para o professor utilizar. Nada impede, no
entanto, que esta funo possa ser realizada pelo professor ou qualquer outro usurio que conduzir o curso.



58
Em particular, as opes relativas ao tempo em que uma avaliao estar
disponvel, em quanto tempo deve ser realizada, a nota, quantas tentativas podem ser
realizadas e quantas j foram feitas, consistem em um Feedback para o aluno e para o prprio
sistema. Esse estar alimentando uma base de dados com as informaes obtidas das opes
citadas anteriormente que poder ser utilizada pelo professor na avaliao do aluno.

Figura 28 - Ferramenta para criar e gerenciar avaliaes no WebCT.
As aes a serem realizadas para a construo de uma avaliao ou exerccio no
WebCT so relativamente fceis de serem executadas. necessrio, no entanto, um breve
treinamento por entre as partes do ambiente. As pginas subseqentes a da Figura 28 esto
relacionadas com a seleo de objetos dispostos na tela. A rea direita, na tela, utilizada
para a insero, edio e excluso de exerccios/avaliaes. Na rea esquerda da tela, so
apresentadas as informaes sobre os itens inseridos, tais como: ttulo, com link para a pgina
correspondente, se disponvel ou no ao aluno, tempo de durao para a sua realizao, pontos
correspondentes e resultados.
3 On Line Gradebook. uma ferramenta utilizada para gerenciar as notas de
avaliao dos alunos. Primeiramente, necessrio que os alunos estejam cadastrados para que
sejam inseridas as notas (Figura 29). A tarefa de gerenciar o cadastro de alunos bem simples
e pode ser realizada a qualquer momento pelo professor. Aps a seleo de quais alunos
devem ser utilizados para a insero das notas, preciso estipular quais notas devero ser
atribudas (colunas na tabela apresentada na Figura 30)e como ser o clculo dessas notas
(pesos das notas e mdia).
uma ferramenta interessante para o professor na avaliao dos alunos. A
utilizao deste recurso possibilita ter acesso a todas as ferramentas do ambiente utilizadas


59
pelo professor para avaliar o aluno e gerenci-las em um nico local do curso. Todas as
colunas presentes na Figura 30 podem ser adaptadas a cada realidade. No exemplo, foram
inseridas notas para freqncia, avaliao 1, avaliao 2, exame e nota final, que calculada
pela frmula editada conforme mostra a Figura 29.

Figura 29 - Ferramenta para calcular notas.


Figura 30 - Ferramenta para gerenciar notas.
O WebCT ainda fornece outras ferramentas na rea de gerenciamento de alunos
cadastrados no curso que registram diversas atividades realizadas, tais como: visita das
pginas, participao do frum, dentre outras. Os registros podem ser utilizados para fornecer
subsdios ao professor para uma avaliao aprofundada da aprendizagem de seus alunos. Na
Figura 31, apresentada uma tela de um curso em que o professor se utiliza de vrias
ferramentas para apresentar ndices de aproveitamento customizadas por ele para a avaliao
de seus alunos.


60

Figura 31 - Relatrio das aes realizadas pelo aluno no WebCT.
O WebCT tambm possui algumas ferramentas adicionais para a realizao da
atividade de avaliao. Vrios recursos que podem ser utilizados pelo professor, mas que no
so bem explicitados no processo de instalao do ambiente. A instalao padro
disponibiliza apenas as ferramentas bsicas.
A ferramenta de gerenciamento de notas, tambm presente no Blackboard, um
recurso que pode ser comparado ao preenchimento de um dirio de classe na prtica educativa
realizada presencialmente.
4.4.5 TelEduc
O TelEduc um ambiente para a criao, participao e administrao de cursos
na Web. Ele foi concebido tendo como alvo o processo de formao de professores para
informtica educativa, baseado na metodologia de formao contextualizada desenvolvida por
pesquisadores do NIED (Ncleo de Informtica Aplicada Educao) da UNICAMP
(TELEDUC, 2005).
O TelEduc foi desenvolvido de forma participativa, ou seja, todas as suas
ferramentas foram idealizadas, projetadas e depuradas segundo necessidades relatadas por
seus usurios. Com isso, ele apresenta caractersticas que o diferenciam dos demais ambientes
para educao distncia que esto atualmente disponveis no mercado, como a facilidade de
uso por pessoas no especialistas em computao, a flexibilidade quanto a como us-lo e um
conjunto enxuto de funcionalidades. Nessa anlise, foi utilizada a verso 3.1.8.


61
A intensa comunicao entre os participantes do curso e ampla visibilidade dos
trabalhos desenvolvidos, so tambm pontos importantes. Por isso, foi desenvolvido um
abrangente conjunto de ferramentas de comunicao como: correio eletrnico, grupos de
discusso, mural, portiflio, dirio de bordo e bate-papo, alm de ferramentas de consulta s
informaes geradas em um curso, como a ferramenta Intermap e o relatrio de Acessos.
Um curso criado no ambiente TelEduc (Figura 32) desenvolvido ao redor de um
conjunto de atividades sugeridas pelo professor, denominado formador. O TelEduc, assim
como os outros ambientes analisados, tambm utiliza a diviso de atores para a distribuio de
funes. Os formadores so exclusivamente responsveis pela conduo do curso, enquanto o
administrador responsvel pela criao do mesmo.
Para a resoluo das atividades, o ambiente fornece aos alunos, um conjunto de
recursos, nos quais o professor/formador disponibiliza informaes que esto relacionadas
com a temtica do curso. Alm disso, o ambiente fornece recursos de comunicao que visam
possibilitar o acompanhamento do processo de aprendizagem do aluno, alm de permitir um
contato constante entre o professor/formador e os alunos do curso e entre os prprios alunos.
No canto esquerdo da tela de abertura de um curso criado no TelEduc (Figura 32)
esto dispostas as opes correspondentes s vises do aluno e do professor/formador. Todas
as ferramentas oferecidas pelo TelEduc esto disponveis na opo Estrutura do Ambiente.

Figura 32 - Tela de abertura de um curso no TelEduc.
Os mecanismos de avaliao, na forma apresentada por outros ambientes virtuais
j analisados, com a disponibilizao de banco de questes, tipos de questes mltipla


62
escolha, verdadeiro/falso, no so encontrados no TelEduc. A avaliao pode ser realizada
atravs de exerccios e/ou tarefas distribudas juntamente com os materiais didticos
acompanhada de elementos relacionados ao acompanhamento do desempenho dos alunos.
A avaliao auxiliada pelas ferramentas: Dirio de Bordo, Portflio, Acessos e
Intermap, alm do uso de ferramentas de comunicao, tais como: Correio, Bate-Papo e
Frum. Abaixo, a Figura 33 ilustra o processo de criao de uma avaliao a partir de um
Frum de Discusso e a Figura 34, a lista de avaliaes de um curso.

Figura 33- Cadastro de avaliao - Frum.



63

Figura 34 Lista de Avaliaes de um curso.

Na ferramenta de Portiflio (Figura 35), os participantes do curso podem
armazenar textos e arquivos a serem utilizados ou desenvolvidos durante o curso, bem como
endereos da Internet. Esses dados podem ser particulares, compartilhados apenas com os
formadores ou entre todos os participantes do curso. Cada participante pode ver os portiflios
dos demais, podendo ainda fazer comentrios sobre eles. Esta rea de armazenamento deve
ser utilizada pelos alunos para disponibilizao de materiais.
H basicamente dois tipos de Portiflios: os Individuais/Pessoais - pertencentes a
uma nica pessoa - e os de Grupos - pertencentes a todos os componentes de um mesmo
grupo. A barra de ttulo da tela Portiflio Pessoal indica o nome do usurio a quem ele
pertence, fornecendo acesso ferramenta Perfil, podendo contatar o mesmo, se necessrio.
Aliado a isto, h a possibilidade de comentar o material. O comentrio mostra que o
integrante visitou o material proposto, propondo sugestes e/ou outros materiais.


64

Figura 35 Portiflio no TelEduc.


Figura 36 Ferramenta acessos.
A ferramenta Acessos (Figura 37) permite acompanhar a freqncia de acesso dos
usurios ao curso e s suas ferramentas, atravs de relatrios que podem ser configurveis.
Com esses relatrios, o professor possui subsdios para acompanhar os acessos dos alunos e
poder tomar as devidas providncias com relao entrada no curso e realizao de tarefas.


65

Figura 37 Relatrio de acessos no TelEduc.
A ferramenta Intermap, (ROMANI, 2000) incorporada nessa verso analisada,
fornece um recurso interessante, pois permite aos formadores, visualizar a interao dos
participantes do curso nas ferramentas de Correio, Grupos de Discusso e Bate-Papo, por
meio de grafos ou de tabelas. Na Figura 38, apresentado um grafo com as interaes de
correio realizadas em uma determinada faixa de dias. Neste grafo, o professor pode visualizar
a quantidade de mensagens enviadas e os nomes dos integrantes do curso. Alm disso, a
ferramenta pode ser configurada para a apresentao dos participantes que enviaram
mensagens (grafo direcionado).


66

Figura 38 Grafo gerado pelo Intermap no TelEduc.

4.5 Entrevistas com usurios
As entrevistas com usurios de ambientes virtuais de ensino foram realizadas com
o objetivo de estabelecer critrios para uma boa avaliao on-line, onde se buscaram subsdios
para definio de requisitos e para coletar informaes acerca das facilidades, dificuldades e
necessidades dos professores que utilizam o referido ambiente e que necessitam avaliar seus
alunos.
As entrevistas com professores usurios foram baseadas no preenchimento de um
questionrio (disponvel no Apndice A) enviado por e-mail.
O questionrio foi elaborado a partir da anlise dos ambientes virtuais usados na
anlise de competidores e aplicado junto a educadores que ministram ou ministraram cursos
on-line nesses AVE selecionados e em outros no analisados. Ele contm 08 (oito) perguntas
relacionadas com o perfil do professor, ambiente utilizado e o sistema de avaliao. As
perguntas relativas avaliao foram direcionadas da seguinte forma: qual o sistema de
avaliao adotado e quais as dificuldades/solues encontradas durante a avaliao.


67
A partir do questionrio elaborado, a necessidade era encontrar os docentes que
concordassem em respond-lo. Esses professores foram selecionados a partir de uma consulta
a sites de instituies que usam o Ensino a Distncia e em Listas de Discusso sobre Ensino a
Distncia como a da Universidade Estadual de Campinas (UNICAMP, 2005).
Depois de identificados os docentes que poderiam contribuir respondendo o
questionrio, foi ento enviado um e-mail contendo uma breve descrio da pesquisa e o
propsito do questionrio enviado, deixando-o vontade para respond-lo. Foram enviados
questionrios para 87 potenciais usurios.
O Quadro 1 mostra quantos usurios responderam a pesquisa e quais os ambientes
mais utilizados.
Quadro 1- Distribuio dos instrumentos de coleta por ambientes virtuais.
Ambiente Virtual Utilizado Questionrios Recebidos
AulaNet 5
TelEduc 9
WebCT 2
Outros 4
TOTAL 20
A princpio, acreditou-se que o nmero de questionrios respondidos seria
insuficiente para se obter alguns requisitos da pesquisa, porm, pelo teor das respostas e
sobretudo pelo perfil dos que responderam, considerou-se ser de grande valia para esta etapa
da pesquisa.
Os critrios que levaram a escolha do ambiente virtual, por parte dos
participantes, quando explicitados, aconteceram por um ou mais, dentre os motivos
enumerados abaixo o percentual entre parnteses refere-se ao principal motivo apontado:
a) O ambiente disponvel gratuitamente (35%);
b) O ambiente foi definido pela instituio onde o participante atua (20%);
c) O ambiente proporciona facilidade de uso (15%);
d) O ambiente foi escolhido em funo do professor atuar no desenvolvimento ou
customizao do mesmo (10%);
e) O motivo de escolha se deu pelo interesse de conhecer melhor e aproveitar ao
mximo os recursos do ambiente (10%);
f) outros motivos indicao de colegas, ter utilizado como aluno etc. (10%)


68
Um importante aspecto observado nas respostas a questo da qualificao dos
professores para usarem os ambientes virtuais de ensino. A questo dos treinamentos ainda
um ponto ainda a ser melhorado, pois apenas 9 dos 20 professores que responderam aos
questionrios tiveram algum tipo de treinamento formal no ambiente. Os demais usaram os
prprios sistemas de ajuda e manuais dos ambientes, recorreram a algum colega que j tinha
experincia ou simplesmente se familiarizaram sozinhos com o ambiente. Alguns admitem
que tal dificuldade impe restries ao desenvolvimento de novos cursos e formas de
avaliao.

4.6 Cenrios de uso

O termo Cenrio usado com vrios significados na literatura em planejamento
estratgico, engenharia de software e HCI (Human Computer Interaction) (BDKER, 2000).
O cenrio, como tcnica de representao de situaes, usado durante a anlise de um
sistema de informao a fim de expressar os objetivos dos usurios desse sistema. Um cenrio
representa uma situao fictcia que poder ser vivenciada por um usurio, quando em
determinado momento realiza uma ao e deseja obter um resultado. Ajuda a entender e criar
sistemas computacionais que sirvam como artefatos mediadores da atividade humana - como
ferramentas educacionais, ferramentas de trabalho e interao entre pessoas (CARROLL,
2000a).
O uso de cenrios no processo de design focado em usos futuros do sistema
pelos usurios. Exemplos comuns so utilizados criando-se cenrios que ajudem a pensar em
reflexes e aes, situaes comuns e crticas, ou ainda a retratar situaes teis que auxiliem
grupos de usurios e designers a expressar sua criatividade (BDKER, 2000). Dentro desse
conceito, pode-se pensar em formas de inserir tais elementos no processo de avaliao em
EaD, de maneira a criar possveis situaes e diagnosticar problemas, e a partir de uma anlise
das observaes, buscar alternativas mais apropriadas para melhor conduzir o processo.
De acordo com Carrol (2000b), os elementos que caracterizam um cenrio so:
O ambiente: aborda um estado inicial para o episdio a ser narrado, descrevendo
tanto o ambiente fisicamente dimenses e posies dos objetos, quanto as
pessoas que dele fazem parte.


69
Atores ou agentes: so os personagens do episdio descrito. Pode haver vrios
agentes e cada um pode possuir objetivos, ou seja, mudanas que esperam
alcanar nas circunstncias especficas do ambiente. Dentre vrios, geralmente h
um ator/agente principal (sobre quem a histria) com um objetivo definidor do
cenrio (o por qu da histria).
O roteiro: seqncia de aes e eventos que representa o que os atores fazem
durante o episdio, o que lhes acontece e que mudanas ocorrem no ambiente.
Aes e eventos podem ser irrelevantes, obstruir, facilitar ou mesmo mudar os
objetivos dos atores.
Para se criar um cenrio, deve-se identificar situaes e operaes especficas que
ocorrem na prtica. Bdker (2000) prope trs razes principais para que se faa e use
cenrios no design: solues situadas no presente, ilustraes de solues alternativas e das
solues alternativas para identificar problemas potenciais.
Os cenrios necessitam estar em harmonia com a situao que se deseja
considerar. Eles permitem confrontar perspectivas e estimular o surgimento de novas idias.
Pequenos cenrios podem ser utilizados na avaliao de prottipos. Pode-se tambm, utilizar
cenrios a partir de resultados de trabalhos etnogrficos (CARROLL, 2002). Eles so tambm
utilizados para testar usurios em determinadas situaes e motiv-los a cumprir certas
atividades.
Os bons cenrios no so uma descrio destacada de tarefas do usurio e suas
aes. Eles so roteiros seletivos que encenam aes do usurio em situaes que se deseje
avaliar; so meios de assegurar determinadas situaes e como elas podem ser mudadas por
causa de um projeto. Representam o referencial sobre as situaes, problemas ou solues,
facilitando as aes dessa maneira, sem interferncia no controle de prottipos ou simulaes.
Atualmente, cenrios tm sido muito utilizados no projeto e desenvolvimento de
artefatos tecnolgicos e aplicaes computacionais (CARROLL, 2000a). Eles provm uma
visualizao concreta das vrias possibilidades futuras de uso do novo produto, permitindo
identificar requisitos e possveis dificuldades (CARROLL, 2000b). O contexto de uso do
futuro sistema pode ser descrito, em forma de cenrios, logo no incio do processo de
desenvolvimento, por intermdio de diversos episdios de uso. O foco das descries no as
operaes do sistema, mas o modo de sua utilizao pelas pessoas para realizar suas


70
atividades. Dessa forma, o projeto ser orientado pelas aes e experincias das pessoas que
iro de fato utilizar a tecnologia (CARROLL, 2000b).
Cenrios so flexveis e podem ser adaptados para o interesse especfico dos
projetistas. Por exemplo, cenrios fechados fornecem respostas mais detalhadas e restritas a
uma determinada situao, enquanto cenrios abertos do respostas conceituais e amplas
(BDKER, 2000). No desenvolvimento do produto, as necessidades variam e os cenrios
devem acompanh-las. Uma forma, por exemplo, de forar a reflexo tanto de projetistas
quanto de usurios levar aos extremos, o desenrolar das atividades dos usurios, preparando
cenrios para explicitar os prs e contras do novo produto. So os chamados cenrios
positivos - plus scenarios- extremamente otimistas, nos quais o usurio no tem dificuldades
com a introduo da nova tecnologia e negativos - minus scenarios- enfatizando as situaes
indesejveis e os possveis problemas (BDKER, 2000).
Em resumo, a utilizao de cenrios uma tcnica de ampla aplicao (Id. Ibid.)e
fica a cargo dos projetistas saber tirar o melhor proveito dela. Cenrios podem variar de
descries da vida real e atual do usurio at construes imaginrias de situaes futuras.
Eles podem ser extremamente especficos ou bem mais genricos, representar situaes
tpicas ou crticas, ser caricaturados positiva ou negativamente e ser usados em diversas fases
de projeto.
Em todos os casos, porm, eles descrevem a atividade do usurio em seu
ambiente, permitindo a visualizao concreta de sua prtica situada, levando em considerao
sua interao com o grupo e com os artefatos e todos os fatores externos que afetam suas
atividades.
Para o ambiente de avaliao em EaD, sero projetados diversos cenrios, tanto
para implementao atual quanto para possibilidades futuras.

4.7 Prototipao
A prototipao consiste na construo de um modelo (prottipo) do sistema a ser
implementado. No processo de desenvolvimento de sistemas de informao, os prottipos so
utilizados para auxiliar os projetistas e desenvolvedores de sistemas a construir aplicaes que
sejam intuitivas e de fcil utilizao por parte de seus usurios (SNYDER, 2003).


71
Os prottipos so valiosas ferramentas no projeto de sistemas interativos. Eles
podem auxiliar na avaliao de alternativas de design a qualquer estgio do processo de
desenvolvimento. Durante a fase conceitual, os elementos bsicos do design podem ser
explorados e testados junto com os usurios. Ao serem projetadas as telas, menus, relatrios e
levantadas as formas de interao em maior detalhe, essas questes podem ser discutidas,
avaliadas e testadas. A seguir, modelos mais elaborados podem ser utilizados para dar uma
viso antecipada da aplicao final. O prottipo freqentemente usado para elicitar e validar
requisitos do sistema (KOTONYA, 1998).
O emprego da prototipao ajuda a melhorar o design pois possibilita a converso
das especificaes bsicas, ainda que algumas vezes intangveis, em um modelo operacional
tangvel, mesmo limitado, do sistema desejado. O feedback recebido dos usurios, obtido a
partir da utilizao de um modelo do sistema com o qual eles podem interagir, facilita a
obteno de respostas e avaliao dos usurios, feedback esse que o analista ir utilizar para,
eventualmente, modificar os requisitos originais, bem como elaborar novas especificaes
(SNYDER, 2003).
O uso de prottipos no recente. Desde a dcada de 50, j se utilizavam
prottipos de artefatos industriais para auxiliar em seus projetos (LINDA, 1996). A
construo desses prottipos porm, era em escala prxima da real e consumia um tempo
significativo do projeto, havendo tambm uma concentrao nos aspectos fsicos dos
prottipos.
Com o surgimento de ferramentas CAD (Computer Aided Design) e CASE
(Computer Aided Software Engineering), a prototipao nos monitores dos computadores
passou a ser muito mais eficiente e feita em menor tempo (LINDA, 1996), o que se chamou
de prototipao rpida, com a gerao de mock-ups em curtos perodos de tempo.
A prototipao se apresenta sob diversas formas - desde esquemas simples em
papel ou softwares cujos usurios podem utilizar diversos controles e objetos (disponveis em
ferramentas RAD - Rapid Application Development), at a utilizao de ferramentas em
linguagens de programao. Muitos desenvolvedores podem utilizar vrias destas ferramentas
durante o processo de prototipao. Por exemplo, uns utilizaro esquemas em papel na anlise
inicial para facilitar um feedback concreto dos usurios e depois desenvolvero um prottipo
operacional utilizando linguagens de programao durante a fase de projeto (SNYDER,
2003).


72
Para o desenvolvimento dos prottipos para o mdulo de avaliao do
AMADEUS, foram utilizados desde os modelos mais simples em papel, passando por
modelos em slides de software de apresentao (PowerPoint) at a linguagem de hipertexto
HTML. Alguns deles sero mostrados no Captulo 5, seo 5.4.
Na definio dos prottipos foram seguidos alguns padres de interface, pois a
ausncia de uma padronizao mnima, entre cada uma das diferentes formas de avaliao,
pode fazer com que o usurio tenha que reaprender toda a navegao do mdulo, para cada
uma das interfaces do ambiente.
As metodologias descritas no presente Captulo, aplicadas exatamente na ordem
que foram apresentadas, serviram como importantes instrumentos de coleta de dados e
conhecimento do problema da avaliao on-line. Partindo-se de um processo de conhecer bem
como funcionam alguns ambientes virtuais e como so feitas as avaliaes nos seus
respectivos cursos, coletando opinies e identificando necessidades de usurios desses
ambientes, projetando cenrios de uso e finalmente, elaborando os primeiros prottipos da
proposta de ferramentas de avaliao do AMADEUS, com base na boa quantidade de
requisitos identificados . Os resultados da aplicao dessas metodologias sero mostrados no
prximo captulo.


73
5 Resultados


5.1 Anlise de competidores

A anlise da concorrncia dos ambientes virtuais foi necessria para a coleta e
anlise das informaes (requisitos) sobre os recursos existentes em tais ambientes e de apoio
s atividades de avaliao selecionadas. Entretanto, apenas o ltimo passo da metodologia
apresentada por Porter (2005), que est relacionado com as capacidades, descritas pelos
pontos fortes e fracos de cada concorrente na questo da avaliao, ser explicitado na anlise
(GOMES, 2004).
Na efetivao da anlise da concorrncia dos ambientes, foram criados cursos
para testes e utilizados os manuais disponveis para cada um dos ambientes selecionados.
Ao final da anlise, os resultados apontaram possveis guidelines (padres) para
mdulos de avaliao on-line em ambientes virtuais de ensino. Os requisitos gerados pela
anlise dos competidores sero mostrados na seo 5.3 neste Captulo.

5.1.1 Comparativo entre os mtodos de avaliao nos ambientes
Cada ambiente analisado produz um diferente tipo de feedback para o aluno e/ou
professor. Esse retorno pode ser em forma de relatrios ou tabelas nas telas. A possibilidade
de customizao desses relatrios e tabelas foi uma necessidade verificada para os quatro
AVE.
Um aspecto bastante relevante uma certa facilidade no uso dos ambientes e,
particularmente, a criao de avaliaes feita a partir de testes com respostas j cadastradas
ou por meio de alguma ferramenta de comunicao.
Os relatrios gerados atravs do rastreamento das tarefas executadas pelos alunos
nos ambientes virtuais estudados um bom recurso para o professor tomar conhecimento da
freqncia/participao e o ritmo de aprendizagem de cada aluno.



74
AulaNet
correto afirmar que o AulaNet apresenta um bom conjunto de funcionalidades
que facilitam o processo de avaliao formativa, na medida em que registra todas as
interaes e permite a avaliao das atividades colaborativas por meio de conceitos e
comentrios. Essa avaliao fornece feedback aos professores e aprendizes, possibilitando
reformulaes na forma de ensinar e aprender. A avaliao por meio de exames, tambm pode
ser til nesse processo, se tiver como objetivo melhorar o processo de ensino-aprendizagem
em andamento. Alm disso, os relatrios de avaliao fornecidos pelo ambiente mostram
estatsticas quantitativas e qualitativas sobre a participao dos aprendizes, contribuindo para
que o professor faa um acompanhamento contnuo do desempenho de cada um, podendo
detectar possveis problemas e fazer os ajustes necessrios.
Blackboard
As ferramentas disponveis no Blackboard, para que o professor tenha condies
de avaliar a aprendizagem de seus alunos e monitorar suas atividades so igualmente simples,
pois seguem o mesmo padro de preenchimento de formulrios utilizados em todas as tarefas
realizadas no ambiente. As demais ferramentas de comunicao disponveis tambm podem
ser utilizadas pelo professor para o mesmo propsito, mas esta possibilidade no
mencionada na documentao disponvel relativa a esse ambiente.
WebCT
As aes a serem realizadas para a construo de uma avaliao ou exerccio no
WebCT so relativamente fceis de serem executadas. necessrio, no entanto, um breve
treinamento por entre as partes do ambiente. So vrias ferramentas disponibilizadas, podendo
inclusive serem utilizadas para um processo de avaliao formativa.
Contudo, se adotado, o processo de avaliao formativa no WebCT ainda tem-se
uma sobrecarga de trabalho muito grande para os professores no acompanhamento do grande
volume de dados gerados pelas interaes dos alunos e na gerao de feedback significativo
para eles, podendo comprometer todo o processo formativo. Algumas das razes para essa
sobrecarga so as seguintes: O professor precisa realizar uma anlise qualitativa das
participaes e no tem onde registrar as informaes de acompanhamento da participao de
cada aluno, precisando fazer anotaes paralelas ao ambiente - com exceo do recurso
Tarefas, que possibilita esse registro (GOMES, 2004).


75
Os nicos mecanismos existentes para a gerao de feedback aos aprendizes,
sobre seu desenvolvimento, so as notas e comentrios fornecidos pelo professor em
atividades realizadas no servio Tarefas e as notas recebidas nos testes. Os recursos
fornecidos pelo WebCT para auxiliar no acompanhamento da participao dos aprendizes
restringem-se aos relatrios com dados quantitativos de acessos e s tabelas de notas
divulgadas, no havendo auxlio ao professor na organizao, recuperao, consolidao e
anlise das participaes relevantes.
TelEduc
A atividade de avaliao no TelEduc, para permitir que o professor elabore provas
e testes automticos, onde so formuladas questes de tipos distintos e as respostas podero
ser armazenadas e corrigidas por uma ferramenta, no existe de fato. As ferramentas
disponveis com relao gerao de relatrios produzem resultados bem menores que o
AulaNet, por exemplo. Mas a visualizao atravs de grafos das interaes ocorridas em
algumas ferramentas do ambiente muito interessante e pode ser levada em conta. Contudo,
necessrio um apoio ao professor para interpret-los. Um diferencial de concorrncia para o
TelEduc seria um guia de interpretao para o Intermap (ROMANI, 2000).
Resumo dos mtodos de avaliao nos ambientes analisados
Os quadros resumos dados a seguir mostram as principais caractersticas dos
processos e ferramentas de avaliao nos quatro ambientes analisados. Observa-se que
algumas caractersticas esto presentes em todos eles, como o caso das ferramentas de
comunicao (tais como chat, frum, e-mail etc.). Os testes do tipo mltipla escolha e
similares tambm so instrumentos de avaliao bastante utilizados.
O Quadro 2 mostra as principais ferramentas e tipos de avaliao em cada
ambiente. O Quadro 3 descreve as caractersticas positivas desses ambientes, na forma de
pontos fortes e o Quadro 4, apresenta, sob mesma anlise, algumas carncias nas verses
analisadas dos ambientes.


Quadro 2 Principais recursos para avaliao nos ambientes analisados.
RECURSOS/AMBIENTE AulaNet Blackboard WebCT TelEduc
Gerenciador de Avaliaes No Sim Sim No
Banco de Questes Sim No Sim No
Ferramentas de Comunicao Sim Sim Sim Sim
Relatrios de Participao e Acessos Sim No Sim Sim
Gerenciamento de Notas No Sim Sim Sim
Diversos Tipos de Questes Sim Sim Sim No

Quadro 3 Pontos fortes nos ambientes analisados.
AMBIENTE AulaNet Blackboard WebCT TelEduc
Pontos Fortes
Banco de questes;
Facilidade na elaborao das
provas;
Facilidade na atribuio de
notas e conceitos;
Facilidade na criao de
atividades de comunicao;
Classificao das questes
segundo a Taxonomia de
Bloom;
Relatrios com informaes
sobre a participao dos alunos
em cada atividade que
permitem analisar o
desempenho individual ou de
uma turma.
Facilidade para criaes de
avaliaes;
Banco com diversos tipos de
questes que podem ser
compartilhadas entre cursos;
Testes protegidos por senha,
com durao especificada por
data e hora;
Spreadsheet View Planilha
de visualizao de todos os
alunos de um curso e suas
avaliaes.
On-line Gradebook Controle
de notas em nico local.
Facilidade na elaborao de
provas e testes;
O professor pode criar testes
com questes de cinco tipos
diferentes;
On-line Gradebook Controle
de notas em nico local com
possibilidades de estabelecer
diferentes parmetros e
frmulas para clculo das
notas;
Relatrio das aes realizadas
pelos alunos dentro de cada
curso.
Foco na avaliao das
interaes dos alunos
dentro do ambiente, nas
ferramentas assncronas e
sncronas;
Ferramentas de
visualizao de acessos e de
interaes entre os
participantes (Acessos e
Intermap)
Facilidade na criao de
atividades de comunicao;
Definio clara de objetivos
e critrios das avaliaes;
Ferramentas de auxlio ao
registro e anlise das
participaes nas
ferramentas de avaliao.




77
Quadro 4 Pontos fracos nos ambientes analisados.
AMBIENTE AulaNet Blackboard WebCT TelEduc
Pontos Fracos
Gerenciador de avaliaes
focado apenas em provas de
mltipla-escolha,
verdadeiro/falso ou
discursivas;
O aluno no tem uma viso
geral dos tipos de avaliaes
que far, nem tampouco de
seus respectivos pesos;
No h ferramentas que
possibilitem a rastreabilidade
dos acessos e caminhos
percorridos pelo aluno dentro
do ambiente, seu tempo de
permanncia e suas
preferncias dentro do
ambiente.
No h como registrar no
ambiente, os conceitos ou
notas acerca da participao de
cada aluno nas ferramentas de
comunicao;
O aluno no tem uma viso
geral dos tipos de avaliaes
que far, nem de seus
respectivos pesos;
Ausncia de um gerador de
relatrios configurvel para o
professor, para melhor anlise
e julgamento das atividades de
avaliao no curso em
andamento;
No h ferramentas que
permitam a rastreabilidade das
atividades do aluno.
Utilizao informal de
ferramentas de comunicao
como itens de avaliao.
Anlise apenas quantitativa das
interaes dos alunos dentro
do ambiente;
Sobrecarga do professor no
acompanhamento e anlise
qualitativa do grande volume
de dados de cada estudante
Ausncia de um gerador de
relatrios configurvel para o
professor, para melhor anlise
e julgamento das atividades de
avaliao no curso em
andamento.
Ferramentas de avaliao
centradas na anlise
quantitativa e qualitativa das
participaes dos alunos nas
interaes;
No existe ferramenta
especfica para criao de
testes ou banco de questes;
No h atribuio de pesos de
notas e nem converso para
conceitos;
Ausncia de um gerador de
relatrios configurvel para o
professor;
No existe uma ferramenta que
consolide os dados de todas as
avaliaes realizadas.


Observando os resultados apresentados, notamos que cada ambiente possui
mecanismos de avaliao que so de fcil utilizao pelo professor e aluno. O uso de testes
on-line tambm bastante difundido, assim como a interao a partir das ferramentas de
comunicao, embora essa ltima possa ser feita de maneira informal apenas com a
observao do professor.
Essa anlise nos permitiu uma melhor observao prtica acerca da estrutura de
um gerenciador de cursos virtuais e seus componentes e, sobretudo, influenciou de maneira
significativa nas etapas seguintes do processo de definio dos requisitos propostos nesse
trabalho.

5.2 Cenrios
Os cenrios descrevem aes que refletem a atividade do usurio em uma
determinada tarefa (CARROLL, 2000a). Os cenrios representam a seguir algumas atividades
de avaliao no Ambiente Virtual de Ensino proposto. Essa descrio ao mesmo tempo que
revela parte dessa proposta, atravs dos requisitos que j esto sendo atingidos, gera novas
especificaes, nas quais no se havia pensado antes. Os requisitos atendidos ou descobertos
durante a descrio dos cenrios esto destacados na forma [REQ_CEN 1] (Requisito de
Cenrios 1), por exemplo e sero detalhados na seo seguinte.
Para criao desses cenrios foram considerados os mdulos de planejamento,
criao e correo de avaliaes e o banco de questes do AMADEUS, descritos a seguir:
Mdulo de Planejamento das Avaliaes - Serve para o professor refletir e
definir sobre como ser feita a avaliao da aprendizagem. Ele escolhe o(s) tipo(s) de
avaliao para o curso, definindo:
- Objetivos O que se pretende alcanar ou medir com cada avaliao.
- Critrios Quais etapas de aprendizagem o aluno dever ter cumprido para realizar
cada avaliao, quantas e quais tipos de questes sero usadas e seus
respectivos pesos e a nota final mxima de cada avaliao.
- Perodo Data e hora de incio e fim de cada avaliao, durante o qual estar
disponvel no ambiente.
Nesse mdulo, definido como o ambiente vai calcular as notas de cada avaliao
do aluno e sua nota final, considerando os respectivos pesos das questes e das avaliaes. O


79
detalhamento dos processos de clculo de cada nota do aluno ser mostrado e exemplificado
na seo 5.4.
Mdulo de Criao e Edio das Avaliaes - onde o professor elabora as
provas e atividades que sero inseridas no ambiente de aprendizagem do aluno. Esse mdulo
permite inserir as avaliaes no ambiente do aluno e aceita tambm fotos, gravuras, sons e
vdeo. O professor define as questes das avaliaes, confirma seus critrios e pontuaes e,
posteriormente, navega no ambiente do aluno de forma a visualizar e simular a avaliao,
podendo, nesse caso, alterar, se achar necessrio, as definies feitas no Mdulo de
Planejamento.
As provas podem ser personalizadas para cada aluno, com escolha de diferentes
questes para cada aluno e inverso da ordem em que as alternativas aparecem, quando for o
caso.
Mdulo de Correo e Resultados das Avaliaes - Nesse mdulo, so
disponibilizadas as ferramentas de correo manual e automtica das avaliaes criadas e os
relatrios gerais para o professor e alunos. Na viso do professor, o sistema informa a lista de
avaliaes definidas por curso, seus tipos e perodo de aplicao, que alunos j realizaram-nas
e os conceitos j atribudos e aquelas ainda sem conceitos. Este mdulo indica tambm,
aqueles cursos com avaliaes pendentes. O professor tem acesso s avaliaes de uma turma
ou de um determinado aluno, assim como a seus dados cadastrais, caso necessrio. Ele pode
avaliar e reavaliar atividades, incluindo as de correo automtica.
Na viso do aluno, ele pode identificar suas notas e conceitos e ter feedback de
cada atividade realizada. Por exemplo, ele pode obter comentrios de uma resposta incorreta
ou sobre uma mensagem postada em um frum. Ele tem acesso tambm viso geral do seu
desempenho dentro da disciplina e pode compar-lo com o desempenho mdio dos seus
colegas de turma.
Alguns relatrios so pr-definidos, como por exemplo, a lista de alunos que
fizeram determinada atividade e suas respectivas notas. Outros, tanto o professor quanto os
alunos, podem definir os itens do relatrio e salvar suas opes.
Banco de Questes Repositrio de questes agrupadas por tipo, curso, assunto
e associada a seu nvel de dificuldade e sua resposta correta. Permite criao e edio de
questes. Possui os seguintes tipos de questes:
1. Mltipla Escolha


80
2. Verdadeiro/falso
3. Preenchimento de Lacunas
4. Associao de termos (colunas)
5. Discursivas (abertas)
Tipos 1 a 4 Correes automticas pelo ambiente (tambm com a opo de no
valer nota, apenas para verificao inicial);
Tipo 5 Correo pelo professor (a resposta encaminhada por e-mail ou
armazenada no ambiente, para correo pelo professor).

CENRIO 1 Planejamento de uma avaliao on-line em um curso no
AMADEUS.
Ambiente: O professor est sentado em frente a um computador com acesso
Internet e j efetuou login no Ambiente AMADEUS. Est utilizando o Mdulo de
Planejamento de Avaliao, carregado a partir da opo Avaliao do Menu Principal do
Curso. O professor j cadastrado no ambiente e possui um curso em andamento, para o qual
ir definir as avaliaes.
Ator: O professor definir os critrios gerais das atividades de avaliao.
Roteiro: O professor, aps autenticao com login e senha [REQ_CEN 1], tem
acesso ao mdulo de planejamento de avaliao do AMADEUS, nas disciplinas que est
habilitado como professor [REQ_CEN 2]. Ele escolhe ento, para qual disciplina ele vai
definir os critrios e objetivos de avaliao.
Escolhida a disciplina, sero definidos agora quais tipos de avaliaes sero
utilizados na disciplina [REQ_CEN 3]. As opes so:
1 Questes objetivas (Mltipla escolha, verdadeiro/falso, associao de
termos e preenchimento de lacunas) Questes previamente armazenadas no banco de
questes do AMADEUS ou outras que ele deseje acrescentar a esse banco [REQ_CEN 4]. O
professor pode acessar o banco de questes para revisar ou colocar mais questes daquela
disciplina e pode tambm, definir se o resultado mostrado imediatamente aps cada questo
ser respondida ou somente ao final da avaliao [REQ_CEN 5].
2 Questes discursivas Tambm armazenadas no banco de questes ou
definidas no momento da elaborao de uma avaliao deste tipo [REQ_CEN 6].


81
3 Fruns de discusso O professor pode utilizar esse recurso quantas vezes
necessitar durante o curso on-line. O frum assncrono, com o tema ou proposta definida
pelo professor e cada aluno pode postar sua mensagem de resposta dentro da prpria
avaliao[REQ_CEN 7]. O processo de apurao da participao nos fruns e suas
respectivas pontuaes ou conceitos sero esclarecidos no Cenrio 7.
4 Sala de Debate Virtual Ambiente sncrono onde so agendados
previamente e notificado para os alunos [REQ_CEN8], o tema a ser discutido e o dia e horrio
da interao.
5 Seminrio Virtual Ambiente assncrono semelhante ao frum, mas com a
conduo do processo sendo feita pelos alunos, individualmente ou em equipe, com o
professor apenas acompanhando e avaliando [REQ_CEN9]. O processo de apurao da
participao semelhante ao frum.
6 Produo de textos Opo para o professor solicitar projetos, resenhas e
resumos. O professor disponibilizar o assunto e/ou bibliografia e os alunos produziro o
texto solicitado e encaminharo para o professor [REQ_CEN 10].
7 Avaliao de participao - O professor pode, a partir da observao e anlise
das ferramentas disponveis no ambiente, analisar e avaliar a participao de cada aluno
dentro do curso, atribuindo uma nota ou conceito para cada um no final do curso [REQ_CEN
11].
Ser solicitada a confirmao ao trmino de cada escolha, podendo o professor
escolher novas avaliaes ou concluir essa etapa [REQ_CEN 12]. Aps a escolha dos tipos de
avaliaes que sero utilizadas no curso, o professor ir colocar a identificao da Avaliao
(obrigatria) a qual sero acrescentados automaticamente pelo sistema, o nome do curso e a
numerao seqencial dessa avaliao [REQ_CEN 13]. Ao trmino desta ao, e ao
pressionar o boto OK na tela, o ambiente armazena a avaliao, oferecendo tambm
possibilidade do usurio acessar o mdulo de criao e edio para adicionar as questes e
finalizar o processo de elaborao da avaliao [REQ_CEN 13]. Ainda nessa rea, o professor
pode ter a opo de criar uma nova avaliao, retornando etapa de definio de critrios,
objetivos e tipos de avaliao [REQ_CEN 14].


82
CENRIO 2 Criao, notificao e resoluo de uma avaliao usando
banco de questes objetivas.
Ambiente: O usurio (aluno ou professor) est sentado em frente a um
computador com acesso Internet e j efetuou login no Ambiente AMADEUS Ele est
utilizando o Mdulo de Criao de Avaliao, carregado a partir da opo Avaliao do Menu
Principal do Curso. O usurio j cadastrado no ambiente e possui um curso em andamento.
Atores: O professor far a escolha das questes e o aluno responder aos testes.
Roteiro: 1 - do professor; 2 do aluno.
1 O professor deseja elaborar um teste de mltipla escolha para ser respondido
pelos alunos. Ele define que sero 10 questes, das quais 07 sero escolhidas do banco de
questes e 03 sero novas questes a serem criadas por ele e adicionadas ao banco de
questes[REQ_CEN 15].
Ao entrar no mdulo de planejamento de avaliao, depois de autenticado no
ambiente e dentro do curso que ministra [REQ_CEN 1 e 2], o professor escolhe a opo Nova
Avaliao, do tipo Objetiva, mltipla escolha. No campo quantidades de questes, ele define
que sero usadas 07 do banco (o professor pode escolher ou deixar que o ambiente escolha
aleatoriamente [REQ_CEN 16]) e 03 inditas, que ele pode cadastrar neste momento ou em
outra ocasio. O professor define a nota de cada questo e o peso dessa avaliao, assim como
o perodo de realizao, os seus critrios e objetivos[REQ_CEN 17]. A partir dessas
definies, ele pode dar incio montagem e gerao da avaliao, acionando para isso, o
mdulo de criao e edio de avaliaes (opo Criar, dentro da prpria tela de
planejamento) [REQ_CEN 18]. Dentro no mdulo de criao, ele tem acesso ao banco de
questes, com opes de escolha manual ou automtica pelo sistema (por assunto e por nvel
de dificuldade) ou criar novas [REQ_CEN 16]. Caso resolva cadastrar as novas questes,
basta digit-las nos respectivos campos abertos, com as respectivas respostas e marcar aquela
que corresponde resposta correta [REQ_CEN 19]. Caso no resolva cadastrar essas questes
nesse momento, ele pode deix-las em branco, sabendo que o sistema s disponibilizar a
atividade depois de concludas todas as questes [REQ_CEN 20]. O professor pode fazer
nova opo em utilizar apenas questes do banco [REQ_CEN 16].
O professor define ento o perodo da avaliao (data e hora de incio e trmino) e
o seu respectivo peso [REQ_CEN 17]. Ele pode determinar tambm, se os alunos devem ser
notificados quando a avaliao estiver disponvel ou na sua proximidade [REQ_CEN 21].


83
2 O aluno notificado por e-mail e por avisos dentro do ambiente que uma nova
avaliao est disponvel para ele e o perodo que precisa ser respondida [REQ_CEN 21].
Ao entrar no ambiente, devidamente autenticado, o aluno pode acessar o mdulo
de avaliao para dar incio a sua atividade [REQ_CEN 22]. Caso deseje iniciar sua
atividade, ele seleciona o boto iniciar avaliao e aparece a primeira questo da avaliao
[REQ_CEN 23]. O sistema internamente cronometrar o tempo para cada questo, sendo que
a questo seguinte somente ser visualizada aps a confirmao da resposta na questo atual
[REQ_CEN 24]. O aluno pode deixar a questo em branco, clicando no boto correspondente,
que a nova questo tambm poder ser apresentada [REQ_CEN 25].
Caso o aluno queira interromper seu teste, se a questo atual em exibio no for
respondida, ser automaticamente descartada quando o aluno for retomar sua avaliao
[REQ_CEN 26].
Conforme a definio do professor no planejamento da avaliao, o resultado
mostrado imediatamente aps cada questo respondida ou somente ao final da avaliao
[REQ_CEN 5]. Nesse resultado, so mostradas as questes feitas corretamente e as questes
incorretas so apresentadas com a resposta certa [REQ_CEN 27]. Se o professor tiver
colocado algum comentrio (opcional) em cada resposta, o mesmo ser mostrado para o aluno
[REQ_CEN 28].
O resultado tambm ser armazenado no registro de avaliao do aluno e o
professor ser notificado que aquele aluno realizou a atividade e seu respectivo resultado
[REQ_CEN 29].
CENRIO 3 Correo automtica de uma prova objetiva.
Ambiente: o Mdulo de Correo e Resultados das Avaliaes do AMADEUS
carregado a partir da opo Avaliao do Menu.
Atores: O prprio ambiente e a avaliao realizada. O aluno e o professor so
notificados da ao.
Roteiro: A informao necessria para incio da avaliao se a correo ser
feita imediatamente aps a resposta de cada questo pelo aluno, ou se ao trmino da avaliao
[REQ_CEN 5]. Esse parmetro definido pelo professor no planejamento da avaliao, sendo
confirmado no momento da criao e disponibilizao da avaliao para os alunos. Em
qualquer um dos casos, o ambiente corrigir as questes a partir da anlise das respostas do


84
aluno, em relao s definidas pelo professor para cada questo armazenada. O que diferencia
ambos o momento de apresentar os resultados para o aluno.
Em se tratando da questo objetiva do tipo mltiplas escolhas, verdadeiro/falso ou
associao de termos em colunas, a correo simples e direta, e obtida pela comparao com
a resposta armazenada [REQ_CEN 30]. Se a questo for de preenchimento de lacunas, o
ambiente deve prever pequenas diferenas na escrita da resposta, por exemplo, ignorar a
questo de maisculas ou minsculas ou problemas na grafia (Interativo ou Iterativo? Sesso
ou Seo?) [REQ_CEN 31].
Outras opes do ambiente so os comentrios inseridos em cada resposta. Na
elaborao da questo, por exemplo, quando o aluno acerta uma resposta o ambiente retorna
com um Muito bem! Questo correta. Quando uma resposta for errada, o retorno pode ser a
indicao de qual assunto contempla aquela questo e de que ele deve ser revisado
[REQ_CEN 28].
CENRIO 4 Criao, notificao e resoluo de avaliao com questes
discursivas (abertas).
Ambiente: O usurio (aluno ou professor) est sentado em frente a um
computador com acesso Internet e j efetuou login no Ambiente AMADEUS. Est
utilizando o Mdulo de Criao de Avaliao, carregado a partir da opo Avaliao do Menu
Principal do Curso. Ele j cadastrado no ambiente e possui um curso em andamento.
Atores: o professor que far a escolha das questes e o aluno que responder aos
testes.
Roteiro: 1 - do professor; 2 do aluno.
1 O professor deseja elaborar um teste com questes discursivas para ser
respondido pelos alunos. Ele define que sero 05 questes, das quais 03 sero escolhidas do
banco de questes e 02 sero novas questes a serem criadas por ele e adicionadas ao banco
de questes [REQ_CEN 32].
Ao entrar no mdulo de planejamento de avaliao, depois de autenticado no
ambiente e dentro do curso que ministra [REQ_CEN 1 e 2], o professor escolhe a opo Nova
Avaliao, do tipo discursiva. No campo quantidades de questes, ele define que sero 03 do
banco (o professor pode escolher ou deixar que o ambiente escolha aleatoriamente) e 02
inditas [REQ_CEN 16], que ele pode cadastrar neste momento ou em outra ocasio


85
[REQ_CEN 17]. O professor define a nota de cada questo e o peso dessa avaliao, assim
como o perodo de realizao, os critrios e seus objetivos. A partir dessas definies, ele
pode dar incio montagem e gerao da avaliao, acionando para isso, o mdulo de criao
e edio de avaliaes (opo Criar, dentro da prpria tela de planejamento) [REQ_CEN 18].
Dentro do mdulo de criao, ele tem acesso ao banco de questes, com opes de escolha
manual ou automtica pelo sistema (por assunto e por nvel de dificuldade) ou criar novas
[REQ_CEN 19]. Caso resolva cadastrar as novas questes, basta digit-las nos respectivos
campos abertos [REQ_CEN 33]. Se no for cadastrar essas questes nesse momento, ele pode
deix-las em branco, sabendo que o sistema s disponibilizar a atividade depois de
concludas todas as questes [REQ_CEN 20]. O professor pode fazer nova opo em utilizar
apenas questes do banco. Ele define ento o perodo da avaliao (data e hora de incio e
trmino) e o seu respectivo peso, que ser distribudo entre cada questo [REQ_CEN 17]. Ele
determina tambm, se os alunos devem ser notificados quando a avaliao estiver disponvel
ou na sua proximidade [REQ_CEN 21].
2 O aluno notificado por e-mail e por avisos dentro do ambiente que uma nova
avaliao est disponvel para ele e o perodo em que ela tem de ser respondida [REQ_CEN
21].
Ao entrar no ambiente, devidamente autenticado, o aluno vai acessar o mdulo de
avaliao para dar incio a sua atividade [REQ_CEN 22]. Caso deseje iniciar sua atividade,
ele seleciona o boto iniciar atividade e aparece a primeira questo da avaliao [REQ_CEN
23]. O aluno comea a digitar sua resposta e o sistema, internamente, cronometrar o tempo
para cada questo, sendo que a questo seguinte somente ser visualizada aps a confirmao
da resposta para a questo atual [REQ_CEN 24]. O aluno tem a opo de deixar a questo em
branco, clicando no boto correspondente, que a nova questo tambm poder ser apresentada
[REQ_CEN 25].
Caso o aluno queira interromper seu teste, se a questo atual em exibio no for
respondida, ser automaticamente descartada quando o aluno for retomar sua avaliao
[REQ_CEN 26].
O aluno responde as questes e ento, ser apresentada uma tela com todas as
perguntas e as suas respectivas respostas para confirmao. Se ele quiser alterar alguma
resposta, basta clicar no boto alterar, disponvel em cada questo [REQ_CEN 34].


86
Ao trmino das suas respostas, o aluno confirmar no boto correspondente, que
salvar sua prova, ou ento, a encaminhar por e-mail para o professor, conforme definido no
planejamento [REQ_CEN 35].
CENRIO 5 Correo de uma prova com questes abertas e notificao do
aluno.
Ambiente: O professor est sentado em frente a um computador com acesso
Internet e j efetuou login no Ambiente AMADEUS. Est utilizando o Mdulo de Correo e
Resultados das Avaliaes, carregado a partir da opo Avaliao do Menu Principal do
Curso. O professor j cadastrado no ambiente e possui um curso em andamento.
Atores: O professor e o aluno.
Roteiro: 1 Professor 2 Aluno.
1 - Ao entrar no mdulo de correo de avaliao, depois de autenticado no
ambiente e dentro do curso que ministra [REQ_CEN 1 e 2], o professor escolhe a opo
corrigir avaliao. Em seguida, ele pode escolher avaliaes com correes pendentes, dentre
aquelas apresentadas na lista mostrada, ento definir aquela que ele ir corrigir [REQ_CEN
36]. Escolhida a avaliao, vai iniciar pelo primeiro nome da lista de alunos que responderam
ou clicam sobre o nome do aluno pelo qual ele deseja iniciar a correo [REQ_CEN 37].
O ambiente ento carrega e exibe a avaliao selecionada com as suas respostas
dadas pelo aluno. Ao lado de cada questo, existe um campo para o professor colocar um
nmero de 0 a 100 que representa o percentual de acerto do aluno para aquela questo
[REQ_CEN 38]. O nmero atribudo multiplicado pelo valor da questo (definido no
momento da criao da avaliao), para se obter a nota do aluno naquela questo. O somatrio
de todas as notas das questes ser a nota final do aluno naquela avaliao. Essa nota final
ser multiplicada pelo respectivo peso da avaliao no contexto geral, para ento se obter a
nota geral, levando em conta as demais avaliaes realizadas. Todo esse processo de clculo
da nota ser detalhado na seo 5.4.1.
Alm do campo da nota, existe um outro campo para comentrios do professor,
para que o aluno tome conhecimento [REQ_CEN 39]. Ao terminar de corrigir e atribuir as
notas, o professor clica em finalizar e o aluno ento notificado pelo ambiente que sua
avaliao foi corrigida [REQ_CEN 40].


87
2 Aluno Na primeira vez que o aluno entrar no ambiente, aps o professor ter
disponibilizado a sua prova corrigida, ele toma conhecimento a partir de uma sinalizao do
ambiente ou e-mail que uma determinada prova sua foi corrigida [REQ_CEN 40]. O aluno
ento acessa o link avaliaes, escolhe corrigidas e, em seguida, visualiza todas as suas
avaliaes realizadas naquele curso e que j foram corrigidas [REQ_CEN 41]. O aluno
escolhe a avaliao discursiva (sinalizada como nova!) - e visualiza, na tela, a prova com suas
respostas, notas e os comentrios, caso tenham sido feitos. O aluno tem uma opo Solicitar
Reviso, na qual posta uma mensagem para o professor, solicitando e justificando a
necessidade da reviso de alguma questo da prova [REQ_CEN 42].
Ele pode tambm, a partir desse ponto, chamar o visualizador de desempenhos,
para poder ver sua nova nota acrescentada na sua ficha de desempenho individual naquele
curso [REQ_CEN 43].
CENRIO 6 Criao e participao de uma avaliao a partir de uma das
ferramentas de comunicao do ambiente.
Ambiente: O usurio (aluno ou professor) est sentado em frente a um
computador com acesso Internet e j efetuou login no Ambiente AMADEUS. Est
utilizando o Mdulo de Criao de Avaliao, carregado a partir da opo Avaliao do Menu
Principal do Curso. Ele j cadastrado no ambiente e possui um curso em andamento.
Atores: O professor que far a escolha do tipo de comunicao usar para avaliar
e os alunos que participaro da atividade.
Roteiro: 1 - do professor; 2 dos alunos.

1 - Ao entrar no mdulo de planejamento da avaliao, depois de autenticado no
ambiente e no seu curso, o professor escolhe a opo Nova Avaliao, do tipo Frum de
Discusso. Ele define os critrios como classificao de cada participao dos alunos como
relevncia alta, relevncia mdia, relevncia baixa e irrelevante, sendo que cada nvel de
classificao ter um peso (por exemplo, alta = peso 5, mdia = peso 3, baixa = peso 1 e
irrelevante = sem nota ou peso) [REQ_CEN 44]. Tambm sero definidos a nota mxima
dessa sua avaliao e o seu peso, no contexto geral das avaliaes, os objetivos, o perodo de
disponibilidade da mesma e a opo de notificao dos alunos dessa avaliao. Em seguida, o
professor salva a avaliao e no mdulo de criao, ele abre-a e coloca o tema que ser
discutido no frum [REQ_CEN 45].


88
2 - Os alunos recebem a notificao por e-mail e, por meio de uma sinalizao ao
entrarem no ambiente [REQ_CEN 7]. Para tomarem conhecimento dos detalhes da avaliao,
abrem a opo Avaliaes, na pgina do seu curso. Cada aluno escolhe a opo avaliaes em
andamento, e em seguida, clica na avaliao Frum. A partir da, aparecem informaes sobre
esse frum, que foram definidas pelo professor no planejamento e na criao da avaliao
[REQ_CEN 46]. No perodo previsto para sua realizao, cada aluno dever postar seus
comentrios sobre o tema proposto, no campo de texto disponibilizado [REQ_CEN 47]. O
ambiente automaticamente anexa, junto ao comentrio, o nome do aluno, a data e hora da
postagem da mensagem [REQ_CEN 48]. O aluno tem a liberdade de postar quantas
mensagens desejar, durante o perodo de sua realizao.
CENRIO 7 Avaliao de atividade desenvolvida a partir de ferramenta de
comunicao.
Ambiente: O usurio (aluno ou professor) est sentado em frente a um
computador com acesso Internet e j efetuou login no Ambiente AMADEUS. Est
utilizando o Mdulo de Correo e Resultados das Avaliaes, carregado a partir da opo
Avaliao do Menu Principal do Curso. Ele j cadastrado no ambiente e possui um curso em
andamento.
Atores: O professor e o aluno.
Roteiro: 1 Professor 2 Aluno.
1 - Ao entrar no mdulo de correo de avaliao, depois de autenticado no
ambiente e dentro do curso que ministra [REQ_CEN 1 e 2], o professor escolhe a opo
Corrigir Avaliao. Em seguida, ele escolhe, na lista mostrada, as avaliaes com correes
pendentes, aquela que ele ir corrigir [REQ_CEN 36]. Tendo sido escolhida a avaliao
Frum, aberta ento a janela com o Frum escolhido e as mensagens postadas pelos alunos.
Ao lado de cada mensagem postada, existe um campo para o professor classificar
a mensagem segundo os critrios definidos [REQ_CEN 49]. Para facilitar esse trabalho, so
atribudas pelo professor teclas de atalho para cada classificao (por exemplo, CRTL + 1
classifica a mensagem como sendo de relevncia alta) [REQ_CEN 50]. Cada classificao
atribuda utilizada na composio da nota final do aluno nessa avaliao, conforme critrios
definidos no planejamento de avaliaes, na opo pesos e notas. Essa nota final ser
multiplicada pelo respectivo peso dessa avaliao no contexto geral, para ento se obter a nota
geral, levando em conta as demais avaliaes realizadas [REQ_CEN 44].


89
Alm do campo de classificao da nota, existe um outro campo para comentrios
do professor, para que ele possa transmitir para o aluno algum retorno adicional sobre aquela
mensagem [REQ_CEN 39]. Ao terminar de corrigir e atribuir as classificaes, o professor
clica em finalizar e o aluno ento notificado pelo ambiente que sua avaliao foi corrigida
[REQ_CEN 40].
Todas as mensagens que j foram avaliadas mudam de cor, para que tanto o
professor quanto o aluno percebam esse status [REQ_CEN 51]. As avaliaes e comentrios
de um aluno podero ser disponibilizadas para os demais alunos do curso, de acordo com a
preferncia declarada pelo professor no momento da sua anlise [REQ_CEN 52].
2 Aluno Na prxima vez que o aluno entrar no ambiente, aps o professor ter
efetuado a avaliao parcial ou total de sua participao no frum, ele toma conhecimento, a
partir de uma sinalizao do ambiente ou dentro do prprio frum [REQ_CEN 40], sobre as
postagens analisadas que aparecem em cor diferente das ainda no avaliadas. Em cada
mensagem avaliada, ele pode visualizar a classificao atribuda, e se h o comentrio do
professor [REQ_CEN 53].
O aluno acessa tambm o link avaliaes, escolhe a opo corrigidas e em
seguida, visualiza todas as suas avaliaes que j realizou naquele curso e que j foram
corrigidas [REQ_CEN 41]. O aluno escolhe o frum (sinalizada como nova!) e visualiza, na
tela, suas mensagens postadas, classificaes e os comentrios, caso tenham sido feitos. Se
esse frum j tiver sido encerrado, a sua nota final nessa avaliao ser informada. O aluno
pode, a partir de tal ponto, chamar o visualizador de desempenhos, para poder ver sua nova
nota, acrescentada na sua ficha de desempenho individual no referido curso [REQ_CEN 43].

5.3 Requisitos de ambientes de avaliao on-line
5.3.1 Requisitos gerados pela anlise de competidores
A partir da anlise dos processos de avaliao nos ambientes virtuais de ensino
descritos, alguns requisitos para a implementao de mecanismos de avaliao em um AVE
so descritos a seguir:
[REQ_COMP 1] - Facilidade do uso e de criao de avaliao O ambiente no deve
oferecer dificuldades de uso e de criao de avaliao, mesmo para aqueles que no so
muito familiarizados com o uso contnuo de tecnologia;


90
[REQ_COMP 2] - A atividade de avaliao deve ser bem clara para o professor, para que
ele conhea as possibilidades de utilizao das ferramentas disponveis e as use de acordo
com a suas necessidades avaliativas;
[REQ_COMP 3] Feedback para aluno e professor O aluno deve ter o retorno com o
resultado de sua atividade, seja por e-mail ou na prpria atividade desempenhada. O
professor deve ter meios de acompanhar, em qualquer momento, a evoluo dos seus
alunos, em grupo ou individualmente;
[REQ_COMP 4] O ambiente deve armazenar informaes sobre cada ao realizada pelo
aluno, desde a sua entrada;
[REQ_COMP 5] Transparncia nos processos e conceitos Todas as formas de avaliao
e de atribuio de conceitos, pesos de cada atividade, composio do resultado final e
demais critrios devem estar disponveis para conhecimento do aluno;
[REQ_COMP 6] Auto-avaliao do aluno O ambiente deve oferecer opes para o
aluno se auto-avaliar, como forma de aumentar o seu envolvimento no curso ou mesmo
detectar problemas na sua participao.
[REQ_COMP 7] O ambiente deve dispor de vrios instrumentos de avaliao, cabendo
ao professor escolher qual deles vai utilizar no seu curso;
[REQ_COMP 8] As questes elaboradas pelo professor podem ser armazenadas em um
banco de questes que o ambiente deve manter;
O ambiente tambm deve fornecer:
[REQ_COMP 9] Mecanismos de correo automtica para gerao de notas a partir de
questes do tipo mltipla escolha e verdadeiro ou falso.
[REQ_COMP 10] Relatrios para o professor, que possam ser customizveis, de acordo
com algumas opes/necessidades.
[REQ_COMP 11] Diferentes recursos visuais para a visualizao de relatrios de
utilizao de ferramentas de interao;
[REQ_COMP 12] Relatrios para o aluno, com desempenho global e parcial, por contedo
ou disciplina.



91
5.3.2 Requisitos gerados pelos questionrios aplicados
Pela anlise das respostas aos questionrios enviados a professores que atuam em
EaD, pde-se constatar uma srie de necessidades gerais dos ambientes e em particular, os
requisitos para uma melhor avaliao do aluno dentro de um AVE.
A atividade de avaliao foi solicitada nas respostas das questes 7 e 8 do
questionrio aplicado, de forma objetiva e simples. Alguns participantes disseram optar ainda
pela avaliao presencial, aplicada em conjunto com outras atividades virtuais. A participao
e o interesse do aluno tambm so usados como forma de avali-lo. Das formas de avaliao
mais praticadas, pode-se enumerar as seguintes:
a) Participao do aluno nas diversas atividades do curso;
b) Testes on-line de mltipla escolha ou respostas abertas;
c) Colaborao efetiva com os demais participantes do curso;
d) Realizao de sntese de leituras de textos apresentados.
Vrias dificuldades tambm foram relatadas, em conjunto com descries sobre
como solucion-las ou atenu-las. Dentre as apresentadas, destacam-se:
a) A resistncia ou dificuldade para o uso efetivo do ambiente virtual de ensino;
b) A falta de instrumentos eficazes para avaliar a participao qualitativa dos
alunos nas atividades do curso;
c) As dificuldades relacionadas com a motivao e o interesse do aluno;
d) A questo da autenticidade de quem realmente respondeu aos testes, participou
dos chats e/ou elaborou os textos solicitados.
Das entrevistas com os professores e usurios, extraiu-se os seguintes requisitos:
[REQ_ENT 1] Facilidade na navegao dentro do ambiente O ambiente deve ser de
uso intuitivo e fcil, mesmo para aqueles que ainda no so familiarizados com uso de
tecnologias;
[REQ_ENT 2] Facilidade para criar e corrigir avaliaes O processo de criar e
corrigir avaliaes deve ser simplificado, e ao mesmo tempo, bastante abrangente com
diversas formas de avaliar;
[REQ_ENT 3] Consolidao de informaes do aluno em uma nica tela (cadastro,
foto, histrico) Para consultas e rpido acompanhamento;


92
[REQ_ENT 4] Notificao da nota O aluno recebe uma sinalizao do ambiente,
informando-o de que sua nota, para alguma atividade, est disponvel;
[REQ_ENT 5] Avaliao de pares o ambiente oferece a possibilidade da avaliao
entre os alunos, caso o professor/tutor deseje essa avaliao;
[REQ_ENT 6] Facilidade de importao e exportao de tabelas e avaliaes O
ambiente permite a importao de avaliaes feitas em editores de textos e de planilhas de
apurao de notas;
[REQ_ENT 7] Sinalizao assncrona de dificuldades O aluno pode acionar um
indicador, dentro da atividade ou dentro da questo proposta, sinalizando que tem
dificuldade naquela tarefa. O professor, ao entrar no ambiente, notificado da sinalizao
do aluno;
[REQ_ENT 8] Critrios definidos no incio do curso so disponibilizados em um nico
lugar Todos os tipos de avaliao, os seus pesos, as notas e conceitos so definidos em
nica rea, com consulta aberta para os alunos, que tambm so automaticamente
notificados quando o professor faz alguma alterao;
[REQ_ENT 9] Questes abertas e de mltipla-escolha O ambiente fornece esses dois
tipos clssicos de avaliao, sendo que os de mltipla escolha podem ter a sua correo
automtica;
[REQ_ENT 10] Avaliao das participaes nos fruns e chats Quando o professor
acessar um frum (assncrono) ou durante a participao em um chat (sncrono), ele j
pode atribuir notas s mensagens postadas ou aos comentrios feitos pelos alunos.

5.3.3 Requisitos gerados pelos cenrios
A partir dos cenrios descritos no item 5.2, so descritos abaixo, os requisitos
gerados por essa anlise, distribudos pelas aes representadas:
Planejamento de Avaliaes
[REQ_CEN 1] O ambiente deve dispor de mecanismos de autenticao de usurio, a partir
de login e senha pessoal;
[REQ_CEN 2] Ao ser logado, o ambiente identifica e habilita o perfil do usurio, com
base nos cursos que est habilitado como professor/tutor;
[REQ_CEN 3] O mdulo de avaliao deve possuir os seguintes tipos de questes:


93
Mltipla Escolha
Verdadeiro/falso
Preenchimento de Lacunas
Associao de termos (colunas)
Discursivas (abertas)
Frum Virtual
Debate Virtual
Seminrio Virtual
Avaliao de Textos produzidos - (Relatrio, Projeto,
Resumo, Resenha)
Avaliao de participao.

[REQ_CEN 4] O mdulo deve possuir um banco de questes objetivas e discursivas e, em
cada avaliao, o professor pode acessar o banco de questes para revisar ou colocar mais
questes daquela disciplina;
[REQ_CEN 5] O professor pode definir se o resultado em funo da resposta do aluno,
para cada questo objetiva, ser mostrado imediatamente aps cada questo ter sido
respondida, ou somente ao final da avaliao;
[REQ_CEN 6] O banco ter questes do tipo subjetivas, que sero usadas nas avaliaes,
permitindo tambm que sejam modificadas ou criadas novas instncias;
[REQ_CEN 7] O mdulo disponibilizar a ferramenta Frum Virtual assncrono, com
tema definido pelo professor na sua criao, assim como seu perodo de aplicao. Os
alunos respondero com mensagens postadas e armazenadas, em ordem cronolgica de
cada assunto, sobre o tema proposto.
[REQ_CEN 8] O mdulo ter uma ferramenta de Debate Virtual, que um ambiente
sncrono onde so agendados previamente os chats, sendo notificado para os alunos o tema
a ser discutido com o dia e horrio para a interao on-line.
[REQ_CEN 9] Uma outra ferramenta de avaliao pela comunicao ser o Seminrio
Virtual Ambiente assncrono semelhante ao frum, mas com a conduo do processo
sendo feita pelos alunos, individualmente ou em equipe, com o professor apenas
acompanhando e avaliando;
[REQ_CEN 10] O professor poder solicitar trabalhos, projetos, resenhas e/ou resumos.
atravs da ferramenta Produo de Textos, disponibilizando o assunto e/ou bibliografia. Os
alunos produziro o texto solicitado e o encaminharo para o professor atravs do prprio
ambiente, que alm da opo de enviar, registrar a data/hora e o nmero IP (Internet


94
Protocol) da mquina a partir da qual foi enviado o texto.
[REQ_CEN 11] O ambiente deve possuir uma interface para o professor poder, a partir da
observao e anlise das informaes disponveis no ambiente, analisar e avaliar a
participao de cada aluno dentro do curso, atribuindo uma nota ou conceito para cada um
no final do curso. Tal conceito ter um peso definido na composio da nota final do aluno.
[REQ_CEN 12] Ao final da escolha de cada tipo de avaliao, o ambiente oferecer
opes de editar a escolha, cadastrar novos tipos ou concluir o processo.
[REQ_CEN 13] Para cada avaliao gerada, ser solicitado ao professor, que atribua uma
identificao para essa avaliao e o sistema acrescentar o nome do curso/disciplina e um
nmero seqencial dentro de cada curso ou disciplina.
[REQ_CEN 14] Na etapa de criao da avaliao, deve ser permitido ao professor, retornar
ao mdulo de planejamento para consulta ou alterao dos parmetros gerais da avaliao
(tais como objetivos e critrios).
Avaliao objetiva elaborao e realizao
[REQ_CEN 15] Na elaborao de uma avaliao objetiva, o professor pode escolher
quantas questes sero usadas do banco de questes e quantas novas sero acrescentadas.
[REQ_CEN 16] As questes do banco podem ser escolhidas aleatoriamente a partir do
assunto, grau de dificuldade e quantidade definida pelo professor, podendo inclusive,
serem distintas para cada aluno.
[REQ_CEN 17] Na criao de uma avaliao, em cada questo ser atribuda uma
pontuao e no final, o seu peso final no contexto geral de todas as avaliaes, assim como
o perodo no qual essa ser aplicada sero definidos.
[REQ_CEN 18] No prprio mdulo de planejamento de avaliao, o ambiente permite que
seja acionado o mdulo de criao e edio.
[REQ_CEN 19] No banco de questes, as objetivas sero digitadas em campos
apropriados, assim como suas alternativas, sendo que a correta deve ser assinalada.
[REQ_CEN 20] O sistema s disponibilizar a avaliao aps a incluso de todas as
questes previstas. Questes deixadas em branco podero ser includas em outro momento.
[REQ_CEN 21] Sempre que uma nova avaliao disponibilizada, o ambiente notifica por
e-mail o aluno cadastrado. Ao logar no sistema aps uma avaliao ter sido criada, cada


95
aluno tambm ter uma sinalizao indicando nova avaliao disponvel.
[REQ_CEN 22] O sistema autenticar o aluno cada vez que ele entrar no ambiente, a partir
de seu nome e senha. Ele ser notificado que tem novas avaliaes e resultados de
avaliaes anteriores disponveis.
[REQ_CEN 23] O sistema permite que o aluno inicie as avaliaes imediatamente, por
meio da opo Iniciar avaliao. Sero exibidas as informaes da avaliao e ele poder
comear a responder as questes, ou postar mensagens se a avaliao for por ferramentas
de comunicao. O ambiente tambm disponibiliza uma opo para ele entrar em contato
com o professor para esclarecimento ou aquisio de mais informaes sobre aquela
avaliao.
[REQ_CEN 24] O sistema cronometrar o tempo de resposta para cada questo, sendo que
a questo seguinte s ser exibida aps a confirmao da resposta da atual.
[REQ_CEN 25] O aluno poder deixar perguntas em branco, clicando na opo
correspondente. Ento, a prxima questo ser apresentada.
[REQ_CEN 26] Caso o aluno queira interromper a execuo do seu teste, ele poder faz-
lo ao clicar na opo Cancelar. Nessa situao, a questo atual, se no tiver sido
respondida, ser descartada quando ele retomar a avaliao.
[REQ_CEN 27] O sistema exibir o resultado das questes que o aluno acertou e correo
das incorretas, com suas respectivas respostas.
[REQ_CEN 28] O sistema exibir tambm comentrios opcionais feitos pelo professor em
cada questo. Em caso de repostas incorretas, pode haver a indicao do assunto ou
contedo que contempla aquelas questes.
[REQ_CEN 29] O sistema armazenar a avaliao e o respectivo resultado do aluno, assim
como notificar o professor de que aquele aluno realizou a atividade e qual o seu
respectivo resultado.
Avaliao objetiva correo
[REQ_CEN 30] Para questes objetivas, o processo de correo ser automtico com a
simples comparao da resposta dada pelo aluno com a resposta gravada para aquela
questo.
[REQ_CEN 31] Em questes de respostas diretas e curtas, como preenchimento de
lacunas, o sistema deve prever pequenas diferenas na escrita da resposta. Por exemplo,


96
ignorar a questo de maisculas ou minsculas ou problemas na grafia de palavras.
Avaliao discursiva elaborao e realizao
[REQ_CEN 32] O sistema deve possibilitar a elaborao de testes com questes
discursivas a partir do banco de questes ou de novas questes criadas.
[REQ_CEN 33] Para criar novas questes, o professor escolhe a opo Criar Nova e, no
espao disponibilizado, ele deve digit-la, salvando-a ao final. A nova questo fica
vinculada somente quela prova, mas pode, a critrio do professor, ser adicionada ao
banco, atravs da opo Adicionar ao banco.
[REQ_CEN 34] Assim que o aluno responder todas as questes, ser apresentada uma tela
com todas as perguntas e as suas respectivas respostas para confirmao. Caso ele queira
alterar alguma resposta, basta clicar no boto alterar, disponvel em cada questo.
[REQ_CEN 35] Ao trmino das suas respostas, o aluno confirmar o trabalho concludo ao
clicar no boto Concluir, que salvar sua prova e/ou ento a encaminhar por e-mail para o
professor, conforme definido no planejamento da avaliao.
Avaliao discursiva correo
[REQ_CEN 36] O sistema pode exibir uma lista para o professor com a relao das
avaliaes pendentes.
[REQ_CEN 37] O professor pode acessar alguma avaliao discursiva com correo
pendente, clicando sobre a mesma na lista exibida.
[REQ_CEN 38] Quando a avaliao for aberta para correo ou verificao, ao lado de
cada questo, disponibilizado um campo para o professor colocar a nota.
[REQ_CEN 39] Alm do campo da nota, deve existir um outro campo para comentrios
adicionais do professor, caso necessrio.
[REQ_CEN 40] Ao ser concluda a correo, o sistema deve notificar o aluno, por e-mail
ou sinalizao no ambiente.
[REQ_CEN 41] O sistema disponibilizar, para o aluno a relao de todas as avaliaes
realizadas naquele curso que j foram corrigidas.
[REQ_CEN 42] O aluno tem uma opo Solicitar Reviso, a partir da qual pode postar
uma mensagem para o professor, solicitando e justificando a necessidade da reviso de
alguma questo da prova.


97
[REQ_CEN 43] O sistema disponibilizar um visualizador de desempenhos com todas as
informaes sobre o desempenho do aluno naquele curso, todas as notas computadas e
respectivos pesos.
Avaliao a partir de ferramentas de comunicao elaborao e realizao
[REQ_CEN 44] Para criao de uma avaliao por comunicao (frum, debate ou
seminrio virtual), o mdulo de planejamento deve oferecer possibilidades de estabelecer
os critrios para classificao, para cada mensagem postada como sendo de relevncia
alta, relevncia mdia, relevncia baixa e irrelevante, sendo que cada classificao
receber um peso (por exemplo, alta = peso 5, mdia = peso 3, baixa = peso 1 e irrelevante
= sem nota ou peso).
[REQ_CEN 45] Depois de definidos os critrios, o professor pode estabelecer o perodo de
disponibilidade e o respectivo tema para discusso e salvar a avaliao.
[REQ_CEN 46] O aluno ser notificado sobre a nova avaliao, e na opo Avaliaes, na
pgina do seu curso, escolher a opo Avaliaes em Andamento, e em seguida, clicar na
avaliao Frum. A partir da aparecem informaes sobre esse frum, que foram definidas
pelo professor no planejamento e na criao da avaliao.
[REQ_CEN 47] Se o aluno acessar as informaes sobre a avaliao dentro do perodo
previsto para a sua realizao, ele j poder postar seus comentrios em um campo
especfico, disponibilizado para esse fim.
[REQ_CEN 48] O ambiente automaticamente anexar, junto ao comentrio, o nome do
aluno, a data e hora da postagem da mensagem.
Avaliao a partir de ferramentas de comunicao - correo
[REQ_CEN 49] Ao lado de cada mensagem postada, deve existir um campo para o
professor classificar a mensagem segundo os critrios definidos no planejamento.
[REQ_CEN 50] O sistema deve permitir o uso de Teclas de Atalho para atribuir a
classificao de forma rpida em cada mensagem postada.
[REQ_CEN 51] Todas as mensagens, que j foram avaliadas, devem mudar de cor para
que tanto o professor quanto o aluno percebam esse status.
[REQ_CEN 52] As avaliaes e comentrios de um aluno podem ou no ser
disponibilizadas para os demais alunos do curso, de acordo com a preferncia declarada
pelo professor no momento da anlise da mesma.


98
[REQ_CEN 53] Em cada mensagem avaliada, o aluno pode visualizar a classificao
atribuda e verificar se h algum comentrio do professor.

5.4 Prototipagem orientada a padres de e-learning
Com base nos resultados das etapas anteriores, sero apresentados os prottipos
iniciais das telas do ambiente AMADEUS, que daro suporte a atividades de avaliao
distncia. O objetivo ilustrar alguns conceitos importantes derivados da fase de requisitos,
que vm a ser um diferencial do sistema AMADEUS para os seus usurios. Para sua
elaborao, foi considerada a grande maioria dos requisitos especificados nas sees
anteriores. Esses prottipos representam o ponto de partida para a verso final do sistema.
Na Figura 39, est representada a pgina inicial do ambiente, com a possibilidade
de logon, dada abaixo, no lado direito. A tela do ambiente mostrada aps o logon depende do
perfil de quem o est acessando.

Figura 39. Tela inicial do sistema AMADEUS.
Nessa tela inicial, pode-se notar que qualquer usurio, mesmo no sendo
cadastrado, possui acesso lista de cursos disponveis no ambiente. Ao lado da lista, tem-se
uma indicao de como o usurio deve proceder para ver a descrio do curso.


99
No caso do usurio professor, quando ele acessar o ambiente atravs do seu
login/senha, o sistema j o identifica como professor e listar os cursos que ministra (Figura
40).

Figura 40. Lista de cursos do professor.
Ao escolher um dos cursos, ele entrar na rea deste curso e ter vrias opes
para suas atividades, incluindo as atividades de avaliao (Figura 41).

Figura 41. Acessando um curso. Em destaque a opo de avaliao.


100
Para realizar uma avaliao, o professor escolhe essa opo no menu lateral,
sendo ento aberta a tela com o mdulo de planejamento de avaliaes, na qual ele pode
definir novos critrios ou alterar aqueles de avaliaes j planejadas. A Figura 42 mostra o
prottipo desse mdulo.

Figura 42. Mdulo de Planejamento de Avaliaes.
Na primeira opo, o professor define o nome do identificador e objetivo da
avaliao. Caso escolha Prvia, o resultado servir apenas como uma indicao do nvel dos
alunos, no sendo computada a sua nota para o contexto geral. O identificador campo de
texto servir como referncia para futuras consultas a tal avaliao.
Em seguida, ele escolhe o tipo da avaliao, conforme os tipos especificados na
descrio do Mdulo de Planejamento das Avaliaes, apresentada na seo 5.2. Ento ele
escolhe o nmero de questes, quando for o caso, define o peso da avaliao e a nota mxima.
Essas informaes so obrigatrias no caso de avaliao parcial ou final, para o clculo da
pontuao, que ser descrito na seo 5.4.1 dada a seguir. informado tambm o perodo de
incio e trmino daquela avaliao, para fins de controle.
Para planejar novas avaliaes para esse curso, basta escolher o boto <Nova>.
Para encerrar o processo de planejamento, clica-se no boto <Concluir>. A opo <Limpar>
causa respectivamente as aes de limpar as informaes atuais dos campos e de permanecer
na mesma tela e <Cancelar> sai do Mdulo de Planejamento, retornando tela inicial do
Curso. Vale ressaltar que se o professor quiser, em outro momento, modificar as opes das
avaliaes ou criar novas, basta ele acessar este mdulo novamente.


101
Aps definir quais avaliaes e seus respectivos critrios, o professor poder dar
incio ao processo de criao efetiva das avaliaes com a incluso das questes ou definio
dos temas a serem disponibilizados nas ferramentas de comunicao. Para tanto, basta clicar
no boto <Mdulo de Criao> (Figura 42), localizado abaixo dos botes descritos
anteriormente.


Figura 43. Mdulo de Criao e Edio de Avaliaes.
Nessa fase, o professor pode editar cada avaliao planejada, alm de exclu-las,
conforme a necessidade. Para editar, ou seja, inserir, alterar e excluir questes, basta um
clique no identificador da avaliao, previamente realado como hiperlink. A parte inferior da
janela exibir ento a avaliao para edio. O professor pode inserir questes do Banco de
Questes ou criar uma nova, alm de poder inserir um arquivo (texto, grfico, imagem) que
faa parte da questo. A qualquer momento, ele pode ter uma preview da avaliao na viso
do aluno, clicando no boto <Visualizar>. Aps o termino da edio, clicando no boto
<Concluir> a avaliao estar pronta para ser disponibilizada para o aluno assim que iniciar o
seu perodo de aplicao.
Para excluir uma ou mais avaliaes, basta selecionar na opo de seleo e clicar
no boto <Excluir Selecionadas>. O ambiente no dever permitir que seja excluda uma


102
avaliao que j tenha sido respondida por algum aluno, emitindo um alerta na tela para o
professor.
O mdulo seguinte o de correo e visualizao de resultados (Figura 44). Nesse
mdulo, so disponibilizadas as ferramentas de correo manual e automtica (quando
disponvel) das avaliaes criadas e os relatrios gerais para o professor e alunos. Na viso do
professor, o sistema informa na lista de avaliaes definidas por curso, seus tipos e perodo de
aplicao, os alunos que j realizaram-nas e os conceitos j atribudos, alm daquelas ainda
sem conceitos. Ele tambm sinaliza aqueles com avaliaes pendentes. O professor tem
acesso s avaliaes de uma turma ou de um determinado aluno, assim como seus dados
cadastrais, caso necessrio. Ele pode avaliar e reavaliar atividades, mesmo at as que forem de
correo automtica.

Figura 44. Mdulo de Correo e Resultados das Avaliaes.

Um componente bastante importante no processo de criao de avaliaes o
Banco de Questes (Figura 45). um repositrio de questes agrupadas por tipo, curso,
assunto, com questes associadas a diferentes nveis de dificuldade e contendo as respostas
corretas. Ele permite a escolha direta das questes para avaliao, alm da criao e edio de
novas questes.



103

Figura 45. Banco de Questes.
O professor, inicialmente, escolhe o curso e o tipo de questes que ele vai usar. O
ambiente, ento, exibe abaixo as questes disponveis para aquele tipo. O professor seleciona
cada questo com um simples clique na opo Incluir. Alternativamente, ele pode acrescentar
novas questes ao banco, a partir do boto <Nova>.

5.4.1 Mecanismos do Sistema de Correo e Clculo de Notas
O sistema ter critrios e mecanismos de pontuao e apurao das notas de cada
tipo de avaliao e da nota final do aluno, com base no seu desempenho, em cada atividade, e
nos respectivos pesos dessas atividades no contexto geral das avaliaes.
Para tanto, ser feito nas sees seguintes, o detalhamento desse mecanismo, a
partir de cada tipo de avaliao, usando exemplos para simulao e, ao final, ser mostrada
uma nota final do aluno, levando-se em conta todas as avaliaes realizadas.
Esse mecanismo acionado a partir do Mdulo de Correo e Resultados das
Avaliaes, descrito na seo 5.2 e mostrado na Figura 44.


104
5.4.1.1 Avaliao com questes objetivas
Independente do tipo de questo objetiva usada (mltipla escolha,
verdadeiro/falso ou lacunas), o processo de clculo da nota ser semelhante.
Pr-requisitos e informaes:
1 Para cada questo, haver uma nica resposta correta;
2 O professor pode criar at cinco nveis de dificuldade para as questes, sendo
cada questo associada a um nvel de dificuldade;
3 Para cada nvel de dificuldade, um peso atribudo;
4 O professor atribuir a nota mxima (ou peso mximo dessa prova no
contexto geral) que um aluno pode tirar na prova, caso acerte todas as questes;
5 Pontuao representa um nmero absoluto de pontos em uma avaliao e a
Nota calculada aplicando-se pontuao, os pesos correspondentes.
O clculo da nota do aluno nesse tipo de avaliao ser em funo da sua
pontuao e da nota mxima possvel de ser obtida. Essa nota calculada a partir das
seguintes frmulas:
Pontuao Mxima (PM) a maior pontuao possvel na avaliao calculada
a partir de,
Equao 1
PM =

=
M
i
Pi Ni
1
) . (

Onde i = cada tipo de dificuldade das questes (Ex. 1=alta, 2-mdia, 3=baixa);
M = Nmero de tipos de dificuldades;
Ni = Nmero de questes com a dificuldade i;
Pi = Peso das questes com dificuldade i.
Por exemplo, seja uma avaliao com dez questes objetivas, com trs nveis de
dificuldade e a seguinte distribuio: cinco questes de nvel alto (peso = trs), duas de nvel
mdio (peso = dois) e trs questes de nvel baixo (peso = um). O Quadro 5 exibe essa
distribuio:



105
Quadro 5 Exemplo de distribuio de questes e pesos em uma prova objetiva.
Nvel Dificuldade N questes Peso
1 - Baixo 3 1
2 Mdio 2 2
3 Alto 5 3
A pontuao mxima dessa prova ser
Equao 1
PM =

=
3
1
) . (
i
Pi Ni
= (N1. P1) + (N2 . P2) + (N3 . P3)
= (3 . 1) + (2 . 2) + (5 . 3) = 22 pontos
Pontuao do Aluno (PA) a maior pontuao obtida pelo aluno na avaliao
calculada a partir de,
Equao 2
PA =

=
M
i
PAi NAi
1
) . (

Onde i = cada tipo de dificuldade das questes (Ex. 1=alta, 2-mdia, 3=baixa);
M = Nmero de tipos de dificuldades;
NAi = Nmero de acertos em questes com a dificuldade i;
PAi = Peso de cada questo com dificuldade i que o aluno acertou.
Por exemplo, dois alunos (X e Y) realizaram essa avaliao obtendo os resultados
descritos no Quadro 6 e no Quadro 7.
Quadro 6 Resultados do Aluno X na avaliao objetiva.
Nvel Dificuldade Acertos Peso
1 - Baixo 2 1
2 Mdio 1 2
3 Alto 4 3


106
Quadro 7 Resultados do Aluno Y na avaliao objetiva.
Nvel Dificuldade Acertos Peso
1 - Baixo 3 1
2 Mdio 3 2
3 Alto 2 3

A pontuao de cada aluno nessa prova ser:
Equao 2
PAx =

=
3
1
) . (
i
PAi NAi
= (NAx1 . PA1)+(NAx2 . PA2) + (NAx3 . PA3)
= (2 . 1) + (1 . 2) + (4 . 3) = 16 pontos
PAy =

=
3
1
) . (
i
PAi NAi
= (NAy1 . PA1)+(NAy2 . PA2) + (NyA3 . PA3)
= (3 . 1) + (2 . 2) + (2 . 3) = 13 pontos
Nota-se que ambos acertaram o mesmo nmero de questes (sete), porm com
pesos distintos.
Nota do Aluno (NA) Nota final do aluno na avaliao, levando-se em conta sua
pontuao, a pontuao mxima da avaliao e o peso da avaliao no contexto geral das
avaliaes.
Equao 3
NA = |
.
|

\
|
PM
PA
. Nota Mxima ou Peso Final da avaliao.
Caso o professor tenha atribudo a nota 10 (dez) como sendo a mxima para
avaliao, as notas finais dos alunos X e Y sero:
Equao 3
NAx = |
.
|

\
|
PM
PAx
. 10 = |
.
|

\
|
22
16
x 10 = 7,27


107
NAy = |
.
|

\
|
PM
PAy
. 10 = |
.
|

\
|
22
13
. 10 = 5,91
Essa possibilidade do professor atribuir nota mxima ou peso da avaliao, para
que ele tenha a flexibilidade de escolher a melhor forma de exibir a nota para o aluno e, ao
mesmo tempo, facilitar sua interpretao.

5.4.1.2 Avaliao com questes discursivas
Como as questes sero abertas, o professor ir analisar cada uma, atribuindo um
percentual de acerto do aluno em cada questo, que ser multiplicado pelo valor estabelecido
para a questo, de acordo com seu grau de dificuldade, obtendo-se dessa forma a nota da
questo.
Pr-requisitos:
1 No processo de criao da avaliao, para cada questo, ser atribudo seu
respectivo valor em funo do nvel de dificuldade;
2 O professor pode criar at cinco nveis de dificuldade para as questes. Cada
questo associada a um nvel de dificuldade;
3 O professor atribuir a nota mxima (ou peso mximo dessa prova no
contexto geral) que um aluno pode tirar na prova, caso acerte todas as questes;
5 Pontuao representa um nmero absoluto de pontos em uma avaliao e
Nota calculada aplicando-se pontuao, os pesos correspondentes.
O clculo da nota do aluno nesse tipo de avaliao ser em funo da sua
pontuao e da nota mxima possvel de ser obtida. Essa nota calculada a partir das
seguintes frmulas:
Pontuao Mxima (PM) a maior pontuao possvel na avaliao calculada
a partir de:
Equao 4
PM =

=
M
i
Pi Ni
1
) . (

Onde i = cada tipo de dificuldade das questes (Ex. 1=alta, 2-mdia, 3=baixa);


108
M = Nmero de tipos de dificuldades;
Ni = Nmero de questes com a dificuldade i;
Pi = Peso das questes com dificuldade i.
Por exemplo, disponibilizada uma avaliao com cinco questes objetivas, com
trs nveis de dificuldade e a seguinte distribuio: duas questes nvel alto (peso = trs), uma
de nvel mdio (peso = dois) e duas questes de nvel baixo (peso = um). O Quadro 8 exibe
essa distribuio:

Quadro 8 Exemplo de distribuio de questes e pesos em uma prova discursiva.
Nvel Dificuldade N questes Peso
1 - Baixo 2 1
2 Mdio 1 2
3 Alto 2 3
A pontuao mxima dessa prova ser:
Equao 4
PM =

=
3
1
) . (
i
Pi Ni
= (N1 . P1) + (N2 . P2) + (N3 . P3)
= (2. 1) + (1 . 2) + (2 . 3) = 10 pontos
Pontuao do Aluno (PA) a maior pontuao obtida pelo aluno na avaliao
calculada a partir de:
Equao 5
PA =

=
M
i
PAi NAi
1
) . (

Onde i = cada tipo de dificuldade das questes (Ex. 1=alta, 2-mdia, 3=baixa);
M = Nmero de tipos de dificuldades;
NAi = Nmero de acertos em questes com a dificuldade i;
PAi = Peso de cada questo com dificuldade i que o aluno acertou.


109

Por exemplo, dois alunos (X e Y) realizaram essa avaliao obtendo os resultados
descritos no Quadro 9 e no Quadro 10.
Quadro 9 Resultados do Aluno X na avaliao discursiva.
Nvel Dificuldade Acertos Peso
1 - Baixo 2 1
2 Mdio 0 2
3 Alto 1 3


Quadro 10 Resultados do Aluno Y na avaliao discursiva.
Nvel Dificuldade Acertos Peso
1 - Baixo 1 1
2 Mdio 1 2
3 Alto 1 3

A pontuao de cada aluno nessa prova ser
PAx =

=
3
1
) . (
i
PAi NAi
= (NAx1 . PA1)+(NAx2 . PA2) + (NAx3 . PA3)
= (2 . 1) + (0 . 2) + (1 . 3) = 5 pontos
PAy =

=
3
1
) . (
i
PAi NAi
= (NAy1 . PA1)+(NAy2 . PA2) + (NyA3 . PA3)
= (1 . 1) + (1 . 2) + (1 . 3) = 6 pontos
Nota-se que ambos acertaram o mesmo nmero de questes (trs), porm com
pesos distintos, o que ocasionou diferentes pontuaes.


110
Nota do Aluno (NA) Nota final do aluno na avaliao, levando-se em conta sua
pontuao, a pontuao mxima da avaliao e o peso da avaliao no contexto geral das
avaliaes.
Equao 3
NA = |
.
|

\
|
PM
PA
. Nota Mxima ou Peso Final da avaliao.
Caso o professor tenha atribudo a nota dez como sendo a mxima para avaliao,
as notas finais dos alunos X e Y sero:
Equao 3
NAx = |
.
|

\
|
PM
PAx
. 10 =
|
.
|

\
|
10
5
. 10 = 5,00
NAy = |
.
|

\
|
PM
PAy
. 10 =
|
.
|

\
|
10
6
. 10 = 6,00
5.4.1.3 Avaliao a partir de ferramentas de comunicao
Independente do tipo da ferramenta usada (frum, seminrio ou debate), o
processo de clculo da nota ser semelhante.
Pr-requisitos:
1 Para cada mensagem postada, o professor far classificao de acordo com a
sua relevncia ao tema proposto Alta, mdia, baixa ou irrelevante em um campo colocado
ao lado da mensagem postada, na tela do professor. Teclas de atalho podero ser atribudas
para agilizar essa classificao;
2 Para cada relevncia, um peso atribudo. Postagens irrelevantes no sero
consideradas;
3 O sistema registrar a maior quantidade de mensagens postadas por um nico
aluno para cada relevncia;
4 O professor atribuir a nota mxima (ou peso mximo dessa prova no
contexto geral) que um aluno pode tirar na prova, caso acerte todas as questes;
5 Pontuao representa um nmero absoluto de pontos em uma avaliao e
Nota calculada aplicando pontuao os pesos correspondentes.


111
O clculo da nota do aluno nesse tipo de avaliao ser em funo da sua
pontuao e da nota mxima possvel de ser obtida nesta avaliao. Essa nota calculada a
partir das seguintes frmulas:
Pontuao Mxima (PM) a maior pontuao possvel na avaliao calculada
a partir de,
Equao 6
PM =
=
M
i
PRi Ni
1
) . (

Onde i = cada tipo de relevncia das mensagens (Ex. 1=alta, 2-mdia, 3=baixa);
M = Nmero de tipos de relevncia;
Ni = Maior nmero de mensagens de relevncia i postadas por um aluno;
Pi = Peso das mensagens de relevncia i.
Por exemplo, em um Frum realizado, o professor considerou doze mensagens de
um nico aluno como de relevncia alta, quinze de outro aluno como de relevncia mdia e
outras dezoito de um terceiro aluno como de relevncia baixa. Essas quantidades foram as
maiores de cada categoria e so dispostas no Quadro 11.
Quadro 11 Exemplo de distribuio de questes e pesos em um frum de discusso.
Nvel Relevncia N mximo de postagens da categoria Peso
1 - Baixo 18 1
2 Mdio 15 2
3 Alto 12 3
A pontuao mxima dessa prova ser
Equao 6
PM =
=
3
1
) . (
i
PRi Ni
= (N1 . PR1) + (N2 . PR2) + (N3 . PR3)
= (18 . 1) + (15 . 2) + (12 . 3) = 84 pontos
Pontuao do Aluno (PA) a pontuao obtida pelo aluno na avaliao
calculada a partir de,


112
Equao 7
PA =
=
M
i
PRi NAi
1
) . (

Onde i = cada tipo de relevncia das mensagens (Ex. 1=alta, 2-mdia, 3=baixa);
M = Nmero de tipos de relevncia;
NAi = Maior nmero de mensagens de relevncia i postadas por um aluno;
PRi = Peso das mensagens de relevncia i.
Por exemplo, dois alunos (X e Y) realizaram essa avaliao obtendo os resultados
descritos no Quadro 12 e no Quadro 13.
Quadro 12 Resultados do Aluno X no frum.
Nvel Relevncia N de postagens da categorias Peso
1 - Baixo 14 1
2 Mdio 10 2
3 Alto 12 3

Quadro 13 Resultados do Aluno Y no frum.
Nvel Relevncia N de postagens da categorias Peso
1 - Baixo 15 1
2 Mdio 13 2
3 Alto 10 3
A pontuao de cada aluno nessa prova ser
Equao 7
PAx =

=
3
1
) . (
i
PRi NAi
= (NAx1 . PR1)+(NAx2 . PR2) + (NAx3 . PR3)
= (14 . 1) + (10 . 2) + (12 . 3) = 70 pontos
PAy =
=
3
1
) . (
i
PRi NAi
= (NAy1 . PR1)+(NAy2 . PR2) + (NyA3 . PR3)


113
= (15 x 1) + (13 x 2) + (10 x 3) = 71 pontos
Nota do Aluno (NA) Nota final do aluno na avaliao, levando-se em conta sua
pontuao, a pontuao mxima da avaliao e o peso da avaliao no contexto geral das
avaliaes.
Equao 3
NA = |
.
|

\
|
PM
PA
. Nota Mxima ou Peso Final da avaliao.
Caso o professor tenha atribudo a nota 10 (dez) como sendo a mxima para
avaliao, as notas finais dos alunos X e Y sero:
NAx =
|
.
|

\
|
PM
PAx
. 10 =
|
.
|

\
|
84
70
. 10 = 8,33
NAy = |
.
|

\
|
PM
PAy
. 10 =
|
.
|

\
|
84
71
. 10 = 8,45
Essa possibilidade do professor atribuir nota mxima ou peso da avaliao, para
que ele tenha a flexibilidade de escolher a melhor forma de exibir a nota para o aluno e, ao
mesmo tempo, facilitar sua interpretao.
5.4.1.4 Consolidao do Sistema de Pontuao e Clculo de Notas.
O mecanismo de pontuao e clculo de notas produzir um relatrio (Figura 46)
em que so apresentados, para cada aluno, todas as avaliaes realizadas por ele, com seus
respectivos pesos e notas parciais, sendo essas notas consolidadas numa nota geral do aluno
naquele curso. Ressalta-se que, o processo de correo e apurao pode sofrer reavaliao
pelo professor, caso seja necessrio algum ajuste. A opo <Reavaliar> ao lado de cada nota
parcial, permite que o professor reveja a correo daquela atividade, no sentido de efetuar
alguma alterao.


114

Figura 46. Relatrio de desempenho individual.

Os resultados aqui enumerados demonstram a complexidade de avaliar alunos em
ambientes virtuais de ensino. So vrias possibilidades e um maior nmero dessas devem ser
adotadas para buscar resultados mais confiveis e abrangentes, que sirvam de referncias
tambm para os professores e tutores dos cursos, de forma a permitir um contnuo ajuste nos
cursos, alm de uma melhor adequao desses em relao ao ambiente on-line.
Os prottipos gerados iro passar por testes de usabilidade, para detectar possveis
problemas quanto sua utilizao, para atender, inclusive, a usurios menos adaptados a
novas tecnologias. Nesse processo, novos requisitos podem ser gerados e incorporado s
futuras verses do modelo.


115
6 Concluses


A modalidade de ensino (ou educao) a distncia EaD - apresenta-se como uma
forte alternativa para disseminao de conhecimento e formao profissional. No so poucas
as instituies que adotaram essa forma de promover cursos nos mais diferentes nveis.
Porm, algumas questes relacionadas com o EaD ainda estimulam inmeras discusses e
pesquisas. Uma delas a avaliao do aluno, um componente que mesmo na forma
presencial, ainda no encontrou sua maneira desejvel de ser aplicada e conduzida, sendo
adaptvel s mais diversas situaes e necessidades.
O processo de motivao do aluno de EaD passa necessariamente pelos
instrumentos usados na modalidade. Ambientes virtuais de ensino buscam um constante
aperfeioamento e oferecem, cada vez mais, recursos para despertar o interesse do aluno e
poder cumprir melhor sua funo na sua formao. A avaliao on-line, como componente
indispensvel do processo ensino-aprendizagem, um instigante desafio para os que atuam
nesse segmento.
Nesse contexto, o Ambiente Virtual de Estudos AMADEUS, atualmente em fase
de implementao no Centro de Informtica da Universidade Federal de Pernambuco, tem
como objetivo o desenvolvimento de um ambiente virtual de aprendizagem que rena
caractersticas inovadoras, sobretudo voltadas para uma melhor funcionalidade e usabilidade,
proporcionando um sistema bastante prtico, diversificado e eficiente.
Na elicitao dos requisitos para a proposta de um modelo de avaliao do aluno
no AMADEUS, foram usados quatro diferentes tcnicas de design iterativo, dentre as quais,
uma anlise de quatro ambientes competidores. O processo de levantamento desses requisitos
possibilitou apontar caminhos que conduzem a uma avaliao mais participativa, eficiente e
que produza resultados confiveis.
Esses requisitos - funcionais e no funcionais (CHUNG, 1995) (YEH, 1984)
formaram uma considervel base para implementao futura do mdulo de avaliao. Foram
doze requisitos provenientes da anlise de competidores, dez a partir das respostas dos
questionrios enviados a professores usurios e cinqenta e trs dos cenrios caricaturados.


116
Outros requisitos devero ser levantados, quando das primeiras verses no ambiente,
principalmente quando forem feitos os testes de usabilidade.
O mecanismo de clculo e pontuao permite ao professor, ter toda a flexibilidade
para ajustar os critrios de atribuio de notas ou conceitos, considerando de forma clara, os
diferentes nveis de dificuldades das questes e de relevncia das mensagens postadas.
Os prottipos apresentados nesse estudo representam uma pequena amostra
daquilo que se imagina ser um sistema de avaliao que contemple diversas formas e
atividades. Um modelo que possibilite tanto para o professor quanto para o aluno, ter uma
viso instantnea das atividades previstas e dos respectivos desempenhos em cada uma delas.
O modelo proposto, ainda que de forma experimental e prototipada, pode ser
facilmente compreendido e codificado, sendo, tambm, de fcil entendimento para os futuros
usurios do AMADEUS.
6.1 Trabalhos Futuros
Os modelos de avaliao propostos visam contemplar uma necessidade de um
ambiente em desenvolvimento, agregando, em conjunto com outros trabalhos correlatos,
funcionalidades que possibilitaro ao AMADEUS oferecer recursos diferenciados dos demais
ambientes em uso.
Entretanto, novos aspectos funcionais do sistema de avaliao devem ser
considerados para futuras implementaes e aperfeioamento do modelo proposto. Essas
funcionalidades so enumeradas a seguir:
Uso de agentes de avaliao, a partir de componentes de inteligncia artificial,
para automatizar as tarefas de avaliaes mais descritivas (frum, chat etc.);
Testes de usabilidade com os prottipos gerados. A partir desses testes, os
prottipos devem ser ajustados e novos devem ser criados;
Utilizao de avaliaes mais individualizadas. Uma linha de pesquisa
encontrada est relacionada com o uso de meta-dado de questes, ou seja, so
armazenadas informaes sobre as questes (tipo, tpico avaliado, palavras-
chave, peso ou complexidade) e o sistema de avaliao gera questionrios
personalizados sob demanda, de acordo com os parmetros solicitados pelo
professor (BRUSILOVISKY, 2001 apud OTSUKA E ROCHA, 2002);


117
Outra linha de pesquisas envolve o desenvolvimento de questes adaptativas.
Essa soluo baseada na construo e anlise do modelo do aluno, que
representa o seu conhecimento em diferentes conceitos e tpicos do curso, e a
partir desse modelo, so geradas questes adaptadas ao seu nvel de
conhecimento (KARAGIANNIDIS et al., 2001);
Incorporao de outros tipos de mdia, como udio e vdeo, com o intuito de
melhorar o processo de mediao pedaggica;
Implementao de um mdulo de ajuda on-line, atravs da insero de dicas,
possibilitando aos alunos, um melhor aproveitamento dos recursos do
AMADEUS;
Uso de mecanismos para melhorar a percepo de possveis status do aluno,
no que se refere dificuldade de avaliao.
Coleta de informaes baseada em uma amostra mais ampliada e
representativa de usurios de AVE.
Realizao de um nmero maior de simulaes para os mecanismos de clculo
de notas, possivelmente fazendo uso de base de dados reais e mais volumosas.

No se teve a pretenso de estabelecer um modelo referencial para avaliaes on-
line. Buscou-se apenas apontar possveis solues que, no momento, satisfaam as
necessidades de se avaliar os alunos de um curso virtual. a contribuio para o projeto
AMADEUS, que desejamos continuar a participar e colaborar, pois acreditamos e confiamos
no seu sucesso.


118
7 Referncias Bibliogrficas
ALVES, R. M. Safes: um servidor de avaliaes formativas e somativas para o ensino on-line
via web, Tese de Doutorado, UFMG, Belo Horizonte, 2003.
AULANET. Disponvel em: http://asgard.les.inf.puc-rio.br/AulaNet/ Acesso em 10 ago. 2005.
BLACKBOARD. Disponvel em: http://www.blackboard.com. Acesso em 11 ago. 2005..
BLOOM, B. S., HASTINGS, J. T., MADAUS, G. Handbook on formative and summative
evaluation of student learning. New York: McGraw Hill Co., 1971.
BDKER, S., Scenarios in user-centred designsetting the stage for reflection and action.
Journal Interacting with Computers, v. 13, p. 61-75, 2000.
CANEN, A.. Desmistificando a avaliao. In: BRASIL. Ministrio da Educao Secretaria
de Educao a Distncia. E. D. Salto para o futuro. Braslia: MEC/SEED, 1999.
CAROLL, J.M ., Five reasons for scenario-based design. In Interacting with Computers,
number 13, p 4360. Elsevier Science B.V. 2000a
CAROLL, J.M ., Introduction to this special issue on scenario-based system development.
In Interacting with Computers, number 13, p. 4142. Elsevier Science B.V. 2000b
CAROLL, J.M Scenario and design cognition. In Proceedings of the IEEE Joint International
Conference on Requirements Engineering (RE02). IEEE Computer Society. 2002.
CERNY, R. Z. Uma reflexo sobre a avaliao formativa na educao distncia (on-line).
Florianpolis: UFSC, 2001. Disponvel na Web em 16 ago. 2005:
<http://www.anped.org.br/24/T1650714518799.doc>.
CHUNG, L., NIXON, B. A. E YU, E.: Using Non-Functional Requirements to Systematically
Support Change. Proceedings of the Second IEEE International Simposium on Requirements
Engineering. IEEE Computer Society Press,1995.
EASTMOND, N. Assessing needs, developing instruction, and evaluating results in distance
education. In: WILLIS, B.. Distance education: strategies and tools. Englewood Cliffs (New
Jersey): Educational Technology Publications, 1994.
ELLIS, C.; GIBBS, S. & REIN, G. Groupware: Some issues and experiences.
Communications of the ACM, 34(1): p. 38-58, 1991.
ESTEBAN, M. T. (Org.), BARIGA, . D., GARCIA R. L., AFONSO, A. J., GERALDI C.
M. G., LOCH J. M. P. Avaliao: uma prtica em busca de novos sentidos. 2.ed. Rio de
Janeiro: DP&A, 2000



119
FALBO, Ricardo A.; ARANTES, Daniel O.; NATALI, Ana C.C. Integrating Knowledge
Management and Groupware in a Software Development Environment. Disponvel em
<http://www.inf.ufes.br/%7Efalbo/download/pub/2004-PAKM.pdf>. Acesso em: 06 jun.
2005.
FERRE, X. Integration of Usability Techniques into the Software Development Process.
ICSE Workshop on SE-HCI, p. 28-35., 2003
FUKS, H., CUNHA, M. GEROSA, M.A., LUCENA, C.J.P., Participao e Avaliao no
Ambiente Virtual AulaNet da PUC-Rio. In: Silva, M., Educao Oline: Teorias, Prticas,
Legislaes e Formao Corporativa; Edies Loyola, Rio de Janeiro, 2003.
GOMES, A. V. Ferramentas de suporte ao trabalho docente em atividades distncia. Tese de
Doutorado (Cincia da Computao) - Universidade Federal de Pernambuco, Cin, 2004.
GRABE, M., SIGLER, E.,Studying online: evaluation of an online study environment,
Journal Computers E Education, v. 38, p. 375383, 2002.
HARASIM, L., HILTZ, S. R., TELES, L. and TUROFF, M. Learning Networks. Cambridge,
Mass. MIT Press, 1996.
HENTEA, M., SHEA, M.J., PENNINGTON, L., A Perspective on Fulfilling the Expectations
of Distance Education. ACM-CITC403, Lafayette, 2003.
HOOPER, M. Assessment in WWW-based learning and challenges. Journal of Universal
Computer Science, (s.l), v.4, p.330-348, 1998.
HOUGHTON, R. S. Bloom's Taxomony Overviews. 1994. Disponvel em 22 abr. 2005
http://www.ceap.wcu.edu/Houghton/Learner/think/bloomsTaxonomy.html>.
KARAGIANNIDIS, C.; SAMPSON, D.; BRUSILOVSKY, P. Layered Evaluation of
Adaptive and Personalized Educational Applications and Services. In: International
Conference on Artificial Intelligence in Education, San Antonio, Texas, 2001.
KOTONYA, G. E SOMMERVILLE, I. Requirements Engineering: process and techniques.
New York: John Willey E Sons, 1998
LEITE, J. C. Notas de Aula de Engenharia de software. UFRN. Natal, RN, 2000.
LEITE, Jair Cavalcanti. Projeto de Interfaces de Usurio. Disponvel em
http://www.dimap.ufrn.br/~jair/piu/default.html. Acesso em: 21 abr. 2005.
LCK, G. Avaliao, termmetro da educao. Revista Profisso Mestre, Curitiba, PR, n.41,
p.14-17, fev. 2003.
LINDA A. Requirements Engineering. Great Britain : Springer-Verlag London, 1996. 202 p.
MASSETO, M.T. Atividades pedaggicas no cotidiano da sala de aula universitria: reflexes
e sugestes prticas. In: Temas e textos em metodologia do ensino superior. Campinas, SP,


120
Papirus, 2001
MIRSHAWKA, V. & MIRSHAWKA, V. Jr. O Boom na educao: o aprendizado online. So
Paulo: DVS Editora, 2002. 170 p.
MOORE, M. G., KEARSLEY, G.. Distance education: a systems view. Belmont (USA):
Wadsworth Publishing Company, 1996.
MORCOS, M. M., SOLDAN, D. L., Assessing Student Learning in a Distance Education
Environment, 30
th
ASEE/IEEE Frontiers in Education Conference, S3D-5, Kansas City, MO,
2000.
MOSTAT, R., TELES, L. Assessing online learning: current practices and future
developments. In: WEB-BASED COMPUTER CONFERENCE, 1999, VA. Conferencing...
VA: Stylus Publishing, 1999.
OTSUKA, J. L.; ROCHA, H. V. A caminho de um modelo de apoio avaliao contnua.
Campinas: Instituto de Computao da Unicamp, 2002.
PALLOFF, R. M., PRATT, K. Construindo Comunidades de Aprendizagem no Ciberespao.
Porto Alegre: Artmed, 2002.
PAPERT, S.. Mindstorms: Children, Computers, and Powerful Ideas. NY: Basic Books. 1980.
PEROSA, G. T. L.,SANTOS, M.; Interatividade e aprendizagem colaborativa em um grupo
de estudo online, in Educao Online, p. 147-154, Edies Loyola, So Paulo, 2003.
PERRENOUD, P.(1999). Avaliao: da excelncia regulao das aprendizagens entre duas
lgicas. Porto Alegre: Artes Mdicas, 1999.
PETERS, J. F., PEDRICZ W. ;Engenharia de Software. Rio de Janeiro: Campus, 2001.
PORTER, M. E. Estratgia Competitiva: Tcnicas para Anlise de Indstrias e da
Concorrncia. 2 ed. Rio de Janeiro: Campus, 2005.
PRESSMAN, R. S. Engenharia de Software. So Paulo: McGraw Books do Brasil, 1995.
ROCHA, H. O ambiente TelEduc para Educao Distncia baseada na Web: Princpios,
Funcionalidades e Perspectivas de desenvolvimento. In: Moraes, M.C. (Org). Educao
Distncia: Fundamentos e Prticas. Campinas, SP: Unicamp/NIed, 2002.
ROMANI, L. Intermap: Ferramenta para Visualizao da Interao em Ambientes de
Educao a Distncia na Web. Dissertao de Metrado, IC/Unicamp, dez 2000.
RUHE, C. Issues in the Validation of Assessment in Technology-Based Distance and
Distributed Leaning: What Can We Learn From Messicks Framework? International Journal
of Testing, Vol. 2, p. 143-149, 2002.


121
SANTANNA, I. M., Por que avaliar? Como avaliar? Critrios e instrumentos. 6 ed.
Petrpolis,RJ: Vozes, 2000.
SANTANDER, V. F. A. Integrando Modelagem Organizacional com Modelagem Funcional.
2002. 221p. Tese (Doutorado em Cincias da Computao) - Centro de Informtica,
Universidade Federal de Pernambuco, Recife, PE.
SHEN, R. M., TANG, Y. Y., ZHANG, T.Z., The Intelligent Assessment System in
Web_based Distance Learning Education, 31
h
ASEE/IEEE Frontiers in Education
Conference, T1F, Reno, NV, 2001.
SHIH, T.K. et al., A Survey of Distance Education Challenges and Technologies,
International Journal of Distance Education Technologies, Vol. 1, No. 1, January-March
2003, p. 1-21.
SNYDER, C.; Paper Prototyping: The Fast and Easy Way to Define and Refine User
Interfaces, Morgan Kaufmann Publishers, 2003;
TEDESCO, P., GOMES, A. S., Amadeus: A Framework To Support Multi-Dimensional
Learner Evaluation, The 1st International Conference on Web-based Learning (ICWL), Hong
Kong, China, 2002.
TELEDUC. Disponvel em: http://teleduc.nied.unicamp.br/teleduc Acesso em 15 ago. 2005.
UNIVERSIDADE ESTADUAL DE CAMPINAS, Lista de Discusso Educao a
Distancia, disponvel em: http://www.listas.unicamp.br/mailman/listinfo/ead-l. Acesso em 10
out. 2005.
VALENTE, J. A. (org.) Formao de educadores para o uso da informtica na escola.
Campinas, SP: NIED, 2003.
WEBCT. Disponvel em: http://www.webct.com . Acesso em 18 ago. 2005.
WOIT, D. , MASON, D., Efectiveness of Online Assessment. SIGCSE03, Reno, Nevada,
USA, 2003.



122
Apndice A Questionrio para professores usurios

Este questionrio parte integrante de uma pesquisa relacionada com a prtica de avaliao
em Ambientes Virtuais, originria de uma dissertao de mestrado em andamento no Centro
de Informtica - Cin, na UFPE.
Vale salientar que, na conduo da pesquisa, ser preservada, a todo o momento, a identidade
dos participantes de forma a evitar qualquer julgamento de valor associado a sua imagem.
Solicita-se tambm, expressar com o mximo de detalhes as respostas, inserindo novas linhas,
se necessrio.

1. Qual o seu nome e sua instituio? Em que rea voc atua? H quanto tempo voc
professor?



2. H quanto tempo que voc ministra cursos distncia?



3. Que cursos ou disciplinas voc ministrou ou ministra distncia?



4. Qual o ambiente virtual que voc utiliza e h quanto tempo faz uso dele?



5. Exponha com detalhes como voc comeou a utilizar o ambiente virtual citado, revelando
se voc foi treinado, se usou algum manual e se teve algum suporte tcnico.



6. Como foi feita a escolha deste ambiente virtual que voc utiliza?



7. Descreva o sistema de avaliao que voc adotou no ambiente virtual que voc usa.



8. Quais as dificuldades encontradas para avaliar seus alunos atravs do ambiente virtual que
voc usa? Como voc as solucionou?






123