Avaliao formativa em ambientes de EaD

Joice Lee Otsuka, Helosa Vieira da Rocha Instituto de Informtica Universidade Estadual de Campinas (Unicamp) Caixa Postal 6176 13083-970 Campinas SP Brasil {joice, heloisa}@ic.unicamp.br
Resumo. A avaliao formativa, baseada no acompanhamento e orientao da performance dos aprendizes durante o processo de aprendizagem, tem sido alvo de formadores tanto em cursos presenciais quanto distncia. Desta forma, este artigo tem como objetivo apresentar uma viso geral das experincias e pesquisas que vm sendo desenvolvidas envolvendo a avaliao formativa distncia. Tambm apresentado o suporte atual avaliao formativa no ambiente de EaD TelEduc e as pesquisas que vm sendo desenvolvidas para prover, neste ambiente, um suporte flexvel avaliao formativa, de acordo com as necessidades e objetivos pedaggicos de cada formador. Palavras-chave: educao distncia, suporte a avaliao formativa, agentes de software.

1. Introduo
Est em curso uma mudana de paradigma na rea de avaliao, passando de um modelo de testes e exames que valoriza a medio das quantidades aprendidas de conhecimentos transmitidos, para um modelo em que os aprendizes tero oportunidade de demonstrar o conhecimento que construram, como construram, o que entendem e o que podem fazer, isto , um modelo que valoriza as aprendizagens quantitativas e qualitativas no decorrer do prprio processo de aprendizagem [Gipps 1998]. Um novo paradigma de avaliao, seguindo as mudanas apresentadas na citao acima, encontrado na avaliao formativa, que segundo Perrenoud [1999], pode ser entendida como toda prtica de avaliao contnua que pretenda melhorar as aprendizagens em curso, contribuindo para o acompanhamento e orientao dos alunos durante todo o seu processo de formao. formativa toda a avaliao que ajuda o aluno a aprender e a se desenvolver, que participa da regulao das aprendizagens e do desenvolvimento no sentido de um projeto educativo. A avaliao formativa pode estar voltada para a formao de pessoas capazes de realizar tarefas,

de construir novos conhecimentos e de resolver problemas. Esta a proposta da avaliao baseada em performance [Wiggins 1990, Haertel 1999], que uma forma de avaliao formativa baseada no acompanhamento e orientao do aprendiz durante o desenvolvimento de tarefas significativas e relevantes ao mesmo, planejadas para levarem o aprendiz a um engajamento ativo na construo dos seus conhecimentos. Nos cursos distncia tambm existe essa busca por mtodos de avaliao online que possibilitem a avaliao formativa do aluno, baseada no acompanhamento e orientao da participao destes no desenvolvimento de tarefas individuais ou em grupo. No contexto da Educao Distncia (EaD) este novo paradigma de avaliao tem relevncia ainda maior por possibilitar a percepo do comportamento do aluno e favorecer a identificao de problemas. Por ser contnua, esta forma de avaliao permite tambm alguma forma de autenticao da identidade do aluno, pela familiarizao com o estilo e habilidades do mesmo. Com os ambientes de suporte EaD baseados na web foram introduzidas novas possibilidades EaD e avaliao a distncia. Ambientes de Ead

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

146

como o TelEduc1, possuem ferramentas de comunicao projetadas para facilitarem tanto a interao como a posterior anlise de registros destas interaes. Vrios educadores tm usado os recursos destes ambientes para oferecerem cursos distncia baseados na avaliao formativa da performance dos aprendizes, por meio do acompanhamento dos registros das participaes destes durante o desenvolvimento das atividades. No entanto, apenas o registro das interaes no suficiente para prover suporte efetivo avaliao formativa. Esse processo de avaliao demanda muito trabalho e tempo do professor no acompanhamento, anlise e orientao das atividades desenvolvidas ao longo do curso, o que consiste num dos principais problemas da avaliao formativa, seja ela presencial ou distncia. Dessa forma, novas tecnologias computacionais (tais como os agentes de software, a minerao de dados e a visualizao de informaes) vm sendo pesquisadas, a fim de explorar melhor os registros das interaes dos alunos em ambientes de EaD e prover suporte ao professor na coleta, identificao, seleo e anlise de informaes relevantes avaliao formativa. Este artigo apresenta uma viso geral das experincias e pesquisas que vm sendo desenvolvidas no escopo da avaliao formativa distncia. Dessa forma, a seo 2 apresenta alguns relatos de experincias de cursos distncia que empregaram a avaliao formativa. Na seo 3 apresentado um levantamento das pesquisas atuais relacionadas ao suporte avaliao formativa. Na seo 4 apresentado o ambiente TelEduc, dando um enfoque na sua estrutura atual de apoio ao desenvolvimento de atividades e de suporte avaliao formativa. Na seo 5 apresentada a experincia de avaliao formativa usando o ambiente TelEduc e na seo 6 apresentada uma viso dos projetos em andamento para prover um suporte mais efetivo avaliao formativa neste ambiente. Finalizando, na seo 7 so apresentadas algumas consideraes finais.

algumas experincias de avaliao formativa em cursos totalmente distncia. A seguir so apresentados os mtodos de avaliao e reflexes apresentados em trs relatos. Curso: Earth Systems Science Approach to Physical Geography - Casper College Em [Nelson 1998] relatada a experincia do curso Earth Systems Science Approach to Physical Geograph, oferecido totalmente distncia, para turmas compostas por 5 a 25 aprendizes. Foram usados mtodos de avaliao autntica, que a avaliao baseada em performance caracterizada pelo emprego de tarefas significativas no contexto da vida real do aprendiz. Foram realizados os seguintes tipos de atividades: Questes para gerao de discusso: o professor prope questes que devero ser discutidas pelos aprendizes por meio de uma lista de discusses. Nelson observa que as listas de discusses online provem oportunidades mais ricas de discusso do que as aulas face a face, favorecendo participaes mais elaboradas; Questes dissertativas: o professor prope uma questo, e o aprendiz deve mostrar a sua interpretao sobre o assunto aferido e tentar expressar suas idias claramente, escrevendo sobre o assunto; Projetos autnticos: so projetos que envolvem a resoluo de problemas da vida real (problemas autnticos). Alm de prepararem o aprendiz para a reflexo e aplicao dos conhecimentos em situaes autnticas, esses projetos tambm foram importantes para o desenvolvimento de mtodos cientficos, habilidades de comunicao e trabalho em grupo.

Nelson observa que leciona esse mesmo curso h 21 anos presencialmente e h 2 anos distncia, e tem conseguido adaptar os mtodos de avaliao usados nas aulas presenciais para as aulas online. Nelson ressalta que este tipo de avaliao s possvel e efetivo se aplicado em grupos de alunos suficientemente pequenos (at 25 alunos). Curso: Tecnologias de Informao Aplicada Educao Puc Rio Fuks, Gerosa e Lucena [2001] apresentam a metodologia usada em seis edies de um curso de capacitao de educadores no uso de tecnologias de informao na Educao. Este curso tem sido oferecido totalmente distncia usando o ambiente

2. Experincias de avaliao formativa em cursos totalmente distncia

Esta seo tem como objetivo mostrar como a avaliao formativa tem sido realizada em cursos distncia. Na literatura foram encontradas
1

Software livre disponvel http://teleduc.nied.unicamp.br

em

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

147

de EaD Aulanet2. A avaliao baseada no acompanhamento da participao dos alunos nas seguintes atividades: Grupo de Interesses: realizada por meio da ferramenta Grupo de Interesses do Aulanet, a qual funciona no estilo de um frum de discusses (mensagens estruturadas por assunto). Nestas atividades so discutidos temas centrais do curso, e ao final de cada discusso cada participante elabora um relatrio resumindo os tpicos principais da discusso; Seminrios semanais: realizados por meio da ferramenta de Chat do Aulanet. A cada seminrio, um aprendiz tem o papel de seminarista, sendo responsvel por pesquisar o tema e preparar um texto relatando os resultados de sua pesquisa, alm de coordenar e animar o debate, propondo tpicos a serem discutidos e mantendo o foco da discusso; Monografia: ao final do curso, aps as discusses online, cada participante elabora uma monografia sobre um dos temas discutidos.

Em uma das atividades foi solicitado que o aprendiz selecionasse de 3 a 7 mensagens de sua autoria postadas durante uma discusso em grupo (60% da nota). Alm disso, cada aprendiz elaborou um relatrio (40% da nota) sobre a qualidade das discusses em seu grupo de discusses, avaliando o contedo e incluindo aspectos considerados importantes e que no tenham sido cobertos pela discusso; Uma outra tarefa teve elementos de trabalho em grupo e individual. A parte desenvolvida em grupo envolveu grupos pequenos (3 a 6 aprendizes), que trabalharam em cima de artigos propostos pelo professor, elaborando um resumo explicando o tema do artigo e uma concluso sobre o mesmo (30% da nota). O artigo foi discutido pelos aprendizes via conferncia eletrnica, a fim de alocar um tema relacionado ao artigo para cada aprendiz. Assim, na parte individual (70% da nota), cada participante do grupo escreveu uma crtica sobre o artigo, baseado no tema negociado anteriormente com o grupo.

Os autores ressaltam que fazer avaliao baseada em contribuies uma tarefa rdua. O docente precisa estar sempre atento ao grupo a fim de verificar a qualidade das contribuies. Observam tambm que acompanhar o processo de aprendizado distncia demanda muito mais tempo, j que as dvidas dos aprendizes so em maior nmero que no ensino presencial, devido facilidade de envio destas. Alm disso, o formador tem que acompanhar, avaliar e motivar as demais interaes. Curso: Information Technology and Society Open University (UK) Neste curso relatado em [Thorpe 1998], as atividades de avaliao procuraram explorar o potencial da Comunicao Mediada por Computador (CMC) para promover maior interatividade entre os aprendizes e desenvolver o trabalho em grupo. Dessa forma, as tarefas foram planejadas de maneira que as interaes entre os aprendizes, bem como o trabalho colaborativo, fossem essenciais ao desenvolvimento satisfatrio das atividades. A seguir so descritas duas atividades desenvolvidas no curso com o apoio do ambiente FirstClass3 .

Thorpe ressalta que com a terceira gerao da EaD, ou seja, a EaD baseada na CMC, novas possibilidades foram introduzidas avaliao a distncia, tais como o desenvolvimento de atividades que envolvam a colaborao em grupo e o maior contato entre professor e aprendiz. As experincias relatadas nesta seo mostram que possvel a explorao das ferramentas de comunicao dos ambientes de EaD de diversas formas, a fim de prover avaliao formativa em cursos distncia. Na prxima seo so apresentadas algumas pesquisas relacionadas ao suporte avaliao em EaD.

3. Pesquisas Relacionadas
Nesta seo so apresentadas algumas pesquisas que vm sendo desenvolvidas para apoiarem formas alternativas de avaliao, diferentes da avaliao tradicional baseada em testes e exames, dentre as quais se enquadra a avaliao formativa. A fim de auxiliar o professor na anlise das interaes dos aprendizes, Jacques e Oliveira [2000] apresentam uma arquitetura multiagente para a monitorao das principais ferramentas de comunicao de um ambiente de EaD. A arquitetura baseada em quatro agentes: trs agentes coletores (um para cada ferramenta de comunicao lista, chat e newsgroup) e um agente do professor. Os agentes coletores atuam coletando e analisando os dados a partir das

2 3

http://guiaaulanet.eduweb.com.br/ http://www.centrinity.com/

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

148

mensagens geradas por meio das ferramentas de comunicao. As anlises tm enfoque na colaborao em grupo (grupos de aprendizes que interagem mais entre si, assuntos que mais interessam a cada grupo, percentual de participao de cada grupo e de cada aprendiz no grupo) e tambm na participao individual dos aprendizes (temas de interesse, nmero de mensagens trocadas). O agente do professor acionado pelo professor para exibir as anlises feitas pelos agentes coletores, bem como uma anlise global realizada pelo prprio agente do professor. A tecnologia de agentes tem sido usada tambm para a monitorao do comportamento de aprendizes durante um curso, a fim de avaliar a participao destes, alm de auxiliar na deteco de problemas de aprendizagem ou de design do curso. Em Menezes, Fuks e Garcia [1998], apresentado um modelo baseado em agentes para o suporte a uma forma de avaliao alternativa, por meio do acompanhamento das interaes do aprendiz com o ambiente de ensino Aulanet. O modelo baseado em 3 agentes assistentes de tarefas: (1) Agente de Monitorao, responsvel pela criao de um log da interao dos aprendizes com o ambiente; (2) Agente de Avaliao de Aprendizes, responsvel pela consulta ao log da interao, ao modelo do aprendiz e a uma base de conhecimentos responsvel pela interpretao desse log de interao; (3) Agente de Avaliao de Design, capaz de identificar possveis distores no design instrucional, refletidas em decorrncia do comportamento verificado dos aprendizes, oferecendo os mecanismos necessrios realizao das correes dos problemas verificados. Em [Souto et al 2001] apresentado um modelo de monitorao do aprendiz baseado em trs requisitos principais: identificao do aprendiz remoto, rastreamento das suas interaes com o material instrucional e identificao do padro de comportamento cognitivo do aprendiz a partir da observao de suas interaes com o ambiente. A identificao/autenticao feita a cada vez que o aprendiz entra no curso. O rastreamento realizado enquanto o aprendiz navega pelas pginas web, j que todas as suas interaes so registradas no log, que fica armazenado em uma base de dados. Posteriormente, estas informaes so analisadas, com o objetivo de obter os valores de variveis de ndice pr-definidas (padro de navegao, tempo de acesso total ou a cada pgina, desempenho em testes, etc), para posterior identificao do padro de comportamento do aprendiz por agentes inteligentes, e respectiva

adaptao do material instrucional a disponibilizado pelo sistema ao aprendiz.

ser

J em [Silva e Fernandes 2000] apresentado o Amon-ad, um modelo de agente para auxiliar a avaliao de aprendizagem em ambientes baseado na web, cujas funes so: monitorar e auxiliar o aprendiz na tarefa de aprender, manter dados de avaliaes, auxiliar na motivao e facilitar o processo de avaliao. O modelo baseado em trs agentes: (1) Agente Aprendiz, que informa dados das avaliaes do aprendiz, auxilia em busca de documentos, mostra datas de metas e eventos, informa ausncia de resultados em atividades, estimula o aprendiz a buscar suas metas quantitativas e exercer auto-avaliao contnua; (2) Agente Facilitador, que auxilia na confeco de instrumentos de avaliao e de atividades, auxilia no rastreamento do aprendiz e na identificao de anormalidades, alm de processar a parte no subjetiva da correo de atividades; (3) Agente Sistema, que prov funes de administrao, como o acompanhamento dos aprendizes e assistncia ao cumprimento de metas. A tecnologia de Agentes empregada tambm na implementao de um notificador de eventos. Em [Musa, Oliveira e Vicari 2001] apresentado um agente notificador baseado no conceito de sistema de alertas inteligentes, que consiste na monitorao de um banco de dados para a deteco de determinadas condies e tomada de deciso. Os mdulos que compem este agente so: (1) um editor de alertas que permite a construo e gerenciamento de alertas pelos usurios (identificao das condies a serem monitoradas e aes a serem tomadas); (2) uma base de conhecimentos contendo regras representando situaes de exceo que devem ser detectadas; (3) um monitor de eventos que detecta a ocorrncia de um evento de interesse; (4) um servidor de alertas responsvel pela emisso dos alertas; uma base de dados contendo todas as atividades dos alunos; e (5) uma base de mensagens com todas as mensagens que podem ser enviadas pelo agente. A tecnologia de minerao de dados tambm vem sendo empregada para prover suporte avaliao, facilitando a explorao dos dados gerados pelas interaes realizadas durante um curso. Em [Silva, Seno e Vieira 2001] proposto um sistema de auxlio a uma avaliao informal, realizada por meio do acompanhamento das atividades do aprendiz em 3 nveis: (1) coleta do log de rastreamento de comunicao (pginas visitadas, mensagens trocadas); (2) reunio dos resultados das atividades previstas (resultado de atividades

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

149

previstas no curso e os critrios de avaliao definidos para cada uma); (3) anlise dos dados coletados nos nveis anteriores, gerando aes para tratar as situaes encontradas. As aes podem tanto estar a cargo do professor, cabendo ao sistema apenas informar os resultados da anlise, quanto serem automticas, acionando um mecanismo programado do sistema. A anlise dos dados coletados adota algoritmos de minerao de dados para gerar padres de comportamento dos aprendizes (p.ex. encontrar comportamentos que caracterizem aprendizes aprovados). J Zaane e Luo [2001] exploram diretamente o log de acessos gerado pelo servidor web, usando tcnicas de minerao de dados para extrair padres de comportamento que possam ajudar educadores a avaliarem o processo de aprendizagem, rastrearem as aes dos aprendizes e medirem a efetividade da estrutura dos cursos. proposto um framework flexvel para a minerao de dados no contexto de sistemas de aprendizagem online, no qual o usurio (educador) pode expressar as restries nos estgios de coleta e transformao de dados, bem como nos passos de descoberta e anlise de padres. O usurio pode direcionar o processo de minerao de dados de acordo com suas necessidades, por meio de filtros e de uma linguagem de consulta simples. Para prover suporte avaliao em atividades colaborativas, Tarouco et al. [2000] propem um ambiente de suporte ao trabalho em grupo e avaliao do aprendiz, baseada nos seguintes mecanismos: (1) uma ferramenta de rastreamento que registra todos os passos do aluno (pginas acessadas, data e hora); (2) uma ferramenta de controle de fluxo de informaes, que identifica e registra a participao dos alunos em ferramentas de comunicao; (3) uma ferramenta de ponto de vista, por meio da qual so possveis a coleta e tabulao de respostas e nveis de contribuies dos alunos em discusses; e uma ferramenta de votao, que prov um feedback rpido dos aprendizes para o professor sobre um determinado assunto. Com o levantamento bibliogrfico apresentado nesta seo foi possvel a verificao das principais linhas de pesquisa na rea de suporte avaliao alternativa, alm da constatao do crescente interesse por esta rea. Na seo seguinte apresentado o ambiente de suporte EaD TelEduc, dando um enfoque sua estrutura atual de apoio ao desenvolvimento de atividades e de suporte avaliao formativa. Uma descrio

completa do ambiente TelEduc encontrada em [Rocha 2002].

4. Avaliao Formativa no TelEduc

O TelEduc um ambiente de criao, participao e administrao de cursos distncia na Web que vem sendo desenvolvido desde 1997, pelo Ncleo de Informtica aplicada Educao (NIED) em parceria com o Instituto de Computao (IC), ambos da Unicamp. O TelEduc tem sido desenvolvido de forma participativa, tendo todas as suas ferramentas idealizadas, projetadas e depuradas segundo as necessidades relatadas por seus usurios [Rocha 2002]. Todo o processo de aprendizagem no TelEduc organizado por meio da ferramenta Agenda que apresenta a programao de um perodo do curso. Na Agenda o formador pode descrever os objetivos de aprendizagem a serem alcanados no perodo em questo, as atividades planejadas para que o aprendiz alcance tais objetivos e os recursos disponibilizados para apoiar o aprendiz no desenvolvimento das atividades planejadas. O aprendiz visualiza a Agenda atual sempre que entra no curso. As atividades do curso so organizadas e disponibilizadas por meio das ferramentas Atividades e Parada Obrigatria. Essas duas ferramentas so diferenciadas mais conceitualmente do que computacionalmente, j que a segunda usada quando o formador deseja fazer um fechamento das principais idias abordadas at o momento [Rocha 2002]. O TelEduc foi concebido para apoiar a aprendizagem baseada na resoluo de problemas. Dessa forma, a ferramenta Atividades o elemento central do ambiente, e ferramentas como Material de Apoio, Leituras, Fruns de Discusses, Bate-Papo, Mural, Perguntas Freqentes e Portflio, foram criadas para apoiar o desenvolvimento das atividades (Figura1).
Material de Apoio Leituras Atividades Portflio Bate-Papo Frum Dirio Correio Mural Perguntas Freqentes Grupos

Figura 1 - Organizao das Ferramentas do TelEduc

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

150

Uma ateno especial deve ser dada ferramenta de comunicao Portflio, que uma rea onde um aprendiz ou grupo de aprendizes pode organizar suas informaes, a fim de comunicar ao grupo e/ou ao formador o resultado de seu trabalho e receber comentrios e sugestes. No Portflio o aprendiz/grupo pode armazenar qualquer tipo de arquivo e selecionar um dos trs tipos de compartilhamento: o totalmente compartilhado possibilita que todos os participantes do curso possam ter acesso e comentar seu trabalho; o modo compartilhado com formadores permite o acesso somente ao grupo de formadores do curso; e o no compartilhado no permite acesso a outras pessoas ou aos no componentes de um grupo (no caso de portflios de grupos). Esta ltima opo usada quando o aprendiz ou grupo ainda no conseguiu o resultado final, isto , trata-se ainda de um trabalho em andamento que apenas est usando o espao para armazenamento durante sua fase de construo. A organizao dos aprendizes em grupos realizada por meio da ferramenta Grupos. No TelEduc todas as ferramentas de comunicao possuem registro das interaes, inclusive as salas de bate-papo. Tudo o que acontece em um curso registrado (interaes, contedos, acessos), portanto a avaliao pode ser realizada de forma contnua, por meio da anlise dos registros das participaes dos aprendizes durante o desenvolvimento de atividades individuais e em grupo. A fim de facilitar a visualizao de dados quantitativos das interaes realizadas no ambiente foi criada a ferramenta InterMap, que utiliza tcnicas de visualizao de informao para mapear a interao e a participao dos atores envolvidos em um curso no TelEduc, utilizando vrias formas de representao grfica, tais como grafos, grficos de barra e cdigo de cores [Romani 2000]. O InterMap facilita a visualizao de dados quantitativos das interaes como, por exemplo, a visualizao, por meio de um grafo, do fluxo das mensagens de correio trocadas entre os participantes do curso (Figura 2), ou a visualizao das mensagens dirias enviadas por cada aprendiz a um determinado frum, que pode ser representado por uma tabela preenchida por meio de uma tcnica que define uma cor para cada quantidade de mensagens trocadas. Com o InterMap, o formador passa a ter pistas semelhantes quelas que dispe em aulas presenciais, como a falta de interao de alguns

aprendizes, a formao identificao entre pares.

de

grupos

Figura 2 - grafo criado pela ferramenta InterMap representando o fluxo de mensagens de correio trocadas. Os vrtices (ns) representam os participantes no curso e as arestas representam a troca de mensagens entre eles.

O TelEduc possui tambm a ferramenta Acessos, que permite a gerao de relatrios contendo o nmero de acessos e a data e hora do ltimo acesso de cada participante ao curso, a freqncia dos acessos de cada participante durante um determinado perodo do curso (Figura 3), e os acessos dos aprendizes a cada uma das ferramentas do TelEduc. Esta ferramenta tornouse necessria para possibilitar a diferenciao entre o aprendiz calado mas presente e o aprendiz ausente, que extremamente importante no acompanhamento de um curso.

Figura 3 - Ferramenta Acessos do TelEduc: freqncia de acessos

Como ser apresentado na prxima seo, a partir da atuao efetiva como formadoras (juntamente com um grupo de outros 17 formadores e 36 monitores) no oferecimento de cursos distncia que empregaram a avaliao formativa, foi possvel o levantamento das necessidades relativas s ferramentas de apoio a esta forma de avaliao. Apesar do TelEduc possibilitar o registro de todas interaes dos aprendizes ao longo do curso, e anlise quantitativa dessas

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

151

interaes, necessrio prover suporte anlise qualitativa desses dados.

5. A experincia de avaliao no Projeto Proinesp

O Projeto Proinesp vem sendo desenvolvido pela Secretaria de Educao Especial do governo federal do Brasil e pela Fundao Nacional das APAEs, com o objetivo de contemplar, com laboratrios de informtica e cursos de capacitao de professores, escolas que atendem pessoas portadoras de necessidades especiais. Os cursos de capacitao de professores em informtica na educao especial tm sido oferecidos totalmente distncia, por meio do ambiente de EaD TelEduc, podendo assim, atender igualmente professores de todos os estados brasileiros. Estes cursos j foram ministrados em duas edies, sendo que a primeira, no ano de 2000 foi realizada pelo Ncleo de Informtica Aplicada Educao (NIED) da Unicamp e atendeu 7 turmas de 24 alunos. A segunda edio foi realizada em uma parceria entre o NIED/UNICAMP e o Ncleo de Informtica na Educao Especial (NIEE) da UFRGS, atendendo 18 turmas de 24 aprendizes.

computacionais, bem como o planejamento, realizao e anlise de atividades prticas dos professores-aprendizes com seus aprendizes. Os projetos foram desenvolvidos individualmente ou em grupo e publicados no curso por meio da ferramenta Portflio. Todas as atividades compartilhadas no Portflio eram comentadas pelos formadores e aprendizes de forma colaborativa e construtiva. O aprendiz era motivado a entrar num ciclo de revises seguidas de comentrios, no qual tinha a oportunidade de construir e depurar os novos conhecimentos; Discusses online: realizados para promover a discusso de temas especficos do curso. Essas discusses foram realizadas de 3 formas: o Frum: discusso assncrona realizada por meio da ferramenta Frum de Discusses. Eram conduzidos pelos formadores, que incentivavam as trocas de idias e experincias. A natureza assncrona do frum favoreceu a reflexo e a elaborao das participaes, possibilitando maior qualidade e aprofundamento; Seminrio Virtual: era semelhante atividade Frum, no entanto nesta modalidade um ou dois grupos ficavam responsveis por propor as questes a serem discutidas, conduzir as discusses do frum, fazer uma anlise e avaliar a participao dos colegas; Bate-Papo: discusso sncrona realizada por meio da ferramenta Bate-Papo para discutir tpicos relacionados ao curso. A natureza sncrona do Bate-Papo gera participaes curtas e pouco elaboradas, no entanto demonstrou aumentar a proximidade entre os participantes do curso, contribuindo para aumentar a colaborao;

5.1 Metodologia de Avaliao

Os cursos em questo seguiram a abordagem construcionista [Papert 1994], que envolve o uso macio e significativo do computador no local onde o aprendiz atua, oferecendo condies para que ele construa o conhecimento, contextualizado na sua realidade e de maneira contnua. A realizao destes cursos distncia permitiu o desenvolvimento de atividades de construo do conhecimento contextualizadas no local de trabalho do professor-aprendiz, o que favoreceu a reflexo deste sobre a prpria experincia pedaggica. Tambm foi possvel a descontextualizao da prtica pedaggica [Valente 2000, Prado e Valente 2002], por meio do compartilhamento dos conhecimentos construdos por cada participante. A seguir so apresentados os principais tipos de atividades usadas nos cursos em questo, procurando mostrar a dinmica das atividades e sua relao com o uso das ferramentas do TelEduc que deram suporte a realizao das mesmas: Projetos: envolveram o desenvolvimento de atividades prticas usando ferramentas

Relatos: reflexes do aprendiz sobre o prprio processo de aprendizagem, por meio de relatos de suas experincias. Foi usada a ferramenta Dirio de Bordo, que permite leitura e comentrio apenas de formadores.

Na subseo seguinte so apresentadas algumas reflexes sobre essa experincia de avaliao formativa.

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

152

5.2 Reflexes sobre a experincia

Nesta experincia pde ser feito um levantamento das principais tarefas desempenhadas pelos formadores durante o processo de avaliao formativa [Otsuka 2002]. O trabalho do formador no processo de avaliao formativa inicia na elaborao das atividades de avaliao, e essa etapa merece muito cuidado, j que as atividades tm o potencial de direcionar a ateno dos aprendizes para contedos especficos e para a prtica de habilidades particulares. A variedade de ferramentas de comunicao disponveis no TelEduc possibilita a explorao de diversos mtodos de avaliao, de acordo com os objetivos pedaggicos do formador. Em um curso distncia o acompanhamento dos aprendizes muito mais difcil que em cursos presenciais, j que o formador s tem a percepo do comportamento e desenvolvimento do aprendiz quando este participa ativamente do curso, expondo dvidas, participando de discusses, realizando as tarefas ou contribuindo com os colegas. Para acompanhar o desenvolvimento dos aprendizes necessrio rastrear um grande volume dados gerados pelas interaes e atividades dos aprendizes no curso. O formador tem um grande trabalho procurando, coletando e analisando informaes relevantes ao acompanhamento do curso. necessrio acompanhar cada nova ao dos aprendizes, alm de estar atento para detectar possveis problemas no processo de aprendizagem (como a falta de acesso, falta de participao, atraso de tarefas, falta de participao no grupo). Como facilitador do processo de aprendizagem distncia, o formador deve orientar o aprendiz sobre a dinmica do curso, sobre a participao esperada, conscientizando-o da importncia de sua participao ativa neste contexto de aprendizagem. Alm disso, o formador deve estar constantemente orientando e motivando a aprendizagem, por meio do auxlio na resoluo de dvidas, promoo de discusses, promoo da colaborao e principalmente por meio dos comentrios dados s atividades dos aprendizes. Os comentrios so elementos importantes no processo de construo do conhecimento, orientando a depurao do novo conhecimento, realizada durante um ciclo de vrias revises e comentrios de uma mesma atividade. Ao final do desenvolvimento de uma atividade, geralmente necessrio que o formador analise o aproveitamento do aprendiz durante o desenvolvimento da atividade e estabelea algum

tipo de conceito para a mesma. De acordo com o formador, a turma, os objetivos e o contexto de aprendizagem, a atribuio de conceitos pode ser realizada de diferentes formas (alguns levam em considerao o nvel de conhecimento inicial do aprendiz e o seu desenvolvimento durante a realizao da atividade; outros consideram critrios como data de entrega da atividade, nmero de participaes em fruns relacionados, nmero de participaes relevantes em um determinado frum; outros ainda consideram fatores como interesse, empenho, participao, colaborao com os colegas, etc). Portanto para atribuir o conceito de uma atividade, geralmente o formador necessita buscar e analisar uma grande quantidade de informaes relevantes para atribuir um conceito final, de acordo com os seus objetivos pedaggicos. Dessa forma, apesar do curso ter sido estruturado em pequenas turmas de 24 aprendizes, cada uma acompanhada por trs formadores, notou-se uma grande sobrecarga de trabalho para os formadores, devido a grande quantidade de dados a serem acompanhados. Destas constataes e experincia, o grupo de pesquisa do projeto TelEduc iniciou um estudo no sentido de viabilizar a implementao de tecnologia adequada ao auxlio destas tarefas do processo de avaliao formativa. Na prxima seo ser apresentada uma viso geral destas pesquisas

6. Direes das pesquisas de apoio Avaliao Formativa no TelEduc

Como visto anteriormente, o TelEduc, possui ferramentas de comunicao projetadas para facilitar tanto as interaes entre os participantes de um curso distncia como a visualizao do registro dessas interaes para uma posterior anlise. Um auxlio anlise quantitativa das interaes fornecido pelas ferramentas InterMap e Acessos, no entanto o processo de avaliao formativa no TelEduc ainda demanda muito tempo e trabalho dos formadores, principalmente na anlise qualitativa das participaes dos aprendizes. Na avaliao formativa baseada no acompanhamento da performance dos aprendizes durante o desenvolvimento de atividades, os mtodos e os critrios de avaliao variam de acordo com os objetivos de aprendizagem dos formadores. Dessa forma, prover suporte anlise qualitativa neste contexto uma tarefa complexa: como no possvel e nem desejvel a pr-

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

153

determinao de um conjunto de tipos de atividades e critrios de avaliao que atendam aos objetivos de qualquer curso, fica difcil a previso do suporte mais adequado em cada caso. Logo existe uma demanda por solues adaptveis a cada curso, de acordo com os objetivos de aprendizagem dos formadores. Em busca desta flexibilidade, esto sendo desenvolvidas pesquisas de suporte avaliao formativa empregando a tecnologia de agentes de software, que so entidades de software que atuam de forma contnua e autnoma em um determinado ambiente, sendo capazes de intervir no seu ambiente, de forma flexvel e inteligente, sem necessidade da constante orientao humana [Bradshaw 1997]. Mais especificamente, esto sendo usados agentes de interface, que so aqueles que aprendem observando e monitorando as aes dos usurios em uma interface, e atuam como assistentes pessoais, colaborando com o usurio e com outros agentes na realizao de determinadas tarefas [Maes 1994]. Assim, o foco das pesquisas que vm sendo desenvolvidas no Projeto TelEduc na rea de suporte avaliao, facilitar a atuao do formador, provendo suporte flexvel s principais tarefas desenvolvidas pelos formadores no processo de avaliao formativa, principalmente na anlise qualitativa das participaes dos aprendizes. Neste escopo esto sendo desenvolvidos trs projetos que so apresentados resumidamente a seguir. Um projeto de (re)design das ferramentas de comunicao do TelEduc est sendo desenvolvido para facilitar o registro e recuperao das avaliaes realizadas ao longo do curso, permitindo que os formadores informem, a qualquer momento, as notas e comentrios das avaliaes. Com esse registro as informaes das avaliaes passam a ser organizadas dentro do ambiente, podendo ser facilmente consultadas [Ferreira 2001]. A fim de diminuir o volume de informaes a serem analisadas pelo formador est sendo desenvolvido tambm um projeto que envolve o uso de agentes de interface para a filtragem adaptativa das participaes de registros de sesses de bate-papo, de acordo com os interesses do formador [Lachi 2001]. Resultados preliminares obtidos mostram que a tecnologia de agentes de interface se aplicou bem ao problema de filtragem adaptativa de comentrios em sesses de bate-papos, de acordo com o perfil de seleo do usurio. Isso ocorreu mesmo sendo o Bate-Papo, a ferramenta de comunicao menos estruturada do TelEduc. Por isso, os resultados

positivos obtidos com esta ferramenta apontam para a extenso da aplicao do agente para as outras ferramentas do ambiente [Lachi, Otsuka e Rocha 2002]. Os resultados positivos obtidos na filtragem flexvel de sesses de bate-papo do indicativos da viabilidade do uso da tecnologia de agentes de interface para prover uma soluo mais ampla de suporte flexvel avaliao formativa. Dessa forma, est sendo desenvolvido um projeto que engloba resultados dos dois projetos anteriores para prover suporte adaptativo recuperao de informaes relevantes dos registros das interaes e das avaliaes. A partir da recuperao destas informaes espera-se prover auxlio em tarefas constantemente desempenhadas pelos formadores, a fim de liberar os formadores destas funes, diminuindo a sobrecarga destes no processo de avaliao formativa [Otsuka e Rocha 2002a, Otsuka e Rocha 2002b]: Construo dinmica do profile do aprendiz, refletindo o desenvolvimento do aprendiz ao longo do curso, segundo aspectos relevantes a cada formador (como a capacidade de aplicao de um novo conhecimento, a colaborao, a autonomia, etc). O profile de um aprendiz poder ser constantemente validado e refinado, de acordo com as informaes extradas dos registros das interaes e das avaliaes; A construo do profile do aprendiz possibilitar tambm a promoo da colaborao entre os aprendizes, por exemplo, por meio da busca de aprendizes que possam responder determinadas dvidas no Frum, ou fazer comentrios em Portflios; Auxlio na deteco de possveis problemas (como ausncia de acesso ao curso, falta de interao, atraso de tarefas, falta de participao em atividades em grupo, etc), de acordo com os interesses de cada formador.

Dessa forma, as pesquisas do grupo TelEduc esto sendo desenvolvidas em duas pontas: por um lado espera-se facilitar o registro e recuperao das avaliaes (notas e comentrios) realizadas ao longo do curso pelos formadores e, por outro lado, espera-se reduzir a quantidade de informaes a serem analisadas e facilitar o formador na identificao e recuperao de informaes quantitativas e qualitativas relevantes avaliao, de forma flexvel, de acordo com os seus interesses e necessidades.

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

154

7. Consideraes Finais
No possvel e nem desejvel a prdeterminao de um conjunto de tipos de atividades e critrios de avaliao que atendam aos objetivos de qualquer curso, em qualquer contexto. Logo um grande desafio do suporte avaliao formativa prover solues adaptveis a cada curso, de acordo com os objetivos pedaggicos dos formadores. O diferencial das pesquisas em andamento no grupo TelEduc est na explorao da tecnologia de agentes de interface para prover suporte flexvel avaliao formativa, baseada na observao da interao do formador com o ambiente. Aproveitando a facilidade de se registrar tudo o que ocorre em um curso distncia mediado por computadores, as pesquisas desenvolvidas no grupo empregam a tecnologia de agentes de interface para atuar sobre esses registros, filtrando, recuperando e analisado informaes relevantes avaliao formativa, de acordo com os interesses e objetivos pedaggicos do formador. Os primeiros resultados obtidos a partir do uso da tecnologia de agentes de interface para prover suporte adaptativo filtragem de registros de sesses de bate-papo foram bem promissores e so importantes indicativos sobre a viabilidade do uso desta tecnologia para prover um suporte efetivo e flexvel avaliao formativa no ambiente TelEduc.

8. Referncias
Bradshaw, J. M. (1997). An Introduction to software Agents. In: Bradshaw, J. M. (Ed.). Software Agents. Massachussetts: MIT Press 1997. Ferreira, T. B. (2001). Desenvolvimento de uma Ferramenta de Suporte Avaliao em Ambientes de Ensino a Distncia. Qualificao de Mestrado, IC/Unicamp, 2001. Fuks, H., Gerosa, M.A. & Lucena, C.J.P. (2001). Sobre o Desenvolvimento e Aplicao de Cursos Totalmente a Distncia na Internet, Revista Brasileira de Informtica na Educao, N9, Setembro 2001, ISSN 1414-5685, Sociedade Brasileira de Computao, pp. 61-75 Gipps, C. (1998). Avaliao de alunos e aprendizagem para uma sociedade em mudana. In: Anais do Seminrio Internacional de Avaliao Educacional. Braslia: INEP, 1998. Haertel, E. (1999). Performance Assessment and Educational Reform. In: Phi Delta Kappan . Jaques, P.; Oliveira, F.M. (2000). Um Experimento com Agentes de Software para Monitorar a Colaborao em Aulas Virtuais. Workshop de Informtica na Escola, 2000.

Lachi, R. L. (2001). Uso de agentes de interface no gerenciamento de informaes em ambientes de ensino a distncia. Qualificao de Mestrado, IC/Unicamp, 2001. Lachi, R. L.; Otsuka, J. L.; Rocha, H. V. (2002). Uso de Agentes de Interface no Suporte Anlise de Sesses de Bate-Papo. Artigo submetido ao IHC 2002. Maes, P. (1994). Agents that Reduce Work and Information Overload. Communications of the ACM. 38(7), 1994. Menezes R.; Fuks, H; Garcia, A. C. (1998). Utilizando Agentes no Suporte Avaliao Informal no Ambiente de Instruo Baseada na Web Aulanet. In: Anais do IX Simpsio Brasileiro de Informtica na Educao, Fortaleza, 1998. Musa, D.; Oliveira, J.; Vicari, R. (2001). Agente para auxlio a avaliao de aprendizagem em ambientes de ensino na Web. In:Workshop de Informtica na Escola, 2001. Nelson, G. E. (1998). On-Line Evaluation: Multiple Choice, Discussion Questions, Essay, and Authentic Projects. In: Third Teaching in the Community Colleges Online Conference, Kapiolani Community College, Hawaii, April 7-9, 1998. (ED 430 695). Otsuka, J. L. (2002). Anlise do processo de avaliao contnua em um curso totalmente a distncia. In: Virtual Educa 2002, Valena, Espanha, 2002. Otsuka, J. L; Rocha, H. V. (2002a). A caminho de um modelo de apoio avaliao contnua. In: Anais do Workshop de Informtica na Escola (WIE 2002), Florianpolis, 2002. (a ser publicado). Otsuka, J. L; Rocha, H.V. (2002b). An Agent-based Approach to Support Formative Assessment In: Proceedings of 2002 International Conference on Computers in Education, Doctoral Research Consortium, IEEE, Auckland, New Zealand, 2002 (a ser publicado). Papert, S. (1994). A Mquina das Crianas: Repensando a escola na Era da Informtica. Porto Alegre: Artes Mdicas, 1994. Perrenoud, P. (1999). Avaliao: da excelncia regulao das aprendizagens entre duas lgicas. Porto Alegre: Artes Mdicas, 1999. Prado, M. E.; Valente, J. A. (2002). A educao a distncia possibilitando a formao do professor com base no ciclo da prtica pedaggica. In: Moraes, M.C. (Org). Educao Distncia: Fundamentos e Prticas. Campinas, SP:Unicamp/Nied, 2002, pp. 27-50. Rocha, H. (2002). O ambiente TelEduc para Educao Distncia baseada na Web: Princpios, Funcionalidades e Perspectivas de desenvolvimento. In: Moraes, M.C. (Org). Educao Distncia: Fundamentos e Prticas. Campinas, SP:Unicamp/Nied, 2002, pp. 197212.

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

155

Romani, L. A. (2000). Intermap: Ferramenta para Visualizao da Interao em Ambientes de Educao a Distncia na Web. Dissertao de Mestrado, IC/Unicamp, dez 2000. Silva, D. R.; Seno, W. P.; Vieira, M. T. P. (2001). Acompanhamento do Aprendizado em Educao a Distncia com Uso de Data Mining. In: Conferncia Latinoamericana de Informtica, Mrida, Venezuela, 2001. Silva, J. C. T.; Fernandes, J. R. (2000). AMON-AD: Um agente inteligente para avaliao de aprendizagem em ambientes baseados na Web. VI Workshop de Informtica na Escola (WIE), PUCPR Campus Curitiba - 17 a 21 de julho de 2000. Souto, M. A. et al. (2001). Ferramentas de Suporte a Monitorao do Aluno em um Ambiente Inteligente de Ensino na Web. In: Anais do VII Workshop de Informtica na Escola, Fortaleza, Brasil, julho de 2001. Tarouco, L et al. (2000). Supporting Group Learning and Assessment through Internet. In: TransEuropean Research and Education Networking Association Conference, Lisboa, Portugal, Maio 2000. Thorpe, M. (1998). Assessment and 'Third Generation' Distance Education. Distance Education 19, no. 2 , 1998: 265-286. (EJ 582 131). Valente, J. A. (2000). Educao a Distncia: Uma oportunidade para Mudana no Ensino. In: Maia, C. (Org.). Educao a distncia no Brasil na era da Internet. So Paulo: Anhembi Morumbi Editora, 2000, pp. 97-122. Wiggins, G. (1990). The case for authentic assessment. Eric Digest, no. ED328611. Zaane, O.; Luo, J. (2001). Towards Evaluating Learners Behaviour in a Web-Based Distance Learning Environment. In: Proceedings of ICALT 2001.

XIII Simpsio Brasileiro de Informtica na Educao SBIE UNISINOS 2002

156