Vol.5 Nmero 8 JUL.

2013- ISSN 1982-6109

AVALIAO DE CURSOS ONLINE ALGUMAS PERSPETIVAS

Claudia Machado1 Maria Joo Gomes2

RESUMO: Dentro da problemtica geral da avaliao de cursos em modalidade de e-/bLearning so vrios os autores que apresentam modelos de avaliao de cursos, considerando diferentes perspetivas e dimenses de anlise. Neste texto fazemos uma anlise e discusso de alguns modelos de avaliao de cursos de modo a identificar as virtualidades e limitaes de cada um desses modelos, contribuindo desta forma para facilitar o processo de desenho de projetos de avaliao de programas/curso em e-Learning. PALAVRAS-CHAVE: Avaliao; educao; e-/b-Learning ABSTRACT: Within the general problem of e-/b-Learning courses evaluation there are several authors that present models of assessment based on different perspectives and dimensions of analysis. In this paper we intend to make an analysis and discussion of some models of courses assessment in order to identify the virtues and limitations of each one of them, thus contributing to facilitate the drawing process of programs /courses evaluation in e-Learning. KEY WORDS: Assessment; education; e-/b-Learning

1 AVALIAR PARA MELHORAR

Os desafios colocados pela sociedade do conhecimento exigem que as Instituies de Ensino Superior (IES) se adaptem a novas realidades econmico-sociais e a novos pblicos, promovendo novas formas de ensino e diversificando a oferta formativa, explorando o potencial das tecnologias de comunicao a distncia, as quais permitem ultrapassar fronteiras e limites
1

Doutoranda e mestre em Educao na Especialidade de Tecnologia Educativa, pela Universidade do Minho. Especialista em Educao a Distncia, em Superviso Escolar e Licenciada em Pedagogia. 2 Doutora em Educao e professora do Departamento de Estudos Curriculares e Tecnologia Educativa da Universidade do Minho. Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

temporais ou geogrficos e conceber novos contextos e oportunidades de educao. Assistimos na ltima dcada, a um renovado interesse pelas prticas de educao a distncia, em parte devido s potencialidades acrescidas de comunicao, publicao e colaborao associadas s tecnologias das redes digitais, de que paradigma a Internet. Moore e Kearsley (2007, p. 314) afirmam que a educao pode ser promovida em situaes convencionais realizadas no campus e no ensino presencial, porm, no futuro, a maior parte desse aprendizado ocorrer, inevitavelmente, por meio da educao a distncia. Neste contexto, as tecnologias de informao e comunicao (TIC) assumem uma importncia crescente uma vez que (...) indiscutvel pelo facto de nesta modalidade de educao existir a necessidade de se mediatizarem processos, que no ensino em presena, normalmente no exigem o recurso a equipamentos e servios tecnolgicos (GOMES, 2008a, p. 182), sendo que as novas abordagens da EaD esto frequentemente associadas ao desenvolvimento de (...) ambientes online (...) apoiados em estratgias que exigem o envolvimento e a colaborao dos intervenientes como aspectos estruturantes para a construo do conhecimento. (MIRANDA, MORAIS, & DIAS, 2007, p. 576-577). A importncia e o papel de destaque que a EaD vem assumindo nos ltimos tempos, particularmente considerando as novas abordagens no domnio do e-Learning/b-Learning com base no potencial das redes de comunicao digital, nomeadamente a Internet e os servios que a mesma disponibiliza, est associado, em parte, sua adoo por parte de instituies que tradicionalmente se dedicavam exclusivamente formao em regime presencial. Atualmente, no contexto do ensino superior, assiste-se progressivamente no s ao aumento da oferta formativa em modalidade de e/b-Learning, mas tambm adoo de prticas de e-Learning no apoio ao ensino presencial. Tendo em conta a progressiva expanso da oferta formativa nestas modalidades e todas as expectativas em torno das mesmas, importa adotar um olhar informado e fundamentado sobre as iniciativas em curso, assegurando que o desenvolvimento das mesmas se efetua no sentido de uma oferta educativa de qualidade, aqui considerada num sentido amplo,

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

incluindo mltiplas dimenses, desde a dimenso pedaggica, tecnolgica, organizacional ou mesmo em termos de socializao. Coerentemente, vimos assistindo, nomeadamente em Portugal, a um esforo no sentido de promover prticas de avaliao de cursos implementados em e-Learning/b-Learning (Silva, 2009; Gonalves, 2010; Machado e Lemos, 2010; Silva & Ramos, 2010; Machado, 2011). Considerando que (...) qualquer projecto que mobiliza expectativas a diversas escalas, que pretende introduzir alteraes no modus operandis das organizaes, necessita de ser acompanhado e monitorizado desde a sua concepo at sua finalizao (GOMES, SILVA & SILVA, 2004, p. 1), daqui decorre, claramente, a necessidade do desenvolvimento de prticas de avaliao de qualquer iniciativa de inovao, aqui incluindo as prticas de e-Learning que se tm vindo a desenvolver nos ltimos anos. Neste sentido, a avaliao tem vindo a assumir uma relevncia crescente ao nvel de programas, polticas, projectos e prticas de formao, nomeadamente no apoio tomada de deciso, atravs de uma reflexo crtica a partir das informaes e dados recolhidos nos processos avaliativos, sendo perspetivada como um elemento estruturante no desenvolvimento dos mesmos (GOMES, SILVA & SILVA, 2004; GOMES, 2004; RODRIGUES, 2007 e LAGARTO, 2009, entre outros). Assim, revela-se imprescindvel a necessidade de () generate robust models for the evaluation of e-learning and tools which are flexible in use but consistent in results. (ATTWELL, 2006, p. 7). Nesse sentido, importa tambm, como apontam Silva, Gomes e Silva (2006) adotar uma abordagem holstica, que considere mltiplas dimenses de anlise e recolha as perspetivas dos vrios intervenientes. Para alm da importncia de uma avaliao que considere mltiplas dimenses, importa tambm considerar que os resultados desta avaliao possam ser (...) used to guide curriculum design and delivery, pedagogy, and educational processes, and may affect future policy and budgets and perhaps have implications for the institutions roles and mission. (WESTERN COOPERATIVE FOR EDUCATIONAL TELECOMMUNICATIONS, 2000, p.12).

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

2 MODELOS DE AVALIAO DE CURSOS EM E-LEARNING

Dentro da problemtica geral da avaliao de cursos em modalidade de e-/b-Learning so vrios os autores que se focalizam nesta temtica, considerando diferentes perspetivas e dimenses/critrios de anlise. Neste texto faremos referncia a sete abordagens avaliao de cursos3, com nveis diferenciados de foco nos programas/cursos em e-Learning: 2.1 Institute for Higher Education Policy - IHPE (2000) O IHPE (2000, p. 25-26) realizou um estudo que identificou um conjunto de 24 benckmarcks divididos em 7 dimenses (Quadro 1) que so consideradas essenciais para assegurar a excelncia de projetos em e-Learning. O estudo envolveu 6 instituies lderes em EaD (Brevard Community College; Regents College; University of Illinois at UrbanaChampaign; University of Maryland University College; Utah State University; e Weber State University). Uma das virtualidades da proposta do IHPE (2000) prende-se com a metodologia adotada para a identificao das benchmarks a considerar na avaliao de cursos em e-Learning. Os autores do estudo realizaram uma extensa reviso de literatura tendo em vista identificar (...) those benchmarks recommended by other organizations and groups as well as those suggested in various articles and publications. (IHPE, 2000, p.2) no contexto da avaliao de cursos a distncia, tendo identificado um conjunto de 45 benchmarks, correspondendo s diferentes dimenses de anlise e respectivos indicadores. Posteriormente, os autores do estudo, partindo da identificao de instituies de reconhecida experincia no mbito da EaD, consideradas lderes
Na apresentao e discusso dos modelos mantivemos as designaes utilizadas pelos diferentes de autores quando se referem aos vrios componentes que integram as suas propostas pelo que, em alguns casos, elementos estruturais semelhantes adotam designaes diferentes de acordo com os respetivos autores.
3

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

no domnio dos programas e cursos de educao a distncia baseada na Web, e da realizao de seis estudos de caso centrados nessas instituies, acabaram por considerar como particularmente relevantes para a avaliao da qualidade em cursos a distncia baseados na Internet, um conjunto de 24 indicadores, organizados em sete dimenses de anlise. No quadro 1, sistematizamos, com base numa traduo livre, as dimenses e indicadores propostos pelo IHPE.

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Quadro 1 - Dimenses consideradas pelo IHPE (2000) para avaliao de cursos/projetos em e-Learning
Dimenses Elementos a considerar Existncia e operacionalidade de um plano tecnolgico documentado que inclui medidas de segurana electrnica (ou seja, a proteo por senha, criptografia, sistemas de backup) para garantir padres de qualidade bem como a integridade e a validade das informaes. Tecnologia to fivel quanto possvel. Sistema centralizado de implementao e manuteno da infraestrutura de EaD. Existncia de padres mnimos para desenvolvimento, design e entrega do curso, sendo que so os resultados da aprendizagem e no a disponibilidade da tecnologia existente - a determinar a tecnologia a ser utilizada para a distribuio dos contedos. Reviso peridica dos materiais didticos para garantir que eles cumprem os padres do programa. Cursos estruturados de modo a exigir que os estudantes se envolvam em atividades de anlise, sntese e avaliao como parte dos requisitos dos seus programas e cursos. A interaco entre os estudantes e com os docentes uma caracterstica essencial do programa/curso e ocorre por vrios processos vrias maneiras, incluindo correio de voz e/ou e-mail. facultado feedback construtivo e temporalmente oportuno, relativamente s tarefas e questes dos estudantes. Os alunos so instrudos relativamente aos mtodos apropriados de investigao eficaz, incluindo a questo de saber avaliar a validade dos recursos a que acedem. Antes de iniciar um programa online, os alunos so informados sobre o mesmo de modo a determinar: (1) se possuem a automotivao e compromisso necessrios para a aprendizagem a distncia e (2) se eles tm acesso tecnologia mnima necessria. Os alunos recebem informao complementar com os objetivos, conceitos e ideias do curso, e so-lhes apresentados por escrito, de forma clara e direta, os resultados da aprendizagem que devem alcanar. Os alunos tm acesso a recursos bibliogrficos suficientes, entre os quais possa estar includa "biblioteca virtual" acessvel atravs da Web. Os docentes e estudantes estabelecem um acordo sobre o tempo para realizao, pelos estudantes, das atividades propostas e para resposta por parte dos docentes.

Suporte Institucional

Desenvolvimento do curso

Processo ensinoaprendizagem

Estrutura do curso

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Dimenses

Elementos a considerar Os alunos recebem informaes sobre programas, incluindo os requisitos de admisso, mensalidades e taxas, livros e outros materiais e servios de apoio ao aluno. Alunos recebem formao prtica e informaes para auxili-los na obteno de material atravs de bases de dados electrnicas, servios, notcias e outras fontes. Durante toda a durao do curso / programa, os alunos tm acesso a apoio tcnico, incluindo instrues detalhadas sobre os meios electrnicos usados, sesses prticas antes o incio do curso, e fcil acesso equipe de apoio tcnico. As perguntas dirigidas aos servios de apoio aos alunos so respondidas com preciso e rapidez, existindo um sistema estruturado para responder s queixas dos alunos. Est disponvel assistncia tcnica aos professores para o desenvolvimento do curso e estes so incentivados a recorrer mesma. Os professores recebem apoio na transio do ensino em sala de aula para o ensino online e so avaliados durante o processo. Existe assistncia/assessoria e formao dos professores ao longo de todo o curso, incluindo tutria entre-pares. Os professores dispem de material impresso para lidar com as questes decorrentes da utilizao pelo aluno a que dizem respeito ao seu acesso ao curso. A eficcia do programa de ensino e do processo ensino/aprendizagem analisada atravs de um processo de avaliao que usa vrios mtodos e aplica normas especficas. So utilizados dados sobre matrculas, custos, e usos inovadores e bem-sucedidos da tecnologia para avaliar a eficcia do programa. Os resultados de aprendizagem so revistos regularmente para assegurar a sua clareza, utilidade e adequao.

Apoio ao aluno

Apoio aos professores

Avaliao

A abordagem do IHPE (2000) bastante abrangente, com um foco nas questes de carter pedaggico no qual se evidencia uma ateno particular para o estudante enquanto elemento central do processo, realando a importncia de aspetos como a qualidade, rigor e atualidade dos recursos e materiais de estudo que lhe so fornecidos, a necessidade de um adequado, rpido e eficaz apoio pedaggico, tcnico e administrativo e a necessidade de envolver os alunos em atividades anlise, sntese e avaliao, valorizando tambm a interao com os professores. Destaca-se ainda a referncia bem explcita necessidade de assegurar a formao e o apoio ao corpo de professores envolvido bem como o recurso a dados de avaliao dos cursos e das aprendizagens como elemento essencial de todo o processo. Em sntese, na nossa perspetiva, estamos perante uma abordagem que tanto constitui um quadro de referncia para a avaliao dos
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

cursos em si, como pode constituir um guio orientador da conceo e desenvolvimento dos mesmos. 2.2 Khan (2005) Badrul Khan (2005) considera que no contexto do e-Learning deve proceder-se avaliao do processo de desenvolvimento de contedos (e-Learning content develoment process), avaliao do ambiente de aprendizagem (evaluation of e-Learning environment), avaliao ao nvel do programa/curso e ao nvel institucional (evaluation of e-Learning at the program and institutional levels) e avaliao dos alunos (assessment of learners). (KHAN, 2005, p. 379). Quadro 2 - Dimenses da avaliao da qualidade do e-Learning com base em Khan (2005)
Dimenses Avaliao do processo de desenvolvimento de contedos Avaliao do ambiente de aprendizagem Avaliao ao nvel do programa/curso e ao nvel institucional Avaliao dos alunos Exemplos de elementos a considerar Deve contemplar a avaliao da fase de planeamento, design, produo e avaliao dos contedos/materiais produzidos. Deve incluir a avaliao das pessoas envolvidas nas vrias fases do processo, a avaliao dos prprios processos e a avaliao dos produtos. Comporta a avaliao dos processos de distribuio e de funcionamento/manuteno do programa/curso em e-Learning. Deve incluir a avaliao das pessoas, dos processos e dos produtos associados distribuio, manuteno, ensino e apoio aos cursos. A avaliao do ambiente de aprendizagem inclui a avaliao do desempenho da equipe de ensino (a qual envolve diferentes profissionais), a avaliao dos servios de apoio aos estudantes e avaliao dos servios de apoio administrativo. Dependendo das instituies, certos servios so oferecidos ao nvel institucional global ou ao nvel de cada programa/curso especfico, pelo que a avaliao pode ter que contemplar um ou ambos destes nveis. Nesta dimenso inclui-se a avaliao de servios administrativos, de informao, de orientao de alunos e de avaliao do prprio programa/curso. Deve considerar-se a este nvel a questo da autenticidade, confiabilidade, diversidade de formatos e de instrumentos de avaliao e congruncia entre os princpios e formas de avaliao e o modelo pedaggico do curso.

Khan (2005) revela ter uma viso longitudinal do processo de avaliao de cursos/programas em e-Learning:
Evaluation in e-learning should focus on the people, processes, and products of elearning. Evaluation issues of e-learning should consider how e-learning and blended
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

learning materials are planned, designed, developed, delivered, and maintained; how well courses are taught and supported; how well program and institutional level services are provided; how e-learning programs are viewed by stakeholders and how well learners learned the materials. (KHAN, 2005, p. 379)

A perspetiva de Khan (2005) revela-se particularmente abrangente focalizando-se quer nos intervenientes, quer nos processos, quer nos produtos decorrentes dos cursos/programas de eLearning. De realar tambm a referncia explcita avaliao da forma como os stakeholders encaram os programas/cursos, aspeto no considerado, pelo menos explicitamente nos restantes modelos analisados. 2.3 Kirkpatrick & Kirkpatrick (2006) O modelo proposto por Kirkpatrick & Kirkpatrick (2006, p. 21-45), foi descrito e publicado pela primeira vez em 1959 no Journal of the American Society for Traning and Development (ASTD), atravs de uma srie de quatro artigos que apresentavam os 4 nveis que os autores propem para avaliao de cursos (Quadro 3). um modelo de avaliao hierrquico, isto , para passar de nvel necessria a informao do anterior e em cada nvel podem ser atribudos pesos conforme um diagnstico claro das necessidades de cada instituio ou curso. Apesar de ser um modelo essencialmente dirigido para contextos de avaliao ao nvel da formao profissional, sem referncias especficas aos contexto de formao online, vrios autores sinalizam a sua aplicabilidade em contexto de e-Learning (LIMA & CAPITO, 2003; RUBIO, 2003; RODRIGUES, 2007, entre outros.). Quadro 3 - Nveis de avaliao de cursos de Kirkpatrick & Kirkpatrick (2006)
Nveis Reao Aprendizagem Comportamento Elementos a considerar Satisfao dos participantes em relao ao educativa. Identificao dos conhecimentos adquiridos e das mudanas de comportamento como resultado da ao educativa. Aplicao dos conhecimentos adquiridos no contexto do trabalho.
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Resultados

O efeito no contexto do trabalho ou o resultado da melhoria do desempenho decorrido da participao na ao educativa (baseado em critrios econmicos).

Trata-se de uma abordagem direcionada para avaliar a ao educativa com foco no estudante/aprendiz e no impacto das suas aprendizagens nos contextos profissionais em que intervm. uma abordagem que aponta dimenses de anlise a considerar nos processos de avaliao das iniciativas de formao, mas que no esclarece como realizar a avaliao, pois no oferece (...) os indicadores de evaluacin, ni los estndares de valoracin, ni los procesos y formas de obtencin de evidencias de cada uno de los elementos evaluados. (RUBIO, 2003, p. 105). A aplicao deste modelo aos contextos de e-Learning possvel, mas exige considerar elementos adicionais, especficos deste contexto, nomeadamente incluindo as dimenses tecnolgicas, nas suas vrias vertentes e implicaes. Comparativamente a outros modelos analisados, o modelo de Kirkpatrick & Kirkpatrick (2006), apresenta-se mais limitado em termos de explicitao do mesmo bem como das dimenses a considerar. 2.4 Attwell (2006) Attwell (2006, p.36), atravs do relatrio produzido sobre os resultados do projeto Models and Instruments for the evaluation of e-Learning and ICT supported learning (E-VAL) Project que decorreu entre 2002 e 2005, desenvolveu um framework para a avaliao de cursos em eLearning, o qual considera uma multiplicidade de variveis que podem ser agrupadas em 5 grupos (Quadro 4). Quadro 4 - Variveis para a avaliao de cursos em e-Learning com base em Attwell (2006)
Variveis Variveis individuais do estudante Exemplos de elementos a considerar Caractersticas fsicas (idade, gnero). Histrico de aprendizagem (nvel de estudos, experincia negativa/positiva). Atitude do estudante perante a aprendizagem (positiva/negativa). Motivao para a aprendizagem (alta/baixa). Familiaridade com as tecnologias usadas.

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Variveis Variveis do ambiente de aprendizagem Variveis tecnolgicas

Variveis de contexto

Variveis pedaggicas

Exemplos de elementos a considerar Caractersticas fsicas do ambiente de aprendizagem. Ambiente institucional e organizacional em que a aprendizagem ocorre. Ambiente do estudante. Hardware. Software. Conectividade. Meios de distribuio. Tecnologia usada. Socioeconmico (classe, gnero). Contexto poltico (quem patrocina o curso e porque razes). Conhecimento cultural (valor atribudo aprendizagem atravs do e-Learning). Localizao geogrfica (Pas, lngua, cidade, urbano/rural). Nvel e natureza dos sistemas de apoio aprendizagem. Consideraes sobre a metodologia. Flexibilidade do curso. Autonomia dos estudantes. Acessibilidade e avaliao dos estudantes. Acreditao e certificao dos cursos.

Atwell (2006) refere que da anlise de vrios projectos de avaliao em e-Learning emergiram cinco conjuntos principais de variveis que podem ser sucessivamente subdivididos de modo a identificar as diferentes variveis em jogo:
Over several e-learning evaluation projects, five major clusters of variables have emerged; individual learner variables, environmental variables, technology variables, contextual variables and pedagogic variables. (ATWELL, 2006, p. 14)

Trata-se de um modelo desenvolvido tendo em vista os contextos de e-Learning e bastante completo, com bastante nfase nas variveis associadas aos estudantes, mas em que parece estar ausente a possvel influncia do perfil e competncias dos professores, aspeto que nos parece importante em contexto de avaliao de cursos. 2.5 Silva, Gomes e Silva (2006) Silva, Gomes e Silva (2006) destacam a necessidade da avaliao ter uma perspetiva holstica, que considere, articule e integre diversas dimenses de anlise bem como os pontos de vista dos diferentes intervenientes e que seja abrangente, recorrendo a mltiplas fontes,
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

momentos e instrumentos de recolha de dados. Assim, os autores apresentam uma abordagem avaliao de cursos em e/b-Learning organizada em torno de 4 eixos (Quadro 5). Trata-se de uma abordagem que visa orientar o desenho de projetos de avaliao, servindo como matriz orientadora, relativamente aos principais aspetos a considerar. O primeiro eixo focaliza-se nos participantes do processo de avaliao - Quem deve avaliar? Quem vai participar no processo de avaliao?. O segundo eixo focaliza-se nos instrumentos a utilizar na recolha de dados de suporte avaliao Como avaliar?. O terceiro eixo reporta-se aos momentos de avaliao Quando avaliar?. O quarto eixo centra-se na questo do que se pretende avaliar O que avaliar? Quadro 5 - Eixos de uma metodologia de avaliao de projetos/cursos considerados por Silva, Gomes e Silva (2006)
Eixos Quem? Elementos a considerar Avaliadores externos; Formadores; Potenciais formadores; Formandos. Inqurito por questionrio; Comentrios escritos; E-inquritos; Grelhas de registos; Grelhas de observao. Incio do curso; Durante o curso; Final do curso. Expectativas de formao; Funcionamento do curso; Organizao pedaggica do curso; Materiais didticos; Atividades e produtos; Comportamentos, aprendizagens; Papel dos formadores; Plataforma de e-Learning; Condies, recursos.

Como?

Quando?

O qu?

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Note-se que os autores consideram que a avaliao deve ser um processo positivo, holstico e interactivo (idem, p. 232) e que procure fazer uma recolha longitudinal da informao ao longo do desenvolvimento dos cursos, considerando as perspetivas dos diferentes intervenientes (ex. formadores e formandos), utilizando diversos instrumentos de recolha de dados e considerando diversas dimenses de anlise (ex. funcionamento e organizao pedaggica do curso, materiais didticos e atividades propostas, caractersticas do suporte tecnolgico, etc.). Mais do que um modelo de avaliao, a proposta dos autores constitui um referencial para desenvolvimento de projectos de avaliao, passvel de adaptao aos diferentes contextos e objetivos com que a avaliao conduzida. 2.6 Ionascu e Dorel (2009) Ionascu e Dorel (2009, p.137) desenvolveram um conjunto de 4 componentes (Quadro 6) a considerar na avaliao da qualidade de um curso em e-Learning e que se prendem com: (i) a infraestrutura tecnolgica; (ii) o perfil e competncias dos formadores; (iii) os materiais de ensino/aprendizagem e (iv) as atividades de ensino/aprendizagem (Quadro 6). Os autores consideram que estes 4 componentes () can be used as starting point for determining other compound indicators that can accurate and complete measure the quality and efficiency of an eLearning system. (idem, p.142) Quadro 6 - Componentes para avaliao de cursos de e-Learning com base em Ionascu e Dorel (2009)
Componentes Exemplo de elementos a considerar Qualidade tcnica do hardware. Qualidade software ao nvel do desempenho tcnico mas tambm em termos de caractersticas ao nvel dos servios de comunicao que assegura, interface, sistema de avaliao de aprendizagens, monitorizao dos participantes,etc.

Infraestrutura

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Componentes Formadores

Exemplo de elementos a considerar Competncia profissional. Competncia pedaggica. Habilidades no uso das TIC. Nveis de interao. Formato de representao dos contedos. Reusabilidade. Formato especfico. Atividades realizadas pelos professores para apoio aos estudantes (criao de materiais de estudo, comunicao com os estudantes, anlise do progresso dos estudantes, etc.) Atividades realizadas pelos estudantes envolvendo actividades de estudo, de avaliao e de comunicao.

Materiais

Atividades

Apesar deste modelo contemplar 4 componentes importantes, incorporando mltiplos indicadores, para avaliao da qualidade de um curso em e-Learning, os autores consideram que o mesmo pode constituir um ponto de partida ao qual podem ser anexados outros indicadores que permitam avaliar a qualidade e eficincia de um sistema de e-Learning de forma mais completa e exacta. 2.7 Usoro e Majewski (2009) Os autores Usoro e Majewski (2009, p. 24) propem um conjunto de 9 fatores (Quadro 7) a considerar para a avaliao da qualidade de um curso em e-Learning no Ensino Superior. Quadro 7 - Fatores para avaliao de curso em e-Learning na educao superior por Usoro e Majewski (2009)
Fatores Operacionalizao Hardware, software e infraestrutura informtica. Senha de proteo, criptografia e outros Itens de segurana. Biblioteca e centros de pesquisas adequados (tais como peridicos, jornais online). Habilidade em no apenas ler, mas para interagir com material. Sistema de computador de alto nvel e atualizados. Apoio tcnico efetivo. Qualidade do suporte tcnico recebido por estudantes e professores Fornecimento de feedback. Capacidade de no apenas ler, mas tambm interagir com o material.
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Tangveis

Competncia Atitude

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

Fatores

Operacionalizao Prestao de medidas corretivas em tempo til. Comunicao adequada sobre os requisitos do curso. Tutoria, suporte e orientao pessoal. Satisfao do aluno com o curso e sua aplicao. Desenho do curso. Desenho do contedo. Alta qualidade das experincias de aprendizagem. Entrega do curso. Facilidades para o trabalho prtico. Acesso rpido e fcil sistema de comunicao. Individualizao do contedo do curso e entrega. Clara indicao dos critrios de sucesso e do que preciso para alcan-los. Uniformidade das avaliaes e exames para que os alunos possuam a mesma experiencia dos alunos presenciais. Manipulao de plgio, falta de autenticidade acadmica e online. Exame, cursos e outras avaliaes que reflitam verdadeiras habilidades ou competncias acadmicas. Adaptao do e-Learning para atender o mercado (rgos do governo, alunos e empregadores). Satisfazer a expectativa dos alunos, dos leitores, dos rgos do governo ou dos departamentos de ensino e dos empregadores. Entrega na lngua compreendida pelo aluno. Dar suporte lingustico para ajudar os estudantes estrangeiros. Adaptao geral do trabalho do curso atender a entrega online. Permitir comunicaes de grupo formais e informais (por exemplo, salas de chat). Desenvolvimento de viso, estratgias, normas (isto carga de trabalho e liberao do tempo para os professores) e planos para o e-Learning.

Contedo

Distribuio

Confiana

Globalizao Comunidades de prtica Viso, estratgias e planos do eLearning

Trata-se um modelo com mltiplas dimenses de anlise, que identifica alguns aspetos relevantes em muitos contextos de e-Learning e aos quais nenhuma das abordagens anteriores faz referncia explcita, revelando uma particular ateno a aspetos que constituem potencialidades relevantes do e-Learning: a possibilidade de desenvolvimento de comunidades de prtica no seu seio e a globalizao do seu pblico-destinatrio, sendo estes os aspetos mais distintivos desta abordagem.

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

3CONSIDERAES FINAIS
As potencialidades oferecidas pelas TIC e a Web 2.0 tem favorecido a expanso da oferta de cursos/formao na modalidade e-/b-Learning (MACHADO e GOMES, 2010). O desenvolvimento de novas modalidades de formao necessita forosamente de um acompanhamento dos cursos implementados que adote uma perspetiva avaliativa, constituindo-se como um elemento integrante de um processo de contnuo ajustamento e aperfeioamento do mesmo, considerandos os contextos em causa e os sujeitos envolvidos. Da anlise feita, ressalta a identificao de um conjunto de dimenses/fatores a considerar na avaliao de cursos/programas de formao em e-Learning, sendo que alguns so amplamente referenciados na bibliografia e outros aspetos so menos referenciados. A modo de sntese, sistematizam-se as dimenses a considerar no processo de avaliao de iniciativas de formao em e/b-Learning identificadas na reviso de literatura efetuada: (i) as estruturas/abordagens de apoio tecnolgico aos cursos/programas (IHPE, 2000; Khan, 2005; Attwell, 2006; Silva, Gomes e Silva, 2006; Ionascu e Dorel, 2009; Usoro e Majewski, 2009) as estruturas/abordagens de apoio administrativo (IHPE, 2000; Khan, 2005) as estruturas/abordagens de apoio pedaggico aos alunos, aqui incluindo os materiais de ensino e as interaes pedaggicas (IHPE, 2000; Khan, 2005; Attwell, 2006; Silva, Gomes e Silva, 2006, Ionascu e Dorel, 2009; Usoro e Majewski, 2009) o modelo organizacional dos cursos/programas (IHPE, 2000; Khan, 2005, Attwell, 2006; Silva, Gomes e Silva, 2006, Ionascu e Dorel, 2009; Usoro e Majewski, 2009) estrutura de apoio e de formao dos professores (IHPE, 2000) a satisfao dos estudantes (IHPE, 2000; Kirkpatrick & Kirkpatrick, 2006; Usoro e Majewski, 2009) as aprendizagens dos estudantes (IHPE, 2000, Usoro e Majewski, 2009) as respostas a um potencial pblico-alvo globalizado (Usoro e Majewski, 2009; Attwell, 2006) as perspetivas dos stakeholders (Khan, 2005)

(ii) (iii)

(iv) (v) (vi) (vii) (viii) (ix)

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

As dimenses/factores ora mostrados, apresentam linhas orientadoras que podem ser levadas em considerao na elaborao de um modelo de avaliao de cursos/projetos na modalidade e/b-Learning onde cabe ao avaliador a funo de adequao ao contexto e aos objetivos que se prope a avaliao. Da breve reviso de literatura que fizemos, notamos que por vezes os autores valorizam umas dimenses mais do que outras. Razes de diversa natureza esto subjacentes a essa valorizao diferenciada das dimenses a considerar nos processos de avaliao, pois, conforme reconhece Rubio (2003, p.116): Diferentes perspetivas y soluciones intentan dar respuesta al tema de la evaluacin de la calidad del e-Learning, (...) e (...) hasta el momento ninguna por s sola logra cubrir todas las necesidades de un mbito basto y complejo, que abarca numerosas variables y fatores, y que justo acaba de comenzar. Neste texto centrmos a nossa anlise e discusso de alguns modelos de avaliao de cursos de modo a facultar ao leitor uma viso diversificada das dimenses a considerar na avaliao de cursos em e-Learning, sendo que partilhamos da perspetiva que, em funo dos objetivos do processo avaliativo, do tempo para o seu desenvolvimento, dos recursos para o levar a cabo e dos destinatrios dos resultados, os responsveis pelo processo de avaliao devero conceber o seu projeto de avaliao, incorporando os componentes que se revelarem mais adequados.

4REFERNCIAS
ATTWELL G. (Ed.). Evaluating e-learning. A guide to the evaluation of e-learning. Evaluate Europe Handbook Series, Vol 2, 2006. Disponvel em: <http://www.pontydysgu.org/wpcontent/uploads/2007/11/eva_europe_vol2_prefinal.pdf Acesso em: 18 Jan. 2013. GOMES M. J.; SILVA B. D.; SILVA A. M. Avaliao de cursos em e-learning. In: Actas da conferncias eLES'04 - eLearning no Ensino. Universidade de Aveiro, 2004. Disponvel em: <http://repositorium.sdum.uminho.pt/bitstream/1822/665/1/eLES-GSS.pdf>. Acesso em: 23 Fev. 2013.

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

GOMES, M. J. Na senda da inovao tecnolgica na Educao a Distncia. In: Revista Portuguesa de Pedagogia; ano 42-2, p.181-202. Coimbra: Faculdade de Psicologia e Cincias da Educao da Universidade de Coimbra, 2008a. Disponvel em: <http://repositorium.sdum.uminho.pt/handle/1822/8073>. Acesso em: 22 Jul. 2012. GOMES, M. J. Educao a distncia um estudo de caso sobre formao contnua de professores via internet. Braga: Universidade do Minho Centro de Investigao em Educao, 2004. GONALVES, T. M. Pinto Alves Augusto Duarte. Desenvolvimento, Implementao e Avaliao de um Mdulo Blended Learning num EILC, no Contexto do Portugus como Lngua Estrangeira. Salamanca Facultad de Educacin. Departamento de Teora e Historia de la Educacin. 1095 f. Tese de Doutoramento, 2010. INSTITUTE FOR HIGHER EDUCATION POLICY. Quality on the line: Benchmarks for success in internet-based distance education. Washington, DC: Author, 2000. Disponvel em: <http://www.ihep.org/assets/files/publications/m-r/QualityOnTheLine.pdf>. Acesso em: 12 Jan. 2013. IONASCU, C.; DOREL, B. A model of analysis of the e-learning system quality. In: Revista Tinerilor Economisti (The Young Economists Journal), vol. 1, issue 13, pages 136-143, 2009. Disponvel em: <http://ideas.repec.org/a/aio/rteyej/v1y2009i13p136-143.html>. Acesso em: 20 Ago. 2010. KHAN, B. H. Managing e-learning: Design, delivery, implementation, and evaluation. Hershey, PA: Information Science Publishing, 2005. KIRKPATRICK, D. L., & KIRKPATRICK, J. D. Evaluating training programs: The four levels (3rd ed.). San Francisco: Berrett-Koehler, 2006. LAGARTO, J. R. Avaliao em e-Learning. In: Educao, Formao & Tecnologias; vol.2 (1); pp. 19-29, Maio, 2009. Disponvel em: <http://eft.educom.pt/index.php/eft/article/view/82/49>. Acesso em: 9 Set. 2012. LIMA, J. R. & CAPITO, Z. e-Learning e e-Contedos. 1 Edio. Lisboa: Centro Atlntico, 2003. MACHADO, C. Avaliao do modelo de organizao e funcionamento em b-learning do Mestrado em Cincias da Educao - Tecnologia Educativa da Universidade do Minho. In: Seminrio de Ps-Graduao em Estudos Curriculares e Tecnologia Educativa, UMINHO, 2011.
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

MACHADO, C.; GOMES, M. J. Prticas de b-learning no ensino superior: a avaliao do curso de Mestrado em Cincias da Educao Tecnologia Educativa na perspetiva dos alunos. In: 2o Congresso Internacional de Avaliao em Educao, UMINHO, 2010. MACHADO, C.; LEMOS, S. Framework Conceptual para Avaliao da Qualidade de Cursos Online. In: 2 Congresso Internacional de Avaliao em Educao, UMINHO, 2010. MIRANDA, L., C.; MORAIS, C., & DIAS, P. Colaborao em ambientes online na resoluo de tarefas de aprendizagem. In: P. Dias, C. Freitas, B. Silva, A. Osrio, & A. Ramos (Orgs.), Actas da V Conferncia Internacional de Tecnologias de Informao e Comunicao na Educao. (pp. 576-585). Braga: Centro de Competncia da UMinho, 2007. Disponvel em: <http://www.nonio.uminho.pt/documentos/actas/actchal2007/066.pdf>. Acesso em: 7 Abr. 2012. MOORE, M.; KEARLSLEY, G. Educao a distncia uma viso integrada. (Traduo Roberto Galman). So Paulo: Thomson Learning, 2007. RODRIGUES, S. M. Avaliao em e-/b-Learning: implementao de um sistema de autoavaliao de um projecto de apoio online no instituto superior de contabilidade e administrao do Porto. Dissertao de Mestrado em Administrao e Planificao da Educao, 2007. Disponvel em: <http://repositorio.uportu.pt/dspace/bitstream/123456789/152/1/TME 362.pdf>. Acesso em: 7 Abr. 2012. RUBIO, M. J. Enfoques y modelos de evaluacin del e-learning. In: Revista ELectrnica de Investigacin y Evaluacin Educativa, v. 9, n. 2, 2003. Disponvel em: <http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm>. Acesso em: 7 Abr. 2012. SILVA, B. D.; GOMES, M. J.; SILVA, A. M. Dinmica dos trs Cs na avaliao de cursos em e-learning: compreenso, confiana, complementaridade. In: Marco Silva & Edma Santos (orgs.), Avaliao da Aprendizagem em Educao Online p.227-243, 2006. So Paulo: Edies Loyola. SILVA, A. B. (2009). Avaliao da Metodologia b-Learning do Mestrado Multimdia em Educao da Universidade de Aveiro. Aveiro: Sistema Integrado da Biblioteca da Universidade de Aveiro (SinBad). [Online]. Disponvel em: <http://biblioteca.sinbad.ua.pt/teses/2010000326>. Acesso em: 15 Fev. 2013. SILVA, A. B. & RAMOS, F. (2010). Avaliao da metodologia b-Learning no Mestrado Multimdia em Educao (edio 2007-2009) da Universidade de Aveiro. In: Educao, Formao & Tecnologias, 3(2), 71-81. [Online]. Disponvel em <http://eft.educom.pt>. Acesso em: 10 Fev. 2013.
Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br

Vol.5 Nmero 8 JUL.2013- ISSN 1982-6109

USORO, A.; MAJEWSKI, G. Measuring quality e-Learning in higher education. In: Journal of Global Management Studies,v. 1. Issue 2, 1-32, 2009. WESTERN COOPERATIVE FOR EDUCATIONAL TELECOMMUNICATIONS. Best Practices for Electronically Offered Degree and Certificate Programs, 2000. Disponvel em:<http://wcet.wiche.edu/wcet/docs/cigs/studentauthentication/Accrediting_BestPractices.pdf>. Acesso em: 15 Out. 2012.

CLAUDIA MACHADO Doutoranda e mestre em Educao na Especialidade de Tecnologia Educativa pela Universidade do Minho. Especialista em Educao a Distncia, em Superviso Escolar e Licenciada em Pedagogia. MARIA JOO GOMES Doutora em Educao e professora do Departamento de Estudos Curriculares e Tecnologia Educativa da Universidade do Minho. Artigo recebido em 19/03/2013 Aceito para publicao em 23/07/2013 Para citar este trabalho: MACHADO, Claudia; GOMES,Maria Joo; AVALIAO DE CURSOS ONLINE ALGUMAS PERSPECTIVAS. Revista Paidi@. UNIMES VIRTUAL, Volume 5, Nmero 8, JUL.2013. Disponvel http://revistapaideia.unimesvirtual.com.br ___/__/___

Universidade Metropolitana de Santos (Unimes) Ncleo de Educao a Distncia - Unimes Virtual e-mail: revistapaideia@unimesvirtual.com.br