Avaliao

da Formao
Glossrio Anotado

FICHA TCNICA
Editor Instituto para a Inovao na Formao Unidade de Projecto Avaliao da Formao Coordenao Zelinda Cardoso Ttulo Avaliao da Formao Glossrio Anotado Coleco Avaliao Autores Zelinda Cardoso (INOFOR) Ana Soares (AIMINHO) Bruno Loureiro (AIMINHO) Carminha Cunha (AIMINHO) Florindo Ramos (AIMINHO) Design Multilogo, Imagem e comunicao Local de Edio Lisboa Data Fevereiro 2003 Impresso Tipografia Peres ISBN 972-8619-47-2 Depsito Legal 189915/03 Tiragem 1500 exemplares

ndice

Prefcio......................................................................................................... 004 Introduo.................................................................................................... 005 PARTE 1........................................................................................................ 009 Apresentao do caderno Como surgiu a iniciativa Que objectivos nortearam a sua elaborao Que opes metodolgicas foram efectuadas A quem se destina Como se organiza o respectivo contedo Como pode ser utilizado PARTE 2........................................................................................................ 014 Terminologia utilizada no contexto da avaliao da formao: breves definies Lista de termos usados PARTE 3........................................................................................................ 049 Notas metodolgicas PARTE 4........................................................................................................ 106 Sites e servios de informao Referncias bibliogrficas

Prefcio
Ao iniciar uma coleco dedicada temtica da avaliao da formao com um convite dirigido aos seus leitores para a realizao de uma reflexo acerca da terminologia e prticas avaliativas utilizadas neste domnio de interveno, os autores deste primeiro caderno visam criar as condies necessrias realizao de um percurso que facilite a cultura avaliativa nas nossas organizaes. Assim, apostados em contribuir para a caracterizao das prticas avaliativas j existentes, os mesmos autores apostam claramente na disponibilizao de um conjunto de suportes de apoio reflexo em matria de avaliao da formao, num contexto em que as prticas neste domnio so ainda claramente exploratrias e no qual so ainda escassos os estudos nestas matrias. Dar, pois, incio a esta coleco com a apresentao de um glossrio anotado, visando a uniformizao de entendimentos relativamente a determinados conceitos associados temtica da avaliao da formao, parece-nos ser, efectivamente, um bom ponto de partida. Para alm de uma reflexo terminolgica, os autores remetem os leitores para um conjunto de notas metodolgicas, que na respectiva opinio, sustentada nos inmeros contactos com entidades que intervm na formao, assim como na anlise de algumas boas prticas nesta matria, podem vir a contribuir para o desenvolvimento das prticas neste domnio. 0 claro apelo participao e envolvimento dos diferentes intervenientes na formao aquando da respectiva fase de avaliao, poder facilitar, no apenas uma maior co-responsabilizao dos mesmos no mbito de uma interveno formativa especfica, mas tambm uma maior adequao dessas intervenes s necessidades de todos aqueles que, nela, directa ou indirectamente, participam. neste sentido que a avaliao da formao aqui apresentada, ou seja, como uma ferramenta ao servio do desenvolvimento eficaz, ao longo e a jusante da realizao da formao, das competncias dos seus intervenientes. De acordo com os autores desta obra esse desenvolvimento ser tanto mais potenciado quanto maior for o grau de envolvimento/participao dos mesmos ao nvel de eventuais processos de tomada de deciso que venham a ocorrer no mbito dessas intervenes formativas. Termino, subscrevendo o apelo dirigido a todos os leitores deste primeiro caderno, para a respectiva participao em espaos de discusso a criar muito brevemente, nomeadamente, no site do INOFOR e aquando da realizao de jornadas tcnicas subordinadas temtica da avaliao.

Maria dos Anjos Almeida Vice-Presidente do INOFOR

Introduo
Uma primeira reflexo acerca do domnio da avaliao da formao remete-nos, inevitavelmente, para a compreenso dos desafios associados ao desenvolvimento de projectos formativos, assim como respectivos processos de avaliao. Uma observao mais atenta, que incida sobre a dinmica de actores, envolvidos directa ou indirectamente na formao, permite constatar a existncia de novas formas de estar e agir, quer por parte de quem se responsabiliza pela execuo da formao, formadores, monitores, tutores quer por parte dos respectivos participantes. Se os primeiros tendem a assumir um papel de facilitadores no processo de "construo de saberes", aos segundos solicitada, cada vez mais, uma maior corresponsabilizao ao nvel do acompanhamento e avaliao dos respectivos percursos de aprendizagem. De facto, os vrios actores envolvidos nos projectos formativos, mobilizam-se hoje para a construo, de forma partilhada e reflectida, de novas solues pedaggicas, de novas formas de agir, assim como e, sobretudo, de novas formas de comunicar, por forma a responder mais eficazmente aos cada vez mais complexos e exigentes desafios da sociedade actual. Alguns dos desafios que gostaramos aqui de destacar, assim como respectivas implicaes para a avaliao da formao, so os/as seguintes: desenvolvimento de capacidades de aprendizagem ao longo da vida, exigindo dos seus actores uma maior sensibilizao para a importncia da sua participao e envolvimento ao nvel da construo de um projecto formativo especfico, a desenvolver ao longo do respectivo percurso de vida. o O desenvolvimento desta competncia assume particular importncia no contexto da construo de modelos de avaliao da formao, uma vez que, a par de uma cada vez maior co-responsabilizao dos indivduos, no que diz respeito aos respectivos percursos de aprendizagem, constata-se, igualmente, uma maior co-responsabilizao dos mesmos no que toca monitorizao e avaliao de saberes adquiridos. Neste sentido, assiste-se hoje a uma maior preparao e sensibilizao dos indivduos para a realizao de processos auto-avaliativos, numa ptica de melhoria contnua das respectivas performances. Esta realidade assume uma importncia crucial quando consideradas as questes da rentabilizao de determinado investimento na formao, j que apenas uma articulao de esforos dos respectivos actores, conduzir obteno dos melhores resultados. As recentes teorias, associadas ao processo de aprendizagem ao longo da vida, tm contribudo tambm para o reposicionamento dos vrios actores aquando da realizao das intervenes formativas. Destaque-se que a formao evolui hoje para uma maior focalizao no aprendente, remetendo o formador para um papel de facilitador ao nvel da construo 5

de determinados saberes. As metodologias de avaliao da formao procuram, neste contexto, facilitar e fomentar os processos de reflexo critica capazes de apoiar a tomada de deciso dos diferentes actores, envolvidos num determinado projecto de formao. exigncia por uma maior diversificao e flexibilizao dos modelos de organizao do formao, permitindo o respectivo reequacionamento e ajustamento numa ptica de efectiva adequao s necessidades dos pblicos-alvo que neles participam, A opo por solues formativas no convencionais, como o caso da formao a distncia, exige igualmente a construo e implementao de novas solues avaliativas, ajustadas s novas e diferentes necessidades de informao dos seus beneficirios. construo de percursos formativos personalizados em funo do perfil de cada indivduo, implicando que seja efectuada, a montante da realizao da formao, uma clara identificao e caracterizao das situaes de partida, relativas s capacidades detidas pelos potenciais participantes nas aces formativas. Esta realidade vem exigindo, cada vez mais, a necessidade de se realizarem, com maior frequncia, avaliaes de natureza diagnstica, que visem identificar o nvel de proficincia detido pelo formando em determinada rea do saber, facilitando uma melhor adequao do respectivo processo de aprendizagem. Desenvolvimento de intervenes formativas totalmente orientadas para a obteno de resultados, que vm exigindo s diversas organizaes que intervm na formao, o desenvolvimento de um conjunto de estratgias que facilitem a construo de um contexto no qual: o sejam claramente evidenciadas as necessidades a colmatar com a formao; o sejam claramente identificados os beneficirios (directos e indirectos) da interveno formativa, assim como respectivas expectativas relativamente a resultados a alcanar; o seja possvel a apresentao de resultados relativos aos efeitos/impactes obtidos com a formao; o seja possvel garantir as condies necessrias transferncia de saberes adquiridos para os contextos reais de trabalho. Diramos, pois, que, novos contextos e, consequentemente, novos actores, conduzem necessariamente a novas necessidades de informao. Tal realidade exerce uma profunda influncia ao nvel da implementao de processos avaliativos, j que os mesmos tendero a desenrolar-se por forma a dotarem os seus beneficirios de informao relevante capaz de suportar a respectiva tomada de deciso. Pensar em avaliao da formao implica, assim, o reequacionamento de uma srie de questes de partida, uma vez que, para alm desta se focalizar nos processos formativos, desempenhos dos respectivos actores e respectivos resultados imediatos, passa a incidir tambm a sua ateno, quer a nvel da preparao das intervenes formativas quer a nvel do

apuramento de impactes sobre os seus beneficirios. Ao percorrer todo o ciclo formativo, a avaliao passa a ser encarada no como um fim em si mesmo, mas antes como uma actividade ao servio de um sistema global de gesto e garantia da qualidade da formao, no qual deve ser considerada parte integrante. Verificamos assim que, a par de questes tais como: a) A realizao da formao decorreu conforme o previsto? b) Que tipo de saberes foram construdos ao longo do processo de aprendizagem? c) Que desempenho tiveram os actores envolvidos no processo formativo? Surgem outras como: o A situao de partida foi suficientemente caracterizada? o So conhecidos e foram suficientemente divulgados os objectivos a alcanar? o Em que medida os recursos mobilizados par a formao foram suficientemente optimizados? o Em que medida a formao desenvolvida colmatou as necessidades previamente identificadas? o So conhecidos os nveis da impacte da interveno formativa desenvolvida? o Em que medida os benefcios obtidos com a formao compensaram os investimentos efectuados? Organizaes cada vez mais centradas na gesto e avaliao do respectivo capital de conhecimentos. Sobre esta matria Carneiro (2000:36) refere mesmo que consensual que os factores crticos para vencer residem, hoje como nunca, nos activos intangveis: qualidade das pessoas; conhecimentos e competncias; empreendedorismo, inovao e criatividade; sistemas de educao, formao e investigao, culturas de aprendizagem permanente; capacidade de assumir riscos, mentalidade de servios e de criao de valor. As implicaes desta realidade para a avaliao da formao so significativas. Se avaliar resultados de natureza tangvel no apresenta dificuldade de maior, avaliar resultados de natureza intangvel j no tarefa fcil. As respostas a estas questes so vrias e nem sempre consensuais. As experincias analisadas indicam contudo que nem sempre a abordagem de natureza financeira (assente na traduo monetria desses resultados) a abordagem mais adequada. Acerca desta problemtica, dizem-nos alguns especialistas na matria que um processo avaliativo ganha ao compreender, num primeiro momento, a natureza do resultado desejado (tangvel e/ou intangvel) uma vez que, desta forma, saber identificar melhor o tipo de metodologia a aplicar.

Crescente desenvolvimento e aplicao de diferentes sistemas de controlo e garantia de qualidade aplicveis ao sector do formao profissional. A coexistncia de vrios sistemas que visam a promoo da qualidade de eventuais intervenes formativas, procuram, em certa medida, fomentar o desenvolvimento de uma cultura de qualidade, cada vez mais necessria a uma resposta rpida e eficaz face aos desafios do presente. Neste quadro, o papel dos sistemas de avaliao da formao sobretudo "instrumental", na medida em que os mesmos podem, quando implementados de forma eficaz, contribuir significativamente para o desenvolvimento de culturas de aprendizagem permanente", sempre que direccionados para o desenvolvimento dos seus actores. Sobre esta matria Carneiro (2000 : 45) afirma mesmo que "s uma cultura de avaliao pode fomentar uma postura de "reflexividade" que aposta na aprendizagem institucional e na melhoria permanente de processos pedaggicos". Afloradas algumas das questes apresentadas neste primeiro caderno, gostaramos de destacar que, para alm de se tratar de um glossrio anotado dedicado problemtica da avaliao da formao, o presente trabalho vai mais alm, ao pretender ser igualmente um instrumento de apoio reflexo dos que apostam claramente na melhoria das respectivas prticas avaliativas. Ao iniciarmos esta coleco com a apresentao de um glossrio visa-se contribuir, numa primeira fase, para a uniformizao de entendimentos relativamente a um conjunto de termos utilizados no domnio da avaliao da formao, que nem sempre so compreendidos e apropriados da mesma forma, facto que tem dificultado, por vezes, a comunio e a partilha de conhecimentos nestas matrias. Esperamos assim, que este seja um contributo vlido para aqueles que intervm no mbito da formao profissional, aos quais solicitamos, desde j, a eventual disponibilidade, para connosco reflectirem acerca da problemtica da avaliao da formao, num Frum de Discusso a criar brevemente.

PARTE 01 Apresentao do glossrio

Apresentao do glossrio
Como surgiu a iniciativa? A criao de uma coleco dedicada ao tema da avaliao da formao resulta, fundamentalmente, da deteco de um conjunto de necessidades aquando dos contactos no terreno, junto de entidades que realizam formao, bem como em momento de elaborao de pareceres relativamente a metodologias de avaliao da formao desenvolvidas e apresentadas por um nmero significativo de entidades formadoras, junto da actual equipa do Projecto Avaliao da Formao. Esta coleco visa demonstrar, igualmente, a importncia que este instituto atribui s questes relacionadas com a garantia da qualidade das intervenes desenvolvidas no quadro da formao profissional. Considerados os sistemas de avaliao como verdadeiros instrumentos susceptveis de promover essa qualidade, aposta-se claramente, e cada vez mais, na elaborao de documentos que favoream e apoiem a operacionalizao do conceito no contexto de interveno de entidades que intervm na formao. O presente caderno, que agora inicia esta coleco, visa, assim, dar uma resposta concreta a um conjunto de necessidades sentidas por parte de diversas entidades formadoras, comeando, numa primeira fase, pela disponibilizao de um glossrio (anotado) que facilite a compreenso de alguns termos, regra geral, utilizados no contexto da avaliao da formao. O mesmo se destaca pelas notas ( #1, #2, etc...) que surgem associadas a cada uma das definies apresentadas, assim como tambm pelas notas metodolgicas que convidam os respectivos leitores a uma reflexo acerca das implicaes associadas operacionalizao de determinados termos. Longe de ser um produto acabado, visa, nesta fase dar nicio a um trabalho de recolha e uniformizao de um conjunto de noes associadas temtica da avaliao da formao que, partida, podem suscitar maiores dvidas por parte de quem as utiliza. Por esta razo, o mesmo ser oportunamente revisto, actualizado e acrescentado de acordo com as necessidades e eventuais comentrios dos seus utilizadores. Espera-se que a realizao dos restantes trabalhos (em fase de execuo), possa contribuir, igualmente, para o desenvolvimento e/ou actualizao do trabalho que agora se apresenta. Uma das actualizaes j prevista, prende-se com o desenvolvimento de conceitos associados construo de instrumentos de avaliao e tratamento estatstico de dados. Os utilizadores deste glossrio tero acesso s respectivas actualizaes atravs do site do Inofor (Unidade de Projecto Avaliao da Formao), no qual ser disponibilizado um espao para a introduo de eventuais sugestes e/ou recomendaes que visem a sua actualizao e/ou desenvolvimento (www.inofor.pt).

10

Que objectivos nortearam a sua elaborao? Procurando dar uma resposta concreta a inmeras questes colocadas, at data, pelos nossos utilizadores, este glossrio foi elaborado de forma a permitir desencadear eventuais processos de reflexo em torno da problemtica da avaliao da formao. Pretende-se, assim, como esta primeira iniciativa: Contribuir, de uma forma gradual e sustentada, para o desenvolvimento de prticas de avaliao, mediante o desenvolvimento de um percurso que passa, numa primeira fase, pela compreenso de um conjunto de termos associados, regra geral, s principais fases de um processo de avaliao. Apoiar as entidades, que realizam formao, na identificao das condies consideradas necessrias aplicao de metodologias de avaliao. Identificar e uniformizar um conjunto de termos a utilizar no mbito de documentos associados temtica da avaliao da formao, por forma a facilitar eventuais acompanhamentos junto dos potenciais utilizadores. destcar as interdependncias existentes entre alguns dos termos apresentados. Fomentar a pesquisa activa no mbito do domnio da avaliao, atravs do reencaminhamento dos utilizadores para um conjunto de sites especializados nas matrias abordadas. Sensibilizar os seus utilizadores para a panplia de mtodos, tcnicas e posicionamentos que, surgem, regra geral, associados temtica da avaliao.

Para alm de se elencar um conjunto de noes de significativa importncia no domnio da avaliao, pretende-se, sobretudo, disponibilizar ao utilizador um conjunto de pistas que facilitem o desenvolvimento das respectivas prticas avaliativas e, paralelamente, criem as condies necessrias apropriao e aplicao de itinerrios avaliativos j existentes. Que opes metodolgicas foram efectuadas? Concebido de acordo com as actuais tendncias em matria de avaliao da formao, o presente glossrio procura destacar um conjunto de estratgias avaliativas que, partida, entende-se serem as mais adequadas quando considerados os contextos analisados. Embora tenha surgido num contexto caracterizado pela predominncia de metodologias avaliativas orientadas por pressupostos de natureza positivista (avaliado e avaliador so considerados entidades distintas), este glossrio faz j um apelo claro ao desenvolvimento de estratgias de avaliao nas quais seja visvel o envolvimento/participao dos respectivos actores, em particular, no que toca identificao, construo e escolha das melhores estratgias avaliativas a aplicar.

11

Relativamente escolha dos termos, nesta primeira edio no sero apresentados todos os termos susceptveis de serem utilizados no domnio da avaliao. Atendendo s necessidades mais imediatas, manifestadas pela maior parte dos utilizadores do actual projecto de Avaliao da Formao, foram apenas seleccionados e desenvolvidos aqueles que remetem os potenciais utilizadores deste glossrio, para um enquadramento das principais questes associadas fase da concepo e implementao de modelos de avaliao. Sugere-se, assim, que sejam reunidas, numa primeira fase, as condies mnimas e necessrias ao desenvolvimento de prticas avaliativas, para numa fase subsequente serem trabalhados os aspectos que envolvem uma maior tecnicidade e, consequentemente, uma mobilizao de competncias especficas, necessrias a uma sutentada interveno no domnio da avaliao da formao. Quanto ao desenvolvimento dos contedos apresentados, foram privilegiados os termos que, em nosso entender, podem ser considerados verdadeiros pilares de sustentao de um processo avaliativo, sempre que apropriados e aplicados de forma eficaz. A quem se destina? Este glossrio destina-se a todos os que se interessam pelas questes da avaliao da formao e que procuram conceber, desenvolver e/ou aperfeioar referenciais a utilizar no contexto da avaliao da formao. Consideradas a diversidade dos contextos e a natureza dos projectos formativos a avaliar, foram destacadas, neste fase, algumas actividades de avaliao a desenvolver no contexto de projectos formativos direccionados para activos empregados. Destaquese, no entanto, o facto de a lgica de avaliao apresentada poder ser, de certa forma, aplicada a outros contextos, desde que devidamente adaptada aos projectos de formao em anlise. Como se organiza o respectivo contedo? O presente caderno encontra-se estruturado em trs partes distintas: a) A primeira parte remete os respectivo utilizador para a compreenso de um conjunto de termos normalmente mobilizados aquando da preparao e implementao de dispositivos de avaliao. O leitor ver serem destacados termos/noes tais como, aprendizagem ao longo da vida, stakeholders, j que assumem, cada vez mais, um papel de destaque, no apenas no contexto do desenvolvimento de processos de aprendizagem, mas tambm no contexto da execuo de projectos de avaliao. De facto, so expresses que, em maior ou menor medida, reforam a importncia que os indivduos assumem no contexto da tomada de deciso, relativa aos percursos profissionais que lhe so inerentes. b) Numa segunda parte, apresenta-se um conjunto de notas de natureza metodolgica, associadas a cada um dos termos descritos. Neste captulo vemos ser destacada a importncia da fase da planificao da avaliao, o papel e

12

responsibilidades dos respectivos intervenientes, assim como a abordagem avaliativa multinvel de D. Kirkpatrick. Igual destaque para as notas metodologicas relativas s fases da transferncia de aprendizagens para os contextos reais de trabalho, apresentao e disseminao dos resultados de uma avaliao. c) A terceira e ltima parte remete o leitor par um conjunto de sites e servios de apoio que disponibilizam informaes, experincias, instrumentos, estudos de caso, etc...relacionados com o domnio da avaliao. O acesso a esta informao permitir ao utilizador adequar mais eficazmente as suas metodologias avaliativas s especificidades dos contextos nos quais venha a intervir. Como pode ser utilizado? O presente glossrio pode ser consultado de diversas formas, de acordo com os objectivos dos seus utilizadores: a) no caso do utilizador pretender identificar um determinado termo e respectiva definio, poder recorrer lista de termos ordenados alfabeticamente que se encontra no final do documento; b) aquando da fase da operacionalizao dos termos referidos, o utilizador poder recorrer parte do trabalho na qual so apresntadas notas metodolgicas de apoio aplicao desses termos.

13

PARTE 02 Terminologia utilizada no contexto da avaliao da formao: breves definies

14

Terminologia utilizada no contexto da avaliao da formao: breves definies

Neste captulo, o leitor ser convidado a reflectiri acerca do significado de cada um dos termos apresentados, contando para tal com a definio do termo propriamente dito, bem como um conjunto de notas que visam contribuir para uma melhor compreenso e, consequentemente, melhor utilizao da terminologia associada ao domnio da avaliao da formao. Nesta primeira edio sero destacados alguns dos aspectos que, partida, podero ter algum interesse do ponto de vista da avaliao da formao. Note-se que as definies e notas que se seguem foram elaboradas sem prejuzo de outras j existentes. Destaque-se ainda que, na elabroao desta primeira edio no foram contempladas todas as referncias bibliogrficas normalmente associadas problemtica da avaliao da formao. Numa anlise mais aprofundada s questes da terminologia utilizada neste domnio, a realizar numa fase subsequente, sero equacionados outros contextos avaliativos, assim como distintos posicionamentos em matria de avaliao da formao.

15

1. Anlise custo-benefcio (RCB) Quantifica e compara o valor monetrio gerado pelos benefcios da formao com os seus custos. Frmula: Benefcios da formao Custos da formao

RCB=

#1: Trata-se da mesma definio apresentada para o ROI. A diferena reside fundamentalmente na frmula de clculo. Em termos matemticos, a diferena reside na escolha do numerador: enquanto o ROI utiliza os resultados lquidos da formao, a anlise custo-benefcio recorre aos resultados brutos. #2: Considera quer resultados de natureza tangvel (aumento de produtividade, aumento de carteira de clientes...) quer intangvel (elevao do grau de motivao do ex-formando, elevao do grau de satisfao dos clientes...) #3: Ver definies de Anlise do Retorno do Investimento e de Custo de formao. Fontes: Phillips (1997); Scriven (1991), Perez (2001), Garlick e Des Kemp (2001) 2. Aprendizagem ao longo da vida Toda e qualquer actividade, empreendida numa base contnua, com um objectivo que vise melhorar conhecimentos, aptides e competncias.1 # 1: Apresenta como categorias bsicas de actividades de aprendizagem: Aprendizagem formal (providenciada pelos sistemas formais de educao e formao existentes, conduz a aquisio de diplomas e qualificaes reconhecidos). Aprendizagem no-formal (decorre em simultneo com os restantes sistemas de educao/formao, no conduzindo, necessariamente a certificados formais. Pode ocorrer no local de trabalho e/ou atravs de actividades de organizaes ou grupos da sociedade civil, podendo ainda ser ministrada atravs da criao de estruturas complementares aos sistemas convencionais). Aprendizagem informal (abrange todas as restantes formas de aprendizagem desenvolvidas ao longo do percurso de vida dos indivduos).

# 2: Lifelong & lifewide, i.e., ao longo da vida e em toda a vida (familiar, profissional, lazer, etc.). Fontes: Unio Europeia. Comisso (2000)

Definio idntica encontrada no Memorando sobre Aprendizagem ao Longo da Vida.

16

3. Auditoria da formao Exame sistemtico dos inputs, outputs e impactes de um sistema formativo, com base num referencial de critrios explcitos, permitindo identificar eventuais problemas e respectivas solues. # 1: Trata-se de uma definio de auditoria aplicada ao contexto da formao. # 2: Ver tambm definies de avaliao da formao e garantia de qualidade # 3: A construo de um referencial constitui a actividade central de um processo de auditoria. # 4: Aplicada ao contexto da formao, exige que os responsveis pela execuo de um projecto formativo, demonstrem, mediante a apresentao de evidncias concretas, que o mesmo foi desenvolvido de forma eficiente e que respeitou o pr-estabelecido e/ou acordado pelos donos desse projecto (financiadores, administradores da organizao, parceiros envolvidos...). Neste contexto, contribui, por um lado, para uma melhor gesto da qualidade dos projectos de formao e, por outro lado, para uma melhor adequao dos seus objectivos s necessidades dos respectivos pblicos-alvo. Fontes: Le Boterf (1999); Portugal. Instituto Portugus da Qualidade (2001) 4. Auto-avaliao Processo desenvolvido pelos diversos actores de um processo formativo e que visa apoiar a respectiva participao ao nvel da construo e gesto de mecanismos que facilitem a respectiva aprendizagem no mbito do mesmo. # 1: Quando realizada pelos formandos visa apoiar a sua participao ao nvel da construo e gesto do respectivo processo de aprendizagem. # 2: Constitui, de certa forma, uma das mais importantes ambies de um processo de avaliao: instituir e desenvolver uma cultura de avaliao aceite e operacionalizada por todos, na qual os seus actores so capazes de se auto-avaliarem de uma forma construtiva e isenta, contribuindo, activamente, quer para a gesto eficaz dos respectivos processos de aprendizagem quer para a melhoria do desempenho da(s) organizao(es) (s) qual(ais) se encontrem afectos. # 3: Sobre esta matria Caetano (1996) refere que A utilizao da auto-avaliao implica dar mais ateno ao papel dos subordinados na avaliao do seu desempenho, considerando-os como elementos activos legtimos do processo de avaliao, estendida como um meio de comunicao e no como um fim em si prprio, como acontece nos sistemas burocratizados. Fontes: Caetano (1996); Tilling (et al.) (2000); Scriven (1991); Patton (1997)

17

5. Avaliao medida Avaliao que concebida e implementada de acordo com as necessidades e expectativas dos seus utilizadores. # 1: Diferentes contextos de desenvolvimento e aplicao da formao, exigem fiferentes metodologias de avaliao. Este aspecto leva-nos a colocar a seguinte questo: Avaliao sim, mas de que contextos estamos a falar? # 2: Exige que os avaliadores possuam um porteflio de mtodos, tcnicas e instrumentos alargado por forma a poderem dar uma resposta adequada s necessidades dos respectivos clientes. Fontes: Patton (1997); Rossi (et al.) (1999) 6. Avaliao da formao2 Processo que possibilita a monitorizao sistemtica de determinada interveno formativa, recorrendo para o efeito a padres de qualidade de referncia explcitos ou implcitos, com vista produo de juzos de valor que suportem a eventual tomada de decises. # 1: uma definio de avaliao que refora, em grande medida, a ideia da utilidade social dos respectivos resultados. Saber qual a finalidade da avaliao ser, sem dvida, uma das questes a colocar aquando da fase da planificao de um processo avaliativo (ver definio de plano de avaliao). # 2: As abordagens de avaliao diferenciam-se, fundamentalmente, pela natureza dos objectivos que preconizam, bem como pelas caractersticas dos respectivos contextos de aplicao. Pretender aplicar, no mbito de contextos distintos, um nico modelo avaliativo no ser, pois, o mais adequado, uma vez qua a maior ou menor eficcia dos modelos de avaliao reside, essencialmente, em acautelar eventuais particularidades dos contextos em anlise, bem como adequao dos seus resultados a necessidades concretas de informao dos respectivos utilizadores. # 3: A definio de avaliao apresentada surge, de acordo com as actuais tendncias, intimamente associado ao processo de tomada de deciso, que dever ocorrer no mbito dos diferentes nveis em que os problemas ocorrem. Significa que quem avalia determinado aspecto de uma interveno formativa deve ser capaz de reflectir acerca dos respectivos resultados e, consequentemente, decidir e/ou recomendar eventuais alteraes que visem a sua melhoria. Fontes: Patton (1997); Barbier (1990); Lus Capucha (et al.) (1996); Valadares e Graa (1998); Frances and Roland Bee (1997), Salgado (1997)

2 A definio de avaliao apresentada no contempla a globalidade dos posicionamentos encontrados aquando da reviso de literatura efectuada. Prev-se, no entanto, o desenvolvimento deste conceito aquando da reviso e actualizao do presente glossrio.

18

7. Avaliao da transferncia de aprendizagens Visa aferir em que medida os saberes adquiridos pela via da formao foram efectivamente mobilizados para os respectivos contextos de aplicao. # 1: Utilizando a taxonomia de D. Kirkpatrick, diramos que no contexto de avaliao de terceiro nvel que se realiza uma avaliao desta natureza. # 2: A anlise a vrios estudos realizados sobre a matria, permitiu concluir que a preparao do contexto de desempenho de um indivduo recm-formado assume uma importncia crucial aquando da respectiva mobilizao de saberes adquiridos/desenvolvidos pela via da formao. # 3: Das principais barreiras ao processo de transferncias de aprendizagens destacamse as seguintes: Ausncia ou fraco envolvimento da gesto de topo ao longo do processo formativo; Desarticulao entre os vrios nveis hierrquicos de uma organizao, no que se prende a estabelecimento de objectivos consensuais de mudana; Estabelecimento de objectivos ambiciosos para a formao. Na maior parte das vezes a formao encarada como um fim e no, como seria desejvel, um meio para alcanar determinados fins.

Fontes: Phillips (1997); Broad (et al.) (1992); Kirkpatrick (1994); Meignant (1999) 8. Avaliao de aprendizagens Visa aferir em que medida os objectivos de aprendizagem do programa foram alcanados, por parte dos seus beneficirios directos (formandos). # 1: Na taxonomia de D. Kirkpatrick corresponde ao nvel 2 dos quatro nveis de avaliao previstos. # 2: No mbito de uma avaliao de aprendizagens podem ser utilizados mtodos de natureza qualitativa e quantitativa. # 3: Este tipo de avaliao procura, regra geral, dar uma resposta concreta s seguintes questes: Que conhecimentos (saberes) foram adquiridos/desenvolvidos por parte dos formandos? Que capacidade (saberes/fazer) foram adquiridos e/ou melhorados? Que atitudes (saberes relacionais) foram adquiridas e/ou melhoradas? # 4: Numa avaliao centrada no tipo de saberes (de natureza cognitiva) adquiridos/desenvolvidos, os testes de conhecimentos so os instrumentos mais aplicados. Mtodos e/ou tcnicas, tais como a simulao de actividades, a elaborao de trabalhos/projectos finais, as avaliaes em contextos reais de trabalho (caso das actividades formativas realizadas em regime de alternncia), etc. so mais utilizadas nas avaliaes que incidem sobre saberes-fazer tcnicos. No que respeita s abordagens avaliativas centradas nos saberes relacionais, as tcnicas de avaliao mais utilizadas so os testes (que visam medir atitudes), as observaes e as simulaes. Fontes: Kirkpatrick (1998); Woods J. (et al.) (2000); Valadares e Graa (1998)

19

9. Avaliao de impactes/efeitos da formao (outcomes) Visa aferir as mudanas ocorridas ao nvel do desempenho dos indivduos, das organizaes e eventualmente do contexto socioeconmico no qual estes se inserem, decorrentes da implementao de determinado programa/projecto formativo. # 1: Realiza-se normalmente aps a execuo da formao, podendo, no entanto, ser igualmente aferida durante e no final de uma interveno formativa (ex: no contexto de programas formativos desenvolvidos em regime de alternncia); # 2: De acordo com a taxonomia de D. Kirkpatrick, corresponde aos terceiro e quarto nveis de avaliao, ou seja, verificao de impactes ao nvel de contextos de desempenho especficos e avaliao de impactes ao nvel de desempenho de determinada organizao; # 3: Neste tipo de avaliao podem ser aplicados mtodos de natureza quantitativa e qualitativa (ver definio de triangulao); # 4: Uma avaliao de impactes pode incidir partida sobre duas realidades distintas: (1) em que medida o programa de formao contribui directamente para o cumprimento dos objectivos da organizao; (2) em que medida criou as condies para que tal viesse a acontecer (contribuio indirecta). A compreenso destes dois tipos de objectivos torna-se fundamental aquando da aferio do retorno do investimento. # 5: A utilidade deste tipo de avaliao reside, fundamentalmente, no facto de permitir (1) aferir as alteraes produzidas pela formao nos contextos em que foi aplicada; (2) justificar a eventual continuidade de um programa/plano de formao, a sua reformulao ou mesmo a sua extino; (3) aferir o retorno do investimento na formao. Fontes: Phillips (1997); Kirkpatrick (1998-A); Moy e MacDonald (2000) 10. Avaliao de reaces Permite aferir o grau de satisfao dos participantes em relao aco de formao e s condies em que a mesma decorreu, visando o eventual desenvolvimento de aces de melhoria. # 1: Na taxonomia de D. Kirkpatrick, corresponde ao primeiro nvel de avaliao. # 2: Neste tipo de avaliao normalmente utilizado o inqurito por questionrio (smilling sheets), durante e/ou no final de cada interveno formativa. # 3: Algumas das vantagens associadas a este tipo de avaliao so as seguintes: (1) permite uma avaliao rpida da situao em termos de resultados entretanto alcanados; (2) no implica custos elevados; (3) assume um papel de extrema importncia num contexto de uma avaliao formativa, permitindo a regulao atempada de determinado processo formativo. # 4: Os protagonistas deste tipo de avaliao so o formando e o formador, actores capazes de exercer uma influncia imediata ao nvel da regulao da aco em curso. # 5: As dimenses/objecto alvo de avaliao mais comuns so as seguintes: os contedos programticos, o desempenho do formador e do coordenador da aco, os

20

mtodos pedaggicos e os recursos didtico-pedaggicos utilizados, as condies de realizao da aco e a organizao de suporte. Fontes: Kirkpatrick (1998); Woods J. (2000); Meignant (1999) 11. Avaliao diagnstica Modalidade de avaliao efectuada antes de uma aco ou sequncia de aces de formao, tendo por finalidade a produo de informaes que permitam determinar a situao dos formandos face aos objectivos de aprendizagem a atingir. # 1: Tambm pode ser designada por avaliao inicial. # 2: Ver definio de avaliao ex-ante. # 3: Permite, a montante da realizao da formao, identificar o nvel de proficincia detido pelo formando em determinada rea do saber, com vista a uma melhor adequao do programa de formao. Para este efeito, os instrumentos mais utilizados so os testes escritos. Existem, contudo, outras formas de actuar no mbito desta modalidade de avaliao , tais como: o recurso tcnica da simulao que vise colocar o formando perante uma situao problema. # 4: Apresenta como principais objectivos: Determinar a situao dos formandos face aos objectivos de aprendizagem prdefinidos (visa apurar o tipo de conhecimentos, capacidades (aptides) e atitudes necessrias ao cumprimento dos objectivos de aprendizagem pretendidos). Determinar/ajustar perfis de entrada na formao. Seleccionar eventuais candidatos a determinadas aces de formao. Produzir informaes que facilitem a constituio de grupos de formandos, com caractersticas idnticas, sempre que tal seja desejado. Confirmar e ajustar as informaes que decorrem de diagnsticos de necessidades previamente realizados. Detectar eventuais dificuldades a considerar na proposta pedaggica a desenvolver.

Fontes: Figari (1996); Rossi (et al.) (1999) 12. Avaliao do retorno do investimento em formao (Return on investment-ROI) Quantifica e compara o valor monetrio gerado pelo impacte da formao, com os seus custos (expresso em percentagem) Frmula: ROI (%) = Benefcios Lquidos da Formao Custo da Formao *100

21

# 1: Ver definio de anlise custo-benefcio. # 2: Abordagem bastante desenvolvida no mbito dos trabalhos de J.J. Phillips. # 3: Tipo de avaliao cada vez mais solicitado por parte de quem investe na formao, visando a obteno de evidncias concretas relativamente ao valor monetrio gerado pelo investimento na formao. # 4: Quando aplicada ao contexto da formao, a anlise do ROI pode considerar diferentes clusters de indicadores, tais como: (1) produtividade e eficincia; (2) vendas e lucros; (3) qualidade dos produtos e servios; (4) servio de apoio ao cliente e satisfao do mesmo; (5) segurana e higiene no trabalho; (6) desenvolvimento e aprendizagem organizacional; (7) clima e cultura organizacional... Fontes: J. Phillips (1997 A); Phillips P. (2002); Bartel (2000), Kirkpatrick (1998 - A); Moy e MacDonald (2000). 13. Avaliao ex-ante Efectuada antes da realizao da formao, apresenta como objective ltimo, a comprenso/definio dos indicadores de realizao, de resultados e de impactes da formao. # 1: Tambm designada por avaliao prvia e pr-avaliao. # 2: O seu desenvolvimento fornece in-puts essenciais elaborao de um referencial de avaliao. # 3: Trata-se de um termo mais abrangente, quando comparado com a definio de avaliao diagnstica. Note-se que esta ltima incide, regra geral, sobre o nvel de conhecimentos do formando no momento pr-formativo, enquanto uma avaliao exante propriamente dita, apresenta objectivos mais vastos, incidindo sobre o contexto, as caractersticas e os objectivos de determinada interveno formativa. # 4: Apresenta como critrios de avaliao mais utilizados: a pertinncia/relevncia dos objectivos pretendidos face s necessidades pr-identificadas, assim como a coerncia do projecto formativo quando considerada a cadeia de objectivos preconizados. # 5: Na lgica dos 4 nveis de avaliao de D. Kirkpatrick, corresponde, como objectivo ltimo, definio dos critrios e indicadores de avaliao para cada um desses nveis. Fontes: Rossi (et al.) (1999); Rodrigues (1993); Kirkpatrick (1998) 14. Avaliao ex-post Efectuada normalmente aps a concluso da formao, produz informao sobre os seus resultados e efeitos gerados pela interveno formativa ao nvel dos seus beneficirios (directos e indirectos). # 1: Ver definies de avaliao ex-ante, avaliao on going e avaliao de impactes da formao. # 2: Tambm designada por avaliao de follow-up. # 3: Avalia indicadores de resultados e de impacte. # 4: Efectuada, regra geral, algum tempo aps a realizao da formao, para apuramento de eventuais impactes decorrentes da formao, quer ao nvel do

22

desempenho dos indivduos, quer ao nvel dos contextos que receberam, de forma indirecta, as mais valias dessa formao (por exemplo: contextos de trabalho especficos e/ou organizao no seu todo). # 5: Em estudos prospectivos pode ser efectuada antes da implementao de um projecto/programa formativo. Fontes: Rodrigues (1993); Capucha (et al.) (1996); Kirkpatrick (1998) 15. Avaliao externa Avaliao desenvolvida por um indivduo ou organizao que no participa na concepo e execuo da interveno formativa, mas que se responsabiliza pela respectiva avaliao. # 1: Numa avaliao externa, o avaliador encontra-se fora da organizao que executa a formao. # 2: de uma avaliao normalmente solicitada e financiada por algum que visa obter um olhar externo relativamente aos resultados de determinada interveno formativa. , regra geral, solicitada por entidades externas que exercem funes de superviso sobre o projecto de formao. # 3: Pode tambm ser encomendada pela organizao que realiza a formao, quando pretende obter uma segunda opinio acerca dos resultados obtidos com a formao. As razes que conduzem a tal pedido so, normalmente, as seguintes: (1) o responsvel pela realizao da formao procura dar continuidade interveno formativa, constituindo os resultados dessa avaliao uma verdadeira base de negociao para futuros pedidos de financiamento; (2) a organizao que realiza a formao visa reforar a sua imagem junto dos respectivos clientes. # 4: Os indivduos responsveis por uma avaliao externa encontram-se, em regra geral, ligados a universidades, empresas de consultoria, organismos que promovem estudos de investigao (entre outros), e desconhecem, na maior parte dos casos, as situaes objectivo alvo de anlise. Apresentam, por esta razo, maior iseno relativamente a anlises que venham a efectuar, j que no mantm qualquer relao de dependncia com a organizao que executa a formao. # 5: O grau de envolvimento dos indivduos (interlocutores-chave) a implicar no decurso de uma avaliao externa , normalmente, bastante reduzido. Os contactos efectuados visam apenas, na maior parte das vezes, sensibilizar e mobilizar esses indivduos para a respectiva participao3 no processo avaliativo. Fontes: Scriven (1991); Capucha (et al.) (1996); Rossi (et al.) (1999); Patton (1997)

No contexto de uma avaliao externa, esta participao assume, regra geral, um carcter instrumental, ou seja, os indivduos apenas so chamados para se pronunciarem (atravs da realizao de inquritos por entrevista ou questionrios, ou participao em outros mtodos ou tcnicas, tais como os grupos de discusso, brainstormings, etc...), acerca dos resultados decorrentes de determinada interveno formativa.

23

16. Avaliao formativa Modalidade de avaliao efectuada no decurso da realizao da formao que visa produzir informao que possibilite aos formandos e formadores verificar se os objectivos pedaggicos esto a ser atingidos, podendo resultar na introduo de melhorias durante o processo de aprendizagem. # 1: O conceito de avaliao formativa deve-se a Scriven que a utiliza pela primeira vez em 1967 e que desde logo passa a ser utilizada de forma generalizada. # 2: Este conceito surge normalmente associado ao conceito de avaliao sumativa, sendo ambos entendidos como complementares e no contraditrios. # 3: Esta modalidade de avaliao orienta-se, sobretudo, para fins pedaggicos procurando criar ou preservar as condies propcias realizao da aprendizagem, pelo que normalmente confiada a avaliadores internos. Pode, no entanto, ser igualmente efectuada por avaliadores externos. # 4: simultaneamente retrospectiva e prospectiva, assumindo um papel fundamental numa ptica da garantia e controlo de qualidade de uma interveno formativa. # 5: Permite a retroalimentao contnua do processo formativo (feedback contnuo e permanente), actividade de impacte significativo ao nvel da recuperao dos formandos que demonstrem maiores dificuldades no alcance de um ou mais objectivos de aprendizagem. # 6: Tendo como principal objecto de estudo o processo formativo, incide, regra geral, nas seguintes dimenses: a poltica formativa; o processo de diagnstico de necessidades de formao, o dispositivo de formao, o projecto/programa formativo, a actuao dos actores envolvidos na execuo da formao, o processo pedaggico, as funes de gesto do programa, a organizao de suporte, o dispositivo de avaliao. Fontes: Valadas e Graa (1998); Barbier (1990); Scriven (1991); Patton (1997); Rossi (et al.) (1999); Perrenoud (1999) 17. Avaliao interna Avaliao realizada por uma estrutura especfica e/ou indivduos que dependem da organizao responsvel pela execuo da interveno formativa e que visa fornecer aos mesmos informaes de suporte respectiva tomada de deciso. # 1: Quando desenvolvida por uma organizao que realiza formao, permite criar as condies necessrias garantia e controlo de qualidade das respectivas intervenes formativas (ver definio de auto-avaliao e de avaliao formativa). # 2: Os indivduos envolvidos neste tipo de avaliao representam os centros de deciso responsveis pela introduo de melhorias no mbito da interveno formativa em curso, tais como: dirigente da organizao, director de formao, coordenadores pedaggicos, formandores, formandos (enquanto co-responsveis no respectivo processo de ensino-aprendizagem), etc... a estes que, regra geral, so devolvidos os resultados de uma avaliao interna. Fontes: Fetterman (1996); Rossi (et al.) (1999); Patton (1997)

24

18. Avaliao on-going Efectuada durante a realizao da formao acompanha a execuo da mesma, produzindo informao para a monitorizao e controlo de gesto do processo formativo, numa ptica de melhoria contnua. # 1: Tambm designada por avaliao de processo, distingue-se da avaliao expost, por se centrar no momento da execuo da formao. # 2: Este conceito surge, regra geral, associado a outros dois: avaliao ex-ante e avaliao ex-post. Estas etapas de avaliao sobrepem-se parcialmente na medida em que a avaliao on-going integra elementos da avaliao ex-ante e desenvolve-se em funo dos aspectos a considerar numa avaliao ex-post. # 3: A no articulao destes trs momentos, resulta numa perda de utilidade da avaliao no mbito da gesto e reorientao de um programa formativo, tanto quanto possvel num tempo oportuno. # 4: Ver definies de avaliao de eficincia, avaliao formativa, auditoria da qualidade e garantia de qualidade. Fontes: Rodrigues (1993); Patton (1997); Rossi (1999); Barbier (1990) 19. Avaliao Qualitativa Recolha, tratamento e apresentao de frequentemente sob uma forma narrativa. informao usando factos,

# 1: As abordagens de carcter essencialmente qualitativo recorrem, com frequncia, a um conjunto de tcnicas, tais como: a observao directa, a anlise de documentao, a inquritos por entrevista, sesses de grupo, estudo de casos,etc... # 2: No contexto da avaliao da formao os mtodos e tcnicas qualitativas tm sido basicamente colocadas ao servio, quer de uma melhor concepo de inquritos por questionrio (ex: aquando do apuramento de informaes relevantes a tratar no mbito de um questionrio podem ser realizadas entrevistas de carcter exploratrio) quer de uma maior clarificao dos resultados resultantes do desenvolvimento de abordagens de natureza quantitativa (Ex: aplicao de um inqurito por entrevista para esclarecimento de dvidas que permaneam aps a aplicao de um inqurito por questionrio). # 3: Permite, em regra, efectuar estudos mais aprofundados dada a riqueza das informaes produzidas, ao contrrio das abordagens de natureza puramente quantitativa que, ao serem aplicadas isoladamente, produzem, regra geral, uma menor riqueza de informao (no obstante a qualidade da mesma). # 4: Os mtodos de natureza qualitativa so bastante utilizados aquando da realizao de avaliaes de carcter formativo. A anlise de vrios estudos de avaliao permite concluir, no entanto, que os mtodos qualitativos h muito que comearam a ser utilizados, tambm, aquando da realizao de avaliaes que incidam sobre os resultados e impactes da formao. Fontes: Basarab (et al.) (1992); Rossi (et al.) (1999); Patton (1997); Scriven (1991)

25

20. Avaliao quantitativa Recolha, tratamento e apresentao de informao usando factos e implicando uma representao numrica. # 1: Os avaliadores que preferem as avaliaes de natureza quantitativa, orientam-se nitidamente para o desenvolvimento de avaliaes de carcter essencialmente sumativo, ou seja, mais focalizados na identificao de medidas concretas relativas, quer a determinadas caractersticas do programa quer a processos a ele inerentes, quer ainda relativas ao apuramento dos respectivos impactes. # 2: A escolha de abordagens de natureza qualitativa ou quantitativa , regra geral, efectuada em funo das questes de avaliao em presena. Fontes: Basarab (et al.) (1992); Rossi (et al.) (1999); Patton (1997); Scriven (1991) 21. Avaliao sumativa Modalidade de avaliao que visa determinar em que medida os objectivos da formao foram de facto cumpridos, efectuando para o efeito um juzo de valor sobre os resultados alcanados. # 1: Foi com Scriven (1967) que surgiu o debate acerca das avaliaes de natureza formativa e sumativa. # 2: O seu principal enfoque so os resultados gerados durante, no final e aps a realizao da formao # 3: Pode ser efectuada por avaliadores internos ou externos, sendo as abordagens externas usuais neste tipo de avaliao. Fontes: Scriven (1991); Patton (1997); Rossi (et al.) (1999); Portugal. Comisso Interministerial para o Emprego (2001) 22. Avaliar a coerncia Verifica a relao entre as caractersticas e componentes do processo formativo e os objectivos da formao. # 1: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-antes e on-going. # 2: Os critrios de coerncia verificam em que medida as decises relativas ao funcionamento interno de um sistema de formao tm em conta os objectivos pr estabelecidos. # 3: Uma das actividades realizadas aquando da avaliao de um projecto formativo a anlise da coerncia da respectiva cadeia de objectivos preconizados. Fontes: Le Boterf (1999); Meignant (1999)

26

23. Avaliar a conformidade Verifica se um produto, processo ou servio cumpre requisitos, pescries, procedimentos ou normas especificadas. # 1: Trata-se de uma definio de conformidade, tambm vlida para outros contextos (p.e., avaliao de projectos). # 2: Conformidade deriva do latim conforme que significa exactamente igual. # 3: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-ante e on-going. # 4: Ver definio de auditoria da formao. # 5:Um instrumento clssico utilizado numa avaliao de conformidade a denominada checklist. # 6: No contexto de aplicao das normas srie ISO 9000, a avaliao de conformidade traduz-se no controlo e ou verificao da gesto adequada dos processos organizacionais desenvolvidos, por forma a garantir o cumprimento dos requisitos normativos pr-estabelecidos. Fontes: Meignant (1999); Portugal. Instituto Portugus da qualidade (2001) 24. Avaliar a eficcia Verifica em que medida os resultados obtidos reportam aos objectivos previamente estabelecidos. # 1: Ver definies de avaliar a eficincia, objectivos de aprendizagem, anlise custo-benefcio e avaliao do retorno do investimento. # 2: A interpretao dos seus resultados efectuada normalmente luz dos resultados de uma avaliao de eficincia. # 3: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-post. Fontes: Phillips (1997-A); Meignant (1999); Rossi (et al.) (1999) 25. Avaliar a eficincia Verifica em que medida os resultados do processo formative justificam os recursos mobilizados (humanos, materiais, financeiros,) # 1: Ver definio de avaliao de eficcia, de anlise custo-benefcio e de auditoria da formao # 2: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao on-going e ex-post. Pode ainda ser aplicado a montante da realizao da formao aquando da realizao de uma anlise prvia de custo benefcio. # 3: Esta noo surge, regra geral, associada noo de eficcia. Na prtica, pode acontecer sermos eficazes mas no eficientes e vice-versa. De facto, podemos verificar situaes em que o resultado atingido corresponde ao objectivo pr-estabelecido (eficcia), mas com verdadeira derrapagem ao nvel do oramento inicialmente

27

previsto (ineficincia). Inversamente, posso no ter atingido o objectivo (ineficcia), mas ter cumprido o oramento (eficincia). A situao ideial ser sempre a obteno do mximo de proveito com o menor consumo de recursos possvel. Fontes: Meignant (1999); Rossi (et al.) (1999) 26. Avaliar a oportunidade Verifica em que medida determinado projecto d resposta atempada s necessidades dos respectivos destinatrios. # 1: Trata-se de um definio de oportunidade, tambm vlida para outroscontextos (p.e., avaliao de projectos). # 2: um critrio de avaliao, normalmente aplciado no contexto de uma avaliao ex-ante. Fontes: Le Boterf (1999) 27. Avaliar a pertinncia Verifica em que medida os objectivos de uma interveno formativa correspondem s necessidades que estiveram na sua origem. # 1: Definio semelhante para uma verificao de relevncia de um projecto. # 2: Trata-se de uma definio de pernitncia, tambm vlida para outros contextos. # 3: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-ante. # 4: Numa anlise longitudinal, a questo da pertinncia consiste em verificar se, tendo em conta a evoluo do contexto, os obejctivos da interveno continuam adequados s necessidades pr-identificadas continuam adequados s necessidades pridentficadas. O enfoque incide sobre a concepo e a preparao de um projecto. Fontes: Rossi (et al.) (1999); Rodrigues (1993) 28. Avaliar a utilidade Verifica em que medida os resultados da formao correspondem s necessidades que estiveram na sua origem. # 1: Trata-se de um definio de utilidade, tambm vlida para outros contextos (p.e., avaliao de projectos). # 2: Ver definio de avaliao de impactes. # 3: A avaliao da utilidade de um projecto de formao implica dar uma resposta seguinte questo: A formao foi (ou pode ser) til para quem? (ver dedinio de stakeholders). # 4: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-post. Fontes: Patton (1997)

28

29. Ciclo de formao Conjunto ou sequncia de fases ou domnios de interveno caracterizadores dos projectos formativos. # 1: No pacfica a identificao do nmero de fase e/ou domnios que devem ser associados a um ciclo de formao. Existe todavia consenso relativamente ao conjunto de actividades a desenvolver no mbito do mesmo. Ser aqui apresentada a caracterizao efectuada no mbito do Sistema de Acreditao de Entidades Formadoras (da responsabilidade do INOFOR) no qual se considera que o ciclo formativo composto por seis domnios de interveno: diagnstico de necessidades de formao; planeamento de intervenes ou actividades formativas; desenvolvimento/execuo de intervenes ou actividades formativas e, por ltimo, acompanhamento e a avaliao de intervenes ou actividades formativas. O sistema mencionado refere ainda um stimo domnio outras formas de interveno que, pela sua especificidade, no surge na sequncia de qualquer um dos anteriores, referenciando antes actividades com valor pedaggico ou potenciadoras da formao, podendo ocorrer a montante, em paralelo ou a jusante do processo formativo. Fontes: Portugal. Instituto para a Inovao na Formao (2002) 30. Competncia profissional Saber agir que implica a mobilizao/combinao/transposio de recursos (conjunto de saberes) numa situao profissional especfica, com vista a uma determinaa finalidade. # 1: A definio de competncia seria muito prxima, seno mesmo idntica, da noo apresentada, variando apenas os contextos em que mobilizada. # 2: No existe ainda um nico entendimento acerca do significado de competncia. nitidamente um conceito em construo. # 3: Autores convergem no entanto para o seguinte: A noo de competncia incorpora trs famlias de saberes: o saber (cognitivo), o saber-fazer (tcnico) e o saber-ser (relacional). A competncia por natureza inobservvel (o que se observa so manifestaes da competncia (aces concretas)). A competncia profissional sempre finalizada. uma aco orientada para um objectivo. Essa aco tem um sentido para o sujeito que age. A competncia profissional , pois, guiada por uma intencionalidade. um saber agir. A competncia exprime-se sempre numa aco ou encadeamento de aces. A competncia profissional sempre contextualizada. Traduz-se na capacidade para mobilizar os conhecimentos e os recursos necessrios resoluo de problemas e desafios colocados pela actividade profissional.

29

# 4: A validao externa crucial. Algum que se auto-declare competente tem de ser capaz de o demonstrar. Neste sentido um indivduo dever saber mobilizar os saberes que detm por forma a proporcionar valor acrescentado ao contexto sobre o qual venha a agir. # 5: Para Malcolm Knowles traduz-se numa capacidade para fazer alguma coisa a um determinado nvel de proficincia. A compreenso do conceito de proficincia fundamentalmente para se compreender o de competncia. Acerca desta matria, Boterf defende trs nveis de proficincia: principante, confirmado e perito. Fontes: Le Boterf (1997); Gomes (1999); Valente (1999); Knowles (1995); Meignant (1999); Suleman (et al.) (2002) 31. Contrato de aprendizagem Documento que visa apoiar a execuo e a monitorizao de um determinado plano individual de aprendizagem. # 1: Trata-se de um documento escrito que resulta, regra geral, de um processo de negociao entre o formando e o indivduo ou entidade responsvel pela realizao da formao, com vista concretizao de um conjunto de objectivos de aprendizagem. A sua elaborao pode ainda implicar a participao do(s) respectivo(s) formadore(s). # 2: A sua realizao assenta no princpio de que no contexto de uma formao dirigida a adultos, estes devem ser encorajados e co-responsabilizados no mbito dos respectivos processos de encino-aprendizagem. # 3: Para alm de se traduzir numa ferramenta de apoio ao desenvolvimento do formando, pode igualmente ajudar a demonstrar em que medida a aprendizagem foi eficaz. # 4: Neste tipo de contrato os gaps identificados no mbito de um diagnstico de necessidades de formao so traduzidos em objectivos de aprendizagem. A estrutura do mesmo apresenta, regra geral, a seguinte configurao: objectivos de aprendizagem; recursos e estratgias a associar a cada um dos objectivos; determinao de evidncias que demonstrem que cada um dos objectivos foi cumprido; identificao de critrios de avaliao para cada um dos objectivos estabelecidos;

Fontes: Anderson, G. (et al.) (1996); Bellier (1999); Woods, J. (et al.) (2000) 32. Critrios de avaliao Conjunto de caractersticas com base no qual podem ser efectuados determinados juzos de valor. # 1: A definio de critrio mais fcil de compreender quando relacionada com a de indicador (ver definio) # 2: Os critrios so as caractersticas consideradas pelo avaliador como adequadas para formular juzos de valor sobre o objecto de avaliao em anlise. Ser a partir

30

destes critrios que sero identificados os indicadores que possibilitaro avaliar se esses critrios foram cumpridos e em que grau. Aqui ficam alguns exemplos de critrios para avaliao da formao: Adeso Coerncia Conformidade Eficcia Eficincia Pertinncia Utilidade Oportunidade Sustentabilidade Rentabilidade (...)

Fontes: Barbier (1990); Le Boterf (1999) 33. Custo de oportunidade Corresponde ao valor de tudo aquilo que temos de prescindir por fora da escolha efectuada em detrimento de outras opes disponveis. # 1: Aquando da tomada de deciso, os indivduos e/ou organizaes vm-se, quase sempre, na situao de ter que optar por uma de entre vrias alternativas possveis. Neste sentido, custo de opurtunidade tudo aquilo que indivduos, organizaes ou sociedade em geral tm de pr de lado, a favor de algo que escolhido. # 2: No contexto da avaliao da formao, o custo de oportundiade , regra geral, contabilizado no contexto de anlises custo-benefcio, designadamente as que so efectuadas a montante da implementao de um interveno formativa. Fontes: Rossi (et al.) (1999); Patton (1997) 34. Custos de formao Inputs (entradas), directos ou indirectos, necessrios realizao da formao. # 1: A identificao exaustiva de todos os custos inerentes realizao da formao fundamental para a credibilidade da prpria avaliao da formao. # 2: As principais categorias de custos de formao so, regra geral, as seguintes: diagnstico de necessidades de formao e planeamento da formao; concepo da formao; execuo; avaliao (custos associados mobilizao de recursos humanos a afectar, assim como produo de documentos de carcter avaliativo). A estas rubricas so associadas despesas, tais como, salrios, encargos sociais e benefcios do staff da formao, salrios, encargos sociais e benefcios de outro pessoal, salrios, encargos sociais e benefcios dos formadores, refeies, deslocaes e outras despesas ocasionais do staff da formao, refeies, deslocaes e estadias

31

para formandos, material de escritrio, materiais pedaggicos, impresso e reproduo, aquisio de servios externos (outsourcing), amortizao de equipamentos pedaggicos, aluguer de equipamentos pedaggicos, manuteno de equipamentos pedaggicos, amortizao de instalaes, aluguer de instalaes, consumveis, outras despesas diversas, produo de documentos tcnicos (ex: relatrios de diagnsticos de necessidades de formao e de acompanhamento e avaliao da formao), entre outros. # 3: Aquando da realizao de uma anlise custo-benefcio, a montante da realizao da formao, podem ainda ser considerados eventuais custos de opurtunidade associados ao projecto formativo a realizar (ver definio de custo de oportunidade). Fontes: Phillips (1997), Rossi (et .al) (1999) 35. Diagnstico de necessidades de formao (ou de competncias)4 Processo que visa analisar eventuais gaps ou discrepncias existentes entre o perfil de competncias detido por um indivduo ou conjunto de indivduos e o respectivo perfil de competncias desejado, resultando na elaborao de um plano de formao de natureza correctiva e/ou prospectiva. # 1: No obstante terem sido identificados vrios posicionamentos em matria de deteco de necessidades de formao, podem, no entanto encontrar-se tendncias comuns, que nos remetem para diferentes tipos de abordagens:5 Abordagens reactivas ou curativas, que visam, na sua generalidade, reparar eventuais lacunas identificadas ao nvel da execuo dos objectivos de uma orgazniao. Centram-se na resoluo de problemas que se colocam no imediato ou no curto prazo. Abordagens antecipatrias e/ou prospectivas, que assentam, regra geral, na realizao de reflexes estratgicas com incorporao de mtodos e tcnicas prospectivas, projectivas ou previsionais. As organizaes que recorrem a estes mtodos, procuram antecipar, ao nvel da respectiva envolvente interna e externa, futuros cenrios com os quais as mesmas inevitavelmente vo ter que se confrontar. Focalizam-se no mdio-longo prazo. Abordagens mistas que integram simultaneamente elementos reactivos e antecipatrias. Este tipo de abordagem tende a ser opo mais escolhida pelas organizaes, quando comparada com as restantes abordagens. Centram-se, regra geral, numa perspectiva de curto prazo.

# 2: Quanto aos mtodos utilizados, estes tambm variam consoante o tipo de abordafem escolhido, no sendo, por isso, possvel identificar uma metodologia nica, linear e simples, j que no desenrolar de cada uma das abordagens podem coexistir os mtodos qualitativos e quantitativos, tcnicas previsionais, tcnicas projectivas, estudos
As questes associadas realizao de um diagnstico de necessidades sero abordadas em documento prprio, a publicar brevemente. 5 Assumir que as abordagens antecipatrias e prospectivas so, em todas as situaes, melhores do que as abordagens meramente curativas ou reactivas, no de todo correcto. De facto, as diferentes abordagens possuem objectivos diferentes e respondem a necessidades diferentes.
4

32

de caso, anlise de funes, auscultao de actores e parceiros, brainstorming, entre outras. # 3: De acordo com alguns dos especialistas neste domnio, um dos factores fundamentais a considerar no mbito de um diagnstico de necessidades de formao, a compreenso da situao referencial desejvel luz da qual ser realizado o diagnstico. Fontes: Capela (2000); Meignant (1999); Gupta, K. (1999) 36. Disseminao de resultados Conjunto de actividades que facilitam a apropriao dos resultados de uma avaliao pelos seus clientes. # 1: j considerada uma das principais fases de um processo de avaliao; # 2: Pode ser perspectivada de vrias formas: Divulgao dos resultados detalhados de um processo de avaliao a audincias associadas directamente execuo do projecto formativo (EX: tcnicos, formadores, formandos, coordenadores...) Divulgao dos resultados sumariados e simplificados de um processo de avaliao, junto de pblicos no directamente associadas execuo do projecto formativo (Ex: administradores da empresa, financiadores, parceiros sociais...) Transferncia de adquiridos para outras organizaes similares. Transferncia e integrao da totalidade ou parte dos resultados no plano institucional, poltico, regulamentar ou administrativo.

Disseminao primria

Disseminao secundria

Disseminao horizontal

Disseminao vertical

# 3: Em projectos formativos de grande dimenso, a disseminao pode mesmo encerrar objectivos de demonstrao de boas prticas e benchmarking, numa tentativa de estender o impacte do projecto a outros contextos (impactes ao nvel das organizaes, dos grupos e dos indivduos). Fontes: Patton (1997); Rossi (et al.) (1999)

33

37. Fidelidade dos instrumentos de avaliao Caracterstica que permite verificar se os instrumentos produzem resultados semelhantes, quando aplicados, vrias vezes, em situaes idnticas. # 1: Tambm se utiliza a palavra: confiabilidade. # 2: um critrio necessrio mas no suficiente na escolha de medidas a utilizar nos instrumentos de avaliao. A verificao da validade de um instrumento segue-se, normalmente, verificao da respectiva fidelidade. Na realidade, de nada adianta ter um instrumento fiel, se o mesmo no mede o que suposto medir (validade). Dito ainda de outra forma: como podero ser tomadas decises se os resultados no so consistentes? # 3: Faz referncia estabilidade e consistncia dos resultados de um determinado instrumento. # 4: A fidelidade de um instrumento , regral geral, interpretada de acordo com determinados graus: elevada, moderada e baixa. Fontes: Rossi 8et al.) (1999); Airasian (2001) 38. Garantia de qualidade Parte da gesto da qualidade orientada no sentido de gerar confiana quanto satisfao dos requisitos da qualidade pr-estabelecidos.6 # 1: Quando aplicado ao contexto da formao este termo pode ser entendido, como o conjunto de procedimentos desenvolvidos a montante, ao longo e a jusante, da implementao de determinado projecto formativo, por forma a garantir que os respectivos resultados sejam efectivamente os desejados. # 2: A demonstrao de procedimentos de garantia de qualidade das intervenes formativas preconizadas , regra geral, umas das exigncias destacadas no mbito dos respectivos cadernos de encargos. # 3: Como dispositivos de garantia de qualidade aplicveis ao Sistema de Formao Profissional existente, destacam-se, a ttulo de exemplo, o Sistema de Certificao do IEFP, o Sistema de Acreditao de Entidades Formadoras (do INOFOR e restantes organismos), a aplicao da norma NP EN ISO 9000:2000, entre outros...Destacam-se ainda os sistemas internos de garantia de qualidade implementados por parte das entidades que intervm na formao profissional. A incluso da auto-avaliao entre os principais temas de reflexo acerca da garantia de qualidade na formao contnua tem igualmente facilitado o desenvolvimento deste tipo de prticas. Fontes: Portugal. Instituto Portugus da Qualidade (2001)

Adaptado constante na norma NP EN ISO 9000.2000

34

39. Gesto da formao Conjunto de actividades coordenadas que visam monitorar e controlar projectos de natureza formativa, numa ptica de optimizao dos seus resultados. # 1: Ver definio de garantia de qualidade. # 2: normalmente colocada ao servio de uma maior eficincia e eficcia de uma organizao. # 3: Exige, partida, um claro entendimento no que se refere noo de gesto. Sem prejuzo de outras definies igualmente vlidas, destacamos aqui, pelo desenvolvimento da mesma, a noo avanada por Meignant (1999:79) fazer gesto analisar ou ajudar os responsveis a analisar situaes e recursos, gerir redes relacionais, tomar ou propor decises de poltica e realizaes, optimizando os recursos atribudos, pr em funcionamento, garantir um acompanhamento quantitativo e qualitativo, analisar os resultados e dar conta dele aos decisores (clientes), e tirar desses resultados elementos para regular o conjunto, melhorando-o constantemente em relao permanente com os seus clientes. # 4: As actividades normalmente desenvolvidas no contexto de um sistema de gesto da formao, so as seguintes: Estabelecimento da poltica formativa a desenvolver. Construo de metodologias para diagnosticar necessidades de formao/competncias. Elaborao de planos de formao no qual constem as aces formativas a desenvolver, respectivos resultados a alcanar, bem como respectivos critrios e inidcadores de avaliao. Definio de itinerrios pedaggicos a desenvolver. Preparao de actores a implicar no projecto formativo. Concepo e aplicao de dispositivos de avaliao, por forma a garantir a eficincia e eficcia do plano de formao, bem como eventual reeorientao de intervenes/polticas formativas. Agenciamento de recursos financeiros para a execuo da formao. Gesto dos oramentos disponveis para a execuo da formao. Identificao, conjuntamente com o responsvel pela gesto dos recursos humanos, das condies necessrias ao processo de transferncia de saberes para os contextos reais de desempenho. Desenvolvimento da formao de acordo com a poltica de gesto de carreiras (quando existente). Implementao de um sistema de gesto de informao, capaz de produzir informao atempada a dirigir aos diversos centros de deciso implicados na formao.

Fontes: Le Boterf (1999); Meignant (1999); Soyer (1999)

35

40. Indicador de avaliao Elemento observvel e mensurvel que sinalizao grau de cumprimento do critrio de avaliao. # 1: Ver definio de critrio de avaliao, objectivo de aprendizagem e referente. # 2: Os indicadores utilizados no contexto de projectos formativos so normalmente analisados de acordo com agrupamentos especficos, tais como: Indicadores associados concepo de um projecto formativo (associados, por exemplo, a critrios de pertinncia, de oportunidade, de coerncia, de adeso...). Indicadores associados ao desenvolvimento/funcionamento da interveno formativa.7 Neste conjunto de indicadores destacam-se os relacionados com as caractersticas dos formandos; as caractersticas dos formadores e outros elementos responsveis pela execuo da formao; a natureza e o tipo de interaco entre actores envolvidos na execuo da formao (enfoque ao nvel da intensidade dos contactos inter-actores); as metodologias pedaggicas utilizadas; os contedos da formao, a rentabilizao da capacidade instalada; a organizao de suporte. Indicadores associados aos resultados e impactes de uma interveno formativa.8 Neste conjunto de indicadores destacam-se os relacionados com: os resultados imediatos da formao (relacionados com aquisio de saberes especficos); os impactes da formao, designadamente, ao nvel quer do desempenho dos indivduos em situao real de trabalho (Ex: grau de autonomia, grau de domnio de determinada tecnologia...) quer da respectiva rea funcional e/ou organizao no seu todo (Ex: ganhos de produtividade, ndices de absentismo...) quer ainda, ao nvel de uma comunidade e/ou religio especfica (Ex: graus de empregabilidade dos formandos, taxas de insero socioprofissional dos formandos...).

Fontes: Barbier (1990); Van den Berghe (1998); Scriven (1991); Patton (1997) 41. Inputs da avaliao Recursos tangveis e intangveis necessrios para a produo dos resultados da avaliao. # 1: Expresso que pode ser igualmente substituda por entradas do processo avaliativo. # 2: Ver definio de diagnstico de necessidades de formao e de avaliao exante. # 3: O principal input de um processo avaliativo normalmente a informao fornecida por eventuais diagnsticos de diagnstico de necessidades de formao (expectativas e necessidades dos respectivos beneficirios). So ainda considerados inputs de uma avaliao os resultados e impactes preconizados por determinado
7 8

Ver definio de avaliao interna. Ver definio de anlise custo-benefcio e de retorno do investimento

36

projecto formativo, as informaes acerca das condies para aplicao do modelo de formao e avaliao, etc...). Fontes: Patton (1997); Salgado (1997); Rossi (et al.) (1999) 42. Juzo de valor (ou de utilidade) Apreciao final que feita aps a recolha, tratamento e anlise de dados acerca de determinada realidade objecto de avaliao. # 1: Encarado como um dos produtos decorrentes de um processo avaliativo, assume um papel importante aquando da fase de elaborao de recomendaes de melhoria. # 2: A sua formulao permite que a avaliao v alm da simples medio, baseada normalmente no uso de instrumentos de natureza quantitativa. Em rigor, no contexto de uma avaliao que se formulam juzos de valor com vista tomada de decises. # 3: A elaborao de juzos de valor pressupe que exista, partida, um conjunto de referentes que sustentam determinada tomada de posio. A sua existncia permite realizar exerccios de comparao entre algo alcanado e padres de referncia prestabelecidos (ver definio de referente). Fontes: Barbier (1990); Patton (1997); Scriven (1991) 43. Meta-avaliao Visa avaliar o modelo avaliativo desenvolvido, por forma a garantir os nveis de qualidade nos processos e tcnicas de avaliao utilizados. # 1: Apresenta como principais alvos de estudo: os mtodos e tcnicas de avaliao utilizados, os avaliadores (respectivo desempenho), os resultados do processo avaliativo (a sua utilidade para os respectivos utilizadores). # 2: Pressupe a existncia de padres de referncia com base nos quais ser realizada a avaliao dos mtodos e tcnicas de avaliao utilizados. Estes padres de referncia assentam, frequentemente, nos resultados de modelos de avaliao concebidos e aplicados por autores de reconhecido mrito no domnio da avaliao. Os critrios utilizados com maior frequncia so os seguintes: utilidade das abordagens, adequao das mesmas face aos respectivos contextos de aplicao, grau de exequabilidade dos mtodos preconizados, rigor no tratamento dos dados. Fontes: Sriven (1991); Patton (1997)

37

44. Metodologias de avaliao9 Processos de pesquisa de informao, assentes na identificao de um conjunto de questes que incidem sobre as fases de preparao, implementao, resultados e impactes de uma interveno formativa. # 1: As metodologiasde avaliao evoluiram ao longo dos tempos em funo de dois factores fundamentais: a (re)definio do papel do avaliador e o grau de participao dos implicados no processo formativo. Estas questes so claramente evidenciadas no contexto dos trabalhos de Guba e Lincoln (1989) que, ao apresentarem uma perspectiva histrica da avaliao, identificam e caracterizam quatro geraes de avaliao. De acordo com a anlise efectuada evoluiu-se de abordagens de natureza essencialmente quantitativa, regra geral centradas na medio das caractersticas dos agentes avaliados, passando pelas abordagens avaliativas centradas, quer na descrio do realizado e no realizado (objectivos pr-estabelecidos versus resultados) quer na emisso de juzos de valor (na qual o avaliador assumia um papel de juz) para metodologias avaliativas focalizadas na participao e envolvimento dos vrios actores, exercendo o avaliador, neste ltimo caso, um papel de facilitador no processo de identificao de estratgias avaliativas a aplicar. Estas ltimas abordagens tm vindo a desenvolver-se sem prejuzo da aplicao de metodologias avaliativas assentes em pressupostos de natureza positivista (perspectiva segundo a qual o sujeito que avalia e o sujeito/objecto avaliado so duas realidades independentes). De facto, identificam-se no terreno vrias metodologias de avaliao que podem ser mais ou menos: formativas, sumativas, estruturadas, quantitativas, qualitativas, positivistas, formais, participadas,etc...sendo que os factores que permitem optar por esta ou aquela metodologia prendem-se, essencialmente, com as especificidades dos respectivos contextos de aplicao, bem como as necessidades de informao dos respectivos beneficirios. Fontes: Guba e Lincoln (1989); Lus Capucha (et al.) (1996); Patton (1997); Wall e Otterwill (2000) 45. Nveis de avaliao10 Representam uma sequncia de dimenses de avaliao da formao. # 1: Conceito bastante utilizado no mbito da abordagem apresentada por D. Kirkpatrick (1994). Para este autor nveis representam as diferentes dimenses (avaliar o qu? em que a formao pode ser avaliada. Essas dimenses so: Nvel 1 Reaco (em que medida os participantes esto satisfeitos com o programa?); Nvel 2 Aprendizagem (em que medida ocorreram aprendizagens?); Nvel 3 Comportamento (em que medida as aprendizagens adquiridas/desenvolvidas foram transferidas para os contextos de trabalho?);

10

Este termo refere-se apenas ao contexto da formao profissional. Destacam-se aqui apenas as abordagens mais conhecidas no que se refere noo de nvel de avaliao.

38

Nvel 4- Resultados (em que a medida a aplicao dos novos saberes provocaram mudanas no desempenho da organizao?).

# 2: Os nveis de D. Kirkpatrick so provavelmente os mais conhecidos pela maior parte dos especialistas de avaliao. Esta taxonomia difundiu-se sobretudo, e rapidamente, no contexto dos projectos de formao intra-empresa, tendo sido entretanto desenvolvido/ajustado por forma a ser aplicado a outros contextos. J. Phillips prope um quinto nvel de avaliao, tambm sequencial em relao aos nveis de D. Kirkpatrick: Nvel 5 Retorno do investimento (aplicao da abordagem ROI). Este autor defende que para alm da aferio de eventuais impactes ao nvel do desempenho de uma organizao, importa efectuar anlises custo-benefcio por forma a determinar em que medida os impactes obtidos justificaram o investimento efectuado.

Fontes: Phillips, J. (1997); Kirkpatrick (1998-A); Phillips, P. (2002) 46. Objectivos de aprendizagem (pedaggicos) Trata-se de enunciar o tipo de resultado a alcanar com a interveno formativa, indicando o que os formandos devem ser capazes de fazer depois de concluda a aprendizagem, as condies em que o devem fazer, assim nveis de desempenho/proficincia a alcanar. # 1: A construo de objectivos de aprendizagem pode obedecer a tcnicas especficas. A mais conhecida a de R. Mager que valoriza o princpio do triplo C, isto um objectivo bem defenido deve: precisar um comportamento observvel; enumerar as condies e as caractersticas do contexto de desempenho, crticas emergncia desse comportamento; Precisar o(s) nveis de desempenho/proficincia a alcanar, traduzidos em indicadores de resultados a avaliar, que o permitem determinar, de forma inequvoca, se o comportamento observado aceitvel/adequado.

# 2: Um objectivo de aprendizagem consiste na operacionalizao e decomposio pedaggica de uma actividade, desempenho, meta organizacional, servio/produto, garantindo-se a presena dos condicionalismos, regras, normas, instrumentos habituais nos contextos de desempenho. # 3: A sua correcta formulao permite apoiar os vrios actores intervenientes numa aco formativa ao nvel do processo de construo, conduo e avaliao das aces de formao. Fontes: Mager (1997); Portugal. Comisso Interministerial para o Emprego (2001)

39

47. Plano de avaliao Conjunto de actividades devidamente organizadas por forma a atingir os objectivos da avaliao da formao. # 1: Trata-se de uma definio muito simples de plano. # 2: Ver definio de questes de avaliao. # 3: Traduz, de uma forma operacional, a abordagem de avaliao preconizada. A fase da planificao j considerada a fase crucial de um processo de avaliao. # 4: No mbito do presente glossrio so destacadas quatro fases normalmente associadas a um plano de avaliao, a saber: a fase da preparao do processo avaliativo (destaque para o momento da planificao) a fase da execuo/desenvolvimento do processo avaliativo (destaque para a fase da obteno dos dados considerados relevantes) a fase do tratamento e anlise dos dados e apresentao de resultados (destaque para o momento da emisso de juzos de valor) a fase da disseminao dos resultados (destaque para a fase da identificao dos centros de deciso para os quais se deve remeter os resultados da avaliao).

Fontes: Patton (1997); Rossi (1999); Valadares e Graa (1998) 48. Plano de formao Documento que integra um conjunto estruturado de actividades que devem ser realizadas num dado perodo de tempo, com vista prossecuo de determinados objectivos, tendo por base os resultados de um diagnstico de necessidades de formao. # 1: a traduo operacional da poltica de formao da organizao. A sua execuo pode ser anual ou plurianual. # 2: Este documento d especial relevo s aces de formao a desenvolver e assume, regra geral, a forma de um caderno de encargos (para cada curso integrado no plano). # 3: normalmente elaborado pela estrutura que gere a formao. Fontes: Le Boterf (1999); CIME (2001) 49. Questes de avaliao Efectuadas a montante, ao longo e a jusante da implementao de um processo de avaliao da formao, visam aferir as matrias relevantes a investigar/considerar no mbito do mesmo. # 1: Devem ser realistas e susceptveis de serem respondidas (implica a identificao de critrios e indicadores de avaliao precisos, assim como identificao dos respectivos referentes).

40

# 2: A sua utilidade reside no facto de contribuirem para a delimitao do objecto alvo de estudo, identificao dos stakeholders a implicar no processo de avaliao, bem como respectivas necessidades e expectativas. # 3: Podem ser efectuadas pelo responsvel pela definio da metodologia avaliativa, pelos avaliados, bem como pelo conjunto de outros indivduos (stakeholders) que demonstrem claro interesse relativamente aos resultados de determinada interveno formativa. # 4: As primeiras questes so efectuadas, regra geral, pelo avaliador responsvel pela concepo do modelo avaliativo, das quais decorrem as restantes, normalmente elaboradas pelos restantes stakeholders. Fontes: Rossi (et al.) (1999); Woods, J. (et al.) (2000); Patton (1997); Soyer (1999), Garlick e Des Kemp (2001) 50. Recomendaes Conjunto de sugestes de melhoria e/ou propostas de medidas de aco que decorrem da anlise dos dados recolhidos durante o processo avaliativo e que visam contribuir para a melhoria de determinados processos formativos. # 1: Podem ser efectuadas antes, durante e/ou aps a realizao de um processo de formao (ver definio de avaliao ex-ante, on-going e ex-post). # 2: Constituem a parte de um relatrio de avaliao qual dada normalmente maior ateno, pelo que surgem, regra geral, destacadas do conjunto das informaes disponibilizadas. # 3: Sobre esta matria destacam-se as posies de dois autores: Michael Scriven e Michael Patton. Acerca da elaborao de recomendaes Scriven (1991) destaca a dificuldade de um avaliador efectuar recomendaes na matria em estudo, pelo que sustenta que o papel de um avaliador termina com a elaborao de juzos de valor acerca das matrias em anlise. Com uma opinio contrria, Patton (1997) entende que um processo de avaliao deve considerar a fase da elaborao de recomendaes. Acrescenta que a situao apresentada por Scriven pode ser ultrapassada com o envolvimento dos actores (principais centros de deciso), na fase de elaborao dessas recomendaes. Fontes: Scriven (1991); Patton (1997); Rossi (et al.) (1999) 51. Referencial de avaliao um esquema construdo com base numa combinao de referentes, com vista a ser utilizado como quadro de referncia aquando da avaliao de determinada realidade (neste caso, de formao). # 1: Os termos referencial e referente so aqui definidos luz do trabalho de Grard Figari. # 2: O prprio G. Figari no apresenta uma definio nica de referencial. # 3: Ver definio de referente.

41

# 4: O referencial , normalmente, considerado um produto acabado, correspondendo a uma formulao momentnea da referencializao. Pelo contrrio, o processo de referencializao normalmente referido como um sistema dinmico e aberto, que permite a incorporao de eventuais alteraes que contribuam para uma maior adequao das intervenes de avaliao s constantes mutaes dos respectivos contextos de aplicao. # 5: A sua elaborao implica a identificao do conjunto de referentes, com base no qual podem ser efectuados juzos de valor acerca de determinada situao em anlise. Fontes: Figari (1996); Barbier (1990), Abreu (1996) 52. Referencializao Processo especfico de explicitao ou construo de um quadro ou sistema de referncia. # 1: A referencializao um processo (e no um produto) de elaborao do(s) referente(s). # 2: A referencializao consiste em identificar um contexto e em construir, sob dados slidos, um corpo de referentes relativos a um objecto (ou uma situao) em relao ao qual podero ser justificados diagnsticos, projectos, avaliaes (ver definio de referente e de referencial). Fontes: Figari, G. (1996); Barbier (1990) 53. Referente Conjunto de princpios/disposies/critrios em funo dos quais so emitidos juzos de valor. # 1: Desempenha um papel instrumental na produo de um juzo. Constitui, usando a terminologia de Barbier (1990) um meio de trabalho do processo de avaliao. Segundo este autor, dificilmente haver avaliao se no forem conhecidos os respectivos referentes. Este princpio tambm se aplica a projectos formativos que no estabelecem, de forma rigorosa, quaisquer objectivos partida. Nestes casos, competir aos formandos, formadores, coordenadores...construi-los medida que as necessidades se vo evidenciando. Neste tipo de projecto normalmente aplicada a abordagem goal free evaluation, ou seja, uma avaliao que no tem quaisquer objectivos por referncia (Patton 1997). A estreita articulao entre avaliadores e respectivos stakeholders, traduz-se num dos factores crticos de sucesso deste tipo de avaliao. Conjuntamente sabero dar uma resposta adequada questo: quando quese sabe que os objectivos foram alcanados? # 2: O campo semntico coberto por este termo bastante vasto: podemos falar de normas de julgamento, de critrios especficos de apreciao, de condutas esperadas, de quadros/termos de referncia... Fontes: Patton (1997); Barbier (1990); Figari (1996)

42

54. Relatrio de avaliao Ferramenta principal de apresentao, aos diferentes beneficirios, dos resultados finais do trabalho de avalio da formao. # 1: Trata-se de uma definio simples de relatrio. normalmente um documento escrito, no qual constam os resultados da avaliao efectuada no mbito dos diferentes nveis (ver nveis de avaliao). # 2: Ver definio de recomendaes de avaliao. # 3: Podem tratar-se de relatrios intermdios e/ou relatrios finais de avaliao. # 4: Um relatrio de avalio pode ter vrias verses aperfeioadas e validades com base no feedback dos diferentes stakeholders. Fontes: Rossi (1999); Patton (1997); Weiss (1997) 55. Resultados da avaliao (outputs da avaliao) Produtos tangveis do processo de avaliao necessrios para atingir os seus objectivos. # 1: Ver definio de relatrio de avaliao. # 2: Esta noo no deve ser entendida como resultados da formao. # 3: Como resultados mais frequentes dos sistemas de avaliao destacam-se os relatrios intermdios (de progresso) e relatrios finais de avaliao. Podem ainda ser considerados resultados de uma avaliao toda a documentao produzida ao longo do processo avaliativo, tais como, actas de reunies, documentos para apoio reflexo, etc... # 4: A apropriao dos resultados de uma avaliao depende da respectiva utilidade para os seus beneficirios. Esta utilidade assume, fundamentalmente, duas vertentes: Uso directo ou instrumental dos resultados. Torna-se visvel aquando da redefinio de estratgias, de reformulaes de planos de aco, de alteraes ao nvel dos contedos programticos...(impactos directos dos resultados). Uso conceptual dos resultados. Torna-se visvel aquando da elaborao de normativos/procedimentos da entidade formadora (numa ptica de melhoria contnua), de alteraes ao nvel da estrutura funcional da empresa (organograma), da alterao das polticas formativas da empresa, etc...(impactes indirectos dos resultados).

Fontes: Patton (1997); Rossi (et al.) (1999); Barbier (1990); Capucha (et al.) (1996)

43

56. Sistema de gesto de informao (SGI) Permite a disponibilizao e a gesto de informaes utilizadas aquando da tomada de determinadas decises. # 1: A sua implementao numa dada organizao permite, com maior rigor, pilotar/monitorar a mobilizao de recursos (humanos, materiais, financeiros...) para a concretizao de determinados objectivos, assim como devolver, em tempo oportuno, aos respectivos centros de deciso, os resultados entretanto obtidos. # 2: A sua utilidade susceptvel de ser demonstrada sempre que o mesmo fornece s pessoas certas, a informao certa, num tempo oportuno e da forma mais adequada, por forma a produzir os objectivos desejados. # 3: No contexto da formao, destacam-se dois centros de deciso para os quais esta ferramenta assume um papel crucial: a estrutura que gere e executa a formao e a estrutura que recebe os seus benefcios directos e indirectos, em particular, os contextos de desempenho dos recm-formados, assim como a estrutura organizacional na qual se encontram inseridos. Um sistema de gesto de informao visa, no primeiro caso, fornecer informaes de apoio tomada de deciso, numa ptica de optimizao dos recursos mobilizados para o projecto formativo. No segundo caso, visa a disponibilizao de informaes que permitam aferir o efectivo valor acrescentado para os contextos nos quais so mobilizados os saberes aquiridos/desenvolvidos, pela via da formao, numa ptica de apoio deciso acerca da continuidade ou descontinuidade das intervenes formativas, assim como (re)-avaliao de investimentos efectuados. Fontes: Rossi (et al.) (1999); Scriven (1991); Patton (1997) 57. Stakeholders Indivduos ou entidades, que se envolvem (directa ou indirectamente) em determinado programa/projecto formativo e a quem podem ser devolvidos, ao longo e/ou aps a realizao da formao, os resultados da avaliao da formao. # 1: A palavra stakeholders j um termo bastante utilizado aquando da realizao de projectos nos mais variados domnios do saber. Trata-se, na realidade, de identificar os clientes internos e externos de determinado projecto formativo. # 2: Podem ser agrupados da seguinte forma:11 (1) Indivduos ou organizaes que financiam o projecto formativo. Aqui se incluem os gestores de iniciativas comunitrias, gestores e accionistas de empresas. So os responsveis pela deciso acerca da existncia ou no existncia do projecto formativo. (2) Indivduos ou organizaes que promovem a formao. Decidem acerca do seu nicio, da sua manuteno, da sua reestruturao e, eventualmente, do seu cancelamento. So ainda os responsveis pela definio da poltica formativa a seguir.

11 A lista de indivduos e organizaes referidos devem ser encarados apenas como potenciais implicados numa avaliao. Competir ao avaliador identificar todos aqueles que estaro eventualmente interessados e em que medida, nos resultados de determinado projecto formativo.

44

(3) Responsveis pela avaliao externa do projecto de formao. Podem ou no ser os mesmos j referidos nos pontos anteriores. (4) O pblico-alvo a abranger pela formao. (5) O gestor de formao ou a pessoa responsvel pela gesto do projecto formativo. (6) Indivduos envolvidos na execuo do projecto de formao: formadores, monitores, coordenadores pedaggicos, tutores, avaliadores. (7) Organizaes concorrentes que desenvolvem formao na mesma rea (podem vir a manifestar algum interesse no que toca a prticas bem sucedidadas com forte potencial de transferibilidade para contextos idnticos. Acontece por vezes serem realizadas parcerias que possam interessar organizao detentora do know-how produzido). (8) Indivduos ou organizaes que beneficiam indirectamente dos resultados da formao (ex: consumidores finais (ou clientes externos) dos produtos e/ou servios produzidos por uma organizao e/ou indivduos beneficirios da formao, clientes internos (ex: colegas de trabalho), famlias envolvidas, outras instituies no associadas realizao da formao... (9) Indivduos ou organizaes associadas rea da investigao que, perante prticas bem sucedidas, procuram divulgar junto, quer da comunidade cientfica interessada nas matrias em estudo quer dos profissionais da rea, os respectivos resultados.

Fontes: Rossi, P.(et al.) (1999); Patton (1997); Simpson e Lyddon (1995) 58. Tcnica de amostragem Acto de seleccionar elementos a partir de uma populao para fins de investigao/avaliao. # 1: Trata-se de uma definio abrangente de amostragem, vlida para qualquer contexto de aplicao, incluindo o da avaliao da formao. # 2: No contexto da avaliao da formao, as unidades mais comuns objecto de amostragem so: os cursos ou aces de formao a seleccionar para avaliao, a partir de um plano de formao; os formandos de determinados cursos; os diferentes stakeholders a contactar/implicar no mbito da avaliao.

# 3: Existem 2 modalidades bsicas de amostragem: dirigida e aleatria. Fontes: Reis, E. (et al.) (2001)

45

59. Triangulao Consiste na utilizao de mais do que uma fonte, mtodo e/ou tcnica aquando da realizao de uma avaliao de determinada interveno formativa. # 1: Prtica cada vez mais utilizada no mbito dos estudos de investigao nas mais diversas reas. Traduz-se na prtica, no recurso a vrias teorias, fontes ou tipos de informao, tipos de tcnicas, num contexto em que se pretende estudar/analisar um fenmeno (ver definio de mtodos qualitativos e mtodos quantitativos). # 2: Resulta numa maior credibilidade dos resultados de um determinado estudo, permitindo uma maior sustentao das decises que venham a ser efectuadas sobre o mesmo. # 3: Uma das vantagens no uso da triangulao em projectos de investigao consiste em atenuar algumas das desvantagens que decorrem da aplicao de um nico mtodo e/ou tcnica. # 4: Permite complementar as abordagens de natureza quantitativa, sempre que, por exemplo, aps a racolha, anlise e tratamento de dados no possvel regressar ao terreno para verificar ou clarificar alguma resposta resultante da aplicao de determinado inqurito por questionrio. Fontes: Scriven (1991); Rossi (et al.) (1999) 60. Validade dos instrumentos de avaliao Caracterstica que permite verificar se um instrumento de avaliao mede efectivamente aquilo que suposto medir. # 1: A anlise dos instrumentos deve ser efectuada de acordo com dois critrios fundamentais (entre outros):validade e fidelidade. # 2: A noo de validade deve ser relacionada com a noo de utilidade dos resultados que decorrem da aplicao de um instrumento de avaliao, ou seja, os resultados da avaliao permitem a tomada de deciso dos seus utilizadores? # 3: A verificao da validade de um instrumento , regra geral, efectuada a jusante da verificao da respectiva fidelidade. # 4: Existem vrios tipos de validade: a validade de contedo, a validade de critrio e a validade de construto. Validade de contedo: refere-se representatividade ou grau de adequao do contedo do instrumento de medida relativamente quilo que est a ser medido e, por conseguinte, confiana maior ou menor para fazer determinadas inferncias (Nunnally, 1978)12. Valdiade de critrio: um instrumento de avaliao pode ter validade referida a um critrio, sendo que dos seus resultados podemos inferir acerca do grau de consecuo desse critrio (baseado em Valadas e Graa 1998).

12

In Caetano, A. (1996) Avaliao de desempenho.

46

Validade de construto: um instrumento de avaliao pode ter validade de construto caso permita fazer inferncias correctas acerca desse construto13 (baseado em Valadas e Graa (1998)

13 Um construto representa uma hiptese (geralmente meio formada) de que diversos comportamentos estaro correlacionados uns comos outros em estudos de diferenas individuais e/ou sero igualmente afectados por tratamentos experimentais (Nunnally 1978), in Caetano (1996) Avaliao de desempenho.

47

Lista de termos usados 01. 02. 03. 04. 05. 06. 07. 08. 09. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. Anlise custo-benefcio Aprendizagem ao longo da vida Auditoria da formao Auto-avaliao Avaliao medida Avaliao da formao Avaliao da transferncia de aprendizagens Avaliao de aprendizagens Avaliao de impactes da formao Avaliao de reaces Avaliao diagnstica Avaliao do retorno do investimento (ROI) Avaliao ex-ante Avaliao ex-post Avaliao externa Avaliao formativa Avaliao interna Avaliao on-going Avaliao qualitativa Avaliao quantitativa Avaliao sumativa Avaliar a coerncia Avaliar a conformidade Avaliar a eficcia Avaliar a eficincia Avaliar a oportunidade Avaliar a pertinncia Avaliar a utilidade Ciclo de formao Competncia profissional Contrato de aprendizagem Critrio de avaliao Custo de oportunidade Custos de formao Diagnstico de necessidades de formao Disseminao de resultados Fidelidade dos instrumentos de avaliao Garantia de qualidade Gesto da formao Indicador de avaliao Inputs de avaliao Juzo de valor Meta-avaliao Metodologias de avaliao Nveis de avaliao Objectivo de aprendizagem (pedaggicos) 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. Plano de avaliao Plano de formao Questes de avaliao Recomendaes Referencial de avaliao Referencializao Referente Relatrio de avaliao Resultado da avaliao(outputs da avaliao) Sistema de gesto de informao Stakeholders Tcnica de amostragem Triangulao Validade dos instrumentos de avaliao

48

PARTE 03 Notas metodolgicas

49

Notas metodolgicas
Encarada como complemento ao captulo anterior, esta parte do trabalho visa remeter o leitor para uma reflexo acerca das implicaes associadas operacionalizao dos termos previamente descritos. As notas medolgicas remetem para um contexto especfico de avaliao, no qual se privilegia a articulao interactores envolvidos num determinado processo de formao. Embora esta seja ainda uma prtica pouco evidenciada no contexto das organizaes responsveis pela gesto e implementao de projectos formativos, defende-se que a mobilizao dos vrios actores para a construo de um dispositivo de avaliao de interesse comum, reverte, em grande medida, a favor da elevao da qualidade das intervenes formativas desenvolvidas. Destaque-se que para a elaborao desta parte do trabalho muito contribuiram quer a observao no terreno de prticas concretas de avaliao quer a anlise de experincias de alguns especialistas em matria de avaliao da formao, que nos apresentam alguns dos factores crticos de sucesso associados s prticas de avaliao da formao. Pretende-se, pois, colocar discusso dos vrios utilizadores deste primeiro caderno, uma forma diferente de fazer avaliao, muito centrada na participao (possvel) e envolvimento de todos os interessados nos resultados de determinado projecto formativo. Para tal, so deixadas, nesta fase, algumas pistas concretas que visam apoiar a implementao de processos de avaliao da formao.

50

(1) Anlise custo-benefcio Dos dois pontos anteriores resulta que o ROI sempre inferior ao RCB14, como pode ser verificado com o seguinte exemplo: Benefcios do programa de formao xpto = 1000 Custos do programa de formao xpto = 450 1000 450

RCB=

=2.22

RCB (%)=

1000 450 1000-450 450

*100=222.22%

ROI (%)=

*100=122.22%

A interpretao que deve ser dada aos valores de RCB e ROI a seguinte: Um RCB de 2.22 significa que por cada unidade monetria investida (custo) no programa de formao xpto, a respectiva entidade promotora recuperou 2.22 unidades monetrias (benefcio). [450*2.22 = 1000] Um ROI de 122.22% significa que se obteve aquela percentagem de lucro lquido face ao valor monetrio inicialmente investido no programa de formao xpto. [450*122.22% = lucro = 550] O ROI tambm pode ser expresso em unidades. No exemplo, teramos um resultado de 1.22 a interpretar nos mesmos moldes do ponto anterior. [450*1.22 = 550] Ateno que o RCB s representa uma relao rentvel entre custos e benefcios quando o seu valor superior a 1. J o ROI tem de ser superior a 0% para traduzir a mesma realidade. O ponto anterior pode ser mais facilmente compreendido com o seguinte exemplo: o Benefcios do programa de formao xpto=350 o Custos do programa de formao xpto=450 RCB= 350 450 =0.78

Formalmente, RCB pode ser igual, no caso em que os custos da formao fossem igual a zero. Seria, pois, mais correcto afirmar-se que o ROI sempre igual ou inferior a RCB.

14

51

ROI (%)=

350-450 450

*100=-22.22%

Ou seja, por cada unidade monetria investida, a entidade recuperou apenas 0.78 ou um prejuzo de cerca de 22%. Nas actividades de reporting do gestor de formao, recomenda-se a utilizao do RCB em unidades e ROI em percentagem. A anlise custo benefcio tambm pode ser entendida num plano menos matemticoformal, cumprindo uma misso de apoio deciso do investimento na formao. Nesse caso, usual proceder-se a uma listagem completa dos custos e benefcios da formao, incluindo outros custos e benefcios para alm dos monetrios. Pode assim ser construdo um quadro a 2 colunas com vantagens e desvantagens do investimento na formao que facilitar a deciso. Exemplo de custo no monetrio: reaco negativa (emocional e/ou comportamental, via resistncia, recusa ou ausncia em reunies) das chefias directas em participarem em actividades de avaliao de nvel 3 e/ou 4. Sabemos partida que, delas depende, em grande medida, a eficcia de uma interveno formativa, quando dirigida a activos empregados. Exemplo de benefcio no monetrio: elevao do grau de identificao empresa. Os custos e benefcios gerados pela formao no directamente quantificveis en valor monetrio designam-se por intrangveis. Destaque-se ainda o facto de no existirem valores considerados ptimos ou aceitveis associados a uma anlise custo-benefcio. Os mesmos so, regra geral, estabelecidos para cada programa/projecto formativo. Competir ainda organizao estabelecer os seus prprios nveis de desempenho a alcanar. Uma anlise custo-benefcio pode ser efectuada antes, durante e aps a realizao do programa/projecto objecto alvo de anlise. (2) Aprendizagem ao longo da vida Exige que seja desenvolvida a competncia aprender a aprender, o que implica a demonstrao de uma atitude positiva relativamente aprendizagem. Apresenta como principais factores crticos: a motivao individual para aprender e a disponibilizao de vrias oportunidades de aprendizagem. O desenvolvimento desta competncia assume particular importncia no contexto da construo de modelos especficos de avaliao da formao, uma vez que a par de uma, cada vez maior, co-responsabilizao dos indivduos no que diz respeito aos respectivos percursos de aprendizagem, surge, igualmente, uma maior coresponsabilizao dos mesmos no que toca monitorizao e avaliao de saberes adquiridos, em particular, pela via da formao profissional desenvolvida.

52

(3) Auditoria da formao A institucionalizao de prticas de auditoria e/ou auto-avaliao internas pode permitir uma rpida identificao de aspectos a melhorar no mbito de projectos que se encontrem a decorrer, assim como uma melhor preparao de futuras abordagens formativas. A sua institucionalizao implica que, partida, estejam reunidas determinadas condies que contribuem para o desenvolvimento eficaz de todo o processo, designadamente: A construo de um referencial ajustado ao contexto em que vai ser aplicado O envolvimento da gesto de topo ao longo de todo o processo A promoo de uma cultura de melhoria contnua A mobilizao de todos os implicados no processo para a manuteno do processo O desenvolvimento de um sistema de comunicao eficaz (para feedback atempado) A preparao dos responsveis pela sua aplicao

(4) Autoformao Distingue-se da auto-classificao e da auto-correco. A primeira implica a participao do formando aquando da realizao da respectiva avaliao sumativa (avaliao final). Solicita-se ao formando que classifique o seu trabalho atribuindo-lhe uma determinada nota. Na segunda, pretende-se que o formando identifique, quer sucessos obtidos, quer eventuais erros cometidos, visando a sua correco, utilizando para o efeito um conjunto de referentes pr-estabelecidos. A auto-avaliao, integrando elementos dos processos anteriores, pretende ir mais alm, j que permite a um determinado indivduo, na sequncia da identificao de necessidades de desenvolvimento especficas, a construo e a gesto de um percurso adequado de aprendizagem. No contexto em estudo, este termo pode ser equacionado de acordo com as duas perspectivas distintas: a auto-avaliao perspectiva pelo indivduo, enquanto agente que pode contribuir activamente para a transformao do contexto em que intervm. Cada indivduo avalia-se a si prprio, considerando partida as competncias necessrias ao desempenho de determianda funo. No mbito da formao profissional, destacam-se dois actores aos quais solicitada, com maior frequncia, uma auto-avaliao: o formador (durante e aps a realizao da formao), o formando (durante e aps a realizao da formao). a auto-avaliao perspectivada pela organizao, enquanto estrutura que apresenta um desempenho prprio e que pode instituir no seio mecanismos de garantia e controlo da qualidade dos respectivos servios e/ou produtos. As prticas de auditoria interna so disso um bom exemplo.

53

As entidades formadoras, quando comprometidas com o desenvolvimento de uma estratgia de garantia e controlo de qualidade dos seus produtos e servios, desenvolvem procedimentos internos de auto-avaliao que visam uma melhor adequao, das suas solues formativas s necessidades e expectativas dos respectivos clientes. Um processo de auto-avaliao pode ser desenvolvido durante e/ou a jusante da realizao de uma interveno formativa. Recomenda-se que, sempre que possvel, seja desenvolvido durante o perodo de execuo da interveno ou projecto formativo por forma a permitir uma regulao atempada do processo individual de aprendizagem em curso. Uma das limitaes apresentadas pelos processos de auto-avaliao, realizadas pelos indivduos, o inflacionamento dos seus resultados e consequente discrepncia dos mesmos face aos resultados apresentados pelas respectivas hierarquias. Este facto poder ser ultrapassado aquando da apreciao conjunta acerca de eventuais factores contextuais que possam ter influenciado o desempenho em anlise. Confrontados com estas limitaes, vrios autores aconselham a sua realizao apenas quando o objectivo da mesma o desenvolvimento profissional de determinado indivduo. No contexto das entidades formadoras, a implementao de um processo de autoavaliao pode seguir as seguintes etapas: Identificao de reas-chave a manter e/ou desenvolver Auscultao de colaboradores relativamente a critrios de qualidade a utilizar Identificao de indicadores de qualidade a alcanar (ex: nveis de desempenho desejados) Recolha de dados no terreno Elaborao de relatrios com resultados de auto-avaliao Estabelecimento de prioridades, desenvolvimento de planos de aco Identificao de competncias a monitorar (individuais e organizacionais) Elaborao de relatrios com resultados da monitorizao efectuada Desenvolvimento de planos de aco/correco (se necessrio) Auscultao de colaboradores para o balano de resultados

Um dos factores crticos da metodologia sugerida o envolvimento/participao dos chamados stakeholders (ver definio) ao longo da implementao de um processo de auto-avaliao. Ex: auscultao de clientes finais acerca de servios prestados pela entidade formadora.

54

(5) Avaliao medida Na definio de uma metodologia de avaliao, que se pretende ajustada ao contexto em estudo, que aspectos podero ser construdos medida? Os aspectos de maior relevncia, a considerar num contexto em que se pretende construir uma metodologia de avaliao ajustada ao contexto em anlise, so os seguintes: Momentos em que se formulam as questes de avaliao Principais aspectos a considerar: Contextos e stakeholders diferentes exigem respostas de avaliao diferentes. A cada objectivo de avaliao so associadas questes ajustadas ao contexto em estudo. Principais aspectos a considerar: O avaliador decide acerca do mtodo, da tcnica ou instrumento til (quando considerados os interesses dos vrios stakeholders em presena), em tempo oportuno e que permita recolher de forma suficientemente credvel, informao acerca dos vrios aspectos a avaliar num programa formativo.

Momentos em que se identificam os mtodos, as tcnicas e os instrumentos a utilizar (que permitem responder s questes previamente formuladas)

Momento em que se Principais aspectos a considerar: constrom parcerias com os benefcios dos Se a apropriao e utilizao dos resultados de uma resultados de uma avaliao, por parte dos seus beneficirios, se traduz numa avaliao das principais ambies de um avaliador, este ltimo no deixar de definir estratgias adequadas para o envolvimento dos respectivos clientes, ao longo da implementao da avaliao.

(6) Avaliao da formao No contexto da avaliao de projectos formativos, podem ser consideradas as seguintes actividades/dimenses alvo de anlise: deteco e anlise de necessidades de formao (visa-se conhecer a situao de partida), concepo de contedos programticos (visase aferir se os contedos programticos foram concebidos a partir de necessidades concretas), execuo da interveno formativa15 (procura-se verificar em que medida o programa deu uma resposta ajustada s necessidades dos formandos), aferio de impactes decorrentes da implementao da interveno formativa (procura-se verificar se a realizao da formao provocou os impactes esperados), realizao de anlises custo-benefcio (visa-se apurar se o benefcio obtido compensou o valor investido).

15

Podemos considerar igualmente um programa/projecto de formao.

55

A avaliao de determinado programa/projecto formativo implica vrios desafios para um avaliador. As circunstncias nas quais o programa se desenvolve podem ser alteradas ao longo da sua implementao, pelo que um avaliador dever ser capaz de encontrar um equilbrio adequado entre consideraes terico-cientficas e pragmticas. Implica que o mesmo possua um porteflio de mtodos e tcnicas susceptveis de serem aplicadas e ajustadas no mbito dos contextos em anlise. Daqui decorre a dificuldade de se estabilizar uma nica abordagem que possa ser utilizada em contextos diferentes. Esta exigncia leva muitas vezes os indivduos, com responsabilidades ao nvel da implementao de projectos de avaliao, respectiva especializao em determinadas reas de estudo (por exemplo, avaliaes de programas comunitrios de impacte local/regional, avaliao de planos de formao intra-empresa, etc...) Embora os processos de avaliao produzam resultados a aprendizagens diferentes ,a sua contribuio para a promoo da qualidade de um projecto formativo pode ser significativa, na medida em que permite: o auto-conhecimento das instituies, fazendo com que estas sejam capazes de disponibilizar informao relativamente forma como funcionam, designadamente quanto respectiva capacidade para cumprirem os objectivos que preconizam; uma eficaz monitorizao de programas de formao, facilitando uma resposta atempada aquando da deteco de eventuais desvios face a necessidades dos respectivos pblicos-alvo; apoiar a tomada de deciso dos vrios actores com responsabilidades ao nvel da implementao das intervenes formativas, com vista introduo de eventuais correces em tempo oporuno; reforar os processos de participao interactores envolvidos nas aces, apoiando ainda eventuais processos de negociao relativamente a aspectos crticos a melhorar e/ou reforar; uma melhor sustentao de opes tomadas, aquando de processos de auditoria externa; apurar os efeitos/impactes das intervenes formativas efectuadas, facilitando a justificao da utilidade social dos resultados obtidos; a justificao de investimentos efectuados, assim como justificao de novos pedidos para a interveno na formao; a reflexo e consequente reequacionamento de estratgias de formao, assim como de ajustamento de metodologias pedaggicas utilizadas.

(7) Avaliao da transferncia de aprendizagens Pressupe que o processo de aprendizagem tenha sido eficaz. S assim estaro criadas as condies essenciais que permitem a obteno dos resultados pretendidos. Exige ainda uma esteita articulao entre os vrios stakeholders implicados no processo formativo, por forma a serem encontradas estratgias consensuais, que permitam ultrapassar eventuais barreiras ao processo de transferncia de aprendizagem adquiridas.

56

Por forma a que os diferentes stakeholders saibam quais as respectivas responsabilidades, no contexto da preparao de eventuais transferncias de aprendizagens, sugere-se que seja preenchida a seguinte grelha, num momento anterior realizao da formao: Que actividades devem ser desenvolvidas Antes da realizao Durante a realizao Aps a realizao da formao da formao da formao

Responsvel Dirigente da organizao Director de formao Coordenador pedaggico Formador Formando (etc...)

Fontes: Baseado em Broad and Newstrom (1992) Aquando da realizao de uma formao dirigida a activos empregados sugere-se ainda que, a montante da realizao da formao, sejam efectuadas as seguintes actividades, a saber:16 Divulgao junto dos vrios nveis hierrquicos implicados (directa ou indirectamente) acerca dos objectivos da formao. Preparao do colaborador a formar mediante a realizao de uma entrevista de sada, que poder destacar os seguintes aspectos: o qual o contedo programtico a desenvolver; o a justificao da opo pelo colaborador X; o o valor acrescentado para esse colaborador e para a prprio organizao; o a identificao de situaes especficas associadas s matrias formativas a tratar; o aspectos nos quais o potencial formando dever focalizar a respectiva ateno (aquando da realizao da formao); o em que condies deve ser encontrado o contexto de trabalho, aquando do regresso do colaborador; o que apoio ser efectuado por parte da chefia directa; o o que esperado do colaborador aps a realizao da formao; Levantamento das vrias situaes problema, identificadas e analisadas na fase do diagnstico de necessidades de formao, com vista sua apresentao/discusso no momento da realizao da formao. Realizao de contratos de aprendizagem.

Observao: As actividades apresentadas aplicam-se s situaes em que o colaborador a formar se ausenta do respectivo contexto do trabalho.

16

57

Aps a realizao da formao, sugere-se que seja efectuada, pela chefia directa do indivduo rec,-formado, uma entrevista de chegada, na qual podero ser colocadas as seguintes questes: Considerando o ponto de partida, qual o valor acrescentado aps a realizao da formao? Em que medida podem os saberes adquiridos ser mobilizados para o contexto de trabalho em anlise? Que tipo de saberes podem ser mobilizados no curto, mdio e longo prazo? Em que medida esto reunidas as condies necessrias ao processo de transferncia de saberes adquiridos? Como pensa vir a actuar o colaborador recm-formado? Na opinio do ex-formando, como pode a chefia directa ajudar no processo?

A chefia directa assume um papel central na rentabilizao do investimento efectuado ao nvel da formao, na medida em que a responsvel directa pelo acompanhamento do colaborador de regresso ao contexto de trabalho. Ficam aqui algumas das actividades que a mesma pode vir a desenvolver: Comparar as expectativas do formando com os resultados alcanados. Estabelecer prazos para a experimentao/aplicao de novos conhecimentos (sugere-se a elaborao de um plano de desenvolvimento individual cuja implementao possa ser monitorada). Dar feedback ao formando aps a aplicao dos novos conhecimentos, nomeadamente, respectivo progresso, bem como identificao de eventuais dificuldades. Reconhecer todos os esforos que conduzam ao cumprimento dos objectivos desejados. Mostrar-se disponvel para aconselhar e apoiar o formando ao longo do processo de transferncia de saberes, em particular aquando da resoluo de eventuais problemas. Elaborar, sempre que possvel, ajudas ao trabalho (elaborao de cheklists, fluxogramas/esquemas, manuais prticos de referncia...)

A elaborao de plano de desenvolvimento individual pode obedecer seguinte estrutura:

58

Data de regresso ao contexto de trabalho

Actividades a desenvolver (indivduos a envolver)

rea funcional *Prioridades de interveno *Identificao de competncias a mobilizar

Plano de desenvolvimento individual Nvel de proficincia Objectivos a alcanar/mudanas a produzir Actual Desejado

Condies para a realizao das actividades

Tempo a afectar a cada uma das actividades

Data para avaliao de resultados

Fonte: Baseado em Kirkpatrick (1997)

59

A realizao de um acompanhamento mnimo, em particular no que toca a eventuais dificuldades de aplicao/mobilizao de determinados saberes aprendizagens para os contextos de aplicao da formao, afigura-se fundamentalmente numa perspectiva de mxima rentabilizao do investimento efectuado. Note-se que as razes para a no verificao das mudanas pretendidas podem prender-se no com a formao em si, mas com a falta de condies dos contextos que recebem essa formao. (8) Avaliao de aprendizagens Uma avaliao de aprendizagens pressupe a realizao de dois momentos de avaliao, um antes da formao (avaliao diagnstico) e um outroaps a realizao da mesma. S assim poderemos ter uma base de comparao para avaliar os ganhos efectivos ao nvel das aprendizagens. Considerando a taxomonia de D. Kirkpatrick, diramos que a importncia deste nvel de avaliao torna-se evidente se considerarmos a lgica implcita na articulao internveis: se no forem aferidos os ganhos em termos de aprendizagens (nvel 2), poderemos estar a comprometer a realizao de uma avaliao de impactes ao nvel dos respectivos contextos de aplicao. De facto, como poderemos saber com rigor se a no verificao dos resultados esperados se deve fraca qualidade da aco formativa ou ausncia de condies associadas a esses contextos de trabalho? (nvel 3). Aferir correlao entre bons desempenhos organizacionais e aplicao/desenvolvimento de novos conhecimentos, ser ainda mais difcil (nvel 4). O cumprimento dos objectivos pretendidos para uma avaliao de 2 nvel, no significa que os objectivos associados a uma avaliao de 3 e 4 nvel venham a ser igualmente cumpridos. Este facto , regra geral, ultrupassado, sempre que so garantidas, partida, as condies propcias transferncia das aprendizagens adquiridas/desenvolvidas (ver definio de transferncia de aprendizagens). A existncia de um grupo de controlo (que no recebe formao) e de um grupo experimental (que recebe formao) poderia permitir a posterior comparao de resultados ao nvel dos respectivos desempenhos. Neste caso, as caractersticas de ambos os grupos deveriam ser semelhantes. Esta forma de avaliar no , contudo, muito praticado no contexto da formao profissional, j que a sua operacionalizao exige um acompanhamento permanente das suas situaes em anlise, o que acarreta custos elevados. (9) Avaliao de impactes da formao Podemos falar de impactes positivos e negativos, de impactes directos e indirectos e de impactes primrios e secundrios, implicando nestes ltimos casos a aferio da cadeia de impactes previstos. A identificao de impactes pode ocorrer no curto, mdio e longo prazos, consoante o tipo de objectivos de formao pretendidos. Competir aos interessados nos seus resultados ajuizar acerca da pertinncia e oportunidade de estudos desta natureza, sempre que em causa esteja a aferio de resultados numa perspectiva de longo prazo.

60

A anlise de alguns dos estudos de impactes da formao, j realizados por vrios autores com experincia nesta matria, permite-nos identificar um conjunto de factores crticos de sucesso associados a estudos desta natureza: a clara identificao da situao de partida (enfoque na realizao de diagnsticos de necessidades de formao nos quais efectuada uma identificao rigorosa dos objectivos finais a alcanar quer pelos indivduos aquando do seu regresoo ao respectivo contexto desempenho quer pela organizao no seu todo); a definio consensual, quer de objectivos de aprendizagem a alcanar quer de indicadores e/ou nveis de desempenho a alcanar; a integrao e apropriao de resultados de avaliaes anteriormente efectuadas; a reflexo acerca do momento oportuno para aferio de impactes decorrentes da implementao de intervenes de natureza formativa; a reflexo acerca da cadeia de impactes esperados; o envolvimento dos stakeholders chave a montante, ao longo e a jusante da realizao da formao; identificao, a montante da realizao da formao, das condies necessrias ao processo de transferncia de saberes para os contextos de aplicao da formao; a reflexo acerca de eventuais influncias de factores externos (ex: desenvolvimento simultneo de outras medidas); a institucionalizao de sistemas de gesto de informo eficazes; a realizao de anlises custo-benefcio (a montante e a jusante da implementao da interveno formativa);

(10) Avaliao de reaces Sugere-se que os instrumentos a utilizar no mbito deste tipo de avaliao contemplam questes acerca das quais os respectivos pblicos-alvo possam legitimamente tomar uma posio. Aquando da aplicao de instrumento de avaliao de reaces standard, sugere-se que seja verificada a respectiva adequao s especificidades dos contextos nos quais vai ser aplicado. A utilizao dos resultados de uma avaliao de reaco fundamental aquando da realizao de uma avaliao de aprendizagens. Dever permitir dar uma resposta concreta seguinte questo: em que medida foram garantidas, ao longo da realizao da interveno formativa, as condies necessrias ao desenvolvimento das aprendizagens desejadas?

61

Uma avaliao de reaco tender a ser mais eficaz se, a montante da sua realizao, forem garantidas as seguintes condies de partida:17 Os aspectosa avaliar so do interesse dos pblicos-alvo que sobre eles se vo pronunciar A abordagem avaliativa contempla questes relacionadas com as expectativas pr-identificadas Produz informao relevante para os nveis subsequentes, ex: qual a inteno e grau de motivao do formando para utilizar, no respectivo contexto de trabalho, as aprendizagens adquiridas? Esta questo permite aferir a percepo que o formando tem do valor das aprendizagens at ento realizadas. Permite ainda indagar acerca das caractersticas dos futuros contextos de aplicao da formao. permitida aos avaliados a elaborao de recomendaes/sugestes. Os instrumentos permitem reencaminhar(para os respectivos centros de deciso), as recomendaes/sugestes efectuadas. Para tal, podem ser identificados os destinatrios das recomendaes/sugestes de melhoria. Este procedimento facilita uma maior celeridade ao nvel do processo de tomada de deciso a efectuar por parte dos vrios centros de deciso implicados no processo formativo. Os avaliados recebem, sempre que possvel, feedback atempado acerca de eventuais alteraes decorrentes da operacionalizao das recomendaes/sugestes entretanto efectuadas.

A propsito de uma avaliao de reaco, diramos ainda que, quando um cliente fica satisfeito com o produto ou servio adquirido, maior ser a prbabilidade de o vir a utilizar. No devemos, pois, esquecer que grande parte da motivao para provocar a mudana aps a formao tem de ser criada no espao onde decorre o processo de aprendizagem. O carcter formativo de uma avaliao de reaces cumrpe aqui um papel fundamental. No sentido de aumentar a utilidade da avaliao de reaces, algumas entidades formadoras utilizam os seus resultados como suporte s suas polticas de gesto de formadores. Por exemplo, j usual existirem rankings informais para premiar os formandos com melhores resultados. Este tipo de avaliao tambm bastante utilizado no apoio a polticas de melhoria da qualidade e de gesto por objectivos. No incio de cada ano, vrias entidades formadoras estabelecem objectivos a atingir em termos de satisfao de formandos e formadores. Por exemplo, uma entidade muito exigente em relao aos seus formadores, pode exigir que todos eles obtenham determinados nveis mnimos de proficincia.

17

As sugestes prticas apresentadas vo para alm dos princpios enunciados pelo autor D. Kirkpatrick

62

(11) Avaliao diagnstica O seu resultado frequentemente utilizado aquando de uma avaliao de aprendizagens. Neste caso, utilizam-se as mesmas tcnicas e/ou instrumentos j aplicados a montante da realizao da formao. Pretende-se, desta forma, verificar o grau de aprendizagem conseguido por cada um dos formandos. Estas informaes podero vir a ser tambm utilizadas, mais tarde, no contexto de subsequentes diagnsticos de necessidades de formao. Nos casos em que as prticas de diagnstico de necessidades de formao no permitem detectar, com rigor, o gap existente entre um desempenho detido e um desempenho desejado, torna-se aconselhvel a realizao de avaliaes de natureza diagnstica, que permitam adequar, mais eficazmente, eventuais propostas formativas a necessidades concretas sentidas por parte dos formandos. Esta modalidade avaliativa poder ainda ser desenvolvida sempre que a aco de formao no resulta de um diagnstico de necessidades de formao propriamente dito, mas sim da oferta dos chamados pacotes formativos, normalmente disponibilizados pelas entidades formadoras especializadas em determinadas reas de formao. (12) Avaliao do retorno do investimento (ROI) A aplicao do ROI exige que partida tenham sido analisados os reais benefcios decorrentes de determinado projecto formativo. Esta anlise implicar que se considere um conjunto de variveis tais como o (1) o graus de satisfao dos participantes face aco formativa desenvolvida, em particular no que respeita utilidade dos contedos dos formativos (2) o grau de aquisio/desenvolvimento de saberes especficos; (3) o grau de aplicao dos saberes adquiridos/desenvolvidos em contextos de desempenho especficos; (4) a identificao de mudanas concretas ao nvel do desempenho da organizao, fortemente relacionadas com a formao. com esta anlise, procura-se compreender, de certa forma, a cadeia de impactes de determinado projecto formativo. Pela complexidade metodolgica que apresenta, assim como exigncia ao nvel da afectao de tempo e recursos para a sua aplicao, a anlise do ROI s se afigura vivel quando reunidas as condies necessrias sua execuo. Na realidade, alguns dos projectos formativos ficar-se-o apenas pela abordagem de reaco, outros pela avaliao dos saberes adquiridos/desenvolvidos, outros ainda pela avaliao da transferncia dos adquiridos para os respectivos contextos de desempenho. A necessidade por este ou aquele tipo de avaliao , pois, efectuada de acordo com as necessidades de informao dos clientes dessa formao. Uma das etapas mais exigentes deste tipo de abordagem precisamente a converso dos designados benefcios da formao para valores monetrios. Exige uma reflexo acerca do tipo de resultados obtidos, quer estejamos a falar de resultados de natureza tangvel quer intangvel. Na prtica, ao nvel da converso dos resultados de natureza intangvel que as dificuldades se acentuam. Transformar em valor monetrio benefcios decorrentes da formao, tais como aquisio de novas competncias (capacidades de resoluo de problemas, capacidade de resoluo de conflitos, etc.), aumento da

63

autonomia dos colaboradores, reforo do clima organizacional, etc...nem sempre tarefa fcil. O estabelecimento de inidicadores de medida precisos e consensuais pode, na opinio de alguns especialistas, ajudar a ultrapassar esta dificuldade.18 Destacam-se aqui dois factores de particular importncia, a considerar aquando da deciso da aplicao da frmula ROI: (1) quanto mais focalizada for a formao, ou seja, direccionada para o desenvolvimento de competncias organizacionais especficas, maior ser a possibilidade de aferio dos respectivos impactes; (2) o seu apuramento ser tanto mais facilitado, quando mais longas e integradas forem as intervenes formativas. (13) Avaliao ex-ante comum verificar-se uma relao sequencial e temporal entre os conceitos de avaliao ex-ante, ongoing e ex-post. Todavia, uma avaliao ex-ante pode incidir, igualmente, sobre as vrias frases de um ciclo formativo: concepo, execuo/desenvolvimento e apuramento de respectivos resultados. Por exemplo, no contexto de estudos prospectivos uma avaliao ex-ante pode incidir tambm sobre os resultados e impactes pretendidos para determinada interveno formativa. Quando realizada de forma eficaz traduz-se numa verdadeira ferramenta ao servio da eficincia e eficcia de um programa/projecto de formao.19 Regra geral, tem o seu incio com a anlise do contexto de implementao do programa. O avaliador procura nesta fase: o compreender a poltica e estratgia formativa existente; o analisar os resultados de diagnsticos de necessidades de formao efectuados, designadamente os problemas e as causas que exigem o desenvolvimento de planos de aco concretos; o identificar eventuais padres de desempenho/proficincia, bem como existncia de prticas bem sucedidas (existentes no interior ou no exterior da organizao em anlise); o analisar as razes que justificam a opo formativa (verifica em que medida a soluo formativa a mais indicada para situao a resolver, bem como se a eficcia da mesma exige o desenvolvimento de outras aces de natureza no formativa); o analisar os mtodos e as tcnicas utilizados na identificao e anlise dos problemas a colmatar pela via da formao; o identificar os stakeholders a envolver no processo de avaliao; o aferir da possibilidade de realizao de anlises custo-benefcio, a montante da realizao da formao;
18

As questes associadas quer converso dos resultados em valor monetrio, quer a problemtica do isolamento dos efeitos da formao sero analisadas, pela sua complexidade, em documento prprio. 19 As actividades associadas a cada uma das fases descritas podem ser realizadas, quer pelo avaliador quer pelos vrios stakeholders em presena. Encarado como verdadeiro facilitador, o avaliador dever centrar a sua ateno nas condies necessrias implementao de eventuais abordagens de avaliao. As actividades descritas podero ser realizadas pelos restantes actores envolvidos no processo de aprovao e conocepo do programa formativo, sempre que no seja possvel recorrer a um avaliador.

64

O avaliador pretende, pois, nesta fase, proporcionar o mximo de informao possvel a todos os indivduos e/ou organizaes a envolver na execuo do plano de formao. Numa segunda fase, o avaliador focaliza a asua ateno nas propostas formativas propriamente ditas: o analisa a respectiva fundamentao, verificando se, na base das mesmas, se encontra um diagnstico de necessidades de formao; o analisa estruturao de contedos programticos, aferindo adequao face a prioridades pr-estabelecidas; o analisa coerncia entre contedos programticos e caractersticas do pblico-alvo a envolver; o analisa coerncia entre caractersticas do programa e recursos a afectar; o verifica a existncia de sistemas de gesto de informao (de extrema utilidade aquando da fase de monitorizao e aferio de eventuais impactes decorrentes da implementao do programa formativo); o verifica se foram considerados os resultados de prticas formativas anteriores (caso existam). Procura detectar eventuais culturas de aprendizagem no seio da organizao em anlise; o eventuais procedimentos de auditoria e controlo internos. Este tipo de abordagem tem um objectivo essencialmente formativo. Em regra, o avaliador trabalha nesta fase em conjunto com o gestor da formao e/ou coordenador pedaggico da interveno formativa, por forma a que se sejam devidamente garantidas as condies necessrias realizao da formao. Numa terceira fase, a ateno do avaliador incide sobre os objectivos a alcanar com a formao. Nesta fase, o avaliador procura garantir a existncia de informao suficiente que suporte a realizao de avaliaes subsequentes, ou seja, procura verificar, partida, se:20 o os objectivos foram claramente especificados (em particular no que toca a resultados a alcanar); o foram aferidos nveis de desempenho/proficincia a alcanar (no s pelos clientes directos da formao: os formandos, mas tambm por outros actores tais como, formadores, coordenadores...; o foi reunido consenso relativamente a: (1) critrios e indicadores de avaliao a utilizar, (2) momentos para aplicao de metodologias de avaliao (em particualr as avaliaes de follow-up), (3) condies para a transferncias de aprendizagens adquiridas, (4) actores a implicar no processo de avaliao.

Nesta fase o avaliador pode ter um papel fundamental ao nvel da especificao dos objectivos pretendidos, assim como na identificao de critrios e indicadores de avaliao concretos a aplicar ao projecto formativo em causa.

20

65

(14) Avaliao ex-post Tambm designada avaliao final e avaliao de impactes (ver definio). Algumas das actividades que podero contribuir para o apuramento de resultados concretos, aquando da implementao deste tipo de avaliao so as seguintes: Analisar os resultados de avaliaes intermdias. Identificar, a montante da realizao da formao, as condies que facilitam a transferncia de aprendizagens para os contextos reais de trabalho. Verificar em que medida esses contextos de trabalho necessitam dos saberes adquiridos/desenvolvidos pela formao. Calcular o tempo que medeia a aquisio/desenvolvimento de saberes e a respectiva transferncia para os contextos de trabalho Implementar planos de manuteno e/ou observaes do desenvolvimento/ aquisio de saberes aps a transferncia dos mesmos para os contextos de trabalho.

A determinao do tempo aps o qual podem ser avaliados os impactes de determinada aco formativa depende do tipo de objectivo de formao em presena. Implica que, aquando da fase da determinao de objectivos a obter com a formao seja igualmente determinado o momento para verificao de concretizao dos mesmos, ou seja, no curto, mdio e/ou longo prazo. (15) Avaliao externa Numa avaliao externa, o processo tem o seu incio com a compreenso dos objectivos da avaliao pretendida. O avaliador responsabiliza-se, seguidamente, pela orientao metodolgica de todo o processo, decidindo, autonomamente, acerca das melhores estratgias de avaliao a aplicar. Autores, com experincia ao nvel da aplicao deste tipo de avaliao, alertam para a necessidade de serem desenvolvidas, ao longo da realizao de uma avaliao externa, as articulaes necessrias com os respectivos utilizadores finais, por forma a que os mesmos possam vir a receber os resultados pretendidos. Defendem ainda uma efectiva articulao com eventuais avaliadores internos, que pode e deve ser efectuada sem prejuzo da iseno necessria exigida ao avaliador externo. Neste caso, visa-se apenas adequar melhor a proposta avaliativa s necessidades dos indivduos e/ou organizaes que pretendem vir a utilizar os seus resultados. (16) Avaliao formativa No contexto de uma avaliao de natureza formativa, o formando considerado o protagonista do processo. Esta avaliao pode ser, neste caso, opercacionalizada da seguinte forma: auto-avaliaes realizadas pelos formandos, avaliaes dos mesmos relativamente a determinadas caractersticas do processo de aprendizagem, tais como, contedos programticos, recursos e mtodos pedaggicos, desempenho do formador, etc...

66

O formador (ou outros indivduos que contribuem, ao longo do processo de aprendizagem, para o cumprimento dos objectivos de aprendizagem, tais como, tutores, mediadores, animadores, coordenadores pedaggicos, supervisores...), pode ser igualmente chamados a pronunciar-se acerca do grau de consecuo dos objectivos pedaggicos, bem como de eventuais aspectos a melhorar relativamente a actividades pelas quais se responsabilizam. Alguns agentes externos (ou seja, os no directamente implicados na realizao da formao), podem tambm participar sempre que para tal sejam solicitados. Ex: No caso de formaes dirigidas a jovens com dificuldades especficas (ex: portadores de deficincia), comun auscultarem-se as respectivas famlias ao longo do processo formativo, j que os objectivos de formao passam muitas vezes pela elevao da capacidade de socializao desses jovens. A articulao com as respectivas famlias torna-se assim fundamental, j que podero pronunciar-se acerca dos resultados alcanados at ao momento. (17) Avaliao interna Uma das principais funes de uma avaliador interno a sensibilizao e a mobilizao dos restantes implicados no projecto formativo, para a respectiva participao no processo de avaliao. Compete ainda ao avaliador interno demonstrar a utilidade dessa avaliao para todos aqueles que nela venham a participar. Aquando da implementao de uma abordagem de avaliativa centrada na participao dos respectivos actores, um avaliador interno assume normalmente um papel de facilitador, ou seja, assume responsabilidades ao nvel da orientao metodolgica do processo avaliativo, visando a identificao das melhores estratgias de avaliao a seguir. Podem ainda ser-lhes incumbidas responsabilidades, tais como: Garantir a organizao e a gesto das fontes de informao. Participar na fase do diagnstico de necessidades de formao (designadamente ao nvel da definio de objectivos a atingir com um processo de avaliao). Participar nas fases da concepo e implementao de um processo avaliativo, assim como respectiva produo de resultados 8excepto no contexto de uma avaliao de carcter independente). Participar no mbito de eventuais avaliaes externas (ex: aquando da realizao de auditorias externas), preparando a organizao para a realizao das mesmas. Envolver e mobilizar os elementos internos organizao para a respectiva participao ao longo do processo avaliativo. Participar na fase da tomada de deciso (este aspecto constitu um dos principais factores crticos de sucesso de uma avaliao interna). Participar na fase da implementao de eventuais recomendaes, analisando posteriormente os respectivos resultados. (...)

67

(18) Avaliao on-going O termo on-going remete para a fase da execuo da formao, momento em que podem ser tomadas decises no sentido da melhoria da interveno formativa que se encontra a decorrer. Aqui o contributo dessa interveno formativa, contribuindo para o cumprimento dos objectivos pr-definidos. As questes que norteiam este tipo de avaliao so as seguintes: Em que medida o programa formativo satisfaz as necessidades da populao para a qual est a ser dirigido? Em que medida o desenvolvimento dos contedos programticos, bem como actividades de suporte, esto de acordo com o pr-estabelecido? Em que medida nesta fase podem ser detectadas mudanas concretas ao nvel dos comportamentos dos participantes na aco formativa? Em que medida os recursos mobilizados para a formao esto a ser optimizados?

no contexto de uma avaliao on-going que podem ser realizadas as designadas avaliaes rpidas), sendo as avaliaes de reaco um bom exemplo deste tipo de prtica. Uma avaliao on-going pode produzir informaes relevantes para os seguintes stakeholders: para o avaliador, na medida em que os seus resultados o ajudam a interpretar os resultados de uma avaliao de impactes; permite que o mesmo consiga fornecer informaes aos actores envolvidos na execuo da aco, por forma a apoiar a respectiva tomada de deciso; permite ainda que o mesmo se pronuncie acerca das caractersticas do programa de uma forma mais sustentada; para os financiadores, na medida em que recebem, ao longo da execuo do programa, informaes acerca de respectivas taxas de execuo, grau de aceitao do programa pelos seus beneficirios directos, eventuais impactes entretanto produzidos, dificuldades encontradas ao longo da execuo do programa, indicadores contabilstico-financeiros. Estas informaes sero teis aquando da deciso acerca da continuao, reestruturao ou cancelamento do programa. para os gestores da formao, na medida em que permite introduzir, de forma atempada, correces e/ou alteraes no programa caso venham a ser necessrias. para os formadores (monitores, tutores...) e formandos, na medida em que possibilita aos mesmos identificarem eventuais desvios face ao prestabelecidos, facilitando a aparesentao de propostas concretas de melhoria da aco em curso.

68

Ao incidir nas actividades formativas propriamente ditas, apresenta como principais objectivos: garantir que o estabelecido a montante da realizao da formao seja cumprido, exercendo aqui a sua funo de controlo (implica levar em conta os resultados obtidos aquando da realizao de uma avaliao ex-ante); identificar eventuais aspectos a melhorar, exercendo aqui a sua funo formativa; garantir as condies que permitem a realizao eficaz de uma avaliao de resultados (pressupe no perder de vista os resultados finais a alcanar com a formao, articulao com a fase de avaliao ex-post); fornecer indicadores de actividades de apoio tomada de deciso dos implicados no processo.

semelhana de uma avalio ex-post, que exige uma prvia identificao de nveis de desempenho/proficincia a alcanar, tambm no contexto de uma avaliao ongoing devem ser considerados nveis de desempenho/proficincia a alcanar. Por exemplo, quando se diz que algo suficiente ou adequado, deveramos perguntar logo de seguida: suficiente relativamente a qu?. Se estivermos a falar de desempenhos realizados, deveramos perguntar: oque nos leva a dizer que o desempenho adequado? Que padres de desempenho foram pr-estabelecidos? Na esmagadora maioria das entidades formadoras, a responsibilidade por esta monitorizao do processo formativo remetida para o Coordenador Pedaggico, que pode ou no ser o responsvel pela concepo da metodologia e instrumentos de avaliao a utilizar. (19) Avaliao qualitativa A escolha de abordagens de natureza qualitativa ou quantitativa deve ser efectuada em funo das questes de avaliao em presena (ver definio de questes de avaliao). Existem autores que preferem o desenvolvimento deste tipo de avaliao em detrimento de abordagens de natureza quantitativa. Defende-se, todavia, que o ideal ser sempre o recurso a mtodos de avaliao quer de natureza qualitativa quer de natureza quantitativa, aplicados de acordo com as particularidades dos respectivos contextos de aplicao. Quando metodologias de natrueza qualitativa so trianguladas (ver definio de triangulao) com metodologias de natureza quantitativa, o resultado normalmente uma maior satisfao dos seus utilizadores. (20) Avaliao quantitativa A opo pela aplicao de vrios mtodos, regra geral, designada por triangulao, refora a validade das informaes recolhidas, na medida em que permite verificar a congruncia dos resultante decorrentes da aplicao dos vrios mtodos.

69

(21) Avaliao sumativa Uma avaliao sumativa implica a identificao/construo dos referentes com base nos quais sero efectuados juzos de valor (ver definio de referente e de juzo de valor). Pode ser realizada pela prpria entidade que executa o projecto de formao ou pode ser incumbida a uma entidade externa. embora existam autores que defendem que deva ser realizada por entidades externas, assiste-se actualmente a novas correntes que defendem uma abordagem mista, ou seja, aconselham a participao/envolvimento de avaliadores internos ao processo, por forma a garantir que os resultados da avaliao vo ao encontro das necessidades e expectativas dos seus utilizadores. No contexto de uma avaliao de aprendizagens, assumindo um carcter classificativo e certificativo, pode processar-se atravs da realizao de testes, provas, trabalhos prticos, entre outros, que permitem medir o desempeno de determinado formando relativamente aos objectivos pedaggicos pr-definidos, ou seja, aferio do respectivo grau de aprendizagem. No contexto de uma avaliao de desempenhos individuais verificados num determinado contexto de trabalho, podero ser desenvolvidos vrias abordagens que resultam na atribuio de uma determinada cotao relativos aos desempenhos observados. No contexto de uma avaliao de impactes pode processar-se atravs do desenvolvimento de abordagens que visam apurar o retorno do investimento na formao, nas quais se procuram aferir quais os resultados lquidos da formao (ver definio de anlise custo-benefcio, por exemplo). (22) Avaliar a coerncia Regra geral, trata-se de responder seguinte questo: Os mdulos, os contedos programticos, as metodologias de aprendizagem, os formadores, os horrios, as cargas horrias, documentao, etc. foram seleccionados e organizados de forma integrada e lgica tendo em conta os objectivos da formao?

No contexto da empresa, verificar a coerncia da formao leva-nos a colocar ainda outras questes, tais como: O plano de formao foi concebido de acordo com o previsto no mbito do plano estratgico da empresa? As competncias profissionais a desenvolver pela formao foram identificadas de acordo com a gesto previsional existente, bem como com eventuais planos de investimentos? A escolha das estruturas a mobilizar para a formao considerou os objectivos pedaggicos a desenvolver?

70

Os projectos de formao consideraram as particularidades dos respectivos contextos de desenvolvimento? A escolha do tipo de novas tecnologias a utilizar no mbito do projecto formativo teve em conta o domnio das mesmas por parte dos participantes na formao? (...)

(23) Avaliar a conformidade Considerando os respectivos objectivos, sugere-se a aplicao deste critrio de avaliao num contexto de avaliao on-going. Pode, no entanto, ser igualmente aplicado num contexto de preparao de determinado projecto, designadamente ao nvel da garantia das condies que facilitam a sua implementao. Para se poder avaliar a conformidade necessrio que os requisitos, prescries, procediementos ou normas estejam devidamente especificados e comunicados aos seus utilizadores em tempo til. No contexto da formao, verificar a conformidade de algo leva-nos a colocar questes, tais como: Em que medida a actuao do coordenador pedaggico se apresenta de acordo com o estabelecido ao nvel da respectiva descrio de funes? Em que medida esto a ser operacionalizados os princpios estabelecidos no manual de qualidade da formao? Em que medida esto a ser seguidos os princpios de orientao relativos gesto financeira do projecto formativo? (...)

(24) Avaliar a eficcia A sua realizao exige que a montante da execuo da formao, sejam claramente identificados os objectivos a alcanar com a formao. Implica a discusso acerca de eventuais critrios e indicadores de avaliao. O avaliador deve ser capaz de apoiar, sempreque possvel, a construo de bons indicadores, ou seja, que traduzam de forma rigorosa a realidade que se pretende avaliar, assim como que sejam teis para os respectivos utilizadores (significa que possam ser utilizados no mbito da respectiva tomada de deciso). Um dos obstculos aferio da eficcia de um projecto prendese, pois, com a no concretizao desses critrios e indicadores a avaliar. Saber em que medida um determinado programa de formao produziu os resultados desejados, traduz-se na questo central, sempre que se pretende avaliar a respectiva eficcia. A segunda questo prende-se com a utilidade desses resultados para os utilizadores dos produtos e/ou servios providenciados pelo programa formativo (o programa foi til para quem?). Verificar a eficcia de algo leva-nos a colocar questes, tais como: Os resultados obtidos correspondem aos objectivos pr-estabelecidos?

71

Os objectivos de aprendizagem foram alcanados? Em que medida determinados resultados organizacionais so consequncia de aces formativas? A organizao formadora aprendeu com o processo? Em que medida foram criadas as condies necessrias para a verificao da transferncia de conhecimentos adquiridos? Foram observadas as alteraes desejadas ao nvel dos contextos de desempenho em anlise? Foram observados resultados no previstos? Qual o retorno do investimento realizado?

(25) Avaliar a eficincia A avaliao de um projecto de formao segundo o critrio da eficincia implica normalmente a verificao de procedimentos internos organizao que demonstrem que os decisores do mesmo conseguem garantir e controlar os pontos-chave que determinam a eficincia das actividades, pelas quais se responsabilizam. Neste sentido, as prticas de auditoria interna so j consideradas boas prticas, capazes de elevar, de forma significativa, a eficincia de determinado projecto de formao. No contexto da formao profissional, verificar a eficincia de algo leva-nos a colocar questes, tais como: Os equipamentos mobilizados para a formao esto a ser optimizados? A experincia pedaggica da equipa tcnica afecta formao est a ser capitalizada? A experincia pedaggica do corpo de formadores est a ser bem aproveitada? Est esgotado o potencial de explorao de recursos utilizados em aces anteriores? Verifica-se uma boa gesto dos recursos tcnico-pedaggicos disponibilizados? O oramento disponvel est a ser bem aplicado? A capacidade instalada da entidade est a ser optimizada? O cronograma do projecto est a ser cumprido? (...)

(26) Avaliar a oportunidade Sugere-se que este tipo de avaliao seja realizado, preferencialmente, a montante da realizao da formao. Pode todavia ser efectuada durante e aps a sua realizao. No contexto da formao, verificar a oportunidade de algo leva-nos a colocar questes, tais como: A proposta formativa surge em tempo oportuno, ou seja, d uma resposta atempada s necessidades de competncias previamente identificadas? Os formandos receberam a documentao de apoio medida das respectivas necessidades de informao?

72

Os formandos receberam os resultados de avaliaes intermdias em tempo til, ou seja, permitiu melhorar desempenhos ao longo da execuo da formao? A preparao dos agentes de formao envolvidos no projecto de formao (em particular os formandos) foi realizada atempadamente? Os comportamentos e resultados verificados aquando da transferncia de aprendizagens adquiridas, bem como os impactes ao nvel do todo organizacional foram atingidos no momento certo? (...)

(27) Avaliar a pertinncia Considerando os respectivos objectivos, sugere-se a aplicao deste critrio de avaliao num contexto de avaliao ex-ante. Na prtica, trata-se de garantir que as necessidades manifestadas pelos vrios stakeholders envolvidos, directa ou indirectamente, no projecto formativo, sejam efectivamente consideradas. Neste sentido, a aplicao deste critrio exige que sejam tidos em conta os objectivos definidos nos vrios nveis. Por exemplo: objectivos globais ou estratgicos, gerais, especficos e/ou operacionais (implica, regra geral, a construo de uma rvore de objectivos que permita identificar, com toda a clareza, as articulaes existentes entre os vrios stakeholders de um projecto. Os resultados deste tipo de exerccio assumem particular importncia numa fase em que se pretenda identificar eventuais cadeias de impactes, decorrentes do desenvolvimento de determinada interveno formativa. Verificar a pertinncia da formao leva-nos a colocar questes, tais como: Existe correspondncia entra objectivos de formao e necessidades organizacionais a colmatar? Os objectivos definidos para o curso so os mais adequados, considerando as necessidades pr-identificadas? De entre as estratgias pedaggicas possveis, as escolhidas so as mais adequadas? (...)

(28) Avaliar a utilidade Considerando os respectivos objectivos, sugere-se a aplicao deste critrio de avaliao num contexto de avaliao ex-post, designadamente, aquando da aplicao de metodologias de avaliao de impactes da formao. Verificar a utilidade da formao leva-nos a colocar questes, tais como:

73

Em que medida a formao desenvolvida proporcionou efectivo valor acresentado aos indivduos/organizaes que nela participara (por exemplo, uma determinada promoo, a criao de riqueza por parte de uma organizao...? Em que medida os beneficirios directros do projecto formativo (formandos) esto satisfeitos com os resultados e impactes da formao? Em que medida as chefias directas viram solucionados os problemas que deram origem ao pedido de formao? (...)

(29) Ciclo de formao Desenvolver um projecto de formao assente numa lgica sistemtica passa, essecialmente, pela identificao dos inputs e outputs relativos a cada uma das fases do ciclo de formao, o que permite criar e manter, de forma permanente e atempada, os fluxos necessrios de informao inter-fases, associadas a determinado ciclo formativo. O esforo, ao nvel do desenvolvimento de prticas de diagnstico de necessidades e de acompanhamento e avaliao da formao, resulta na elevao da qualidade da formao desenvolvida, j que permite uma maior adequao das propostas formativas s necessidades e expectativas dos respectivos beneficirios. (30) Competncia profissional Numa perspectiva prtica, a construo de um referencial de competncias nem sempre tarefa fcil. A natureza inobservvel das mesmas induz frequentemente em erro os profissionais da formao, criando dificuldades de distino entre tarefas/actividades a realizar e competncias a mobilizar (saberes de natureza cognitiva, saberes-fazer tcnicos e saberes-fazer relacionais). Sugere-se, numa fase inicial do processo, a identificao concreta das tarefas/actividades a desenvolver, seguida da identificao dos saberes necessrios execuo das mesmas. A identificao de um referencial de competncia implica aind a real compreenso dos empregos num sentido mais amplo e prospectivo, o que permitir identificar com maior facilidade as actividades nucleares e complementares a desenvolver, tal como respectivas tendncias de evoluo, contextos de aplicao e respectiva variabilidade. A competncia pode ser avaliada mediante a observao da mobilizao de comportamentos especficos para determinado contexto de trabalho (neste caso, a anlise dever incidir nos comportamentos que produzem os resultados esperados). Este aspecto assume particular relevncia aquando da avaliao da transferncia de aprendizagens adquiridas, uma vez que a mesma poder vir a incidir sobre nveis de desempenho pr-estabelecidos. Aqui a questo passaria a ser a seguinte: foram mobilizados os saberes necessrios ao cumprimento dos objectivos pr-estabelecidos? Numa perspectiva de gesto de competncias um dos desafios que se coloca precisamente a aferio do potencial de transferibilidade de determinadas competncias para diferentes contextos de trabalho, assim como entre diferentes profisses. Num

74

contexto de franca mobilidade inter-empregos e contextos de trabalho, a identificao da base de competncias comuns torna-se aqui uma actividade fundamental. Redigir ou formular uma competncia implica utilizar um ou mais verbos de aco que devem descrever comportamentos observveis com a indicao de um nvel de proficincia esperado. A ttulo de exemplo, apresenta-se seguidamente umas das possveis arrumaes de competncias no contexto de uma organizao e respectivo processo de monitorizao e avaliao. Note-se que, a estrutura apresentada assentou numa reflexo sobre um conjunto de procedimentos que surgem frequentemente associados identificao de competncias de determinada organizao, a saber: a) A identificao das competncias estratgicas a desenvolver no contexto de uma organizao, tambm designadas por macro-competncias (associadas s driving forces ou foras motrizes da organizao). b) A identificao das competncias transversais, que permitem uma melhor gesto das competncias, numa ptica de respectiva mobilizao em distintos contextos de desempenho. c) A identificao de competncias especficas, associadas s actividades de carcter mais operacional e, regra geral, associadas a determinado contexto de trabalho. d) A identificao de competncias-chave, associadas a determinadas reas de negcio/funcionais da organizao, tais como: a rea da qualidade, a rea comercial e marketing, a rea produtiva,etc... e) Identificao de nveis de proficincia/nveis de desempenho desejado. Remete para a construo de sistemas de monitorizao de desenvolvimento de competncias. A elaborao de planos de verificao de progresso face a nveis de proficincia/desempenho a alcanar pode traduzir-se num instrumento eficaz ao nvel do acompanhamento da evoluo dessas competncias. f) A validade dos refernciais de competncias por indivduos de reconhecida legitimidade e capacidade de interveno nas matrias em discusso. g) Identificao de nveis de proficincia/desempenho mnimos a alcanar. Estes mnimos so, normalmente, definidos com base na identificao prvia de nveis de qualidade mnimos ou aceitveis, a garantir por parte dos responsveis por determinado contexto de trabalho.

Neste caso a organizao dever ajustar eventuais referenciais existentes, no sentido da construo do seu prprio referencial no qual ir integrar um conjunto de competncias especficas validades e reconhecidas pelos vrios intervenientes na construo do referencial a utilizar. h) Identificao das condies necessrias mobilizao das competncias pretendidas.

No exemplo que se apresenta, de seguida, verifica-se apenas a identificao das competncias, de seguida, verifica-se apenas a identificao das competncias

75

estratgicas, seguida da identificao do respectivo cluster de saberes, que no caso que se apresenta, surgem como competncias transversais21

Identificao de competncias estratgicas22 Competncias estratgicas Focalizao no cliente Capacidade de comunicao Desempenho direccionado para a obteno de resultados Espirito de iniciativa Capacidade para autoavaliao Trabalhar em equipa Capacidade de planeamento e organizao Capacidade de autoaprendizagem e transmisso de conhecimentos Respectivo significado Identificar as expectativas e necessidades dos respectivos clientes (internos e externos) Comunicar de forma eficaz com todos os membros da organizao, aplicando as tcnicas mais adequadas a cada situao. Desenvolver as respectivas actividades por forma a alcanar os resultados pretendidos Analisar as diversas situaes de trabalho e tomar as decises mais adequadas Apreciar o trabalho realizado e desenvolver as aces necessrias face identificao de eventuais desvios relativamente aos objectivos pr-estabelecidos Calendarizar e controlar as actividades de forma a obter resultados pretendidos, afectando tempo para eventuais inverses no planeamento Promover e manter bons relacionamentos com os restantes colegas de trabalho Desenvolver activamente as respectivas competncias, transmitindo, sempre que possvel, os conhecimentos adquiridos (quer formal quer informalmente)

O termo transversal traduz a presena simultnea em diferentes contextos de elementos similares e permite incorporar caractersticas comuns a diferentes empregos...Nesta perspectiva, a construo e/ou mobilizao de competncias transversais potencia o percurso em espaos de evoluo profissional segundo uma dupla lgica: (1) uma lgica de fileira profissional no interior de uma mesma famlia (de empregos) e (2) uma lgica de mobilidade transversal a outros domnios profissionais. In Gomes,J. (1999:7). 22 A identificao deste tipo de competncia efectuada, regra geral, com base na definio de objectivos estratgicos a alcanar pela organizao.

21

76

Identificao de cluster de saberes associado a cada competncia estratgica Competncias cluster de saberes23 (Saberes cognitivos, tcnicos e estratgicas relacionais) Competncias mobilizveis Focalizao no cliente Demonstrar um conhecimento profundo acerca das necessidades dos respectivos clientes internos e externos Responder atempadamente quer a clientes internos quer a clientes externos Prestar um servio personalizado a cada um dos respectivos clientes (internos e externos), independentemente da respectiva cultura, gnero ou lngua Procurar excerder as expectativas dos respectivos clientes Agir de forma cordial com clientes insatisfeitos Agir de acordo com as diversas expectativas dos respectivos clientes Escutar e considerar as opinies dos colegas de trabalho Conhecer as opinies dos restantes colegas de trabalho no contexto de domnios de interveno comum Capacidade de comunicao Utilizar um lxico perceptvel por todos Demonstrar convico na apresentao dos respectivos argumentos Garantir confidencialmente sempre que solicitada (...) Caso a organizao decidisse pela importncia de uma observao mais aprofundada, relativamente a cada um dos saberes poderia ainda vir a reflectir acerca das aces inerentes competncia: demonstrar conhecimentos profundos acerca das necessiadades dos respectivos clientes internos e externos. Daqui decorre que quanto maior for o detalhe em termos de competncias a mobilizar, maior ser o rigor em termos de respectiva monitorizao/avaliao.

Elementos constitutivos da competncia. A este conjunto de saberes surge normalmente a identificao das condies para a respectiva mobilizao (no referidas no exemplo apresentado).

23

77

Focalizao no cliente (competncia estratgica e transversal) Identificar as expectativas e necessidades dos respectivos clientes (internos e externos) Cluster de competncias Competncia a Nvel de 24 a mobilizar monitorar/avaliar proficincia desejado25 Demonstrar um conhecimento profundo acerca do negcio dos vrios clientes 8internos e externos), respectivos produtos e/ou servios, bem como interlocutores privilegiados Demonstrar um conhecimento profundo Identificar com relativa facilidade acerca das necessidades tendncias ao nvel das mudanas Nvel 3 dos respectivos clientes nas preferncias dos internos e externos consumidores Detectar eventuais oportunidades de negcio Antecipar eventuais necessidades dos consumidores Actualizar os restantes colegas (...) Nveis de proficincia desejados Nvel 1: Realiza as actividades com apoio da chefia Nvel 2: Realiza as actividades com relativa autonomia, havendo lugar apenas a validao final do produto/servio Nvel 3: Realiza as actividades com total autonomia

Ao conjunto de competncias ditas transversais so normalmente associadas as competncias especficas, inerentes a cada contexto de trabalho em anlise. Os modelos de avaliao incidem, regra geral, sobre o conjunto de competncias, transversais e especficas, associadas a cada contexto de trabalho (com maior enfoque ao nvel das competncias especficas). No exemplo apresentado, as competncias estratgicas coincidem com as competncias transversais a desenvolver. Noutros contextos organizacionais tal no poder acontecer. Neste ltimo caso, a organizao define, de acordo com a estratgia de negcio pretendida, que investimento pretende vir a fazer no que toca a desenvolvimento de competncias dos respectivos colaboradores (estabelecimento de planos de gesto do respectivo capital de competncia), e quais as competncias a valorizar e desenvolver, identificando e destacando as que se relacionam efectivamente com os respectivos objectivos estratgicos. 25 Os nveis de proficincia a alcanar variam consoante as necessidades de cada organizao. Tal como referido, Le Boterf recorre a trs nveis: principiante, confirmado e perito. Uma das questes que se coloca no que toca a anlise dos nveis de proficincia a seguinte: que evidncias devero ser analisadas por forma a dizer que o indivduo se encontra no nvel A ou B?

24

78

Relativamente avaliao das competncias aqui apresentadas (de natureza estratgica), o modelo de avaliao para monitorizao e verificao de progressos poderia ser, a ttulo de exemplo, o seguinte: Avaliao com base na verificao dos resultados alcanados26 rea funcional: Titular: Avaliao de competncias estratgicas (identificar os pontos que exigem necessidades de desenvolvimento) Comentrios (Devem ser discriminados os tipo de saber a desenvolver, no caso de identificao de comportamentos com necessidades de desenvolvimento)

Nvel de profidncia actual

Nvel de profidncia desejado

Focalizao no cliente Identificar as expectativas e necessidades dos respectivos clientes (internos e externos). Ponto 1: Demonstra um conhecimento profundo acerca do negcio do cliente acerca do negcio do cliente, respectivos produtos e/ou servios, bem como interlocutores privilegiados; Ponto 2: Identifica com facilidade tendncias ao nvel das mudanas nas preferncias dos consumidores; Ponto 3: Detecta oportunidades de negcio;

Foram detectadas as seguintes necessidades de desenvolvimento Ponto 1: Quanto s expectativas dos clientes internos; Nos relatrios da produo destacamse os sucessivos atrasos na recepo da informao acerca do feedback do cliente face a avaliao dos prottipos dos produtos. O atraso na recepo da informao referida tem vindo a compremeter os prqazos de entrega dos produtos finais junto dos respectivos clientes. Ponto 2: Quanto s expectativas dos clientes externos: De acordo com os resultados do inqurito aplicado junto dos clientes (segmento A), foram detectados os seguintes comportamentos com necessidades de desenvolvimento: Fraco conhecimento acerca das especificidades do produto manifestado por parte da equipa de vendas do Segmento A.

Ponto1: Nvel 1 Nvel desejado: Ponto2: Nvel 2 executar as Ponto3: Nvel 3 actividades com total Ponto4: Nvel 4 autonomia Ponto5: Nvel 5 Ponto6: Nvel 6

26

Nota: A esta grelha de avaliao podero ser associadas as competncias especficas para igual avaliao.

79

Ponto 4: Detecta eventuais oportunidades de negcio; Ponto 5: Antecipa eventuais necessidades dos consumidores; Ponto 6: Actualiza os restantes colegas; Obs: Caso sejam identificadas boas prticas, (tais como estratgias bem sucedidas, comportamentos no previstos mas com forte impacte ao nvel dos resultados) devero traduzir-se em novas competncias

Recomendaes: Maior articulao entre sector comercial e sector de produo; Verificao do grau de conhecimento que ambos os sectores apresentam acerca dos respectivos objectivos e expectativa de resultados; Apuramento do nvel de desconhecimento acerca dos produtos e/ou servios dos clientes, junto das equipas de vendas com prestao aqum do desejado; Desenvolvimento de uma interveno formativa, para aquisio/desenvolvimento dos saberes abaixo identificados. Saberes a adquirir e/ou desenvolver: (Identificar o tipo de saber (saberes cognitivos, tcnicos e ou/sociais/relacionais)

Nveis de proficincia: Nvel Nvel Nvel Nvel 1 2 3 4 (Comportamento com necessidades de desenvolvimento) (De acordo com o nvel desejado) (Excedeu as expectativas) (Indivduo em fase de integrao na funo)

Como facilmente se poder verificar, uma identificao de competncias implicar igualmente a reunio de consenso relativamente ao nvel de aprofundamento das actividades a observar. Acrescente-se que a abordagem apresenta meramente ilustrativa do tipo de prtica desenvolvida em matria de identificao de competncias e respectiva avaliao. Outras mais existem com contornos diferentes e, consequentemente, com resultados igualmente diferentes. (31) Contrato de aprendizagem Quando existem, os contratos de aprendizagem podem ser utilizados como referentes.

80

A elaborao de um contrato de aprendizagem surge, regra geral, associado execuo das seguintes actividades: Articualo entre o projecto profissional individual e o projecto organizacional Estabelecimento de objectivos organizacionais Identificao de competncias concretas a desenvolver pelos indivduos (traduzidas num conjunto de saberes especficos a mobilizar aps a realizao da formao) Identificao do nvel de competncia detido no momento Identificao e anlise de gaps existentes Identificao do perodo de tempo a afectar ao processo de aprendizagem que vise colmatar essas necessidades Elaborao de um contrato de aprendizagem assente no conjunto de necessidades manifestadas pelos vrios interveninentes no processo de aprendizagem Acompanhamento do formando ao longo da vigncia de um contrato de formao no sentido de o motivar e de lhe providenciar todo o apoio necessrio

No final de um contrato de aprendizagem ambas as partes fazem, normalmente, um balano acerca dos resultados obtidos, visando a elaborao de um novo (se necessrio) plano de aprendizagem (Ver definio de transferncia de aprendizagens para o contexto de trabalho). A gesto de percursos individuais de formao ser, desta forma, igualmente facilitada. (32) Critrio de avaliao Um critrio no susceptvel de ser directamente observado, ou seja, no se pode observar directamente a pertinncia de algo. O que pode ser observvel e mensurvel so os indicadores. Por exemplo, a taxa de execuo pedaggica (TEP) de um determinado curso quantificvel em termos percentuais (%).27 O seu resultado traduz-se, normalmente, num indicador de eficcia da formao28. Recorrendo prvia definio de critrios de avaliao e respectivos indicadores, o avaliador pode ajuizar, numa fase posterior, acerca do cumprimento ou no desses critrios. Por exemplo, poder avaliar se o programa ou plano de formao foi ou no eficaz. Voltando ao exemplo da TEP, o avaliador pode recorrer s seguintes categorias para a formulao do seu juzo de valor: Intervalo TEP (%) 0-24 25-49 50-74 75-100 Interpretao Nada eficaz Pouco eficaz Eficaz Muito eficaz

27

TEP =

volume _ real _ de _ formao volume _ mximo _ de _ formao

]x 100
81

28

A TEP corresponde, obviamente ao inverso da taxa de absentismo.

Como se poder verificar, se a mdia da TEP para um determinado plano de formao for avaliada em 79%, de acordo com os valores de referncia do avaliador, o plano ser considerado muito eficaz. Devemos considerar, no entanto, o seguinte: mesmo conseguindo uma percentagem de 100% no que toca taxa de execuo pedaggica, isso no garante que o plano de formao mantenha o mesmo grau de eficcia, caso o avaliador venha a utilizar outros indicadores de eficcia. Se se considerar como indicador de eficcia o grau de satisfao dos formandos (GSf) obtido no final de cada curso, o facto da TEP ser elevada no garante, partida, que o grau de satisfao dos mesmos seja igualmente elevado. Devemos, pois, ter em conta que um determinado critrio pode ter mais do que um indicador e que os resultados podem ser incoerentes entre indicadores. Quando o avaliador possui mais do que um indicador por critrio usual existir uma ponderao de cada critrio para a formulao do juzo final. Continuando o nosso exemplo, se a verificao de eficcia tivesse como nicos indicadores a TEP e o GSf, o avaliador poderia adoptar-se a seguinte frmula para apoiar a sua avaliao: Eficcia (%) = (TEP x 0.4) + (GSf x 0.6) Se o GSf tivesse sido (em mdia) 70%, teramos o seguinte resultado: Eficcia (%) = (79 x 0.4) + (70 x 0.6) Eficcia (%) = 47,4 + 28 Eficcia = 75,4 % A ponderao reflecte, pois, decises tomadas pelo avaliador que, desejavelmente, devero traduzir as necessidades dos diferentes stakeholders. (33) Custo de oportunidade Um exemplo da aplicao desta noo poder ser o que a seguir se apresenta: No oramento de uma famlia, como contabilizar os custos da deciso de inscrever um dos membros da famlia com 16 anos num curso de formao profissional de 2 anos na rea das novas tecnologias? A maior parte das famlias, no seu processo de tomada de deciso, levaria em conta custos como as propinas, custos de transporte, livros, material escolar, etc. No entanto, para alm daqueles custos, a contabilizao no estar correcta at ser considerado o custo de oportunidade daquela deciso para a famlia: se, em vez da opo pela informao, a famlia tivesse decidido pela entrada imediata do jovem no mercado de trabalho, o dinheiro que este teria oportunidade de ganhar a ttulo de salrio poderia ter contribudo para reforar o oramento familiar durante aqueles dois anos. Imaginemos que a famlia faria com que 50% do salrio revertesse a favor do oramento comum; ento o custo de

82

oportunidade inerente opo pela formao profissional seria (para os 2 anos): Custo de oportunidade = 2829 meses x salrio mdio mensal x 50% O mesmo custo tambm considerado por algumas organizaes, quando interessadas em comparar os benefcios a obter com a formao e o custo relativo ausncia do colaborador do respectivo posto de trabalho. (34) Diagnstico de necessidades de formao Importa distinguir, no mbito deste glossrio, o significado das expresses levantamento de necessidades e diagnsticos de necessidades. O primeiro surge, regra geral, associado identificao de problemas, relativos a desafios do presente ou do futuro, que na opinio dos responsveis por essa identificao, podem ser colmatados pela via da formao. No recorre a qualquer tipo de anlise acerca da origem dos mesmos. Aqui se incluem as chamadas checklists, que remetem para a seleco de um conjunto de reas de formao especficas, com vista elaborao de um plano de formao. O segundo, integrando o primeiro, destaca-se pelo recurso a tcnicas de anlise de problemas visando a identificao das respectivas causas. Destacam-se aqui, por exemplo, a aplicao de alguns mtodos e tcnicas especficos, tais como: a metodologia da rvore de problemas, o diagrama de causa e efeito, o diagrama de Pareto, os grupos de discusso, a anlise swot, o brainstorming, o inqurito (entrevista e/ou questionrio), a observao, etc...Este tipo de anlise proporcionar, ao contrrio da abordagem anterior, um conjunto de informaes essenciais elaborao de um plano de formao, que se pretenda devidamente sustentado e melhor direccionado s necessidades dos pblicos a envolver.

Identificar, partida, qual a postura da organizao (reactiva e/ou antecipatria), face poltica formativa a seguir, traduz-se num procedimento essencial num contexto em que se pretendam aferir impactes decorrentes de intervenes formativas desenvolvidas. Implica dar resposta s seguintes questes: Qual a poltica formativa a seguir? Que resultados se esperam obter com a interveno formativa? Quando e como devero ser aferidos e avaliados?....

De uma forma sucinta, apresentam-se, seguidamente, as etapas consideradas essenciais a desenvolver no mbito de um diagnstico de necessidades de formao:30

24 meses mais 4 se usufruisse de subsdio de frias e Natal. So apresentadas apenas as etapas cruciais a considerar no mbito de um diagnstico de necessidades de formao (esta nota metodolgica prende-se essencialmente com as aces formativas dirigidas a activos empregados).
30

29

83

Etapas Caracterizao da situao de partida

Questes criticas31
Quais as condicionantes da minha envolvente inter e externa? Que desafios so esperados? Que recursos humanos possuo actualmente? Os recursos que possuo so suficientes e renem as competncias necessrias ao cumprimento dos objectivos pretendidos? Que nveis de desempenho/proficincia individual e/ou organizacional so pretendidos? Pretendo alcanar os objectivos pr-estabelecidos, no curto, mdio ou longo prazo? Esta informao assume uma importncia crucial no mbito de avaliaes que venham a ser realizadas, uma vez que a identificao de nveis de desempenho (individuais e/ou organizacionais) esperados, constitui um dos referentes mais importantes de uma avaliao. Que indicadores de desempenho (de um indivduo e/ou de um colectivo) devem ser considerados aquando da caracterizao e anlise do gap encontrado? Que referentes so considerados?Nveis anteriores de desempenho?Nveis de desempenho obtidos pela concorrncia?... Que interlocutores-chave devem ser contactados? As causas dos problemas apontados foram devidamente identificadas? Se no, que tcnicas de anlise de problemas podem ser utilizadas? Qual a gravidade do gap ou desfasamento encontrado? Qual a natureza da necessidade encontrada? Que estruturas ou indivduos estaro relacionados com as causas dos problemas identificados? Que processos estaro relacionados com o problema identificado? Os problemas identificados devero ser solucionados pela via da formao? Se no, que outras medidas podero ser desenvolvidas? Que indivduos devem ser mobilizados, em primeiro lugar, para a formao? Caso n seja possvel executar toda a formao desejada, que capacidades devero desenvolver numa primeira fase (que saberes devero adquirir/desenvolver)? Quais as principais mudanas esperadas a nvel do comportamento desses indivduos, aquando do seu regresso ao respectivo contexto de trabalho? Que resultados devero ser alcanados pelos mesmos, no curto, mdio e longo prazos? Este ponto assume particular relevncia j que nem sempre so visveis, em muitos dos relatrios de diagnsticos realizados, as prioridades a seguir, o que pode dificultar a tarefa de quem se incumbe, numa fase posterior, pela elaborao de um eventual plano de aco. Que proposta formativa ser a mais adequada? Que mtodos pedaggicos sero os mais adequados? Que carga horria devero ter as intervenes formativas? (...)

Identificao da situao desejada ou ideal (traduzida em algo susceptvel de ser alcanado)

Identificao do gap existente entre aquilo que desejado e aquilo que existe.

Identificao das razes que conduziram existncia desse gap/desfasamento.

Estabelecimentos de prioridades relativamente a necessidades a colmatar.

Preparao de planos de aco.32

31 32

So aqui apresentadas apenas as questes consideradas crticas quando consideradas as etapas referidas. Ver definio de Plano de formao.

84

Dadas a diversidade e especificidades dos contextos de anlise, sugere-se que as metodologias de diagnstico de necessidades de formao sejam devidamente ajustadas aos respectivos contextos de aplicao. Implica analisar com cuidado eventuais inquritos-padro, j que o mesmo poder negligenciar informao importante relativamente a determinado tipo de competncias a desenvolver. Sempre que possvel, torna-se, pois, prefervel recorrer a mtodos assentes em estudos de caso baseados na caracterizao de desafios/problemas concretos. Devemos ter sempre presente que qualquer que sejam os resultados obtidos devem satisfazer sempre as necessidades de informao dos actores que dela dependem. Aqui se destacam os seguintes actores: os responsveis pelo planeamento e concepo da formao, os responsveis pela execuo da formao, bem como todos os que venham a assumir responsabilidades ao nvel da avaliao das intervenes formativas (internos e/ou externos organizao). (35) Disseminao de resultados Os resultados podem ser disseminados ao longo da execuo da formao (caso se trate de relatrios intermdios integrados num contexto de avaliao formativa), ou no final da execuo da formao (caso se trate de uma avaliao final de resultados e impactes-integrada num contexto de avaliao sumativa). Na disseminao de resultados obtidos com a avaliao podem ser realizadas sesses de sensibilizao/formao, eventos especficos tais como seminrios, workshops, colquios, publicaes, etc... Relativamente fase da disseminao dos resultados de uma avaliao, vrias so as actividades a desenvovler, com fortes implicaes ao nvel da eficcia dessa avaliao: Identificao, a montante da realizao da formao, de todos os interessados nos resultados da avaliao da formao (implica a identificao dos centros que podem tomar decises ao longo e depois da execuo do processo formativo, visando a sua melhoria). Estabelecimento de uma estratgia de disseminao de resultados (implica a apresentao dos mesmos junto dos respectivos implicados no processo formativo). Devoluo aos vrios clientes da formao, da(s) parte(s) que lhe(s) dize(m) directamente respeito (implica a elaborao de relatrios personalizados e adequados s diferentes expectativas em presena). A elaborao de sumrios executivos personalizados so um bom exemplo a seguir. Evitar que os resultados da avaliao (seja intermdia ou final) sejam utilizados para fins distintos dos pr-estabelecidos no plano de avaliao. Garantir a utilizao dos resultados produzidos, sempre que tal seja possvel (apelo rentabilizao do tempo, esforo e dinheiro, a favor de uma maior eficincia e eficcia da formao).

85

(36) Fidelidade dos instrumentos de avaliao No podemos afirmar, em termos absolutos, que um instrumento sempre 100% fivel. S aps a aplicao do mesmo se pode determinar, partindo dos seus resultados, que itens podero ser aproveitados. Esta uma das vrias razes pelas quais o processo de testagem de um instrumento assume particular importncia.

(37) Garantia de qualidade Se aplicarmos a definio referida ao contexto da formao profissional, depressa verificamos que a avaliao a efectuar tender a focalizar-se em dois aspectos fundamentais: (1) no valor acrescentado/benefcio produzido por determinado processo formativo no seu todo (ou processos inerentes, tais como diagnstico de necessidades, concepo, implementao, etc...), e (2) no grau de envolvimento dos respectivos clientes finais, ou, para usar uma expresso mais utilizada no contexto da formao, dos stakeholders implicados, directa e/ou indirectamente no projecto formativo, ao nvel da definio do produto/servio pretendido. A presena de uma multiplicidade de actores torna o processo de avaliao em algo mais complexo, j que teremos igualmente diferentes expectativas relativamente ao nvel de qualidade a alcanar. Neste sentido, torna-se imprescndvel a prvia determinao do nvel de qualidade desejado. Implica, regra geral, o desenvolvimento de verdadeiros processos de negociao interactores. Assumindo a formao profissional como um processo em si mesmo, diramos que a noo de garantia de qualidade ser operacionalizada no contexto de cada uma das fases de um determinado ciclo formativo. Neste sentido, os dispositivos de observao/avaliao sero aplicados fase do diagnstico de necessidades de formao, planeamento, concepo e implementao e ainda sobre o prprio sistema de acompanhamento e avaliao de resultados (intermdios, finais e de impacte). Os sistemas de garantia de qualidade, aplicados ao contexto da formao profissional, visam, regra geral, responder s seguintes questes: a) O diagnstico de necessidades de formao foi correctamente efectuado, ou seja, identificou de forma rigorosa, quais as competncias profissionais a desenvolver? b) Os resultados das anlises de custo-benefcio (realizadas previamente), permitiram efectuar as melhores opes? Foram consideradas outras alternativas? c) As aces a desenvolver so pertinentes, oportunas e propostas em conformidade com a estratgia global da organizao? d) As solues formativas so coerentes quando consideradas as competncias profissionais a desenvolver? e) Foram aplicados dispositivos de avaliao diagnstica por forma a identificar o nvel de conhecimentos de partida dos participantes nas aces formativas? f) A seleco dos agentes a intervir na execuo da formao obedeceu a critrios de seleco e avaliao explcitos?

86

g) O projecto formativo desenvolve-se (ou desenvolveu-se) de forma eficiente? h) Foram criadas as condies necessrias ao processo de transferncia de saberes adquiridos desenvolvidos para os contextos reais desempenho? i) O sistema de acompanhamento e avaliao da formao d uma resposta concreta s vrias necessidades de informao dos vrios stakeholders em presena? Foram negociados e divulgados os critrios e indicadores de avaliao a utilizar? (38) Gesto da formao As preocupaes inerentes ao desenvolvimento de um sistema de gesto da formao, recaem sobretudo, sobre as condies necessrias implementao de determinada poltica formativa. Existem, de facto, vrios factores que quando presentes, podem favorecer a eficcia da mesma: a) clara definio dos papis que cada um dos actores dever assumir aquando da implementao da poltica formativa. Neste sentido, a mesma dever assumir uma forma escrita, devendo ainda ser amplamente divulgada junto de todos os responsveis pela sua operacionalizao; b) o envolvimento da direco da organizao, em particualr no que diz respeito disponibilizao de meios suficientes para a implementao da mesma, assim como mobilizao dos vrios actores para a sua concretizao; c) estreita articulao com as polticas de recursos humanos existentes. Neste contexto, a gesto da formao, em particular quando direccionada para a realizao de necessidades de competncias numa perspectiva previsional/antecipatria, poder assumir um papel essencial uma vez que estar, paralelamente, a apoiar a gesto de competncias existente. Neste sentido, uma actividade de natureza formativa nunca ser um acto isolado, mas sim uma parte integrante de um processo global de gesto e de desenvolvimento de recursos humanos. Uma das funes de um sistema de avaliao da formao ser aqui a de demonstrar em que medida a parte formao contribui para o desenvolvimento desses recursos. d) a sua implemetano dever estar ao servio da concretizao da hierarquia de objectivos da organizao (estratgicos, especficos (nveis intermdios) e operacionais). Este aspecto assume uma importncia extrema quando considerado o contexto da avaliao da formao, j que sempre que se desejar aferir eventuais impactes da formao ao nvel do todo organizacional, torna-se necessrio compreender a cadeia de objectivos da prpria organizao. (39) Indicador de avaliao A sua compreenso passa pela identificao do critrio que lhe inerente, uma vez que existe uma clara relao de dependncia dos indicadores de avaliao relativamente s caractersticas dos respectivos referentes. Implica que a determinao de indicadores vlidos seja efectuada em funo da natureza dorealidade objecto de avaliao. Questo a colocar nesta fase: de querealidade objecto de avaliao estamos a falar?

87

A fase da determinao de indicadores de avaliao exige que, partida, estejam reunidas determinadas condies que garantem os respectivo sucesso, a saber: a clara identificao dosrealidade objecto de avaliao, bem como respectivos critrios de avaliao; a demonstrao da legitimidade dos actores que escolhem e/ou definem os indicadores; a existncia de coerncia entre os indicadores escolhidos, objectivos preconizados (ex: pela organizao beneficiria da formao), avaliao realizada e utilizao de resultados.

Acrescente-se que a escolha do indicador a observar condiciona, normalmente, a escolha do tipo de instrumento de avaliao a utilizar, pelo que se refora a ideia de que a escolha de eventuais instrumentos de avaliao dever efectuar-se em funo, fundamentalmente, dos critrios e indicadores a utilizar. Neste ltimo caso, importar distinguir de que tipo de indicador estamos a falar: indicadores hard (ex: taxas de desperdcios, nmero de reclamaes, nmero de peas produzidas...) ou soft (ex: indices de satisfao do cliente, ndices de turnover, graus motivacionais...) (40) Inputs de avaliao Devemos ter sempre presente que as sadas ou outputs de cada uma das fases de um ciclo formativo, podem constituir as entradas ou inputs das fases subsequentes, significa, por exemplo, que os resultados de um processo de avaliao, sero eventualmente considerados inputs ou fontes de informao de um diagnstico de necessidades de formao. (41) Juzo de valor Para que a formulao de juzos de valor ocorra, algumas das questes a colocar antes de realizar qualquer avaliao, a seguinte: o que esperado da parte de quem vai ser avalaido? Foram claramente divulgados os critrios a utilizar na avaliao a realizar? Os avaliados receberam orientaes claras acerca da melhor forma para produzirem os resultados desejados? Note-se que quanto maior for a riqueza e variedade dos dados obtidos, melhor ser a fundamentao dos juzos de valor. Pressupe a utilizao de uma ampla gama de instrumentos de recolha de informao (ver definio de triangulao). Ser sempre aconselhvel que um juzo de valor comporte uma indicao sobre o(s) referente(s) relativamente ao qual feito. A mxima transparncia ao nvel da formulao de juzos de valor resulta numa maior aceitao e credibilidade do processo avaliativo, quer por parte dos destinatrios da avaliao quer por parte dos utilizadores dos seus resultados. Implica que a montante sejam identificado(a)s e dado(a)s a conhecer: os referentes de partida;

88

os responsveis pela determinao desses referentes (trata-se de saber se os potenciais avaliados reconhecem direitos aos que assumem essa responsabilidade, ou seja, se lhe reconhecida legitimidade para o fazer); os critrios de avaliao a utilizar; os responsveis pela formulao dos juzos de valor (trata-se de saber quem pode fazer um juzo de valor sobre a realidade avaliada); os destinatrios dos resultados da avaliao; as formas adequadas para a devoluo dos resultados aos avaliados.

Na presena de resultados no previstos, o avaliador dever aferir o respectivo grau de importncia junto dos actores implicados (directa e/ou indirectamente) no processo e estabilizar, com os mesmos, eventuais padres de referncia que permitam elaborar os juzos de avlor pretendidos. Num contexto de aprendizagem em que se procura desenvolver saberes de natureza cognitiva, socio-afectiva e/ou psicomotora, a formulao de eventuais juzos de valor decorrentes deavaliaes efectuadas poder considerar estas trs realidades ou apenas uma parte. Neste ltimo caso sugere-se que seja distinguida claramente a parte do objecto-alvo de avaliao. Na formao de juzos de valor sugere-se, ainda, que sejam considerados eventuais ponderaes relativamente a alguns critrios de avaliao aplicados (ver definio de critrio de avaliao). (42) Meta-avaliao O desenvolvimento de prticas de meta-avaliao pode contribuir de forma significativa para uma maior adequao dos modelos de avaliao utilizados, bem como para uma maior sofistificao e rigor dos mesmos. Pode ainda contribuir para a criao e institucionalizao gradual de uma cultura de avaliao em favor de um efectivo reforo da imagem da prpria instituio que a realiza. Numa meta-avaliao podem ser considerados os seguintes aspectos33: O tipo referencial utilizado (ex: uso de referenciais de avaliao j testados e validados) A experincia dos responsveis pela aplicao do mesmo O tipo de actores implicados nos processos de avaliao O tipo de estratgias de mobilizao de actores utilziado O grau de flexibilidade e adequabilidade do modelo de avaliao preconizado O tipo de fontes de informao utilizadas nas abordagens de avaliao A forma como aplicado o modelo de avaliao utilizado A qualidade dos resutaldos e impactes decorrentes da aplicao do modelo avaliativo (em idnticos ou diferentes contextos) A qualidade dos relatrios finais relativo a resultados de avaliaes desenvolvidas A utilidade dos resultados para os respectivos utilizadores O grau de exequibilidade das recomendaes produzidas (exige que seja verificada efectiva devoluo aos stakeholders (centros de deciso) respectivos)

Observao: A esta lista de aspectos podem ser acrescentados outros sempre que tal seja desejado pelo utilizador final dos resultados.

33

89

Os cursos asociados implementao do modelo avaliativo

Trata-se de um campo frtil para a actuao de consultores independentes, com competncias nesta matria, j que a meta-avaliao faz apelo a um conjunto de competncias muito especficas, muito difcil de encontrar na generalidade dos profissionais de formao. No se tratar, pois, de exigir este tipo de capacidades a todos os que assumem, de uma maneira geral, responsabilidades ao nvel do desenvolvimento de prticas de avaliao. (43) Metodologias de avaliao A construo de modelos de avaliao capazes de dar uma resposta adequada a necessidades veiculadas por parte dos seus utilizadores finais parece ser a opo mais adequada num contexto caracterizado pela multiplicidade de abordagens avaliativas. Embora no exista uma nica metodologia de avaliao, que possa ser aplicada a todas as situaes objecto de avaliao, podem, no entanto, ser construdos modelos avaliativos especficos com base em referenciais de avaliao existentes. Para tal, dever o avaliador, responsvel pela orientao metodolgica do processo de avaliao pretendido, ser capaz de ajustar esse referencial s exigncias dos contextos em anlise. (44) Nveis de avaliao medida que se passa de um nvel para o seguinte, o processo de avaliao torna-se mais complexo, exigindo, normalmente, mais tempo e recursos. A questo da maior complexidade e/ou dificuldade, na aplicao dos vrios nveis de avaliao, pode ser ultrapassada mediante a realizao de um bom diagnstico de partida, no qual constem claramente os objectivos a alcanar. (45) Objectivo de aprendizagem (pedaggicos) Para alm da mecnica da construo dos objectivos de aprendizagem devemos olhar para a sua pertinncia, validade e legitimidade, isto : porqu aquele objectivo, como se chegou a ele e quem determinou que aquele contedo deve ser um objectivo? Torna-se mais difcil a definio de objectivos de aprendizagem em actividades humanas muito complexas e que habitualmente integram competncias e conhecimentos tcitos (p. ex. liderana e gesto) ou em contextos de trabalho em que os processos se apresentam indeterminados. Normalmente as organizaes que trabalham com objectivos de aprendizagem transparentes revelam uma organizao de processos de trabalho tambm transparentes, sendo o inverso igualmente verdadeiro. Recomenda-se que o profissional de formao submeta os objectivos de aprendizagem que discutiu/analisou aos seguintes verificadores: De que ponto de vista est redigido o objectivo? Do formador ou do formando?

90

So claras as caractersticas e necessidades de quem vai alcanar o objectivo? respeitada a estrutura do triplo C? Os comportamentos, as condies e os nveis de performance desejados presentes no objectivo traduzem a realidade profissional? As capacidades implcitas no objectivo podem ser demonstradas/desenvolvidas durante a aprendizagem? As formas de organizao da formao previstas (p. ex. formao em sala, em contexto de trabalho, a distncia, etc.) so coerentes com a natureza dos objectivos? Qual a extenso do objectivo? especfico? Operacional? intermdio? Global? Os objectivos esto hierarquizados? Existem precedncias? Esto definidos os pr-requisitos necessrios aquisio de determinado objectivo? Como e quando vai ser verificado se o objectivo foi ou n atingido?

Considera-se, normalmente, que um objecto de aprendizagem bem definido meia formao preparada. De facto, um objectivo alcanado quando a pessoa concretiza o desempenho a determinado, dentro das condies e critrios definidos e demonstra capacidade de transferir e adequar, com propriedade, essas aquisies para outros contextos de trabalho/aprendizagem. Um exemplo da aplicao da estrutura triplo C poder ser o seguinte: No final da sesso/interveno formativa, p formando deve ser capaz de: Elaborar um relatrio tcnico de acordo com as especificaes existentes (a formulao de um objectivo de aprendizagem pressupe a utilizao de verbos de aco); Aps a identificao do tipo de saber a mobilizar, importa identificar as condies necessrias realizao da aco pretendida: Elaborar um relatrio tcnico de acordo com as especificaes existentes, utilizando para o efeito o software X (a identificao das condies para a realizao da aco pretendida assume uma importncia crucial aquando da realizao de uma avaliao da transferncia de aprendizagens para determinado contexto de desempenho. Identificadas as condies de realizao, importa definir nveis de desempenho a alcanar. Elaborar um relatrio tcnico de acordo com as especificaes existentes, utilizando para o efeito o software X e sem ultrapassar a data limite de entrega do mesmo ao respectivo cliente interno.

Como se poder verificar, neste caso no so identificados quais os impactes pretendidos com a formao. Aps a definio do nvel de desempenho (ou comportamento esperado por parte do indivduo), poder-se-ia ainda definir que tipo de impacte seria o desejado, quer ao nvel do indivduo quer ao nvel da respectiva rea funcional quer ainda ao nvel dos resultados da prpria organizao, como por exemplo: Resultados pretendidos relativos ao indivduo: elevao do respectivo grau de autonomia (passagem do nvel 1 (fraca autonomia) para o nvel 2 (suficiente

91

autonomia)). Neste caso, o enfoque estaria centrado nos resultados obtidos e no na observao deste ou daquele comportamento. Resultados pretendidos relativos rea funcional: alterao do grau de satisfao do cliente interno (passar do grau de satisfao 3 (razovel), para o 5 (muito bom)). Resultados pretendidos relativos organizao: elevao do grau de cooperao inerunidades funcionais (atingir nvel: muito bom).

Como se poder verificar, a definio de objectivos a alcanar pretende-se sempre com as expectativas e necessidades dos stakeholders envolvidos no processo avaliativo. Identificar as diferenas pticas e respectivas necessidades de informao, traduz-se assim um dos principais critrios de sucesso de um processo avaliativo. (46) Plano de avaliao Sugere-se que a planificao de um processo de avaliao seja efectuada em funo dos resultados de eventuais diagnsticos de necessidades de formao. Nos relatrios finais destes ltimos podero constar j as principais orientaes a seguir no que toca avaliao da formao proposta. Aquando do planeamento das actividades de avaliao sugere-se que seja dada especial ateno aos recursos disponveis, j que a falta dos mesmos pode condicionar, de forma significativa, a eficcia de um processo avaliativo. Aqui no se incluem apenas recursos humanos e financeiros. O recurso tempo fundamentalmente em qualquer abordagem de avaliao que se pretenda reflexiva e direccionada para a aprendizagem dos seus intervenientes. Neste sentido, recomenda-se que seja disponibilizado tempo suficiente para a elaborao das questes de avaliao, para a seleco dos mtodos e das tcmicas a utilizar, assim como, para o estabelecimento de estratgias de envolvimento de actores. Um plano de avaliao dever fornecer informao suficiente relativamente ao tipo de abordagem de avaliao a aplicar a cada agrupamento de questes de avaliao. Implica que essas abordagens tratem de forma diferenciada as vrias situaes a avaliar. Este procedimento permite compreender melhor as caractersticas de cada contexto em anlise. Um plano de avaliao poder revestir a forma de um documento escrito estruturado de acordo com os seguintes postos:34 Enquadramento da proposta avaliativa (Qual o contexto de partida?) Objectivos da avaliao (O que se pretende alcanar com a avaliao?) mbito e dimenses a avaliar (O que se pretende avaliar? Que questes de avaliao devero nortear a abordagem de avaliao?) Fontes de informao disponveis (Que referentes de partida existem? A que fontes de informao pretendo recorrer?)

As questes referidas devero ser colocadas a montante da realizao de qualquer processo de avaliao da formao.

34

92

Metodologias de avaliao a desenvolver (Que tipo de abordagem de avaliao vai ser implementada?) Uma abordagem participativa, independente....? Responsvel pela orientao metodolgica do processo de avaliao (Quem orienta o processo?) Intervenientes a mobilizar para o processo e respectivas estratgias de envolvimento (Quem deve participar no processo? Que responsabilidades devero assumir?) Tcnicas e instrumentos a aplicar (Como vo ser recolhidos os dados?) Recursos materiais a mobilizar (Que recursos podem ser disponibilizados?) Anlise de dados e apresentao de resultados (Como vo ser analisados os dados? Como vo ser apresentados os resultados?) Resultados a apresentar (O que deve ser o produto final de avaliao?) Divulgao de resultados (Junto de que centros de deciso devo disseminar os resultados? Como vai se realizada essa disseminao?) Datas de realizao (Em que momentos se vai realizar a avaliao?) Custos a afectar (Que recursos financeiros terei que mobilizar para o projecto?)

A ttulo de exemplo, apresenta-se de seguida, uma grelha de suporte ao planeamento de um processo de avaliao:

93

Identificao dos objectivos para cada um dos momentos de avaliao a desenvolver Avaliao ex-ante (ou inicial): Avaliao on-going: Avaliao ex-post:
Que questes de avaliao deverei efectuar para cada um dos objectos/dimenses a avaliar (estas questes permitem identificar com facilidade quais os critrios de avaliao utilizar) Que indicadores de avaliao poderei estabelecer para cada um dos critrios identificados Que actos deverei implicar no processo e a que estratgias, para o respectivo envolvimento, poderei recorrer?

Momentos de avaliao

O que se pretende avaliar? (pretende-se que sejam identificados os objectos/dimenses a avaliar)

Que instrumentos de avaliao poderei utilizar?

Quando deverei aplicar os intrumentos de avaliao?

Quem deve receber os resultados avaliativos?

Como deverei apresentar os resultados da avaliao?

Avaliao exante (ou inicial quando prevista) Avaliao ongoing (quando prevista)

O que ser importante avaliar a montante da realizao da formao? O que ser pertinente avaliar aquando da realizao da formao? O que ser importante avaliar aps a concluso da formao? Apenas aquisio de conhecimentos? Ou tambm impactes aps a fase da transferncia dos novos saberes para os contextos reais de trabalho?

Avaliao expost

94

(47) Plano de formao A montante da elaborao do plano de formao, podem ser colocadas questes que visam garantir a qualidade do mesmo, tais como: Que tipo de resposta formativa deve ser dada ao conjunto de necessidades de formao identificado? (analisar/estabelecer poltica formativa) As razes que justificam as necessidades apontadas so suficientemente conhecidas? Os objectivos pretendidos para o curto, mdio e longo prazos so suficientemente conhecidos? Que necessidades de formao devem ser prioritariamente resolvidas? Os indivduos a implicar no processo formativo foram suficientemente sensibilizados para a necessidade de provocar a mudana pretendida? A organizao dispe de meios ( humanos, materiais e financeiros) suficientes para a resoluo dessas necessidades? Aquando da adjudicao da concepo e da execuo do plano formativo a uma entidade externa, so devidamente especificados, no mbito do respectivo caderno de encargos, os objectivos de aprendizagem ( e finais, na ptica da organizao ) a atingir? Foram identificados os indivduos que, para alm dos formandos, devem ser implicados no processo? Foram claramente identificadas as responsabilidades dos mesmos? Os princpios da poltica formativa so claros? (Aposta na formao interna? Aposta na formao qualificante, de actualizao e/ou reconverso...?) Que interveno/participao esperada por parte dos parceiros sociais? (...)

um documento cuja elaborao feita normalmente pelo responsvel da formao da empresa/instituio e contempla, regra geral, os seguintes aspectos: a poltica formativa a seguir; a caracterizao do ponto de partida (fonte de informao: diagnstico de necessidades de formao); a identificao do pblico-alvo a abranger; a identificao dos resultados a obter, ou seja, das capacidades/competncias a desenvolver/mobilizar pelos potenciais formandos aps a formao; especificao de prioridades a seguir; as estratgias de envolvimento/preparao de actores a implicar no processo (formandos, respectivas chefias, formadores, monitores...); a identificao dos recursos humanos, materiais e financeiros a afectar; as estratgias a seguir ao nvel da seleco e elaborao dos suportes didcticopedaggicos; as estratgias a seguir aquando da execuo das aces, designadamente as que contribuam para uma melhor adequao da interveno formativa s especificidades do pblico a abranger; as estratgias a seguir ao nvel do acompanhamento e controlo de execuo do plano de formao; as estratgias a seguir no mbito da verificao e avaliao de resultados alcanados com a formao;

95

identificao dos responsveis pela gesto, organizao e operacionalizao do plano; a definio de eventuais planos de contigncia

(48) Questes de avaliao Recomenda-se que as questes centrais de avaliao sejam colocadas a montante da realizao da formao. Implica uma estreita articulao com os beneficirios (directos ou indirectos) da formao. Podem, todavia, surgir outras no decurso e no final da implementao da mesma, de acordo com os interesses manifestados por parte dos seus actores mais directamente implicados no processo formativo. Sugere-se ainda que sejam equacionadas antes de qualquer deciso acerca do tipo de mtodos e tcnicas de avaliao a aplicar. As questes de avaliao podem agrupar-se de acordo com aspectos especficos a observar, designadamente:
Questes relacionadas com a fundamentao (utilidade) da interveno formativa propriamente dita. Remete para uma anlise dos resultados do diagnstico de necessidades de formao, bem como caractersticas do contexto no qual se pretende vir a intervir (ver definio de avaliao ex-ante) Questes relacionadas com a concepo da interveno formativa. Remete para a fase de elaborao e adequao de contedos programticos, definio de objectivos pedaggicos, elaborao/adequao de recursos didctico-pedaggicos... Questes relacionadas com o desenvolvimento/execuo da formao. Remete para a anlise das condies a garantir a montante e ao longo da implementao da aco. Ex: fase da seleco e preparao dos agentes a mobilizar para a realizao da formao: formadores, monitores, tutores...mobilizao de recursos materiais adequados, etc. Trata, regra geral, das questes relacionadas com uma avaliao que incide sobre o processo formativo. Questes relacionadas com os resultados finais a obter (outcomes). Remete para uma anlise que incide sobre os objectivos de aprendizagem e, eventualmente, finais (perspectiva da organizao), assim como, identificao de respectivos critrios e indicadores de avaliao.

Que tipo de situaes-problema esto na base da proposta formativa? Quais as caractersticas do pblico-albo a abranger? Quais as respectivas necessidades? Que outras propostas (de natureza no formativa) foram equacionadas por forma a resolver as situaes-problemas identificadas?... Qual o perfil de entrada do formando? Que tipo de competncias devero ser adquiridas/desenvolvidas? Qual o momento oportuno para o desenvolvimento dessas competncias? Que tipo de proposta formativa poder ajustarse s necessidades a colmatar?... Foram reunidas as condies necessrias realizao da formao pretendida? Que perfil de formador/monitor/tutor...se afigura adequado para a consecuo dos objectivos pedaggicos propostos? Em que medida os objectivos de aprendizagem esto a ser ou foram alcanados? O desempenho do formador corresponde ao desejado?...

Foram verificados os impactes desejados (ao nvel do desempenho do indivduo, da organizao e/ou da comunidade no qual aqueles se inserem)? Foram detectados impactes no previstos?....

96

Questes relacionadas custo-benefcio.

com

as

anlises

Remete para a realizao de anlises custobenefcio a montante e a jusante da realizao da formao.

Os benefcios (valor acrescentado previsto) do programa formativo justificam os investimentos efectuados? Ou o desenvolvimento de uma soluo formativa acarreta menos custos quando comparada com outras propostas de interveno disponveis? Ou, ainda, quando posicionados no ps formao: Os recursos materiais foram suficientemente optimizados? Os resultados lquidos do programa (ver definio de ROI e Anlise Custo-Benefcio) justificam os investimentos efectuados?....

(49) Recomendaes Quando elaboradas pressa podem pr em causa as actividades de avaliao anteriormente desenvolvidas, pelo que dever ser dedicado tempo suficiente para a sua feitura. Por forma a serem teis, devero chegar junto dos seus destinatrios em tempo oportuno, considerando a respectiva necessidade de tomada de deciso. Por forma a garantir a utilidade e consequente aporpriao das recomendaes elaboradas, sugere-se que sejam realizadas as seguintes actividades (baseado em Patton 1996): Negociar, com os diversos centros de deciso, a natureza e o contedo de um relatrio final. Elaborar as recomendaes com base nas informaes que decorreram da anlise de dados recolhidos no terreno. Destacar, de entre o conjunto de recomendaes a apresentar, as recomendaes relativas a assuntos centrais. Considerar as preferncias dos seus potenciais utilizadores. Pode ser solicitada pelos mesmos a apresentao de vrias alternativas deaco. Neste caso, o avaliador poder indicar vantagens e desvantagens relativas a cada uma das propostas de aco, deixando o respectivo cliente decidir acerca da aco mais adequada. Identificar (sempre que possvel) os custos e benefcios implicados na execuo de alguma recomendao efectuada, bem como eventuais custos decorrentes da no execuo das mesmas. Elaborar recomendaes que estejam relacionadas com o campo de interveno dos respectivos utilizadores. Importa evitar que os mesmos recebam recomendaes sobre as quais no vo poder actuar/decidir. Elaborar recomendaes claras e precisas. Implica que as mensagens sejam suficientemente explcitas por forma a serem compreendidas numa primeira leitura pelos respectivos utilizadores. Identificar a forma mais adequada para a apresentao das recomendaes. Implica aferir, por exemplo, as implicaes polticas associadas a cada uma das recomendaes efectuadas e eventuais reaces dos respectivos utilizadores. O 97

envolvimento dos interessados nos assuntos mais problemticos, ao longo da respectiva anlise, pode atenuar eventuais reaces aquando da apresentao dos relatrios finais de avaliao. Dedicar tempo suficiente para a elaborao das recomendaes. Facilita uma maior reflexo acerca dos resultados obtidos, bem como a realizao de eventuais reunies com os seus potenciais utilizadores. Delinear estratgias que possibilitem a execuo das recomendaes efectuadas. no raras vezes, so realizadas sesses de apresentao de resultados, elaborados sumrios executivos dirigidos a cada um dos centros de deciso em causa, entre outros. aconselhvel que, sempre que possvel, o avaliador demonstre, nesta fase, total disponibilidade para efectuar eventuais follow-ups, aps a operacionalizao das medidas de aco propostas.

(50) Referencial de avaliao Num referencial devem constar todos os elementos que permitiro identificar as diferenas ou desvios relativamente a eventuais indicadores de resultados a alcanar. Na elaborao de um determinado referencial torna-se essencial: validar as fontes de informao, assim como o tipo de informao a utilizar; garantir, por parte dos vrios actores implicados no processo, um grau de convergncia adequado relativamente a critrios e indicadores a utilizar; determinar os indicadores de avaliao a utilizar;

Em termos de resultados, deve permitir dar resposta s seguintes questes (enumeram-se apenas as principais): Que tipo de resultados se pretende obter com a interveno de avaliao? Quais os elementos/objectivos alvo de estudo significativos a considerar no processo de avaliao? Que referentes sero utilizados (por ex: que critrios e indicadores de avaliao sero utilizados?) O que permite concluir que este ou aquele resultado bom ou mau?

(51) Referente Para avaliar torna-se, pois, imprescindvel que se conhea bem o que se vai avaliar e que se utilizem, por exemplo, critrios e indicadores precisos. Estes devero ser claramente identificados no sistema de referncia a utilizar. Aquando da comparao de resultados obtidos com determinada situao de partida, podem ser utilizados referentes, tais como: Nveis de desempenho conseguidos em programas formativos anteriormente desenvolvidos. Resultados de uma amostra representativa dos programas desenvolvidas at data Objectivos previstos para o programa formativo em anlise

98

Nveis de desempenho j alcanados por cada um dos participantes (autoreferncia) Padres de desempenho estabelecidos por organizaes externas (ex: institudos no contexto de auditoria externas) Resultados obtidos pela concorrncia Nveis mnimos de actuao de cumprimento obrigatrio (ex: requisitos mnimos de sistemas de certificao/acreditao...) Padres/nveis de desempenho de referncia ( a alcanar no curto, mdio e/ou longo prazos) Resultados a alcanar, estabelecidos pelos vrios actores em presena (...)

(52) Relatrio de avaliao A ttulo de exemplo, apresenta-se uma estruturao de um relatrio final, baseada nos trabalhos de Weiss, C.H., a saber:
Questes de avaliao abordadas Breve descrio do plano de formao (enfoque ao nvel dos objectivos a alcanar) Principais concluses da avaliao (apresentadas por nvel de avaliao) Descrio sumrias das descobertas de avaliao mais importantes Recomendaes diferenciadas dirigidas a cada tipo de stakeholder envolvido Estratgias para disseminao de resultados Finalidades e objectivos Plano original de actividades Actividades (realmente) desenvolvidas durante o plano de formao Caractersticas do contexto no qual foi implementado Stakeholders envolvidos (directa ou indirectamente) no projecto formativo Indivduos e/ou organizaes interessados nos resultados da avaliao Questes-chave de avaliao Conduo da avaliao Elaborao do modelo de avaliao Perodo de tempo para a respectiva aplicao Mtodos de recolha de daodos (justificao de opes metodolgicas) Mtodos utilizados na anlise da informao (resumo, em detalhe nos anexos) Papel do avaliador Papel dos actores envolvidos no processo avaliativo Resultados produzidos Descobertas mais relevantes (associadas s necessidades de informao dos respectivos stakeholders) Limitaes do estudo efectuado (identificao de eventuais dificuldades na concretizao dos objectivos da avaliao). Concluses Interpretao de resultados (formulao de juzos de valor) Elaborao de recomendaes Enfoque nos aspectos a melhorar em futuros processos de avaliao Este ponto assume extrema importncia, j que permite efectuar um reconhecimento formal acerca da participao/envolvimento de todos aqueles que permitiram a realizao da formao. Este aspecto ainda mais importante no contexto de avaliaes de natureza participativa. Metodologia (desenvolvimento de aspectos tcnicos). Grelhas de dados Transcries seleccionadas de material narrativo etc...

1.Sumrio Executivo

2.Descrio do Plano de Formao

3.Descrio da avaliao

4. Sugestes para avaliaes futuras (opcional) 5.Agradecimentos

6.Anexos

99

Alguns dos factores crticos associados apresentao de relatrios de avaliao so os seguintes: Elaborao de sumrios executivos Apresentaes suportadas em esquemas, grficos ilustrativos da realidade observada, que permita uma fcil e rpida leitura dis resultados obtidos Identificao de tendncias/cenrios futuros Identificao de mltiplas estratgias de disseminao de resultados, de acordo com a realidade de cada um dos stakeholders Apresentao de recomendaes que sejam fceis de operacionalizar Discurso construtivo e pedaggico

importante e indispensvel a elaborao de um ou mais Sumrios Executivos com as principais concluses do trabalho de avaliao e recomendaes aos respectivos utilizadores. sugere-se que seja estruturado por forma a facilitar a eventual tomada de decises (ver definio de recomendaes). (53) Resultado da avaliao Existe um conjunto de factores crticos que pode contribuir para um maior ou menor uso dos resultados de uma avalio, a saber: A relevncia da informao obtida O nvel de comunicao existente entre os avaliadores e utilizadores dos resultados A utilidade dos resultados no contexto da tomada de deciso dos seus utilizadores Envolvimento e participao dos utilizadores no processo avaliativo

(54) Sistema de gesto de informao As vantagens decorrentes da concepo e implementao de um sistema de gesto de informao (SGI), no domnio da formao, so, fundamentalmente, as seguintes: Permite a auto-avaliao da estrutura responsvel pela realizao das actividades formativas Facilita a monitorizao da execuo das actividades de um plano de formao (em particular as relativas execuo do mesmo), disponibilizando informaes que permitem (entre outros): elaborar, em tempo oportuno, relatrios acerca da satisfao dos clientes de uma interveno formativa; elevar o grau de participao dos actores implicados na formao; analisar determinados indicadores de actividade; identificar eventuais incidentes crticos; comparar resultados de anteriores intervenes formativas; controlar de uma forma mais eficaz os custos do programa, etc. Quando eficazmente concebido permite a gesto integrada de um processo formativo (...)

100

A sua construo implica que sejam desenvolvidas as seguintes actividades: Identificao das actividades, acerca das quais o sistema deve produzir informaes Identificao da natureza e do tipo de informao consideradas relevantes Identificao dos momentos e mtodos de recolha de dados Produo de informao til, do ponto de vista dos respectivos utilizadores Divulgao da informao til junto das partes interessadas

Sugere-se que estas actividades sejam realizadas quer por parte da entidade que realiza formao quer por parte da entidade que se responsabiliza pela integrao dos respectivos colaboradores aps a realizao da formao. Um sistema de gesto de informao poder, por um lado, apoiar uma entidade formadora no contexto da implementao de um sistema especfico que garanta a qualidade das suas intervenes e, por outro, quando concebido pela entidade beneficiria da formao, tender a focalizar-se, sobretudo, nos resultados decorrentes da transferncia de saberes adquiridos para os contextos reais de desempenho, assim como respectivos impactes, quer ao nvel da melhoria da performance dos indivduos quer da respectiva rea funcional quer, ainda, da organizao no seu todo. (55) Stakeholder Destaque-se que, dos 9 stakeholders apresentados, nem todos apresentam o mesmo nvel de importncia para quem tem a responsabilidade de conduzir a avaliao. Por exemplo, os stakeholders identificados em (8) e (9) sero apenas informados dos resultados, no contribuindo, regra geral, para a avaliao em si mesma. Caber, pois, ao avaliador identificar os stakeholders-chave a mobilizar para o processo (aqueles que exercem maior influncia sobre o processo de avaliao propriamente dito). No domnio da avaliao, a questo que permite a identificao dos stakeholders a seguinte: a quem podem ser teis os resultados de uma avaliao? Trata-se de identificar todos os indivduos e/ou entidades a quem sero devolvidos os resultados avaliativos, por forma a suportar a respectiva tomada de deciso com vista melhoria do projecto formativo em curso e/ou de intervenes futuras. Algumas das etapas a seguir quando conhecidos os stakeholders envolvidos num determinado projecto, podem ser as seguintes: Definir estratgias de envolvimento dos mesmos no projecto formativo que se pretende realizar (um dos momentos propcios para o fazer a fase do diagnstico de necessidades de formao) Garantir o seu envolvimento durante a realizao da formao (podero dar pistas que conduzam a alteraes no programa numa ptica de adequao permanente do mesmo) Envolver os stakeholders chave do processo nas fases da construo do referencial de avaliao, da validao de dimenses a avaliar e da elbaorao de relatrios finais de avaliao, designadamente ao nvel da validao dos

101

resultados obtidos. Esta validao fundamentalmente para garantir a utilidade da avaliao, isto , para aumentar a probabilidade do seu uso no mbito dos respectivos processos de tomada de deciso. Para que este envolvimento seja real, devem ser efectuadas (sempre que possvel) reunies com os mesmos. Estabelecer canais de comunicao eficazes que facilitem a eventual interaco entre os diferentes stakeholders

Por forma a identificar claramente o tipo de stakeholder envolvido num projecto formativo, bem como a natureza do seu envolvimento, sugere-se que seja utilizada a seguinte grelha:
Questes de avaliao que pretende ver respondidas (relacionadas com a respectiva necessidade de informao) Grau de envolvimento/responsabilidade no processo avaliativo

Stakeholder envolvido

(56) Tcnica de amostragem Na amostragem dirigida, determinadas unidades so seleccionadas por razes vrias em funo dos interesses do avaliador. Os mtodos aplicados com maior frequncia so: a amostragem por convenincia. Constituida em funo da disponibilidade e acessibilidade dos respondentes. amostragem intencional. A amostra constituda em funo da opinio de uma ou mais pessoas, uma vez apresentado um bom conhecimento acerca das caractersticas da populao em estudo. a mostragem snowball. Consiste, numa primeira fase, em escolher, de modo aleatrio, um conjunto de elementos de uma dada populao e, numa segunda fase, escolher outros elementos adicionais por indicao dos primeiros. Neste sentido, pode ser considerada uma forma especfica de amostragem intencional. a amostragem sequencial. Semelhante ao mtodo multi-fsico, j que a realizao de uma segunda amostragem s decidida aps a anlise dos resultados obtidos na fase anterior. Aqui, os elementos continuam a ser intencionalmente escolhidos. o mtodo de amostragem por quotas. Algo semelhante amostragem aleatria estratificada, traduz-se no seguinte: associa-se uma determinada quota a cada estrato (grupos previamente seleccionados) que seja proporcional sua representao na populao e assegura-se que um nmero mnimo de elementos faa parte da amostra, para cada estrato especificado. Pretende-se assim obter uma amostra que seja semelhante populao em certas caractersticas pr-especificadas, ditas de caractersticas ou variveis de controlo.

102

Exemplo: se na populao a estudar se encontram 25% de indivduos do sexo masculino, na amostra a seleccionar devero constar os mesmos 25% de indivduos do sexo masculino, sendo neste caso a dimenso da amostra a referncia a considerar. Numa amostragem por quotas, as propores dos vrios subgrupos na amostra reflectam a sua distribuio dentro da populao. Na amostragem aleatria, o critrio de seleco das unidades o do acaso. Teoricamente, a amostragem aleatria sempre prefervel intencional por questes relacionadas com a validade dos resultados da avaliao A amostragem aleatria (tambm designada por amostragem probalstica) um procedimento que garante que as unidades seleccionadas para a avaliao sejam representativas da populao de que foram extadas. No obstante ser considerado o mtodo mais caro, ganha em relao aos restantes, quanto fiabilidade dos resultados obtidos. Os mtodos mais frequentemente utilizados so os seguintes: Amostragem aleatria simples. Cada elemento do universo a estudar tem a mesma probabilidade de ser seleccionado. Existem duas formas que permitem obter uma amostra deste tipo: a da lotaria e a dos nmeros aleatrios. Amostragem sistemtica. Mtodo tambm designado por quasi-aleatrio, uma vez que no permite que todos os elementos do universo em causa tenham a mesma probabilidade de ocorrncia. Etapas: a) Clculo do rcio: K= Caso se defina que K=2 (significa que a dimenso da amostra seria constituda por metade da dimenso do universo em anlise. Se K=20, ento obteriamos uma amostra de apenas 5% desse universo. b) Seleccionar de forma aleatria um nmero no intervalo [1, k], que servir como ponto de partida bem como de primeiro elemento da amostra. O segundo elemento ser identificado ao adicionar ao primeiro valor obtido o rcio K. Os restantes elementos da amostra resultam pela adio sucessiva do mesmo rcio aos nmeros que se vo precedendo. Um exemplo da aplicao deste tipo de amostragem so os inquritos por telefone que visam determinar nveis de audincia de determinados programas televisivos. Amostragem estratificada. Obtm-se separando os elementos de uma populao em grupos, mutuamente exclusivos35, denominados estratos,

35

Significa que nenhum dos elementos da populao pode estar simultaneamente presente em dois ou mais estratos

103

seleccionando-se a partir destes uma amostra aleatria simples dentro de cada estrato. A aplicao deste mtodo exige que se conheam as caractersticas do universo em anlise. Apresenta resultados mais eficientes quando se tratam de amostras de pequena dimenso e claramente representativas. Amostragem por clusters. Aplicada em populaes que se encontram divididas em reduzido nmeros de grupos ou clusters, que apresentam uma disperso idntica populao em anlise. Numa primeira fase so seleccionados aleatoriamente alguns grupos, incluindo-se posteriormente, na amostra, todos os elementos pertencentes aos grupos seleccionados. Amostragem multi-etapas. Semelhante ao mtodo anterior, no que se refere respectiva definio e etapas a desenvolver. Apenas se destaca o facto do processo anteriormente descrito poder ser multiplicado, caso os grupos estejam subdivididos em subgrupos, etc...(recurso estrutura em rvore). Amostragem multifsica. Distingue-se da anterior pelo facto das amostragens efectuadas em momentos distintos incidirem sobre as mesmas unidades amostrais. Ex: aplicao de um inqurito a uma amostra especfica. Aps o apuramento dos respectivos dados decide-se retirar da mesma amostra uma outra qual ser aplicado um segundo inqurito (este procedimento pode repetir-se de acordo com as necessidades de informao dos utilizadores dos respectivos resultados).

Na prtica da avaliao da formao, em particular a que incida sobre os efeitos da formao, surgem muitos obstculos ao recurso a uma amostragem aleatria, que incida sobre um conjunto de colaboradores de uma empresa inseridos em planos de formao anuais ou pluri-anuais: muitos dos ex-formandos podem ter sado entretanto da empresa em anlise; as chefias directas desses ex-formandos podem ter assumido outras funes ou transitado para uma outra empresa; os mesmos ex-formandos e respectivas chefias directas esto envolvidos em vrios cursos/aces de formao, podendo vir a ser seleccionados mais do que uma vez para a avaliao da formao. Isto pode levantar problemas no que diz respeito ao incmodo causado s actividades produtivas da empresa, sendo necessrio cruzar este factor com o da representatividade. os formandos, sobretudo quando externos, podem no estar disponveis para participar na avaliao.

Por forma a ultrapassar algumas destas questes recomenda-se que sejam aferidas as caractersticas, quer dos formandos, quer dos contextos a eles associados, aquando da fase da identificao das respectivas necessidades de formao. Algumas dessas caractersticas podero ser igualmente aferidas ao longo da realizao da formao. (57) Triangulao Permite optar pelo mtodo mais adequado a aplicar a determinada situao em estudo. Nem sempre os mtodos aparentemente mais eficazes so os mais adequados a determinado contexto. Por exemplo: num contexto em que se denote alguma saturao relativamente aplicao de inquritos por questionrio, o avaliador pode optar pela escolha de outras tcnicas que renam maior aceitao.

104

Em contextos de claras restries oramentais, a diversificao de mtodos e de tcnicas gera sempre maiores custos, pelo que os benefcios resultantes podero ser (aparentemente) insuficientes para justificar o investimento. Nestes casos, o avaliador poder ajuizar da suficincia ou insuficincia da aplicao de um nico mtodo e demonstrar junto dos respectivos stakeholders a utilidade do uso da triangulao (Implica responder a duas questes centrais: que tipo de decises esto na base do pedido de avaliao? Que resultados sero necessrios obter para que essas decises possam vir a ser tomadas?) (58) Validade dos instrumentos de avaliao Uma questo relacionada com a validade de contedo pode ser a seguinte: em que medida um instrumento de avaliao, que pretende aferir se os objectivos de aprendizagem foram efectivamente alcanados, produz informao relacionada com o objectivo da avaliao pretendido? Uma outra questo relacionada com a validade de um instrumento, pode ser a seguinte: o formando vai ser avaliado relativamente ao conjunto de saberes adquiridos/aperfeioados pela via da formao ou vai ser efectuada apenas uma avaliao parcial (por exemplo, que incida apenas sobre os saberes relacionais/sociais adquiridos)?. Esta questo importante, j que, no raras vezes, acontece serem aplicados instrumentos de avaliao standart, que no incidem sobre as competncias chave desenvolvidas/adquiridas atravs da realizao da formao, mas antes sobre os aspectos generalistas de pouca importncia para os seus beneficirios (ex: formandos, chefias...) quando considerados os resultados da avaliao. No contexto da avaliao da formao, uma preocupao frequente em relao validade consiste em garantir, p.e., que um inqurito de nvel 3 (utilizando a terminologia de D. Kirkpatrick) consiga medir de facto as alteraes nos comportamentos causadas ou fortemente influenciadas pela formao Existem vrias formas de abordar a questo da validade de um instrumenro. A ideal ser sempre aquela que rene maior consenso relativamente ao tipo de medida a utilizar, o que implica uma auscultao junto dos actores envolvidos no processo.

105

PARTE 04 Sites e servios de apoio relacionados com o domnio da avaliao

106

Sites e servios de apoio relacionados com o domnio da avaliao

A disponibilizao de um conjunto de sites e servios de apoio pesquisa de informao, no domnio da avaliao, constitui o objecto de anlise da terceira e ltima parte deste primeiro caderno. Num quadro no qual coexistem mltiplas abordagens avaliativas, e, por conseguinte, mltiplas aprendizagens e experincias, verifica-se uma, cada vez maior, possibilidade de desenvolvimento e aperfeioamento de intervenes de carcter avaliativo. As particularidades e exigncias dos contextos de aplicao da avaliao exigem, cada vez mais, a identificao e aplicao de metodologias ajustadas s necessidades de informao dos vrios actores em presena. O responsvel pela gesto e implementao de processos avaliativos poder recorrer, actualmente, no s a bibliografia j existente, como tambm a outras experincias e aprendizagens descritas por outras entidades com responsabilidades ao nvel da execuo da formao. Neste ltimo caso, so de destacar os estudos de caso, os artigos, os estudos de avaliao, assim como seminrios, workshops dedicados temtica da avaliao, encontrados num conjunto de sites agora divulgados neste caderno. A divulgao desta informao faz apelo directo ao desenvolvimento de uma atitude proactiva, de auto-conhecimento, e por conseguinte, de auto-aprendizagem, das entidades que pretendem desenvolver e/ou aperfeioar as suas prticas de avaliao. Banco Mundial (http://www.worldbank.org ou http://www.obancomundial.org) Disponibiliza um conjunto de informaes/instrumentos que permitem efectuar a monitorizao da avaliao. Destaque para os estudos de avaliao e metodologias para a monitorizao da avaliao, bem como para os links associados temtica da avaliao. Em http://www.worldbank.org/evaluation/toolkit/toolkits and handbooks/ encontrar alguns intrumentos com interesse. Sociedade Americana para o Desenvolvimento da Formao ASTD (http://www.astd.org/) Permite o acesso a Fruns de Discusso associados temtica da formao (Learning communities). So abertos e gratuitos a todos os profissionais que pretendem obter ou trocar informaes. Destaque para os estudos relacionados com a temtica da avaliao, abordagem ROI e Performance Improvement. ainda possvel obter uma verso electrnica da Parte II de Training Outcomes Evaluation, 1999 Measurement Kt em http://www.raosoft.com/downloads/astd.html/

107

European Comission (http://europa.eu.int/comm/) Permite o acesso a documentos relacionados com a temtica da avaliao da formao, designadamente alguns guias de apoio aplicao de metodologias de avaliao. so de destacar os guias disponibilizados nos quais podem ser encontradas algumas sugestes que visam apoiar o utilizador na obteno de melhores resultados aquando da aplicao de modelos avaliativos. Destaque para: http://europa.eu.int/comm/budget/evaluation/keydocuments http://europa.eu.int/comm/europeaid/evaluation/methods/guidelines_en.pdf NCVER National Centre for Vocational Education Research, Ltd. (http://www.ncver.edu.au) Permite aceder a informaes subordinadas ao tema da educao/formao profissional. Permite que sejam efectuados downloads de textos/estudos integrais relacionados com a temtica da avaliao, dos quais se destacam os estudos dedicados aplicao da metodologia Return on Investment (Retorno do Investimento ROI) The Evaluation Center Western Michigan University (http://wmich.edu/evalctr/checklists/) Permite o acesso a um conjunto de checklists elaboradas por um conjunto de especialistas em matria de avaliao, tais como Daniel Stufflebeam, Michael Scriven, Michael Patton, entre outros, que visam apoiar o utilizador ao nvel da aplicao e controlo de qualidade das respectivas metodologias de avaliao. Estes instrumentos podem ser particularmente teis aquando da institucionalizao de procedimentos de auditoria interna no quadro do desenvolvimento de projectos de formao. Produtos e services disponibilizados pelo INOFOR36 FORMEI Base de Dados de Formao, Educao, Emprego e Inovao. Tratase de uma base de dados que permite efectuar pesquisas relativas ao domnio supracitado, por palavra(s) em: Ttulo, Autor, Coleco, Assunto, Resumo e Classificao CRC, Palavras-chave (todos os campos) e ISBN ou ISSN. Permite ainda efectuar outras pesquisas de acordo com as necessidades dos respectivos utilizadores. Esta base de dados pode ser consultada a partir de qualquer um dos terminais disponibilizados ao pblico no espao do CRC, ou remotamente a partir da internet (www.inofor.pt). Esta base de dados contm mais de 5000 registos bibliogrficos, relativos a livros, peridicos, audiovisuais, documentos electrnicos e recursos tcnico e

Os produtos e servios mencionados sero consultados ou requisitados a partir de terminais prprios (CRC do Inofor e restantes CRC) mediante a utilizao de uma password especfica, com a excepo da base de dados FORMEI. Podem ainda ser solicitados, junto dos centros referidos, pesquisa relativas a temticas especficas. Para tal, basta enviar um email com o respectivo pedido de informao para adalberto@inofor.gov.pt.

36

108

pedaggicos. As referncias correspondentes a documentos electrnicos de acesso remoto permitem a entrada imediata nos respectivos textos integrais. EBSCO online. Servio que disponibiliza o acesso a textos integrais de artigos cientficos publicados em revistas e jornais electrnicos, atravs de diversas formas de pesquisa, bem como o acesso por ttulo a uma srie de publicaes peridicas em linha assinados pelo INOFOR. Destaque para os jornais electrnicos dedicados temtica da avaliao. Emerald. Base de dados que permite o acesso imediato ao texto integral dos artigos da MCB Publishing publicados desde 1994, nas reas da Gesto, Administrao, Produo, Qualidade, Cincias Documentos e Engenharia. Destaque para os artigos relativos ao diagnstico de necessidades e formao e avaliao da formao. Proquest. Recurso integrado a bases de dados de coleces electrnicas que contm milhes de artigos publicados em jornais e revistas cientficas. Atravs do INOFOR pode aceder s bases de dados ABI/Inform Research (orientada para a Economia, Gesto e Gesto do Conhecimento em contextos organizacionais), Career and Technical Education (vocacionada para a Formao Profissional, Avaliao do Desempenho e Desenvolvimento da Carreira) e Education Complete (nas reas do Ensino, Educao e Formao). Atravs deste servio podem ser consultadas cerca de 2500 publicaes, entre as quais se destacam as especilizadas no domnio da avaliao. OCDE. Biblioteca em linha da Organizao para a Cooperao e Desenvolvimento Econmico, com um motor de busca que permite o acesso ao texto integral de monografias, peridicos e bases de dados de estatsticas. Recomendam-se igualmente as referncias relativas rea da avaliao.

109

Referncias bibliogrficas ABREU, J.M.B. (1996) Construo de um referencial de avaliao de qualidade da formao profissional no IEFP. Ed. rev. Lisboa: Faculdade de Psicologia e de Cincias da Educao da Universidade de Lisboa. AIRASIAN, W.P (2001) Classroom assessment concepts & applications. Fourth ed. Boston: McGraw-Hill ANDERSON, G.(et al.) (1996) Learning contracts: a practical guide. London: Kogan Page BARBIER, J.M (1990) A avaliao em formao. Porto: Afrontamento, D.L 1990(*) BARTEL, A.P (2000) Measuring the employers return on investments in training: evidence from the literature. In NCVER (2001) Research at a glance, returns on investment in training. [Em Linha]. Disponvel na www:<URL: http://www.ncver.edu.au/research/core/Cp0007aag.pdf> BARTRAM, S.; GIBSON, B. (1999) Evaluation training: a resource for measuring the results and impact of training on people, departments and organizations. Amherst: HRD Press. BASARAB, D.J.; ROOT, D.K (1992) The Training evaluation process: a practical approach to evaluating corporate training programs. Boston: Kluwer Academic Publishers. BEE, F.; BEE, R. (1994) Training needs analysis and evaluation. London: Institue of personnel and management. BROAD M., L, ed.lit. (1997) Transfering learning to the workplace: seventeen case studies from the real world of training. Alexandria, Virginia: ASTD BELLIER M., L., ed.lit. (1999) Ingnierie en formation dadultes. Paris: Editions Liaisons (*) CAETANO, A. (1996) Avaliao de desempenho: metforas, conceitos e prticas. Lisboa: Editora RH. CAPELA, Carlos (et al.) (2000) Mtodos e instrumentos para a antecipao de novas competncias e para a adaptao dos sistemas de formao profissional: contributo para o relatrio do Cedefop. Lisboa: Inofor. CAPUCHA, L. (et al.) (1996) Metodologias de avaliao: o estado da arte em Portugal. Sociologia problemas e prticas, n22, 1996, pp. 9-27. Edio especial sobre Metodologias de Avaliao. Lisboa: CIES/ISCTE CARNEIRO, R. (2000) 20 anos para vencer 20 dcadas de atraso educativo. In Carneiro (et al.) (2001) O futuro da educao em Portugal tendncias e

110

oportunidades: um estudante de reflexo prospectiva. Lisboa: Ministrio da Educao. Tomo I. FIGARI, G. (1996) Avaliar: que referencial?. Porto Editora FISHER, S. G. (1996) Establishing the value of training: practical tools and techniques for calculating training costs and returns. Amherst: HRD Press GARLICK, P; DES KEMP (2001) Return on investment (ROI), training model. Comunicao apresentada na conferncia Best Practice Training Evaluation (2001). Melbourne (Austrlia), 2001. GEERTSHUIS, S. (et al.) (2002) Evaluation of workplace learning. Disponvel na WWW:<URL: http://www.emerald-library.com> GOMES, J. (1999) Contributos para uma cartografia das competncias transversais: construo do real ou mito?. Lisboa: Inofor. GUBA, E., LINCOLN, Y. (1989) Fourth Generation Evaluation. Newbury Park: CA: Sage. GUPTA, K. (1999) A practical guide to needs assessment. San-Francisco: JosseyBass. HASHIM, J. (2001) Training evaluation: clients roles. Disponvel da WWW:<URL: http//www.emerald-library.com> KIRKPATRICK, D. (1998) Another look at evaluating training programs: fifty articles from training & development and technical training magazines cover the essentials of evaluation and return-on-investment. Alexandria: ASTD (*) KIRKPATRICK, D.L. (1998-A) Evaluating training programs: the four levels, 2nd ed. San Francisco: Berrett-Koehler (*) KNOWLES, M.S. (1995) Designs for adult learning: practical resources, exercises and course outlines from the father of adult learning. Alexandria, Virginia: ASTD LE BOTERG, G. (1997) De la competence la navigation professionelle. Paris: Les ditions dOrganisation (*) LE BOTERG, G. (1999) Lingnierie des competences. Paris: Les ditions dOrganisation. MAGER, R. F. (1997) Preparing instructional objectives: a critical tool in the development of effective instruction. 3rd ed. Atlanta: Center for Effective Performance.

111

MCCLELLAND, S. B. (1995) Organizational needs assessment: design, facilitation and analysis. Westport: Quorum. MEIGNANT, A. (1999) A gesto da formao. Lisboa: Publicaes D.Quixote (*) MOY, J.; MAC DONALD, R. (2000) Analysing enterprise returns on training. [Em Linha]. Disponvel na WWW:<URL: http://www.ncver.edu.au/research/proj/nr80.pdf> PATTON, M. (1997) Utilization-focused evaluation, the new century text. 3rd ed. Thousand Oaks: Sage. (*) PEREZ, C. (2001) valuer les programmes demploi et de formation: lexperience amricaine. Paris: La documentation Franaise PERRENOUD, P. (1999) - Avaliao, aprendizagens. Porto Alegre: Artmed. da excelncia regulao das

PETERSON, R. (1998) Training needs assessment: meeting the training needs for quality performance. 2nd ed. London: Kongan Page. PHILLIPS, J. J (1997) Handbook of training evaluation and measurement methods. 3rd ed. Houston: Gulf. (*) PHILLIPS, J. J (1997-A) Return On Investment in training and performance improvement programs a step-by-step manual for calculating the financial return. Improving Human Performance Series. Houston: Gulf Publishing (*) PHILLIPS, P. P. (2002) The Bottomline on ROI. Atlanta, Georgia: CEP Press. (*) PORTUGAL. Comisso Interministerial para o Emprego (2001) Terminologia de formao profissional,. Lisboa: MESS, ICT. PORTUGAL. INSTITUTO PARA A INOVAO NA FORMAO (2002) Acreditao: Guia de Apoio ao Utilizador do Sistema de Acreditao. Lisboa: Inofor. PORTUGAL. INSTITUTO PORTUGUS DA QUALIDADE (2001) ed. Lit. NP EN ISO 9000.2000: sistemas de gesto da qualidade: fundamento e vocabulrio. Elab. CT 80 (APQ). Caparica: IPQ. REIS, E. (et al.) (2001) Estatstica aplicada. Lisboa: Slabo. Vol. 2. ROBISON, D.G.; ROBISON j.c, (1989) Training for impact: how to link training to business needs and measure the results. San-Francisco: Jossey-Bass RODRIGUES, M.J. (1993) Avaliao e aprendizagem social: uma proposta de metodologia. Lisboa: Dinmia

112

ROSSI, P. (et al.)(1999) Evaluation: a systematic approach. 6th ed. Thousands Oaks: Sage. (*) SALGADO, C.M.T. (1997) Avaliao da formao: interface escola/empresa. Lisboa: Texto. SCRIVEN, M. (1991) Evaluation thesaurus. 4th ed. Newbury Park: Sage SIMPSON, P.; LYDDON, T. (1995) Different roles, different views: exploring the range of stakeholder perceptions on an in-company management development programme . Disponvel na WWW:>URL: http://www.emeraldlibrary.com> SOYER, J. (1999) Fonction formation. 2 edio. Paris: ditions dOrganisation SULEMAN, F. (et al.) (2002) Manual metodolgico: estudos sectoriais prospectivos, 2 ed. Lisboa: Inofor. TILLING, M.; NASH, P. (2000) Standards-based training and development: self-assessment, organization and trainer development strategies and tools. Aldershot: Gower. UNIO EUROPEIA. COMISSO (2000), Memorando sobre a aprendizagem ao longo da vida: documento de trabalho dos services da Comisso das Comunidades Europeias. [Em Linha]. Disponvel na WWW:<URL: http://europa.eu.int/comm/education/life/memopt.pdf> VALADARES, J. ; GRAA, M. (1998) Avaliando para melhorar a aprendizagem. Lisboa: Pltano (*) VALENTE, A. C. (1999) Perfis e Competncias estratgicas: uma perspectiva intersectorial. Lisboa: Inofor. VAN DEN BERGHE, W. (1998) Indicators in perspective: the use of quality indicators in vocational education and training. Luxembourg: Office for Official Publications of the European Communities. WALL, A,; OTTEWILL, R. (2000) Delivering contextual material on a vocational business and public sector programme. Disponvel:<URL: http://www.emerald-library.com> WEISS, C.H. (1997) Evaluation. Prentice Hall. WOODS, J.; CORTADA, J.L (2000) The 2000 ASTD Training and performance yearbook. New York: Mcgraw-Hill.

(*)Referncias bibliogrficas aconselhadas.

113