Avaliao da formao na empresa

Ficha Tcnica PRONACI

Edio 2002

Ficha Tcnica PRONACI

Avaliao da formao na empresa Fundao Manuel Leo PRONACI - Programa Nacional de Qualificao de Chefias Intermdias AEP - Associao Empresarial de Portugal Setembro de 2002

NDICE
Pgina 2

Introduo
Pgina 3

Conceitos e tipos de avaliao

Pgina 6

Porqu avaliar? Objectivos da avaliao

Pgina 7

O que avaliar? Nveis de avaliao

Pgina 10

A avaliao como uma fase no ciclo da formao

Pgina 11

Melhorias contnuas precisam-se!

Pgina 13

Dilogos sobre deformaes da formao

Pgina 15

Quem envolver? O papel da chefia intermdia

Pgina 16

Como preparar a avaliao da formao

Pgina 19

Instrumentos e procedimentos
Pgina 23

Erros que no vai cometer

INTRODUO

Valoriza-se cada vez mais a avaliao nas prticas de formao. E isto compreende-se luz de trs elementos novos: i) as empresas e outras organizaes no vem a formao como uma mera obrigao ou uma inevitabilidade, antes a consideram como uma estratgia de gesto e inovao; ii) aos responsveis pela formao ou pela execuo dos planos de formao exige-se agora o conhecimento dos resultados dos investimentos realizados em formao; iii) a formao permanente, ao longo de toda a vida, requer uma avaliao de cada etapa da formao que se desenvolve. Sendo um investimento, preciso, desde incio, prever os seus resultados. Assim, a avaliao da formao vai fazendo parte integrante dos prprios planos de formao, constituindo, medida que estes vo sendo executados, uma preciosa fonte de informao para a gesto das pessoas, ao servio das organizaes e dos seus projectos. Avaliar a formao no , contudo, uma tarefa fcil. Fcil e usual reproduzir os modelos de avaliao escolar e aplic-los avaliao da formao contnua nas organizaes. E esta uma tendncia que importa combater, evoluindo para uma avaliao mais completa e complexa do impacto da formao tanto nas pessoas e no seu desempenho como nas equipas de trabalho e na evoluo da organizao. Da, pois, esta publicao, que pretende constituir um instrumento de apoio a todos quantos esto envolvidos na formao e na gesto das pessoas, sobretudo das PME.

CONCEITOS E TIPOS DE AVALIAO

Avaliao da formao pode ser definida como a apreciao da qualidade ou do grau de eficcia de um processo de formao. Por outras palavras, a avaliao resulta de uma reflexo sobre todos os momentos e factores que intervm na formao, a fim de determinar quais podem ser, esto a ser ou foram os resultados da mesma. Esta, como qualquer outra definio, no esgota as possibilidades de sentido que a avaliao de uma aco de formao pode encerrar. De facto, uma interveno com carcter formativo, ao assumir e colocar em prtica diversos itinerrios/formatos, pode originar actividades de avaliao especficas e directamente relacionadas com uma dada vertente formativa em particular. As possibilidades de definio do que avaliao da formao podem, desde logo, estar tambm aliadas a prticas de avaliao realizadas tendo em conta tanto o momento da avaliao como o processo de avaliao. Neste sentido, a avaliao da formao quanto ao momento, dentro deste universo de possibilidades de definio, pode compreender os seguintes tipos de formao:

Avaliao inicial ou diagnstica

feita no incio da formao e serve quer para orientar os formandos quer para verificar o nvel de conhecimentos face ao tema a desenvolver e o seu posicionamento perante ele. Este tipo de avaliao de grande importncia, de modo particular, quando, previamente actividade formativa, no foi traado um perfil de entrada dos formandos.

Avaliao formativa ou contnua

feita ao longo da formao e serve para o formando identificar as suas dificuldades e verificar de que modo est a atingir os seus objectivos. Tem uma finalidade de regulao da aprendizagem e da aco do formador. Por outras palavras, permite avaliar o grau de envolvimento e interesse dos formandos pela actividade formativa e seu progresso em termos de aprendizagem.

Avaliao sumativa ou final

feita no final da formao, procurando verificar o que foi aprendido, bem como apurar a qualidade da relao pedaggica. globalizante e avalia o resultado final da formao, podendo servir para a certificar.

Avaliao prognstica
efectuada algum tempo aps o final da formao. Serve para estabelecer uma previso sobre os resultados ou sobre o comportamento posterior das pessoas avaliadas. Por outras palavras, serve para saber em que medida a actividade formativa ir contribuir para alterar qualitativamente as suas competncias profissionais a nvel de conhecimentos, aptides e atitudes.

Avaliao de impacto
Esta avaliao tem como principal objectivo apurar o impacto da aprendizagem na valorizao humana e tcnico-profissional dos formandos e na organizao. Este tipo de avaliao procura responder s seguintes perguntas: Os formandos mudaram mesmo? E a empresa ou organizao? Tambm mudou? A avaliao da formao quanto ao processo pode, por seu turno, compreender os seguintes tipos de formao:

Avaliao normativa
Este procedimento consiste em submeter um grupo de formandos ao mesmo teste. Os formandos so escalonados pelo valor obtido no teste e colocados por ordem decrescente (ou crescente). Esta avaliao consiste em estabelecer uma classificao das pessoas, na base de uma medida ou de uma observao.

Avaliao criterial
Pretende-se verificar os conhecimentos alcanados pelos formandos, em funo de um critrio, que so os objectivos ou comportamentos que tm que adquirir. Este critrio absoluto e no depende dos outros formandos. No raras vezes a definio de avaliao confundida com outras definies vizinhas e que tambm encerram prticas e princpios de avaliao. Neste sentido, til referenciar aqui as definies de avaliao do nvel de formao, de avaliao de competncias e tambm as definies, pelo menos duas, do mbito da avaliao e certificao. A avaliao do nvel de formao pode ser entendida como a apreciao dos conhecimentos obtidos num curso ou programa de formao, podendo exigir uma prova de conhecimentos ou um exame final.

A avaliao de competncias tem vindo a ganhar uma importncia crescente, dado que muitas vezes no existe uma correspondncia necessria entre a aquisio de saberes e a capacidade para os mobilizar ou aplicar no contexto de trabalho. De facto, deter um saber no confere a capacidade de o usar nos vrios contextos laborais e de vida. Por outro lado, a crescente desvalorizao dos certificados escolares tem originado, por parte das entidades empregadoras, a procura de colaboradores que apresentem um leque de competncias, para alm das tradicionais credenciais escolares. Cada vez mais os processos de avaliao podem ter como intuito a certificao. Neste sentido, podemos falar de certificao da formao profissional ou de certificao profissional. A certificao da formao profissional o reconhecimento oficial do saber ou do saber-fazer adquiridos em aces de formao, tendo em conta a natureza das aces. Esta certificao pode ter em conta o reconhecimento de formaes e a correspondncia de qualificaes no mbito da Unio Europeia. A certificao profissional consiste no reconhecimento e na comprovao da formao, da experincia adquirida ou das qualificaes profissionais, bem como a verificao de outras condies requeridas para o exerccio de uma dada actividade profissional. um processo mediante o qual reconhecido oficialmente o nvel de qualificao, o saber e o saber-fazer e emitido um certificado. Note-se, finalmente, que crescente o nmero de pessoas que alcana um emprego e que acede formao, ao longo da vida, sem que haja lugar seja verificao das certificaes seja emisso de certificaes da formao.

PORQU AVALIAR? OBJECTIVOS DA AVALIAO

Apesar de subsistirem dvidas, diramos quase eternas, sobre qual a melhor forma de proceder ou quais as melhores prticas a adoptar na avaliao da formao, parece-nos que todos os actores directa ou indirectamente relacionados com a formao demonstram interesse em conhecer os resultados, os impactos e o valor acrescentado da formao em que esto envolvidos e para a qual, cada um sua maneira, contribuem. Certamente com posicionamentos diferentes, todos os intervenientes na formao reveriam e melhorariam a sua actuao, a vrios nveis, se pudessem contar com uma informao e avaliao credvel sobre a formao realizada. De facto, por um lado, muitos responsveis e dirigentes querem saber os resultados que as suas empresas obtm com as aces que realizam e promovem. Por outro, os formadores e gestores de formao querem saber qual o impacto que os seus programas tm nos indivduos e nas empresas e, por outro lado ainda, os formandos e as suas chefias querem saber que tipo de valor acrescentado podem esperar do tempo que passam fora do local de trabalho para participar em aces de formao. Estas questes fornecem, desde logo, o mote para estabelecer, acolher e articular vontades em conhecer e acompanhar, por via de prticas de avaliao, todas as fases de um programa de formao. Cada empresa, ao mobilizar recursos para empreender um programa de formao, deve, antes de mais, preocupar-se em definir o que para a empresa um programa de formao bem sucedido. Com as devidas adaptaes ao contexto especfico, actual e desejvel de cada empresa, podemos definir que um programa de formao bem sucedido quando os participantes certos (seleco) desenvolvem os conhecimentos, os comportamentos e as atitudes esperadas, atravs de processos de aprendizagem fomentados por mtodos, meios e formadores adequados, no momento e no local certo, de forma a satisfazer as necessidades do indivduo e da organizao em que se insere.

O QUE AVALIAR? NVEIS DE AVALIAO

Como vimos, dependendo do tipo de avaliao e dos seus objectivos, o que objecto de avaliao pode assumir diferentes nveis e configuraes. Os resultados de um processo de avaliao podem estar orientados, entre outros, para o conhecimento: das diferenas entre os objectivos e referenciais inicialmente fixados e os resultados efectivamente alcanados; dos efeitos da formao ao nvel do desempenho dos formandos nos postos de trabalho; dos factores explicativos que esto na base dos resultados esperados, quer estes tenham sido superados quer tenham ficado aqum do esperado. Uma das metodologias mais referenciadas em toda a investigao sobre avaliao a de Donald Kirkpatrick, que, h mais de quarenta anos, identificou os seguintes quatro nveis de avaliao: Nvel 1 Reaco Os formandos gostaram do curso? uma das formas mais tradicionais e usadas para avaliar. fcil, rpida e com baixo custo de aplicao. Os resultados negativos podem significar dificuldades de aprendizagem no curso. Nvel 2 Aprendizagem Os formandos aprenderam com base nos objectivos do curso? A aprendizagem pode ser medida atravs de pr e ps-testes, bem como atravs de testes escritos ou testes de performance. Nvel 3 Comportamento O comportamento dos formandos no posto de trabalho mudou? Os formandos aplicam o que aprenderam? Difcil de operacionalizar. Podem ser utilizados questionrios ou grelhas de observao, aps a formao. Nvel 4 Resultados Qual o impacto da formao na organizao? Trata-se de avaliar o impacto da formao em termos de resultados na actividade da empresa. Este nvel de avaliao geralmente aplicado a cursos de formao que procuram resolver problemas especficos causados por falta de conhecimentos e qualificaes. O autor nunca define, de uma forma simples e clara, como se processa este nvel de avaliao. D alguns exemplos, entre outros, de redues nos custos e no absentismo. Apesar de ser um nvel de avaliao bastante atractivo e almejado por vrias empresas, a sua

aplicao extremamente difcil. As dificuldades em estabelecer relaes causais directas entre formao/resultados da empresa, bem como a dificuldade em isolar factores de influncia nos resultados, no permitem afirmar, categoricamente, que uma dada aco de formao originou um aumento percentual de x nos resultados y da empresa. Se estabelecemos relaes directas entre uma dada formao e um certo tipo de resultados, podemos estar a enredar muitos outros factores, externos formao, e que podem ter actuado em simultneo para a obteno desses mesmos resultados. Mais recentemente, temos vindo a assistir emergncia de um novo nvel de avaliao, que procura ir um pouco mais alm do nvel 4. Nvel 5 Retorno do investimento (ROI Return On Investment) O retorno do investimento a comparao, em valores monetrios, dos resultados lquidos obtidos face ao custo do programa formativo (expresso em percentagens). Este novo nvel de avaliao tornou-se muito popular. Muitos directores no esto dispostos a empreender um projecto de formao se no lhes garantido um bom nvel de retorno do investimento que foi exigido para o levar a cabo. No lhes basta bons resultados, querem garantir uma recuperao do investimento. importante no confundir Retorno do investimento com ndice custo/ benefcio. Vejamos a diferena: IBC = Benefcios brutos da formao Custos do programa

ROI =

Benefcios lquidos da formao Custos do programa

Suponhamos o seguinte exemplo: Os custos de um dado programa de formao so 20.000 euros e os benefcios so de 100.000 euros (os benefcios podem ser calculados com base em mltiplos indicadores, tais como o aumento de produtividade e a reduo de absentismo, entre outros); logo: IBC = ROI = 100.000 20.000 80.000 20.000 =5 x 100 = 400%

Como se pode constatar, a diferena fundamental consiste no facto de o IBC considerar os benefcios brutos e o ROI considerar os benefcios lquidos, descontando os custos e sendo expresso em percentagens. O problema de fundo deste quinto nvel de avaliao consiste em isolar os benefcios ligados directamente ao programa de formao, isto , saber como quantific-los separadamente. Esta tcnica tem, evidentemente, dificuldades, mas, apesar disso, no deixa de ser um exerccio relevante. Mas afinal o que que se pode avaliar? Muitos elementos se podem avaliar. Por exemplo: - Os objectivos da formao; - As necessidades de formao; - A satisfao dos formandos; - Os mtodos pedaggicos; - O desempenho dos formandos; - O desempenho dos formadores; - A competncia dos formadores; - A adequao dos contedos; - A adequao dos programas aos formandos; - A durao da aco de formao; - A documentao de apoio; - O material pedaggico; - O funcionamento do grupo de formao; - A participao dos formandos; - As relaes entre formandos e entre formandos e formadores; - As condies materiais e ambientais; - A aplicao dos conhecimentos adquiridos; - O grau de cumprimento dos resultados previstos; - Os efeitos inesperados da formao; - As mudanas no meio envolvente; - O impacto na instituio / empresa; - ... Esta listagem, que no exaustiva, mas indicativa, serve para salientar que a focagem da avaliao depende sobretudo dos objectivos e das finalidades da avaliao.

10

A AVALIAO COMO UMA FASE NO CICLO DA FORMAO

Olhar para a formao como um ciclo possibilita perspectivar as actividades e intervenes de carcter formativo como algo que no se esgota no momento em que se efectiva a realizao de uma dada aco de formao.

O ciclo da formao
Concepo

Planeamento

Organizao

Diagnstico

Desenvolvimento

Avaliao

De facto, de entre os vrios domnios de interveno (expresso da responsabilidade do INOFOR para designar as fases de um processo formativo), no constituir exagero afirmar que a avaliao tem vindo a constituir o centro prioritrio das atenes. Da avaliao das entidades formadoras (a acreditao junto do INOFOR) importncia crescente atribuda pelo IEFP aos momentos avaliativos que fundamentam (diagnstico de necessidades) e validam (acompanhamento e avaliao) os projectos de formao submetidos a financiamento, passando pelo controlo exercido pelo Departamento de Homologao de Cursos de Formao Inicial de Formadores do IEFP (em particular, no que diz respeito ao intensificar de exigncias na definio/estruturao das estratgias avaliativas) e ainda pela emergncia de um movimento nacional no sentido da certificao de competncias, so vrios os indicadores a fazer crer que a avaliao , cada vez mais, entendida como uma pea central do processo formativo, assumindo a tripla funo de diagnosticar, regular e certificar. No entanto, este contexto de exigncias no parece ter vindo a encontrar suficiente eco no que diz respeito s capacidades e competncias avaliativas instaladas, quer por entidades formadoras quer por formadores. No caso das entidades formadoras, atente-se na diminuta percentagem de entre elas que obteve acreditao nos domnios do diagnstico de necessidades (na prtica, o primeiro momento avaliativo de uma aco de formao) e do acompanhamento e avaliao da formao. Esta , efectivamente, uma das reas em que importa promover melhorias sensveis nos processos de formao.

11

MELHORIAS CONTNUAS PRECISAM-SE!

A formao conheceu nos ltimos anos um grande incremento, tornando-se uma forte aliada das empresas, que reconhecem que necessrio manter os seus colaboradores a par de novos mtodos, tcnicas, tecnologias ou conceitos. As mudanas no mundo empresarial so constantes, situando-se estas no s no plano tecnolgico como tambm no plano organizacional e no domnio das atitudes. No raras vezes as mudanas procuradas pelas empresas situam-se sobretudo ao nvel dos comportamentos e da maneira de pensar perante novas exigncias de desempenho profissional. A avaliao da formao pode dar um contributo precioso, fornecendo novas referncias e sugestes de aperfeioamentos para incorporar tanto no decurso de aces de formao como em futuras aces. Para alm das melhorias que se podem introduzir nos dispositivos de formao, muitas vezes as informaes obtidas a partir de processos contnuos de avaliao tambm permitem, inclusive, transportar de novo e directamente para o universo laboral ideias, sugestes e solues vlidas e directamente aplicveis. A formao e a sua avaliao so duas faces de uma mesma moeda que fomentam a melhoria das organizaes, na medida em que procuram que as actividades formativas sejam consequentes, ajustadas e com impacto positivo nos processos de trabalho. As repercusses da formao ao nvel dos processos de trabalho s podem ser apreendidas se a sua avaliao for de facto aproveitada e incorporada em processos de melhoria contnua. De facto, saber que uma dada aco correu bem ou mal no chega. preciso conhecer os desvios entre uma situao desejada e a situao a que efectivamente chegmos. A avaliao deve ajudar-nos a (re)pensar as situaes-problema na ptica da sua soluo. Mais do que proceder meramente ao controlo de resultados, importante aliar s actividades formativas momentos de reflexo interactivos para captar efeitos de mudana. Por outras palavras, importante aliar a prtica anlise, transformar uma vivncia numa experincia que ajude a tomar conscincia, a verificar o valor e atribuir um sentido ao que feito em formao. Esse sentido assume cada vez mais importncia enquanto sentido de mudana, de mudana necessria e contnua. Avaliar como aprender, um processo contnuo. A avaliao ganha um sentido acrescido e utilitrio a partir do momento em que percebida como um processo de aprendizagem e conhecimento contnuos. Se verdade que uma aco de formao isolada s por si no provoca a mudana, tambm verdade que uma avaliao de uma dimenso isolada no se revela til. importante captar,

12

absorver e adaptar os resultados da avaliao e inseri-los nas actividades formativas de forma contnua. O desenvolvimento das organizaes e dos indivduos que as integram um processo que implica mudanas, sendo importante acolher a formao enquanto oportunidade facilitadora para que essas mudanas ocorram. Cabe avaliao fornecer o sentido do que feito, encontrar formas para que as melhorias desejadas sejam, de facto, alcanadas.

13

DILOGOS SOBRE DEFORMAES DA FORMAO

A necessidade de reduzir os atrasos em termos de qualificaes profissionais tem levado os poderes pblicos a promover e a disponibilizar recursos financeiros para a realizao de aces de formao profissional. Em Portugal e em especial a partir da chegada dos fundos comunitrios, registou-se uma exploso da actividade formativa sem precedentes. No entanto, como do conhecimento geral, a par de bons exemplos de prticas formativas verdadeiramente inovadoras e portadoras de mais-valias para os indivduos e para as organizaes, emergiram tambm algumas prticas formativas menos boas. Quando falamos em formao e, em particular, em avaliao da formao, existe sempre a necessidade de perceber as intenes que esto na origem da realizao de uma dada aco de formao. Na base da realizao de uma aco deve existir sempre um conjunto de necessidades reais que a justifiquem e sustentem. Quando estas necessidades no existem ou quando as trajectrias de chegada dos indivduos formao no so acompanhadas por alguma vontade prpria em mudar, aprender, aperfeioar ou progredir, as avaliaes que se fizerem apontaro sempre para resultados dbeis. No a avaliao que endireita a sombra de uma vara torta. Para demonstrar aquilo de que estamos a falar, de seguida apresentamos algumas deformaes ou falsas utilizaes da actividade formativa referenciadas por Paulo da Trindade Ferreira, em parte, citando Jean Dubois. Ambas as referncias s deformaes esto guarnecidas com afirmaes frequentemente ouvidas a dirigentes e gestores. curioso notar que, apesar de o autor citado ter utilizado estes qualificativos em 1971, estes revelam um grande realismo e oportunidade nos nossos dias. A Formao-castigo Do director de produo para o encarregado de manuteno: Se a avaria de ontem tornar a repetir-se, vejo-me forado a mand-lo para um curso de formao. A Formao-recompensa Do gerente da empresa para o tcnico administrativo: Dada a grande fidelidade que sempre tem demonstrado, a gerncia decidiu mand-lo tirar um curso de formao. A Formao-tapa-buracos De um gestor de formao para um cliente: Quando a carteira de encomendas baixa, entretemos os trabalhadores com uns cursinhos de formao. uma forma de estarem ocupados.

14

A Formao-frias Do director comercial para o adjunto: Se o curso em que vai participar no interessar, aproveite o tempo... e descanse. A Formao-analgsico Do director de pessoal para um consultor externo: Para acalmar os refiles, nada melhor do que despach-los para um curso de formao. Vm de l mansos que nem uns cordeiros. A Formao-moda De um gerente de empresa: Para que no digam que a nossa empresa est ultrapassada ou j perdeu o comboio, vamos comear a organizar umas aces de formao. A Formao-enlatado De um director-geral para um administrador: No podemos perder muito tempo com essas coisas da formao. Sempre que precisamos de um curso, encomendamo-lo a empresas de fora que j tm tudo confeccionado. A Formao-saque De um director financeiro para um director de pessoal: Para ver se tambm nos calha algum, contratamos um consultor para fazer um projecto de formao e tratar da papelada necessria. A Formao-engodo De um director de produo para um chefe de equipa: Se, para nos candidatarmos aos financiamentos para a modernizao das empresas, nos obrigam a fazer determinadas horas de formao, h que faz-las, custe o que custar. A Formao-seca De formandos para formador: De vez em quando, fazem-se l na empresa uns cursos que ningum sabe bem para que servem. Chamam um craque de fora, que, durante horas seguidas, faz ao pessoal uma verdadeira lavagem ao crebro....

15

QUEM ENVOLVER? O PAPEL DA CHEFIA INTERMDIA

Um processo de avaliao entendido como um processo de anlise e reflexo dever envolver um leque alargado de interlocutores. Este envolvimento tanto mais importante quanto esperamos que da formao haja resultados positivos nas pessoas e nas organizaes. Neste sentido, para alm dos formandos e formadores que tm um envolvimento directo na formao, h que perspectivar a participao das chefias intermdias. Em qu e como pode ser eficaz a aco das chefias intermdias nas empresas, sobretudo nas PME? a) na identificao das lacunas de formao nos colaboradores a formar; b) na ajuda definio dos objectivos da formao, dando informaes pertinentes e oportunas; c) na mobilizao e incentivo dos colaboradores das equipas de trabalho para adeso formao; d) no incentivo aos colaboradores em formao e j formados a aplicar os conhecimentos e competncias adquiridos; e) cooperando na avaliao do impacto real da formao na organizao; f ) contribuindo para melhorar a eficcia e eficincia da formao. Por estas razes, a chefia intermdia pode constituir uma pea-chave no processo de avaliao da formao, devendo ser eleita o elemento prioritrio, a ser ouvido e envolvido em qualquer processo avaliativo.

16

COMO PREPARAR A AVALIAO DA FORMAO

A - Antes e durante a preparao da formao

1. Definio dos objectivos e resultados esperados da avaliao: - Hierarquia - Chefia directa - Formandos - Formador - Servio de formao. 2. Listagem dos aspectos que vo ser objecto de avaliao. 3. Definio de indicadores, em funo dos objectivos da formao e da avaliao. 4. Definio dos papis dos diferentes actores no processo de avaliao, para cada um dos objectivos e em cada momento da avaliao (fornece informaes / informado / valida / participa / conduz / anima directamente). 5. Concepo dos instrumentos de avaliao a utilizar. 6. Concepo do dispositivo de avaliao. 7. Divulgao do dispositivo de avaliao. Instrumentos: entrevistas; questionrios; reunies.

17

B - Durante a formao
1. Apreciao pelos formandos das componentes da aco de formao, no final da cada mdulo / aco de formao. Instrumentos: entrevistas; questionrios; reunies.

2. Avaliao pelos formadores dos componentes da aco de formao, no final de cada mdulo / aco de formao. Instrumentos: entrevistas; questionrios; reunies.

3. Avaliao da aprendizagem realizada. Instrumentos: testes; grelhas de observao.

4. Aplicao dos conhecimentos no posto de trabalho (sobretudo se se tratar de formao em alternncia ou formao-aco). Instrumentos: dirio de bordo; relatrios; observao directa; entrevista chefia directa; reunies.

5. Divulgao de informao seleccionada aos diferentes actores, para garantir o seu envolvimento e mant-los informados. Instrumentos: comunicaes internas; boletim da empresa; reunies.

18

C - Depois da formao
1. Aprendizagem efectiva. Instrumentos: grelhas de observao; questionrios; entrevistas; reunies.

2. Repercusses da formao observadas pela chefia directa. Instrumentos: entrevistas; reunies.

3. Aplicao dos conhecimentos adquiridos e seus resultados. Instrumentos: reunies com formandos e chefias; informaes de gesto e produo.

4. Efeitos inesperados da formao. Instrumentos: entrevistas individuais; observaes da hierarquia.

5. Novos pedidos de formao. Instrumentos: entrevistas com a hierarquia sobre os projectos do servio; elementos decorrentes da avaliao do desempenho; anlise de pedidos individuais.

Em sntese:
Avaliar a formao , pois, uma forma de encontrar um sentido, compreender um investimento, apreender uma direco que norteie a melhoria contnua do desempenho dos indivduos e das organizaes.

19

INSTRUMENTOS E PROCEDIMENTOS

A avaliao da formao , como j vimos, um processo amplo e complexo que supe a necessidade de recolher informao em diferentes momentos e a diferentes nveis tendo em vista a melhoria do dispositivo de formao e dos seus resultados. Para levar a cabo um processo de avaliao importa, por um lado, levantar um conjunto de questes, no sentido de estabelecer os critrios de escolha dos instrumentos de avaliao e as condies necessrias utilizao dos instrumentos de avaliao. Por outro lado, importante observar os pontos-chave para construir um projecto de avaliao e ter a noo que importante privilegiar a utilizao de mais de um instrumento. Neste sentido e antes da apresentao de alguns instrumentos de avaliao, passamos em revista cada um dos aspectos mencionados.

Critrios de escolha dos instrumentos de avaliao

1. Em que medida correspondem aos objectivos enunciados? 2. Custos (elaborao; aplicao; tratamento da informao). Em funo das informaes a recolher e da sua complexidade, qual o tempo a investir no tratamento das respostas? 3. Grau de adeso dos actores. Quais as facilidades e dificuldades que o instrumento apresenta para o actor a quem deve ser aplicado (formando, chefia directa, etc)? Qual a utilidade para o actor? 4. Grau de integrao no processo de formao. Como apresentado? Que tempo lhe consagrado? Qual a utilizao prevista para os resultados (sob que forma sero apresentados? Em que prazos?) 5. Grau de utilizao das informaes existentes. Em que medida so exploradas as informaes de gesto corrente da empresa? 6. Grau de adeso de quem tem que aplicar o instrumento (formador, responsveis operacionais). Quais as precaues tomadas para que o utilizador do instrumento de avaliao esteja ao corrente dos seus objectivos, da forma de aplic-lo correctamente?

20

Condies necessrias utilizao dos instrumentos de avaliao

1. Clareza quanto finalidade da avaliao 2. Clareza quanto s regras do jogo: utilizao dos resultados, confidencialidade. 3. Compreenso da utilidade do instrumento por parte de todos os actores. 4. Retorno rpido da informao. 5. Compreenso das mudanas produzidas pela avaliao. 6. Facilidade de utilizao (contedo, linguagem, apresentao).

Pontos-chave para construir um projecto de avaliao

1. Quem avalia? 2. O que vai ser avaliado? 3. Quem so os destinatrios da avaliao? A utilizao que cada um dos destinatrios pode fazer dos resultados da avaliao determina o tipo e tratamento das informaes a prestar-lhe. A avaliao de um determinado aspecto da aco de formao, dirigida ao responsvel pela formao, no tem o mesmo contedo que a enviada ao responsvel hierrquico. Do mesmo modo, o responsvel pela formao ou o formador podem apoiar-se nos resultados da avaliao para iniciarem um dilogo com o responsvel operacional; este pode basear-se na avaliao para fazer evoluir determinados aspectos do funcionamento do seu servio. 4. Em que contexto decorre a formao e vai fazer-se a avaliao? A anlise do contexto permite esclarecer os constrangimentos ou limitaes que devem ser respeitados pelo processo de avaliao (normas, prazos, meios, etc.). 5. Com que finalidade? A deciso sobre o mtodo de avaliao a utilizar (participativo, conduzido por um especialista, etc.) e os instrumentos de avaliao a aplicar depende da finalidade principal da avaliao.

A resposta a estas cinco perguntas permite definir o conjunto de instrumentos a utilizar na avaliao da aco de formao.

21

Porqu utilizar um conjunto de instrumentos?

- Porque a aplicao isolada de um instrumento pode corresponder mais a um juzo, enquanto vrios permitem avaliar a tendncia, as variaes, a complexidade, os vrios intervenientes. - Porque cada momento do processo de formao presta-se a diferentes tipos de avaliao. - Porque cada objectivo de avaliao requer um instrumento apropriado.

Segue-se uma listagem de instrumentos de avaliao e uma explicitao das condies da sua utilizao.

Instrumentos de avaliao
1. Observao (pelo menos meio dia) Vantagens: Contacto directo com o terreno. Desvantagens: Custos em tempo (construo de grelhas de observao; tempo de observao; explorao dos resultados). 2. Entrevista individual semiestruturada (uma hora/pessoa aproximadamente) Vantagens: Contacto personalizado; possibilidade de expresso livre. Desvantagens: Custos em tempo (preparao da entrevista; entrevista; tratamento da informao); a imagem global fornecida acentua as opinies individuais, em detrimento das colectivas ou institucionais. 3. Entrevista de grupo pouco estruturada (cerca de 1 h 30 m) Vantagens: Economia de tempo; possibilidade de analisar a situao para alm da expresso individual. Desvantagens: Influncia do clima ou caractersticas do grupo pode ser inibitria da expresso individual; falta de tempo para recolha de opinies individuais. 4. Reunio (cerca de 1 h 30 m) Vantagens: Economia de tempo; possibilidade de tomar decises; implicao da hierarquia.

22

Desvantagens: Carcter oficial; peso da participao dos responsveis hierrquicos; pouca participao dos formandos na organizao da reunio. 5. Questionrios (5 a 20 minutos) Vantagens: Economia de tempo na recolha da informao; possibilidade de utilizar diferentes questionrios (annimo/identificado; curto/extenso, etc.), com diferentes apresentaes (perguntas abertas/fechadas; grficos para completar; perguntas de escolha mltipla; frases para completar; etc.) em diferentes momentos da formao. Desvantagens: Necessidade de esquematizar os aspectos propostos; custos em tempo de elaborao; necessidade de conceber questionrios especficos, de acordo com os objectivos a atingir e o aspecto a observar. 6. Utilizao de diversos tipos de informao decorrentes da actividade da empresa (Gesto, Produo, etc.) Vantagens: Ligar a formao aos objectivos da empresa; implicar a hierarquia. Desvantagens: As informaes no tm relao directa com a aco de formao, pelo que tm muitas vezes de sofrer adaptaes. 7. Aplicaes informticas, software especfico ou desenvolvido medida.

23

ERROS QUE NO VAI COMETER

Um processo rigoroso de avaliao da formao dever facultar informao credvel e, tanto quanto possvel, liberta de alguns procedimentos e decises menos correctos. Sem pretendermos ser exaustivos, de seguida apresentamos um conjunto de causas e/ou factores que com frequncia originam a ocorrncia de equvocos, imprecises e/ou resultados avaliativos dbeis: Factores de no qualidade: - A formao no resulta de necessidades, estratgicas ou operacionais, devidamente explicitadas e resultantes de processos credveis de anlise e diagnstico. - Ausncia de coerncia e eficincia nos sistemas de formao, em termos de programas adequados, com processos pedaggicos que privilegiem as aprendizagens em ambientes mais prximos da produo. - A formao implica investimentos desmesurados para os resultados pretendidos. - As empresas e outras organizaes, aquando da organizao da formao, no criam condies de acolhimento que potenciem a transferncia e a manuteno do saber adquirido para o contexto do trabalho. Enquanto avaliadores, h que proceder com alguns cuidados: - No efectuar, abusivamente, juzos de valor directamente centrados nas pessoas. - No utilizar critrios implcitos, ainda que evidentes, mas que no foram explicitados, em referncia a vivncias pessoais. - No atribuir formao todas as aquisies de capacidades observveis num dado momento. Factores de subjectividade do avaliador: - Ausncia de critrios comuns. A maior parte dos enviesamentos e da subjectividade presente na avaliao tem como causa a ausncia de critrios comuns aos diferentes avaliadores. Com objectivos definidos, explicitados e partilhados, evita-se a utilizao de critrios pessoais, necessariamente diferentes entre avaliadores. Neste sentido, o processo de avaliao/verificao das aquisies/evolues torna-se mais objectivo e comummente aceite. - Informao prvia. Geralmente, o conhecimento de informao prvia relativa aos formandos tende a influenciar o avaliador, podendo influenciar o

24

juzo, ideia e opinio e, deste modo, criar um preconceito, tendo repercusses sobre a avaliao; - Efeito de halo. Diz respeito impresso produzida por uma pessoa que, ao ser posteriormente avaliada, pode condicionar a avaliao no sentido da impresso produzida (positiva ou negativamente); - Efeito de estereotipia. Tem a ver com o preconceito criado acerca de um dado formando, fazendo com que a avaliao tenha sempre um dado sentido, independentemente da sua evoluo ou retrocesso. Os bons tendem a avaliar-se sempre bem e os maus sempre mal. - Efeito de ordem de avaliao. Tambm designado por efeito contraste. A subjectividade est aqui presente por via da comparao entre avaliaes. Se, por exemplo, efectuada uma avaliao excelente sobre um formando num dado momento, a avaliao seguinte de outro formando normal tende a ser medocre. O inverso pode tambm ocorrer. - Infidelidade do mesmo avaliador. Resulta da discordncia ou infidelidade do mesmo avaliador em avaliaes sobre o mesmo objecto de avaliao, em momentos diferentes. A razo principal desta subjectividade pode encontrar-se na ausncia de critrios rigorosos ou, ainda, em alteraes de comportamento do avaliador, estado fsico, mental, etc.. Avisado sobre estes possveis desvios nas prticas de avaliao, o avaliador pode evitar cair em equvocos e falhas que possam desvirtuar de modo evidente os resultados do processo de avaliao.

BIBLIOGRAFIA GERAL

BENTO, Lus e SALGADO, Cristina Tavares. A formao pragmtica Um novo olhar, Cascais: Editora Pergaminho, 2001 CMARA, Pedro B. Da. Humanator Recursos humanos e sucesso empresarial, Lisboa: Publicaes D. Quixote, 1997 CRUZ, Jorge Valadas Preto, Formao Profissional em Portugal Do Levantamento de necessidades de formao, Lisboa: Edies Silabo, 1998 FERREIRA, Paulo T., Guia do Animador Animar uma actividade de formao, Lisboa: Multinova, 1999 HADJI, Charles, A Avaliao, regras do jogo Das intenes aos instrumentos, Porto: Porto Editora, 1994 MO-DE-FERRO, Antnio, Na Rota da Pedagogia, Lisboa: Edies Colibri, 1987 MARC, Edmond e GARCIA-LOCQUENEUX, Guia de mtodos e prticas em formao, Instituto Piaget, 1995 MNDEZ, J.M. lvarez, Avaliar para conhecer, examinar para excluir, Porto: Edies ASA, 2002 PAIN, Abraham, valuer les actions de formation, Paris: Les ditions dOrganisation, 1992 PARRY, Scott B. Evaluating the impact of training a collection of tools and techniques, Alexandria: ASTD, 1997 ROLDO, Maria do Cu et al., Avaliao do impacto da formao: um estudo dos centros de formao da Lezria e Mdio Tejo 1993/1998, Lisboa: Edies Colibri, 2000 TIRA-PICOS, Antnio, A avaliao da formao profissional, Lisboa: IEFP, 1990

A produo de ferramentas de trabalho para os encarregados e para as chefias intermdias das nossas empresas constitui uma das tarefas mais importantes do PRONACI.
AEP - Associao Empresarial de Portugal

O desenvolvimento integrado das empresas depende cada vez mais de projectos que recorrem a metodologias e instrumentos de formao diferenciados e adaptados aos seus destinatrios.
Gpf - Gabinete de Coordenao de Parcerias e Formao Profissional

UNIO EUROPEIA Fundos Estruturais

AEP - Associao Empresarial de Portugal PRONACI - Programa Nacional de Qualificao de Chefias Intermdias 4450-617 Lea de Palmeira Tel.: 22 998 15 00 / Fax: 22 998 17 71 www.aeportugal.pt/pronaci