capa/contra-capa

06/06/19

12:21

Page 1

Coleco Metodologias - O ciclo formativo

Guia
GOVERNO DA REPBLICA PORTUGUESA Ministrio do Trabalho e da Solidariedade Social

para a avaliao da formao

Projecto apoiado pelo Programa Operacional de Assistncia Tcnica do QCAIII - Eixo FSE

capa/contra-capa

06/06/19

12:21

Page 2

Catalogao na publicao Portugal. Instituto para a Qualidade na Formao Guia para a Avaliao da Formao (Metodologias de formao O ciclo formativo) ISBN: 972-8619-84-7 CDU 377

Editor

Instituto para a qualidade na Formao, I.P.

Autor

Instituto para a Qualidade na Formao, I.P.

Ttulo

Guia para a Avaliao da formao

Coleco

Metodologias de formao O ciclo formativo

Produo de contedos

Zelinda Cardoso
Colaborao

Joo Passeiro
Local de edio

Lisboa
1 Edio

Maio 2006
ISBN

972-8619-84-7
Depsito Legal

21822/04
Concepo grfica e paginao

Dupladesign, Lda
Produo grfica

Palmigrfica, Lda
Tiragem

2.500 exemplares Instituto para a Qualidade na Formao, I.P. 2006

capa/contra-capa

06/06/19

12:21

Page 4

Instituto para a Qualidade na Formao, I.P. Ministrio do Trabalho e da Solidariedade Social Av. Almirante Reis, 72 1150-020 Lisboa Tel.: +351 218 107 000 Fax: +351 218 107 191 E-mail: iqf@iqf.gov.pt www.iqf.gov.pt

O Guia para a Avaliao da Formao constitui uma proposta de trabalho que apresenta como objectivo central apoiar as entidades e profissionais que intervm no domnio da avaliao da formao. Remete quem avalia para um conjunto de reflexes a realizar antes, durante e aps a execuo da formao, nas quais se desafiam os vrios actores que intervm na formao a serem parceiros activos durante a preparao e implementao das estratgias avaliativas. Para tal, este guia disponibiliza um conjunto de instrumentos que visam apoiar a operacionalizao das vrias estratgias recomendadas no mbito da abordagem PERTA, proposta de interveno que orienta todo o percurso do avaliador ao longo das vrias fases e processos que a constituem.

IS BN: 972-8619-84-7

9 789728 619848
GOVERNO DA REPBLICA PORTUGUESA Ministrio do Trabalho e da Solidariedade Social Projecto apoiado pelo Programa Operacional de Assistncia Tcnica do QCAIII - Eixo FSE

ndice

06/06/19

14:26

Page 1

ndice

06/06/19

14:26

Page 2

ndice

06/06/19

14:26

Page 3

Nota de abertura
O novo paradigma de organizao do trabalho, baseado em maiores nveis de descentralizao e partilha do poder de deciso, centrado em projectos que se alimentam de grupos de competncia, desenvolvido por equipas de constituio flexvel, usando fluxos intensos de informao horizontal e/ou vertical, orientadas sobretudo para os resultados e no tanto para processos, desenvolvidos em mais sofisticados contextos tecnolgicos, determina uma necessidade crescente de saber agir, em ambientes de maior exigncia, seja do ponto de vista dos conhecimentos tcnicos, seja no domnio das competncias relacionais. A tremenda velocidade a que a informao criada e circula actualmente em espao pblico, beneficiando do fantstico desenvolvimento das infra-estruturas tecnolgicas de apoio, tornou imperiosa, ao nvel das empresas e organizaes, a partilha do conhecimento, de forma aberta e permanente. Como refere Peter Druker: As organizaes no podem consistir no entalhamento mecnico de recursos. bvio que os nicos recursos susceptveis de crescimento so os humanos, os outros regem-se pelas leis da mecnica, podem ser melhor ou pior utilizados, mas nunca podem alcanar um rendimento superior soma das suas componentes. A fora de vontade para estar permanentemente atento, ser pr-activo na sugesto de alteraes e melhoria de circuitos, procedimentos, condies de trabalho, em ordem a obter melhores resultados, os quais possam gerar mais e melhores retornos, sinnimo de uma ambio no somente de carcter individual, mas tambm de natureza colectiva, constituindo-se no verdadeiro motor da evoluo social e econmica. A evoluo da atitude face ao trabalho, com a concomitante preocupao de melhoria contnua de saberes e competncias so, em nosso entender, elementos de influncia decisiva na produtividade e fonte geradora de riqueza, possibilitando a melhoria de condies de vida, e assim reforando uma postura de renovada procura na melhoria pessoal e profissional, j que se trata de algo social e economicamente vantajoso, perpetuando um sem-fim virtuoso em que, novos problemas e desafios implicam a necessidade de aprendizagens, alcanando-se dessa forma novas solues e novos paradigmas, os quais no deixaro de originar novos desafios e por isso novas aprendizagens. Este o contexto em que o Instituto para a Qualidade na Formao edita mais um trabalho da coleco Metodologias Ciclo formativo, desta vez sobre a Avaliao da Formao, objectivando a edio de um produto que efective um apoio muito prtico, a entidades formadoras, formadores, professores, outros profissionais da formao, ou mesmo outros profissionais que operando no seio das empresas e organizaes, detm responsabilidades no processo de desenvolvimento dos respectivos colaboradores. Avaliar de fundamental importncia no contexto de um processo formativo, na medida em que permite ajustar a execuo ao objectivado, sendo certo que o conceito de avaliar, pode ser valorizado num contexto bem mais abrangente mas, pensamos, mais apropriado, e que tem que ver com a noo de Accountability que lhe subjaz, ou seja, pelos resultados decorrentes da avaliao podemos no somente dar contas sobre o interesse, efectividade e relevncia do trabalho realizado, mas tambm dar-nos conta dos ajustamentos a efectuar, seja no decurso do processo, seja na perspectivao de intervenes futuras.

ndice

06/06/19

14:26

Page 4

Neste sentido esperamos que este novo trabalho merea o acolhimento pblico que os seus congneres anteriormente editados mereceram, constituindo-se numa ferramenta de trabalho til que, mais do que definir limites aos seus utilizadores, potencie frutuosos processos de partilha e de aprendizagem, que se repercutam numa melhoria de qualidade e efectividade dos processos formativos, criando valor para pessoas, empresas e organizaes. No nos esqueamos que a percepo do valor do Conhecimento que torna as sociedades, desenvolvidas e naturalmente competitivas.

O Conselho Directivo

ndice

06/06/19

14:26

Page 5

Agradecimentos
O Instituto para a Qualidade na Formao gostaria de exprimir o seu reconhecimento aos vrios elementos, entidades e respectivos representantes, pelos contributos fornecidos ao longo da realizao do presente documento, que muito enriqueceu os contedos agora disponibilizados. Neste sentido, agradecemos a um conjunto de especialistas no domnio da formao/avaliao, pelos contributos que deixaram e que muito favoreceram as reflexes realizadas ao longo da elaborao deste Guia, designadamente: Prof. Doutor Antnio Caetano, Dr Ana Lusa Veloso, Dr. Carlos Reis Marques, Cor. Domingos Dias Pascoal, Dr. Florindo Ramos, Dr. Joo Gouveia, Dr Raquel Velada, bem como os contributos institucionais das entidades participantes nas sesses de validao deste Guia Metodolgico: Instituto do Emprego e Formao Profissional (IEFP) Confederao dos Agricultores de Portugal (CAP) Ministrio da Agricultura, do Desenvolvimento Rural e das Pescas (MADRP) Confederao do Comrcio e Servios de Portugal (CCP) Confederao da Indstria Portuguesa (CIP) Direco Geral de Formao Vocacional (DGFV) Um ltimo agradecimento aos colegas das unidades funcionais do IQF, I.P., designadamente, reas das Metodologias de Apoio ao Ciclo Formativo, Sistema de Acreditao de Entidades Formadoras e Competncias e Qualificaes.

ndice

06/06/19

14:26

Page 6

ndice

06/06/19

14:26

Page 7

NDICE
I. Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.1 A que necessidades procura dar resposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Objectivos do Guia Metodolgico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Pblicos-alvo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Opes metodolgicas seguidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Como est organizado o Guia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Como pode ser utilizado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 13 14 14 15 16

II. Enquadramento da temtica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.1 A problemtica da avaliao da formao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.1. Um breve olhar sobre algumas das prticas de avaliao da formao . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2. Conceito de avaliao da formao e termos afins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.3. Principais dificuldades associadas implementao de dispositivos de avaliao . . . . . . . . . . . . . . . . . 2.1.4. O papel do(s) avaliador(es) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 22 29 33 36

III. Apresentao da abordagem PERTA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

3.1 As fases e os processos da abordagem PERTA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2 Breve sntese de cada fase da abordagem PERTA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.3 A abordagem PERTA resultados previstos e instrumentos de apoio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

IV. Autodiagnstico a realizar pela entidade formadora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

4.1 Checklist para autodiagnstico das prticas de avaliao da formao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 4.2 Grelha para anlise de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

V. As diferentes fases da abordagem PERTA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Fase I Preparar a interveno avaliativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Processo 1 Conhecer o contexto de partida da formao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 1 Que informao recolher antes de elaborar a estratgia de avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . Compreender as razes que deram origem formao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Analisar a proposta de formao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Sinalizar e compreender as caractersticas dos destinatrios da formao . . . . . . . . . . . . . . . . . . . . . . . . . . Sinalizar as caractersticas da organizao de acolhimento/integrao profissional . . . . . . . . . . . . . . . . . . Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 72 73 73 74 75 77

ndice

06/06/19

14:26

Page 8

Processo 2 Planear as intervenes avaliativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 1 Como construir uma estratgia de avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Porqu avaliar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . O que avaliar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Quando avaliar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Quem so os donos da informao desejada? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Avaliar com base em qu? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Que tcnicas/abordagens de avaliao utilizar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Que estratgias utilizar na apresentao dos resultados? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

79 83 84 85 93 95 95 102 106

Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

Fase II Elaborar e testar instrumentos para recolha de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Processo 3 Preparar os instrumentos a aplicar nas actividades de avaliao . . . . . . . . . . . . . . . . . . . . . . . . . 119 Q 1 Como construir testes escritos? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 2 Como construir inquritos? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Como construir inquritos por entrevista? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Como construir inquritos por questionrio? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 3 Como preparar um focus group? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 4 Como preparar uma observao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 132 133 134 142 142

Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 Processo 4 Testar instrumentos de avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 Q 1 O que se entende por validade de um instrumento de avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 Q 2 O que se entende por fidelidade ou fiabilidade de um instrumento de avaliao? . . . . . . . . . . . . . . . . . . . 160 Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Fase III Realizar a estratgia avaliativa (a recolha de dados no terreno) . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

Processo 5 Realizar intervenes avaliativas antes da execuo da formao . . . . . . . . . . . . . . . . . . . . . . . . 171 Q 1 Avaliao diagnstica: que perspectivas? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 Q 2 Quais as abordagens mais utilizadas na realizao de uma avaliao diagnstica? . . . . . . . . . . . . . . . . . . 175 Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 Processo 6 Realizar intervenes avaliativas durante a execuo da formao . . . . . . . . . . . . . . . . . . . . . . . 181 Q 1 Que actores podem ser mobilizados para as actividades de avaliao a realizar durante o desenvolvimento da formao ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 2 Que estratgias de apoio implementao do nvel 1 de avaliao (reaces)? . . . . . . . . . . . . . . . . . . . . Q 3 Quais as vantagens e limitaes deste nvel de avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 4 Que estratgias para avaliar as aprendizagens adquiridas pelos participantes na formao? . . . . . . . . . . 183 184 184 188

Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 Processo 7 Realizar intervenes avaliativas aps a execuo da formao . . . . . . . . . . . . . . . . . . . . . . . . . . 201

ndice

06/06/19

14:26

Page 9

Q 1 Qual o mbito de anlise de uma avaliao de 3 nvel? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 Q 2 Quando realizar uma avaliao de 3 nvel? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 Q 3 Como planificar uma avaliao de 3 nvel? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Que tcnicas podero ser utilizadas numa avaliao de 3 nvel? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 4 Como generalizar as maisvalias da formao dentro da organizao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 5 Qual o mbito de anlise de uma avaliao de 4 nvel (avaliao de impactes da formao nos resultados da organizao)? . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 6 Que tipo de dimenses/indicadores organizacionais so mais referenciados nas avaliaes de 4 nvel? . . . . . 204 210 223 225 227

Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

Fase IV Tratar e analisar os dados recolhidos e produzir relatrios de avaliao . . . . . . . . . . . . . . . . . . . . 255

Processo 8 Tratar e analisar os dados recolhidos aps a aplicao das estratgias avaliativas . . . . . . . . . . . 257 Q 1 Como tratar os dados recolhidos durante a realizao das actividades de avaliao? . . . . . . . . . . . . . . . . . 259 Q 2 Como analisar a informao produzida? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 Processo 9 Elaborar relatrios de avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 Q 1 Para que servem os relatrios de avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 2 A quem podem ou devem ser remetidos os resultados da avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 3 Como produzir os contedos a incluir num relatrio de avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 4 Que estrutura de relatrio adoptar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 5 Como elaborar recomendaes? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 272 272 273 276

Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

Fase V Apresentar e disseminar os resultados da avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

Processo 10 Preparar a apresentao e disseminao dos resultados da avaliao . . . . . . . . . . . . . . . . . . . . 281 Q 1 Como definir uma estratgia para apresentao e disseminao dos resultados de uma avaliao? . . . . . Q 2 Que abordagens utilizar na apresentao de relatriosde avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 3 Como elaborar planos de melhoria? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Q 4 Como controlar a implementao das medidas propostas nos relatrios de avaliao? . . . . . . . . . . . . . . . 283 285 287 288

Instrumentos de apoio ao processo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

VI. O controlo do processo avaliativo: a perspectiva da meta-avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

Q 1 Meta-avaliao: que abordagens? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 Q 2 Quem pode efectuar abordagens meta-avaliativas? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 Q 3 Que dimenses/critrios utilizar na implementao da meta-avaliao? . . . . . . . . . . . . . . . . . . . . . . . . . . 298 Instrumentos de apoio ao processo meta-avaliativo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

Referncias Bibliogrficas/Sites de interesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

ndice

06/06/19

14:26

Page 10

I. Introduo

06/06/16

12:20

Page 11

Introduo

I. Introduo

06/06/16

12:20

Page 12

I. Introduo

06/06/16

12:20

Page 13

I. Introduo
A temtica da avaliao constitui um campo de reflexo cada vez mais presente na ordem do dia das entidades e agentes que operam no mercado da formao. Os desafios com que estes se deparam so crescentes e cada vez mais exigentes quanto respectiva capacidade para demonstrar que as intervenes formativas realizadas contriburam, no s para a melhoria das prticas dos profissionais que nas mesmas participaram, mas tambm para a prossecuo dos objectivos e metas dos contextos nos quais estes se inserem. A maior ou menor utilidade da formao surge, assim, associada ao tipo de impacte gerado a vrios nveis: impacte ao nvel do desempenho dos indivduos, dos grupos, da organizao, e ainda, de acordo com os objectivos de determinados programas, impactes ao nvel de uma comunidade ou regio especfica. Desenvolver metodologias de avaliao que forneam uma resposta eficaz a estes vrios desafios exige vrias respostas metodolgicas, nem sempre do domnio de quem intervm na formao. neste contexto que o presente Guia Metodolgico se insere, como instrumento concreto de apoio reflexo dos actores que intervm no domnio da avaliao da formao. Espera-se que o mesmo resulte num contributo vlido capaz de favorecer a introduo de eventuais melhorias nas prticas das entidades que intervm actualmente no domnio da formao profissional.

1.1 A que necessidades visa dar resposta

Este Guia visa colmatar um conjunto de necessidades, detectadas aquando da auscultao de entidades e/ou profissionais que intervm no domnio da avaliao da formao, a saber: escassez de documentos de carcter orientador capazes de apoiar as entidades e agentes que intervm neste domnio; exigncias crescentes dos que encomendam formao quanto obteno de informao sobre resultados/impactes da mesma, no apenas ao nvel dos indivduos, mas tambm ao nvel do desempenho da prpria organizao; escassa oferta formativa neste domnio de interveno; fraca partilha de experincias neste domnio, dificultando eventuais processos de disseminao de prticas bem sucedidas entre os agentes que executam projectos de avaliao da formao.

1.2 Objectivos do Guia

O presente Guia tem como principais objectivos: Disponibilizar uma abordagem metodolgica de suporte s decises a efectuar no mbito de processos de avaliao, capaz de facilitar a eventual sistematizao/conceptualizao das prticas de avaliao j existentes.

13

I. Introduo

06/06/16

12:20

Page 14

Apresentar uma perspectiva integrada de avaliao que permita ao utilizador deste Guia dotar-se de um conjunto de ferramentas capazes de garantir, de forma sistemtica, coerncia e articulao entre os vrios momentos de avaliao. Sinalizar algumas das principais responsabilidades a assumir por parte dos vrios actores que intervm em processos de avaliao da formao. Sinalizar os principais factores crticos de sucesso associados a prticas de avaliao de impacte da formao.

1.3 Pblicos-alvo
O Guia Metodolgico agora proposto constitui-se num recurso de apoio dirigido, na sua generalidade, a entidades e/ou profissionais que intervm na formao profissional. Pela natureza de algumas das propostas apresentadas, destacam-se aqui as entidades e agentes que operam na formao profissional dirigida a activos empregados, designadamente uma maior focalizao nas aces formativas que so realizadas inter e intra empresas. Este Guia dirige-se igualmente a qualquer profissional que deseje desenvolver as respectivas capacidades de interveno ao nvel do domnio da avaliao da formao, uma vez que deste guia se conseguem extrair, com facilidade, estratgias aplicveis em qualquer contexto de avaliao, devidamente sinalizadas em cada uma das fases da abordagem PERTA, proposta de interveno presente neste Guia.

1.4 Opes metodolgicas seguidas

A elaborao do presente Guia obedeceu a uma metodologia especfica assente em trs pilares fundamentais: (1) a realizao da anlise do contexto e construo do quadro conceptual a desenvolver. Nesta fase da metodologia foi efectuada uma reviso da literatura especializada no domnio em estudo, anlise de prticas bem sucedidas, em particular, as reconhecidas pelo actual Sistema de Acreditao de Entidades Formadoras do IQF, definio do quadro metodolgico a seguir e respectivo plano de aco; (2) a produo e validao dos contedos do Guia, com destaque particular para o desenvolvimento dos respectivos contedos e processos de validao associados (validao interna e externa); (3) a definio de um layout ajustado aos objectivos deste Guia, fase focalizada na reviso de contedos e respectivo ajuste a layout pretendido e preparao para produo grfica. Relativamente s reflexes realizadas, as mesmas foram norteadas por um conjunto de pressupostos, que importa esclarecer de modo a facilitar a compreenso de alguns dos posicionamentos tericos da equipa responsvel pela elaborao deste Guia Medolgico, dos quais se destacam os seguintes: As recomendaes e ou sugestes metodolgicas presentes neste Guia no se traduzem em normativos a seguir por parte das entidades que intervm na formao, constituindo-se antes linhas de orientao para a interveno sustentada no domnio da avaliao da formao. A abordagem PERTA no se traduz num modelo de avaliao especfico; antes numa possvel abordagem tcnica que remete o utilizador para os momentos antes, durante e aps a execuo de determinada proposta avaliativa ou modelo de avaliao concebidos pelos actores da formao.

14

I. Introduo

06/06/16

12:20

Page 15

As questes de partida para este Guia foram as seguintes: Que aspectos se devem ter em conta antes de se conceberem e implementarem propostas tcnicas de avaliao? Que factores crticos de sucesso devem ser acautelados durante a implementao de estratgias avaliativas? Como saber se a interveno de avaliao foi eficaz? Neste Guia destacada, entre outras, a proposta de avaliao de D. Kirkpatrick pelo facto de ser uma perspectiva bastante utilizada por parte de um nmero significativo de entidades formadoras. Todavia, as propostas metodolgicas apresentadas no se confinam apenas s sugestes deste autor, pelo que so igualmente considerados, neste guia, outros contributos que, se acredita possam colmatar algumas lacunas existentes nas propostas daquele autor, de entre as quais se destacam as reflexes de Robert Brinkerhoff (1985;2001), em particular as que relevam a articulao entre as necessidades dos contextos de partida, a construo do dispositivo de formao e o transfer ou transferncia dos adquiridos para os contextos reais trabalho e respectivos impactes. A proposta metodolgica apresenta-se segmentada num conjunto de fases, processos e instrumentos de apoio visando tornar o presente Guia o mais operacional possvel, tendo em vista a sua rpida apropriao e explorao por parte dos seus utilizadores finais. A abordagem PERTA faz apelo a uma forte mobilizao e participao dos vrios actores que intervm na formao, aquando da realizao das actividades avaliativas. Este posicionamento surge ancorado no paradigma de avaliao que eleva como factor primordial do sucesso das abordagens de avaliao o envolvimento dos vrios actores, no apenas numa perspectiva instrumental, mas antes como parceiros, na construo, na implementao dos projectos de avaliao e, sobretudo, na reflexo conjunta em torno dos seus resultados. Neste Guia atribui-se particular destaque s questes associadas avaliao dos impactes ocorridos algum tempo aps a execuo da formao, pelo que um dos nveis de avaliao mais desenvolvido ser o que versa a problemtica da transferncia dos adquiridos durante a formao, para os contextos reais de trabalho. O 4 nvel ser devidamente enquadrado mas no desenvolvido, por se entender que o mesmo merece, pela respectivas exigncias metodolgicas, uma anlise mais cuidada a contemplar em futuros trabalhos dedicados a esta temtica. Assiste-se a uma clara passagem das abordagens de avaliao ditas clssicas (testes de conhecimentos...) a abordagens mais inovadoras e integradas como o caso do desenvolvimento de Portflios de Competncias.

1.5 Como est organizado o Guia

O presente guia encontra-se estruturado em seis blocos fundamentais: Enquadramento da temtica Abordam-se neste espao questes de terminologia, assim como quadros metodolgicos existentes que, ao longo dos anos, tm influenciado as prticas de avaliao da formao. O papel de quem avalia igualmente um aspecto aqui destacado.

15

I. Introduo

06/06/16

12:20

Page 16

Apresentao da abordagem PERTA Neste bloco do Guia so apresentadas, de forma sumria, as vrias fases e processos da abordagem PERTA, destacandose os outputs esperados de cada um dos processos descritos. O Autodiagnstico a realizar pela entidade que intervm na formao O convite ao utilizador para a realizao de um autodiagnstico que incida sobre as suas prprias prticas de avaliao surge neste bloco do Guia. O principal objectivo do exerccio de autodiagnstico a sinalizao de eventuais aspectos a melhorar ou a consolidar, bem como estabelecimento de prioridades para aco. O desenvolvimento da abordagem PERTA Neste bloco so desenvolvidas as vrias fases da abordagem PERTA, destacando-se os principais processos a cumprir em cada fase, assim como os instrumentos necessrios respectiva concretizao. O controlo do processo avaliativo: a perspectiva da meta-avaliao Trata-se da parte que encerra o presente Guia Metodolgico. semelhana de outros guias j publicados, que propom uma reflexo sobre os resultados das propostas metodolgicas efectuadas, tambm este apresenta uma reflexo sobre como saber se as intervenes de avaliao realizadas foram eficazes?. Referncias bibliogrficas/Sites de interesse Sero aqui disponibilizadas as referncias bibliogrficas consultadas, assim como destacado um conjunto de sites para consulta.

1.6 Como pode ser utilizado?

Este Guia pode ser explorado de diversas formas j que apresenta diferentes portas de entrada que se traduzem no seguinte: a sua diviso em partes claramente sinalizadas; a separao da parte dita metodolgica e instrumental da parte mais terico-conceptual; a separao da abordagem em fases, processos e instrumentos; a sinalizao do tipo de contedos mediante o recurso a smbolos prprios. Os aspectos traduzidos nos pontos acima referidos podem facilitar o acesso e apropriao dos diferentes contedos apresentados. O utilizador deste Guia poder recorrer sempre a um ou outro tipo de contedo, consoante as necessidades de informao em presena.

16

I. Introduo

06/06/16

12:20

Page 17

Destaca-se seguidamente o significado dos smbolos de apoio explorao dos contedos do presente Guia:

Biblioteca Remete o utilizador para uma reflexo sobre conceitos, definies, esclarecimentos adicionais que ajudam a enquadrar as metodologias propostas.

Oficina metodolgica Visa introduzir o utilizador no desenvolvimento/execuo de propostas metodolgicas concretas.

Exemplo prtico Remete o utilizador para exemplos concretos que visam ilustrar eventuais resultados a produzir com a aplicao das propostas metodolgicas sugeridas.

Instrumentos de apoio ao processo Destaca os instrumentos a utilizar no mbito dos diferentes processos da abordagem PERTA.

17

I. Introduo

06/06/19

13:45

Page 18

II. Enquadramento

06/06/16

12:33

Page 19

Enquadramento da temtica

II. Enquadramento

06/06/16

12:33

Page 20

II. Enquadramento

06/06/16

12:37

Page 21

II. Enquadramento da temtica

2.1 A problemtica da avaliao da formao
A problemtica da avaliao da formao assumiu contornos distintos no decorrer das ltimas duas dcadas. Reunir consensos relativamente ao permetro de uma abordagem de avaliao a desenvolver no contexto da formao profissional no tem sido tarefa fcil. Na realidade, observam-se vrias prticas em matria de avaliao da formao que assumem modalidades distintas em funo: dos paradigmas de formao em presena; dos posicionamentos conceptuais de quem avalia; da possibilidade de implicao dos pblicos aos quais a avaliao dirigida; das necessidades de informao veiculadas pelos interessados nas intervenes avaliativas; do domnio conceptual dos vrios modelos de avaliao existentes (em particular, a capacidade de quem avalia para construir quadros conceptuais de interveno, assim como ferramentas de avaliao); da disponibilidade de meios e recursos a afectar ao processo avaliativo (humanos, financeiros, materiais...); (...) Contrariamente a outras perspectivas de avaliao, que exigem uma total independncia de quem avalia face ao objecto avaliado, a avaliao da formao exige, se atendermos ao tipo de resultados pretendidos, a construo de compromissos permanentes entre os vrios actores mobilizados para a avaliao. Compromissos, no apenas no sentido de cada um destes actores desempenhar o seu papel de forma eficaz, mas tambm no sentido de desenvolverem uma atitude de permanente vigilncia que resulte na qualidade das respectivas prticas ao longo da execuo das intervenes formativas.

!!

Nesta medida, a avaliao aqui encarada como um instrumento ao servio de todos estes actores, cumprindo o seu papel a partir do momento em que gera informao susceptvel de exercer trs funes fundamentais: compreenso dos contextos de partida da formao (perspectiva diagnstica da avaliao); desenvolvimento/controlo/regulao do processo formativo no sentido da respectiva melhoria (perspectiva formativa da avaliao); certificao/reconhecimento social dos resultados de um projecto de formao (perspectiva sumativa da avaliao).

Neste Guia sero, assim, analisados os vrios momentos em que a avaliao pode e deve dar o respectivo contributo: antes/durante e aps a execuo da formao, designadamente, sinalizando e actuando de forma sistemtica sobre os aspectos cruciais da interveno formativa, com vista produo dos melhores resultados ao nvel da respectiva preparao, execuo e, consequentemente, dos impactes nos desempenhos dos indivduos, dos grupos e da organizao.

21

II. Enquadramento

06/06/16

12:33

Page 22

2.1.1 Um breve olhar sobre algumas das prticas de avaliao da formao

A par da elaborao do presente Guia Metodolgico, foi possvel observar algumas das prticas de avaliao da formao desenvolvidas por parte de entidades que realizam formao dirigida, em particular, a activos empregados. Das observaes efectuadas, retiraram-se algumas ilaes que apontam para a necessidade de uma maior aposta nos seguintes aspectos: definio do quadro conceptual utilizado no domnio da avaliao, que remete para a clarificao das estratgias de avaliao preconizadas, assim como para melhor especificao de modelos de interveno que orientam a tomada de deciso dos diferentes actores que intervm na avaliao; maior investimento na fase da caracterizao do contexto de partida, no momento antes da formao. As decises associadas ao domnio da avaliao da formao so, muitas vezes, tomadas tardiamente, o que dificulta, por vezes, a recolha de informao necessria para a realizao de intervenes de avaliao mais exigentes, como o caso das avaliaes de 3 e 4 nveis (transferncia de adquiridos para situaes reais de trabalho e respectivos resultados e impactes no desempenho das organizaes); construo/adaptao de instrumentos que visem avaliar determinados aspectos de um projecto de formao. Esta parece ser, partida, uma das dificuldades mais significativas demonstradas por parte das entidades que intervm no domnio da avaliao da formao; envolvimento dos vrios actores na construo e implementao das estratgias de avaliao a aplicar antes, durante e aps a execuo da formao. Por se tratar de aspectos menos explorados por parte de algumas entidades que intervm no domnio da avaliao da formao, os mesmos sero destacados no decurso das reflexes realizadas no presente Guia. Note-se que, de acordo com o actual Sistema de Acreditao de Entidades Formadoras, o nmero de entidades acreditadas no domnio da avaliao da formao mantm-se baixo (5%) quando considerado o nmero total de entidades actualmente acreditadas (1628) 1. Contribuir para a melhoria das competncias das entidades formadoras para intervir no domnio da avaliao e, consequentemente, aumentar a percentagem referida de entidades acreditadas, traduz-se num dos principais desafios colocados aos destinatrios deste Guia. Modelos de avaliao mais referenciados na literatura especializada sobre a temtica da avaliao A proliferao de teorias e modelos no domnio da avaliao deixa claro que ainda se est longe da estabilizao de eventuais fronteiras para este campo de interveno. Existem, todavia, vrias experincias que apontam j para alguns consensos no que diz respeito operacionalizao de estratgias avaliativas a implementar no contexto da formao profissional. A perspectiva de avaliao da formao desenvolvida no presente Guia remete o utilizador para um conjunto de denominadores comuns, sinalizados nas propostas de avaliao analisadas e que deram origem, em certa medida, abordagem
1) Recolha de informao em 15 de Maio de 2006.

22

II. Enquadramento

06/06/16

12:33

Page 23

PERTA: (1) preparar a interveno avaliativa; (2) elaborar e testar instrumentos para recolha de dados; (3) realizar a estratgia de avaliao; (4) tratar e analisar os dados e (5) apresentar os resultados da avaliao. Uma vez analisados alguns modelos de avaliao aplicados no contexto da formao, foi possvel constatar o predomnio de trs enfoques distintos: Abordagens centradas na verificao do cumprimento dos objectivos de aprendizagem pr-definido Trata-se de intervenes de avaliao focalizadas na verificao do cumprimento ou incumprimento dos objectivos de aprendizagem pr-estabelecidos. As actividades de avaliao ocorrem, regra geral, apenas no final das intervenes formativas e resultam normalmente na certificao, uma vez alcanados os objectivos previstos, de um determinado conjunto de saberes. So processos de avaliao que ocorrem com frequncia no quadro das formaes regulamentadas/normalizadas, nas quais assume importncia central o controlo da aquisio/desenvolvimento de determinados saberes. Abordagens centradas no processo formativo Neste caso as intervenes de avaliao do prioridade ao processo formativo, ou seja, visam monitorizar o funcionamento do dispositivo de formao, assumindo aqui a avaliao um papel de regulao da formao, abordagens caractersticas das intervenes avaliativas de carcter formativo. Trata-se de perspectivas frequentemente aplicadas no mbito de projectos de formao de mdia/longa durao, nos quais se torna necessrio garantir, permanentemente, a qualidade do dispositivo de formao de modo a alcanar os objectivos pretendidos. Abordagens centradas nos resultados/benefcios da formao para os respectivos destinatrios Trata-se de intervenes avaliativas com forte enfoque na aferio dos resultados diferidos da formao, ou seja, centrada nos impactes da formao no desempenho dos indivduos que frequentaram as aces de formao e/ou impactes nos contextos nos quais estes indivduos se encontram inseridos. neste contexto que se inscrevem, por exemplo, as intervenes que se esgotam na auscultao dos clientes finais dos servios e/ou produtos fornecidos pelos profissionais que receberam determinada formao. Vejamos, ento, algumas das abordagens mais referenciadas no contexto da avaliao da formao, destacadas por ordem cronolgica e por respectivo autor:

Donald Kirkpatrick, 1959 (abordagem multinvel) A abordagem proposta por D. Kirkpatrick, em 1959, tem sido, at presente data, a mais aplicada por parte das entidades que realizam formao. A taxonomia apresentada por D. Kirkpatrick procurou dar uma sequncia lgica s intervenes de avaliao, constituindo-se um contributo importante no sentido da gesto do processo avaliativo.

23

II. Enquadramento

06/06/16

12:33

Page 24

Este autor vem propor, assim, uma proposta de interveno avaliativa a 4 nveis distintos: Nvel 1: Avalia a reaco dos participantes formao (os formandos ficaram satisfeitos com a formao?) Nvel 2: Avalia as aprendizagens efectuadas (os formandos aprenderam com a formao realizada?) Nvel 3: Avalia os comportamentos no contexto real de trabalho (os formandos alteraram os respectivos comportamentos com base no que adquiriram/desenvolveram atravs da formao? processo de transferncia de adquiridos) Nvel 4: Avalia os resultados da formao (a transferncia de adquiridos para os contextos reais de trabalho provocou impactes no desempenho da organizao?) A proposta deste autor para a avaliao da formao, recorrendo aos quatros nveis referidos, assenta nos seguintes pressupostos: Os nveis possibilitam recolher informao distinta sendo que o nvel 1 tender a recolher menos informao sobre a formao quando comparado com os nveis seguintes, pelo que a proposta ser a aplicao dos vrios nveis de avaliao sempre que se pretenda recolher informao sobre os resultados imediatos e impactes de determinada interveno formativa. Os nveis de avaliao esto interrelacionados, sendo que a informao produzida no primeiro nvel assume particular importncia no mbito do segundo nvel e assim sucessivamente. Tal dizer que, por exemplo: quando os formandos esto satisfeitos com a aco de formao, parte-se do pressuposto que o respectivo grau de aprendizagem tender a ser superior. Embora se trate de uma abordagem pouco desenvolvida, em algumas das suas propostas metodolgicas, traduz-se, sem dvida, numa soluo arrumada, que remete as entidades que intervm na formao para uma focalizao no durante e no aps a formao.

Warr et al. 1970 ( Modelo CIRO ) O modelo CIRO foi desenvolvido por War, Bird and Rackham em 1970, visando na altura disponibilizar uma abordagem de avaliao especificamente focalizada na aferio dos resultados da formao no contexto das empresas. Esta abordagem, desenvolvida originariamente no contexto europeu, introduz um conceito de avaliao mais abrangente, revolucionando, em grande medida, as prticas avaliativas da poca. O antes da formao assume aqui uma dimenso de observao importante. De acordo com estes autores, as empresas deviam desenvolver as respectivas intervenes de avaliao sobre quatro grandes reas:

24

II. Enquadramento

06/06/16

12:33

Page 25

Contexto ou ambiente de partida da formao

A avaliao visa compreender: as razes que justificam a interveno formativa; o gap entre as competncias detidas pelos formandos e as competncias desejadas pela empresa; o tipo de saber a desenvolver na formao; o que se deseja que seja modificado com a interveno formativa. A avaliao apresenta como principais objectos de anlise: o processo de seleco dos formadores, a estratgia de formao e respectivos contedos; o processo de seleco dos formandos ; os materiais de apoio; os recursos materiais e financeiros de apoio... Trata-se, aqui, de garantir que os vrios recursos a mobilizar para a formao so apropriados e suficientes, quando consideradas as necessidades do contexto de partida.

Inputs (Entradas) a mobilizar para a interveno formativa

Reaces dos participantes formao desenvolvida Outcomes (resultados) da formao

A avaliao visa aferir: grau de satisfao dos participantes em relao formao desenvolvida; A avaliao visa aferir: quais os resultados da formao, quer em termos de competncias adquiridas/ /desenvolvidas, quer em termos de aplicao das mesmas nos contextos reais de trabalho Importa dar resposta questo: que mudanas ocorreram aps a realizao da formao?;

Uma das mensagens-chave da abordagem CIRO a recomendao para serem considerados todos as aspectos associados ao ciclo da formao. Neste sentido, esta abordagem constitui uma perspectiva sistmica j que se apresenta focalizada nos aspectos cruciais associados aos vrios domnios de um ciclo formativo.

Daniel Stufflebeam, 1967/ 1971/ 1972 (a abordagem CIPP) Trata-se de uma proposta de avaliao semelhante abordagem CIRO que, embora tenha surgido no campo da Educao, influenciou e continua a influenciar algumas das prticas avaliativas de entidades e agentes que intervm na formao profissional Esta proposta estabelece como grandes domnios de anlise:

25

II. Enquadramento

06/06/16

12:33

Page 26

O contexto

A avaliao incide sobre: as caractersticas do contexto; as necessidades de formao/justificao de oportunidades de formao; as caractersticas dos participantes na formao; os problemas que deram origem s necessidades previamente identificadas; a coerncia entre necessidades sinalizadas e objectivos de aprendizagem propostos; A avaliao incide sobre: suficincia de recursos materiais e humanos; medidas alternativas formao; capacidade de resposta do sistema de formao; sinalizao de eventuais barreiras execuo da formao; a adequao da proposta pedaggica e respectiva estratgia de implementao; A avaliao incide sobre: a implementao das intervenes formativas; a sinalizao de eventuais aspectos a melhorar; A avaliao incide sobre: resultados da formao; resultados face a objectivos pr-definidos; objectivos face a standards/padres pr-definidos; resultados face a necessidades do contexto,

Os inputs da formao

O processo formativo

Os produtos resultantes da formao

De forma resumida, diramos que a avaliao do contexto apoia a formulao/especificao de objectivos de aprendizagem; a avaliao dos inputs da formao suporta o planeamento das intervenes formativas; avaliao do processo formativo favorece a respectiva implementao; e, por ltimo, a avaliao dos produtos da formao permite reunir informao til de apoio eventual reviso das decises tomadas.

Robert Brinkerhoff, 1985 (abordagem com sete reas de interveno) Este autor sinaliza um conjunto de questes crticas que devem ser colocadas aquando da realizao de um processo de avaliao, que surgem associadas a sete grandes etapas a percorrer. Este autor apresenta uma sequncia de procedimentos que visam orientar, passo a passo, a implementao de uma estratgia de avaliao, designadamente, disponibilizando orientaes de apoio tomada de deciso do(s) avaliador(es). Ao contrrio do autor anterior, este autor atribui importncia acrescida ao conhecimento do contexto de partida da formao, bem como s dimenses/componentes de avaliao associadas ao processo formativo. Vejamos as etapas acima mencionadas:

26

II. Enquadramento

06/06/16

12:33

Page 27

Etapas a percorrer Focalizar a avaliao

Questes crticas de cada uma das etapas Que dimenses avaliar? Qual a finalidade da avaliao? Quem ser afectado ou implicado no processo de avaliao? Que factores podero influenciar o processo avaliativo? Quais so as principais questes avaliativas? A avaliao preconizada tem potencial para ser bem sucedida? Quais as abordagens avaliativas disponveis? Que aspectos deve contemplar uma estratgia avaliativa? Que tipo de informao dever ser recolhida? Que tipo de procedimentos sero usados na recolha da informao desejada? Que quantidade de informao ser necessrio recolher? Os instrumentos sero seleccionados (de entre os disponveis) ou construdos (como verificar questes de validade e fidelidade dos instrumentos a aplicar)? O que se pode fazer para recolher a informao desejada ao mais baixo custo? Como se pretende tratar os dados recolhidos? Valer a pena tratar os dados recolhidos? Como se pretende analisar a informao? Como se pretende interpretar os resultados obtidos? Quem dever receber os resultados da avaliao? Que contedos dever ter um relatrio de avaliao? Como podero ser apresentados os relatrios de avaliao junto dos respectivos destinatrios? Qual dever ser a estrutura mais adequada para a elaborao de um relatrio? Como podero os pblicos destinatrios dos relatrios ser ajudados na interpretao dos respectivos resultados? Quando devem ser apresentados os relatrios de avaliao? Quem pode gerir e acompanhar um processo de avaliao? Como podem ser sinalizadas as responsabilidades a associar a um processo avaliativo? Quanto custar implementar o processo de avaliao? Como podero ser sequenciadas e calendarizadas as actividades avaliativas? Que tipo de obstculos podero surgir ao processo de avaliao? Em que circunstncias devero ser implementados processos meta-avaliativos? Quem poder desenvolver uma abordagem meta-avaliativa? Que critrios/standards devero ser definidos de forma a avaliar o processo avaliativo? Como poder ser implementado um processo meta-avaliativo? Que procedimentos podem ser associados a um processo de meta-avaliao?

Desenhar a estratgia avaliativa Recolher a informao no terreno

Analisar e interpretar a informao recolhida

Apresentar os resultados

Gerir o processo avaliativo

Avaliar a avaliao (meta-avaliao)

27

II. Enquadramento

06/06/16

12:33

Page 28

Jack Phillips, 1991 (abordagem dos 5 nveis enfoque no ROI) Autor de vasta literatura sobre a temtica do retorno do investimento na formao, tem vindo a influenciar as prticas das entidades formadoras nesta matria. A respectiva proposta de interveno integra a perspectiva de D. Kirkpatrick, uma vez que mantm os quatro nveis de avaliao propostos por este autor. Distingue-se, no entanto, a partir do momento em que acrescenta: uma questo ao nvel 1 reaco: em que medida os formandos tm inteno de aplicar os adquiridos atravs da formao. suposto, j neste nvel avaliativo, os participantes ensaiarem um plano de aplicao de adquiridos pela via da formao. um quinto nvel de avaliao: ROI (Retorno do Investimento na Formao). Este nvel remete o avaliador para a traduo monetria dos benefcios previamente identificados no nvel 4 de D. Kirkpatrick. Os nveis apresentados por este autor no apresentam uma lgica determinista, ou seja, os bons resultados num dos nveis no resultam necessariamente em bons resultados nos nveis seguintes. Sustentado em vrios estudos realizados sobre a correlao positiva entre os nveis de D. Kirkpatrick, este autor sustenta a existncia de uma srie de factores responsveis pela no utilizao/aplicao nos contextos reais de trabalho dos ditos adquiridos pela via da formao. Este facto leva este autor a defender a aplicao dos vrios nveis de avaliao, de forma a sinalizar, atempadamente, eventuais aspectos menos conseguidos, de forma a poder introduzir as alteraes necessrias. Acrescenta que o ideal ser sempre a verificao de uma cadeia de impactes positivos aferida ao longo da realizao dos vrios nveis de avaliao. Sempre que tal se verifica, a probabilidade de se verificar um ROI positivo ser, tendencialmente, mais elevada.

Patton, 1978/1986/1996 (utilization focused evaluation) Trata-se de uma proposta avaliativa apresentada, pela primeira vez, por Michael Patton, tendo sido revista ao longo de vrios anos. Este autor defende uma avaliao totalmente centrada na utilidade dos seus resultados. Tal abordagem d prioridade a dois momentos fundamentais de um processo de avaliao: o antes e o depois. A proposta defendida por este autor destaca como que uma estratgia de avaliao pode ser implementada de modo a potenciar a utilidade da mesma para os respectivos beneficirios. A abordagem defendida no se enquadra num modelo e/ou teoria de interveno especfica. Trata-se antes de uma abordagem de avaliao a construir com os vrios actores que participam na formao. Principais caractersticas desta abordagem:

28

II. Enquadramento

06/06/16

12:33

Page 29

Princpio fundamental Papel do avaliador

Esta abordagem apresenta como princpio fundamental o facto de um processo avaliativo dever ser julgado pelo grau de utilidade dos seus resultados para os respectivos beneficirios finais. O(s) avaliador(es) assume(m) um papel de facilitador(es) no processo da emisso de juzo de valores e processo de tomada de deciso. Os responsveis pela implementao deste tipo de abordagem so detentores de um portflio de mtodos e tcnicas de avaliao, que colocam disposio dos vrios clientes. So, regra geral, indivduos bem preparados para intervir no domnio da avaliao.

Uma vez analisadas as principais caractersticas das propostas de avaliao da formao acima apresentadas, conclui-se que existem vrios olhares sobre a mesma realidade, divergindo as propostas entre si no que diz respeito aos limites do enfoque avaliativo. Umas intervenes podem, assim, apresentar-se mais abrangentes, focalizando-se em dimenses avaliativas relacionadas com os momentos antes, durante e aps a formao, evidenciando-se aqui claramente a importncia atribuda por estes modelos compreenso do contexto de partida da formao. Outras abordagens surgem mais focalizadas nos momentos durante e aps as intervenes de formao, mais focalizadas, neste ltimo caso, nos resultados da interveno formativa.

!!

Destaque-se que o que distingue uma abordagem de avaliao de outra so as questes de avaliao que colocam e no os mtodos a que recorrem.

2.1.2 Conceito de avaliao da formao e termos afins

Quem opera no contexto da formao profissional depara-se, com frequncia, com entendimentos distintos no que diz respeito ao conceito de avaliao. Os vrios paradigmas tericos, que sustentam as abordagens de avaliao, remetem os avaliadores para diferentes conceitos de avaliao, regra geral descritos em funo das finalidades da avaliao preconizada. Textos especializados nesta matria remetem-nos para uma diversidade de definies de avaliao, sendo alguns dos sentidos mais usuais, os que seguidamente se apresentam.

29

II. Enquadramento

06/06/16

12:33

Page 30

Sentidos atribudos avaliao... Avaliar ... ... determinar a eficcia de determinado projecto de formao. A perspectiva de avaliao em presena remete o avaliador para preocupaes com a aferio dos resultados directos e diferidos da formao. Nesta linha de pensamento encontram-se autores, tais como,D. Kirkpatrick (1959). Avaliar ... ... medir os efeitos de determinado programa em relao aos objectivos pr-estabelecidos, visando reunir informao suficiente de apoio tomada de decises que resultem na introduo de melhorias nos programas que se encontrem a decorrer ou intervenes formativas futuras. Esta definio coloca a respectiva nfase nas consequncias das intervenes de avaliao, atribuindo particular relevo s intervenes de natureza formativa. Perspectiva defendida por C. Weiss (1972). A ideia da avaliao ao servio do processo formativo est igualmente patente nos trabalhos de Peter Rossi e Howard Freeman (1993). Avaliar ... ... uma recolha sistemtica de informao sobre um conjunto de dimenses/componentes de um projecto de formao sobre os quais se emitem juzos de valor com vista utilizao dos resultados produzidos. A recolha sistemtica de dados traduz-se aqui no cerne da questo, uma vez que permite potenciar a funo utilitria da avaliao. Posio defendida por Michael Patton (1978). R. Brinkerhoff (1983) vem destacar tambm a ideia do acto avaliativo surgir na sequncia da emisso de juzos de valor acerca das diferentes componentes de um projecto de formao. Para este autor a avaliao est claramente ao servio da melhoria do processo educativo/formativo. J.M. Barbier (1985) refere igualmente que a finalizao de um acto avaliativo ocorre com a produo de um juzo de valor sobre determinada componente de um projecto formativo. Partilham a mesma ideia o Joint Committee on Standards (1994); Ernest R. House (1993); Michael Scriven (1991). Avaliar ... ... uma aco sistemtica que permite determinar o valor, o mrito e/ou sentido de determinada actividade ou processo de interveno. Posicionamento defendido por Jack Phillips (1991). Defendem posicionamentos semelhantes os autores Dan Stufflebeam, Shinkfield (1995)

Palavras chave Resultados da formao

Tomada de decises Processo formativo

Recolha sistemtica de informao Emisso de juzos de valor

Avaliar o mrito valor de um programa

Como se pode verificar, os autores que se debruam sobre a problemtica da avaliao (avaliao da formao/programas de interveno) tendem a posicionar-se de forma distinta no que diz respeito ao conceito de avaliao. Tais posicionamentos determinam, em grande medida, a definio de estratgias e prticas dando origem a diferentes propostas de interveno. So vrias as taxionomias sinalizadas que visam enquadrar as diferentes abordagens de avaliao em categorias distintas, de modo a facilitar a respectiva compreenso e fundamentao.

30

II. Enquadramento

06/06/16

12:33

Page 31

De entre as vrias tentativas para classificar as vrias abordagens de avaliao, seleccionmos a que proposta pelos autores Guba e Lincoln (1989) a propsito da evoluo histrica do conceito de avaliao desde o princpio do sculo XX: Na sequncia dos seus estudos sobre a matria, estes autores identificam e caracterizam quatro geraes de avaliao: (1) mensurao, (2) descrio, (3) julgamento e (4) negociao. (1) a mensurao: no distinguindo entre avaliao e medida, focalizava as atenes na elaborao de instrumentos ou testes para verificao dos resultados de aprendizagem efectuados. Traduziam-se em abordagens de natureza quantitativa, nas quais o papel do avaliador era, ento, eminentemente tcnico. (2) a descrio: se as abordagens anteriores se centravam essencialmente nos resultados finais da formao desenvolvida (enfoque no aprendente), outros autores passaram a preocupar-se com a parte descritiva dos programas de inteveno. Tendo como ponto de partida os objectivos de aprendizagem, visavam agora compreender/descrever as causas do sucesso ou as dificuldades sentidas no cumprimento dos objectivos pr-estabelecidos (contraposio entre objectivos pr-estabelecidos versus objectivos realizados). Neste contexto, o avaliador preocupava-se, sobretudo, em descrever padres e critrios de avaliao a aplicar. (3) julgamento: a terceira gerao veio questionar os testes padronizados, assim como o facto de se entender a avaliao como sinnimo de medida. Esta gerao de avaliadores focalizava antes a respectiva ateno na emisso de juzos de valor sobre os objectos de avaliao. O avaliador passa a assumir, nesta fase, um papel de juiz, acumulando, contudo, as valncias anteriormente referidas. (4) negociao: neste contexto a avaliao encarada como um processo interactivo, negociado, que se fundamenta num paradigma construtivista. As metodologias avaliativas focalizam-se na participao e envolvimento dos vrios actores, exercendo o avaliador, neste caso, um papel de facilitador no processo de identificao de estratgias avaliativas a aplicar. Estas ltimas abordagens tm vindo a desenvolver-se sem prejuzo da aplicao de metodologias avaliativas assentes em pressupostos de natureza positivista (segundo os quais o sujeito que avalia e o sujeito/objecto avaliado so duas realidades independentes). As pesquisas efectuadas permitiram constatar a existncia da diversidade de posicionamentos em matria de avaliao da formao, tendo sido possvel sinalizar estratgias de avaliao mais ou menos: formativas, sumativas, estruturadas, quantitativas, qualitativas, positivistas, formais, participadas, etc...sendo que os factores que permitem optar por esta ou aquela metodologia prendem-se, essencialmente, com as especificidades dos respectivos contextos de aplicao, bem como as necessidades de informao dos respectivos beneficirios (Cardoso, 2003). Os avaliadores tendem, assim, a recorrer a esta ou aquela abordagem de acordo com o tipo de resultado pretendido. Neste Guia Metodolgico, o conceito de avaliao da formao ser entendido como o processo que possibilita a monitorizao sistemtica 1 de determinada interveno formativa, recorrendo para o efeito a padres de qualidade de referncia 2 explcitos ou implcitos, com vista produo de juzos de valor 3 que suportem a eventual tomada de decises 4 (Cardoso, 2003).

II. Enquadramento

06/06/16

12:33

Page 32

1
Remete para a importncia da perspectiva formativa da avaliao, necessria ao ajustamento permanente do projecto formativo s necessidades dos seus destinatrios.

2
A construo de um quadro de referncia que d uma resposta s necessidades dos vrios actores afigurase fundamental para a credibilidade e transparncia do processo avaliativo.

3
Efectuar apreciaes crticas luz de um quadro de referncia pr-estabelecido aqui considerada a actividade central de um processo de avaliao.

4
desejvel que qualquer processo de avaliao seja consequente e, por conseguinte, til para quem chamado a nele participar.

A par do conceito de avaliao, podemos sinalizar outros conceitos que, por vezes, so utilizados como sinnimos de avaliao, tais como: controlo, medio e validao, classificao. Vejamos as respectivas distines: Avaliao/medio A avaliao como medida a concepo mais antiga quando falamos em avaliar as aprendizagens realizadas no mbito de determinados sistemas de ensino/aprendizagem. Trata-se de uma perspectiva muito associada ao paradigma psicomtrico das aprendizagens inserido numa concepo da formao em que aos formandos caber a aquisio de determinados saberes e aos formadores a misso de os transmitir. As questes associadas a esta perspectiva colocam-se ao nvel do significado do resultado da medio. Considerando que medir comparar uma grandeza com uma outra grandeza da mesma natureza assumida como padro, a medio acaba por se traduzir num conjunto de operaes que tm por objectivo determinar o valor de determinada grandeza. Consideremos a aplicao de um teste com uma cotao de 0 a 20 valores. Uma vez distribudos os formandos pelas diferentes cotaes podemos questionar sempre qual o valor do 10 ou do 15, ou seja, a nota atribuda em si mesma no nos permite perceber da sua real importncia se no se estipular que o valor dez ainda um valor positivo e que o valor 9 um valor negativo no resultando, deste ltimo caso, consequncias positivas para o formando. Este raciocnio leva-nos a concluir que a medio exige ser interpretada e s luz dessa interpretao podemos avaliar qualquer que seja o desempenho de um formando. Entramos aqui no campo da avaliao a partir do momento em que somos chamados a formular um determinado juzo de valor acerca de determinada realidade/objecto de anlise. Daqui decorre a necessria cautela quando ouvimos algum dizer, sem a devida justificao, que avaliar medir. Importa ter sempre presente que o processo de avaliao inclui a possibilidade da medio de determinada realidade ou objecto, no se esgotando todavia na mesma.

32

II. Enquadramento

06/06/16

12:33

Page 33

Avaliao/classificao A classificao constitui mais uma das possibilidades a incluir em processos de avaliao. Acontece que, ao contrrio do conceito anterior (medio), a classificao decorre sempre aps o acto avaliativo, ou seja, a mesma no pode ser efectuada arbitrariamente. A avaliao que a precede serve para fundamentar o processo classificatrio, que implica traduzir o resultado da avaliao num determinado smbolo que corresponde a um ponto especfico numa escala adoptada. Se no pode haver classificao sem avaliao, o contrrio j no verdade. Avaliao/controlo H controlo da formao sempre que nos encontramos em presena de operaes que aparentemente no tm outra finalidade seno produzir informaes sobre o funcionamento concreto de uma actividade de formao (Barbier, 1995). Avaliao/validao Informao cuja veracidade pode ser comprovada com base em factos obtidos atravs da observao, medio, ensaios ou outros meios que constituem evidncia objectiva.

2.1.3 Principais dificuldades associadas implementao de dispositivos de avaliao

Uma anlise mais aprofundada sobre algumas prticas de avaliao existentes, assim como a reflexes j efectuadas sobre o domnio da avaliao da formao, permite sinalizar como conjunto de dificuldades a ultrapassar por parte de quem avalia, os seguintes aspectos: Existncia de vrias teorias e modelos de avaliao As especificidades dos contextos e pblicos destinatrios das intervenes avaliativas exigem, muitas vezes, a implementao de estratgias avaliativas especficas com contornos distintos dos modelos disponveis. Uma anlise mais aprofundada sobre os modelos avaliativos existentes permite verificar que se traduzem, na maior parte das vezes, em adaptaes de modelos j existentes. Esta realidade permite-nos concluir que so as organizaes que definem normalmente qual a melhor estratgia avaliativa a seguir, criando ou ajustando referenciais capazes de dar resposta s respectivas necessidades. Complexidade de alguns dos modelos de avaliao Implementar modelos avaliativos nem sempre tarefa fcil. Dependendo do tipo de avaliao pretendida, assim as intervenes so mais ou menos complexas. Na realidade, o tipo de informao pretendida e a abrangncia da interveno a realizar, que podem exigir mtodos mais ou menos complexos, devendo as organizaes aferir da efectiva mais-valia dos investimentos a realizar face utilidade da informao a produzir. Fraca apropriao da teoria avaliativa A apropriao dos vrios modelos de avaliao existentes exige sempre algum investimento em tempo. A experimen-

33

II. Enquadramento

06/06/16

12:33

Page 34

tao de estratgias j testadas por outros autores poder ser sempre algo a recomendar na medida em que, tais experincias podem contribuir para o desenvolvimento de competncias no domnio da avaliao. Trata-se de um contexto em que a mxima , em grande parte dos casos, aprender fazendo, o que, neste caso, resulta no avaliar para aprender a avaliar. A busca pela preciso cientfica na avaliao No raras vezes, prefere-se no avaliar contextos que, partida, exigiriam a aplicao de estratgias avaliativas complexas e difceis de implementar. Estas preocupaes surgem, em regra, associadas s preocupaes com a garantia da objectividade nos processos de avaliao o que resulta, no raras vezes, na busca de sistemas de medio que meam objectivamente determinada realidade. No desvalorizando as preocupaes com a medio, no nos podemos esquecer que, tratando-se da avaliao da formao, o desafio prende-se com a avaliao de dimenses/componentes relativas a determinada realidade social que se deseja, seja construda pelos diferentes actores que na mesma assumem maior ou menor protagonismo. Daqui resulta que, a objectividade pretendida ser sempre e necessariamente uma construo dos vrios actores, na medida em que se postula que qualquer estratgia de avaliao a realizar seja o resultado de um conjunto de compromissos a assumir por parte dos vrios actores que intervm em determinado projecto formativo. Um dispositivo de avaliao que recorra a sistemas de medio complexos e exigentes do ponto de vista do tratamento dos respectivos resultados, pode desencorajar a participao dos seus beneficirios ao longo da respectiva implementao. A problemtica da subjectividade dos processos de avaliao Esta questo relaciona-se, em certa medida, com o ponto anterior. Ser que quem avalia consegue conceber um dispositivo de avaliao que garanta 100% de objectividade nas interpretaes que providencia? Quem avalia transporta para a construo do dispositivo de avaliao as respectivas percepes sobre o que para determinado contexto se deve considerar aceitvel ou inaceitvel. Destaca-se de seguida algumas das estratgias usadas para reduzir a subjectividade nos sistemas de avaliao: recurso a sistemas de validao de dispositivos de avaliao, focalizados na anlise de dimenses, critrios e indicadores a usar sobre determinada realidade social; recurso a mais do que um indicador de medida para avaliar a concretizao de determinado critrio de avaliao; verificao da validade e fidelidade de instrumentos de avaliao a aplicar; recurso triangulao (de dados, de olhares avaliativos objecto de avaliao avaliado por pessoas diferentes, de paradigmas tericos, de mtodos e tcnicas...) validao de resultados produzidos por processos de avaliao (ver processo 10); repetio das observaes e clara explicitao dos termos utilizados.

34

II. Enquadramento

06/06/16

12:33

Page 35

O que se avalia sempre uma parte de determinada realidade

Parte essa construda pelos responsveis pela avaliao

Responsveis esses que seleccionam dimenses/critrios/ /indicadores a aplicar

Dimenses/critrios relativos a aspectos crticos a considerar e eventualmente ponderar

3
Seleco que transporta as vrias representaes dos actores sobre a matria em estudo

3
Quem define o que crtico? So posicionamentos universais ou definidos apenas para uma realidade social especfica?

A maior ou menor criticidade das dimenses/critrios sempre determinada pelas caractersticas dos contextos em presena

Implementao de intervenes avaliativas unicamente aps a execuo das aces formativas prtica corrente em muitos dos projectos de avaliao analisados. Esta opo surge normalmente associada ao tipo de paradigma avaliativo seguido pelo avaliador, que, neste caso, centra a ateno na aferio dos resultados finais da formao. Quando os resultados esperados so francamente positivos e a avaliao cumpre a respectiva funo, fornecendo informao que permita reconhecer os adquiridos durante a formao. No entanto, estas prticas afiguram-se inadequadas quando o que se pretende so avaliaes com carcter regulador, ou seja, centradas na introduo de melhorias concretas ao longo da realizao da formao. Ver Fase III, processo 7. Fraco envolvimento dos vrios actores no processo de avaliao Um dos principais objectivos de uma interveno avaliativa a produo de informao til capaz de ser apropriada pelos respectivos destinatrios. Tal exige que os mesmos tomem conhecimento do dispositivo de avaliao e da forma como podem participar no mesmo, quer ao nvel da respectiva construo/validao quer ao nvel da respectiva implementao. Uso indevido dos dados da avaliao No raras vezes, so recolhidos dados que na prtica no chegam a ser utilizados no acto avaliativo. Outras situaes h em que se verifica a incorporao de determinados dados no discurso avaliativo sem que, todavia, surtam o impacte desejado. Tais situaes decorrem, por vezes, do seguinte: os actores envolvidos no processo avaliativo no foram os mais indicados; logo, no foram recolhidos os dados pretendidos; os resultados da avaliao no foram apresentados aos actores com capacidade de deciso sobre os mesmos;

35

II. Enquadramento

06/06/16

12:33

Page 36

os resultados da avaliao no foram apresentados em tempo oportuno o que reduziu a possibilidade da avaliao ser consequente; os resultados da avaliao foram utilizados para outros fins que no a melhoria contnua dos processos e/ou determinao do valor efectivo da formao desenvolvida. Inconsistncia dos dados recolhidos Um processo de avaliao pode ser posto em causa por diversas razes, sendo uma das principais a falta de consistncia dos dados que apresenta. Dados contraditrios; recomendaes pouco fundamentadas e no ancoradas na recolha de dados efectuada; informao pouco credvel, traduzem-se em razes suficientes para pr em causa o resultado de determinada avaliao. Fraca sustentabilidade dos processos de avaliao A noo de sustentabilidade aplicada ao domnio da avaliao remete-nos para a seguinte questo: como garantir que a cultura avaliativa se mantm, uma vez concludas as actividades de avaliao propriamente ditas? Diramos que, a sustentabilidade de um processo de avaliao ser tanto maior, quanto maiores forem os investimentos no desenvolvimento de culturas de avaliao operacionalizadas em mecanismos de vigilncia permanente que garantam a qualidade de projectos de formao subsequentes.

2.1.4 O papel do(s) avaliador(es)

So vrias as questes que se colocam a quem avalia, das quais, as mais frequentemente apontadas por parte dos destinatrios da avaliao so as que seguidamente se apresentam: Legitimidade do avaliador para realizar as actividades avaliativas propostas Trata-se de uma das questes centrais a analisar sobre esta matria, uma vez que da maior ou menor legitimidade do avaliador depende o maior ou menor empenho e participao de quem avaliado. As propostas metodolgicas que se preconizam neste Guia exigem de quem avalia a capacidade para ser parceiro na construo do projecto de avaliao a realizar e, ao mesmo tempo, capacidade para ser isento ao longo do processo avaliativo. O posicionamento interno e externo do avaliador A perspectiva de avaliao desenvolvida neste Guia atribui particular relevncia participao dos vrios actores da formao na operacionalizao das estratgias de avaliao. Neste sentido, privilegia-se a perspectiva de avaliao interna e no externa, no obstante esta ltima ser igualmente utilizada com maior frequncia no mbito das intervenes de avaliao de nvel 3 e nvel 4 (avaliao de transferncias e impactes organizacionais respectivamente). Equilbrio entre rigor metodolgico e utilidade da avaliao Por vezes, o avaliador levado a efectuar concesses em termos do rigor das metodologias de avaliao a aplicar. Sempre que tal acontecer este deve informar o(s) cliente(s) dessa realidade explicando as razes que o conduziram a tal opo,

36

II. Enquadramento

06/06/16

12:33

Page 37

com indicao posterior das alternativas seguidas. No relatrio final, devem incluir-se nas ltimas pginas ou ao longo do texto, notas metodolgicas que justifiquem estas opes. Neste Guia Metodolgico faz-se referncia figura do avaliador como personagem que tanto pode significar um indivduo como conjunto de indivduos que intervm em actividades de avaliao. A reflexo que seguidamente se efectua assume particular relevncia na medida em que se defende que os actores a mobilizar para determinado projecto de avaliao sejam devidamente preparados por forma a garantir que a respectiva actuao seja marcada pela mxima iseno, rigor e sentido tico.

37

II. Enquadramento

06/06/19

13:46

Page 38

III. Apresentao

06/06/16

16:18

Page 39

III. Apresentao da abordagem PERTA

3.1 As fases e os processos da abordagem PERTA
A abordagem PERTA foi concebida no sentido de facilitar a sua apropriao por parte dos respectivos utilizadores, pelo que surge estruturada num conjunto de fases, processos e instrumentos. Esta proposta metodolgica, semelhana de outra j publicada, insere-se numa coleco dedicada ao ciclo da formao pelo que versar fundamentalmente aspectos que se prendem com o domnio da avaliao da formao, sem prejuzo da realizao das necessrias articulaes com os restantes domnios do ciclo formativo, sempre que tal se considere necessrio. Apresenta-se seguidamente a abordagem PERTA em articulao com o esquema do ciclo formativo:

DIAGNSTICO

PLANEAMENTO

CONCEPO

ORGANIZAO

DESENVOLVIMENTO

AVALIAO

A abordagem PERTA visa potenciar os desempenhos dos actores ao longo do desenvolvimento da formao, entendida aqui como projecto transversal e sistemtico que pode ocorrer em qualquer momento tendo em vista a elevao da qualidade e eficcia dos desempenhos dos profissionais e/ou organizaes nas quais estes se inserem. No esquema da pgina seguinte o utilizador deste Guia compreender melhor de que modo pode a avaliao contribuir para a melhoria das prticas a desenvolver em cada um dos domnios do ciclo formativo. Como se poder verificar, uma estratgia de avaliao permite recolher e devolver informao a cada um dos domnios referenciados. Nesta perspectiva, a mesma constitui uma ferramenta ao servio do alinhamento das intervenes dos vrios actores que resulta numa maior qualidade das respectivas intervenes.

5 5 5 5 5
PREPARAR A INTERVENO AVALIATIVA ELABORAR E TESTAR INSTRUMENTOS REALIZAR A ESTRATGIA AVALIATIVA TRATAR E ANALISAR OS DADOS APRESENTAR OS RESULTADOS

5
39

III. Apresentao

NVEL 4 Avaliao dos impactos da formao nos indicadores da organizao NVEL 3 Avaliao da aplicao dos adquiridos nos contextos reais de trabalho (impactes no desempenho dos indivduos) NVEL 2 Avaliao das aprendizagens efectuadas NVEL 1 Avaliao de graus de satisfao

40
DIAGNSTICO PLANEAMENTO CONCEPO ORGANIZAO DESENVOLVIMENTO

No contexto do diagnstico, a avaliao:

No contexto do planeamento, a avaliao:

No contexto da concepo, a avaliao: No contexto da organizao, a avaliao: No contexto do desenvolvimento, a avaliao:

06/06/16 16:18 Page 40

indaga sobre caractersticas dos participantes na formao; sinaliza factores crticos de sucesso associados ao desempenho desejado (sinalizao de factores que podem inibir e facilitar o processo de transferncia); sinaliza as competncias crticas a acompanhar/avaliar (individuais e colectivas); indaga sobre caractersticas dos contextos de integrao/acolhimento profissional dos formandos.

verifica a oportunidade dos timings para a realizao da formao; verifica se existe alinhamento entre propostas de interveno formativa e competncias crticas sinalizadas no diagnstico; procura sinalizar factores crticos de sucesso associados ao projecto de formao a desenvolver; verifica a existncia de linhas orientadoras para interveno subsequente dos vrios actores a mobilizar para a formao; analisa contributos de parcerias a implicar no projecto de formao; verifica adequao de recursos humanos e materiais face a exigncias das solues formativas em causa; procura evidncias concretas que demonstrem o acolhimento de anteriores recomendaes/aprendizagens de projectos anteriores.

analisa a forma como os objectivos foram descritos; contribui para a clarificao dos critrios de xito a alcanar; avalia a adequao das propostas programticas e respectiva sequenciao face a objectivos a alcanar; Avalia a adequao dos recursos tcnico-pedaggicos a utilizar na formao face aos objectivos a alcanar e caractersticas dos pblicos destinatrios. avalia/monitoriza a adequao das condies logsticas para realizao das intervenes; avalia a eficincia na mobilizao dos recursos materiais e financeiros; avalia a adequao da preparao dos vrios agentes a mobilizar para a formao; avalia a adequao dos processos de seleco e recrutamento dos formandos; avalia a adequao dos suportes de apoio disponibilizados na formao, face a caractersticas dos pblicos destinatrios.

verifica cumprimento de objectivos de aprendizagem; garante o alinhamento entre os vrios objectivos de desempenho pretendidos (individuais, de grupo e individuais); avalia adequao da performance do formador/monitor (focalizao nas estratgias pedaggicas explorao dos contedos de forma operacional; aplicao prtica dos mesmos; suporte ao nvel do desenvolvimento/aquisio doscontedos e reflexo sobre as prticas efectuadas); avalia graus de satisfao dos vrios agentes da formao; avalia adequao dos contedos e respectiva sequncia face a objectivos a alcanar (de aprendizagem, de transferncia e organizacionais); avalia eficcia da articulao entre actores; avalia a adequao na explorao dos recursos tcnico-pedaggicos utilizados.

AVALIAO

III. Apresentao

06/06/16

16:18

Page 41

Como referido anteriormente, o que se postula neste Guia no a apresentao de um modelo de avaliao especfico, mas antes uma forma prtica e integrada de olhar para a avaliao da formao, que se espera, possa contribuir para orientar os respectivos utilizadores ao nvel da construo e implementao das respectivas estratgias de avaliao da formao.

!!

A abordagem PERTA traduz-se, assim, num conjunto de fases, processos e instrumentos que remetem o utilizador para trs momentos distintos: momento 1: o antes da execuo da avaliao (Fases I e do II da abordagem PERTA) momento 2: o durante a execuo da avaliao (Fases III e IV da abordagem PERTA) momento 3: o aps a execuo da avaliao (Fase V da abordagem PERTA)

A proposta efectuada junto das entidades e profissionais que intervm na avaliao da formao a seguinte: num primeiro momento, sugere-se que o domnio Avaliao da Formao seja declinado em cinco fases distintas, integradas e complementares: FASE I FASE II FASE III FASE IV FASE V

i i i i i

P lanear a abordagem avaliativa E laborar e testar instrumentos para recolha de dados R ealizar a abordagem avaliativa T ratar e analisar os dados recolhidos e produzir relatrios de avaliao A presentar os resultados da avaliao

A cada uma das fases desta abordagem sero associados processos especficos que visam operacionalizar cada uma das fases referidas, a saber:

41

III. Apresentao

06/06/16

16:18

Page 42

REPARAR A INTERVENO AVALIATIVA

ELABORAR
E TESTAR INSTRUMENTOS

EALIZAR A ESTRATGIA AVALIATIVA

RATAR E ANALISAR OS DADOS

APRESENTAR
OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

10

Planear as intervenes avaliativas

Testar instrumentos de avaliao

Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

Realizar intervenes avaliativas aps a execuo da formao

A cada um dos processos indicados sero associados instrumentos que visam apoiar a operacionalizao das estratgias metodolgicas recomendadas ao longo do Guia, bem como, um conjunto de notas complementares que visam suportar, na sua generalidade, os posicionamentos metodolgicos constantes em cada um dos processos da abordagem PERTA. De modo a familiarizar o utilizador com a proposta apresentada neste Guia, segue-se um breve resumo das principais mensagens de cada uma das cinco fases da abordagem PERTA:

42

III. Apresentao

06/06/16

16:18

Page 43

3.2 Breve sntese de cada fase da abordagem PERTA

FASE I: Preparar a interveno avaliativa Nesta fase da abordagem PERTA, o utilizador convidado a recolher um conjunto de dados que lhe permitiro, posteriormente, definir a estratgia de avaliao a implementar ou, se assim lhe entendermos chamar, construir o modelo de avaliao a aplicar ao contexto pretendido. Destacam-se aqui como mensagens principais: # 1 A preparao de uma interveno de avaliao recorre a outputs (resultados) de outros domnios do ciclo formativo (diagnstico, planeamento, concepo, organizao e execuo da formao), colocando-se, desde logo, ao servio da melhoria das intervenes que se desenvolvem nestes domnios. # 2 A informao produzida nos dois processos da FASE I visa, fundamentalmente, preparar os vrios actores para uma interveno de avaliao mais eficaz e capaz de elevar a qualidade das respectivas intervenes. # 3 Do maior ou menor conhecimento acerca dos contextos de partida dos formandos pode depender a maior ou menor qualidade da interveno formativa. Tal significa que quem forma dever apresentar uma soluo formativa ajustada s necessidades dos seus destinatrios o que implica considerar, no apenas as competncias profissionais a desenvolver com a formao, mas tambm, os objectivos e/ou metas a alcanar com a mobilizao posterior dessas competncias. # 4 Uma interveno avaliativa exige ser planeada, gerida e avaliada, semelhana de qualquer outro projecto de interveno o que implica a construo de instrumentos prprios de apoio gesto e acompanhamento do projecto avaliativo. # 5 Desenvolver uma estratgia de avaliao numa perspectiva integrada que se estende para alm dos perodos de execuo da formao pode implicar mudanas ao nvel das concepes/paradigmas associados implementao de projectos formativos. # 6 Os modelos de avaliao so, em regra, seleccionados e/ou construdos em funo das caractersticas dos contextos em presena, pelo que a aplicao cega de modelos de avaliao j existentes pode resultar na produo de informao pouco til para os respectivos destinatrios. # 7 A implementao de uma estratgia de avaliao exige que se tenha em ateno a respectiva relao custo-benefcio, sob pena de se mobilizarem recursos materiais e financeiros desnecessrios e no compensados pelos resultados da avaliao. # 8 A avaliao um processo contnuo, dinmico, que deve acompanhar qualquer projecto ou programa formativo, desde a respectiva concepo at sua eventual reformulao. A prtica avaliativa pode e deve ser, neste sentido, um claro aliado da garantia e controlo da qualidade dos projectos de formao.

43

III. Apresentao

06/06/16

16:18

Page 44

FASE I: Fluxograma do processo 1 Conhecer o contexto de partida da formao

FASE I PROCESSO 1
Etapa 1 1.1 1.2 1.3 1.4 Etapa 2 2.1 2.2 2.3 2.4 2.5 Etapa 3 3.1 3.2 3.3 Etapa 4 4.1 4.2 4.3 Concluda a anlise do contexto

FASE I PROCESSO 2

FASE II PROCESSO 3 e 4

FASE III PROCESSO 5

Etapa 1

Etapa 1 Etapa 1 Compreender as razes que deram origem Etapa 1 formao

1.1 Verificar se a1.1 proposta de formao surge ancorada num diagnstico de necessidades de for1.1 mao 1.2 Verificar se as competncias a demonstrar, aps a formao, encontram-se devidamente sinaEtapa 2 1.2 lizadas (num diagnstico prvio ou no mbito das justificaes da proposta formativa) 1.3 Aferir da clareza da articulao entre as competncias enunciadas no diagnstico, os objec1.3 2.1 tivos de aprendizagem a desenvolver e os objectivos e metas organizacionais a alcanar 1.4 Verificar se foram clarificadas e sinalizadas as competncias crticas 2 a adquirir/desenvolver

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2.2
Etapa 2 Analisar a proposta de formao Etapa 3

1.1 1.2

2.1 Aferir o tipo de interveno formativa em presena (modalidade inicial, contnua, reconver- Etapa 2 Etapa 2 3.1 so... e forma de organizar a formao presencial, a distncia, no local de trabalho...) 2.2 Compreender a razo que conduziu opo por esta ou aquela estratgia formativa 2.1 2.1 3.2 2.3 Identificar factores crticos de sucesso associados proposta de formao a desenvolver 2.4 Verificar se se distinguem ou so evidenciadas, na proposta formativa, as competncias cr2.2 2.2 Etapa 4 ticas a desenvolver 2.5 Verificar se a forma como so descritos e articulados os contedos da formao facilita a impleConcluda a avaliao 2.3 mentao de tcnicas de avaliao 4.1

4.2 Etapa 5

Etapa 3 Sinalizar e compreender as caractersticas dos destinatrios da formao

Construdos e testados os instrumentos 3.1 Sinalizar as caractersticas dos potenciais participantes na formao (idade, nvel de qualificao, anos5.1 experincia profissional, contexto econmico-social...) de 3.2 Procurar conhecer o histrico que os candidatos formao apresentam em termos de par5.2 ticipao em anteriores aces de formao 3.3 Identificar qual a habitual reaco dos intervenientes na formao a actividades de avaliao Etapa 6
Etapa 4 Sinalizar as caractersticas da organizao de acolhimento/integrao 3

6.1

4.1 Verificar se estamos em presena de contextos organizacionais facilitadores da aplicao/explo6.2 rao dos saberes desenvolvidos e/ou adquiridos atravs da formao 4.2 Verificar se existem na(s) organizao(es) de acolhimento/integrao dos formandos, sistemasEtapa 7 de avaliao da formao j implementados ou outro tipo de dispositivo avaliativo (ex: sistemas de avaliao de desempenho, processos de auditoria internos...) 4.3 Verificar se estamos em presena de organizaes que investem, de forma sustentada, na exe7.1 cuo de planos internos de formao
2. Entenda-se aqui por competncias crticas, aquelas que apresentam maior grau de dificuldade e complexidade na respectiva mobilizao e que podem contribuir para um maior impacte nos resultados (individuais, de grupo e organizacionais) pretendidos. a estratgia Denida 3. Entenda-se aqui como organizao de acolhimento/integrao as estruturas organizacionais/funes para as quais os forde avaliao mandos regressam aps a realizao da formao. Pode acontecer a formao no exigir a deslocao do posto de trabalho.

7.2

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1.4

1.5

2.4

1 1 1 1 1 1 1 1 1 1

1.3 1.4 1.5

diagnstica

1 1 1 1 1 1 1 1

44

III. Apresentao

06/06/16

16:18

Page 45

FASE I: Fluxograma do processo 2 Planear as intervenes avaliativas

FASE I PROCESSO 2
Etapa 1 1.1

E I PROCESSO 1
Etapa 1 1.1 1.2 1.3 1.4 Etapa 2 2.1 2.2 2.3 2.4 2.5 Etapa 3 3.1 3.2 3.3 Etapa 4 4.1 4.2 4.3

FASE II PROCESSO 3 e 4

FASE III PROCESSO 5

FASE III PROCESSO 6

Etapa 1

Etapa 1 Etapa 1 Etapa 1 Definio dos objectivos da avaliao pretendida

1.1 Definir o objectivo central da avaliao (ou seja, o uso que1.1 pretende dar aos resultados se 1.1 da avaliao)

cluda a anlise do contexto

1 1 1 1 1 1 1 1 1
4.1 4.2 Etapa 5 5.1 5.2 Etapa 6 6.1 6.2 Etapa 7 Etapa 2 2.1 2.2 Etapa 3 3.1 3.2 Etapa 4

1.1

1 1 1 1 1 1 1 1

1.2
Etapa 2 A definio das questes avaliativas a colocar

1.3
2.1 Sinalizar as dimenses/componentes a avaliar 2.2 Sinalizar os1.4 critrios e indicadores a aplicar

1.5 Etapa 2 2.1

Etapa 3 Momentos em que as intervenes podem ser desenvolvidas

3.1 Decidir quando intervir 3.2 Sinalizar as condies necessrias execuo das actividades de avaliao 2.1

2.2
Etapa 4 Identificar as fontes de informao

2.3

4.1 Sinalizar os donos da informao diagnstica 4.2 Verificar o 2.4 de credibilidade dos avaliadores grau

1 1 1 1 1 1 1 1

1.2 1.3 1.4 1.5 Etapa 2

2.2 Concluda a avaliao

1 1 1 1 1 1 1

1.2 1.3 1.4 1.5 Etapa 2 2.1 2.2 2.3

1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

7.1 7.2 Denida a estratgia de avaliao

1 1 1 1 1 1 1 1 1 1 1

2.4

Construdos e testados Etapa 5 os instrumentos Identificar/construir o quadro de referncia do processo avaliativo

5.1 Verificar se o quadro de referncia da avaliao j se encontra elaborado 5.2 Decidir quem pode participar na elaborao/construo do quadro de referncia para a avaliao Etapa 6 Identificar mtodos e tcnicas de avaliao 4 a utilizar 6.1 Decidir que estratgias podem ser utilizadas na recolha dos dados pretendidos 6.2 Verificar da necessidade de se triangularem tcnicas de avaliao/dados

Etapa 7 Identificar actores interessados nos resultados da avaliao 7.1 Sinalizar aos actores a quem podem interessar os resultados da avaliao 7.2 Verificar se se tratam de actores externos ou internos organizao

4. Ver processo n 3.

2.5 Executadas as intervenes de avaliao

45

III. Apresentao

06/06/16

16:18

Page 46

FASE II: Elaborar e testar instrumentos para recolha de dados Uma vez conhecido o contexto de partida que deu origem formao, assim como elaborada a estratgia de avaliao, passa-se fase da elaborao dos instrumentos que melhor se ajustam ao tipo de informao que se pretende recolher. Destacam-se aqui como mensagens principais desta fase as que se seguem: # 1 A construo e/ou adaptao de instrumentos de avaliao exige um processo de reflexo em torno de vrias alternativas possveis. O recurso aos instrumentos ditos convencionais, tais como o inqurito por questionrio, surge no topo da lista dos instrumentos mais utilizados por parte das entidades formadoras. O desafio que aqui se coloca a possibilidade de se explorarem outras alternativas possveis, igualmente vlidas e, eventualmente, mais adequadas por parte de quem chamado a participar na avaliao da formao. # 2 A aplicao de instrumentos de avaliao , regra geral, influenciada pelas caractersticas dos respectivos contextos. Tal ideia remete o avaliador para uma anlise mais cuidada das informaes a recolher acerca do contexto que deu origem formao. # 3 A eficcia dos instrumentos de natureza avaliativa tender a ser maior sempre que os actores envolvidos nessa avaliao forem informados acerca dos objectivos pretendidos. Defende-se aqui que, sempre que possvel, os vrios actores devem contribuir para a elaborao dos instrumentos de avaliao a aplicar, mediante vrias formas possveis: (1) discusso prvia dos mesmos com os potenciais alvos do processo avaliativo; (2) recolha de dimenses ou critrios a considerar na abordagem avaliativa; (3) validao de instrumentos j existentes. # 4 Verificar a validade e a fidelidade dos instrumentos de avaliao permite garantir uma maior aproximao dos instrumentos a aplicar realidade que se pretende avaliar. No raras vezes, conclui-se que os instrumentos de avaliao aplicados no permitiram recolher os dados pretendidos, resultando estas avaliaes em processos pouco teis para quem nas mesmas se viu envolvido. # 5 A fase II da abordagem PERTA, elaborar e testar instrumentos de avaliao, surge a montante da realizao das intervenes de avaliao o que no invalida que sejam criados outros instrumentos ao longo da execuo da formao. Alis, tais atitudes podem traduzir reais preocupaes com a adequao do instrumental pr-concebido s necessidades dos actores que participam na formao.

46

III. Apresentao

06/06/16

16:18

Page 47

FASE II: Fluxogramas dos processos 3 e 4 Preparar os instrumentos a aplicar nas actividades de avaliao e testar instrumentos

FASE I PROCESSO 2
Etapa 1 1.1 Etapa 2 2.1 2.2 Etapa 3 3.1 3.2 Etapa 4 4.1 4.2 Etapa 5 5.1 5.2 Etapa 6 6.1 6.2 Etapa 7 7.1 7.2 Denida a estratgia de avaliao

FASE II PROCESSO 3 e 4
Etapa 1 1.1 1.2

FASE III PROCESSO 5

FASE III PROCESSO 6

FASE

Etapa 1 Construir 1 Etapa instrumentos para aplicar nas actividades de avaliao Etapa 1

1.3

1.4

1.5

1.1 Analisar as vrias tcnicas/abordagens possveis a aplicar em contextos de 1.1 1.1 avaliao 1.2 Sinalizar as respectivas vantagens e limitaes 1.2 1.2 1.3 Verificar adequao dos instrumentos j existentes aos contextos em presena 1.3 1.3 1.4 Preparar a aplicao das tcnicas/abordagens seleccionadas considerando que se trata de um contexto de avaliao 1.5 Preparar os actores que participam na formao para a explorao das 1.4 1.4 mesmas 1.6 Efectuar a testagem dos instrumentos a utilizar

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Etapa 2 2.1 2.2 2.3 2.4 Construdos e testados os instrumentos

1 1 1 1 1 1 1 1 1 1

1.5

Etapa 2 Analisar os instrumentos de avaliao do ponto Etapa 2 da validade e de vista Etapa 2 fidelidade 2.1 Verificar a validade de contedo 2.2 Verificar a validade de critrio 2.3 Verificar 2.2 a validade de construo 2.4 Verificar a credibilidade/fidelidade

2.1

Concluda a avaliao diagnstica

1 1 1 1 1 1

1.5

2.1 2.2 2.3 2.4 2.5 Executadas as intervenes de avaliao

1 1 1 1 1 1

1 1 1 1

Concl

47

III. Apresentao

06/06/16

16:18

Page 48

FASE III: Realizar a abordagem avaliativa Uma vez preparada e instrumentalizada a proposta de avaliao, seguem-se as intervenes avaliativas propriamente ditas. Na fase III da abordagem PERTA, destacam-se trs grandes momentos nos quais o avaliador pode vir a intervir: o antes, o durante e o aps a realizao da formao, remetendo-se o avaliador para as necessrias articulaes entre a avaliao diagnstica, formativa e sumativa. Como principais mensagens da fase III, destacam-se, assim, as seguintes: # 1 Compete aos responsveis que realizam a formao, sinalizar ou recolher informao sobre o tipo de competncias a mobilizar durante e aps a formao. Tal no inviabiliza a realizao de avaliaes de natureza diagnstica que visam aferir, com maior pormenor, o grau de domnio de saberes/competncias demonstrado por cada um dos participantes na formao. # 2 A preparao para a formao tem o seu incio ainda nos contextos reais de trabalho e no apenas imediatamente antes da respectiva execuo. o que se procura destacar quando se sugere a realizao de uma entrevista de sada 5 que implica a realizao de uma reunio entre a chefia directa e o candidato formao. # 3 Avaliar durante a formao significa mobilizar para o processo avaliativo alguns dos actores-chave das intervenes formativas, tais como: formandos, formadores/monitores/tutores; directores/coordenadores pedaggicos. Estes actores constituem os protagonistas centrais dos processos de regulao da qualidade de um dispositivo de formao, pela capacidade que apresentam ao nvel da introduo de melhorias concretas que concorram para uma maior eficcia da formao. # 4 A implementao de uma estratgia de avaliao exige que sejam preparados os actores que vo participar (directa ou indirectamente) no processo, assim como revistas as respectivas responsabilidades a assumir durante e aps a execuo da formao. # 5 A produo dos impactes esperados na sequncia da execuo da formao so determinados por trs tipos de factores: (1) factores associados preparao e concepo da formao; (2) factores associados ao clima e envolvente organizacional; (3) factores motivacionais associados ao indivduo que participa na formao. Para elevar a maior probabilidade de impacte ser necessrio influenciar positivamente cada um destes factores, de modo a garantir as condies necessrias produo dos impactes desejados. # 6 Sempre que o objectivo da avaliao consiste na aferio de impactes h que reflectir sobre os vrios nveis de impacte de modo a sinalizar as tcnicas mais adequadas aferio dos mesmos. Falamos aqui de impactes da formao ao nvel do desempenho do indivduo (nvel 3 de avaliao), ao nvel dos grupos e organizao no seu todo (nvel 4 de avaliao).
5. O termo sada significa aqui a realizao de uma pausa nas actividades profissionais dirias, por determinado perodo de tempo.

48

III. Apresentao

06/06/16

16:18

Page 49

Fase III: Fluxograma do processo 5 Realizar intervenes avaliativas antes da execuo da formao
FASE III PROCESSO 5
Etapa 1 1.1 1.2 1.3 1.4 1.5 Etapa 2

E II PROCESSO 3 e 4
Etapa 1 1.1 1.2 1.3 1.4 1.5 Etapa 2 2.1 2.2 2.3 2.4

FASE III PROCESSO 6

FASE III PROCESSO 7

FAS

Etapa 1 Ter presente as vrias perspectivas da avaliao diagnstica Etapa 1 Etapa 1 1.1 Ter presente os diferentes objectivos que norteiam a realizao de uma 1.1 1.1 avaliao diagnstica 1.2 Reanalisar resultados anteriores de diagnsticos de necessidades j realizados 1.2 1.3 Decidir qual a abordagem mais indicada para o contexro1.2 anlise em 1.4 Informar os vrios actores dos objectivos da avaliao a realizar 1.3 1.5 Realizar 1.3 a interveno de avaliao diagnstica

onstrudos e testados os instrumentos

1 1 1 1 1 1 1 1 1 1 1

2.1 2.2 Concluda a avaliao diagnstica

1 1 1 1 1 1 1 1 1

1.4 1.5

Etapa 2 Preparar resultados para serem comparados com resultados Etapa 2 2.1 intermdios e finais da formao

2.2 2.1 2.1 Reanalisar os resultados da avaliao diagnstica no decurso da formao 2.2 Reanalisar os resultados da avaliao diagnstica no final da execuo da formao 2.3 2.2

2.3 2.4 2.5 Executadas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1

1.4 Etapa 2

2.4 Etapa 3 3.1 3.2 Etapa 4 4.1 4.2 4.3 4.4 Concludas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

T d

49

III. Apresentao

06/06/16

16:18

Page 50

FASE III: Fluxograma do processo 6 Realizar intervenes avaliativas durante a execuo da formao

PROCESSO 5

FASE III PROCESSO 6

Etapa 1

FASE III PROCESSO 7

FASE IV PROCESSO 8

FASE

tapa 1 1.1 1.2 1.3 1.4 1.5

Etapa 1 Etapa Etapa 1 Preparar e1executar as avaliaes de reaces (nvel 1)

tapa 2 2.1 2.2

a a avaliao gnstica

1 1 1 1 1 1 1 1 1

1.1 1.2 1.3 1.4 1.5 Etapa 2 2.1 2.2 2.3 2.4 2.5 Executadas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1

1.1 Ter presente o mbito de uma avaliao de reaco 1.1 1.1 1.2 Verificar se so contempladas na avaliao as dimenses/componentes

importantes e crticas associadas formao a desenvolver 1.2 1.2 1.3 Considerar a diversidade de tcnicas/abordagens disponveis para se

1.3 1.4 Preparar os formandos para participarem na avaliao 1.5 Realizar as intervenes antes e no final da avaliao 1.4 Etapa 2

avaliarem as reaces dos actores que intervm na formao

Etapa 2 Preparar as avaliaes de aprendizagens (nvel 2) Etapa 2 2.1 2.1 Ter presente o mbito de uma avaliao de aprendizagens 2.1 2.2 2.2 Verificar se so contemplados na avaliao os saberes/competncias importantes e crticos da formao a desenvolver 2.3 2.3 Considerar a diversidade de tcnicas/abordagens disponveis2.2 se para avaliarem as reaces dos actores que intervm na formao 2.3 2.4 Preparar os formandos para participarem na avaliao 2.4 2.5 Realizar as intervenes antes (se necessrio), durante e no final das intervenes 3 2.4 Etapa

3.1 3.2 Etapa 4 4.1 4.2 4.3 4.4 Concludas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1.3

1.4 1.5

Tratamento e anlise de dados efectuados

1 1 1 1 1 1 1 1 1 1

Rela

50

III. Apresentao

06/06/16

16:18

Page 51

FASE III: Fluxograma do processo 7 Realizar intervenes avaliativas aps a execuo da formao
FASE III PROCESSO 7
Etapa 1 1.1 1.2 1.3 1.4 Etapa 2

SE III PROCESSO 6
Etapa 1 1.1 1.2 1.3 1.4 1.5 Etapa 2 2.1 2.2 2.3 2.4 2.5

FASE IV PROCESSO 8
Etapa 1 Etapa 1 Preparar uma avaliao de 3 nvel

FASE IV PROCESSO 9
Etapa 1

utadas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1

2.1 2.2 2.3 2.4 Etapa 3 3.1 3.2 Etapa 4 4.1 4.2 4.3 4.4 Concludas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1.1 Ter presente o mbito de uma avaliao de 3 nvel 1.1 1.1 1.2 Sinalizar os factores que podem inibir ou facilitar o processo de transferncia 1.2 Preparar e mobilizar os actores para a execuo de actividades que 1.2 1.2 potenciam a transferncia 1.3 Sinalizar as tcnicas a aplicar numa avaliao de 3 nvel 1.3 1.3 1.4 Reflectir sobre a importncia da entrevista de sada

1.4
Etapa 2 Realizar1.5interveno (uma proposta possvel) a

2.1 Realizar uma entrevista de chegada Etapa 2 2.1 2.2 Elaborar um plano de aco 2.3 Disponibilizar ao ex-formando um instrumento para respectiva auto2.1 Etapa 3 avaliao e acompanhamento de progressos 2.4 Realizar uma reunio de acompanhamento/avaliao de progressos

2.2 2.3

Etapa 3 Generalizar as mais valias da formao no contexto da organizao 2.4 3.3 3.1 Definir estratgias de aco Tratamento e anlise 3.4 3.2 Mobilizar os actores a implicar na execuo das estratgias pr-definidas

de dados efectuados

Etapa 4 Avaliar impactes da formao na organizao (nvel 4) Relatrio de avaliao 4.1 Ter presente as razes fundamentais que conduziram formao 4.2 Rever e analisar os indicadores susceptveis de sofrerem eventual impacte na sequncia das aces de formao 4.3 Sinalizar outras medidas que possam ter impacte nos mesmos indicadores e estimar o respectivo peso na evoluo dos indicadores 4.4 Procurar estimar os benefcios ilquidos da formao (valor acrescentado percepcionado pelos vrios actores beneficirios directos ou indirectos da formao

1 1 1 1 1 1 1 1 1 1

1.4 Etapa 2

3.1 3.2

3.5

elaborados

1 1 1 1 1 1 1 1 1 1 1 1

51

III. Apresentao

06/06/16

16:18

Page 52

FASE IV: Tratar e analisar os dados recolhidos e produzir relatrios de avaliao

Na sequncia das vrias intervenes de avaliao torna-se necessrio reflectir acerca dos dados recolhidos junto dos vrios actores contactados para o efeito. Trata-se de reflexes realizadas na fase IV da abordagem PERTA e que visam dotar o utilizador de um conhecimento mais aprofundado relativamente s vrias tcnicas disponveis para a realizao do tratamento de dados desejado. Apresentam-se, seguidamente, algumas das mensagens mais marcantes desta fase:

# 1 O tratamento e anlise dos dados de um processo de avaliao deve ser efectuado atempadamente, ou seja, os resultados devero permitir a eventual introduo de melhorias nos processos formativos, em tempo oportuno e no sentido do cumprimento dos objectivos de formao (valorizao da perspectiva da avaliao formativa). Quando a avaliao realizada no final da formao, o tratamento dos dados deve permitir retirar ilaes para a operacionalizao de intervenes futuras. # 2 Um relatrio de avaliao deve dar uma resposta concreta s necessidades de informao dos seus destinatrios; tal dizer que se deve evitar produzir informao pouco til tomada de deciso dos actores que intervm na formao. # 3 A introduo de processos de validao de dados contribui para uma maior credibilidade dos processos de avaliao. Tal procedimento pode contribuir ainda para uma maior aceitao dos processos de avaliao desenvolvidos, uma vez que permite a realizao de espaos verdadeiramente participativos e colaborativos que abonam totalmente a favor da transparncia dos processos de avaliao realizados. # 4 A produo de relatrios de avaliao exige um cuidado particular, designadamente no que toca necessria formatao, que deve ser efectuada de acordo com as mais prementes necessidades de informao dos respectivos destinatrios. # 5 A elaborao de concluses e recomendaes assumem, em qualquer relatrio de avaliao, uma importncia crucial j que
neste espao de reflexo so vertidos os principais juzos de valor dos vrios actores que participaram na avaliao. Na sequncia destas seguem-se, igualmente, outros quadros de reflexo que apontam para a implementao de aces de melhoria, com efeitos nas aces em curso ou em aces a desenvolver em perodos subsequentes.

52

III. Apresentao

06/06/16

16:18

Page 53

FASE IV: Fluxograma do Processo 8 Tratar e analisar os dados

E III PROCESSO 7
Etapa 1 1.1 1.2 1.3 1.4 Etapa 2 2.1 2.2 2.3 2.4 Etapa 3 3.1 3.2 Etapa 4 4.1 4.2 4.3 4.4

FASE IV PROCESSO 8
Etapa 1

FASE IV PROCESSO 9
Etapa 1 Etapa 1 Tratar os dados recolhidos

FASE V PROCESSO 10
Etapa 1

udas as intervenes de avaliao

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1.1 1.2 1.3 1.4 1.5 Etapa 2 2.1 2.2 2.3 2.4 Tratamento e anlise de dados efectuados

1.1 Decidir que tipo de dados tratar e como tratar 1.1 1.1 1.2 Validar os dados seleccionados 1.3 Codificar os dados seleccionados para respectivo tratamento 1.2 1.2 1.4 Verificar se as amostras de respondentes representativa do universo a considerar no estudo 1.3 1.3 1.5 Verificar se os mtodos/tcnicas de recolha de dados foram os mais adequados quando considerados os dados obtidos

1 1 1 1 1 1 1 1 1 1

1.4 Etapa 2
Etapa 2 Analisar os dados aps respectivo tratamento 2.1

2.1 Verificar se as questes avaliativas pr-estabelecidas foram todas respondidas 1.7 Etapa 3 2.2 Aferir sobre o tipo de anlise mais adequada (descritiva, bi-varivel, multivarivel) Etapa 2 2.3 Verificar se da3.1 anlise efectuada resulta informao relevante para a tomada de deciso 2.1 2.4 Verificar se a informao produzida suficientemente credvel 3.2

3.3 3.4 3.5 Relatrio de avaliao elaborados

1 1 1 1 1 1 1 1 1 1 1 1

1.4 1.5 1.6

2.2 2.3 Etapa 3 3.1 3.2 3.3 3.4 3.5 Apresentados e disseminados os resultados da avaliao

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

53

III. Apresentao

06/06/16

16:18

Page 54

PARTE IV: Fluxograma do Processo 9 Elaborar relatrios de avaliao

OCESSO 8

FASE IV PROCESSO 9
Etapa 1 1.1 1.2 1.3 1.4 Etapa 2

FASE V PROCESSO 10
Etapa 1 ProduzirEtapa 1 os contedos do relatrio 1.1 Discutir com os 1.1 actores interessados a natureza e o contedo dos relatrios a apresentar 1.2 Destacadas claramente, no relatrio, as mensagens mais importantes do 1.2 processo de avaliao realizado 1.3 Apresentar nos relatrios vrios cenrios possveis para propostas de 1.3 alterao/melhoria de prticas 1.4 Utilizar uma linguagem acessvel nos relatrios de avaliao

a1

1 1 1 1 1 1

1.4
Etapa 2 Organizar1.5 e estruturar os contedos produzidos 2.1 Verificar se na estruturao do relatrio foram consideradas as vrias partes 1.6 propostas neste Guia

1 1 1 1 1 1

a2

2.1 Etapa 3 3.1 3.2 3.3

1 1 1 1 1

1.7 Etapa 3 Elaborar as recomendaes

3.1 Elaborar recomendaes com base unicamente nas informaes produzidas Etapa 2 3.2 Estimar e considerar os custos associados concretizao de cada uma das recomendaes efectuadas 2.1 3.3 Considerar na elaborao das recomendaes a capacidade de deciso dos actores sinalizados para as pr em prtica 3.4 Considerar na 2.2 elaborao das recomendaes as possveis reaces dos respectivos destinatrios 2.3 3.5 Sinalizar os resultados a alcanar com a concretizao de cada uma das recomendaes

1 1 1 1

e anlise ectuados

3.4 3.5 Relatrio de avaliao elaborados

1 1

Etapa 3 3.1 3.2 3.3 3.4 3.5 Apresentados e disseminados os resultados da avaliao

1 1 1 1 1 1

54

III. Apresentao

06/06/16

16:18

Page 55

FASE V: Apresentar os resultados da avaliao

A fase V da abordagem PERTA consiste na derradeira mas no menos importante etapa do percurso proposto. O processo de avaliao no termina com a produo dos relatrios de avaliao. Na sequncia desta actividade, segue-se a apresentao e discusso dos respectivos resultados junto dos vrios actores que participam ou participaram (directa ou indirectamente) na formao. Como mensagens centrais da fase V destacam-se as seguintes:

# 1 A apresentao dos resultados de um processo de avaliao deve ser cuidada e ajustada natureza da informao pretendida por parte dos respectivos destinatrios.

# 2 A apresentao das recomendaes acompanhadas de um conjunto de propostas de aco concretas, devidamente planeadas e calendarizadas, contribui para uma maior apropriao dos resultados de determinada avaliao, por parte dos respectivos destinatrios. # 3 A elaborao de um plano de aco que suporte a introduo de eventuais melhorias nos processos formativos que se encontram a decorrer ou a desenvolver futuramente potencia e atribui sentido s intervenes avaliativas realizadas. # 4 A focalizao dos actores contactados nas prioridades a seguir pode potenciar e optimizar os resultados de uma avaliao. # 5 Qualquer que seja o plano de melhoria a implementar deve ser devidamente calendarizado e gerido/acompanhado por parte dos actores com maiores responsabilidades na respectiva execuo.

55

III. Apresentao

06/06/16

16:18

Page 56

FASE V: Fluxograma do Processo 10 Preparar a apresentao e disseminao dos resultados da avaliao

ROCESSO 9

FASE V PROCESSO 10
Etapa 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 Etapa 2 2.1 2.2 2.3 Etapa 3 3.1 3.2 3.3 3.4 3.5 Apresentados e disseminados os resultados da avaliao
Etapa 1 Definir uma estratgia para apresentar os resultados da avaliao 1.1 Decidir a quem devem ser apresentados os resultados 1.2 Decidir como devero ser apresentados os resultados 1.3 Decidir quando devem ser apresentados os resultados 1.4 Decidir quem deve apresentar os resultados da avaliao 1.5 Decidir onde devero realizar-se as sesses para apresentao dos resultados 1.6 Aferir como pretendem os vrios actores-chave apropriar-se dos resultados da avaliao 1.7 Verificar se os destinatrios esto preparados para receberem os resultados produzidos

a1

1 1

a2

a3

1
Etapa 2 Abordagens/tcnicas a utilizar na apresentao dos resultados da avaliao 2.1 Ter presente as vrias possibilidades disponveis para a apresentao dos resultados (reunies individuais, colectivas...) 2.2 Preparar as apresentaes dos resultados 2.3 Recolher informao sobre graus de satisfao relativos forma como foram apresentados os resultados da avaliao Etapa 3 A elaborao de planos de aco 3.1 Sinalizar previamente recomendaes de melhoria para tratamento prioritrio 3.2 Sinalizar aces a implementar 3.3 Sinalizar os actores que sero responsveis pela implementao das medidas propostas 3.4 Identificar os resultados que se espera alcanar 3.5 Que calendrio ser o mais adequado para a produo dos resultados pretendidos?

avaliao ados

1 1 1 1 1

56

III. Apresentao

06/06/16

16:18

Page 57

3.3 A abordagem PERTA resultados previstos e instrumentos de apoio

Apresenta-se seguidamente os principais produtos esperados de cada um dos processos propostos, assim como, respectivos instrumentos:
Fases
Fase I Preparar a interveno avaliativa

Processos
Processo 1 Conhecer o contexto de partida da formao

Resultados dos processos (outputs)

Breve diagnstico acerca da situao de partida dos formandos Plano para implementao da estratgia de avaliao Seleco/construo de instrumentos a aplicar ao contexto da avaliao prevista Relatrio/memorandos da fase de teste Mobilizao dos actores para a execuo das actividades de avaliao Mobilizao dos actores para a execuo das actividades de avaliao Mobilizao dos actores para a execuo das actividades de avaliao Instrumento n 1

Instrumentos

Processo 2 Planear as intervenes avaliativas FASE II Elaborar instrumentos para recolha de dados Processo 3 Preparar os instrumentos a aplicar nas actividades de avaliao Processo 4 Testar instrumentos de avaliao Fase III Realizar a abordagem avaliativa Processo 5 Realizar intervenes avaliativas antes da execuo da formao Processo 6 Realizar intervenes avaliativas durante a execuo da formao Processo 7 Realizar intervenes avaliativas aps a execuo da formao

Instrumento n 2 Instrumento n 3 Instrumento n 5 Instrumento n 6 Instrumento n 7 Instrumento n 11 Instrumento n 12 Instrumento n 13

Instrumento n 4

Instrumento n 8 Instrumento n 9 Instrumento n 10

Instrumento n 14 Instrumento n 15

Instrumento n 16 Instrumento n 17 Instrumento n 18 Instrumento n 19 Instrumento n 20 Instrumento n 21 Instrumento n 22

Fase IV Tratar e analisar os dados recolhidos e produzir relatrios de avaliao

Processo 8 Tratar e analisar os dados recolhidos aps a aplicao de estratgias avaliativas Processo 9 Elaborar relatrios de avaliao Processo 10 Preparar a apresentao e disseminao dos resultados da avaliao

Resultados da anlise dos dados recolhidos no terreno (anlises descritivas/anlises interpretativas) Estrutura para relatrio de avaliao da formao Estratgias para apresentao de resultados da avaliao Estrutura para conceber planos de aco/melhoria das intervenes formativas

Instrumento n 23 Instrumento n 24 Instrumento n 25

Fase V Apresentar os resultados da avaliao

Durante a implementao da abordagem PERTA, os vrios actores implicados nos processos avaliativos sero levados a produzir um conjunto de evidncias, ou seja, suportes que decorrem da operacionalizao de cada um dos processos acima referidos.

57

III. Apresentao

06/06/19

13:47

Page 58

IV. Auto-diagnstico

06/06/16

16:20

Page 59

Auto-diagnstico a realizar pela entidade formadora

IV. Auto-diagnstico

06/06/16

16:20

Page 60

IV. Auto-diagnstico

06/06/16

16:20

Page 61

IV. Autodiagnstico a realizar pela entidade formadora

4.1 Checklist para autodiagnstico das prticas de avaliao da formao
Observao: Este auto-diagnstico dever ser reportado s actividades de avaliao que a entidade/indivduo concebeu (ou participou na avaliao) nos ltimos 2 anos.
Observaes/ /Recomendaes (por ex: alterar/desenvolver/ /introduzir...)

Nunca ou raramente ()

Algumas vezes ()

Habitualmente ou quase sempre ()

Na anlise prvia sobre o contexto de partida da formao:

1. recolhida informao que permite clarificar as competncias crticas a desenvolver pela formao? 2. recolhida informao que permite compreender como se articulam as competncias a desenvolver pela formao e os objectivos de aprendizagem previstos no projecto de formao?

3. So sinalizados os factores crticos de sucesso associados ao desenvolvimento da formao (aspectos que uma vez ausentes podem condicionar o sucesso da formao)? 4. So sinalizados os actores-chave do projecto de formao? 5. So analisadas as caractersticas dos candidatos formao?

6. So analisadas as caractersticas dos contextos de acolhimento/integrao profissional dos formandos?

61

IV. Auto-diagnstico

06/06/16

16:20

Page 62

Nas propostas de avaliao normalmente concebidas:

7. So definidos os objectivos para a avaliao a desenvolver? 8. So claramente definidas as questes de avaliao a colocar? 9. So definidos os momentos para interveno? 10. So identificados os actores que podem disponibilizar a informao pretendida? 11. claramente apresentado o quadro de referncia da avaliao a desenvolver? 12. So identificados os mtodos/tcnicas de avaliao a aplicar? 13. So sinalizados os actores a quem se devem devolver posteriormente os resultados da avaliao?

Na fase da elaborao dos instrumentos de avaliao:

14. So consideradas as diversas tcnicas/abordagens de avaliao existentes? 15. So comparadas as respectivas vantagens e limitaes? 16. So ajustados realidade em presena os instrumentos j existentes? 17. efectuada a testagem do instrumento a aplicar? 18. verificada a validade dos instrumentos de avaliao? 19. verificada a fidelidade dos instrumentos de avaliao?

Na execuo de uma avaliao diagnstica:

20. So analisados os vrios objectivos possveis para este tipo de avaliao? 21. So analisadas as vrias abordagens/tcnicas normalmente associadas a este tipo de avaliao? 22. Os respectivos resultados so reanalisados ao longo do desenvolvimento da formao? 23. Os respectivos resultados so reanalisados no final da execuo da formao?

62

IV. Auto-diagnstico

06/06/16

16:20

Page 63

Na execuo das avaliaes de reaco (nvel 1):

24. So realizadas intervenes durante e no final de cada sesso/mdulo? 25. So contempladas as dimenses/componentes mais importantes e crticas da formao? 26. So considerados vrios os mtodos/tcnicas de avaliao? 27. So preparados os formandos para intervirem da avaliao?

Na execuo das avaliaes de aprendizagens (nvel 2):

28. So realizadas intervenes durante e no final de cada sesso/mdulo? 29. So contempladas as competncias mais importantes e crticas da formao? 30. So considerados vrios mtodos/tcnicas de avaliao? 31. So preparados os formandos para intervirem na avaliao?

Na execuo das avaliaes das transferncias de adquiridos (nvel 3):

32. So sinalizados os factores que podem inibir ou facilitar o processo de transferncia? 33. So sensibilizados os actores que intervm na formao para a realizao de actividades que apoiem posteriormente o processo de transferncia de adquiridos? 34. So diversificados os mtodos/tcnicas de avaliao? 35. praticada a entrevista de sada? 36. praticada a entrevista de chegada? 37. So elaborados planos de aco/melhoria? 38. So disponibilizados aos formandos instrumentos para auto-avaliao de progressos na sequncia da aplicao dos adquiridos? 39. So realizadas reunies para acompanhamento/avaliao de progressos? 40. So implementadas estratgias que apoiem a generalizao e rentabilizao das mais valias da formao?

63

IV. Auto-diagnstico

06/06/16

16:20

Page 64

Na execuo das avaliaes do impacto da formao nos resultados da organizao (nvel 4):
41. So novamente reflectivas as razes fundamentais que deram origem formao? 42. So analisados os indicadores de desempenho da organizao? 43. So analisados os impactes nesses indicadores, originados por outras medidas de natureza no formativa? 44. So estimados os benefcios ilquidos da formao realizada?

No tratamento e anlise dos dados:

45. seleccionado previamente o tipo de dado a tratar? 46. verificado se o nmero dos que responderam s questes de avaliao representativo do total dos que participaram na formao? 47. revista a adequao das estratgias de avaliao desenvolvidas considerando os resultados obtidos? 48. verificada a relevncia da informao obtida para a tomada de deciso dos actores que participaram na formao? 49. verificada a credibilidade da informao a disponibilizar?

Na preparao e elaborao de relatrios de avaliao:

50. Discutem-se, com os respectivos interessados, o tipo de estrutura a apresentar nos relatrios? 51. So apresentados cenrios possveis para alterao/melhoria de prticas? 52. A linguagem utilizada acessvel considerando as caractersticas dos respectivos destinatrios? 53. As recomendaes so efectuadas em funo da informao anteriormente produzida?

64

IV. Auto-diagnstico

06/06/16

16:20

Page 65

Na apresentao e disseminao de resultados:

54. So destacadas as recomendaes para tratamento prioritrio? 55. So sinalizadas as aces/medidas concretas a implementar? 56. So sinalizados os responsveis pela implementao das medidas propostas? 57. So sinalizados os resultados a alcanar com a implementao das aces de melhoria? 58. definida calendarizao especfica para apresentao dos resultados na sequncia da execuo dos planos de melhoria?

4.2 Grelha para anlise de resultados

Preenchida a primeira grelha deste exerccio de diagnstico, sugere-se que o avaliador identifique a(s) fase(s) e/ou processo(s) que apresenta(m) maior(es) fragilidade(s), sinalizando com um (X) apenas o nmero das questes que remetam para eventuais aces de melhoria, ou seja, as questes indicadas com nunca ou raramente. As fases que reunirem maior nmero de cruzes devero merecer maior ateno por parte de quem realizou o exerccio de auto-diagnstico, j que podem indicar reas prioritrias de interveno.

Questes 1 2 3 4 5 6 7 8 9 10 11 12 13

Fases

Processo 1 Conhecer o contexto de partida

Fase I Preparar a interveno avaliativa Planear a abordagem avaliativa

Questes 14 15 16 17 18 19

Fases

Processo 3 Preparar os instrumentos a aplicar nas actividades de avaliao

Processo 4 Testar instrumentos de avaliao

Fase II Elaborar e testar instrumentos para recolha de dados

65

IV. Auto-diagnstico

06/06/16

16:20

Page 66

Questes 20 21 22 23 24 25 26 27 28 29 30 31

Fases

Fase III Realizar a abordagem avaliativa Processo 5 Realizar intervenes avaliativas antes da execuo da formao Processo 6 Realizar intervenes avaliativas durante a execuo da formao

Questes 32 33 34 35 36 37 38 39 40 41 42 43 44

Fases

Fase III Realizar a abordagem avaliativa Processo 7 Realizar intervenes avaliativas aps a execuo da formao

Questes 45 46 47 48 49 50 51 52 53

Fases

Processo 8 Tratar e analisar os dados recolhidos aps a aplicao de estratgias avaliativas

Fase IV Tratar e analisar os dados e produzir relatrios de avaliao Processo 9 Elaborar relatrios de avaliao

Questes 54 55 56 57 58 44

Fases

Fase V Apresentar os resultados da avaliao Processo 10 Definir estratgias para a apresentao/disseminao dos resultados da avaliao

66

IV. Auto-diagnstico

06/06/16

16:20

Page 67

Plano de melhoria
Processos que se pretendem melhorar 1. 2. 3. 4. 5. Aces a implementar (seleccionar apenas as medidas prioritrias) Responsvel pela execuo das aces Datas para a apresentao de resultados

Recursos necessrios

67

IV. Auto-diagnstico

06/06/19

13:48

Page 68

V. Fase I_P1-2

06/06/16

18:12

Page 69

FASE I. Preparar a interveno avaliativa

Objectivo
O objectivo central da FASE I da abordagem PERTA (1) a sensibilizao dos responsveis pelas intervenes avaliativas para a recolha de informao considerada necessria elaborao de uma estratgia de avaliao que incida sobre determinado projecto formativo; (2) a disponibilizao de uma proposta metodolgica de apoio elaborao de uma estratgia de avaliao.
Processos da FASE I PROCESSO 1 Conhecer o contexto de partida da formao Instrumentos propostos para a FASE I Instrumento n 1: Checklist de apoio avaliao do contexto de partida

Questes orientadoras Q 1 Que informao recolher antes de elaborar a estratgia de avaliao? Compreender as razes que deram origem formao Analisar a proposta de formao Sinalizar e compreender as caractersticas dos destinatrios da formao Sinalizar as caractersticas da organizao de acolhimento/integrao profissional Q 1 Como construir uma estratgia de avaliao? Porqu avaliar? O que avaliar? Quando avaliar? Quem so os donos da informao desejada? Que tcnicas/abordagens de avaliao utilizar? Que estratgias utilizar na apresentao dos resultados?

PROCESSO 2 Planear as intervenes avaliativas

Instrumento n 2: Matriz de apoio aferio do grau de participao dos actores da formao na construo da estratgia avaliativa Instrumento n 3: Checklist de apoio elaborao de uma estratgia de avaliao Instrumento n 4: Plano Geral de Avaliao

69

V. Fase I_P1-2

06/06/16

18:12

Page 70

V. Fase I_P1-2

06/06/16

18:12

Page 71

PROCESSO 1. Conhecer o contexto de partida da formao

ELABORAR E TESTAR INSTRUMENTOS REALIZAR A ESTRATGIA AVALIATIVA TRATAR E ANALISAR OS DADOS APRESENTAR OS RESULTADOS

PREPARAR A INTERVENO AVALIATIVA

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Compreender as razes que deram origem a determinada proposta de formao. Analisar as principais caractersticas de um projecto formativo. Sinalizar as principais caractersticas dos destinatrios de determinada formao. Identificar as principais caractersticas da organizao de acolhimento/integrao profissional.

71

V. Fase I_P1-2

06/06/16

18:12

Page 72

Processo 1. Conhecer o contexto de partida da formao

O processo 1 da abordagem PERTA remete o utilizador para uma anlise mais aprofundada acerca do contexto que deu origem proposta de formao. Trata-se, essencialmente, de compreender e analisar as razes que deram origem ao pedido de formao, assim como de sinalizar as principais caractersticas dos destinatrios da proposta pedaggica em questo 6.

Reflectindo...

No raras vezes, a proposta para avaliar este ou aquele aspecto da formao surge j no final da respectiva execuo, quando os responsveis pela coordenao das aces formativas desejam indagar os respectivos resultados, aos mais diversos nveis. Confrontados com esta deciso, os responsveis pela realizao desta avaliao deparam-se, frequentemente, com a ausncia das informaes necessrias construo de uma estratgia de avaliao que permita a produo das informaes desejadas. Fazendo face a esta situao, os actores responsveis pela aplicao das estratgias de avaliao recorrem, por vezes, a estratgias e instrumentos de avaliao estandardizados que nem sempre so os mais indicados para as situaes a avaliar. De modo a evitar situaes desta natureza, recomenda-se que, antes de serem delineadas quaisquer estratgias avaliativas, sejam apurados aspectos aqui considerados de importncia crucial para a realizao processos de avaliao verdadeiramente teis para os respectivos destinatrios.

Preparando a prtica...

Q1

Que informaes recolher antes de elaborar a estratgia de avaliao?

Parte-se, com alguma frequncia, para a elaborao de uma estratgia de avaliao tendo por base apenas a proposta pedaggica que se pretende vir a desenvolver. O que se recomenda a quem avalia a realizao de uma reflexo prvia que permita ao mesmo inteirar-se do contexto que deu origem elaborao da soluo formativa em presena. A reflexo proposta dever incidir sobre quatro aspectos aqui considerados de extrema importncia para o processo de avaliao, traduzidos aqui nas etapas seguintes:
6. Sugere-se aqui a leitura das Fases I e II da abordagem ADORA, desenvolvidas no Guia para a Concepo de Cursos e Materiais Pedaggicos, j publicado pelo IQF.

72

V. Fase I_P1-2

06/06/16

18:12

Page 73

Etapa A Compreender as razes que deram origem formao O avaliador inteira-se do contexto que deu origem formao, procurando resposta para as seguintes questes: (1) A proposta de formao surge ancorada num diagnstico de necessidades de formao?; (2) As competncias a demonstrar, aps a formao, encontram-se devidamente sinalizadas (num diagnstico prvio ou no mbito das justificaes da proposta formativa?); (3) clara a articulao entre as competncias enunciadas no diagnstico, os objectivos de aprendizagem a desenvolver e os objectivos e metas organizacionais a alcanar? (4) Foram clarificadas e sinalizadas as competncias crticas a adquirir/desenvolver? Procura-se nesta fase compreender as relaes que existem entre:
Resultados a alcanar pela organizao

Resultados a alcanar pelas unidades funcionais/grupos

Resultados a alcanar pelos indivduos

1 1

Que competncias crticas sero necessrias para alcanar os resultados pretendidos?

Como pode a AVALIAO contribuir para o alinhamento dos vrios objectivos pretendidos?

A informao acima descrita pode constar em fontes distintas: no relatrio com resultados do diagnstico de necessidades de formao, no relatrio da entrevista de sada para a formao, (ver exemplo de instrumento no processo 7), no relatrio da entrevista efectuada pelos formadores/monitores no incio da formao (ver exemplo de instrumento no processo 5).

7
Etapa B Analisar a proposta de formao Consiste em efectuar uma anlise mais pormenorizada da proposta de formao, permitindo a posterior tomada de deciso quanto a modelos, tcnicas e estratgias de avaliao a implementar. Sugere-se, assim, que o avaliador considere aqui o seguinte conjunto de questes: (1) De que tipo de interveno formativa se trata (modalidade inicial, contnua, reconverso... e forma de organizar a formao presencial, a distncia, no local de trabalho...)?; (2) Consegue-se perceber a razo que conduziu opo por esta ou aquela proposta formativa?; (3) Podem ser identificados, partida, factores crticos de sucesso associados proposta de formao a desenvolver?; (4) Conseguem distinguir-se ou so evidenciadas, na proposta formativa, as competncias crticas a desenvolver?; (5) A forma como so descritos e articulados os contedos da formao facilita a implementao de tcnicas de avaliao?

x
73

V. Fase I_P1-2

06/06/16

18:12

Page 74

NVEL 4

Efectuar, de forma sistemtica e recorrendo aos instrumentos adequados, o controlo das peas fabricadas de acordo com os standards de qualidade prestabelecidos.

NVEL 3

NVEL 2

Efectuar 20 medies diferentes com um nnio, sem efectuar quaisquer erros.

74

x
O esquema que se segue permite exemplificar uma das principais preocupaes descritas o alinhamento dos vrios objectivos pretendidos:
Dever verificar-se, passados seis meses, uma reduo em 50% de peas rejeitadas pelo sector de controlo de qualidade. A questo que aqui se deve colocar a seguinte: em que medida o desempenho do ex-formando, contribuiu para a melhoria efectiva dos resultados do departamento/ /organizao?

Os objectivos de transferncia de adquiridos podem reportar-se: a resultados finais a alcanar no posto de trabalho, ou a pequenas metas a alcanar que visam fazer chegar o ex-formando aos resultados finais pretendidos.

A definio correcta dos objectivos de aprendizagem permite seleccionar, com maior facilidade, as tcnicas de avaliao a aplicar. Permite, igualmente, preparar eventuais avaliaes de 3 nvel (aplicao dos saberes nos contextos reais de trabalho).

7
Etapa C Sinalizar e compreender as caractersticas dos destinatrios da formao Definir uma estratgia de avaliao sem atender s caractersticas dos participantes na formao pode conduzir a escolhas menos acertadas em relao a tcnicas e estratgias de envolvimento de actores a mobilizar para as actividades de avaliao. De modo a evitar situaes desta natureza, recomenda-se que se considerem as caractersticas dos potenciais participantes na formao. Eis algumas das questes a colocar: (1) Quais as caractersticas dos potenciais participantes na formao? (idade, nvel de qualificao, anos de experincia profissional, contexto econmico-social...); (2) Que histrico apresentam, em termos de participao, em anteriores aces de formao? (3) Como se espera que os vrios intervenientes na formao reajam s actividades de avaliao? (4) Qual o nvel de entrada dos participantes na aco de formao/curso? A informao acima descrita pode constar em fontes distintas: na ficha de inscrio do formando ou no relatrio da entrevista de grupo efectuada pelo formador/monitor.

V. Fase I_P1-2

06/06/16

18:12

Page 75

7
Etapa D Sinalizar as caractersticas da organizao de acolhimento Procura-se aqui indagar acerca das caractersticas das organizaes s quais os potenciais formandos se encontram vinculados. Esta etapa permite recolher informaes importantes para uma das fases centrais do processo de avaliao: a fase da transferncia de adquiridos para os contextos reais de trabalho. Este tipo de informao pode ajudar a decidir pela interveno ou no de avaliaes desta natureza consoante a maior ou menor receptividade dos contextos de partida, aplicao dos novos saberes nas situaes reais de trabalho. Eis algumas das questes a colocar: (1) Estamos em presena de contextos organizacionais facilitadores da aplicao/explorao dos saberes desenvolvidos e/ou adquiridos atravs da formao?; (2) Existem na(s) organizao(es) de acolhimento/integrao dos ex-formandos, sistemas de avaliao da formao j implementados ou outro tipo de dispositivo avaliativo (ex: sistemas de avaliao de desempenho, processos de auditoria internos...)?; (3)Trata-se de organizaes que investem, de forma sustentada, na execuo de planos internos de formao? (4) So esperados eventuais obstculos ao processo de transferncia de adquiridos para os contextos de trabalho?

Quando confrontado com a ausncia de informao acima referenciada, o avaliador procura incentivar os vrios actores a disponibiliz-la, uma vez que se trata de informao essencial para a fase de avaliao de resultados individuais, de grupo ou organizacionais. As actividades desenvolvidas na fase de preparao da estratgia avaliativa podem, assim, vir a contribuir para uma maior estruturao e explicitao da estratgia e resultados organizacionais a alcanar.

Quanto melhor se conhecer o contexto que deu origem formao, mais facilmente se conseguem implicar os vrios autores na avaliao a desenvolver. Todavia, considerando a natureza de algumas das informaes a obter, natural que as mesmas no estejam totalmente disponveis, imediatamente antes da execuo da formao. Sempre que tal acontea, recomenda-se que essas informaes sejam recolhidas ao longo da execuo da formao, recorrendo, para tal, ao apoio dos actores que intervm na formao.

!!

75

V. Fase I_P1-2

06/06/16

18:12

Page 76

V. Fase I_P1-2

06/06/16

18:12

Page 77

Instrumentos de apoio ao processo

V. Fase I_P1-2

06/06/16

18:12

Page 78

Instrumento de apoio n 1
FICHA TCNICA Objectivos: A aplicao do presente instrumento permite verificar em que medida se encontram disponveis informaes necessrias construo da estratgia de avaliao pretendida. Contextos e momentos de aplicao: Construdo para ser aplicado a montante da realizao da formao, recomendase que seja aplicado no quadro da execuo de aces dirigidas a activos empregados. Quem o pode utilizar: Os actores responsveis pela definio e/ou implementao de eventuais estratgias avaliativas.
Em parte (X) Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar 1. A proposta formativa foi elaborada com base num diagnstico de necessidades de formao de partida? 2. Conseguem inferir-se do diagnstico de necessidades os problemas/desafios individuais/de grupos e/ou organizacionais para os quais foi apresentada a soluo formativa? 3. Foi claramente sinalizado no diagnstico o tipo de resultado pretendido com a realizao da formao? (ao nvel dos desempenhos dos indivduos dos grupos e/ou da organizao?) 4. Foram claramente sinalizadas as competncias necessrias ao cumprimento dos resultados pretendidos? 5. Foram sinalizadas as competncias com maior valor crtico? (ou seja: com maior grau de dificuldade e complexidade, com impactes significativos nos desempenhos estratgicos desejados?) 6. As opes pedaggicas encontram-se bem fundamentadas? (consegue-se perceber a articulao entre contedos a desenvolver e objectivos a alcanar/justificao de cargas horrias/justificao de prioridades de aco...?) 7. A sequncia dos contedos programticos a desenvolver potencia o cumprimento dos objectivos a alcanar? 8. Infere-se com facilidade a natureza dos saberes a desenvolver/adquirir com a formao (saber saber; saber fazer; saber ser/estar)? 9. Os objectivos de aprendizagem foram correctamente descritos (sinalizao da aco a executar; condies de execuo e critrio de xito)? 10. Est prevista a implementao de outras medidas complementares para alm da medida formativa? 11. So suficientemente conhecidas as caractersticas dos destinatrios da formao? 12. Prev-se alguma reaco negativa dos participantes ou outros actores do projecto formativo, aplicao de instrumentos de avaliao? 13. possvel recolher alguma informao acerca dos contextos de acolhimento dos participantes na formao?

Sim (x)

No (x)

78

V. Fase I_P1-2

06/06/16

18:12

Page 79

PROCESSO 2. Planear as intervenes avaliativas

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Sinalizar as vrias orientaes possveis de uma avaliao. Sinalizar os factores crticos de sucesso associados implementao de uma estratgia avaliativa. Construir uma estratgia de avaliao considerando os vrios nveis de D. Kirkpatrick.

79

V. Fase I_P1-2

06/06/16

18:12

Page 80

Processo 2. Planear as intervenes avaliativas

Uma vez conhecida a natureza da proposta pedaggica, assim como as caractersticas dos candidatos formao e respectivos contextos organizacionais de partida, torna-se possvel delinear uma estratgia de avaliao e respectivo plano de implementao.

Reflectindo...

A definio de uma estratgia de avaliao apresenta como pano de fundo trs tipos de decises: uma primeira que remete para a verificao da necessidade de serem efectuadas avaliaes com carcter orientador, ou seja, intervenes avaliativas que precedem a execuo da formao e que visam, fundamentalmente, ajustar esta s caractersticas de partida dos formandos.

7
neste contexto que falamos da avaliao diagnstico ou diagnstica. As questes avaliativas visam, neste caso, produzir informaes que permitam tomar decises antes da aco de formao ter incio, tais como: confirmao/verificao de domnio inicial de determinados saberes e/ou competncias (neste ltimo caso, quando os formandos so levados a efectuar demonstraes prticas de determinados saberes); sinalizao de pontos fortes/fracos em termos de domnio de determinadas competncias para reorientao posterior de estratgias pedaggicas e desenvolvimento de contedos. (...)

Uma outra deciso ser a aplicao ou no de estratgias de avaliao com carcter regulador, ou seja, intervenes que visem corrigir ou ajustar o funcionamento de determinado dispositivo de formao a fim de o melhorar. O enfoque aqui , claramente, a eficincia do processo formativo que leva os vrios actores a reverem procedimentos j postos em prtica no decurso da aco formativa.

80

V. Fase I_P1-2

06/06/16

18:12

Page 81

7
neste contexto que falamos de uma avaliao formativa, que tem como principal objectivo ajustar o dispositivo de formao s necessidades dos seus destinatrios de modo a facilitar a mxima eficcia nas aprendizagens a efectuar pelos mesmos. As questes avaliativas visam, neste caso, produzir informaes que permitam tomar decises durante a execuo da formao, tais como: a reorientao de estratgias pedaggicas se necessrio; a alterao, desenvolvimento ou extino de determinados contedos programticos; a alterao de procedimentos associados implementao do dispositivo de formao.

E, por ltimo, uma deciso que remete para a realizao ou no de avaliaes com carcter certificativo, ou seja, quando a deciso a tomar se expressa em termos de xito ou insucesso, neste caso, relativa ao grau de sucesso das aprendizagens efectuadas por parte dos participantes em determinada aco de formao.

7
neste contexto que falamos de avaliaes de natureza sumativa, ou seja, avaliaes que resultam em decises de xito ou de fracasso relativo a um perodo de aprendizagem, de aceitao ou de rejeio de uma promoo, de continuidade de uma aco ou de interrupo desta. As questes avaliativas visam, neste caso, produzir informaes que permitam tomar decises no final da formao, tais como: atribuio de determinado certificado de formao, uma vez cumpridos os pr-requisitos em termos de aprendizagens a alcanar com a realizao da formao; aceitao de transio para um nvel ou mdulo de formao subsequente; aplicao de aces de recuperao (no caso de insucesso); promoo profissional.

O esquema que se segue permite cruzar os diferentes tipos de avaliao com os respectivos momentos de execuo:

No incio do processo Avaliao de orientao (diagnstica)

Durante o processo Avaliao de regulao (formativa) Sentido do processo

No final do processo Avaliao de certificao (sumativa)

Fonte: Adaptado de Ketele, J.; Roegiers, X. (1999) Fonte: Adaptado de Ketele, J.; Roegiers, X. (1999)

81

V. Fase I_P1-2

06/06/16

18:12

Page 82

Fizemos referncia aplicao mais comum destas trs perspectivas de avaliao, associando-as a trs momentos distintos: o antes, o durante e o ps formao. Destacamos aqui, no entanto, que estas perspectivas dizem respeito aos objectivos da avaliao a realizar e no ao momento propriamente dito pelo que, o que interessa retirar desta reflexo o facto de devermos ter sempre presente que a cada questo de avaliao corresponder uma destas perspectivas (diagnstica/formativa ou sumativa) e que desta forma que as devemos agregar, tornando a respectiva operacionalizao facilitada. Antes de avanar para a elaborao de uma estratgia de avaliao, importa ainda reflectir sobre a abrangncia das intervenes a realizar. Quem desenvolve formao questiona-se normalmente se dever avaliar ou no todos os cursos/aces de formao a desenvolver ou j desenvolvidas durante um determinado perodo de tempo. Apresenta-se seguidamente uma grelha com informao que pode ajudar a tomar as decises necessrias sobre esta matria:

Nvel de avaliao 1. Reaco

Percentagem 100%

Observaes Remete para a aplicao de um instrumento avaliativo totalidade de participantes na formao. O autor aqui sugere que a avaliao de aprendizagens seja efectuada a uma amostra de 70% do universo de formandos. Todavia, na prtica, as entidades responsveis pela formao aplicam os instrumentos avaliativos a 100% dos participantes na formao. O recurso a uma amostra pode ocorrer num contexto de grande volume de formao ou sempre que os grupos de formao sejam bastante homogneos. Neste nvel de avaliao verifica-se, na maior parte dos casos, uma focalizao no conjunto de competncias-chave (regra geral, sujeitas a critrios de avaliao ponderados, dada a respectiva importncia no mbito do projecto de formao). Por exigir algum dispndio de tempo, entende-se ser suficiente a realizao de uma avaliao desta natureza apenas a 50% das aces desenvolvidas, que, em regra, so seleccionadas de acordo com o tipo de competncias a desenvolver/ adquirir (competncias crticas). semelhana do nvel anterior, mais uma vez as competncias crticas so o centro das atenes. Aqui a seleco surge, regra geral, subordinada a um conjunto de indicadores considerados fundamentais, associados normalmente a posicionamentos estratgicos da organizao (focalizao do processo avaliativo nas competncias core).

2. Aprendizagem

70%

3. Comportamentos (transferncia de adquiridos)

50%

4. Resultados organizacionais

10%

Fonte: Adaptado de J. Phillips (1994)

82

V. Fase I_P1-2

06/06/16

18:12

Page 83

Preparando a prtica...

Q1

Como construir uma estratgia de avaliao?

O itinerrio que se prope para a construo de uma estratgia de avaliao, remete para a realizao das seguintes etapas:
Etapa A Definio dos objectivos da avaliao pretendida (Porqu? Como se pretende vir a usar os resultados?)

7
Etapa B A definio das questes avaliativas a efectuar (O que avaliar? Sinalizao de dimenses/componentes a avaliar)

7
Etapa C Em que momentos devero ser desenvolvidas as intervenes de natureza avaliativa? (Quando intervir?) (Cruzar dimenses avaliativas com momentos de avaliao)

7
Etapa D Identificar as fontes de informao (Quem so os donos da informao?)

7
Etapa E Identificar/construir o quadro de referncia do processo avaliativo (Avaliar com base em que ponto de partida?)

7
Etapa F Identificar mtodos e tcnicas de avaliao a utilizar 7 (Como recolher os dados?)

7
Etapa G Apresentar os resultados da avaliao (Que estratgias de apresentao?

Apresentam-se, de seguida, de forma mais desenvolvida, as etapas supra referidas, que sero desenvolvidas tendo em conta os vrios nveis de avaliao de D. Kirkpatrick, que permitir remeter quem avalia para a elaborao de estratgias de avaliao especficas para cada um dos 4 nveis em causa.
7. As questes dos mtodos e das tcnicas de avaliao a utilizar sero desenvolvidos em processo prprio.

83

V. Fase I_P1-2

06/06/16

18:12

Page 84

Etapa A Definio dos objectivos da avaliao pretendida (Porqu avaliar? Como se pretende vir a usar os resultados?)
Um processo de avaliao pode apresentar objectivos distintos consoante as caractersticas das propostas pedaggicas em presena, assim como interesses dos prprios actores que nas mesmas participem. Frequentemente, definem-se os objectivos da avaliao indicando apenas as dimenses a avaliar (exemplo do objectivo 1). Todavia para alm da sinalizao do enfoque da avaliao importa referenciar tambm a razo pela qual a(s) dimenso(es) vai(o) ser avaliada(s) (ex: objectivo 2).

Objectivos da avaliao

7
Objectivo 1: Avaliar o dispositivo de formao e respectivos impactes.

7
Objectivo 2: Avaliar o dispositivo de formao e respectivos impactes, com vista a gerar informao que permita decidir sobre a respectiva continuidade, desenvolvimento e ou extino.

7
Verifica-se aqui um claro enfoque em duas dimenses a avaliar: o dispositivo formativo e os respectivos impactes, sem que todavia se perspective a utilidade destas intervenes.

7
Neste segundo caso, so claramente referenciados os propsitos da avaliao a realizar.

A perspectiva de avaliao , assim, delineada de acordo com o que se pretende obter em termos de informaes, que permitam a futura tomada de deciso. Definir e divulgar os objectivos do processo avaliativo permite, no s, tornar mais transparentes as intencionalidades das vrias intervenes a realizar, como tambm alinhar essas intervenes avaliativas com os interesses ltimos dos seus beneficirios.

!!
84

Esclarecer os vrios actores acerca dos objectivos da avaliao a realizar resulta, normalmente, numa maior participao e implicao dos mesmos ao longo de todo o processo avaliativo.

V. Fase I_P1-2

06/06/16

18:12

Page 85

Etapa B A definio das questes avaliativas a colocar (O que avaliar?)

Devemos ter sempre presente que qualquer processo de avaliao procura dar resposta a um conjunto de questes, normalmente designadas por questes de avaliao. As questes de avaliao so normalmente colocadas de acordo com: (1) a tipologia de avaliao pretendida (diagnstica, formativa, sumativa); (2) a natureza das dimenses/componentes da formao em presena; (3) o maior ou menor domnio das metodologias de avaliao pretendidas. O Avaliador poder ter de sacrificar algumas das questes avaliativas, sempre que no estejam reunidas as condies necessrias recolha dos dados pretendidos. Organizar as questes de avaliao, numa primeira fase, pelos nveis de D. Kirkpatrick pode ser uma soluo expedita para quem necessite de delinear, num curto espao de tempo, uma estratgia de avaliao da formao. Importa, todavia, ter presente que existem outras propostas de interveno que podem, em certo sentido, complementar a abordagem deste autor (ver ponto A problemtica da avaliao da formao). Vejamos que questes de avaliao so normalmente consideradas em cada um dos nveis de avaliao de D. Kirkpatrick:

Avaliar do grau de satisfao dos participantes na formao (nvel 1 de avaliao) (Enfoque no processo formativo) A sinalizao das questes de avaliao, associadas ao nvel 1 de avaliao, implica que se reflicta sobre as grandes dimenses ou componentes da formao acerca das quais se deseja aferir o grau de satisfao dos formandos.
Expectativas iniciais

Apoio logstico Condies fsicas de apoio Actividades pedaggicas Formadores/ /monitores Nvel 1 de avaliao

Objectivos de aprendizagem Contedos de formao Materiais/recursos pedaggicos

Sobre cada uma destas dimenses/componentes do processo de avaliao so colocadas questes que visam gerar informao a devolver aos diferentes destinatrios deste nvel avaliativo.

85

V. Fase I_P1-2

06/06/16

18:12

Page 86

Importa aqui ter presente que, podemos sinalizar um conjunto diversificado de questes para cada dimenso a avaliar, assim como oscilar entre uma abordagem de avaliao com maior ou menor grau de profundidade de anlise, consoante o tipo de dados a recolher sobre cada uma destas dimenses.

!!

Sugere-se que sobre cada uma das dimenses/componentes de avaliao sinalizadas sejam colocadas as seguintes questes: O que se considera pertinente saber sobre....? Ou: O que que os vrios agentes envolvidos na formao gostariam de saber sobre...?

Uma vez reunido consenso acerca das questes a colocar no processo de avaliao, passa-se etapa seguinte: estabilizar os critrios de avaliao a integrar no referencial da avaliao de nvel 1 (reaces). Segue-se a apresentao de um quadro no qual so apresentadas as dimenses/componentes mais exploradas no mbito deste nvel de avaliao:
Dimenses/componentes a considerar numa avaliao de 1 nvel? (ex: de duas dimenses)

7
Objectivos de aprendizagem

7
Recursos tcnico-pedaggicos (ao servio do formador/formando)

7
O que desejo saber acerca desta dimenso/componente? 8 Como foram apresentados os objectivos de aprendizagem? Os objectivos de aprendizagem foram cumpridos?

7
O que desejo saber acerca desta dimenso/componente? 8 Os recursos tcnico-pedaggicos utilizados foram os mais adequados?

7
Segundo que ptica devo olhar para a dimenso/componente a avaliar? (sinalizao dos critrios de avaliao) Apresentao e discusso, no incio das intervenes, dos objectivos a alcanar com a formao. Clareza na respectiva descrio. Sinalizao dos respectivos critrios de xito, para posterior avaliao. Conformidade com o apresentado no programa da aco/curso Conformidade com o definido ao longo da realizao do curso.

7
Segundo que ptica devo olhar para a dimenso/componente a avaliar? (sinalizao dos critrios de avaliao) Qualidade dos recursos utilizados na formao (na perspectiva da utilidade dos mesmos para os respectivos utilizadores). Diversidade dos recursos. Eficcia na sua explorao. Actualidade dos recursos utilizados. Adequao da respectiva explorao. Contributo dos recursos para a compreenso/construo dos saberes pretendidos.

8. A etapa que remete o utilizador para a determinao das questes de avaliao , aqui, apresentada no sentido de apoiar, quem avalia, a estabilizar mais facilmente o quadro de referencia da avaliao a implementar.

86

V. Fase I_P1-2

06/06/16

18:12

Page 87

Numa avaliao de reaco, podem ainda ser consideradas questes abertas, que permitem recolher informao mais detalhada acerca das intervenes formativas em curso ou a desenvolver, relativas a:
Questes de avaliao (possveis) As expectativas iniciais dos formandos foram cumpridas? Como foram construdos os objectivos? Como foram comunicados os objectivos aos formandos? Como se articulam as necessidades de formao sentidas pelos formandos com os objectivos de aprendizagem pr-definidos? Foram cumpridos os objectivos de aprendizagem? O formador domina as matrias/temas abordados?

Dimenses de anlise

Critrios de avaliao Cumprimento das expectativas dos formandos ao longo da execuo da formao. Cumprimento de expectativas iniciais (no final das intervenes). Articulao dos mesmos com as necessidades de formao previamente sinalizadas. Clareza na determinao da aco a executar, das condies de execuo e respectivo critrio de xito a alcanar. Participao dos formandos na construo dos mesmos. Apresentao e discusso, no incio das intervenes, dos objectivos a alcanar com a formao. Clareza na respectiva descrio. Sinalizao dos respectivos critrios de xito, para posterior avaliao.

Expectativas iniciais

Objectivos de aprendizagem

Correspondncia de cada um dos objectivos de aprendizagem a competncias concretas a desenvolver. Coerncia entre natureza do saber contemplado no objectivo de aprendizagem e natureza da competncia a mobilizar posteriormente.

Conformidade com o apresentado no programa da aco/curso. Conformidade com o definido ao longo da realizao do curso. Capacidade de resposta demonstrada quando questionado pelos participantes acerca dos assuntos abordados. Domnio dos termos tcnicos da rea de interveno. Capacidade para remeter os participantes para autores de referncia nas matrias abordadas. Adequao dos mtodos pedaggicos face s caractersticas dos formandos. Adequao dos mtodos pedaggicos face aos estilos de aprendizagens dos formandos. Adequao dos mtodos pedaggicos face natureza dos saberes/competncias a desenvolver.

Desempenho do formador

O formador/ /monitor recorre a mtodos pedaggicos adequados?

x
87

V. Fase I_P1-2

06/06/16

18:12

Page 88

88

x
Contedos programticos Recursos tcnicopedaggicos (ao servio do formador/formando) Suportes de apoio utilizados na formao (meios audio-visuais)

O formador/ /monitor recorre a linguagem adequada?

Clareza na apresentao dos assuntos abordados. Compreenso, por parte dos formandos, dos termos tcnicos utilizados na abordagem aos assuntos. Facilidade dos formandos em acompanhar a dinmica das exposies efectuadas pelo formador. Disponibilidade para responder s questes dos formandos. Demonstrao de interesse pelas questes apresentadas por parte dos formandos. Incentivo participao activa dos formandos nas vrias actividades pedaggicas. Acompanhamento da progresso da aprendizagem dos formandos. Actualidade dos assuntos abordados. Utilidade dos mesmos para a resoluo de problemas concretos sinalizados pelos formandos. Utilidade dos mesmos para a funo exercida ou a exercer. Adequao dos exemplos e exerccios prticos apresentados face ao nvel de qualificaes dos formandos/caractersticas dos formandos. Estruturao e articulao de contedos (adequao da respectiva sequncia de apresentao). Aplicabilidade dos contedos na resoluo de problemas concretos de trabalho. Profundidade na abordagem dos temas. Equilbrio entre a teoria e a prtica. Coerncia na abordagem aos vrios assuntos. Adequao da carga horria associada a cada interveno programtica, face s exigncias de cada objectivo de aprendizagem. Cumprimento de cargas horrias pr-estabelecidas. Qualidade dos recursos utilizados na formao (na perspectiva da utilidade dos mesmos para os respectivos utilizadores). Diversidade dos recursos. Eficcia na sua explorao. Actualidade dos recursos utilizados. Adequao da respectiva explorao. Contributo dos recursos para a compreenso/construo dos saberes pretendidos. Diversidade dos suportes mobilizados para a formao. Qualidade dos suportes de apoio (na perspectiva do respectivo funcionamento). Actualidade dos suportes de apoio utilizados.

Como se relacionou o formador/ /monitor com os formandos?

Os contedos propostos para o curso/aco de formao foram os mais adequados?

O desenvolvimento dos contedos foi o mais adequado? A durao do programa foi a mais adequada?

Os recursos tcnico-pedaggicos utilizados foram os mais adequados?

Os suportes de apoio utilizados foram os mais adequados?

V. Fase I_P1-2

06/06/16

18:12

Page 89

Aces de formao em curso Comentrios/sugestes de melhoria ou comentrios sobre o curso. Pontos fortes/pontos fracos da aco que se encontra a decorrer. Sugestes para a entidade formadora temas a suprir; a acrescentar; a aprofundar. Aces de formao j concludas Sugestes/crticas/recomendaes para aces futuras. Outras aces que gostaria de frequentar. Grau de facilidade de transposio para a sua organizao dos conhecimentos adquiridos. Aces que pensa empreender, no respectivo contexto de trabalho, no seguimento da aco de formao. Impacte esperado do programa na respectiva evoluo profissional. Barreiras esperadas aplicao dos adquiridos aps o do regresso ao posto de trabalho. Classificao da aco quando comparada com outras aces de formao em que j participou. Primeira medida a desencadear aps o regresso ao respectivo posto de trabalho. Recomendaes (perspectiva global) a dirigir aos coordenadores e formadores da interveno formativa. Se o ex-formando recomendaria a a sesso formativa, na qual participou, a outros colegas de trabalho ou amigos.

x
Documentao de apoio formao (perspectiva do formando) A documentao disponibilizada foi a mais adequada? Apoio tcnico/ /administrativo Apoio logstico O apoio logstico prestado foi suficiente e adequado? Os espaos e instalaes colocados ao servio da formao foram os mais adequados? Espaos/instalaes

Cuidados na apresentao da documentao. Adequao do momento em que distribuda a documentao aos formandos. Acessibilidade aos respectivos contedos (organizao e estruturao dos respectivos contedos). Profundidade na abordagem dos temas. Quantidade da documentao fornecida. Diversidade dos materiais fornecidos. Qualidade da documentao fornecida (na perspectiva da sua utilidade para os participantes na formao). Oportunidade das intervenes. Qualidade do servio prestado. Diversidade dos servios prestados.

Adequao de luminosidade, temperatura, equipamento disponibilizado para a formao. Adequao da rea disponibilizada para a formao face aos objectivos de aprendizagem pretendidos.

89

V. Fase I_P1-2

06/06/16

18:12

Page 90

No raras vezes, recorre-se a referenciais/instrumentos de avaliao j existentes sem ter o devido cuidado de o adaptar s caractersticas do contexto em presena. Este facto, leva o avaliador a considerar critrios de avaliao pouco ajustados aos objectivos de avaliao, daqui resultando a recolha de dados no terreno de escassa utilidade, para quem, posteriormente, pretende tomar decises. Nestas situaes, o utilizador dever responder seguinte questo: em que medida os critrios de avaliao j existentes permitem gerar a informao pretendida?

!!

So os critrios de avaliao (perspectiva operacional) que diferenciam os olhares das intervenes avaliativas, devendo estes ser aferidos em funo (1) dos objectivos da avaliao em presena; (2) das capacidades de resposta dos donos da informao. Trata-se, aqui, de pr-definir uma grelha de leitura terica com base na qual se observa a realidade pretendida. Associado a cada um dos critrios de avaliao surgem os indicadores, de natureza quantitativa e qualitativa, dos quais falaremos aquando da reflexo sobre a elaborao do referencial de avaliao. Acrescente-se que no quadro supra apresentado so sinalizadas dimenses e questes avaliativas que podem ser igualmente consideradas nos instrumentos de avaliao a utilizar por outros actores, designadamente, relatrios de acompanhamento a efectuar por formadores/monitores e coordenadores pedaggicos, instrumentos para auto-avaliao dos formadores.

Avaliao do grau de domnio de determinados saberes (avaliao de aprendizagens nvel 2) O enfoque deste nvel de avaliao so os saberes a adquirir/desenvolver durante a formao, que, quando conjugados numa determinada situao profissional, permitem ao indivduo demonstrar se domina ou no determinada competncia. Neste caso, as questes de avaliao giram em torno da aferio do grau de domnio em relao a determinados tipos de saberes, assim como, e sempre que o formando chamado a aplicar esses saberes em prtica real ou simulada, da demonstrao de determinadas competncias. Apresenta-se, semelhana do nvel de avaliao anterior, um exemplo que permite compreender o tipo de reflexo pretendido.

90

V. Fase I_P1-2

06/06/16

18:12

Page 91

Dimenses/componentes a considerar numa avaliao de 2 nvel?

7
A aquisio/desenvolvimento de saberessaber; saberes-fazer e saberes ser/estar

7
Demonstrao de determinadas competncias (por exemplo, em contexto real ou prtica simulada)

7
Factores facilitadores/inibidores da aprendizagem (enfoque no processo de aprendizagem)

7
O que desejo saber acerca desta dimenso/componente? Em que medida os formandos adquiriram/desenvolveram os saberes propostos no programa de formao? (durante e no final da formao)

7
O que desejo saber acerca desta dimenso/componente? Em que medida os formandos conseguiram aplicar, em contextos reais ou em prticas simulada, os saberes desenvolvidos/adquiridos?

7
O que desejo saber acerca desta dimenso/componente? Foram reunidas as condies necessrias aprendizagem desejada?

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Eficcia na aquisio/desenvolvimento de determinados saberes.

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Eficcia na aplicao, durante a execuo da formao, dos saberes adquiridos/desenvolvidos.

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Adequao dos contextos de aprendizagem face aos objectivos a alcanar.

As especificidades dos contextos de formao em presena determinam, mais uma vez, a perspectiva de avaliao a desenvolver. Como se pode verificar no exemplo apresentado, podemos avaliar as aprendizagens pela ptica do critrio da eficcia que remete para a verificao do cumprimentos dos objectivos pedaggicos pretendidos, mas tambm, pela ptica do critrio da eficincia do processo de aprendizagem, na medida em que se procura indagar, igualmente, acerca das condies disponibilizadas para a realizao dessa aprendizagem.

!!

Avaliar a transferncia da formao (nvel 3) (Enfoque na aplicao dos saberes e verificao dos impactes nos desempenhos dos indivduos) Remete o utilizador para o momento aps a realizao da formao. Neste caso, as questes de avaliao vo no sentido da aferio de eventuais ocorrncias ao nvel das alteraes nos comportamentos dos indivduos resultantes da respectiva participao em aces de formao.

91

V. Fase I_P1-2

06/06/16

18:12

Page 92

Dimenses/componentes a considerar numa avaliao de 3 nvel?

7
Mudanas verificadas nos comportamentos dos indivduos (alterao de mtodos de trabalho, introduo de inovaes, maior autonomia individual...)

7
Impactes das alteraes introduzidas nos desempenhos profissionais dos indivduos

7
Factores que inibem o processo de transferncia de adquiridos durante a formao Factores que potenciam o processo de transferncia

7
O que desejo saber acerca desta dimenso/componente? Verificam-se alteraes nos comportamentos dos indivduos decorrentes da sua participao na formao?

7
O que desejo saber acerca desta dimenso/componente? Essas alteraes de comportamento nos indivduos permitiram alcanar os resultados profissionais desejados?

7
O que desejo saber acerca desta dimenso/componente? Aquando do processo de transferncia de adquiridos para as situaes reais de trabalho, foram evidenciados eventuais obstculos? O que esteve na base da eficcia do processo de transferncia? (factores crticos de sucesso)

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Aplicao de saberes adquiridos/desenvolvidos Cumprimento de objectivos de desempenho pr-estabelecidos

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Eficcia do processo de transferncia

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Adequao dos contextos de aplicao Eficcia do processo de transferncia

A determinao dos critrios de avaliao a utilizar numa avaliao de 3 nvel permite orientar posteriormente quem avalia na definio da amplitude da avaliao desejada. Um aspecto a considerar o facto de se considerarem apenas, na maior parte das vezes, a primeira e segunda dimenses de avaliao referidas: 1) mudanas verificadas nos comportamentos dos indivduos que participaram na formao; 2) impactes dessas mudanas nos respectivos desempenhos profissionais. No mbito deste nvel de interveno, os dispositivos de avaliao aplicados raramente contemplam as restantes dimenses (factores que facilitam e inibem o processo de transferncia), informao fundamental que nos permite, por exemplo, compreender a eventual no aplicao dos saberes nos contextos reais de trabalho.

92

V. Fase I_P1-2

06/06/16

18:12

Page 93

!!

Sugere-se que se tenha sempre presente que, a no verificao de impactes positivos, aps a realizao de aces de formao, pode ter se tenha com factores de natureza diversa, a verificar no quadro da implementao de uma Sugere-se que que ver sempre presente que, a no verificao de impactes positivos, aps a realiavaliao de 3 nvel. zao de aces de formao, pode ter que ver com factores de natureza diversa, que abordaremos no processo 7.

!!

Avaliao dos impactes da formao no desempenho da organizao (nvel 4) Permite relacionar impactes de desempenhos individuais com impactes nos indicadores de gesto da organizao/ou outros indicadores de contexto.
Dimenses/componentes a considerar numa avaliao de 4 nvel?

7
Alteraes no painel de indicadores da organizao (impacte de desempenhos individuais/colectivos nos resultados da organizao)

7
Resultado da anlise de custo-benefcio associado formao desenvolvida

7
O que desejo saber acerca desta dimenso/componente? Qual a situao de partida em termos de indicadores organizacionais? Quais os progressos ao nvel dos indicadores organizacionais, passado algum tempo aps a execuo da formao? (impactes da formao nos resultados da organizao)

7
O que desejo saber acerca desta dimenso/componente? Os benefcios da formao so os esperados considerando os respectivos custos?

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Cumprimento de objectivos organizacionais prestabelecidos (indicadores organizacionais alcanados)

7
Segundo que ptica devo olhar para a dimenso a avaliar? (sinalizao dos critrios de avaliao) Eficincia do processo formativo Eficcia do processo formativo

Etapa C Em que momentos devero ser desenvolvidas as intervenes de natureza avaliativa? (Quando avaliar?)
Uma vez conhecidas as questes de avaliao a considerar no processo avaliativo e, consequentemente, os nveis de avaliao a explorar, decide-se sobre os momentos mais adequadas para a realizao da avaliao.

93

V. Fase I_P1-2

06/06/16

18:12

Page 94

Momentos e tipo de avaliao a considerar numa estratgia de avaliao:

Antes da formao Nvel 1 de avaliao (reaces) Durante a formao No final da formao Avaliao diagnstica Avaliao diagnstica Avaliao formativa Avaliao diagnstica Avaliao formativa Avaliao sumativa Esta reflexo remete o avaliador para a necessidade de calendarizar as actividades de avaliao a desenvolver.

Nveis de Donald Kirkpatrick

Nvel 2 de avaliao

Durante a formao No final da formao

Nvel 3 (transferncia Aps a execuo da formao de adquiridos para as (ex: aps regresso do situaes reais de colaborador ao local de trabalho) trabalho) Nvel 4 de avaliao Aps a aplicao dos (Avaliar impactes nos adquiridos e produo de indicadores de gesto resultados (impacte nos das organizaes) indicadores da organizao) Impacte da formao ao nvel das comunidades/regies/ /pases

Avaliao diagnstica Avaliao formativa 9 Avaliao sumativa

Avaliao diagnstica Avaliao sumativa

Avaliao diagnstica Avaliao sumativa

Nesta fase da definio da estratgia importa ter presente que as actividades de avaliao devem ser desenvolvidas tendo em ateno o momento da produo dos respectivos resultados. A devoluo atempada dos resultados da avaliao realizada aos respectivos interessados , sem dvida, um dos factores crticos de sucesso de qualquer processo avaliativo. A informao acima apresentada permite reflectir sobre outros aspectos para alm do enfoque da abordagem multinvel, proposta por D. Kirkpatrick, tais como: a realizao de uma avaliao diagnstica desde que considerada necessria; a aferio de impactes que ultrapassam o contexto da organizao (ex: impactes na comunidade e/ou regio na qual a organizao se insere). Competir sempre aos vrios actores, que intervm na formao, decidir sobre o mbito de interveno do processo avaliativo 10 a realizar. Neste caso, teramos de equacionar questes de avaliao distintas das apresentadas na etapa 2.
9. Verifica-se avaliao formativa no quadro da execuo da formao em regime de alternncia, uma vez que o praticado em contexto de trabalho traduz-se, regra geral, em assuntos/matrias a explorar durante as etapas formativas subsequentes. 10. Com excepo de intervenes efectuadas em contextos totalmente normalizados.

94

V. Fase I_P1-2

06/06/16

18:12

Page 95

Etapa D Identificar as fontes de informao (Quem so os donos da informao desejada?)

Uma vez definidas as dimenses/componentes de avaliao a utilizar, respectivas questes avaliativas, bem como, momentos para recolha de dados, torna-se necessrio identificar quais os actores a contactar ao longo das vrias etapas do processo avaliativo. Importa aqui ter presente que, num projecto de formao intervm vrios actores com interesses distintos que condicionam, em grande medida, a estratgia de avaliao a implementar. Com a identificao destes actores, o avaliador fica, assim, a saber a quem dever mais tarde apresentar os resultados da avaliao. O tipo de participao de cada um desses actores tambm pode ser diferente. Podem igualmente participar em actividades distintas, a definir de acordo com a estratgia de avaliao pretendida. O envolvimento dos vrios actores, chamados a intervir na formao no momento da definio da estratgia avaliativa, assume aqui um papel central. O avaliador procura, nesta fase, estabelecer compromissos relativamente execuo de actividades que venham a potenciar a qualidade do processo de formao em causa. Na parte instrumental deste processo sugerido o preenchimento de uma grelha a aplicar nesta fase da elaborao da estratgia avaliativa.

Etapa E Identificar/construir o quadro de referncia do processo avaliativo (Avaliar com base em qu?)
Uma vez sinalizadas as questes de avaliao, importa reflectir sobre o respectivo quadro de referncia, ou seja, quadro de partida que permitir, numa fase posterior, proceder s avaliaes pretendidas. Sem a sinalizao/construo de um quadro de referncia de base (que possibilite comparar pontos de partida e de chegada) dificilmente se conseguem percepcionar as mais valias da formao, nos mais diversos nveis de avaliao. A principal questo qual teremos, aqui, que dar resposta a seguinte: Para efectuar determinados juzos de valor (apreciaes crticas sobre algo previamente analisado) como determinar se o resultado obtido ficou aqum ou alm do esperado? Sabemos, partida, por exemplo: o que se deve entender por um bom desempenho do formador? Por um nvel aceitvel de domnio de determinados saberes? A resposta a estas questes remete o avaliador para a definio de balizas que vo permitir dizer se o resultado (intermdio ou final) obtido ou no aceitvel. esta a preocupao de fundo quando se sugere que um objectivo a alcanar com a formao seja descrito de uma forma operacional. Tal implica que, uma vez cumpridos os objectivos algo dever passar a ser diferente.

95

V. Fase I_P1-2

06/06/16

18:12

Page 96

Assim, recorrendo mais uma vez aos 4 nveis de D. Kirkpatrick, diramos que ao incidirem sobre dimenses de avaliao distintas, os mesmos suportar-se-o em quadros de referncia igualmente distintos. Cada quadro de referncia constitui-se, regra geral, por um conjunto de referentes ou seja, a cada questo de avaliao deveremos associar alguma informao que nos permita compreender se os resultados obtidos ficaram aqum, de acordo com ou alm do que se estabeleceu como metas a alcanar. Vejamos como pode ser equacionada esta questo no mbito dos 4 nveis de D. Kirkpatrick:

Avaliao do grau de satisfao dos participantes na formao (Avaliao de nvel 1) semelhana de uma outra qualquer interveno avaliativa, tambm na preparao de uma avaliao de reaco importa reflectir sobre o tipo de padres/indicadores 11 de avaliao a utilizar. Na prtica, o que se sugere que se evite realizar avaliaes de reaco sem equacionar, partida, quais os resultados mnimos aceitveis, a associar a cada uma das dimenses de avaliao consideradas. Sempre que uma entidade formadora estabelece o que considera ser o aceitvel para determinados aspectos da interveno formativa, est paralelamente a estabelecer padres mnimos de qualidade que, atravs da avaliao procura verificar, em que medida os cumpriu ou eventualmente os ultrapassou. O estabelecimento destes padres mnimos de qualidade sempre realizado em funo dos posicionamentos das entidades que os distinguem na oferta que apresentam no mercado (pblico e/ou privado). A ausncia deste tipo de referencial de partida resulta, regra geral, nos seguintes obstculos: dificuldades na aferio rigorosa dos deslizes da aco de formao, j que no se estabeleceu partida o limite abaixo do qual devem ser tomadas medidas correctivas concretas; dificuldades em sinalizar, com rigor, eventuais prticas bem sucedidas que interessar sempre divulgar junto dos restantes colaboradores da organizao; a tomada de deciso afigura-se mais difcil no que diz respeito ao desenvolvimento de competncias dos agentes que asseguram a execuo da formao.

11. Indicador de avaliao: elemento observvel e mensurvel que sinaliza o grau de cumprimento do critrio de avaliao.

96

V. Fase I_P1-2

06/06/16

18:12

Page 97

Considerem-se, a ttulo exemplificativo, as seguintes dimenses de avaliao:

Dimenses de avaliao O desempenho dos formadores Critrios de avaliao 1. Clareza na apresentao 2. Domnio tcnico das matrias; 3. Adequao dos mtodos pedaggicos utilizados; 4.Eficcia na motivao dos formandos para a participao nas actividades pedaggicas sugeridas; 5. Eficcia na resoluo de problemas colocados por parte dos formandos 6.Diversidade na aplicao/explorao dos materiais pedaggicos (...) Exemplos ilustrativos de indicadores de desempenho a associar a cada um dos critrios de avaliao Estabelece-se que para o CURSO AXL ser desejvel os formadores alcanarem o nvel 4 (MUITO BOM) nos critrios 2 e 5. Relativamente aos restantes critrios ser desejvel o cumprimento do nvel 3 (BOM)

A documentao de 1. Adequao dos materiais s apoio aprendizagem caractersticas dos formandos 2. Equilbrio entre teoria e prtica 3. A adequao dos exemplos utilizados (...)

A produo da documentao de apoio dirigida ao formando dever contemplar as regras pr-definidas no manual de qualidade da formao.

O que o avaliador procura determinar, neste caso, so os nveis mnimos de qualidade a garantir ao longo da execuo da formao, quando consideradas cada uma das dimenses a avaliar no mbito de uma avaliao de reaco.

!!

Avaliao do grau de domnio de determinados saberes (avaliao de aprendizagens nvel 2) Durante a construo de um referencial para avaliar as aprendizagens efectuadas importa ter presente a finalidade da avaliao a desenvolver. O que se pretende com os resultados da avaliao de aprendizagens? Hierarquizar, classificar, distinguir os formandos que participam na formao ou contribuir para uma maior eficcia do processo de aprendizagem, procurando observar e analisar os processos individuais de aprendizagem? Estas questes remetem para duas perspectivas distintas de avaliao, uma vez considerado o respectivo referencial de partida: a avaliao normativa e a avaliao criterial. Quando a avaliao tiver como finalidade distinguir os formandos que obtiveram sucesso dos que obtiveram insucesso na aprendizagem, estando o sucesso neste caso associado a uma norma, estamos presente uma avaliao de referncia nor-

97

V. Fase I_P1-2

06/06/16

18:12

Page 98

mativa. Em avaliaes desta natureza o resultado de cada formando comparado com o resultado mais elevado, sendo os restantes formandos distribudos de acordo com a seguinte representao grfica:

Nmero de formandos

0%
Nmero de formandos

25%

50%

75%

100%

Figura 1 Distribuio tpica das notas na avaliao normativa

Os formandos, neste caso, no tm qualquer participao directa na definio da norma, sendo a mesma definida, regra geral, por comparao a um valor mdio encontrado aquando da anlise do desempenho de determinado grupo-padro.
Nmero de formandos

Todavia, se a avaliao tiver como finalidade contribuir para uma maior eficcia do processo de aprendizagem, ento esta avaliao coloca-se ao servio da reorganizao das condies de aprendizagem de acordo com as necessidades sentidas 0% 25% 50% 75% 100% por cada formando, tendo em vista a aprendizagem efectiva de todos. Neste caso estamos em presena de uma avaliao de natureza criterial. Vejamos, em termos de representao grfica, o sentido do pargrafo anterior:

50%
Nmero de formandos

75%

100%

50%

75%

100%

Figura 2 Distribuio de notas numa avaliao criterial (em presena de objectivos atingidos)

98

V. Fase I_P1-2

06/06/16

18:12

Page 99

Consideremos, a ttulo exemplificativo, a construo de testes de conhecimentos. Os testes referentes a critrios avaliam os conhecimentos do indivduo numa determinada rea de competncia. Estes testes no tm o propsito de comparar resultados de indivduos ou grupos, mas sim o de avaliar o desempenho de cada respondente, determinando as aptides j adquiridas e aquelas em que ainda no proficiente. O critrio de apreciao o da competncia e a de cada indivduo define-se pelo maior ou menor grau de aproximao do mximo que possvel conseguir em cada teste. Assim, um resultado de 85% num teste referente a critrios um bom resultado porque j est perto dos 100%, no sendo esta apreciao alterada caso se verifique que a maioria dos que responderam ao teste obtiveram 95%. Se se tratasse de um teste referente a normas, o mesmo resultado seria considerado pobre, j que passava a ser um dos piores obtidos. (Ribeiro & Ribeiro 1989:389). Em presena de uma avaliao normativa, seria a mdia do grupo que determinaria o maior ou menor sucesso na demonstrao de domnio de determinado saber. Inversamente, 40% num teste referente a critrios corresponde a um fraco desempenho, muito afastado de um mximo de competncia que se deseja. No entanto, num teste normativo, poderia representar um bom resultado e o indivduo aparecer no topo das classificaes, caso os outros resultados se situassem abaixo dele. (ibidem). Neste ltimo caso, no havendo percentagens superiores a 40%, para determinados efeitos, tais como seleccionar o indivduo para determinado emprego, o resultado seria considerado como o melhor sendo a deciso a seleco do candidato. O sentido atribudo aqui avaliao , claramente, o que permite verificar progressos de cada um para conduzir todos a um nvel slido de competncia. O padro de referncia externo. Existe tambm a possibilidade de se recorrer auto-referncia, que implica assumir como referente (base inicial de comparao) desempenhos anteriores decorrentes da realizao de tarefas semelhantes. Recomenda-se a operacionalizao desta perspectiva de avaliao, na medida em que a mesma pode, de certa forma, co-responsabilizar o formando no respectivo processo de aprendizagem, ao fornecer informaes para eventual correco/alterao de rotas quanto a investimento a realizar sobre esta ou aquela parte do programa de formao que esteja a decorrer. Esta claramente uma orientao que se inscreve numa perspectiva construtivista da aprendizagem, segundo a qual o formando pode e deve ser um personagem activo na construo dos saberes necessrios mobilizao das competncias exigidas por determinada funo profissional. Uma observao a fazer relativamente a estas trs perspectivas de avaliao a que destaca o facto de no nos podermos situar apenas numa das perspectivas referidas, j que, so sendo exclusivas, podem surgir interrelacionadas, posicionando-se como alternativas complementares. Ser sempre a finalidade da avaliao a desenvolver que determina a deciso pela opo a seguir.

99

V. Fase I_P1-2

06/06/16

18:12

Page 100

Uma vez determinado o ponto de partida, este passa a constituir o farol das avaliaes a realizar no mbito deste nvel de avaliao:
Quadro de referncia para a avaliao de aprendizagens (diferentes possibilidades) Perfil de competncias pr-estabelecido com base no qual efectuada a avaliao. Objectivos de aprendizagens pr-estabelecidos.

Abordagens

Avaliar aprendizagens numa perspectiva diagnstica

Avaliar aprendizagens ao longo e no final da realizao da formao

Objectivos de aprendizagem pr-estabelecidos (comportamento/aco; condio; critrio de xito). Objectivos de aprendizagem construdos no decurso da execuo da formao. Informao obtida no diagnstico de necessidades, designadamente, a sinalizao de competncias a mobilizar posteriormente nos contextos reais de trabalho (informao importante no contexto das avaliaes que recorram tcnica da simulao). Auto-referncia (avaliao com base em resultados individuais obtidos antes da frequncia na formao). Avaliao com base em padres de desempenho externos. Avaliao com base na mdia dos resultados obtidos pelos restantes participantes na formao (avaliao normativa).

Avaliar a transferncia da formao (alteraes nos comportamentos/nos desempenhos individuais nvel 3) A reflexo sobre o quadro de referncia a considerar numa avaliao de 3 nvel remete-nos, inevitavelmente para o antes da formao, designadamente, para as razes que deram origem interveno formativa. Aqui se retomam os diagnsticos de necessidades iniciais que possibilitaram aferir a posio relativa dos ex-formandos face a um perfil de competncias ou nvel de proficincia desejado. Consideremos aqui as duas questes de base deste nvel de avaliao: O que mudou ao nvel dos comportamentos dos indivduos? Para podermos verificar as mudanas efectivas nos comportamentos dos indivduos, teremos de sinalizar, com rigor, antes da realizao da formao, que comportamentos se pretendem ver alterados na sequncia da realizao da formao. Em que medida essas alteraes nos comportamentos dos indivduos contriburam para alcanar os objectivos individuais de desempenho?

100

V. Fase I_P1-2

06/06/16

18:12

Page 101

Para aferir os impactes da formao ao nvel dos desempenhos dos indivduos teremos que, antecipadamente, determinar quais os indicadores de desempenho a considerar nessa avaliao. Exemplo: Curso de atendimento ao pblico
Verificao de alterao de comportamentos ao nvel da execuo das funes de atendimento Realizao de uma abordagem cliente mistrio durante a qual ser aplicada uma grelha para verificao da mobilizao dos saberes desenvolvidos/adquiridos durante a formao Resultados pretendidos

Maior grau de satisfao do cliente final (neste caso obteno de nvel Muito Bom no final da aplicao da grelha de observao).

Avaliao dos impactes da formao nos indicadores de desempenho da organizao (nvel 4) Se o 3 nvel de avaliao surge focalizado na aferio dos impactes da formao nos desempenhos dos indivduos, o nvel 4 de D. Kirkpatrick remete-nos para uma anlise dos impactes da formao nos indicadores de desempenho dos grupos ou da organizao. A determinao do quadro de referncia deste nvel exige a anlise do painel de indicadores relativo ao desempenho quer dos grupos, quer da organizao. Uma vez analisadas algumas das experincias de avaliao associadas a este nvel de interveno, torna-se possvel sinalizar algumas categorias que integram indicadores especficos de desempenho, a considerar em eventuais processos avaliativos, designadamente: produtividade e eficincia organizativa; vendas e lucros; qualidade dos produtos e servios; prestao de servios e satisfao do cliente final; segurana e higiene no trabalho; desenvolvimento e aprendizagem organizacional; clima e cultura organizacional. (...) Pensar em quadro de referncia para a avaliao de 4 nvel exige, partida, que se conheam os indicadores susceptveis de virem a ser alterados com a introduo de medidas de carcter formativo (ver processo 7 nvel 4).

101

V. Fase I_P1-2

06/06/16

18:12

Page 102

Etapa F Identificar/seleccionar as tcnicas de avaliao a utilizar (Como fazer?)

Uma vez conhecido o quadro de referncia a utilizar, segue-se a determinao das tcnicas de avaliao a aplicar. Apresenta-se seguidamente uma breve descrio do tipo de mtodo/tcnica sugerida neste Guia Metodolgico, seguindo-se a respectiva relao com cada um dos nveis de D. Kirkpatrick:
Tipo de mtodo/tcnica 12 Breve caracterizao Associado a testes de caneta e papel que pretendem avaliar aprendizagens de cariz terico. Consiste em colocar um conjunto de questes ou exerccios prticos destinados a aferir da aquisio/desenvolvimento de determinados saberes. A respectiva aplicao surge, regra geral, associada a uma determinada norma ou critrio de sucesso pr-definido. Testes com itens objectivos: testes com itens de verdadeiro/falso testes com itens de escolha mltipla testes com itens de associao (ou combinao) testes com itens de completamento (preenchimento de espaos) testes com itens de resposta curta Testes com itens no objectivos Associados a desempenhos reais de trabalho, visam recolher dados acerca dos nveis de proficincia profissional detidos pelos indivduos, uma vez colocados em situaes de demonstrao de domnio de saberes especficos. Consiste em recolher informao, de forma mais ou menos estruturada, atravs da aplicao de processos de comunicao e interaco humana. Contrariamente ao inqurito por questionrio, a entrevista caracteriza-se, normalmente, por um contacto mais aprofundado entre o entrevistador e os seus interlocutores. Inqurito por entrevista Entrevista aberta (o entrevistador prope um tema e apenas intervm para insistir ou encorajar). Entrevista semidirectiva (semidirectiva no sentido em que no nem inteiramente aberta, nem orientada por um grande nmero de perguntas precisas). Entrevista directiva (o entrevistador dispe de um conjunto de tpicos preciso que, necessariamente, aborda durante a entrevista). Consiste em colocar a um determinado nmero de inquiridos, geralmente representativo de uma dada populao, uma srie de perguntas pre-estabelecidas e orientadas para um conjunto de temas de interesse do(s) avaliadore(s). Inqurito por questionrio Inqurito por questionrio com aplicao indirecta (quando o prprio inquiridor o completa a partir das respostas que so fornecidas pelo inquirido). Inqurito por questionrio com aplicao directa (quando o prprio inquirido preenche o inqurito).

Testes de conhecimentos

Testes de performance (desempenho)

12. Ser sempre desejvel o recurso a uma combinao de mtodos/tcnicas de acordo com os objectivos definidos (aplicao do conceito da triangulao).

102

V. Fase I_P1-2

06/06/16

18:12

Page 103

x
Anlise documental Observao Directa Focus Group Estudo de Caso Simulao/dramatizao de desempenhos (role play) Elaborao de projectos finais

Consiste em reunir e analisar diferentes fontes de informao, tais como, os resultados de relatrios, inquritos, entrevistas ou outros documentos, j existentes. Fontes Escritas (iconografia, fontes orais, a imagem e o som registado) Fontes No Escritas (documentos oficiais (arquivos) e as fontes no oficiais)

Consiste em observar e registar uma impresso sensorial directa, recorrendo a grelhas de registo, com maior ou menor grau de pormenor, podendo aplicar-se a diferentes contextos e, de preferncia, com recurso a observadores com formao prvia. Observao Participante (consiste em estudar um determinado grupo participando na vida colectiva do mesmo). Observao No Participante (o investigador estuda determinado grupo a partir do exterior. No participa na vida do grupo).

Consiste em reunir/animar um grupo para discutir um ou mais temas previamente definidos, de uma forma estruturada ou semi-estruturada, e com a interveno de um facilitador/moderador. Presencial (grupo de 6 a 12 pessoas) partilha um mesmo espao fsico). No Presencial (grupo de 6 a 12 pessoas) no partilha um mesmo espao fsico).

Consiste em recolher informaes (recorrendo a entrevista, observao e anlise documental) sobre casos concretos (indivduos, grupos de formandos, projectos formativos, organizaes etc.) considerados significativos para o processo de avaliao. Um estudo de caso pode ser: Explicativo (destinado a justificar causalidades). Descritivo/Ilustrativo (destinado a descrever/ilustrar a interveno formativa e o seu contexto). Exploratrio (aplicado no caso em que a interveno formativa no apresenta resultados).

A criao de situaes fictcias que permitam aos vrios participantes na formao demonstrar que detm determinadas competncias, traduz, no essencial, a tcnica do Role Play (simulao/dramatizao de desempenhos).

O desafio para a construo de um projecto ao longo ou no final de determinada interveno formativa permite, igualmente, aferir da capacidade do formando em mobilizar saberes construdos ao longo da execuo da formao.

x
103

V. Fase I_P1-2

06/06/16

18:12

Page 104

104

x
Anlise dos incidentes crticos Elaborao de portflios Elaborao de mapas conceptuais Anlise Custo/Benefcio

Consiste num conjunto de procedimentos que visam a recolha de informaes sobre desempenhos efectuados, considerados referncias positivas ou negativas, sendo solicitado ao indivduo responsvel pelo desempenho em anlise, a descrio do incidente crtico de modo a poderem ser aferidos aspectos a manter e reforar ou aspectos a corrigir, melhorar. uma coleco organizada e devidamente planeada de trabalhos produzidos por este ao longo de um determinado perodo de tempo, de forma a poder proporcionar uma viso to alargada e detalhada quanto possvel das diferentes componentes do seu desenvolvimento (cognitivo, metacognitivo, afectivo) (Valadares e Graa, 1998). Um Mapa Conceptual remete o formando para a construo de diagramas hierrquicos constitudos por conceitos e respectivas interligaes. So utilizados no contexto da avaliao da formao sempre que se pretende que sejam externalizadas as estruturas cognitivas dos respectivos autores. Consiste em comparar os custos com os benefcios associados ao desenvolvimento da formao As variantes para este tipo de tcnica esto associadas seleco das variveis para caracterizar os custos (pessoal, material, logsticos, etc.) e os benefcios (produtividade, lucros, gesto de recursos humanos, etc.)

Nvel 1. Avaliao do grau de satisfao dos participantes na formao

Como tcnicas/abordagens mais utilizadas, destacam-se as seguintes: Inquritos por questionrio para aferio do grau de satisfao dos formandos (auto e hetero-avaliao). Realizao de focus group. Inqurito por entrevista (estruturada ou semi-estruturada, individual ou em grupo). Registo de comentrios mais ou menos estruturados dos participantes na formao (ex: criao de foruns de discusso onde os formandos so convidados a pronunciarem-se sobre a interveno formativa/registo de comentrios fora do espao de aprendizagem). Registo de comentrios mais ou menos estruturados dos elementos da equipa de formao. Aplicao de instrumentos de controlo e acompanhamento do processo. Realizao de observaes de comportamentos dos participantes na formao. (...)

V. Fase I_P1-2

06/06/16

18:12

Page 105

Nvel 2. Avaliao do grau de domnio de determinados saberes (aprendizagens realizadas)

Como tcnicas/abordagens mais utilizadas, destacam-se as seguintes: Testes escritos (de entrada/de progresso/finais). Testes orais. Role play (simulao/dramatizaes sobre situaes reais de trabalho task simulation (oportunidade para praticar a aplicao dos novos conhecimentos). Elaborao de projectos. Jogos pedaggicos para resoluo de situaes/problemas reais associados a parte ou ao todo organizacional (business games) (permite perceber as dinmicas/comportamentos organizacionais em ambientes distintos); Estudos de caso (anlise de situaes reais - identificao da situao problema em questo e elaborao de propostas de aco). Aplicao de instrumentos para auto-avaliao. Realizao de observaes ( participantes e no participantes) exige construo de grelhas de avaliao. Aplicao de inquritos por entrevista e posterior discusso de resultados. Elaborao de portflios de competncias. Elaborao de mapas conceptuais. Recurso a mtodos j existentes (contactos com os vrios intervenientes no processo formativo (que intervm durante e aps a realizao da formao) ex: assessment center method. Registo e anlise de incidentes crticos (aplicao de grelhas de observao). (...)

Nvel 3. Avaliao da transferncia da formao

Como tcnicas/abordagens mais utilizadas, destacam-se as seguintes: Entrevista de chegada (aquando do regresso do colaborador ao posto de trabalho). Aplicao de questionrios para avaliar transferncias e resultados no desempenho individual. Construo de um plano de interveno especfico. Observaes no posto de trabalho. Anlise de performance (atravs de avaliao inter-pares ou outra). Registo e anlise dos incidentes crticos (anlise comparativa). Auto-avaliao. Aplicao do instrumento LTSI Learning Transfer System Inventory.13 (...)

13. Ver sites relacionados com o terceiro nvel de avaliao, nos quais poder encontrar referncia aplicao deste tipo de instrumento.

105

V. Fase I_P1-2

06/06/16

18:12

Page 106

Nvel 4. Avaliao dos impactes da formao nos indicadores de desempenho da organizao

Como tcnicas/abordagens mais utilizadas, destacam-se as seguintes: Anlise de painel de indicadores de performance. Aplicao da frmula ROI (Return on Investment). Anlise custo-benefcio. Anlise dos resultados de planos de interveno especficos. Anlise dos resultados de planos de desenvolvimento de competncias (valor do capital humano da organizao). (...)

Nesta etapa da planificao da estratgia avaliativa, podem ser consideradas ainda outras abordagens que remetem para abordagens focalizadas na aferio dos impactes da formao ao nvel de uma comunidade ou regio. Neste caso, algumas das tcnicas a desenvolver seriam: Anlises custo-benefcio. Anlises comparativas entre resultados de medidas de poltica formativa e desenvolvimento social e econmico das comunidades/regies/do pas. Anlises sobre qualificao de recursos. Anlises estatsticas (indicadores de mudana socioeconmica). (...)

Etapa G Apresentar os resultados da avaliao (Que estratgias de apresentao?)

Uma vez sinalizadas as tcnicas/abordagens de avaliao, importa reflectir sobre a forma a utilizar na apresentao dos resultados decorrentes da respectiva aplicao. Esta informao assume especial importncia, por exemplo, quando se pretende deixar orientaes claras aos vrios actores para elaborao de relatrios com o mesmo tipo de estrutura e com o mesmo tipo de destaque. Importa aqui ter presente que os vrios actores que intervm num projecto de formao tm, normalmente, necessidades diferenciadas de informao, pelo que a elaborao das concluses e recomendaes finais dever ter em ateno esta realidade. A ttulo meramente exemplificativo, aqui ficam alguns tipos de informao, normalmente solicitados pelos vrios actores que intervm num projecto formativo, bem como responsabilidades assumidas no mbito do mesmo. Este tipo de informao assume particular importncia na fase da apresentao e disseminao dos resultados da avaliao (ver processo 10).

106

V. Fase I_P1-2

06/06/16

18:12

Page 107

Que tipo de informao poder interessar a cada um dos actores que intervm na formao? Em que medida: o programa de formao deu resposta ao diagnstico de necessidades previamente efectuado? a execuo do projecto decorreu de acordo com o planeado? os procedimentos de actuao pr-estabelecidos foram cumpridos (regras, regulamentos, orientaes dirigidas aos actores que intervm na formao...) ? a relao custo-benefcio foi adequada? os facilitadores/formadores da aprendizagem foram eficazes? se verificaram as mudanas desejadas ao nvel do desempenho do indivduo, do grupo ou da organizao em causa? os resultados da formao contriburam para a concretizao dos objectivos estratgicos da organizao; a organizao cliente (ou unidade funcional) ficou satisfeita com a interveno? (...)

O gestor da formao (interno/externo)

O coordenador pedaggico

Em que medida: os formadores/monitores tiveram o desempenho esperado? houve efectiva articulao entre os vrios responsveis pela operacionalizao dos processos de ensino aprendizagem (formadores, monitores, tutores....)? foram reunidas as condies adequadas de apoio execuo do projecto formativo? o programa considerou as especificidades do pblico-alvo? se verificaram as mudanas desejadas ao nvel do desempenho do indivduo, do grupo ou da organizao em causa? (...)

O formador, monitor, tutor...

Em que medida: os mtodos pedaggicos foram adequados ao respectivo pblico-alvo? a aco formativa despoletou novas necessidades de formao? foi possvel identificar os pontos fortes e fracos dos mdulos ou componentes formativas desenvolvidos? os planos de sesso foram realizados? os formandos contriburam para o respectivo processo de ensino-aprendizagem? os formandos ficaram satisfeitos com a formao? se verificaram as mudanas desejadas ao nvel do desempenho do indivduo, do grupo ou da organizao em causa? (...)

107

V. Fase I_P1-2

06/06/16

18:13

Page 108

Que tipo de informao poder interessar a cada um dos actores que intervm na formao? Em que medida: foram auscultadas as respectivas expectativas iniciais? a formao colmatou as respectivas necessidades de aprendizagem? a formao contribuiu para a resoluo dos problemas identificados ao nvel da sua performance no respectivo posto de trabalho? o desempenho do formador facilitou o desenvolvimento das competncias pretendidas? foram disponibilizadas as melhores condies para o desenvolvimento do processo de aprendizagem? foram adequados os contedos programticos s necessidades e expectativas dos formandos? o contexto de trabalho no qual se insere providenciou as melhores condies para o desenvolvimento do desempenho profissional desejado?

O formando

Em que medida: o fornecedor de formao desenvolveu a sua actividade de acordo com as necessidades previamente identificadas? a formao contribui para uma maior autonomia do colaborador? a formao aumentou a produtividade do colaborador? a transferncia de conhecimentos para o contexto de trabalho provocou os efeitos desejados? aumentou o grau de satisfao do colaborador? a formao foi centrada em situaes reais de trabalho? o colaborador conseguiu aplicar os adquiridos da formao no respectivo contexto de trabalho? o colaborador desenvolve o seu trabalho de acordo com os procedimentos pr-definidos (contextos normalizados)? as mais valias da formao tiveram repercusses no trabalho da equipa/departamento? (...)

A chefia directa

Em que medida: se verificou retorno do investimento da formao? a formao contribuiu para o cumprimento dos objectivos estratgicos da organizao? a formao contribuiu para a criao da mudana na organizao? os recursos materiais e humanos disponibilizados para a formao foram rentabilizados? o fornecedor de formao desenvolveu a sua actividade de acordo com o previsto na proposta inicial? as aces colmataram as necessidades organizacionais (satisfao dos colaboradores, reduo do absentismo, aumentou o grau de satisfao dos clientes...)? dever o curso ter continuidade e/ou ser alterado?

O dirigente da organizao cliente

108

V. Fase I_P1-2

06/06/16

18:13

Page 109

Que tipo de informao poder interessar a cada um dos actores que intervm na formao? Em que medida: Os colegas de trabalho do colaborador formado (perspectiva do cliente interno) a formao valorizou profissionalmente o colega recentemente formado? a formao contribuiu para a melhoria do desempenho profissional do mesmo? um melhor desempenho do colega recentemente formado provocou impactes ao nvel do desempenho do prprio departamento, no qual est inserido? os outros colegas (do mesmo ou de outros departamentos) beneficiaram com a formao ministrada? (...) Em que medida: aumentou a qualidade do produto/servio prestado? melhorou o relacionamento com os clientes externos? melhorou a qualidade do servio ps-venda? (...) Em que medida: As entidades o projecto de formao alcanou os objectivos a que se propunha? patrocinadoras o projecto formativo demonstrou uma boa relao custo-benefcio? (eventuais financiadores) o projecto formativo correspondeu s expectativas dos vrios interessados nos seus resultados? foi possvel aferir o retorno do investimento? (...)

Os clientes do colaborador que frequentou a aco formativa (perspectiva do cliente externo)

A definio de uma estratgia de avaliao clara permite gerir e monitorizar mais eficazmente as intervenes de avaliao. Uma estratgia de avaliao pode ser apresentada de diversas formas de modo a melhor preparar o processo de negociao/validao do respectivo contedo junto dos actores com poder para decidir sobre a sua implementao.

!!

Exemplificando...

Apresenta-se, de seguida, uma proposta de itinerrio para um processo de avaliao:

109

V. Fase I_P1-2

Plano Geral de Avaliao (exemplificativo)

Qual(ais) o(s) objectivo(s) da avaliao pretendida? Quais as questes avaliativas a efectuar? Em que momentos devero ser desenvolvidas as intervenes de natureza avaliativa? Quem so os donos da informao? Qual o quadro de referncia de partida? Que mtodos e tcnicas de avaliao sero os mais adequados? (Como se avalia?) Como sero apresentados os resultados?

110
Recolher informao que permita conhecer o quadro de referncia da formao a desenvolver. Que razes conduziram formao? - Que competncias crticas devem ser reforadas pela formao? Qual o perfil de candidato formao? Que condies sero necessrias garantir para que ocorram os desempenhos desejados? Efectuar o levantamento dos dados pretendidos um ms antes do incio da formao. Realizar uma avaliao diagnstica no primeiro dia da aco de formao. A chefia directa do participante na aco. O participante na aco. O director de formao. O director pedaggico da aco a desenvolver. Diagnstico de necessidades de formao. Plano de formao. Itinerrio de formao a entregar aos participantes nas aces de formao. (outros) Ser efectuado o recurso triangulao de fontes de informao, sendo de priorizar os seguintes mtodos/ /tcnicas: Anlisedocumental. Entrevistas semidirigidas junto do director de formao e director pedaggico. Anlise do mapa de impactes esperados construdo pelo participante e respectiva chefia. Itinerrio de formao entregue a cada um dos formandos (enfoque nos objectivos de aprendizagem prdefinidos). Propostas de alterao efectuadas ao longo da sesso de formao. Plano de impactes pr-estabelecido Realizao de pontos de situao relativamente aos progressos entretanto alcanados (aps 60% de execuo da sesso formativa). Realizao de avaliaes no final de cada sesso de formao. Os participantes na formao. Os restantes colegas da aco formativa. O monitor/facilitador. Realizao de auto-avaliaes por parte dos participantes na aco (aplicao de checklists) Aplicao de testes de desempenho para aferio de progressos nas aprendizagens. Elaborao de um projecto para eventual aplicao prtica. Estudo de casos prticos. Aplicao de grelhas de observao. Os resultados sero apresentados em relatrio autnomo, com destaque para sumrio executivo e recomendaes precisas para aco, dirigidas a cada um dos actores que intervm na formao. O relatrio dever ter 30 pginas no mximo. Realizao de reunies para discusso de resultados. Introduo, de forma sistemtica, alteraes na formao em curso de modo a maximizar a apropriao e aplicao na prtica dos saberes adquiridos/desenvolvidos Em que medida os formandos adquiriram/desenvolveram os saberes propostos no programa de formao? Em que medida se valorizaram as competncias crticas da aco formativa? Em que medida os formandos conseguiram mobilizar os saberes em contexto de prtica simulada? Foram garantidas as condies necessrias aprendizagem desejada? Os resultados de progresso sero apresentados em relatrio de 7 pginas, com sumrio executivo e recomendaes concretas para aco. Os resultados relativos a avaliaes efectuadas no final das sesses sero apresentados em relatrio de 15 pginas. Sero realizadas reunies com envio prvio da documentao para respectiva anlise.

06/06/16

Antes da execuo da formao

18:13 Page 110

Durante a execuo da formao

V. Fase I_P1-2

Nota: A partir do plano geral de avaliao desenvolvem-se os planos de pormenor para melhor esclarecer relativamente a especificidades das abordagens/tcnicas de avaliao preconizadas. A este plano podem ainda acrescentar-se mais colunas para preenchimento, tais como: datas de execuo e custos associados realizao das actividades de avaliao.

x
Pretende-se recolher informao que permita a introduo de melhorias nas sesses a realizar no futuro breve. Verificaram-se alteraes nos comportamentos dos indivduos? Em que medida essas alteraes nos comportamentos permitiram alcanar os desempenhos desejados? Aquando do processo de transferncia de adquiridos para as situaes reais de trabalho foram evidenciados obstculos de contexto? As intervenes de avaliao devero ser realizadas imediatamente aps o regresso do participante ao respectivo local de trabalho, assim como, passados 6 meses do trmino da formao. O programa de formao. O mapa de impactes esperado previamente definido na sequncia da entrevista de sada para a formao. o plano de aco elaborado imediatamente aps o regresso do colaborador ao respectivo local de trabalho. Aplicao de checklist para autoavaliao e controlo do participante na formao. Aplicao de instrumento de controlo de progressos (reunio entre participante e chefia directa). Avaliao de desempenhos realizados. Anlise do mapa de impactes esperados. O participante na aco de formao. A chefia directa. Os colegas de trabalho. Apresentao de relatrio com 15 pginas, com destaque para sumrio executivo e recomendaes concretas para aco. Sero realizadas reunies com envio prvio da documentao para respectiva anlise. 1. A realizao de uma sesso de esclarecimento e informao sobre os objectivos e etapas da proposta de avaliao. 2. A aceitao da proposta de avaliao por parte de todos os que na mesma venham a ser implicados. 3. Sensibilizar os vrios actores para a realizao de actividades concretas capazes de potenciar, numa fase posterior, a aplicao dos adquiridos para os contextos reais de trabalho 4. Sinalizar junto dos vrios actores os factores crticos de sucesso associados ao desenvolvimento da formao. (...)

06/06/16

Aps a execuo da formao

18:13 Page 111

Factores crticos de sucesso associados ao processo avaliativo (condies necessrias, aspectos a controlar, acompanhar...)

111

V. Fase I_P1-2

06/06/16

18:13

Page 112

V. Fase I_P1-2

06/06/16

18:13

Page 113

Instrumentos de apoio Introduo ao processo

V. Fase I_P1-2

06/06/16

18:13

Page 114

Instrumento de apoio n 2
FICHA TCNICA Objectivos: A aplicao do presente instrumento permite determinar o grau e tipo de participao que se pretende que os actores, que intervm no projecto formativo, venham a ter na fase da elaborao da estratgia de avaliao. Contextos e momentos de aplicao: A preencher antes da elaborao de uma estratgia de avaliao. Quem o pode utilizar: Os actores responsveis pela definio de estratgias avaliativas.
Projecto de formao ZCB Actividades nas quais os actores podem ser chamados a participar Sinalizao/ /clarificao sobre fontes para recolha de informao Determinao/ /clarificao do quadro de referncia a utilizar na avaliao Sinalizao/ /de mtodos e tcnicas de avaliao a aplicar

Actores que intervm na formao

Determinao/ /clarificao dos objectivos da avaliao

Determinao/ /clarificao das questes de avaliao

Determinao/ /clarificao dos momentos para avaliar

1 Gestor de topo

Director da formao Director pedaggico Formador/ /monitor Tutor/chefia directa Participante na formao

Outros. Quais?

Legenda: 1 Participao imprescindvel 2 Participao relevante 3 Participao irrelevante

114

V. Fase I_P1-2

06/06/16

18:13

Page 115

Instrumento de apoio n 3
FICHA TCNICA Objectivos: A aplicao do presente instrumento permite verificar se a estratgia de avaliao contemplou os aspectos considerados neste Guia como crticos. Contextos e momentos de aplicao: Construdo para ser aplicado a montante da realizao da formao, designadamente na fase da construo da estratgia de avaliao, regra geral equacionada, aps a soluo formativa ser concebida. Quem o pode utilizar: Os actores responsveis pela definio de eventuais estratgias avaliativas.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar

Sim (x)

No (x)

Em parte (X)

1. Foram claramente definidos os objectivos da avaliao a desenvolver? 2. Foram estabilizadas e validadas as questes de avaliao a considerar na abordagem pretendida? 3. Foram definidos e consensualizados os momentos para realizao das intervenes formativas? 4. Sabe-se partida quem pode fornecer os dados pretendidos? 5. Foi claramente sinalizado ou construdo o quadro de referncia para a avaliao a desenvolver? 6. Foram reequacionadas vrias tcnicas/abordagens de avaliao? (aplicao do conceito da triangulao) 7. Foram deixadas orientaes para a apresentao dos resultados da avaliao?

115

V. Fase I_P1-2

06/06/16

18:13

Page 116

Instrumento de apoio n 4
FICHA TCNICA Objectivos: O presente instrumento visa apoiar a construo de uma estratgia de avaliao. Contextos e momentos de aplicao: Este instrumento pode ser utilizado a partir do momento em que se rene informao suficiente que permita definir a estratgia de avaliao mais adequada para determinado projecto de formao. Quem o pode utilizar: Os actores responsveis pela definio de estratgias de avaliao. Plano Geral de Avaliao (exemplificativo)
Qual(ais) o(s) objectivo(s) da avaliao pretendida Quais as questes avaliativas a efectuar? Em que Quem so os momentos donos da devero ser informao? desenvolvidas as intervenes de natureza avaliativa? Qual o quadro de referncia de partida? Que mtodos e tcnicas de avaliao sero os mais adequados? (Como se avalia?) Como sero apresentados os resultados? Que custos podemos associar execuo das actividades de avaliao?

Antes da execuo da formao

Durante a execuo da formao

Aps a execuo da formao

Factores crticos de sucesso associados ao processo avaliativo (condies necessrias, aspectos a controlar, acompanhar...)

116

V. Fase II_P3-4

06/06/16

18:06

Page 117

FASE II. Elaborar e testar instrumentos para recolha de dados

Objectivos
A fase II da abordagem PERTA apresenta como principais objectivos: (1) sinalizar um conjunto de abordagens/tcnicas normalmente utilizadas no desenvolvimento de intervenes de avaliao, com destaque para recomendaes/sugestes metodolgicas concretas; (2) verificar a validade e a fidelidade dos instrumentos de avaliao que se pretende aplicar.
Processos da FASE II Processo 3 Preparar os instrumentos a aplicar nas actividades de avaliao Questes orientadoras Quais os instrumentos mais utilizados na prtica da avaliao da formao? Como construir testes escritos? Como construir inquritos (por entrevista e por questionrio)? Como preparar um focus group? Como preparar uma observao? Instrumentos propostos para a FASE II Instrumento n 5 Etapas a considerar na construo de testes escritos Instrumento n 6 Etapas a considerar na construo de um teste com itens no objectivos Instrumento n 7 Etapas a considerar na preparao de uma entrevista Instrumento n 8 Etapas a considerar na construo de um inqurito por questionrio Instrumento n 9 Etapas a considerar na construo dos instrumentos a utilizar durante uma observao Instrumento n 10 Grelha de apoio sinalizao de aspectos crticos associados ao desenvolvimento de determinada abordagem/tcnica de avaliao Processo 4 Testar instrumentos de avaliao O que se entende por validade de um instrumento de avaliao? O que se entende por fidelidade de um instrumento de avaliao? De que trata a validade de contedo? De que trata a validade de critrio? De que trata a validade de constructo/construo? De que trata a fidelidade de seleco? De que trata a fidelidade de estabilidade? De que trata a fidelidade intersubjectiva? Instrumento n 11 Grelha de suporte verificao da validade de contedo de um instrumento de avaliao Instrumento n 12 Grelha de suporte verificao da fidelidade de um instrumento de avaliao

117

V. Fase II_P3-4

06/06/16

18:06

Page 118

V. Fase II_P3-4

06/06/16

18:06

Page 119

PROCESSO 3. Preparar os instrumentos a aplicar nas actividades de avaliao

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Sinalizar um conjunto de abordagens/tcnicas para aplicao no contexto da avaliao da formao. Identificar os aspectos crticos associados aplicao/desenvolvimento de cada uma das tcnicas/abordagens referidas. Sinalizar as principais etapas na preparao/construo de instrumentos de avaliao especficos.

119

V. Fase II_P3-4

06/06/16

18:06

Page 120

Processo 3. Preparar os instrumentos a aplicar nas actividades de avaliao

Uma vez definida a estratgia de avaliao, importa reflectir sobre o tipo de instrumento a aplicar na recolha dos dados pretendidos. Estes surgem sempre associados a uma abordagem tcnica especfica, devendo ser construdos medida dos objectivos de avaliao em presena.

Reflectindo...

Uma estratgia de avaliao remete sempre para a aplicao de tcnicas de natureza qualitativa ou quantitativa. Tal como vimos anteriormente, sero, fundamentalmente, (1) as caractersticas dos contextos de partida, (2) o grau de profundidade da informao a remeter para os destinatrios da avaliao, (3) os objectivos da avaliao, assim como (4) o conhecimento que se tem sobre o modo como cada uma das tcnicas aplicada, os aspectos que, partida, mais determinam as tomadas de deciso relativamente s opes a efectuar. A recolha de dados pode ocorrer em diferentes momentos de um processo de formao, tal como se pode verificar no esquema que se segue:

Momentos para recolha de dados

Antes da execuo da formao

A abordagem que se segue retoma o quadro j apresentado no processo 2 da Fase I deste Guia (definir a estratgia de avaliao que mtodos/tcnicas utilizar na recolha de dados para o processo de avaliao). A preocupao dominante ser a de: salientar as caractersticas fundamentais das tcnicas de recolha de informao; destacar as principais vantagens e desvantagens de cada um dos mtodos/tcnica apresentados; disponibilizar um conjunto de orientaes metodolgicas de apoio operacionalizao de cada um dos mtodos/tcnicas abordados; destacar o modo como tais tcnicas podem dar resposta s questes de avaliao pretendidas.

Durante a execuo da formao

Aps a execuo da formao

120

V. Fase II_P3-4

06/06/16

18:06

Page 121

Preparando a prtica...

Tal como anteriormente referido aquando da definio da estratgia de avaliao (Fase I , processo 2), so vrios os mtodos/ tcnicas susceptveis de utilizar nos vrios momentos avaliativos. Vimos tambm que podemos recorrer ao mesmo mtodo ou tcnica para avaliar contextos distintos, como no caso do inqurito por questionrio, aplicado numa avaliao de 1 e 2 nveis (avaliao de reaces e aprendizagens, respectivamente). Apresenta-se seguidamente uma breve descrio dos mesmos 14, acompanhada de algumas recomendaes que remetem o avaliador para factores crticos de sucesso associados respectiva operacionalizao.

Q1

Como construir testes escritos?

Quando a deciso passa pela aplicao de testes escritos, ento a mxima passa a ser: perguntar bem para bem avaliar, o que implica preparar um conjunto de grelhas de apoio que suportem a tomada das decises necessrias quanto a assuntos a abordar, como em relao a nveis cognitivos e de abstraco a considerar, tendo por base os objectivos de aprendizagem pretendidos. Passemos a ilustrar o que se pretende com a preparao referida. Os testes escritos podem dividir-se em dois grandes grupos: testes com itens objectivos e testes com itens subjectivos. So escolhidos de acordo com a finalidade dos mesmos, afigurando-se uns mais adequados a determinadas situaes do que outros, tal como veremos nas pginas que se seguem.

1.1 Testes com itens objectivos Testes com itens objectivos so aqueles que apenas consideram uma resposta correcta. Neste grupo incluem-se os testes com itens de: mltipla escolha; completamento; verdadeiro-falso; resposta-curta; associao. So apelidados itens objectivos, uma vez que qualquer pessoa pode aplicar uma grelha de correco e obter sempre os mesmos resultados. Nestes casos no necessria a tomada de deciso por parte de quem avalia, sobre os resultados em presena.
14. Sero aqui apresentados apenas alguns dos mtodos/tcnicas susceptveis de serem aplicados no domnio da avaliao da formao. Outros sero ainda abordadas na Fase III.

121

V. Fase II_P3-4

06/06/16

18:06

Page 122

1.1.1 Testes com itens Verdadeiro-Falso Este tipo de teste apresenta um conjunto de afirmaes sobre as quais os participantes devem reflectir, identificando as que so verdadeiras e as que so falsas. Surgem muitas vezes em nmero igual, embora dispostas aleatoriamente no instrumento de avaliao. So testes aconselhados sempre que se pretende avaliar um volume significativo de conhecimentos, designadamente: a capacidade de distinguir conceitos; identificar a correco de regras; distinguir princpios e definies; discernir entre factos e opinies; conhecer crenas e opinies; de reconhecer relaes de causa-efeito; Vejamos um exemplo deste tipo de item:
Itens considerados Os actos de avaliao pressupem sempre actos de controlo. Uma avaliao diagnstica pode ser efectuada antes, durante e aps a execuo da formao. O avaliador nunca pode interagir com os respectivos avaliados. Uma das funes possveis de uma avaliao a funo de regulao. Verdadeiro (x) Falso (x)

 Orientaes para a construo de testes com itens verdadeiro/falso

Deve ser testada apenas uma ideia de cada vez. Recorrer a mais do que uma ideia em cada fase pode deixar o participante confuso, j que o mesmo pode saber apenas pronunciar-se sobre uma das ideias presentes, ficando este com dvidas no tipo de resposta a dar. Deve, pois, verificar-se se a afirmao totalmente falsa ou totalmente verdadeira. Devem ser evitadas questes/afirmaes ambguas e demasiado genricas. Expresses tais como raramente, muitas vezes, muito... tendem a provocar confuso nos participantes. Expresses longas e complexas podem tambm resultar ambguas.

122

V. Fase II_P3-4

06/06/16

18:06

Page 123

Evitar usar expresses que indiciem a resposta. No devem ser usadas frases negativas que possam confundir o formando. Apresentar as afirmaes verdadeiras e falsas de forma aleatria, em nmero equiparado e com construo anloga. Frases com citaes devem referenciar o autor. O nmero de afirmaes falsas e verdadeiras deve ser equilibrado.

1.1.2 Testes com itens de escolha mltipla So testes normalmente aplicados aos objectivos de aprendizagem com maior enfoque nos saberes-saberes. Neste caso os participantes na formao devem optar pela informao que considerem mais correcta de entre as restantes apresentadas. Podem, todavia, ser igualmente utilizados com objectivos de aprendizagem cujo enfoque so os saberes-fazer. Neste caso, o participante solicitado a identificar a melhor soluo para o problema apresentado. Vejamos um exemplo deste tipo de item:
A capital da Repblica Checa : Bratislava Praga Budapeste Istambul

 Orientaes para a construo de testes com itens de escolha mltipla:

Deixar em aberto o final do enunciado de uma questo ou afirmao (s quais se designa por base, raiz ou tronco), associando, s mesmas, vrias opes de resposta da questo ou que visem concluir a afirmao incompleta (designadas por alternativas). Este tipo de formato ajuda o formando a posicionar-se melhor no assunto em questo. A base da questo ou afirmao dever reportar-se apenas a um assunto especfico, enunciado de forma positiva, a no ser que o objectivo a avaliar exija a forma negativa. A base da questo ou da afirmao dever ser sempre mais extensa que as respectivas opes de resposta. Associar, no mximo, 4 a 5 opes de resposta, sendo que apenas uma dever estar correcta. As restantes alternativas devero ser elaboradas de modo a assemelharem-se com a resposta concreta, fazendo com que o participante reflicta sobre as diferenas entre as vrias opes. Esta tarefa afigura-se aqui a mais difcil do exerccio, j que se trata de construir respostas aparentemente credveis. Deve evitar-se elaborar opes de resposta demasiadamente bvias. de evitar, igualmente, que sejam construdas respostas com base em truques que visem desorientar os participantes. So, antes, muitas vezes utilizados os erros mais frequentes dos participantes na construo das respostas alternativas.

123

V. Fase II_P3-4

06/06/16

18:06

Page 124

As respostas erradas devem ser da mesma natureza e, sempre que possvel, da mesma dimenso que a resposta correcta. Normalmente surgem sequenciadas numa ordem natural, numrica ou alfabtica. As opes de resposta devem concordar sempre gramaticalmente com a questo/ afirmao de base (em relao a contedo e prpria construo) caso contrrio poder conduzir o participante ao exerccio da excluso de partes, que poder resultar na perda do grau de dificuldade desejado para o exerccio em causa. Evitar colocar as respostas correctas sempre na mesma posio. As mesmas devero ser colocadas de modo a evitar-se posies padro, que sejam facilmente identificadas pelos participantes na aco de formao.

1.1.3 Testes com itens de associao (ou combinao) Este tipo de teste assemelha-se ao teste de itens de escolha mltipla, sendo as orientaes para respectiva construo algumas das mesmas descritas anteriormente no ponto 2. Apresentam igualmente uma questo ou afirmao de base, que apresentada em duas colunas, tendo os elementos de uma, relao com os elementos da outra. Aos elementos da primeira coluna atribuda a designao de premissas e aos da segunda respostas. So normalmente dadas instrues sobre a forma como essa associao deve ser efectuada. Um exemplo de itens desta natureza pode ser o seguinte: Estabelea uma relao entre as os autores indicadas na coluna 1 e as abordagens de avaliao indicados na coluna 2:
Coluna 1 Coluna 2 a. Abordagem dos 4 nveis de avaliao (reaco/aprendizagens/comportamentos/ /resultados) 1. Daniel Stufflebeam 2. Michael Patton 3. Donald Kirkpatrick b. Avaliao 360 c. CIRO d. CIPP e. Utilization Focused Evaluation

 Orientaes para a construo de testes com itens de associao (ou combinao):

Devem ser dadas instrues claras, no incio do exerccio, de modo a que o participante compreenda o tipo de associao pretendido, em particular sempre que uma resposta possa ser utilizada mais que uma vez ou no ser sequer utilizada. O nmero de questes ou afirmaes-base pode no ser coincidente com o nmero de opes de resposta, sendo neste caso, as opes de resposta em maior nmero. Quando tal acontece o participante levado a reflectir, sempre at ao fim do exerccio, sobre a resposta mais adequada entre vrias disponveis.

124

V. Fase II_P3-4

06/06/16

18:06

Page 125

Dez opes de resposta afigura-se o mximo de alternativas possveis a considerar neste tipo de exerccio. Os elementos da coluna das respostas devem ser organizados de acordo com uma certa ordem (alfabtica, numrica, temporal...). A questo e/ou afirmao-base pode apresentar-se menos extensa que as respectivas opes de resposta. So igualmente da mesma natureza, o que ajuda o participante a posicionar-se no assunto em processo de avaliao. Deixar em aberto o final do enunciado de uma questo ou afirmao (s quais se designa por base, raiz ou tronco), associando, s mesmas, vrias opes de resposta da questo ou que visem concluir a afirmao incompleta (designadas por alternativas). Este tipo de formato ajuda o formando a posicionar-se melhor no assunto em questo. As opes de resposta devem concordar sempre gramaticalmente com a questo/ afirmao de base (em relao a contedo e prpria construo), caso contrrio poder conduzir o participante ao exerccio da excluso de partes o que poder resultar na perda do grau de dificuldade desejado para o exerccio em causa. Deve evitar-se elaborar opes de resposta demasiadamente bvias. Evitar colocar as respostas correctas sempre na mesma posio. As mesmas devero ser colocadas de modo a evitar-se posies padro, que sejam facilmente identificadas pelos participantes na aco de formao.

1.1.4 Testes com itens de completamento (preenchimento de espaos) Neste tipo de testes podemos encontrar uma ou mais perguntas, normalmente pouco extensas, (s) qual(ais) se segue um espao que o formando deve utilizar para elaborar a respectiva resposta. Um exemplo de itens desta natureza pode ser o seguinte: Tendo em conta as vrias modalidades ou tipos de avaliao, complete as seguintes afirmaes. Se numa avaliao formativa surgem destacadas as intervenes associadas ao processo formativo, numa . o enfoque a certificao das aprendizagens efectuadas durante a formao.

 Orientaes para a construo de testes com itens de completamento:

Devem ser efectuadas questes e/ou afirmaes claras e directas, de modo a no permitir interpretaes diferentes. Deve evitar-se deixar no texto-base eventuais palavras/ pistas que possam favorecer as respostas, tais como: artigos, pronomes pessoais.... O espao para preenchimento deve ser sempre maior que a resposta pretendida. Pretende-se, assim, evitar condicionar a resposta do formando. Importa, todavia, evitar a apresentao de muitos espaos em branco por questo e/ou afirmao uma vez que pode dificultar a compreenso e interpretao das mesmas. A questo e/ou afirmao deve ser construda medida, no sendo aconselhvel retirar as mesmas de manuais j existentes. Devem ser construdos itens independentes entre si.

125

V. Fase II_P3-4

06/06/16

18:06

Page 126

1.1.5 Testes com itens de resposta curta Neste tipo de teste, podemos encontrar frases com alguns espaos em branco, indicando a ausncia de determinadas palavras. As questo colocadas so, regra geral, simples, de modo a permitir que o formando responda de forma breve e sem qualquer ambiguidade. Este testes so normalmente utilizados para avaliar: definies de termos e conceitos, conhecimento de terminologia, factos especficos, datas e frmulas, princpios, conhecimento de mtodos ou procedimentos, capacidades de interpretar dados simples e de clculo mental, caractersticas de corpos e fenmenos. Um exemplo deste tipo de item: O especialista em avaliao, autor da taxonomia que abordada 4 nveis de avaliao (reaces, aprendizagens, comportamentos e resultados) chama-se .

 Orientaes para a construo de testes com itens de resposta curta

Exigir sempre uma resposta breve e sem ambiguidade. Evitar usar expresses literalmente copiadas do texto-base. Se a resposta envolve o uso de unidades, a questo deve solicitar as mesmas. Apresentam-se seguidamente algumas das vantagens e limitaes associadas aos vrios tipos de testes:

126

V. Fase II_P3-4

06/06/16

18:06

Page 127

Tipo de teste

Vantagens

Limitaes

Testes com itens Verdadeiro-Falso

Integram perguntas cuja elaborao fcil e rpida. Permitem avaliar um grande volume de conhecimentos a nvel elementar. Permitem a validao rpida dos resultados. Integram perguntas facilmente compreendidas pelos respectivos destinatrios. Prestam-se avaliao da capacidade de distinguir conceitos complementares (tais como causa-efeito, facto-opinio, antecedente-consequente) e de identificar a correco de regras, princpios e definies.

No so fceis de construir. A construo com qualidade requer tempo. S avaliam conhecimentos que se podem classificar claramente em duas categorias. Prestam-se a que o formando opte por um padro de resposta. Prestam-se a que os formandos respondam ao acaso, com elevada probabilidade de acertar (50%). Prestam-se, quando integradas numa sequncia de itens deste tipo, a que o formando opte por um padro de resposta (ou marca sempre verdadeiro ou marca sempre falsa) conseguindo, por este processo, acertar na resposta a um nmero razovel de itens. S avaliam comportamentos situados nos nveis mais baixos das taxonomias de objectivos habitualmente simples memorizao. So itens de avaliao que nem sempre so fceis de elaborar. necessria alguma disponibilidade de tempo na construo dos itens de avaliao. Encontrar respostas falsas adequadas nem sempre tarefa fcil. Implica perder-se algum tempo para garantir que as estas sejam da mesma famlia que a resposta certa. Permitem aos formandos responder ao acaso.

Testes com itens de escolha mltipla

So testes largamente utilizados j que so fceis de corrigir, no exigindo significativo dispndio de tempo na sua correco. Permitem sinalizar rapidamente fontes de erros. A avaliao e classificao das respostas simples e rpida (quer manualmente, quer atravs de um computador). So exerccios avaliativos facilmente compreendidos por parte dos respectivos destinatrios. As vrias possibilidades de resposta reduzem a probabilidade dos formandos adivinharem as respostas.

Testes com itens de associao (ou combinaao)

Possibilidade de avaliar num s item um conjunto de aprendizagens relacionadas entre si. No existe a possibilidade de adivinhar a resposta, dado o nmero de combinaes possveis entre os elementos das duas colunas. As perguntas so relativamente fceis de construir. So de fcil e rpida elaborao, devendo, no entanto, obedecer a algumas regras de redaco. So itens normalmente utilizados para avaliar demonstrao de domnio e memorizao de conhecimentos especficos. Testes com itens desta natureza permitem verificar o cumprimento de mais do que um objectivo, uma vez que o tempo de preenchimento dos espaos curto. A ausncia total de possibilidades de resposta evita que o formando tente adivinhar as respostas.

A sua construo com qualidade requer tempo. Na maioria dos casos no se adequa a avaliar aprendizagens complexas. Exigem material homogneo para serem construdos.

Testes com itens de completamento (preenchimento de espaos)

No aconselhvel a sua aplicao para a avaliao de aprendizagens consideradas complexas. So itens que podem dificultar a respectiva avaliao/classificar (ex: respostas incompletas; interpretaes diferentes das pretendidas; redaco deficiente que dificulta a leitura dos textos...)

x
127

V. Fase II_P3-4

06/06/16

18:06

Page 128

Tipo de teste Testes com itens de resposta curta

Vantagens

Limitaes

So testes de fcil e rpida elaborao. So ajustados ao tipo de questo que apresenta um nmero reduzido de opes de resposta. So fceis de tratar, apresentando um grau mnimo de subjectividade na aplicao de grelhas de avaliao. So testes normalmente bem compreendidos por parte dos formandos. Permitem avaliar vrios objectivos no mesmo teste. No permitem que o formando adivinhe a resposta. Permitem testar objectivos do domnio do conhecimento e da memorizao de informaes.

No se adequam a avaliar aprendizagens complexas. Propiciam respostas parcialmente completas, difceis de graduar, quando no so cuidadosamente elaborados. Fomentam muitas vezes a aprendizagem mecnica.

Fonte: Adaptado de Valadares e Graa (1998) e de Ribeiro e Ribeiro (1989)

1.2 Testes com itens no objectivos Os testes com itens no objectivos so aqueles que visam aferir determinadas capacidades tais como seleccionar, organizar, integrar, relacionar e avaliar a informao disponibilizada. Tais capacidades so muitas vezes difceis e, em alguns casos, impossveis de ser aferidas atravs da aplicao de itens objectivos. Este formato de teste remete o formando para a resposta a determinada questo na forma narrativa. Podemos aqui encontrar dois tipos de respostas: Resposta livre. Ao participante na formao so fornecidas apenas algumas coordenadas que o permitem situar na temtica a desenvolver. Uma questo que ilustra o primeiro tipo de resposta, poderia ser a seguinte: Sinaliza as principais causas que conduziram formao das megacidades. Resposta orientada. Aqui o avaliador delimita claramente os limites do discurso a efectuar pelo participante na formao. Os critrios de avaliao so igualmente identificados partida. Uma questo que ilustra o segundo tipo de resposta, a apresentar no final de um workshop, poderia ser a seguinte: Descreva as principais estratgias de negociao referidas na sesso de trabalho na qual participou, mencionando, quando as utilizar, factores que favorecem a respectiva eficcia, assim como, limitaes/obstculos sua implementao.

128

V. Fase II_P3-4

06/06/16

18:06

Page 129

Vantagens So testes fceis de construir, permitindo total liberdade na resposta. Ajustado a situaes em que se pretende saber o porqu e o como de uma situao especfica.

Limitaes De tratamento difcil, exigindo do avaliador o claro domnio da matria em causa. Pode exigir aplicao de tcnicas especficas de anlise de dados, tais como, anlise de contedo. Exige que a elaborao da grelha de avaliao seja efectuada por algum que domina a matria. O tratamento da informao, numa primeira fase, efectuada manualmente. O facto da resposta ter que ser manuscrita pode dificultar a respectiva anlise.

 Orientaes para a construo de testes com itens no objectivos:

as questes a colocar devero ser curtas e concisas; sempre que uma questo foque dois assuntos diferentes, distinga claramente as duas reflexes pretendidas associando, a cada assunto, um conjunto de aspectos que devem ser abordados no desenvolvimento da questo. (este procedimento facilita posteriormente a aplicao de uma grelha de correco); descreva os aspectos a abordar na questo de forma sequenciada e clara, no deixando margem de dvida sobre o que devem ser os contedos a desenvolver; os critrios de avaliao da resposta devem ser explicitados; importa garantir que as questes colocadas permitem aferir aquisio/ desenvolvimento de saberes concretos.

!!

Ter presente o que se pretende avaliar em concreto facilita a determinao do tipo de teste a aplicar,designadamente, tipo de item a utilizar (de resposta mltipla, de resposta curta...).

Exemplificando...

129

V. Fase II_P3-4

06/06/16

18:06

Page 130

A grelha que se segue permite sinalizar, de forma estruturada e sequenciada, algumas das etapas referenciadas para a construo de testes com itens objectivos. Consideremos, ento, os contedos programticos de um mdulo dedicado ao tema da higiene e segurana no trabalho: organizao da emergncia (25h).
Perguntas a efectuar sobre cada um dos contedos em questo 1.1. Pergunta de resposta curta 1. Conceitos e definies 1.2. Pergunta de escolha mltipla 1.3. Pergunta de desenvolvimento Classificao a atribuir a cada uma das perguntas 1.1. (2 pontos) 1.2. (2 pontos) 1.4. (5 pontos)

Contedos da formao

Natureza do saber 1.1. Saber-saber 1.2. Saber saber 1.3. Saber - saber

2.1. Pergunta verdadeiro--falso 2. Risco de incndio e exploso 2.2.Pergunta de desenvolvimento

2.1. Saber- saber 2.2. Saber - fazer

2.1. (5 pontos) 2.2. ( 2 pontos)

3. Risco qumico 4. Riscos graves 5. Equipamento de deteco e alarme 6. Equipamento e equipes de 1 interveno 7. Regras para a elaborao do plano de emergncia 8. Articulao do Plano de Emergncia com o Servio de Proteco Civil e com outros organismos, nomeadamente Bombeiros e Polcia. (...)

(...)

(...)

(...)

A aplicao deste tipo de matriz facilita, por um lado, a articulao contedos/questes de avaliao a colocar e, por outro, a preparao da triangulao de dados, uma vez que partida, no momento que se conhece a natureza do saber, quem avalia pode decidir pela aplicao de outras abordagens para alm de testes de conhecimentos, tais como o recurso a testes de desempenho, a prticas de role play, entre outros. Sugere-se, assim, que a interveno avaliativa seja centrada na combinatria de saberes em presena e no apenas num nico tipo de saber.

130

V. Fase II_P3-4

06/06/16

18:06

Page 131

Apresenta-se ainda uma outra matriz que visa apoiar, igualmente, a construo de um teste, que neste caso remete para a importncia de uma tabela de especificaes prvia que permita cruzar contedos com objectivos de aprendizagem pretendidos:
Objectivos de aprendizagem do mdulo Obj1 Especificao dos contedos do mdulo A B C Obj2 Obj3 Obj4 Obj5 Obj6 Obj7 Obj8

Enfoque do teste para o mdulo A

7
Objectivos de aprendizagem Domnio de conceitos Conhecimento de factos concretos

Domnio de regras e princpios que regem a temtica

Domnio de processos e procedimentos concretos

Capacidade para criar algo de novo com base nos elementos fornecidos

Capacidade para aplicar/ transferir os saberes construdos/ adquiridos

Obj 1

Questo 1 Questo 2 Questo 3 Questo 4 Questo 5 Questo 6 Questo 7 Questo 8 Questo 9 Questo 10 Questo 11 Questo 12

Obj 2

Obj 3

Obj 4 Obj 5 Obj 6

Fonte: adaptado de Bloom (1971)

131

V. Fase II_P3-4

06/06/16

18:06

Page 132

Legenda: Domnio de conceitos: Remete para domnio de terminologia especfica associada rea de formao em questo. Conhecimento de factos concretos: Remete para memorizao de determinados dados/ informaes tais como datas, designao de pessoas, locais ou eventos ocorridos. Domnio de regras e princpios que regem a aplicao de determinados saberes: Remete para a demonstrao de conhecimentos especficos que enquadram a mobilizao prtica de determinados saberes. Domnio de processos e procedimentos concretos: Remete para domnio de etapas especficas associadas a determinado processo produtivo. Capacidade para criar algo de novo com base nos elementos fornecidos: Exige-se que o participante introduza um cunho pessoal ao criar algo com base nos saberes construdos/desenvolvidos durante a realizao da formao. Capacidade para aplicar/transferir os saberes construdos/adquiridos: A ideia da aplicao dos saberes remete para o uso das regras e dos princpios trabalhados na formao aquando da resoluo de casos/problemas concretos associados a situaes aparentemente novas para o participante.

Esta tabela permite o seguinte: sinalizar saberes centrais e/ou transversais que os participantes devero assegurar no final da formao; determinar se os contedos propostos contribuem, na realidade, para algum dos objectivos pretendidos; efectuar as pontes/articulaes necessrias entre os contedos a ministrar; despistar se o enfoque em determinados contedos coerente com os objectivos de aprendizagem de maior relevncia; determinar a natureza dos itens a considerar no teste a aplicar; contribuir para a validade de contedo de um instrumento de avaliao (ver processo 4 testar instrumentos de avaliao).

Q2

Como construir inquritos?

Num processo de avaliao da formao comum recorrer-se aplicao de inquritos, mais ou menos construdos medida, que visam recolher um conjunto de dados sobre determinada interveno formativa. A opo por este ou aquele tipo de inqurito varia, normalmente, em funo do tempo e custo que exigem, assim como, da respectiva complexidade. Escolher o tipo de inqurito que melhor pode recolher os dados que so necessrios e no o mais rpido de se construir ou o mais barato, e mais fcil de fazer, parece ser a opo mais acertada. Considere ainda o facto de que pode vir a necessitar de aplicar mais do que um tipo de inqurito para recolher informao sobre um mesmo assunto, pelo que reflectir sobre as vrias alternativas existentes conduz, normalmente, a resultados mais eficazes. Apresentam-se, seguidamente, algumas questes que podem ajudar a determinar qual o tipo de inqurito a aplicar: (1) que informao necessria produzir? (2) quantos indivduos teremos de inquirir? (3) qual o grau de sensibilidade das questes a colocar? (4) qual o tempo e dinheiro disponvel para a recolha e tratamento dos dados? (5) que tempo se espera que os inquiridos disponibilizem no fornecimento dos dados? (6) com que facilidade os inquiridos podem ser contactados?

132

V. Fase II_P3-4

06/06/16

18:06

Page 133

Sero aqui considerados dois tipos de inquritos: a entrevista presencial; o questionrio. Os inquritos em formato electrnico so j considerados um terceiro tipo de inqurito para recolha de dados, mas no sero, todavia, desenvolvidos neste Guia.

2.1 Como construir inquritos por entrevista? Trata-se de uma tcnica que permite recolher dados acerca de determinado(s) tema(s) junto de um indivduo ou conjunto de indivduos. Pode ser mais ou menos estruturada consoante a natureza da informao a recolher, assim como o domnio que o avaliador apresenta sobre os assuntos em anlise. A opo mais usual a aplicao de entrevistas semi-estruturadas, ou seja, integram questes fechadas e questes abertas. Este tipo de tcnica pode ser utilizada sempre que: se pretende explorar questes complexas que exigem respostas exploratrias; se tratem de questes sensveis; as possveis respostas sobre determinado assunto no podem ser antecipadas; os respondentes so especialistas nos assuntos a abordar ou integram nveis hierrquicos elevados; o custo da sua aplicao no se traduz num critrio de deciso. Sugere-se a leitura dos instrumentos associados a este processo para a obteno de mais informao sobre a preparao de uma entrevista.

Exemplificando...

No contexto de uma avaliao de reaco, a tcnica da entrevista pode ser utilizada numa relao de avaliao inter-pares, ou seja, entre formador e formando, entre director pedaggico e formando ou entre formando-formando. Optmos por disponibilizar um guio de entrevista a aplicar pelos prprios formandos no decurso de uma aco formativa. O formador ou director pedaggico apenas ter de fazer uma pausa no decurso da formao que possibilite a realizao das entrevistas entre os prprios formandos. Ao mesmo caber apenas retirar as notas que incidam sobre eventuais aspectos a melhorar.

133

V. Fase II_P3-4

06/06/16

18:06

Page 134

Guio de entrevista a aplicar pelos formandos aos respectivos colegas de curso Objectivos gerais da entrevista a realizar: Sinalizar pontos fortes e fracos das intervenes realizadas. Aferir cumprimento de expectativas iniciais dos participantes na formao. Objectivos especficos: estimular o sentido crtico dos formandos. co-responsabilizar e implicar os formandos na concretizao das respectivas aprendizagens. Aspectos a considerar na entrevista: Classificar as actividades formativas recorrendo a uma escala de um a cinco, sendo 1 (muito negativo) e 5 (muito positivo). Identificar os saberes j adquiridos/desenvolvidos. Indicar o que gostou mais at ao momento. Indicar o que gostou menos at ao momento. Explicitar como pode contribuir para uma melhor aprendizagem. Efectuar comentrios/sugestes relativas aco em curso.

2.2 Como construir inquritos por questionrio? Trata-se de uma abordagem que permite recolher dados acerca de determinado(s) tema(s) junto de um conjunto de indivduos. Um questionrio pode ser mais ou menos estruturado consoante a natureza da informao a recolher. A opo mais usual a aplicao de questionrios com perguntas fechadas. Um questionrio pode ser enviado para o respectivo pblico por diversas vias: correio, email, entregue em mo... Tratando-se de um inqurito a enviar por correio importa pensar no respectivo formato; decida sobre agrupamentos de dimenses a abordar, assim como a estruturao das questes (note que um questionrio algo que nem sempre sai bem na primeira tentativa).

 Acrescentam-se algumas recomendaes que podero facilitar a sinalizao das questes de avaliao a utilizar no
questionrio: Diversifique a estrutura das questes sempre que possvel; manter o interesse do inquirido por muito mais tempo. Exige ainda que as sucessivas questes sejam respondidas com maior ateno.

134

V. Fase II_P3-4

06/06/16

18:06

Page 135

Recorra a um nmero reduzido de questes por cada dimenso pretendida. Exige que se garanta que as questes seleccionadas so as que permitem recolher as informaes pretendidas. Resulta num questionrio mais curto o que agrada normalmente a quem responde. Encadeie as questes de uma forma lgica. Ajuda a respectiva compreenso por parte de quem responde s questes. Alterne questes fceis com questes mais difceis. Coloque as questes mais fceis e interessantes no incio do questionrio. Reserve as questes de natureza quantitativa para o fim. Reserve um espao que possibilite ao inquirido efectuar eventuais comentrios/sugestes. Sugere-se a leitura dos instrumentos associados a este processo para a obteno de mais informao sobre a preparao de questionrio. Ao nvel da formulao das questes, tenha presente que as mesmas podem ser formuladas de diferentes formas, a saber:
Questes em que todas as possibilidades de resposta esto previstas. No devem, por isso, comportar qualquer tipo de ambiguidade. As possibilidades de resposta no esto previstas. A pessoa interrogada exprime-se mais livremente. Possibilitam ao inquirido algumas hipteses de resposta predeterminadas mas deixam, tambm, em aberto a possibilidade de uma resposta livre. Os inquiridos situam-se a si prprios num continuum que vai de uma posio extrema posio inversa. Apresentam sobre um determinado assunto algumas situaes possveis ou existentes, descrevendo-as de maneira relativamente precisa e pormenorizada. Os inquiridos escolhem a situao ou cenrio que melhor corresponde sua concepo Utilizam fotografias ou desenhos ilustrativos sobre determinadas situaes s quais solicitada uma resposta.

Questes Fechadas

Questes Abertas

Questes Semiabertas

Questes Escalas

Questes-Cenrios Questes que utilizam imagens

Exemplificando...

Consideremos a aplicao do inqurito por questionrio no contexto de uma avaliao de 1 nvel, situao em que mais utilizado. Este exemplo disponibiliza um conjunto de procedimentos a realizar sempre que a opo a aplicao de um questionrio, a adaptar, caso j exista ou a construir pelo avaliador.

135

V. Fase II_P3-4

06/06/16

18:06

Page 136

1. Sinalizao das dimenses a considerar na aco formativa em causa (o que se quer observar/ avaliar? Porque escolhemos esta ou aquela dimenso avaliativa?) Tratando-se de uma avaliao de natureza essencialmente formativa, importa recolher o mximo de informao sobre os aspectos que devero ser acompanhados/controlados e, eventualmente, melhorados pelos diferentes actores em presena. 2. Reflectir sobre cada uma das dimenses sinalizadas e questionar: Que necessito saber acerca desta dimenso? Ex: Se a dimenso for o desempenho do formador , a questo ser sob que perspectiva vou avaliar o desempenho do formador? Importa aqui equacionar a possibilidade de se aplicarem ponderaes relativamente a alguma das dimenses seleccionadas ou relativamente a algum critrio de avaliao estabelecido. Com este procedimento visa-se responder seguinte questo: Tero todas as dimenses/critrios de avaliao a mesma importncia? Caso a resposta seja negativa, ento h que pensar criticamente em cada uma das dimenses/critrios de avaliao sinalizados e tomar as devidas decises em termos da respectiva ponderao (ver processo 7, pgina 201). 3. Uma vez as dimenses e critrios definidos, colocam-se seguidamente as questes relacionadas com a escolha da escala avaliativa a aplicar. Nos questionrios para a avaliao de reaco so utilizados, regra geral, os seguintes tipos de escalas: Escalas dicotmicas: sim/no; verdadeiro/falso Escalas tipo Likert:
( ) 1 2 3 4 5 (++)

Escalas de diferencial semntico: Insuficiente ___/___/___/___/___/ Excelente ... Destaque-se que, na construo de escalas consideram-se eventuais padres (standards) de referncia associados a cada uma das dimenses j estabelecidas. Quando a dimenso o desempenho do formador, importa reflectir sobre o nvel de desempenho pretendido para a situao em causa. Aqui a questo ser ento: para a aco X ou para o curso Y o que se dever considerar como aceitvel e/ou bom desempenho do formador ou grupo de formadores? As escalas so, tambm, seleccionadas em funo da natureza da informao que se pretende obter para cada uma das dimenses de avaliao consideradas. Uma escala dicotmica , por exemplo, utilizada quando o grau de profundidade da informao pretendida reduzido. Sugere-se aqui que sejam consideradas vrias tipologias de questes, por forma a evitar que o inquirido responda sempre da mesma forma. Uma ltima reflexo a realizar sobre este tipo de instrumento ser: O que pretendo fazer com a informao desejada? Esta questo remete para a utilidade dos resultados de uma avaliao de reaco.

136

V. Fase II_P3-4

06/06/16

18:06

Page 137

4. Considerar no questionrio um espao para a recolha de comentrios/opinies acerca da sesso de formao. Estes espaos surgem, normalmente, na parte final do questionrio de avaliao. Sugere-se, todavia, que sejam igualmente considerados espaos no final de cada dimenso (ou conjunto de itens) de avaliao, por forma a prender a ateno do inquirido exactamente no momento em que reflecte sobre os vrios assuntos. Remete-se para o final apenas espaos livres para o caso do mesmo ainda desejar acrescentar algo ao j referido. 5.Verificar se o questionrio foi concebido na perspectiva de quem o vai preencher. Trata-se de uma aco de controlo sobre o instrumento que se elabora, de forma a garantir a importncia do mesmo para quem o concebe e para quem o preenche. Tal implica que sejam efectuadas questes que digam directamente respeito a quem responde. Para alm da aplicao do inqurito por questionrio, podemos recorrer ainda a outras tcnicas que o podem substituir ou mesmo complementar, tais como: o preenchimento de uma grelha de observao por parte do formador/monitor; a realizao, durante o desenvolvimento dos trabalhos, de uma entrevista ao grupo de participantes. Esta , regra geral, efectuada pelo coordenador pedaggico da aco formativa, podendo, no entanto, ser igualmente realizada pelo prprio formador que far constar a informao recolhida no relatrio de progresso dos participantes na aco; este tipo de entrevista pode ainda ser utilizado para o aprofundamento de questes abordadas nos questionrios preenchidos, sobre as quais se torna necessrio reunir mais informao; a aplicao de um instrumento para auto-avaliao por parte do prprio participante na formao. Aqui se deixa um instrumento, meramente exemplificativo, para aferir o grau de satisfao dos participantes de uma aco de formao:

QUESTIONRIO PARA AVALIAO DE REACO (FINAL DE CURSO/MDULO)

Designao do curso: Designao do mdulo: Formador do mdulo: Data: _____ /_____ /_____

137

V. Fase II_P3-4

06/06/16

18:06

Page 138

A sua opinio sobre a aco de formao em que acaba de participar extremamente importante, pelo que gostaramos que colaborasse por forma a que possamos: Aferir em que medida satisfizemos as suas expectativas Melhorar o nosso desempenho em futuras aces de formao Gostaramos, assim, que respondesse s seguintes questes: Relativamente ao mdulo ministrado:
1. Avaliao global do mdulo 1.1. Globalmente o mdulo agradou-lhe? 1.2. O desenvolvimento dado ao mdulo pareceulhe adequado ao seu nvel de conhecimentos? 1.3.Os objectivos propostos foram cumpridos? 1.4. O mdulo correspondeu s suas expectativas iniciais? 1.5. Considera que o mdulo desenvolvido foi bem articulado com os anteriores mdulos ministrados? 2. Relativamente aos contedos programticos 1 Considera que: 2.1. Os temas abordados foram: Nada interessantes Nada aprofundados Inteis Insuficiente Muito interessantes Muito aprofundados Muito teis Mais que suficiente Mais que suficiente Excelente 2 3 4 Nada Inadequado 1 2 3 4 Muito Muito adequado Totalmente cumpridos Totalmente

No cumpridos

Nada

Nada

Totalmente

2.2. Os temas abordados foram: 2.3. Os temas abordados foram: 2.4. O tempo dedicado exposio terica foi:

2.5. O tempo dedicado exposio prtica foi: 2.6. A aco em termos de aquisio de novos conhecimentos foi:

Insuficiente

Insuficiente

138

V. Fase II_P3-4

06/06/16

18:06

Page 139

3. Relativamente ao desempenho do formador 1 Considera que este: 3.1. Foi claro na apresentao dos objectivos pedaggicos/de aprendizagem a alcanar? 3.2. Dominava as matrias que ministrou? 3.3. Conseguiu motivar os formandos? Nada claro Fraco domnio De forma insuficiente Nada claro Totalmente claro Bom domnio De forma excelente Totalmente claro Incentivou frequentemente Totalmente adequadas Bastante verificada De forma excelente 2 3 4

3.4. Foi claro nas intervenes realizadas?

3.5. Incentivou a participao dos formandos? 3.6. Desenvolveu metodologias pedaggicas adequadas ao pblico- alvo em presena? 3.7. Verificou, ao longo da aco, a aquisio de aprendizagens por parte dos formandos? 3.8. Demonstrou ao grupo as aplicaes prticas das matrias em estudo? 3.9. Demonstrou interesse pelas dificuldades dos formandos (apoio na resoluo de problemas concretos)? 3.10. Apresentou algumas estratgias de apoio rentabilizao dos saberes adquiridos (ex: consulta de sites especializados na matria, referncias bibliogrficas, centros para consulta de informao acerca das temticas abordadas...)?

No incentivou Nada adequadas Pouco verificada De forma insuficiente

Fraco interesse

Muito interesse

De forma insuficiente

De forma excelente

139

V. Fase II_P3-4

06/06/16

18:06

Page 140

4. Relativamente organizao da aco, designadamente no que toca a recursos de apoio mobilizados para a aco formativa Como considera: 4.1. A qualidade e adequao da documentao distribuda? 4.2. A qualidade dos suportes pedaggicos utilizados (videoprojector, retroprojector, quadros didcticos...)? 4.3. A adequao dos suportes pedaggicos aos assuntos abordados? 4.4. A diversificao dos suportes pedaggicos utilizados? 4.5. A qualidade das instalaes e condies ambientais? 4.6. O apoio administrativo disponvel? 4.7. A durao da aco? Muito fraca

Muito boa

Muito fraca

Muito boa

Inadequados

Totalmente adequados Plena

Nula

Muito fraca Insuficiente Insuficiente

Muito boa Excelente Mais que suficiente Totalmente adequado

4.8. O horrio da aco de formao?

Inadequado

5. Relativamente a procedimentos de avaliao 1 Como considera: Totalmente adequados aos destinatrios Foi totalmente com frequncia 2 3 4

4.1. Os instrumentos de avaliao utilizados? 4.2. O feedback da avaliao (devoluo dos resultados da avaliao aos respectivos interessados)?

Inadequados

No ocorreu

140

V. Fase II_P3-4

06/06/16

18:06

Page 141

Gostaramos ainda que nos respondesse s seguintes questes: Em que situaes/actividades profissionais prev vir a aplicar os conhecimentos que adquiriu no presente mdulo?

2. Dos temas abordados no presente mdulo qual considera ser o de maior utilidade para a sua vida profissional?

3. Recomendaria esta aco/mdulo formativo a outros indivduos? Em caso de resposta negativa, justifique a sua resposta dizendo o que, na sua opinio, deveria ser alterado?

4. Que constrangimentos/obstculos acha que podem vir a dificultar a transferncia de aprendizagens para o contexto real de trabalho?

5. Outros comentrios ou sugestes:

Obrigada pela sua colaborao.

141

V. Fase II_P3-4

06/06/16

18:06

Page 142

Q3

Como preparar um focus group?

Trata-se de um grupo que pode ter entre 6 a 12 pessoas, que se rene em torno de uma determinada temtica, no sentido de a explorar em profundidade. Esta tcnica pode ser utilizada com vrias finalidades, sendo uma delas a recolha de informao acerca de determinado processo de formao. So criadas sinergias e efeitos de bola de neve entre os membros do grupo, uma vez que se parte do princpio que o resultado colectivo mais rico que o resultado individual. De uma maneira geral, a tcnica do focus group consiste em reunir/animar um pequeno grupo de pessoas para discutir um ou mais temas de uma forma estruturada e com a interveno de um facilitador/moderador. Uma sesso de focus group dura, regra geral, 1/2 horas. Distingue-se da entrevista de grupo j que o facilitador, no caso do focus group, encoraja a interaco e discusso entre o grupo. Admite-se assim que os membros possam influenciar-se mutuamente. Como so reflexes orientadas acabam por ser mais aprofundadas, quando comparadas com a prtica das entrevistas de grupo. Este tipo de tcnica pode ser utilizada sempre que se pretende: Reflectir sobre determinado tema para o analisar em profundidade e segundo perspectivas pr-estabelecidas. Aferir as causas de algum problema previamente identificado. Obter informao mais pormenorizada na sequncia da aplicao de uma entrevista ou questionrio. Sinalizar necessidades no seio de determinado grupo-alvo. Sinalizar dimenses/critrios a aplicar na anlise/caracterizao de determinado assunto. Sugere-se a leitura dos instrumentos associados a este processo para a obteno de mais informao sobre a preparao de um focus group.

Q4

Como preparar uma observao

Uma outra tcnica que pode ser utilizada no contexto da avaliao da formao a observao sobre determinados comportamentos manifestados por parte de um indivduo ou conjunto de indivduos. Existem dois tipos de observaes: Estruturadas: sempre que o que se pretende observar foi pr-determinado. Implica a construo prvia de uma grelha de observao para a realizao da observao. Verifica-se aqui um forte enfoque na sinalizao de evidncias concretas; No estruturadas: as actividades/aces concretas a observar no so pr-determinadas. Os resultados podem traduzir-se em simples opinies/pareceres acerca do(s) alvo(s) observado(s). Fraco enfoque na busca de evidncias associadas ao objecto observado.

142

V. Fase II_P3-4

06/06/16

18:06

Page 143

Esta tcnica pode ser utilizada sempre que se pretende: informao detalhada sobre determinado assunto; observar a realizao de determinado comportamento ou tarefa/operao. Tal como outras tcnicas, tambm a observao, muitas vezes considerada como uma tcnica demasiado informal, deve ser orientada e estruturada atravs de diversas formas de registo:
Tipo de instrumento para registo das observaes Objectivo dos instrumentos

Listas de verificao/ /controlo

Destinam-se a registar a presena ou ausncia de um comportamento ou resultado de aprendizagem. Normalmente aplicadas pelos formadores/monitores para acompanhamento e ou avaliao das aprendizagens efectuadas, podem ser igualmente utilizadas por parte dos formandos e formadores para respectiva auto-avaliao. Sendo semelhantes s listas de controlo, diferem quanto graduao dos comportamentos/atitudes a observar. Exige-se, assim, no apenas a sinalizao da presena ou ausncia de determinado comportamento ou atitude, mas tambm a emisso de um juzo de valor que posiciona o observado em determinado nvel ou grau avaliativo. Integram um conjunto de caractersticas ou qualidades a que esto associados diversos nveis de valor. Existem 3 tipos de escalas de graduao: numricas, descritivas, numrico-descritivas. De modo a cumprirem as respectivas funes, estes instrumentos devem conter escalas com poucos nveis, de modo a facilitar o respectivo preenchimento. Integram uma listagem de aspectos que devem ser particularmente observados no decurso de uma aco formativa. Permitem, por exemplo, observar a frequncia dos comportamentos e observar a progresso dos mesmos. Devido s dificuldades de utilizao deste instrumento de avaliao, ser sempre de evitar recorrer a grelhas estandartizadas. Sugere-se antes a sinalizao do grupo de formandos a observar de modo a seleccionar posteriormente, de forma criteriosa, os comportamentos que se pretendem avaliar.

Grelhas com escalas de graduao/ /classificao

Grelhas de observao

Fonte: adaptado de IIE 1994

Para um maior desenvolvimento das questes associadas elaborao de grelhas de observao sugere-se a consulta aos instrumentos propostos para este mesmo processo, onde o avaliador poder encontrar uma proposta metodolgica exclusivamente dedicada elaborao deste tipo de instrumento.

143

V. Fase II_P3-4

06/06/16

18:06

Page 144

Exemplificando....

Observaes com recurso a listas de verificao/controlo Os instrumentos que melhor se adequam a esta perspectiva de observao so as designadas checklists. Apresenta-se seguidamente uma checklist tcnica para verificao/controlo do cumprimento dos procedimentos relativos execuo da mudana de uma roda de um veculo ligeiro:
Lista de procedimentos a efectuar na mudana de um pneu 1. Ligar as luzes de perigo e deslocar o veculo para a berma. 2. Utilizar o colete retroreflector antes de executar qualquer operao. 3. Colocar o sinal de pr-sinalizao distncia correcta (a uma distncia nunca inferior a 30 m da retaguarda do veculo e por forma a ficar bem visvel a uma distncia de, pelo menos, 100m). 4. Garantir a total imobilizao do veculo por meio do travo de mo e do uso de um calo eficiente colocado numa das rodas. 5. Com a roda ainda apoiada no solo, aliviar as porcas que prendem a roda a substituir, recorrendo a chave prpria. 6. Retirar macaco do porta bagagens do carro. 7. Colocar macaco no local mais adequado (seguir instrues). 8. Levantar o carro de modo a que a roda a substituir fique suspensa a cerca de 10 centmetros do cho. 9. Retirar o pneu danificado e colocar o pneu de substituio. 10. Apertar levemente as porcas ainda com o carro suspenso. 11. Baixar o carro at a roda de substituio tocar o cho. 12. Apertar fortemente as porcas da roda j substituda. 13. Guardar a roda danificada no local onde se encontrava a de substituio. 14. Guardar sinal de pr-sinalizao e colete retroreflector. 15. Entrar no carro e circular devagar uns escassos metros para verificar da eficcia na execuo das operaes realizadas. Executado () No executado () Observaes

144

V. Fase II_P3-4

06/06/16

18:06

Page 145

Grelhas de observao com recurso a escalas de graduao/classificao O exemplo de grelha de observao que se segue pode ser utilizado no contexto de uma auditoria interna ou externa que vise, entre outros, avaliar o desempenho dos formadores/monitores que intervm em determinada aco de formao. Pode igualmente ser um instrumento a aplicar no mbito da realizao de um curso de formadores de formadores, aquando da realizao de exerccios focalizados na avaliao das capacidades pedaggicas dos respectivos participantes.
Insuficiente ......................... Excelente 1

Desempenho do formador 1. Cria um ambiente propcio aprendizagem. 2. Discute os objectivos com os formandos. 3. Gere as actividades pedaggicas de acordo com o respectivo cronograma de execuo. 4. Reflecte regularmente com os formandos sobre os objectivos de aprendizagem a alcanar (posicionando os formandos face aos mesmos). 5. Observa os comportamentos/atitudes dos formandos com vista respectiva melhoria. 6. Estimula e participa em actividades geradas pelo grupo de formandos. 7. Fornece informao sobre o curso sempre que para tal seja solicitado . 8. Fornece orientaes tcnicas sempre que para tal seja solicitado. 9. Procura manter o interesse dos formandos ao longo do desenvolvimento das actividades pedaggicas. 10. Demonstra um bom domnio dos assuntos a tratar. 11. Desenvolve relaes de confiana com os formandos. 12. Promove relaes empticas com o grupo de formandos. 13. Demonstra capacidade de escuta. 14. Diversifica os mtodos pedaggicos utilizados (expositivo, demonstrativo, interrogativo...). 15. Devolve feedback ao formando na sequncia de trabalhos solicitados. 16. Gere os problemas e conflitos surgidos no seio do grupo. 17. Estimula/motiva o grupo para a participao nas actividades pedaggicas. 18. Consolida os conhecimentos ao longo do desenvolvimento das aprendizagens.

Comentrios

145

V. Fase II_P3-4

06/06/16

18:06

Page 146

Observaes que visem o registo de incidentes crticos 15 Pretende-se com este tipo de grelha sinalizar eventuais ocorrncias que no correspondam s orientaes/procedimentos pr-estabelecidos para a execuo de determinada funo/actividade. Actividade desenvolvida: Responsvel pela execuo da actividade:

Descrio do incidente crtico

Grau de gravidade A B C

Como foi corrigido o incidente crtico?

Observaes

Legenda: A Incidente crtico de elevado impacte nos resultados a alcanar B Incidente crtico de mdio impacte nos resultados a alcanar C Incidente crtico de reduzido Impacte nos resultados a alcanar

15. O presente exemplo remete o avaliador para a sinalizao de aspectos menos conseguidos no decurso de uma aco de formao. Pode, todavia, verificar-se igualmente o registo de incidentes crticos positivos, ou seja, ocorrncias que potenciam/favorecem a eficcia da aco de formao. Neste caso teramos como designao das colunas para preenchimento: descrio do incidente crtico/grau de impacte nos resultados/como foi divulgada e disseminada a ocorrncia/observaes.

146

V. Fase II_P3-4

06/06/16

18:06

Page 147

Instrumentos de apoio ao processo

V. Fase II_P3-4

06/06/16

18:06

Page 148

Instrumento de apoio n 5
FICHA TCNICA Objectivos: Este instrumento visa apoiar a construo de testes escritos. Contextos e momentos de aplicao: Este instrumento pode ser utilizado durante a elaborao da estratgia de avaliao ou durante a execuo da formao. Quem o pode utilizar: Formadores/coordenadores pedaggicos.
Etapas a considerar na construo de testes escritos Etapa A A construo dos itens a incluir no teste A fase da construo dos itens a incluir num determinado teste merece uma ateno redobrada: (1) importa determinar a natureza do saber a avaliar por forma a tomar as decises mais adequadas; (2) importa diversificar o modo de perguntar. Assim, uma vez conhecidos os contedos da formao, importa colocar sobre cada um deles as questes que se considerem pertinentes, atendendo aos objectivos de aprendizagem em presena. Uma vez efectuadas as questes de forma avulsa torna-se possvel perceber qual a natureza da pergunta. Esta informao permite ainda perceber quais os nveis cognitivos em presena. O passo seguinte ser a definio da classificao a atribuir a cada pergunta. Etapa B A seleco dos itens Seleccionar os itens de acordo com uma ordem especfica (determinar itens que remetem para a verificao de comportamentos finais; seleccionar aleatoriamente caso tenham igual importncia...) Etapa C A agregao dos itens Agregar os itens por determinada lgica. Ex: saber, saber fazer, saber ser estar; por rea temtica; por fases de processo produtivo; por itens de maior dificuldade para menor dificuldade, etc... Etapa D O teste do instrumento de avaliao Aqui as questes relacionadas com a validade e confiabilidade do instrumento de avaliao assumem um papel central na reflexo. igualmente nesta fase que se efectuam apuramentos relativamente a: dificuldades dos itens do teste (revela a % de participantes que conseguem obter resultados positivos na prova); valor discriminante do item. Interessa aqui aferir em que medida outras caractersticas, para alm do domnio dos saberes, podem influenciar os resultados das provas, tais como, condio social, cultural, econmica... Aferir em que medida os participantes renem as mesmas condies de partida para responderem aos vrios itens do teste, assume aqui uma das principais preocupaes nesta matria. Etapa E A construo da tabela de cotao/classificao * A classificao implica a atribuio de um valor a um estdio ou a um resultado a que se chegou com o desenvolvimento das intervenes formativas. Consiste apenas numa das etapas do processo de avaliao de aprendizagens, todavia a mais visvel pelo que exigir ser devidamente acompanhada de modo a que a mesma resulte num processo transparente e credvel. Etapa F A devoluo dos resultados Fornecer informao aos participantes (como elaborar a prova/tempo disponibilizado para o fazer).

Etapa concluda
Sim (x) No (x)

148

V. Fase II_P3-4

06/06/16

18:06

Page 149

* Princpios e caractersticas dos processos de classificao Clareza - Na classificao deve-se recorrer a sistemas, smbolos, termos, ... que sejam claros para os vrios agentes a quem se destina a informao Significncia - Os sistemas, smbolos, termos ou outros modos de apresentar a classificao devem ter o mesmo significado e reger-se pelas mesmas concepes, para (por) todos aqueles que tm responsabilidades na atribuio da classificao ou que a ela tm acesso. Homogeneidade - Os sistemas, smbolos ou outros modos de apresentar a classificao devem ser comuns aos restantes formadores/monitores e devem ser do conhecimento de todos aqueles a quem se destina a informao. Acessibilidade - A classificao, os critrios que a orientam e a simbologia a que recorre devem ser acessveis a quaisquer agentes da formao que aos mesmos venham a ter acesso. Objectividade - A classificao deve permitir traduzir o nvel de domnio de saberes ou estdio de desenvolvimento dos participantes na formao. Referenciada - A classificao deve basear-se em critrios definidos e assumidos por toda a equipa de formao e que sejam do conhecimento dos vrios interessados na matria.

Instrumento de apoio n 6
FICHA TCNICA Objectivos: Este instrumento vida apoiar a construo de testes com itens no objectivos. Contextos e momentos de aplicao: Este instrumento pode ser utilizado durante a elaborao da estratgia de avaliao ou durante a execuo da formao. Quem o pode utilizar: O coordenador pedaggico/o formador.
Etapas a percorrer na construo de um teste com itens no objectivos Etapa A Elabore uma questo que deseja submeter ao grupo de participantes na formao. Verifique que a mesma clara e focalizada num nico assunto. Etapa B Desenvolva a questo de modo a verificar o que poder significar uma questo bem respondida. Etapa C Proponha a realizao do mesmo exerccio a um outro colega formador da mesma rea, solicitando ao mesmo que: 1) verifique se a questo colocada clara 2) responda mesma. Etapa D Reveja a questo (caso seja necessrio), com base nos comentrios recolhidos junto das pessoas a quem se solicitou a aplicao do teste em fase de apreciao. Etapa E Construa uma grelha de correco com todos os componentes que devem constar na resposta de modo a ser considerada correcta. Atribua uma ponderao aos vrios componentes de acordo com a respectiva importncia. Etapa F De modo a aferir da adequao da grelha de correco, solicite a um outro formador/facilitador que aplique a grelha de correco proposta sobre algumas das respostas j elaboradas por parte dos restantes colegas a quem foi solicitado que respondessem s questes. Compare resultados e introduza melhorias caso seja necessrio.

Etapa concluda
Sim (x) No (x)

149

V. Fase II_P3-4

06/06/16

18:06

Page 150

Instrumento de apoio n 7
FICHA TCNICA Objectivos: Este instrumento vida apoiar a preparao de uma entrevista. Contextos e momentos de aplicao: Este instrumento pode ser utilizado durante a elaborao da estratgia de avaliao ou durante a execuo da formao. Quem o pode utilizar: O coordenador pedaggico/o formador/o tutor.
Etapas a considerar na preparao de um inqurito por entrevista Etapa A A preparao da entrevista Reflicta sobre o que deseja saber em concreto (faa uma listagem com temas sobre os quais precisa de obter informaes). Elabore uma ou duas simples questes de resposta sim/no a apresentar no incio da entrevista, de modo a deixar o entrevistado vontade e interessado. Coloque as restantes questes dando liberdade de resposta ao respondente (lembre-se que uma entrevista presencial , regra geral, efectuada sempre que no se conhece bem o teor das respostas pretendidas). Elabore diferentes verses das questes que considere chave. Disponha-as no guio de forma no sequenciada (acabam por ser perguntas de controlo e podem confirmar ou infirmar alguns dos dados pretendidos). Associe as questes por assuntos a abordar. Sequencie as questes do geral para o particular. Alterne questes complexas com questes mais simples. Facilita o dilogo, tornando a conversa mais fluida. Permite que o respondente descanse um pouco. As questes importantes no devero ficar para o fim da entrevista. O respondente pode encontrar-se um pouco cansado e pode j no responder como o esperado. O respondente pode ainda querer terminar a entrevista por questes de tempo, sem que seja possvel abordar algumas das questes pretendidas. As ltimas questes devero ser respostas curtas e de encerramento das questes pretendidas. Prepare a fase de teste do instrumento a aplicar (utilize este momento de teste para praticar a forma como coloca as questes e retirar notas). Reveja o guio sempre que necessrio. Pratique o questionamento pretendido antes de fazer a entrevista. Obs: Pretende-se que, no final da execuo das actividades supra referidas, o resultado seja a elaborao de um guio de apoio entrevista pretendida. Etapa B O primeiro contacto com o entrevistado Antes da realizao da entrevista presencial, telefonar ou escrever ao entrevistado a solicitar um encontro para a realizao da entrevista. Durante a chamada, dever apresentar-se, identificar as funes assumidas, assim como as respectivas funes no processo avaliativo. Explique de seguida a razo de ser da entrevista. Identifique o responsvel pela elaborao da entrevista e explique o propsito da entrevista assim como o mbito do inqurito. Descreva a natureza e a dimenso da amostra. Informe a pessoa contactada do tempo necessrio para a realizao da entrevista. Sugira a realizao da entrevista num local onde o entrevistado entenda por conveniente. Sugira um encontro apenas com o entrevistado (sempre que se trate de uma entrevista individual).

Etapa concluda
Sim (x) No (x)

150

V. Fase II_P3-4

06/06/16

18:06

Page 151

Etapa C A realizao da entrevista Caso deseje gravar a entrevista, pea ao entrevistado autorizao para o fazer. Antes da aplicao do guio de entrevistas propriamente dito, procure saber um pouco mais acerca da pessoa que vai entrevistar (Esta informao poder ser-lhe til no momento em que pretende a respectiva cooperao e confiana (exemplo de informaes que poder recolher: idade; funo, antiguidade na empresa, antiguidade nas actuais funes, ttulo acadmico..). Esclarea o entrevistado sempre que o mesmo no compreenda alguma das questes colocadas. Garanta que as palavras so correctamente pronunciadas e claramente enunciadas. Valide no final as principais informaes recolhidas. Etapa D O encerramento da entrevista Uma vez obtidas as respostas a todas as questes, o entrevistador deixa o entrevistado vontade para a formulao de comentrios ou a realizao de eventuais questes. O entrevistador agradece ao entrevistado pelas informaes disponibilizadas e esclarece sobre passos seguintes associados realizao da entrevista (onde e quando vai ser publicada...).

151

V. Fase II_P3-4

06/06/16

18:06

Page 152

Instrumento de apoio n 8
FICHA TCNICA Objectivos: Este instrumento vida apoiar a construo de um inqurito por questionrio. Contextos e momentos de aplicao: Este instrumento pode ser utilizado durante a elaborao da estratgia de avaliao ou durante a execuo da formao. Quem o pode utilizar: O coordenador pedaggico/o formador/o tutor/o formando.
Etapa concluda
Sim (x) No (x)

Etapas a considerar na preparao de um inqurito por questionrio Etapa A A preparao do inqurito por questionrio Defina os objectivos do inqurito. Identifique a populao e seleccione a amostra (neste ltimo caso, se necessrio). Sinalize as questes avaliativas que pretende colocar no questionrio. Elabore instrues para preenchimento do questionrio (para seleco de opes assim como devoluo do inqurito ao remetente). As instrues surgem, regra geral, no topo do inqurito. Etapa B A aplicao do inqurito por questionrio Uma vez elaboradas as questes de avaliao, passe aos passos seguintes: Elabore uma carta de apresentao sobre a razo de ser do inqurito, bem como respectiva utilidade para quem preenche e para quem solicita o preenchimento. Pode ainda acrescentar informaes sobre a populao a inquirir. Especifique a data limite para a devoluo do questionrio ao remetente. Disponibilize um envelope para devoluo de resposta (RSF). Apresente no final da carta os devidos agradecimentos e refira (sempre que possvel) a forma atravs da qual o inquirido pode ter acesso ao relatrio com os resultados do inqurito ministrado. Seleccione o material no qual vai ser impresso o inqurito. Sempre que possvel atente no tipo de papel a utilizar j que a primeira impresso que o documento causar junto do potencial inquirido afigura-se de extrema importncia. Planeie e execute a fase de teste do questionrio. Reveja o questionrio aps a fase de teste e estabilize a respectiva verso definitiva. Utilize uma listagem ordenada com os contactos dos indivduos que se pretendem contactar, imprima em envelopes separados que devem ser selados e remetidos aos prprios (reserve algum tempo para este procedimento j que uma tarefa que implica o dispndio de algum tempo). Envie o inqurito por questionrio para o respectivo pblico destinatrio. Etapa C A realizao de follow-up Mantenha-se atento s respostas que vai recebendo. Poder sempre enviar cartas de follow-up para incentivar os inquiridos para o preenchimento do questionrio enviado.

152

V. Fase II_P3-4

06/06/16

18:06

Page 153

Instrumento de apoio n 9
FICHA TCNICA Objectivos: Este instrumento visa apoiar a construo de instrumentos a utilizar numa observao. Contextos e momentos de aplicao: Este instrumento pode ser utilizado durante a elaborao da estratgia de avaliao ou durante a execuo da formao. Quem o pode utilizar: O coordenador pedaggico/o formador/o tutor.
Etapa concluda
Etapas a considerar na preparao de uma observao Etapa A A preparao da observao Defina quais os objectivos fundamentais da observao a realizar. Identifique o nmero de indivduos a observar em simultneo. Reflicta sobre a possibilidade de integrar a informao gerada com os resultados de outras tcnicas de recolha de dados, j aplicadas ou a aplicar. Defina qual o melhor momento para a realizao da observao. Estabilize dimenses e critrios de avaliao a aplicar. Elabore o(s) instrumento(s) de registo das observaes a efectuar (no caso de se tratar de uma observao estruturada). Verifique da possibilidade do processo de observao ser efectuado por mais que um indivduo. Ter em conta que podem surgir aspectos relevantes no previstos. Etapa B A realizao da observao Sinalize a(s) pessoa(s) a observar e compreender contexto e tipo de funo realizada. Informe a pessoa que ir participar no processo de observao base, que a observao se vai realizar. Efectue a observao de forma o mais detalhada possvel. Tal permite ao indivduo em processo de observao acompanhar, com detalhe, as observaes realizadas. Destaque a ordem pela qual as tarefas e/ou operaes so executadas. Sinalize eventuais ajudas ao trabalho das quais o indivduo se socorre para realizar as tarefas e/ou operaes em observao. Sinalize os momentos do processo de execuo em que so tomadas decises concretas, assim como respectivos resultados. Sinalize as circunstncias/condies nas quais as tarefas e/ou operaes so executadas. Repita a observao (sempre que possvel). Etapa C A produo de resultados Compare os resultados da observao com a grelha de controlo pr-estabelecida observao estruturada (ex: padres a cumprir). Compare os resultados decorrentes da observao efectuada com os resultados decorrentes da aplicao de outras tcnicas (ex: inqurito, entrevista...). SIM (X) NO (X)

153

V. Fase II_P3-4

06/06/16

18:06

Page 154

Instrumento de apoio n 10
FICHA TCNICA Objectivos: A presente grelha visa apoiar o utilizador na sinalizao de aspectos que devam ser acautelados durante o desenvolvimento de determinada tcnica/abordagem de avaliao. Pretende-se que a informao gerada contribua para uma maior eficcia do processo avaliativo. Contextos e momentos de aplicao: Este instrumento foi construdo para ser aplicado quando sinalizadas as tcnicas/abordagens de avaliao a aplicar. Quem o pode utilizar: Os actores responsveis pela definio de estratgias de avaliao, bem como responsveis pela respectiva execuo.
Que aspectos crticos devero ser acautelados por forma a desenvolver eficazmente as abordagens de avaliao seleccionadas

Nveis de avaliao

Abordagens/tcnicas de avaliao a utilizar

Nvel 1 Avaliao de reaco

Nvel 2 Avaliao de aprendizagens Nvel 3 Avaliao do processo de transferncia dos adquiridos Nvel 4 Avaliao de resultados (impacte da formao nos indicadores das organizaes)

154

V. Fase II_P3-4

06/06/16

18:06

Page 155

PROCESSO 4. Testar instrumentos de avaliao

REALIZAR A ESTRATGIA AVALIATIVA TRATAR E ANALISAR OS DADOS APRESENTAR OS RESULTADOS

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Verificar em que medida os instrumentos construdos se ajustam s necessidades de informao dos destinatrios da avaliao. Sinalizar os aspectos que devem ser aferidos/controlados antes da aplicao de instrumentos de avaliao.

155

V. Fase II_P3-4

06/06/16

18:06

Page 156

Processo 4. Testar instrumentos de avaliao

Uma vez construdos os instrumentos de suporte recolha de dados sobre determinado projecto de formao, importa garantir, antes da respectiva aplicao no terreno, que os mesmos permitem recolher a informao pretendida.

Reflectindo...

Uma das preocupaes centrais que norteia o avaliador, aps a elaborao de instrumentos a aplicar no contexto da avaliao, precisamente a garantia de que os mesmos permitem recolher dados capazes de dar uma resposta eficaz s questes de avaliao pr-definidas. Acontece, no raras vezes, estes mesmos instrumentos recolherem dados que no servem os objectivos da avaliao, ficando os mesmos na gaveta do avaliador. De modo a potenciar ao mximo a eficcia dos instrumentos a aplicar no contexto da avaliao, apresentam-se, seguidamente, algumas reflexes que visam focalizar o utilizador num conjunto de conceitos a considerar sobre esta matria, designadamente, validade e fidelidade dos resultados decorrentes da aplicao de instrumentos de avaliao.

Q1

O que se entende por validade de um instrumento de avaliao?

A validade de um instrumento pode ser definida como a respectiva capacidade para medir aquilo que o mesmo se prope medir. A reflexo sobre a validade de um instrumento envolve duas vertentes de anlise: (1) uma de natureza conceptual e (2) outra de natureza operacional. O primeira refere-se ao julgamento, por parte do investigador, sobre se o instrumento mede o que deveria medir. Por exemplo, se nos propomos medir uma satisfao dos formandos temos de garantir que o instrumento de recolha de dados avalia o conceito de satisfao e no qualquer outro. H, pois que averiguar, com base em literatura credvel, qual a definio do conceito, neste caso, a definio de satisfao e quais as suas formas de medio. Importa, todavia, ter presente que o que a cincia considera vlido depende do contexto histrico e das teorias vigentes em cada poca. J a validade operacional envolve uma avaliao sistemtica do instrumento, comparando-o com um critrio externo j existente, considerado como padro de referncia, geralmente utilizando-se mtodos estatsticos. A noo de validade surge relacionada com a noo de utilidade dos resultados que decorrem da aplicao de um instrumento de avaliao, uma vez que as diferentes perspectivas da validade visam garantir que a recolha de dados a efectuar fornece, de facto, respostas concretas acerca do que se pretende verdadeiramente medir e no acerca de outros conceitos.

156

V. Fase II_P3-4

06/06/16

18:06

Page 157

A verificao da validade de um instrumento normalmente efectuada a par da verificao da respectiva fidelidade, conceito a analisar na questo 2 (Q2).
Validade de um instrumento de avaliao

7
Validade de contedo: Representa o quanto os items de determinado instrumento cobrem de forma adequada e representativa o contedo a avaliar.

7
Validade de constructo:16 Verifica em que medida o instrumento mede de facto aquilo que se prope medir.

7
Validade emprica (ou de critrio) Concordncia dos resultados de um instrumento com os resultados de outros instrumentos aplicados para medir o mesmo contedo. Verifica ainda em que medida o instrumento tem capacidade de predizer comportamentos/desempenhos futuros.

A verificao da validade no se refere ao instrumento em si mesmo. Da que no faa sentido dizer-se apenas este instrumento vlido. O processo de verificao da validade de um instrumento de avaliao centra-se antes na anlise do contedo do prprio instrumento e na produo dos seus resultados quando aplicado.

!!

Preparando a prtica...

Trs aspectos de validade podem ser avaliados operacionalmente:

1.1 A validade de contedo Trata-se de analisar o instrumento de modo a verificar como cobre os diferentes aspectos do constructo que se pretende avaliar. Esta anlise prvia permite evitar que: se avaliem aspectos no relacionados com a dimenso/componente em anlise; os itens de avaliao nada tenham que ver com os objectivos de aprendizagem preconizados; se valorizem, na avaliao, aspectos no valorizados aquando da execuo da formao;
16. Constructo: dimenso/objecto que se pretende avaliar

157

V. Fase II_P3-4

06/06/16

18:06

Page 158

Trata-se da anlise mais frequente, quer pela facilidade na aplicao das tcnicas recomendadas para a realizao da mesma, quer ainda pelo facto de no ser dispendiosa. Regra geral, recorre-se reviso de literatura e replicao de estudos j validados pela comunidade cientfica e procedese posteriori a sesses de acordo inter-juzes, ou seja, recorre-se a consensos junto de especialistas. No contexto da avaliao da formao, uma preocupao frequente em relao validade de contedo consiste em garantir, p.e., que um inqurito de nvel 3 (utilizando a terminologia de D. Kirkpatrick) consegue medir de facto as alteraes nos comportamentos causadas ou fortemente influenciadas pela formao.
Existem vrias formas de abordar a questo da validade de contedo de um instrumento. A ideal ser sempre aquela que rene maior consenso relativamente ao tipo de medida a utilizar, o que implica auscultar os vrios actores com especialidade nas matrias em anlise.

!!

1.2. A validade de construto (ou de construo) Refere-se demonstrao de que o instrumento realmente mede aquilo que ele se prope medir. As evidncias necessrias para esse tipo de validao so obtidas fazendo-se uma srie de estudos interrelacionados, visando a verificao emprica, por meio de testes estatsticos, das construes tericas sobre a relao entre as variveis a serem medidas. A realizao deste tipo de anlise pode ser efectuado de diversas formas: (1) recorrendo a especialistas nos assuntos a avaliar; (2) realizando anlises de correlaes entre variveis; (3) efectuando dedues lgicas; (4) recorrendo a grupos com caractersticas diferenciadas. Um exemplo apresentado por J. Phillips (1997) permite esclarecer um pouco melhor a problemtica da validade de constructo:
Recurso opinio de especialistas Verificao de correlaes entre variveis Trata-se de uma abordagem relativamente simples, na qual solicitada a opinio dos especialistas nos assuntos a avaliar, sobre a adequao dos instrumentos de medio propostos. Apresenta maior complexidade na respectiva execuo. Consiste na aplicao de um outro instrumento para medio do mesmo ou de semelhante constructo. Aps a aplicao dos dois instrumentos de avaliao comparam-se os resultados. Correlaes positivas podem indiciar validade de constructo. Trata-se de uma abordagem com um grau de subjectividade mais acentuado. Quem se prope avaliar efectua uma srie de dedues lgicas at concluir que o instrumento a aplicar o mais indicado para medir o objecto em causa. Esta abordagem rene normalmente mais adeptos quando comparada com a anterior. O instrumento de avaliao aplicado a um grupo de indivduos que ou dominam bastante bem os saberes em questo ou apresentam uma ausncia significativa dos mesmos. Caso os resultados da avaliao coincidam com a ideia inicial relativamente ao grau de domnio de determinado tipo de saber do(s) grupo(s) testados, ento pode inferir-se da validade de constructo do instrumento de avaliao.

Dedues lgicas

Recurso a grupos com caractersticas diferenciadas

158

V. Fase II_P3-4

06/06/16

18:06

Page 159

Decide-se pelo desenvolvimento de uma aco de formao que tem como objectivo central fazer com que os colaboradores de determinada empresa vistam a camisola da empresa, ou seja, sintam um maior compromisso com a estratgia da mesma. O desafio do avaliador, neste caso, seria o de construir um instrumento que medisse o estado da arte antes e depois da interveno formativa do constructo compromisso dos colaboradores para com a empresa. Para que tal fosse possvel houve necessidade de se definir o que se entendia por compromisso, de modo a facilitar o processo avaliativo. Assim, o constructo aqui em causa (compromisso) foi operacionalizado nas respectivas partes constituintes: (1) ter conscincia que a elevada produtividade traria benefcios para ambas as partes; (2) estar alinhado com os objectivos e valores da organizao (que implicaria sentir um elevado grau de satisfao relativamente ao trabalho realizado); (3) desejar continuar ligado organizao (que implicaria reduo de taxas de rotatividade e do absentismo). A medio do constructo em causa passaria assim pela recolha inicial relativamente a: graus de satisfao face a trabalho realizado; nveis de produtividade; ndices de absentismo; ndices de rotatividade de pessoal. Caracterizado o ponto de partida, aplicou-se o instrumento de avaliao proposto a um conjunto de colaboradores que manifestavam elevados graus de compromisso com a organizao. Os resultados obtidos vieram demonstrar correlao positiva 17 entre os elevados graus de compromisso com a e a manifestao de elevados graus de satisfao no trabalho, compromisso com os objectivos da organizao e produtividade significativa. Demonstraram, correlao negativa entre elevados graus de compromisso com a organizao e os baixos ndices de absentismo e taxas de rotatividade. Tais resultados permitiram aferir da validade de constructo do instrumento a aplicar ao grupo associado formao a desenvolver. Exemplificao grfica:
(++)
Grau de compromisso com a organizao Grau de compromisso com a organizao

(++)

(- - ) (- -) (++)
Legenda: Grau de satisfao com o trabalho ndices de produtividade Compromisso com os objectivos da organizao

(- - ) (- -)
Legenda: ndice de absentismo Taxa de rotatividade

(++)

17. A medida de correlao pode variar de +1 a -1. Se o resultado da correlao for positivo, isso indica que que a elevao de uma amostra afecta a outra positivamente. Se o resultado for zero ou prximo a esse nmero, isso indica que as amostras no se correlacionam. Se o resultado for negativo, ele indica movimentos opostos, ou seja, quando uma amostra sobe a outra tende a descer.

(20)
s aplicados

159

V. Fase II_P3-4

06/06/16

18:06

Page 160

(++)
Grau de compromisso com a organizao Grau de compromisso com a organizao

(++)

1.3 A validade de critrio

Permite verificar em que medida existe correlao entre os resultados de um instrumento de avaliao e os resultados de outros instrumentos aplicados na mesma altura com vista a avaliar o mesmo contedo. Por exemplo, um inqurito por questionrio aplicado para avaliar a eficcia do desempenho de determinada equipa de vendas. Outro inqurito por questionrio aplicado ao mesmo grupo com vista a avaliar o mesmo que o anterior. Caso resultados sejam idnticos pode inferir-se da respectiva validade de critrio (variante: validade concomitante).
(- - ) (- - )

Permite verificar emLegenda: que medida existe correlao entre resultados de um instrumento de avaliao (ex: validao de grau Grau de satisfao com e grau de domnio de determinado saber) o trabalho de domnio do mesmo tipo de saber quando aplicado na prtica (Ex: no teste Legenda: ndices de produtividade ndice de absentismo de conhecimentos o formando obteve 20 valores, mas depois na prtica os mesmos saberes anteriormente certificados Compromisso com os objectivos da organizao Taxa de rotatividade no lhe permitem demonstrar um nvel de desempenho aceitvel na execuo das funes que exigem a mobilizao dos saberes anteriormente certificados, o que no deve acontecer. Na perspectiva da validao preditiva, seria de esperar uma correlao positiva, tal como se pode verificar no grfico que se segue: Validade preditiva:
Resultados dos testes aplicados

(- -)

(++)

(- -)

(++)

(20)

(0) (- -) Nvel de proficincia demonstrado na prtica (++)

De acordo com este grfico, verifica-se uma correlao positiva entre a obteno de um bom resultado no teste e a expectativa de obter um bom resultado no desempenho que venha a exigir a mobilizao dos saberes em causa. Conclui-se que dos trs tipos de validade analisados um dos que se afigura de maior relevncia ser necessariamente a validade de contedo, particularmente quando a avaliao a realizar referenciada a critrios (ver processo 6).

Q2

O que se entende por fidelidade ou fiabilidade de um instrumento de avaliao?

A fidelidade ou confiabilidade de um instrumento de avaliao traduz em que medida esse instrumento, quando utilizado com os mesmos indivduos em condies idnticas, fornece resultados idnticos, tal como se poder verificar ao analisar o quadro com os vrios mtodos a aplicar neste contexto (ver pgina 163). um critrio necessrio mas no suficiente na escolha de medidas a utilizar nos instrumentos de avaliao, ou seja, um instrumento de avaliao pode ser totalmente fivel mas no vlido. O contrrio j no verdade. Na realidade, de nada adianta ter um instrumento fivel, se o mesmo no mede o que suposto medir (validade).

160

V. Fase II_P3-4

06/06/16

18:06

Page 161

O conceito de fidelidade ou confiabilidade remete para a estabilidade e consistncia dos resultados de um determinado instrumento. Questes s quais esta anlise procura dar uma resposta concreta: 1 situao: Quando um instrumento avaliativo aplicado duas vezes, ao mesmo grupo, mas em momentos diferentes, ser que a posio obtida pelos seus elementos na primeira aplicao a mesma obtida na segunda aplicao? Caso tal no acontea, diramos que os resultados obtidos no so consistentes. Importa aqui aferir de eventuais ambiguidades no instrumento aplicado, que resulte em diferentes interpretaes das mesmas questes. Ex: Um questionrio para medir atitudes aplicado a um participante na formao, permitindo obter o resultado X. Caso o mesmo questionrio seja aplicado ao mesmo participante dois dias depois suposto o resultado obtido ser equivalente ao obtido anteriormente isto partindo do princpio que no ocorreram, nesses dois dias, mudanas na atitude dos participantes. No caso dos resultados serem diferentes deparamo-nos com o que se designa de erro de medio. Neste tipo de anlise temos necessariamente de considerar diferentes fontes de erros de medio: (a) quando os itens de medio seleccionados para compor o instrumento, no avaliam o que se pretende de facto avaliar (fidelidade de seleco) (b) quando o momento em que aplicado o instrumento tem influncia na forma como os respondentes se posicionam quando so avaliados (fidelidade de estabilidade) (c) quando a anlise das respostas efectuada por avaliadores diferentes, no resultando no final uma uniformidade de critrios aplicados (fidelidade inter-subjectiva) 2 situao: Do conjunto de itens seleccionados para medirem determinado constructo, seleccionam-se dois sub-grupos de itens Do total de itens seleccionados para determinado constructo, podemos seleccionar dois sub-conjuntos de itens que representam uma determinada parte do constructo a avaliar. Ser que quando aplicados a um grupo especfico estes dois subconjuntos de itens produzem os mesmos resultados? Comparando com a situao anterior surge aqui um novo elemento: a equivalncia dos dois sub-conjuntos de itens quanto respectiva representatividade do constructo a avaliar. Nesta situao, a inconsistncia dos resultados decorreria do facto dos dois conjuntos de itens no representarem de forma idntica os constructos pretendidos. Uma das solues seria, retirar os itens com menor correlao e acrescentar outros itens seleco efectuada, de modo a garantir que os mesmos fossem, de facto, representativos dos constructos a avaliar. Este aspecto assume particular importncia, por exemplo, num contexto em que temos vrias aces, nas quais se aplicam testes de conhecimento distintos por grupo de formao, no obstante visando a avaliao do mesmo tipo de contedos. 3 Situao: A aplicao do mesmo ou de um outro instrumento, passado algum tempo aps a execuo da formao, dever demonstrar que o participante na formao mantm, pelo menos, o mesmo nvel de competncias quando com-

161

V. Fase II_P3-4

06/06/16

18:06

Page 162

parado com o nvel de sada da formao. Esta terceira situao remete para a importncia da estabilidade do saber nos participantes que frequentaram a formao. Esta perspectiva da fidelidade dos instrumentos de avaliao assume particular importncia, por exemplo, em contextos em que se pretende a renovao de determinada carteira profissional, que pressupe renovar a certificao anteriormente obtida. Eventuais avaliaes a efectuar neste tipo de contexto teria que garantir que os saberes anteriormente obtidos ainda se encontravam presentes no indivduo objecto de avaliao. A esta perspectiva da fidelidade acrescem os cuidados referidos nas situaes descritas anteriormente. A fidelidade de um instrumento , regra geral, interpretada de acordo com determinados graus: elevada, moderada e baixa.

No podemos afirmar, em termos absolutos, que um instrumento 100% fivel. Aps a aplicao do mesmo podemos determinar, partindo dos seus resultados, que itens podero ser aproveitados. Esta uma das vrias razes pelas quais o processo de pr-testagem de um instrumento assume particular importncia.

!!

As causas normalmente apontadas para a eventual existncia dos erros referentes verificao da fidelidade, so as seguintes: mudanas nas respostas dos respondentes; variaes nas condies em que os instrumentos de avaliao so aplicados; diferenas nas interpretaes efectuadas sobre os resultados de um mesmo instrumento de avaliao; a dimenso dos instrumentos de avaliao. A recolha de mais dados permite, em regra, verificar uma maior consistncia e estabilidade do instrumento de avaliao (ex: permite o recurso s designadas perguntas de controlo). Todavia a dimenso do mesmo instrumento pode, por exemplo, cansar o respondente que acaba por ser superficial nas respostas dadas. A questo da fidelidade e consistncia de um instrumento de avaliao fundamental, por exemplo, nos casos em que se aplica um teste no incio da formao (ex: para avaliao diagnstica), sendo o mesmo teste aplicado no final da formao. Como procedimentos fundamentais que permitem aferir da fidelidade de um instrumento, so os seguintes:

162

V. Fase II_P3-4

06/06/16

18:06

Page 163

O mtodo do testereteste

Traduz a consistncia dos resultados do instrumento de avaliao em duas aplicaes do mesmo instrumento ao mesmo grupo e em condies idnticas. Os resultados de ambas as aplicaes devem traduzir estabilidade. Ex: quando este mtodo aplicado a instrumentos que visam medir atitudes, os resultados de ambos os testes podem apresentar significativa volatilidade, permitindo este mtodo sinalizar itens que necessitem de maior controlo. Traduz a consistncia dos resultados do instrumento de avaliao em duas aplicaes junto do mesmo grupo em condies idnticas, de duas formas equivalentes do mesmo teste. Ex: realizar observaes repetidas que incidam sobre desempenhos reais permite assegurar um grau de fidelidade superior dos resultados da avaliao quando comparado com os resultados de uma s observao. Consiste em partir o instrumento de avaliao em duas partes. Por exemplo: uma parte do instrumento seria constituda apenas pelas questes pares, sendo a outra parte do teste constituda pelas questes impares. Correlao positiva nos resultados significa elevada consistncia e estabilidade dos mesmos. Permite aferir da homogeneidade ou consistncia interna dos resultados de vrios testes elaborados para avaliar a mesma realidade. Ex: Constroem-se dois testes diferentes aplicando-os ao mesmo grupo ao mesmo tempo. Os resultados obtidos nos dois testes so posteriormente comparados. Caso se verifique correlao positiva nos resultados ento significa que ambos os testes so fiveis.

O mtodo dos testes equivalentes

O mtodo dos semitestes

O mtodo da consistncia interna

Foram aqui abordadas, neste processo, apenas as questesconsideradas centrais relativamente problemtica da verificao da validade e da fidelidade dos resultados que decorrem da aplicao de instrumentos de avaliao. Competir, todavia, a quem pretenda desenvolver estas matrias, recorrer a referncias bibliogrficas especializadas.

Podemos elevar o grau de validade e fidelidade dos dados de um processo de avaliao se: Usarmos mais do que um instrumento de avaliao. Repetirmos, sempre que possvel, a avaliao efectuada. Ex: aplicao do teste-reteste. Os resultados da avaliao tornam-se assim mais consistentes. Permite ainda aferir da durabilidade dos efeitos da formao ao longo do tempo. Importa aferir, todavia, da utilidade da aplicao do teste-reteste. Prevermos a possibilidade de se efectuarem anlises qualitativas. Em determinados casos as abordagens qualitativas afiguram-se mais indicadas para a recolha dos dados pretendidos. Informao de natureza qualitativa pode ainda ajudar a confirmar ou infirmar dados recolhidos atravs de abordagens de cariz mais quantitativo.

!!

163

V. Fase II_P3-4

06/06/16

18:06

Page 164

V. Fase II_P3-4

06/06/16

18:06

Page 165

Instrumentos de apoio ao processo

V. Fase II_P3-4

06/06/16

18:06

Page 166

Instrumento de apoio n 11
FICHA TCNICA Objectivos: A presente grelha visa apoiar o utilizador na verificao da validade de um instrumento a aplicar no mbito da avaliao da formao. Contextos e momentos de aplicao: Este instrumento foi construdo para ser aplicado antes da aplicao do instrumento de avaliao. Pode ainda ser utilizado sempre que se concluir que os instrumentos de avaliao no foram eficazes, visando-se neste caso sinalizar os aspectos que, partida, possam ter comprometido a recolha dos dados desejados. Quem o pode utilizar: Os actores responsveis pela construo de instrumentos de avaliao.
Sim (X) No (X)

Questes a considerar 1. Conhece suficientemente os objectivos de aprendizagem propostos? 2. Analisou os respectivos contedos/temas a abordar na formao? 3. A proposta de avaliao incide apenas nos assuntos contemplados na proposta pedaggica? 4. As dimenses/critrios de avaliao/itens avaliativos apresentam um peso/importncia equiparado ao atribudo durante a realizao da formao? 5. A natureza do saber (saber-saber; saber fazer; saber ser/estar) considerada na proporo adequada, quando considerados os objectivos de aprendizagem prestabelecidos? 6. possvel associar os itens avaliativos com objectivos de aprendizagem especficos? (verificar se o item escolhido o mais adequado quando considerada a natureza do saber em causa). 7. A proposta de avaliao preconizada deixa de fora algum objectivo de aprendizagem? 8. Garante-se partida que os resultados do instrumento de avaliao a aplicar sero idnticos aos resultados produzidos por outros instrumentos com os mesmos objectivos 9. O instrumento de avaliao tem capacidade de predizer comportamentos/desempenhos futuros?

Observaes

Nota: A resposta positiva s questes acima enunciadas pode indicar que o grau de validade associado ao instrumento de avaliao em causa elevado.

166

V. Fase II_P3-4

06/06/16

18:06

Page 167

Instrumento de apoio n 12
FICHA TCNICA Objectivos: A presente grelha visa apoiar o utilizador na verificao da fidelidade de um instrumento a aplicar no mbito da avaliao da formao. Contextos e momentos de aplicao: Este instrumento foi construdo para ser aplicado antes da aplicao do instrumento de avaliao. Pode ainda ser utilizado sempre que se concluir que os instrumentos de avaliao no foram eficazes, visando-se neste caso sinalizar os aspectos que, partida, possam ter comprometido a recolha dos dados desejados. Quem o pode utilizar: Os actores responsveis pela construo de instrumentos de avaliao.
Sim (X) No (X)

Questes a considerar 1. Uma mesma questo de avaliao suscita interpretaes diferenciadas? 2. O momento indicado para aplicar o instrumento de avaliao influencia os resultados a obter? 3. Os instrumentos de avaliao quando aplicados por avaliadores diferentes fornecem os mesmos resultados? 4. Um instrumento permite obter os mesmos resultados quando aplicado duas vezes ao mesmo grupo e em condies idnticas? 5. Dois instrumentos idnticos apresentam os mesmos resultados quando aplicados ao mesmo grupo e em condies idnticas? 6. A diviso do instrumento em duas partes distintas permite obter os mesmos resultados?

Observaes

Nota: A resposta positiva s questes acima enunciadas pode indicar que o grau de fidelidade associado ao instrumento de avaliao em causa elevado.

167

V. Fase II_P3-4

06/06/16

18:06

Page 168

V. Fase III_P5-6

06/06/16

18:25

Page 169

FASE III. Realizar a estratgia avaliativa (a recolha de dados no terreno)

Objectivos A fase III da abordagem PERTA apresenta como objectivos principais (1) a sinalizao de abordagens de avaliao a considerar no momento antes da execuo da formao; (2) a reflexo sobre a aplicao de abordagens avaliativas a realizar durante a execuo da formao e, por ltimo, (3) o desenvolvimento de intervenes avaliativas no momento aps a realizao da formao.
Processos da FASE III Processo 5 Avaliar antes da execuo da formao Processo 6 Avaliar durante a execuo da formao Questes orientadoras Avaliao diagnstica. Que perspectivas? Quais as abordagens mais utilizadas na realizao de uma avaliao diagnstica? Que actores podem ser mobilizados para as actividades de avaliao a realizar durante o desenvolvimento da formao ? Que estratgias de apoio implementao do nvel 1 de avaliao (reaces)? Quais as vantagens e limitaes deste nvel de avaliao? Que estratgias para avaliar as aprendizagens adquiridas pelos participantes na formao? Instrumentos propostos para a FASE III Instrumento n 13 Checklist para avaliar da relevncia da Avaliao Diagnstica

Instrumento n 14 Grelha de apoio deciso sobre a aplicao de inquritos de reaco Instrumento n 15 Grelha que suporta a deciso de realizao ou no realizao de uma avaliao de aprendizagem

Processo 7 Avaliar aps a execuo da formao

Qual o mbito de anlise de uma avaliao de 3 nvel? Quando realizar uma avaliao de 3 nvel? Como planificar uma avaliao de 3 nvel? Que tcnicas podero ser utilizadas numa avaliao de 3 nvel? Como generalizar as maisvalias da formao dentro da organizao? Qual o mbito de anlise de uma avaliao de 4 nvel (avaliao de impactes da formao nos resultados da organizao)? Que tipo de dimenses/indicadores organizacionais so mais referenciados nas avaliaes de 4 nvel?

Instrumento n 16 Grelha que permite verificar das condies para exerccio do nvel 3 de avaliao Instrumento n 17 Checklist de apoio sinalizao das estratgias a desenvolver pelo formador/monitor Instrumento n 18 Checklist de apoio sinalizao das estratgias a desenvolver pelo participante na formao Instrumento n 19 Checklist de apoio sinalizao das estratgias a desenvolver pelo director/coordenador da formao Instrumento n 20 Checklist de apoio sinalizao das estratgias a desenvolver pelo supervisor/chefia directa Instrumento n 21 Checklist de apoio sinalizao das estratgias a desenvolver pelo gestor de topo

169

V. Fase III_P5-6

06/06/16

18:25

Page 170

V. Fase III_P5-6

06/06/16

18:25

Page 171

PROCESSO 5. Realizar intervenes avaliativas antes da execuo da formao

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador dever ser capaz de: Reflectir acerca das diferentes perspectivas que caracterizam as avaliaes diagnsticas. Sinalizar as abordagens e instrumentos mais adequadas a aplicar no contexto desta modalidade de avaliao.

171

V. Fase III_P5-6

06/06/16

18:25

Page 172

Processo 5. Realizar intervenes avaliativas antes da execuo da formao

Com este processo pretende-se abordar as questes relacionadas com as intervenes de avaliao que so efectuadas a montante da execuo da formao. neste contexto que se aborda a problemtica da avaliao diagnstica, modalidade especfica de avaliao em regra efectuada antes de uma aco ou sequncia de aces de formao, tendo por finalidade a produo de informaes que permitam determinar a situao dos formandos face aos objectivos de aprendizagem a atingir, ou seja, que permita comparar saberes 18 detidos com um quadro referencial de saberes desejados.

Reflectindo...

Esta modalidade formativa pode ser, igualmente, designada por avaliao inicial, podendo ser realizada com fins distintos, designadamente: determinar a situao dos formandos face aos objectivos de aprendizagem pr-definidos (visa apurar o tipo de conhecimentos, capacidades (aptides) e atitudes necessrias ao cumprimento dos objectivos de aprendizagem pretendidos); determinar/ajustar perfis de entrada na formao; seleccionar eventuais candidatos a determinadas aces de formao; produzir informaes que facilitem a constituio de grupos de formandos, com caractersticas idnticas, sempre que tal seja desejado; confirmar e ajustar as informaes que decorrem de diagnsticos de necessidades previamente realizados; detectar eventuais dificuldades a considerar na proposta pedaggica a desenvolver. Eis algumas das situaes nas quais a avaliao diagnstica assume um papel importante:

Situao 1: Aps a definio de um conjunto de objectivos de aprendizagem 19, impe-se estabelecer pr-requisitos de entrada para determinado curso ou aco de formao. Neste caso, a avaliao diagnstica assume como principal objectivo averiguar se os candidatos aco de formao cumprem os pr-requisitos de entrada estabelecidos para a mesma. Este tipo de abordagem surge normalmente associado a aces de formao que exigem, necessariamente, um domnio prvio de alguns
18. Entenda-se aqui por saberes o saber-saber, o saber-fazer e o saber-ser/estar. 19. Para uma clarificao do conceito de objectivos de aprendizagem, cf. IQF (2004).

172

V. Fase III_P5-6

06/06/16

18:25

Page 173

saberes especficos, sem os quais os participantes teriam alguma dificuldade em seguir o programa de formao. Trata-se aqui de uma perspectiva especfica da avaliao diagnstica que contribuir para o processo de seleco de candidatos a determinada formao.

r
Candidatos formao

Cumprimento de pr-requisitos de entrada

Seleco dos candidatos enquadrados no perfil de competncias pr-definido

Incio da aco/curso

Avaliao diagnstica

Situao 2: Uma avaliao diagnstica pode ser igualmente efectuada imediatamente aps a entrada dos formandos em determinada aco ou curso de formao. Esta avaliao permite situar os formandos em relao aos objectivos pr-estabelecidos e, em certa medida, regular posteriormente o percurso de cada formando no sentido da construo dos saberes pretendidos. Aqui a avaliao assume um papel essencial de orientao do processo de aprendizagem, sendo efectuada no incio da execuo das intervenes.

Incio de aco/ /curso com objectivos pr-definidos

Avaliao diagnstica

Situao 3: Face a objectivos de aprendizagem pr-definidos, pretende-se aferir em que medida a proposta pedaggica vai ao encontro das expectativas dos que participam na formao, no que toca ao desenvolvimento de determinados saberes. A avaliao assume, semelhana da situao anterior, uma funo de orientao, podendo, no entanto, vir tambm a assumir uma funo de regulao quando executada durante a execuo da formao. Uma outra nuance a registar nesta terceira situao, o facto de as intervenes de avaliao diagnstica serem efectuadas ao longo da execuo da aco ou curso e no apenas no incio das intervenes tal como verificado na situao anterior. Estas intervenes so, regra geral, efectuadas num contexto de formao medida, na qual a preocupao dominante o ajuste permanente da oferta formativa s necessidades concretas dos respectivos beneficirios. No raras vezes, na sequncia de avaliaes com estes propsitos, resulta a sinalizao de outras necessidades de formao que so consideradas nas aces em curso.

Avaliao do grau de domnio dos saberes X,Y, Z

Reequacionamento dos programas formativos luz do domnio de saberes em presena

Regulao e desenvolvimento das propostas pedaggicas

173

V. Fase III_P5-6

06/06/16

18:25

Page 174

Incio de aco/curso

Avaliao diagnstica

Avaliao diagnstica

Situao 4: Em presena de um curso de formao constitudo por vrios nveis de certificao final, exige-se aos candidatos a realizao de testes prvios, de modo a posicionar cada um dos candidatos no nvel de formao adequado. Esta avaliao diagnstica salvaguarda as situaes em que os formandos j detm saberes concretos relativamente s matrias dos cursos, admitindo-se a possibilidade de entrada num curso de maior complexidade sem que haja necessidade de efectuar o curso inicial. Neste caso, a avaliao diagnstica assume igualmente uma funo de orientao. Nesta situao, o indivduo pode solicitar que lhe sejam reconhecidos os respectivos saberes, mediante a atribuio de um certificado que confere o nvel de qualificao desejado. Apenas a participao nos restantes cursos poder conferir nveis de qualificao mais elevados. Exemplos desta situao so: a certificao atribuda pela Microsoft, nos mais variados domnios de interveno, assim como as intervenes formativas realizadas pelas escolas de lnguas.

Nvel 1 (principiante)

r
Candidatos formao

Avaliao de grau de domnio dos saberes X,Y, Z

Nvel 2 (intermdio)

Avaliao diagnstica

O contedo do processo 5 dever articular-se com o contedo do processo 1 (Conhecer o contexto de partida da formao), na medida em que os resultados de uma avaliao diagnstica devero contribuir para melhor explicitar/compreender os pontos de partida dos formandos, ou, na ausncia da definio prvia destes, ajudar o participante na formao a posicionar-se face aos objectivos pretendidos para a formao.

174

Nvel 3 (avanado)

Relao entre objectivos previstos e objectivos desejados

Execuo da aco/curso

Relao entre objectivos previstos e objectivos desejados

Execuo da aco/curso

Formando A, B, E, K

Formando C, G, H, I, J

Formando D, F

V. Fase III_P5-6

06/06/16

18:25

Page 175

Preparando a prtica....

Q2

Quais as abordagens mais utilizadas na realizao de uma avaliao diagnstica?

Na realizao de uma avaliao diagnstica podem ser utilizadas abordagens diversificadas. Vejamos algumas das abordagens a utilizar em cada uma das situaes anteriormente descritas:
Abordagens mais utilizadas em cada uma das situaes previamente descritas Aplicao de teste de conhecimentos. Realizao de simulaes (ex: aplicao da tcnica do role play). Aplicao de testes de performance. Realizao de observaes directas. Balanos de competncias. (...) Aplicao de teste de conhecimentos. Realizao de simulaes (ex: aplicao da tcnica do role play). Aplicao de testes de performance. Realizao de observaes directas. (...) Aplicao de testes de conhecimentos. Realizao de simulaes (ex: role play) Elaborao de casos. Realizao de exerccios prticos. Aplicao de instrumentos para autoavaliao. (...)

Objectivos pretendidos Decidir se o participante rene as condies necessrias para a respectiva participao na aco a desenvolver. Seleccionar os candidatos para determinada aco formativa.

Situao 1

Situao 2

Determinar com maior pormenor nveis de domnio relativamente a saberes especficos. Acompanhar mais eficazmente a evoluo do processo de aprendizagem.

Situao 3

Permite uma melhor articulao entre objectivos de aces/mdulos de formao. Permite sinalizar nveis de conhecimentos de entrada dos participantes sempre que no exista um diagnstico de necessidades de formao de partida. Fornece informaes ao formador/monitor que lhes permite ajustar e redireccionar as vrias intervenes de formao. Sinalizar eventuais necessidades de formao ao longo do desenvolvimento das actividades pedaggicas.

Aplicao de testes de conhecimentos. Aplicao de testes de desempenho (performance). Balano de competncias Realizao de simulao (ex: role play) (...)

Situao 4

Colocar os candidatos formao no nvel de formao o mais ajustado possvel ao nvel de domnio apresentado relativamente a saberes e/ou competncias especficas. Criar grupos de formandos mais homogneos em termos de nvel de domnio face a determinados saberes e/ou competncias.

175

V. Fase III_P5-6

06/06/16

18:25

Page 176

Exemplificando... Seguem-se alguns exemplos que visam ilustrar algumas prticas de avaliao que tm como principal objectivo conhecer os contextos de partida dos participantes da formao: Exemplo 1: Guio para entrevista colectiva junto dos participantes de uma aco formativa, a realizar pelo formador imediatamente aps o incio da mesma. Objectivos da entrevista: Pretende-se recolher informao relacionada com os contextos de emprego dos participantes na formao, de modo a melhor redireccionar as estratgias pedaggicas, assim como eventual redefinio de objectivos de aprendizagem. Pblico destinatrios: Activos empregados Tempo para realizao da mesma: 30 minutos Como chegou a esta aco de formao (por iniciativa prpria, por indicao da chefia directa...?) Em que medida se rev na proposta formativa apresentada? (estar a mesma relacionada com as competncias que o mesmo deseja desenvolver?) Quais as respectivas expectativas em relao formao? Uma vez realizada a formao, ter possibilidade de introduzir as mudanas desejadas? Que tipo de mudanas pretende implementar aquando do respectivo regresso ao contexto real de trabalho? Como pretende vir a aplicar os conhecimentos adquiridos (sinalizao de estratgias concretas)? Qual a opinio do superior hierrquico sobre a importncia da formao a desenvolver? Quais os impactes esperados ao nvel da melhoria do desempenho dos indivduos que participam na formao? Os objectivos a alcanar com a formao foram discutidos com os colaboradores? A organizao na qual se encontra inserido gerida com base na definio clara de objectivos? A organizao tem claramente definida a respectiva estratgia de recursos humanos? Encontram-se definidas estratgias concretas de apoio ao desenvolvimento de competncias dos colaboradores? A organizao apresenta algum sistema de avaliao interno (ex: sistemas de avaliao de desempenho, sistemas de controlo/monitorizao de resultados e/ou implementao de planos de aco?) Qual a receptividade dos participantes da formao a prticas de avaliao j existentes na organizao? A organizao apresenta sistemas de reconhecimento de desempenhos?

176

V. Fase III_P5-6

06/06/16

18:25

Page 177

Exemplo 2: Apresenta-se seguidamente uma grelha que permite a um indivduo evidenciar em que medida mobiliza, no seu dia-a-dia competncias de cidadania e empregabilidade, atravs da sinalizao ou no do conjunto das evidncias que lhes correspondem. Com base nos resultados desta grelha podem ser delineados percursos formativos de modo a desenvolver as competncias que se considerem necessrias.
Sim Ajudo ao dilogo e entendimento entre pessoas Participo em questes educacionais (vida escolar dos filhos, actividades culturais, desportivas, cvicas, ...) Fao a separao dos lixos domsticos Colaboro na defesa da sade pblica Assumo responsabilidades em problemas sociais e na procura das suas solues Participo em iniciativas de defesa dos direitos (humanos, do trabalho, do ambiente, da segurana) Participo na vida associativa (nas assembleias gerais e nos actos eleitorais, contribuo para o bom nome da associao, colaboro para atingir os seus objectivos, etc.) Avalio os objectivos, as condies e riscos dos meus projectos Dirijo ou anima um grupo ou organizao Adapto-me a situaes novas ou inesperadas Tomo iniciativas pessoais, profissionais e sociais, programo actividades Tento compreender o ponto de vista dos outros Relaciono-me no trabalho com colegas e responsveis, cumprindo as normas Cumpro as regras de higiene e segurana no trabalho Alerto a entidade patronal para o cumprimento dessas regras Conheo as principais instituies com as quais tenho de me relacionar (segurana social, servios de emprego, sade, justia, polcia, finanas,...) Recorro a essas instituies no uso dos meus direitos e deveres Sou sindicalizado e seio usar os meus direitos Trabalho em equipa cooperativamente
Fonte: Adaptado de Direco-Geral de Formao Vocacional Reconhecimento e Validao de Competncias. Instrumentos de medio, 2004

No

Situaes da vida

Dificuldades que encontro

O que preciso de aprender

O que preciso de melhorar

177

V. Fase III_P5-6

06/06/16

18:25

Page 178

V. Fase III_P5-6

06/06/16

18:25

Page 179

Instrumentos de apoio ao processo

V. Fase III_P5-6

06/06/16

18:25

Page 180

Instrumento de apoio n 13
FICHA TCNICA Objectivos: O presente instrumento permite verificar em que medida haver necessidade de se proceder realizao de uma avaliao diagnstica. Contextos e momentos de aplicao: Construdo para ser aplicado a montante da realizao da formao, recomendase que seja aplicado no quadro da execuo de aces dirigidas a activos empregados. Quem o pode utilizar: Coordenadores pedaggicos/actores responsveis pela definio e/ou implementao de eventuais estratgias avaliativas.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar

SIM (x)

NO (x)

1. Todos os candidatos formao vo ser admitidos nas aces s quais se candidataram.

2. O formador rene informao suficiente sobre o domnio que os formandos tm dos saberes e/ou competncias a desenvolver durante a formao.

3. O conjunto de candidatos formao apresenta, na generalidade, caractersticas idnticas em termos de domnio de saberes/competncias a desenvolver na formao.

4. O formador/monitor considera fundamental, para determinada aco, que haja uma perfeita articulao entre necessidades especficas dos formandos e objectivos propostos para a formao.

5. O formador/monitor considera fundamental diagnosticar, no decurso da execuo das intervenes formativas, outras necessidades de formao nos formandos.

Nota: As respostas negativas s questes 1, 2 e 3 podem indicar eventuais necessidades de intervenes de avaliao de natureza diagnstica. O mesmo para respostas positivas nas questes 4 e 5.

180

V. Fase III_P5-6

06/06/16

18:25

Page 181

PROCESSO 6. Realizar intervenes avaliativas durante a execuo da formao

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador dever ser capaz de: Sinalizar algumas estratgias a utilizar numa avaliao de reaco. Sinalizar algumas estratgias para avaliar aprendizagens durante a execuo da formao. Sinalizar algumas estratgias para avaliar aprendizagens aps a execuo da formao.

181

V. Fase III_P5-6

06/06/16

18:25

Page 182

Processo 6. Realizar intervenes avaliativas durante a execuo da formao

A proposta de avaliao de D. Kirkpatrick orienta, em certa medida, o desenvolvimento deste processo, assim como dos restantes processos da Fase III da abordagem PERTA. Por se tratar de uma proposta amplamente utilizada pelas entidades que operam na formao, ser aqui destacada, sem prejuzo de outras abordagens j existentes, alis, muitas vezes complementares s sugestes metodolgicas deste autor. Os contedos que seguidamente se apresentam beneficiam, igualmente, de um conjunto de contributos de outros autores que, se acredita, acrescentam valor abordagem multinvel de D. Kirkpatrick.

Reflectindo...

A execuo de actividades avaliativas numa perspectiva on-going, ou seja, realizao de intervenes durante a execuo da formao remete-nos, fundamentalmente, para preocupaes com a qualidade dos processos formativos. Trata-se aqui de reflectir sobre o dispositivo de formao, designadamente sobre a respectiva adequao s necessidades concretas dos seus pblicos destinatrios. Tal objectivo posiciona-nos no contexto de uma avaliao de natureza formativa, que visa introduzir melhorias contnuas nos processos em curso perspectivando alcanar a mxima eficincia nas aces desencadeadas pelos agentes directamente envolvidos na realizao da formao. Com vista ao cumprimento dos objectivos referenciados, recomenda-se o desenvolvimento das seguintes actividades avaliativas: Auscultao dos agentes directamente implicados na realizao da formao, com vista recolha da respectiva opinio acerca do andamento do curso (consiste na auscultao de formandos, formadores e coordenadores, durante e no final das intervenes formativas). Avaliao progressos relativamente a aquisio/desenvolvimento de aprendizagens previstas em planos prestabelecidos (consiste em avaliar as aprendizagens conseguidas ainda durante o percurso formativo). Avaliao de aprendizagens no final das intervenes formativas.

182

V. Fase III_P5-6

06/06/16

18:25

Page 183

Praticando....

Q 1 Que actores podem ser mobilizados para as actividades de avaliao a realizar durante o desenvolvimento da formao?
So vrios os agentes envolvidos na execuo da formao susceptveis de serem auscultados, com vista recolha da respectiva opinio sobre as aces em curso (ver etapa G, processo 2). Nesta parte do guia sero destacadas as intervenes do formador, do formando e do coordenador pedaggico, como actores com maior capacidade de interveno ao nvel da: correco de eventuais desvios face ao planeado; emisso de recomendaes de melhoria concretas sobre a aco a decorrer; interveno directa em componentes centrais do dispositivo de formao, tais como: os contedos programticos, as estratgias pedaggicas, as estratgias de acompanhamento, o desempenho dos diferentes actores da formao.... Passemos, ento, a apresentar as vrias propostas metodolgicas a desenvolver, pelos agentes referidos, no decurso da formao:

Nvel 1. Aferio do grau de satisfao dos participantes na formao (avaliar reaces)

Tratando-se do primeiro nvel da abordagem avaliativa de D. Kirkpatrick, o mesmo surge focalizado na opinio dos principais destinatrios de um processo formativo: os formandos. Consiste, igualmente, numa das formas de avaliao mais difundida e, muitas vezes, a nica praticada pelas diferentes entidades que realizam formao. Este tipo de avaliao , no entanto, e na maior parte dos casos, desvalorizada por parte das entidades que, ainda assim, a vo praticando. Este facto atribudo muitas vezes aos seguintes aspectos: (1) a finalidade e utilidade deste tipo de avaliao no foi suficientemente esclarecida junto dos vrios actores que na mesma participam, pelo que no lhe atribuda a respectiva importncia; (2) os instrumentos de avaliao nem sempre so redigidos na ptica de quem avaliado, o que, por vezes, suscita dvidas por parte de quem inquirido, tal como serei a pessoa mais indicada para fornecer a informao pretendida?(3) a abordagem avaliativa no fornece as informaes necessrias e desejadas pelos vrios actores, o que acontece quando no existe uma verificao efectiva da adequao das dimenses/critrios de avaliao utilizados, s necessidades de informao dos destinatrios da avaliao.

183

V. Fase III_P5-6

06/06/16

18:25

Page 184

Neste Guia para a Avaliao da Formao, procura-se valorizar este tipo de interveno, em particular no que respeita sua funo formativa, ou seja, a que permite, de forma atempada, introduzir melhorias nas intervenes formativas que se encontrem a decorrer. Ao defender-se esta perspectiva aposta-se claramente numa avaliao que se pretende seja verdadeiramente til para quem na mesma participa.

Q 2 Que estratgias de apoio implementao deste nvel de avaliao?

Qualquer que seja a estratgia da avaliao de reaco, dever considerar os seguintes pressupostos de partida: Uma avaliao de reaco apresenta como objectivo fundamental a recolha de informao que permita a eventual introduo de melhorias em processos formativos que se encontrem a decorrer ou que venham a ser desenvolvidos posteriormente. O focus da ateno dever ser o conjunto de dimenses associadas interveno formativa sobre a qual ir recair este nvel de avaliao (focalizao nas diferentes dimenses associadas a determinada aco formativa e que podem ser distintas de aco para aco). A informao a recolher dever considerar as necessidades de tomada de deciso dos vrios actores que intervm na formao (todos os que directa e/ou indirectamente podero agir no sentido de melhorar a aco formativa). Relativamente forma como uma avaliao de reaco pode ou no ser desenvolvida, so vrias as alternativas. Embora as entidades que executam formao recorram, com alguma frequncia, aplicao do inqurito por questionrio, que lhes permite obter com rapidez e facilidade alguns dados acerca do funcionamento das aces em curso, destacamos igualmente neste Guia outras formas de o fazer, de modo a quebrar a tendncia para a aplicao de questionrios, muitas vezes j desvalorizados por parte de quem os preenche devido, essencialmente, ao uso excessivo dos mesmos.

Q3

Quais as vantagens e limitaes deste nvel de avaliao?

O que aqui se recomenda, de modo a evitar o recurso a um nico instrumento de avaliao, o desenvolvimento de outras abordagens, igualmente vlidas, que permitam diversificar as intervenes deste nvel de avaliao, designadamente: O preenchimento de uma grelha de observao por parte do formador/monitor. A realizao, durante o desenvolvimento dos trabalhos, de uma entrevista ao grupo de participantes. Esta , regra geral, efectuada pelo coordenador pedaggico da aco formativa, podendo, no entanto, ser igualmente realizada pelo prprio formador no mbito do seu trabalho enquanto formador e de controlo da aprendizagem do grupo que far constar a informao recolhida no relatrio de progresso sobre o percurso de aprendizagem de cada um dos participantes na aco. Este tipo de entrevista pode ainda ser utilizado para o aprofundamento de questes abordadas nos questionrios preenchidos, sobre as quais se torna necessrio reunir mais informao. A aplicao de um instrumento para auto-avaliao por parte do prprio participante na formao. A aplicao de um instrumento de controlo e acompanhamento das aces por parte do coordenador pedaggico.

184

V. Fase III_P5-6

06/06/16

18:25

Page 185

O desenvolvimento de jogos que permitam recolher informaes sobre o andamento da aco. As reflexes em grupo que conduzam elaborao de recomendaes/sugestes concretas para uma melhor adequao dos objectivos das aces a necessidades de formao especficas, entretanto sinalizadas pelo grupo. (...).
Vantagens permite efectuar uma avaliao rpida da situao em termos de resultados entretanto alcanados; permite reequacionar rotas sempre que efectuada durante a execuo da formao; permite implicar os formandos na prpria gesto da formao; no implica custos elevados; facilmente quantificvel em escalas de pontos ou percentagens, permitindo comparaes, elaborao de rankings, etc. Limitaes no permite avaliar outro tipo de aspectos tais como: aprendizagens efectuadas e impactes da formao; tratando-se de uma avaliao a quente pode ser induzida por outros factores que no os pretendidos.

Exemplificando...

Sugere-se, assim, o desenvolvimento de exerccios que visem a rpida recolha de informao acerca do estado da arte do desenrolar da aco. Um exemplo de um desses exerccios pode ser o que seguidamente se apresenta: Exemplo 1: O formador/monitor desenha num flipchart um quadrado com os seguintes smbolos:

Do que mais gostei foi: / Do que menos gostei foi: / Gostava ainda de saber mais sobre: Os saberes que adquiri/desenvolvi at ao momento foram:

185

V. Fase III_P5-6

06/06/16

18:25

Page 186

Seguidamente o formador solicita a participao de todos os participantes na sesso de formao, para o preenchimento do quadro proposto, que regra geral ocorre no final da formao, cinco minutos antes dos participantes sarem da sala (caso se trate de uma formao presencial). Trata-se de um exerccio simples que pode ser efectuado em qualquer momento da interveno formativa, tornando-se o mesmo num momento de balano sobre os resultados at ento alcanados. Permite ainda introduzir eventuais melhorias nas aces formativas a desencadear posteriormente. Exemplo 2: Um exerccio semelhante consiste em colocar nas paredes da sala vrios cartazes com indicao expressa da dimenso que se est entretanto a avaliar cada um com uma cor diferente. Aos formandos entregue um envelope com vrios conjuntos de estrelas igualmente de cor diferentes, que devero corresponder s cores dos cartazes colocados nas paredes das salas. Uma vez de posse das peas do jogo os formandos so instrudos a colocar nos cartazes de parede, no final de cada sesso formativa, as estrelas que considerarem necessrias com notas breves acerca da matria de avaliao em causa. Competir aos formadores, no final de cada sesso, fazer um balano dos comentrios produzidos e, sempre que possvel, dar feedback sobre os mesmos na sesso do dia seguinte.

Uma ltima nota relativa recolha de informao sobre o grau de satisfao dos participantes numa determinada aco de formao. Importar seguir algumas regras bsicas na execuo deste tipo de avaliao, designadamente:

!!

Qualquer que seja a tcnica de avaliao utilizada a mesma dever ser breve e de fcil preenchimento e/ou aplicao. Sugere-se que o nmero de questes consideradas em cada uma das dimenses avaliativas seja mais ou menos o mesmo. A distino poder ser efectuada, como j referido, mediante a aplicao de ponderaes sobre os aspectos a avaliar. A escolha do momento para a realizao da avaliao pretendida no indiferente. As aplicaes devero ser efectuadas a partir do momento em que se entenda que os participantes j renem as informaes suficientes acerca dos aspectos a analisar. As questes devero ser focalizadas no que os participantes gostaram ou no gostaram sobre este ou aquele aspecto da formao; dever pois evitar-se as questes generalistas e vagas. Importa evitar efectuar questes sobre as quais os formandos no se podem pronunciar j que os assuntos no lhes dizem directamente respeito, mas sim a um outro actor da interveno formativa. Deixar que seja opcional a identificao de quem preenche o instrumentos de avaliao (ex: questionrio). Usar os resultados da avaliao para fins unicamente associados aco formativa. Desencadear o processo avaliativo apenas depois de equacionado o padro (ou standard) de referncia para posterior anlise de resultados.

186

V. Fase III_P5-6

06/06/16

18:25

Page 187

Nvel 2. Avaliao do grau de domnio de determinados saberes (avaliar aprendizagens durante e no final
da formao)
Uma avaliao de aprendizagens executada sempre que se pretende aferir qual o tipo de saber adquirido antes, durante e/ou na sequncia de uma interveno formativa. Procura-se, neste sentido, conhecer o diferencial entre uma determinada situao de partida e a subsequente situao de chegada, quanto a determinados domnios do saber. Uma breve incurso histria da avaliao das aprendizagens permite-nos concluir da passagem por vrios paradigmas tericos que condicionaram este tipo de avaliao ao longo das ltimas dcadas: (1) o paradigma behaviorista que remete para uma avaliao objectiva totalmente focalizada nos resultados finais da avaliao. Comparar os resultados finais com os objectivos pr-definidos traduz-se numa das suas principais actividades; (2) o paradigma psicomtrico totalmente ancorado nas preocupaes com a medio dos produtos das aprendizagens; (3) o paradigma cognitivista, que considera o processo de avaliao inseparvel do contexto em que a aprendizagem tem lugar; ao atribuir particular nfase ao processo de aprendizagem, focaliza a aco avaliativa no desenvolvimento cognitivo, afectivo e psicomotor dos participantes numa interveno formativa; (4) o paradigma construtivista, que na linha do anterior vem destacar a importncia da construo dos saberes por parte dos participantes na formao. Actualmente poucos duvidam da influncia, no maior ou menor sucesso de um processo de aprendizagem, dos contextos em que a aprendizagem ocorre, assim como do conjunto de saberes que os participantes transportam para o acto formativo. Estas duas variveis condicionam, no s a formatao de um percurso de aprendizagem, mas tambm eventuais estratgias de avaliao a desenvolver. O produto da aprendizagem efectuada ser, assim, o resultado de uma construo na qual intervm, como principais protagonistas, o participante e o agente facilitador/monitor da formao. Neste Guia Metodolgico, o sentido atribudo avaliao de aprendizagens segue a filosofia referida, uma vez que remete para metodologias participativas nas quais o enfoque ser sempre o participante na formao. A perspectiva de avaliao em presena, assume como princpio de base, a no padronizao de instrumentos de avaliao, com a devida ressalva para os contextos de formao j regulamentados/normalizados. Neste sentido, as propostas pedaggicas surgem suportadas num conjunto de procedimentos e de instrumentos diversificados que permitam regular os processos formativos, fornecendo informao sobre a situao intermdia (avaliao de progresso) ou final (avaliao sumativa) dos participantes nas aces. Recorrendo, uma vez mais, taxonomia de D. Kirkpatrick , diramos que se trata aqui de reflectir sobre aspectos relativos ao 2 nvel de avaliao, que visa aferir em que medida foram adquiridos/desenvolvidos atravs da formao: conhecimentos/saberes (Knowledge); saberes-fazer (Skills); saberes-estar (Attitudes).

187

V. Fase III_P5-6

06/06/16

18:25

Page 188

Embora a abordagem deste autor se focalize, essencialmente, na verificao da aquisio/desenvolvimento de determinados saberes no final da execuo da formao no deixaremos aqui de destacar a igual importncia dos momentos intermdios de avaliao que permitem controlar e regular a aco formativa de modo a produzir os resultados desejados. Como principais vantagens e limitaes deste nvel de aprendizagem, destacam-se as seguintes:
Vantagens Permite, quando efectuada antes da execuo da formao, recolher informao sobre o domnio de determinados saberes. Fornece informao (durante e no final da interveno) sobre a concretizao dos objectivos de aprendizagens previamente definidos para determinada interveno formativa (avaliao formativa/sumativa). Permite sinalizar eventuais necessidades de formao, sejam elas resultantes do no cumprimento da totalidade dos objectivos de aprendizagem previstos, ou resultantes das reflexes efectuadas ao longo da formao (avaliao formativa). Permite sinalizar o nvel de domnio em determinado saber ou conjunto de saberes, que pode ser utilizado para efeitos de posterior certificao de qualificaes adquiridas (avaliao sumativa). Permite verificar se o participante rene as condies necessrias execuo de determinada funo profissional (avaliao sumativa). Permite a certificao dos saberes adquiridos/desenvolvidos. Limitaes Um resultado positivo no final de uma avaliao de aprendizagens no garante, partida, a transposio para os contextos reais de trabalho dos saberes adquiridos/desenvolvidos durante a formao. No permite aferir impactes da formao. Em determinadas situaes formativas, pode depender fortemente de resultados positivos em avaliaes prvias (ex: avaliao do grau de satisfao dos participantes na formao).

Q 4 Que estratgias para avaliar as aprendizagens adquiridas pelos participantes na formao?

A avaliao de aprendizagens pode ser realizada em momentos chave da formao, consoante os objectivos pretendidos para a mesma. As abordagens/tcnicas utilizadas na avaliao de aprendizagens a realizar durante a execuo da formao so vrias. Verifica-se, no entanto, alguma tendncia para a aplicao de testes escritos, em detrimento de outras abordagens possveis, j sinalizadas na Fase I, Processo 2. O desafio que aqui se coloca a quem opera na formao , precisamente, o recurso a outros mtodos/tcnicas, para alm dos testes escritos, sendo de destacar outras alternativas, tais como: A anlise de casos concretos associados s temticas objecto de avaliao, que devero remeter o formando para a resoluo de problemas concretos. Anlise do portflio de competncias adquiridas/desenvolvidas. Aplicao da tcnica do Role Play (simulaes/dramatizaes).

188

V. Fase III_P5-6

06/06/16

18:25

Page 189

Organizao de grupos de discusso sobre as temticas abordadas. Realizao de auto-avaliaes por parte dos formandos. Realizao de observaes directas . Construo de mapas conceptuais que permitam verificar como esto a ser apropriadas/construdas cognitivamente as mensagens abordagens ao longo da execuo da formao. Elaborao de projectos. (...) Uma das tcnicas que aqui se destaca, principalmente pelo recurso cada vez mais frequente da mesma, a construo dos designados Portflios de Competncias. Como referido, a sugesto vai no sentido da diversificao das abordagens a aplicar neste nvel de avaliao, enfatizando as abordagens que considerem o formando como co-produtor das suas prprias aprendizagens, posicionado-o como agente activo no prprio processo de formao e, como tal, igualmente responsvel pelo acompanhamento e avaliao das aprendizagens efectuadas. O Portflio de Competncias aqui explorado neste sentido, sendo, neste contexto, colocado ao servio da avaliao de aprendizagens (de progresso ou final). Neste contexto, surge como alternativa s abordagens de avaliao de aprendizagens convencionais, tais como a aplicao de testes de conhecimento ou de desempenho. O Portflio uma coleco organizada e devidamente planeada de trabalhos produzidos pelo formando, ao longo de um determinado perodo de tempo, de forma a poder proporcionar uma viso to alargada e detalhada quanto possvel das diferentes componentes do seu desenvolvimento (Valadares e Graa, 1998). O Portflio traduz-se, assim, numa compilao de peas organizadas num dossier, comprovativas das experincias e competncias desenvolvidas. Como peas a incluir neste dossier, destacam-se as seguintes: resoluo de casos; relatrios de actividades realizadas; pesquisas efectuadas sobre as matrias em estudo; testes de aprendizagem efectuados (de progresso ou finais); trabalhos realizados (individualmente ou em grupo); documentos de trabalho produzidos durante a formao; comentrios de debates, de discusses ou de simulaes efectuadas; estratgias de aprendizagens bem sucedidas; (...) Na base da utilizao deste tipo de abordagem est a convico de que a avaliao pode e deve ser colocada ao servio do processo de aprendizagem, dando feedback permanente a quem (formando ou formador) pode reequacionar estratgias de aprendizagem de modo a obter uma maior eficcia das mesmas.

189

V. Fase III_P5-6

06/06/16

18:25

Page 190

O resultado da aprendizagem ser sempre, nesta perspectiva, uma responsabilidade partilhada e como tal, exige uma avaliao igualmente partilhada no sentido da negociao acerca do posicionamento do formando neste ou naquele nvel de desempenho. Como principais vantagens desta abordagem, destacam-se as seguintes:
Vantagens para o formando Estimula a reflexo do formando sobre os respectivos progressos ao nvel das aprendizagens pretendidas. Permite sinalizar dificuldades concretas no cumprimento de determinados objectivos de aprendizagem. Permite o reequacionamento de posicionamentos face ao percurso de aprendizagem que se encontre a decorrer (ex: maior investimento neste ou naquele aspecto...). Permite que o mesmo participe na deciso sobre o tipo de evidncias a considerar no processo avaliativo e formas para avaliao das mesmas (o que introduz maior transparncia no processo de avaliao). Facilita a participao em processos de seleco e recrutamento para determinada funo. Facilita os processos de reconhecimento e validao de competncias junto de entidades com competncia para tal. Vantagens para o formador Facilita o planeamento das actividades pedaggicas, assim como redefinio de propostas pedaggicas. Facilita os processo de avaliao (intermdios ou finais) uma vez melhor documentado acerca do percurso de aprendizagem efectuado. Permite uma maior interaco formando/formador pela via da seleco e anlise da documentao a constar no dossier. Facilita a sinalizao dos diferentes estilos de aprendizagem em presena.

semelhana de qualquer um dos processos de avaliao j apresentados, importa decidir como devero ser avaliadas cada uma das evidncias consideradas no Portflio de Competncias. Esta reflexo remete quem avalia para a necessidade de se estabelecerem critrios de avaliao especficos a aplicar a cada uma dessas evidncias, ou ao conjunto de evidncias que constituem o Portflio de Competncias do formando. Uma vez estabelecidos os critrios de avaliao a aplicar, estes devero ser apresentados e discutidos junto dos formandos sendo posteriormente integrados no dossier a organizar, resultando numa maior transparncia dos processos de avaliao a realizar. A ttulo exemplificativo, apresenta-se seguidamente um conjunto de critrios de avaliao a aplicar sobre determinado Portflio de Competncias: autonomia na realizao de actividades/tarefas solicitadas; inovao das prticas demonstradas; capacidade de resoluo de problemas concretos; diversidade de trabalhos sobre uma mesma temtica; qualidade dos trabalhos elaborados; cuidado na apresentao dos resultados das actividades/tarefas desenvolvidas; resultados de avaliaes intermdias efectuadas;

190

V. Fase III_P5-6

06/06/16

18:25

Page 191

capacidade de anlise e interpretao de exerccios/trabalhos solicitados; (...) A avaliao ocorre a partir do momento em que se atribui um grau ou valor a cada um dos critrios de avaliao que pode assumir carcter quantitativo e/ou qualitativo, consoante o tipo de escala utilizada no acto avaliativo. O posicionamento do formando nesta escala determina se o mesmo ficou aqum, de acordo com ou alm do desejado, face aos objectivos de aprendizagem pretendidos.

!!

Destacam-se seguidamente algumas das regras fundamentais a seguir, aquando da implementao desta abordagem no contexto da avaliao da formao: a seleco das evidncias incumbir a ambos os actores implicados no processo de aprendizagem (neste caso formando e formador), devendo ter presente os objectivos do programa de formao; a seleco das evidncias dever ainda considerar aspectos significativos das aprendizagens, centrados nos adquiridos pelo formando, designadamente progressos efectuados face a pontos de partida iniciais; os formandos devem ser informados de que forma cada uma das evidncias vai ser avaliada e quais os objectivos dessa mesma avaliao; todas as peas a integrar no dossier devem ser contextualizadas, datadas e associadas quer a processos quer a produtos concebidos, podendo este contemplar ainda eventuais produtos inicialmente no previstos; no se exige que as evidncias sejam agrupadas de forma cronolgica; no se exige que as evidncias a introduzir no dossier sejam sempre da mesma natureza; devem ser todavia seleccionadas de acordo com os objectivos preconizados da avaliao pretendida; o contedo do Portflio deve abranger todas as reas do programa; no dossier a organizar devero constar apenas evidncias que permitam aferir do cumprimento de objectivos de aprendizagens que venham a ser estabelecidos no incio ou durante a realizao da formao.

Uma outra tcnica de apoio consolidao, eventualmente, confirmao de aprendizagens efectuadas, a construo de mapas conceptuais. Sugere-se que as tcnicas avaliativas acima enunciadas sejam: seleccionadas em funo, entre outros aspectos, das caractersticas dos formandos e dos objectivos da avaliao pretendida; combinados por forma a assegurar uma maior credibilidade da avaliao efectuada.

191

V. Fase III_P5-6

06/06/16

18:25

Page 192

 Sugerem-se, ainda, como principais estratgias a considerar durante a realizao de uma avaliao de aprendizagens,
as seguintes: Aferir em que medida os objectivos de aprendizagem esto bem formulados, de modo a deixar claro quais os respectivos critrios de xito (sinalizao de indicadores concretos que permitam aferir se o objectivo foi ou no alcanado). Centrar a avaliao nas competncias consideradas crticas, sinalizadas quando identificados os resultados crticos pretendidos. Permite evitar que os participantes se dispersem, focalizando-se a avaliao no que considerado, partida, como fundamental adquirir/desenvolver em termos de determinados saberes. Considerar os vrios paradigmas de aprendizagem existentes. As mais recentes reflexes, relativamente concepo da formao, sustentam que ser sempre a natureza dos saberes a determinar o tipo de estratgia pedaggica a seguir. Na prtica, podemos encontrar, numa mesma aco de formao, abordagens formativas de cariz mais ou menos comportamentalista, mais ou menos cognitivista/construtivista. As tcnicas a adoptar numa avaliao de aprendizagens so, igualmente, seleccionadas em funo dos vrios paradigmas de aprendizagem em presena. Evitar a tendncia para se optar pela estratgia de avaliao que melhor se conhea. Aplicar instrumentos de avaliao unicamente aps uma reflexo sobre a capacidade e disponibilidade da equipa para tratar os respectivos resultados (ver fase 4 da abordagem PERTA). Garantir que os objectivos da avaliao a implementar so compreendidos e aceites pelos participantes na formao. Das tcnicas/abordagens acima enunciadas sero aqui apresentadas, a ttulo exemplificativo, as seguintes:

Exemplificando.... Exemplo 1: Aplicao de uma grelha de anlise/interpretao de contedos para verificao de aprendizagens efectuadas: Na sequncia da explorao de um vdeo pode aplicar-se uma grelha para aferir em que medida as mensagens do mesmo foram eficazmente compreendidas e apreendidas pelos participantes na aco. Segue-se um exemplo de uma grelha de anlise a aplicar aps o visionamento de um filme que visa introduzir os formandos num determinado processo produtivo:
Aspectos a consolidar/integrar Quais as duas principais mensagens do filme transmitido? Quais as etapas do processo produtivo observado? Quais as principais competncias dos actores implicados no processo produtivo observado? Que factores crticos se podem associar ao processo observado? Que saberes consolidei e/ou adquiri aps o visionamento do filme proposto? Como poderei integrar o que adquiri nas minhas prticas profissionais? Respostas do participante

192

V. Fase III_P5-6

06/06/16

18:25

Page 193

Observao: As questes a seleccionar devero estar relacionadas com os saberes que se pretendem ver adquiridos/desenvolvidos. Na sequncia do visionamento da pea sugerida, segue-se uma reflexo acerca das mensagens principais do filme e as temticas do programa de formao em discusso. Exemplo 2: Realizao de prtica simulada (aplicao da tcnica do role play) O role play, como referido anteriormente, tambm uma tcnica que pode ser explorada no contexto de uma avaliao de aprendizagens. Apresenta-se seguidamente um instrumento ilustrativo de apoio explorao desta tcnica, designadamente, uma grelha de observao a utilizar no contexto da seguinte situao de formao: Objectivo da formao a desenvolver: saber realizar uma entrevista de seleco e recrutamento de pessoal. O instrumento proposto pode ser usado no final de uma formao para avaliar demonstrao de saberes associados actividade pretendida, podendo ainda ser aplicado como instrumento de followup (passados 3/6 meses aps a formao) aquando da realizao de uma entrevista de seleco no contexto real de trabalho. A(s) pessoa(s) que observa(m) o desenrolar da situao deve(m) faz-lo de modo a no perturbar o desempenho do entrevistado e do entrevistador. As etapas da entrevista devem ser classificadas de acordo com a seguinte escala: 1 Insuficiente manifestao dos comportamentos/atitudes pretendidos. 2 Razovel manifestao dos comportamentos/atitudes pretendidos. 3 Boa manifestao dos comportamentos/atitudes pretendidos. 4 Excelente manifestao dos comportamento/atitudes pretendidos.

193

V. Fase III_P5-6

06/06/16

18:25

Page 194

Etapas da entrevista 1. Introduo da entrevista 1.1 Acolhimento cordial faz o entrevistado sentir-se vontade 1.2 Apresenta-se, de forma clara, junto do entrevistado (nome, cargo, funes...) 1.3 Esclarece acerca dos objectivos e tipo de entrevista a realizar 1.4 Informa da necessidade de retirar notas na sequncia da entrevista 2. Recolha de informao sobre o entrevistado 2.1 Tira bom partido das questes abertas 2.2 Efectua questes que lhe permitem esclarecer ou saber mais sobre determinadas reas de interesse 2.3 Evita monopolizar a conversa 2.4 Pratica a escuta activa, seguindo com ateno o discurso do entrevistado 3. Disponibilizao de informao ao candidato 3.1 Esclarece de forma clara acerca das caractersticas do lugar a preencher 3.2 Esclarece de forma clara sobre o tipo de organizao em presena 3.3 Esclarece de forma clara as condies inerentes ao preenchimento do lugar vago, assim como, outras caractersticas tidas por relevantes (remunerao, possibilidades de progresso, tipo de avaliao de desempenho...) 4. O encerramento da entrevista 4.1 D suficientes oportunidades ao entrevistado para a realizao de questes para melhor esclarecimento sobre o cargo em questo 4.2 Esclarece suficientemente eventuais dvidas do candidato 4.3 Esclarece acerca das etapas posteriores aps a realizao da entrevista 4.4 Agradece cordialmente a presena e disponibilidade do candidato 5. Avaliao global da entrevista realizada 5.1 Boa gesto do tempo efectuada por parte do entrevistador (1 > 60%/2 entre 40/60%/3 entre 25/40%/4 < 25%) 5.2 Bom relacionamento entre entrevistador e entrevistado 5.3 Ausncia de atitudes discriminantes por parte do entrevistador Observaes gerais: 1 1 1 1 1

Classificao 2 3 4 Comentrios do avaliador

Comentrios do avaliador

Comentrios do avaliador

Comentrios do avaliador

Comentrios do avaliador

194

V. Fase III_P5-6

06/06/16

18:25

Page 195

Exemplo 3: Realizao de prtica simulada (aplicao da tcnica do role play) No final da aplicao da tcnica do role play (simulaes/dramatizaes) importa que os respectivos participantes reflictam acerca do que entendem ter consolidado em termos de saberes adquiridos/desenvolvidos. Aqui fica um instrumento que permite sinalizar os aspectos a reter, na sequncia de exerccios que apliquem este tipo de tcnica:
1. Tipo de tcnicas aplicadas durante a sesso (role play; focus group, brainstorming...) 2. Que saberes entendo ter adquirido/desenvolvido com o desenvolvimento da sesso realizada? 3. Como penso vir a aplicar na prtica os saberes adquiridos/desenvolvidos na sesso realizada? 4. Quais os aspectos que mais contriburam para a aquisio/desenvolvimento dos saberes pretendidos? 5. Quais os aspectos a evitar em futuras sesses? 6. Que aspectos da sesso deveriam ser melhorados?

Exemplo 4: Mapa conceptual preparado para ser aplicado num curso sobre Carnes. Neste caso trata-se de um trabalho preparatrio elaborado por parte de quem vai orientar a sesso de formao. Aps o desenvolvimento das sesses, o mesmo exerccio pode ser solicitado aos participantes na formao, sendo a chave dos resultados o mapa de quem facilita, em torno do qual podem desencadear-se reflexes sobre o maior ou menor sucesso na compreenso e incorporao das mensagens, por parte dos participantes na sesso formativa:

195

V. Fase III_P5-6

06/06/16

18:25

Page 196

Fonte: Novak, J. , Gowin, D. (1984)

196

V. Fase III_P5-6

06/06/16

18:25

Page 197

Instrumentos de apoio ao processo

V. Fase III_P5-6

06/06/16

18:25

Page 198

Instrumento de apoio n 14
FICHA TCNICA Objectivos: A presente instrumento visa apoiar o utilizador na tomada de deciso sobre o recurso de inquritos por questionrio no contexto de uma avaliao de reaco. Contextos e momentos de aplicao: Construdo para ser aplicado na fase da preparao dos instrumentos para avaliar o grau de satisfao dos participantes de uma aco de formao. Quem o pode utilizar: Os actores responsveis pela construo de instrumentos a aplicar no mbito de uma avaliao de 1 nvel.
Comentrios (sinalizar eventuais aspectos menos conseguidos e que podem vir a comprometer a eficcia do instrumento de avaliao)

Questes a considerar

SIM (x)

NO (x)

Em parte (x)

1. As questes do questionrio foram formuladas do ponto de vista de quem o vai preencher? 2. Foram claramente identificados os pressupostos de qualidade a associar a este nvel de avaliao? (ex: o que se entende por um bom desempenho do formador? Foram definidos desempenhos desejveis?) 3. Ser o inqurito de avaliao de reaco o instrumento mais indicado para medir o grau de satisfao dos participantes? 4. Podemos recorrer a outros instrumentos para alm do questionrio? 5. A(s) escala(s) de avaliao utilizada(s) permite(s) obter dados verdadeiramente teis para os interessados na avaliao? 6. As questes avaliativas esto focalizadas no que considero ser o essencial na aco em curso? 7. Ser necessrio ponderar dimenses/critrios de avaliao? 8. Percebe-se claramente o que se est a avaliar ou os critrios de avaliao aplicados so vagos sem grande utilidade para quem necessita posteriormente da informao? 9. As escalas de avaliao utilizadas permitem avaliar efectivamente aquilo que suposto avaliar? 10. O instrumento de avaliao permite a formulao de sugestes/recomendaes por parte dos formandos?

Obs: As respostas positivas apontam para um conhecimento razovel do que se pretende com a aplicao de um inqurito de reaco.

198

V. Fase III_P5-6

06/06/16

18:25

Page 199

Instrumento de apoio n 15
FICHA TCNICA Objectivos: Este instrumento visa apoiar o utilizador a decidir pela realizao ou no realizao de uma avaliao de aprendizagens, designadamente a que realizada no final da formao. Contextos e momentos de aplicao: Construdo para ser aplicado na fase da preparao dos instrumentos a aplicar no mbito de uma avaliao de aprendizagens. Quem o pode utilizar: Aos actores responsveis pela construo de instrumentos a aplicar no 2 nvel de avaliao (aprendizagens).
SIM (x) NO (x)

Grelha para aferir da relevncia/utilidade de uma avaliao de aprendizagens 1. Estamos presente exigncias de certificao, cumprimento de legislao especfica, ou ainda sistemas de licenciamento, que exijam a demonstrao de aprendizagens efectivas? 2. A demonstrao de aprendizagens necessria progresso na carreira do indivduo que participou na formao? 3. O colaborador quando regressar ao local de trabalho vai ver o respectivo desempenho comparado com nveis de desempenho pr-estabelecidos? 4. exigida demonstrao de desenvolvimento/aquisio de determinados saberes para que o participante seja autorizado a transitar para um mdulo ou sesso de formao seguinte (pr-requisito)? 5. As consequncias da no mobilizao dos saberes adquiridos no contexto real de trabalho so graves? (ex: higiene e segurana no trabalho, satisfao final do cliente...) 6. Pretende-se comparar, em termos de nveis de aprendizagens, os resultados da aco X com os resultados da aco Y?

Observaes

Obs: As respostas positivas apontam para a eventual necessidade de se realizarem avaliaes desta natureza.

199

V. Fase III_P5-6

06/06/16

18:25

Page 200

V. Fase III_P7

06/06/19

10:46

Page 201

PROCESSO 7. Realizar intervenes avaliativas aps a execuo da formao

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Preparar e planificar uma abordagem avaliativa de 3 nvel. Sinalizar os factores que podem inibir e/ou facilitar o processo de transferncia de adquiridos. Compreender o contexto de interveno de uma avaliao de 4 nvel.

201

V. Fase III_P7

06/06/19

10:46

Page 202

Uma vez executada a formao as preocupaes passam a estar relacionadas no com a qualidade da formao mas com a utilidade da mesma para os contextos que a vo, eventualmente utilizar. Passamos ento, a partir deste momento, a falar de nveis distintos de avaliao, neste caso, os que se prendem (1) com a transferncia dos saberes para os contextos reais de trabalho e (2) com os impactes da formao nos resultados das organizaes.

Reflectindo...

A aferio do valor de determinada interveno formativa passa hoje, no apenas pela estimativa do respectivo montante investido, mas tambm, e sobretudo, pela efectiva demonstrao desse valor atravs da identificao de melhorias concretas ao nvel do desempenho dos indivduos que participam na formao e, consequentemente, melhorias dos resultados das respectivas organizaes. Destacam-se, seguidamente, algumas razes que justificam, em certa medida, o enfoque na aferio dos resultados e impactes decorrentes de projectos de formao: que as intervenes formativas resultem, efectivamente, na melhoria das prticas dos profissionais e das organizaes e que os custos com a formao sejam economicamente rentabilizados. a implementao de auditorias de natureza organizacional que exigem a demonstrao de evidncias, relativamente a mudanas concretas decorrentes da realizao de planos de formao; a execuo de intervenes formativas medida que exigem uma articulao rigorosa entre os objectivos da formao e os objectivos estratgicos da organizao. Tal significa que qualquer que seja a formao a desenvolver (centrada nos mais diversos nveis hierrquicos), dever ser capaz de gerar as mudanas desejadas. Medir os comportamentos/mudanas ocorridos aquando do regresso de um indivduo ao respectivo local de trabalho assume, assim, uma importncia crucial, no mbito de processos de natureza avaliativa. Este nvel de avaliao, designado por avaliao de 3 nvel (usando a terminologia de D. Kirkpatrick), hoje considerado, pelos especialistas na matria, como o momento crtico de um projecto formativo. A realizao de avaliaes de 3 nvel afigura-se ainda mais importante quando consideradas as percentagens efectivas de transferncia de aprendizagens para os contextos reais de trabalho. Estudos realizados sobre esta matria, permitem constatar a baixa percentagem de transferncia associada a processos formativos. Autores tais como Baldwin e Ford (1988) referem mesmo nos respectivos estudos que apenas 10 % dos adquiridos pela via da formao so aplicados nos contextos de trabalho. Mais recentemente Brinkerhoff e Gill (1994) sustentam que 80% do investimento em formao tende a ser um esforo perdido. Se no se contrariam estas tendncias (e a avaliao assume aqui um papel assencial), a funo social e econmica da formao fica comprometida e posta em causa. Veremos mais adiante algumas das razes que podem justificar tais percentagens.

202

V. Fase III_P7

06/06/19

10:46

Page 203

Q1

Qual o mbito de anlise de uma avaliao de 3 nvel?

Uma avaliao de terceiro nvel procura responder a duas questes fundamentais: Em que medida os saberes adquiridos/desenvolvidos durante a formao foram efectivamente aplicados? De acordo com as caractersticas da aco formao desenvolvida, um indivduo pode mobilizar para uma situao profissional especfica, trs tipos de saberes: saberes cognitivos (saber); saberes psico-afectivos (saber-fazer); saberes relacionais/sociais (atitudes). Consoante a natureza do problema/desafio profissional, assim o indivduo mobiliza mais este ou aquele saber, o que lhe permite, na prtica, demonstrar ser mais ou menos competente na execuo de actividades/tarefas/operaes especficas. Em que medida a aplicao dos saberes adquiridos/desenvolvidos permitiu alcanar os resultados pretendidos? O avaliador procurar aferir igualmente se a formao permitiu, por um lado, alterar os comportamentos dos indivduos e, por outro lado, alcanar os objectivos de desempenho desejados. Embora a abordagem de D. Kirkpatrick seja focalizada na noo de comportamento, importa igualmente ter presente a noo de resultado, no sentido em que a manifestao de um comportamento especfico gera um determinado resultado:

Os saberes e competncias desenvolvidos/adquiridos durante a formao

So os mais adequadas produo dos resultados desejados

Resultados de desempenho pr-estabelecidos

7
no contexto da realizao de diagnsticos de formao que so estabelecidos as relaes supra referidas. Um diagnstico inadequado partida pode comprometer a produo dos resultados pretendidos, uma vez que as competncias adquiridas/desenvolvidas durante a formao podem no ser as mais indicadas produo dos resultados desejados.

7
203

V. Fase III_P7

06/06/19

10:46

Page 204

Preparando a prtica...

Q2

Quando realizar uma avaliao de 3 nvel?

A primeira deciso a tomar ser a definio do momento para a realizao das actividades de avaliao. As experincias j realizadas nestas reas remetem o avaliador para uma interveno num espao de 3, 6 ou 12 meses, consoante as caractersticas dos contextos em presena. Ser sempre difcil pr-definir um momento exacto para a realizao de uma avaliao de 3 nvel. A sua determinao passa, primeiramente, pela reflexo acerca das vrias possibilidades existentes: imediatamente aps o regresso do colaborador ao respectivo posto de trabalho? apenas quando se iniciarem as actividades que vo exigir a mobilizao dos saberes/competncias associados formao desenvolvida? Importa assim, tentar saber primeiro em que momento exacto o posto de trabalho em causa ir exigir a mobilizao dos saberes desenvolvidos/adquiridos durante a formao. Ter presente a natureza dos saberes pode igualmente ajudar a decidir sobre o melhor momento para actuar. Sabe-se partida que saberes de natureza comportamental/atitudinal exigem mais tempo ao nvel das respectivas apropriao e posterior aplicao prtica. Contrariamente, os saberes psico-motores (saberes fazer) so mais rapidamente aplicados e testados. A definio de uma data para verificao de impactes decorrentes da formao no , assim, algo que possa ser pr-definido unilateralmente. Ser sempre algo resultante de um consenso entre o titular do posto de trabalho e as respectivas chefias hierrquicas.

Q3

Como planificar uma avaliao de 3 nvel?

A planificao das intervenes a realizar no mbito deste nvel de avaliao ser sempre orientada para a resposta s duas questes anteriormente colocadas: (1) os adquiridos foram aplicados nos contextos reais de trabalho? (remete sempre para mudanas concretas ao nvel dos comportamentos dos indivduos). Se sim, (2) verificaram-se melhorias dos desempenhos dos indivduos? Analisadas algumas das prticas das entidades que intervm neste nvel da avaliao, conclui-se que a preocupao reside apenas na aplicao de instrumentos de medio directa dos impactes decorrentes da formao, atravs da aplicao de questionrios nos quais so listados eventuais impactes que devem ser sinalizados pelos participantes na formao caso os mesmos se identifiquem com a situao descrita. No raras vezes, os resultados destas avaliaes apontam para resultados menos positivos, ou mesmo inexistentes, indiciando a ausncia total de impactes nos desempenhos dos indivduos que frequentaram a formao. A concluso que se

204

V. Fase III_P7

06/06/19

10:46

Page 205

afigura de imediato a que aponta para a ineficcia da formao, demonstrada pela dificuldade ao nvel da demonstrao dos respectivos resultados. Todavia, pode tratar-se de uma interpretao errada j que a no mobilizao das competncias pretendidas pode advir de outros factores alheios formao realizada. o que se procura alertar nas reflexes que se seguem, dedicadas sinalizao de factores que parecem contribuir, quando ausentes, para a ineficcia dos processos de transferncia. Estes factores surgem, normalmente, associados a grandes dimenses de anlise, a saber: Modelo de anlise da transferncia da formao

Fonte: Baseado em Baldwin e Ford, 1998; Donovan, Hannigan e Crowe, 2001; Holton, 1996, citados por MTSS/DEEP (2004), p.12

Vejamos seguidamente algumas prticas que podem inibir a aplicao dos adquiridos durante a formao: Prticas relacionadas com a concepo da formao Os formadores desconhecem a realidade empresarial em causa. Ausncia de estratgias formativas claras. Entrega de documentao no atempada e ajustada s necessidades de carcter mais operacional. Mtodos pedaggicos desajustados da realidade em presena. Sistemas de avaliao que apenas prevem a realizao de avaliaes sumativas sem qualquer possibilidade de reequacionamento de estratgias de interveno em momento oportuno (avaliao de carcter formativo). Ausncia de uma clara identificao de responsabilidades a assumir por cada agente interveniente na formao.

205

V. Fase III_P7

06/06/19

10:46

Page 206

Os perodos nos quais se vai desenvolver a formao no considera os timings da empresa. Aplicao de mtodos pedaggicos demasiados escolarizantes. Desenvolvimento de intervenes formativas excessivamente tericas. O formador no demonstra deter experincia profissional nas matrias em que se encontra a intervir. Desenvolvimento de contedos programticos no ajustados s necessidades dos postos de trabalho em causa. Quando a formao considerada de fraco valor acrescentado por parte dos formandos. Indisponibilidade da equipa de formao para a realizao de apoios aos formandos aps a realizao da formao. Definio de objectivos de formao irrealistas. Ausncia de colaborao efectiva entre os vrios intervenientes implicados directamente (ou com interesses indirectos) na formao. Ausncia de informao relativamente a graus de domnio de determinadas competncias, aferidas nos contextos de desempenho de partida.

Prticas relacionados com o contexto organizacional Ausncia ou fraco envolvimento dos gestores de topo aquando da implementao de projectos de formao no seio da organizao. A aprendizagem contnua, numa perspectiva de formao ao longo da vida, no uma actividade valorizada pela empresa. Ausncia ou ineficcia dos sistemas de comunicao/informao inter-agentes. Ausncia ou ineficcia dos sistemas de feedback. Aquando do regresso aos respectivos postos de trabalho os formandos so remetidos ou mantm as tarefas de rotina sem que haja qualquer possibilidade de desenvolvimento de novas e desafiantes actividades. A avaliao no contexto de trabalho no prev a verificao do perodo que medeia a formao e a aplicao dos conhecimentos. Fraca preparao das chefias intermdias para intervir ao nvel do desenvolvimento das competncias dos seus subordinados. Ausncia ou escassez de meios/equipamentos de suporte ao processo de transferncia. Processos de mudana apenas no topo/sem envolvimento dos restantes nveis. Insuficiente colaborao dos restantes colegas de trabalho. Fraco esclarecimento, junto dos que se deslocam para a formao, relativamente a objectivos e nveis de desempenho desejados. Fraco envolvimento das chefias directas ao nvel da identificao de necessidades de formao. Ausncia de reflexo prvia execuo da formao, relativamente ao tipo de impacto desejado para a formao a desenvolver. Ausncia de polticas formativas na organizao que visem a efectiva melhoria do desempenho dos indivduos, grupos e desempenho da organizao no seu todo.

206

V. Fase III_P7

06/06/19

10:46

Page 207

Prticas relacionadas com as caractersticas dos formandos Colaboradores que manifestam pouco interesse no desenvolvimento das respectivas competncias. Intervenes formativas junto de indivduos que durante perodos longos no realizaram quaisquer aces de formao. Reaco a processos de mudana/alterao de comportamentos, devido a hbitos j cristalizados. Fraco empenho dos ex-formandos na aplicao dos novos saberes devido a ausncia de sistemas que reconheam os desempenhos efectuados. Incapacidade do indivduo para transferir os novos saberes. Como podemos verificar, os aspectos referidos podem condicionar a eficcia do processo de transferncia aqui em anlise. Para que estas situaes no ocorram importa sensibilizar os vrios actores implicados nas mesmas para a realizao de um conjunto de procedimentos a realizar, antes, durante e aps a realizao da formao. Daqui facilmente se infere que:
Para que um processo de transferncia seja eficaz h que plane-lo antes da execuo da formao, reflecti-lo e potenci-lo durante a execuo da formao e promov-lo e dar-lhe apoio aps a execuo da formao.

!!

aqui que entra o jogo de actores referenciado por Broad e Newstrom (1992). Deve-se a estes autores a identificao dos principais intervenientes no processo de transferncia: as chefias (aos mais diversos nveis hierrquicos), os formadores e os formandos. Dos estudos efectuados resultou ainda uma matriz, actualmente aplicada aquando da planificao do processo de transferncia. Esta matriz permite identificar, com rigor e por tipo de interveniente, que estratgias de transferncia podem ser desenvolvidas, bem como respectivos momentos de aplicao. Com o desenvolvimento das abordagens de avaliao de carcter participativo, muito centradas na identificao dos actores com participao directa e/ou indirecta num determinado processo de avaliao, a matriz inicialmente proposta por Broad e Newstrom (1992) evolui para a identificao de outros intervenientes, assim como respectivas formas de interveno, aquando da preparao e implementao dos processos de transferncia. Tambm a tendncia para uma maior focalizao no processo formativo, e consequentemente, a aplicao de estratgias de correco e/ou auto-regulao de planos de interveno pr-definidos, acarreta, do ponto de vista da preparao de planos para transferncia de aprendizagens, a mobilizao de novos actores. Da reflexo efectuada em torno das questes da transferncia resultou a seguinte matriz que permite identificar actividades-chave a desenvolver por cada um dos actores em cada momento da formao:
Actores/Intervenientes no processo de transferncia Chefia directa Formador Formando Outros actores/intervenientes Antes da formao Durante a formao Aps a formao

207

V. Fase III_P7

06/06/19

10:46

Page 208

Vrios estudos foram entretanto realizados, nos quais foi possvel aplicar a matriz supra-referida, tendo resultado que, a eficcia do processo de transferncia se deve, em larga medida, articulao desenvolvida entre os vrios actores com interveno a montante, durante e a jusante da realizao da formao. Tais estudos permitiram concluir ainda que, essa articulao promove a definio de estratgias que visam facilitar a aplicao, em situaes profissionais reais, dos adquiridos durante a formao (ver instrumentos de apoio ao presente processo). Um exemplo da articulao referida a realizao da designada entrevista de sada que se sugere, ocorra entre candidato formao e respectiva chefia directa, antes do incio da formao. Apresenta-se seguidamente as caractersticas desta abordagem:

A ENTREVISTA DE SADA PARA A FORMAO comum verificar-se a sada dos indivduos do posto de trabalho para a formao sem que ocorra quaisquer trocas de informao, mais pormenorizadas, entre chefia e colaborador, no sentido de ambos abordarem o interesse e os objectivos da formao propostos. A troca de ideias sobre a formao ocorre, com maior frequncia, aps a execuo da formao. O que se prope de seguida a realizao de uma entrevista de sada na qual participam o candidato formao e o respectivo responsvel hierrquico, responsabilizando-se este ltimo pela dinamizao da sesso: Caractersticas da abordagem Trata-se de uma abordagem que permite: focalizar o colaborador nos resultados a alcanar e, consequentemente, nos saberes considerados chave que permitam alcanar posteriormente os objectivos de desempenho pretendidos; aferir do interesse da mesma para o desenvolvimento de competncias do colaborador; apreciar conjuntamente o potencial da interveno formativa em termos de respectivo contributo para a concretizao dos objectivos estratgicos da organizao; informar sobre eventuais sistemas de incentivo e reconhecimento associados s iniciativas/alteraes propostas decorrentes da participao do colaborador na aco de formao. Factores crticos de sucesso da abordagem: co-responsabilizar os vrios intervenientes no processo (colaborador, chefia directa...) na concretizao de compromissos entretanto assumidos; criar um ambiente no qual seja promovida a participao e envolvimento dos inquiridos nas decises que digam respeito ao desenvolvimento profissional do indivduo na organizao; garantir que as questes da entrevista incidam sobre aspectos susceptveis de serem considerados por ambas as partes; esclarecer as responsabilidades de ambas as partes no que diz respeito ao desenvolvimento/acompanhamento do projecto formativo.

208

V. Fase III_P7

06/06/19

10:46

Page 209

Apresenta-se seguidamente uma proposta de guio para a realizao de uma entrevista de sada: Guio de apoio a entrevista de sada Data de realizao do curso: _______ /_______ /_______ Data de realizao da entrevista: _______ /_______ /_______ Nome do participante na formao: ______________________________________________________________________ Local onde foi realizado o curso:__________________________________________________________________________ Entidade responsvel pela realizao do curso: _____________________________________________________________
Utilidade da formao desenvolvida Qual a utilidade da formao para o potencial formando? Qual a utilidade da formao para a organizao? Qual o contedo programtico a desenvolver? Em que medida o mesmo respeita as necessidades pr-identificadas? As cargas horrias ajustam-se s necessidades a suprir pela formao? Que razo justifica a opo pelo colaborador em causa? Aspectos sobre os quais o potencial formando dever focalizar a respectiva ateno Quais as situaes problemas a ter presente aquando da realizao da formao? Em que medida pode a aco de formao contribuir para a resoluo das situaes problema previamente identificadas? Haver necessidade de desenvolver medidas complementares? Que condies devero estar reunidas aquando do regresso do colaborador ao respectivo posto de trabalho? Qual o papel da chefia aps o regresso do respectivo colaborador? O que se espera que seja o desempenho do colaborador aps o regresso da formao? O que se espera que mude, concretamente?

Adequao do contedo programtico a desenvolver s necessidades do contexto de trabalho

Razes que tiveram na base da escolha do colaborador X Levantamento de situaes problema especficas

Outras medidas complementares necessrias resoluo das situaes problema (se necessrias) Preparao do local de trabalho aps a realizao da formao Apoio a fornecer por parte da chefia

O desempenho esperado

No final da reunio supra referida recomenda-se que o candidato formao fique suficientemente informado quanto aos resultados a produzir aps a realizao da formao. Por forma a facilitar a monitorizao do respectivo percurso formativo, assim como a focalizao nos saberes crticos a desenvolver, recomenda-se que seja construdo o que aqui se designa de mapas de impacte (usando a terminologia de Robert Brinkerhoff, 1994). Este instrumento tambm pode ser construdo imediatamente aps o incio da formao, que neste caso possibilitaria ao formando verter para o instrumento informao relativa a impactes esperados , informao imprescindvel na preparao de uma avaliao de 3 e 4 nveis

209

V. Fase III_P7

06/06/19

10:46

Page 210

A ttulo exemplificativo, apresenta-se de seguida uma estrutura possvel para a construo de um Mapa de Impactes:

Saberes crticos a desenvolver/Competncias crticas a desenvolver (caso a formao permita a sua demonstrao ainda durante a realizao da formao)

Em que actividades/ /tarefas prevejo vir a mobilizar os saberes a adquirir/desenvolver com a formao?

Que resultados so os esperados com a aplicao dos saberes a adquirir/desenvolver com a formao? (resultados individuais)

Em que indicadores de resultados da organizao a formao pode ter maior impacto?

Fonte: adaptado de Brinkerhoff & Apking, 2001

A realizao de uma formao de qualidade no significa, necessariamente, a concretizao posterior dos desempenhos esperados. Permite apenas dotar os participantes, numa determinada aco formativa, de um conjunto de ferramentas identificadas, partida, como indispensveis e necessrias execuo do desempenho desejado. Pela importncia que assume no mbito de um processo de avaliao dos impactos da formao, a fase da transferncia dever, assim, ser particularmente considerada e planeada, de forma a contribuir para a mxima apropriao e disseminao dos conhecimentos adquiridos/desenvolvidos durante a formao.

!!

Remete-se aqui o avaliador para os instrumentos disponibilizados para este processo, de entre os quais se destacam os instrumentos dirigidos aos actores centrais de um processo de formao que so aqui chamados a actuar antes, durante e aps a execuo da formao, no sentido de contriburem para a eficcia de processo de transferncia.

3.1 Que tcnicas podero ser utilizadas numa avaliao de 3 nvel?

Numa avaliao de terceiro nvel podemos utilizar diversas tcnicas sendo que umas so mais utilizadas que outras, dependendo do contexto em questo, assim como do tipo de caractersticas dos indivduos que participam na formao. Seguidamente so apresentadas algumas dessas tcnicas, sendo igualmente sinalizados os momentos recomendados para respectiva aplicao.

210

V. Fase III_P7

06/06/19

10:46

Page 211

Momentos de aplicao Tcnicas/abordagens a utilizar no mbito deste nvel de avaliao Entrevista de chegada (com participao do ex-formando e superior hierrquico) A realizao de um inqurito por questionrio a aplicar chefia directa Inqurito para auto-avaliao do ex-formando Monitorizao do painel de indicadores de desempenho relativos a execuo individual (superior hierrquico) Anlise de resultados decorrentes da aplicao de sistemas de avaliao do desempenho individual Triangulao de tcnicas de avaliao (recolha de dados junto de vrios actores: participantes na formao; superiores hierrquico x Imediatamente aps a concluso da formao x x x x x x x x Interveno aps algum tempo do trmino da formao (3, 6, 12 meses)

Considerando os vrios momentos para respectiva aplicao, sugere-se seguidamente uma anlise mais pormenorizada de cada uma das tcnicas/abordagens acima identificadas, com indicao de alguns factores crticos de sucesso associados respectiva operacionalizao:

A ENTREVISTA DE CHEGADA A participao em aces de formao que conduzam ao afastamento do colaborador do local de trabalho, durante um determinado perodo de tempo, exige que no momento do regresso ao trabalho seja efectuada uma troca de impresses sobre o valor acrescentado das aces desenvolvidas. Mais uma vez, recomenda-se que seja efectuado um balano sobre os eventuais adquiridos durante a formao e analisadas as expectativas de impacte da formao desenvolvida (voltar a analisar o Mapa de Impactos elaborado antes da execuo da formao). Como principais intervenientes no processo teramos, neste caso, a chefia directa e o participante na formao, sendo o primeiro responsvel pela dinamizao da sesso. Caractersticas da abordagem: Trata-se de uma abordagem que permite: efectuar um primeiro balano relativamente formao desenvolvida, designadamente, a sinalizao dos respectivos pontos fracos e fortes;

211

V. Fase III_P7

06/06/19

10:46

Page 212

aferir da possibilidade dos adquiridos poderem ser aplicados nos contextos de desempenho em causa; aferir conjuntamente das condies necessrias para a aplicao dos saberes em actividades/tarefas concretas; preparar o indivduo para a mxima aplicao e generalizao dos saberes adquiridos atravs da formao; focalizar o colaborador nos resultados a alcanar e, consequentemente, verificar a resoluo de situaes problema concretas; explorar, com maior pormenor, determinados aspectos da formao, no sentido da sua explorao em situaes reais de trabalho. Factores crticos de sucesso da abordagem: co-responsabilizar os vrios intervenientes no processo (colaborador, chefia directa...) na concretizao de compromissos entretanto assumidos; criar um ambiente no qual seja promovida a participao e envolvimento dos ex-formandos nas decises que digam respeito ao respectivo desenvolvimento profissional na organizao; garantir que as questes da entrevista incidam sobre aspectos que possibilitem elaborar, posteriormente, planos de aco que suportem a aplicao da formao recebida; esclarecer as responsabilidades de ambas as partes no que diz respeito ao desenvolvimento/acompanhamento dos planos de aco propostos.

A REUNIO DE ACOMPANHAMENTO Os objectivos a alcanar com a realizao desta reunio prendem-se com a aferio de alteraes nos comportamentos dos indivduos e, consequentemente, aferio de impactes ao nvel dos respectivos desempenhos. Mais uma vez, teramos aqui como intervenientes: o ex-formando e o respectivo superior hierrquico. Caractersticas da abordagem: Trata-se de uma abordagem a realizar algum tempo aps a execuo da formao, que permite: verificar/acompanhar a aplicao de planos de aco pr-estabelecidos; sinalizar eventuais dificuldades ao nvel da aplicao dos adquiridos pela via da formao; aferir eventuais impactos da formao no desempenho dos indivduos que participaram na formao e/ou noutros desempenhos, para os quais possa ter contribudo de forma significativa; sinalizar necessidades no colmatadas e/ou novas necessidades de desenvolvimento de competncias. Factores crticos de sucesso da abordagem: a data para realizao da reunio deve ser acordada entre as partes interessadas; a reunio deve centrar-se apenas nos desempenhos individuais que possam estar associados mobilizao de competncias adquiridas/desenvolvidas pela formao.

212

V. Fase III_P7

06/06/19

10:46

Page 213

O INQURITO POR QUESTIONRIO Trata-se de uma tcnica amplamente utilizada no mbito de uma avaliao de 3 nvel, diramos mesmo a mais utilizada na aferio dos impactos da formao ao nvel dos desempenhos dos indivduos que frequentaram determinada aco. O inqurito por questionrio pode ser aplicado a vrios actores, tais como: participante na formao; chefia directa; clientes finais dos servios/produtos prestados pelas organizaes nas quais se inserem os participantes na formao. Caractersticas da abordagem: , regra geral, aplicado aquando da presena de mais do que um indivduo participante na formao; a opo por este tipo de abordagem (questes maioritariamente fechadas) pode significar que se pretende informao pouco aprofundada; possibilita obter apenas as opinies dos inquiridos relativamente a eventuais impactos decorrentes da formao. Factores crticos de sucesso da abordagem: preparar os potenciais inquiridos antes do envio do instrumento de avaliao (informar acerca dos objectivos da avaliao; da confidencialidade dos dados fornecidos); construir o instrumento de avaliao com ponderao das questes relacionadas com as competncias-chave desenvolvidas; construir um instrumento de avaliao adequado ao nvel de compreenso dos inquiridos; estabelecer um tempo determinado para preenchimento do inqurito enviado; procurar garantir que o efeito de halo 20 seja minimizado; procurar saber se o instrumento a aplicar cobre todas as temticas abordadas na formao; num inqurito por questionrio podemos considerar uma variedade imensa de critrios avaliativos. O desafio est na construo de um inqurito que permita, no s uma focalizao nos aspectos que so centrais avaliar, como tambm o mximo de respostas possveis; construir inquritos claramente perceptveis pelos respectivos pblicos destinatrios (implica um cuidado particular ao nvel da construo das questes, assim como, sempre que possvel, simplificao de respostas); informar acerca de critrios de seleco de pblicos a quem ser aplicado o inqurito (no caso de se recorrer a uma amostra); elaborar uma carta de apresentao (assinada sempre que possvel por algum com influncia dentro da organizao); garantir que os elementos a inquirir (no caso dos participantes na formao) entendam a abordagem como uma oportunidade para a identificao de futuras aprendizagens/potencialidades ao invs de uma identificao de falhas no respectivo desempenho; aplicar esta tcnica num contexto organizacional que apela participao dos indivduos no seu prprio projecto de formao.
20. Verifica-se efeito de halo quando a opinio pessoal do avaliador sobre o formando o influencia na forma como o avalia.

213

V. Fase III_P7

06/06/19

10:46

Page 214

AS OBSERVAES DIRECTAS Tratam-se de abordagens aplicadas, com relativa frequncia, nas situaes em que a formao incide de forma significativa no desenvolvimento de dois tipos de saberes especficos: os saberes-fazer e os saberes comportamentais/relacionais. A respectiva aplicao implica a construo de grelhas que o avaliador utiliza para observar a mobilizao de determinadas competncias, neste caso, as previstas nos objectivos da formao realizada. As observaes recaem normalmente sobre dois tipos de actores: os participantes na formao; os clientes/utilizadores finais dos servios produtos/servios fornecidos pelos profissionais que participaram anteriormente na formao. Caractersticas da abordagem: trata-se de observar o desempenho do indivduo numa dada situao profissional (focalizao nos comportamentos desencadeados); apropriado, em regra, para observao de capacidades de natureza psicomotoras (saber-fazer); esta tcnica surge muitas vezes associada a outras tcnicas quantitativas e/ou qualitativas; pode ser efectuada por um observador externo (no relacionado com o contexto em observao), ou pela chefia directa; esta tcnica normalmente utilizada sempre que se decide recorrer abordagem do cliente mistrio. Factores crticos de sucesso da abordagem: exige a construo de uma grelha de observao, bem como a pr-identificao de padres/standards de desempenho desejveis; as observaes a efectuar devero estar relacionadas com as competncias desenvolvidas/adquiridas durante a formao; implica a preparao dos elementos que vo efectuar as observaes; o recurso a dois observadores sobre a mesma situao em anlise pode reduzir o nvel de subjectividade, regra geral, associado a esta tcnica.

O FOCUS GROUP O focus group constitui, igualmente, uma abordagem possvel a aplicar no contexto de uma avaliao de terceiro nvel, designadamente, nas situaes em que a formao incidiu sobre um conjunto de indivduos que apresentam o mesmo tipo de funes e que se encontram ligados a uma mesma organizao. A formao em tcnicas de venda pode ser um bom exemplo da situao descrita anteriormente.

214

V. Fase III_P7

06/06/19

10:46

Page 215

Mobilizar os comerciais (ex-formandos) para a respectiva participao numa reflexo conjunta, na qual seriam abordadas as questes relacionadas com os impactes da formao nos resultados individuais ou de grupo, poderia ser um exemplo do desenvolvimento de um focus group a considerar no contexto de uma avaliao de terceiro nvel. Caractersticas da abordagem: mobiliza vrios indivduos ao mesmo tempo, regra geral, envolvidos na mesma rea/domnio de trabalho. Factores crticos de sucesso da abordagem: informar o grupo acerca dos objectivos da sesso a realizar; implicar a chefia directa na organizao da sesso; triangular os resultados desta sesso com outras informaes, como, por exemplo, informaes recolhidas junto da chefia directa.

MONITORIZAO DO PAINEL DE INDICADORES DE DESEMPENHO INDIVIDUAL Uma actividade a realizar, a par das descritas anteriormente, traduz-se na monitorizao do painel de indicadores de desempenho relativos a execuo individual. Caractersticas da abordagem: trata-se de acompanhar a evoluo de indicadores de desempenho crticos associados produo dos resultados alcanados pelo indivduo que participou na formao. Factores crticos de sucesso da abordagem: sinalizar o conjunto de indicadores que possam medir o grau de eficcia do desempenho do indivduo; discusso desses indicadores em reunio a realizar entre chefia e colaborador, devendo os mesmos ser aceites por parte deste ltimo; a monitorizao a realizar deve incidir nos indicadores relacionados com os resultados a produzir, na sequncia da realizao da formao. Apresentam-se seguidamente alguns exemplos de instrumentos de apoio explorao das abordagens acima descritas:

Guio de apoio a entrevista de chegada

Pretende-se com o guio que seguidamente se apresenta, disponibilizar um conjunto questes aqui consideradas pistas para reflexo, que permita ao utilizador elaborar o seu prprio guio de entrevistas. Neste guio podero ser contempladas, obviamente, outras questes no sentido de o ajustar s caractersticas dos contextos em presena.

215

V. Fase III_P7

06/06/19

10:46

Page 216

Data de realizao do curso:_____ /_____ /_____ Data de realizao da entrevista:_____ /_____ /_____ Nome do participante na formao:________________________________________________________________________ Local onde foi realizado o curso:___________________________________________________________________________ Entidade responsvel pela realizao do curso:______________________________________________________________
Recapitulao relativamente ao ponto de partida Quais as competncias a desenvolver/adquirir durante a formao? Quais as expectativas iniciais face soluo formativa em causa? De forma muito sinttica, descreva o valor acrescentado da formao? Em que medida a formao conseguiu colmatar as necessidades pr-sinalizadas? Quais os saberes mais trabalhados durante a formao? Quais os saberes mais desenvolvidos na formao? (saberes cognitivos/saberes psicomotores/saberes relacionais?) Foram desenvolvidos os saberes pretendidos? Foram trabalhados, durante a execuo da formao, casos prticos/ prticas profissionais concretas? Que mtodos/tcnicas de avaliao foram aplicados? Com que resultados? Em que medida podem ser aplicados os saberes no contexto real de trabalho? Qual o valor estimado em termos de mais valias para a organizao, caso os saberes adquiridos/desenvolvidos sejam aplicados nas situaes reais de trabalho? Quais os momentos mais adequados para aplicar os instrumentos de avaliao Que tempo dever mediar o regresso do colaborador ao posto de trabalho e a aplicao do primeiro instrumento de avaliao?) Em que medida se sente preparado para aplicar os saberes adquiridos/desenvolvidos durante a formao? Que condies devero estar reunidas a montante da mobilizao dos saberes adquiridos? Que factores podem potenciar e/ou inibir a mobilizao de competncias pretendidas? Que actividades implementar de modo a assegurar o processo de transferncia? Que apoio ser necessrio efectuar por parte da chefia? Que apoio ser necessrio efectuar por parte dos colegas?

Valor acrescentado da formao

Natureza dos saberes desenvolvidos

Situaes problema concretas abordadas na formao Processos avaliativos efectuados

Potencial de transferibilidade de adquiridos para o respectivo contexto de trabalho

Momentos para efectuar as intervenes avaliativas

Anlise das condies necessrias para a mobilizao dos saberes adquiridos

Plano de interveno a curto prazo Apoio necessrio por parte da chefia Apoio por parte dos colegas

216

V. Fase III_P7

06/06/19

10:46

Page 217

Uma das actividades centrais a realizar aquando da execuo de uma entrevista de chegada a definio dos chamados objectivos de aplicao, ou seja, objectivos a definir que permitam alcanar os resultados individuais pretendidos. Devemos ter presente que a transferncia de saberes adquiridos pela formao nem sempre imediata e que os prprios objectivos individuais a alcanar podem exigir um planeamento faseado, de modo a facilitar o respectivo cumprimento por parte do ex-formando.

!!

Exemplo de estrutura de um dos Planos de Aco desenvolvidos de apoio ao processo de transferncia:

DOMNIOS DE INTERVENO RESULTADOS/ METAS A ALCANAR QUADRO DE REFERNCIA PARA INTERPRETAO DE RESULTADOS Identificar as reas para actuao prioritria (a identificar em conformidade com as expectativas de resultados da empresa de acolhimento/integrao profissional 21):

Resultados a alcanar em cada uma das reas de actuao prioritrias:

Qual o quadro de referncia com base no qual poder dizer que os resultados alcanados ficaram aqum, de acordo ou alm do esperado? (atender s expectativas de resultados 22 da empresa e impactes previamente definidos/objectivos pr-estabelecidos...):

Problemas/obstculos com os quais espera vir a confrontar-se

Solues/estratgias a implementar de modo a ultrapassar os problemas/obstculos sinalizados

21. Entenda-se aqui como empresa de acolhimento/integrao profissional o contexto organizacional de destino do indivduo que participou na formao. 22. Sempre que possvel os resultados aqui referenciados devem ser traduzidos em indicadores mensurveis

217

V. Fase III_P7

06/06/19

10:46

Page 218

RECURSOS NECESSRIOS

Que recursos humanos e materiais sero necessrios concretizao dos resultados previstos:

Timings para execuo Listar a sequncia de actividades (e respectivas tarefas) a desenvolver no sentido da concretizao dos resultados desejados. 1. 1.1. 1.2. 1.3. ACTIVIDADES A REALIZAR

2. 2.1. 2.2. 2.3. 3. 3.1. 3.2. 3.3. 4. 4.1. 4.2. 4.3.

Sinalizar eventuais custos para a empresa associados s medidas a implementar:

218

CUSTOS (OPCIONAL)

V. Fase III_P7

06/06/19

10:46

Page 219

COMPROMETIMENTO DO ESTAGIRIO COM O PLANO DE ACO PR-ESTABELECIDO

Data de incio da execuo das actividades: ______ / ______ / ______ Datas de reunies de progresso realizadas: ______/ ______ / ______ ______/ ______ / ______ ______/ ______ / ______ Assinatura do participante na formao _______________________________________ Assinatura do supervisor/chefia directa

_______________________________________

Fonte: Adaptado de Parry, 1997.

Inqurito a aplicar chefia directa

Passado algum tempo aps a execuo da formao, normal a chefia ser inquirida acerca dos progressos efectuados pelo colaborador que participou na formao. Apresenta-se seguidamente um exemplo de um inqurito a preencher imediatamente antes da data da reunio de acompanhamento/progressos. Identificao do curso/aco desenvolvida: __________________________________________________________________ Data de realizao do curso/aco desenvolvida: _____ /_____ /_____ Em que medida a formao desenvolvida surtiu impacte na actividade profissional do colaborador que participou na formao?
Actividades desenvolvidas pelo colaborador nos ltimos 6 meses Sinalize o grau* de aplicao dos adquiridos durante a formao na execuo das actividadesrealizadas 0 1. 2. 3. 4. 5. * Grau de aplicao: 0 Actividade realizada sem recurso aos novos saberes 1 Actividade realizada com aplicao de apenas parte dos adquiridos durante a formao 2 Actividade realizada com aplicao integral dos adquiridos durante a formao ** A preencher apenas quando o grau de aplicao dos novos saberes for 1 ou 2 1 2 Contributo** da formao para a concretizao dos objectivos de desempenho pr-estabelecidos Elevado Mdio Reduzido

219

V. Fase III_P7

06/06/19

10:46

Page 220

Identifique em que indicadores de desempenho individual a formao surtiu maior impacte:

Impacte da formao nos indicadores individuais de desempenho Impacte Impacte Impacte nulo ( ) reduzido ( ) significativo ( )

Indicadores de desempenho individual 1. Tempo mdio de resposta s solicitaes de clientes internos 2. Tempo mdio de resposta s solicitaes de clientes externos 3. Nvel de produtividade individual (ex: nmero de unidades produzidas, nmero de servios prestados...) 4. Grau de liberdade/autonomia na execuo do trabalho 5. Grau de eficcia na resoluo de problemas associados execuo da funo 6. Grau de cumprimento das regras de higiene e segurana no trabalho 7. Grau de cumprimento das regras/procedimentos associados execuo das actividades solicitadas 8. Grau de inovao introduzido no desenvolvimento das actividades solicitadas 9. Grau de eficcia na organizao de processos de trabalho 10. Grau de eficcia na gesto de recursos materiais e financeiros 11. Nvel de qualidade no desenvolvimento de produtos/servios 12. Taxa de desperdcios na execuo do trabalho 13. Grau motivacional na execuo do trabalho 14. Taxa de absentismo 15. Nvel de domnio das TIC (Tecnologias de Informao e Comunicao) 16. Grau de operacionalidade de equipamentos de trabalho especficos (ex: mquinas, tecnologias de produo especficas...) 17. Grau de adaptao a novas tcnicas e funes 18. (outros) ....

Justifique os impactes referenciando, sempre que possvel, evidncias concretas associadas aos mesmos (ex: nvel de produtividade aumenta de 5 para 7 unidades por hora):

220

V. Fase III_P7

06/06/19

10:46

Page 221

O responsvel pela orientao do trabalho do colaborador que se deslocou formao __________________________________

Data de preenchimento do presente inqurito: ____/____/____

Inqurito para auto-avaliao do formando

Para alm da proposta de reunio a realizar logo aps o regresso do colaborador ao respectivo posto de trabalho, so normalmente recolhidas outras informaes aps 3, 6 ou 1 2 meses, consoante a natureza da formao realizada. Sugere-se que este instrumento seja preenchido pelo participante na formao, antes da reunio de acompanhamento de progressos efectuados. Inqurito para auto-avaliao (a preencher pelo formando) Identificao do curso/aco desenvolvida: __________________________________________________________________ Data de realizao do curso/aco desenvolvida: ______ /______ /______ Data de realizao da auto-avaliao:______ /______ /______ No caso de ter mobilizado os novos saberes/competncias, que impacte tiveram ao nvel da melhoria do desempenho?
Actividades desenvolvidas nos ltimos 6 meses Sinalize o grau* de aplicao dos adquiridos durante a formao na execuo das actividades realizadas 0 1. 2. 3. 4. 5. * Grau de aplicao: 0 Actividade realizada sem recurso aos novos saberes 1 Actividade realizada com aplicao de apenas parte dos adquiridos durante a formao 2 Actividade realizada com aplicao integral dos adquiridos durante a formao ** A preencher apenas quando o grau de aplicao dos novos saberes for 1 ou 2 1 2 Contributo** da formao na concretizao dos objectivos de desempenho pr-estabelecidos Elevado Mdio Reduzido

221

V. Fase III_P7

06/06/19

10:46

Page 222

Relativamente s condies para aplicao/rentabilizao dos novos saberes:

Sim (x) 1. Foram disponibilizadas as condies necessrias mobilizao dos novos saberes/competncias 2. Necessito de maior apoio por parte da chefia directa 3. Necessito de maior apoio por parte dos colegas de trabalho 4. Necessito de formao complementar 5. Aguardo que surja uma oportunidade para mobilizar as novas competncias 6. Necessito de maior feedback relativamente ao trabalho j realizado 7. Necessito de maior informao sobre:____________________________________________________________________________ 8. Outras necessidades de apoio: _________________________________________________________________________________ No (x)

Reunio de acompanhamento/avaliao de progressos

Exemplo ilustrativo de uma grelha a aplicar numa reunio de acompanhamento, a realizar algum tempo aps o regresso do colaborador ao respectivo posto de trabalho. Data da reunio: ______ /______ /______ Elementos presentes: 1. 2. Actividades realizadas:

Sinalizao das principais competncias mobilizadas (espera-se com esta questo sinalizar algumas das competncias abordadas durante a formao):

Dificuldades/obstculos ao processo de transferncia:

222

V. Fase III_P7

06/06/19

10:46

Page 223

Resultados alcanados (enfoque na resoluo de situaes problema concretas):

Identificao de novas necessidades de formao (no caso de existirem)

Sinalizao de eventuais boas prticas (caso existam)

Recomendaes/sugestes:

Q4

Como generalizar as mais-valias da formao dentro da organizao?

A rentabilizao dos investimentos de uma interveno formativa no passa unicamente por assegurar a respectiva aplicao nos contextos reais de trabalho. A optimizao e multiplicao dos saberes adquiridos junto de vrios colaboradores/departamentos da organizao tambm um aspecto importante do processo de transferncia de adquiridos durante a formao. Neste caso concreto, trata-se de dar resposta s seguintes questes: Em que medida os saberes adquiridos atravs da formao so susceptveis de serem multiplicados e consequentemente apropriados no seio de outras equipas de trabalho? (multiplicao total ou apenas parcial de saberes). Como fazer perdurar no tempo os efeitos da formao realizada?

223

V. Fase III_P7

06/06/19

10:46

Page 224

Estas questes podem ser abordadas, por exemplo, na entrevista de chegada, a realizar imediatamente aps a concluso da formao. Sabemos, partida, que uma formao direccionada para o contexto intraempresa ter, eventualmente, maior probabilidade de ser explorada pelos indivduos que participam na formao, uma vez melhor formatada de acordo com as necessidades do cliente que a encomenda. A formao direccionada para um contexto interempresa, apresentando-se, regra geral, menos formatada para contextos organizacionais especficos, tender a dispersar um pouco mais os participantes na formao. No sentido de se perceber melhor a ideia acima exposta, sugere-se a anlise do esquema que se apresenta de seguida, no qual se poder analisar a curva da aprendizagem e a posterior quebra logo aps o regresso do colaborador ao posto de trabalho. O objectivo da reflexo que se segue, ser, pois, disponibilizar informao suficiente sobre possveis estratgias a aplicar no ps formao de modo a retirar o mximo partido da formao desenvolvida.

Manuteno da aplicao

c) Desenvolvimento da aco formativa

b) a)

Durao da aco formativa

Regresso ao trabalho

Do esquema apresentado retiram-se as seguintes ilaes: O trabalho realizado durante a execuo da formao assume uma importncia crucial ao nvel da preparao dos respectivos participantes para a futura aplicao dos saberes/competncias. Aqui assumem papel fundamental as prticas dos agentes que executam a formao, quando bem direccionadas para a demonstrao do modo como os saberes podem ser aplicados. Aps a aplicao dos adquiridos durante a formao importa desenvolver estratgias que possibilitem a respectiva optimizao e rentabilizao. O maior ou menor sucesso destas estratgias permite-nos posicionar no ponto c) ou a), respectivamente.

224

Reectir sobre conceitos

Demonstrao/ aplicao prtica

Reexo sobre resultados de prticas

Reexo sobre aprendizagens

Aplicao dos adquiridos

Optimizao/ rentabilizao dos adquiridos

V. Fase III_P7

06/06/19

10:46

Page 225

Preparando a prtica...

Apresentam-se, seguidamente, algumas actividades de apoio ao processo de disseminao/multiplicao de saberes dentro da organizao, a realizar pelo indivduo que participou na formao ou por outros elementos da organizao: Solicitar ao indivduo que elabore um plano de aco que facilite a aplicao e monitorizao dos adquiridos nos respectivos contextos de trabalho (exige colaborao com a chefia directa). Preparar o indivduo que participou na formao para a disseminao, junto de outros colegas de trabalho, dos saberes adquiridos, o que pode implicar o desenvolvimento das respectivas competncias pedaggicas. Manter as restantes reas funcionais, que podem ter interesse na formao desenvolvida, informadas sobre os objectivos e implicaes da formao. Facilita o alinhamento dos objectivos individuais de desempenho com os objectivos de desempenho do departamento ou organizao. Elaborao de ajudas ao trabalho nas quais sejam claramente explicitados os mtodos/tcnicas desenvolvidos durante a formao e que possam ter interesse para os restantes colegas de trabalho ou mesmo, outras equipas fora do departamento. Formalizar os conhecimentos dentro da organizao, ou seja, transformar os saberes individuais em saberes da prpria organizao, sempre que se tratem de saberes estratgicos para a organizao. Planear reunies de trabalho, entre colaboradores que se deslocaram formao, nas quais possam ser discutidas associadas aplicao dos saberes adquiridos pela formao, tais como, partilha de dificuldades, casos de sucesso na resoluo de eventuais problemas ou desafios e, eventualmente, sinalizao de novas necessidades de formao a contemplar em planos de formao subsequentes. Evitar concentrar as aces de formao numa nica altura do ano. O participante na formao necessita sempre de algum tempo para aplicar e monitorizar os adquiridos durante determinada aco de formao, nos respectivos contextos de trabalho, antes de passar aco seguinte.

!!
Q5

Investir em determinados saberes de modo a assegurar o seu desenvolvimento e permanncia na organizao, contribuir para uma maior sustentabilidade dos seus efeitos no seio dessa mesma organizao.

Qual o mbito de anlise de uma avaliao de 4 nvel (avaliao dos impactes da formao nos resultados da organizao)

Este nvel de avaliao providencia informao relativa ao impacte das intervenes formativas nos resultados da organizao. Importa aqui considerar que este nvel de avaliao pode acarretar processos morosos de recolha de informao necessria ao processo de avaliao.

225

V. Fase III_P7

06/06/19

10:46

Page 226

Referimo-nos necessariamente construo de um painel de indicadores de partida, associados a cada uma das reas funcionais da organizao, capaz de disponibilizar informao sobre a evoluo do respectivo desempenho. Este nvel de avaliao apresenta como questo central a seguinte: em que medida os desempenhos individuais demonstrados na sequncia da aplicao dos novos saberes/competncias resultaram em impactes positivos nos indicadores de desempenho da organizao? A resposta a tal questo pressupe de imediato que se conhea com exactido quais os resultados a alcanar pela organizao e de que forma os desempenhos individuais podem contribuir para o respectivo cumprimento. aqui que se comea a falar da construo de uma ferramenta comummente designada de mapa de impactes esperados associados a determinada aco de formao. O esquema que se segue permite demonstrar a relao a que se pretende fazer referncia:
A formao visa dar um contributo vlido para o cumprimento de alguns indicadores da organizao/departamento, pelo que procura desenvolver determinadas competncias crticas de suporte produo dos resultados desejados. Deve-se partir assim de uma noo clara do tipo de resultado pretendido

Resultado ao nvel do desempenho da organizao: Ex.: Conquistar 5% da quota de mercado concorrncia no produto CFV

Desempenho ao nvel dos indivduos: Ex.: aumentar as vendas individuais em 10%; angariar 10 novos clientes em 6 meses; aumentar a qualidade do servio ps-venda; aumentar a eficcia na aplicao dos procedimentos do servio de venda; (...) 3 nvel de avaliao

Que competncias devero ser adquiridas/desenvolvidas de modo a cumprir eficazmente os desafios acima colocados? Importa aqui garantir que se desenvolvam saberes/competncias crticos conducentes produo dos resultados desejados.

1 1 1 1

Resultados ao nvel do desempenho do departamento: Ex.: aumento do volume de vendas (5%) aumento do n de novos clientes (5%) diminuio do nmero de reclamaes cumprimento de normas/standards (reduo de no conformidades) maior nmero de objectivos alcanados maior grau de satisfao na assistncia ps-venda

1
4 nvel de avaliao

1
2 nvel de avaliao

226

V. Fase III_P7

06/06/19

10:46

Page 227

Q6

Que tipo de dimenses/indicadores organizacionais so os mais referenciados nas abordagens de nvel 4?

Em regra as questes relativas ao impacto da formao sobre os indicadores da organizao reportam-se a dimenses chave s quais so associados conjuntos de indicadores de medida:
Questo que relaciona a dimenso com a formao realizada Em que medida os indivduos so capazes de trabalhar mais rapidamente, com maior eficincia e com maior qualidade, na sequncia da realizao da formao? Dimenses sobre as quais pode incidir o processo de avaliao Produtividade e eficincia organizativa Exemplo de indicadores associados a cada uma das dimenses referidas Custo por unidade produtiva Custos directos/indirectos Custos de substituio de equipamentos/materiais Taxas de erro ndices de produtividade globais (reais versus oramentados) Taxas de produtividade hora/trabalhador, hora mquina... Prazo de resposta a solicitaes dos clientes Prazo de resoluo de reclamaes Prazo de lanamento de novos produtos Custo associado a manuteno de equipamento (reparao/substituio) ndice de rotao de stocks Grau de inovao introduzida em produtos/servios (...) Vendas por trabalhador VAB (Valor acrescentado Bruto) por trabalhador Volume de vendas (mensal/anual) Crescimento das vendas (mensal/acumulado) Crescimento das vendas (mensal/acumulado) Vs crescimento do mercado (mensal/acumulado) Vendas por unidade de negcio Margem de comercializao Valor dos contratos ganhos Quota de mercado Carteira de clientes Lucro por empregado

Em que medida a posio de mercado da organizao ficou melhor na sequncia da realizao da formao? Em que medida a formao contribuiu para uma maior estabilidade financeira da organizao?

Vendas/marketing e benefcios financeiros

x
227

V. Fase III_P7

06/06/19

10:46

Page 228

Em que medida a formao contribuiu para uma maior qualidade dos produtos/servios prestados pela organizao?

Qualidade de produtos e servios

Volume de devolues/Volume de negcios Tempo de aprovisionamento de produtos/servios Taxas de defeitos, perdas, refugos, erros ou retrabalhos Nmero de no-conformidades Obteno/manuteno dos nveis de qualidade Nmero de certificaes obtidas Imagem da empresa Nmero de procedimentos ou modos operatrios (formalizados, actualizados, verificados ou respeitados) Resultados de auditorias de acompanhamento implementao das medidas. Atrasos mdios nas decises Distribuio das decises pela hierarquia Nmero de solues adoptadas e implementadas aps propostas de grupos de trabalho Nmero de objectivos formalizados/nmero de objectivos avaliados Nveis de satisfao dos clientes (disponibilidade, qualidade e preo de mercadoria/servios) Rotao de clientes Grau de fidelizao de clientes Novos negcios resultantes de indicaes de clientes Mais/novos clientes ou mercados (p. ex. os contratos ganhos, emprstimos processados, financiamento concedido) Negcios perdidos Nmero de reclamaes e/ou devolues Acidentes (nmero, tempo perdido, custos de compensao, custo dos prmios) Incidentes crticos de segurana (nmero, custo) Violao de normas de segurana Tempo de resposta a acidentes Percepo dos colaboradores relativamente s condies de trabalho

Em que medida a formao facilitou o trabalho a desenvolver pelas chefias?

Gesto

Em que medida a carteira de clientes da organizao aumentou (ou respectivo grau de satisfao) na sequncia das intervenes formativas?

Clientes/utilizadores finais

Em que medida a formao contribuiu para uma melhor sade ocupacional e segurana no trabalho?

Sade ocupacional e segurana

228

V. Fase III_P7

06/06/19

10:46

Page 229

Em que medida a formao contribuiu para um maior desenvolvimento da organizao e da capacidade de interveno dos respectivos colaboradores?

Organizao e desenvolvimento

Taxa de desempenho da avaliao Desenvolvimento de perfis de competncias organizacionais para obter standards (Certificao, Acreditao, Licenas, Novos ambientes operacionais ou para a expanso da organizao) Nmero/percentagem de empregados com qualificaes certificadas Nmero de funes desempenhadas (polivalncia funcional) Promoes internas em resultado das competncias e do desempenho formativo Percepo dos colaboradores relativa formao e a oportunidades de desenvolvimento Articulao entre os recursos humanos, negcio e a estratgia da empresa Taxa de rotao de colaboradores ndice de admisses ndice de sadas Recrutamento (nmero, tempo e custos) Taxa de absentismo Greves/conflitos (nmero, custos ou tempo perdido) Nmero de sugestes dos colaboradores (submetidas e/ou implementadas) Satisfao e motivao dos colaboradores ndice de clima organizacional Participao em equipas Desempenho das equipas Investimentos em comunicao interna e sistemas de informao Implementao de novas prticas de trabalho Padronizao de prticas de trabalho Implementao/manuteno de uma cultura de servio Nmero de projectos interservios formalizados Nmero e natureza dos projectos realizados em cooperao

Em que medida a formao contribuiu para a melhoria do clima, cultura e prticas organizacionais?

Clima, cultura e prticas organizacionais

Em que medida as intervenes formativas promoveram a inovao e a criatividade?

Inovao e criatividade

Volume de negcios de novos produtos/servios Vs Volume de negcios total Resultados de negcios de novos produtos/servios Vs resultados de negcios total

Estes so apenas alguns dos indicadores susceptveis de serem considerados em estudos de impacte que incidam sobre o desempenho da organizao. Tal como referido inicialmente, este no ser aqui um dos nveis de avaliao a desenvolver, j que merece uma abordagem isolada e mais exaustiva, a desenvolver em futuras obras sobre a matria. Fica todavia uma mensagem que entendemos aqui central para a percepo das implicaes deste nvel de avaliao:

229

V. Fase III_P7

06/06/19

10:46

Page 230

!!

A realizao deste nvel de avaliao exige que a entidade beneficiria da formao construa previamente o seu painel de indicadores, propostos para acompanhamento permanente de modo a compreender as respectivas evolues/flutuaes. A montante da formao ser, pois, desejvel sinalizarem-se os indicadores de elevada correlao com as competncias propostas para a formao, ou seja, indicadores nos quais a formao pode vir a surtir impacte mais significativo. A realizar-se uma avaliao de 4 nvel, sero sempre estes os indicadores a merecer maior ateno. A sinalizao da expectativa de impactes decorrentes de outras medidas complementares que incidam sobre os mesmos indicadores permite compreender o contributo relativo da formao no total dos benefcios alcanados.

Exemplificando.... No exemplo que se segue apresenta-se um caso que visa abordar os vrios nveis de D. Kirkpatrick, disponibilizando uma abordagem integrada de modo a destacar as articulaes entre os mesmos.

Um caso...
Ao fazer o balano dos resultados organizacionais obtidos no final do ano, uma empresa de distribuio e manuteno de equipamentos elctricos depara-se com um painel de indicadores de desempenho aqum do desejado. De facto, quando comparados com os indicadores do ano anterior, verifica-se que houve uma ligeira quebra em trs dos indicadores chave da empresa: 1. Nmero de clientes da empresa 2. Grau de satisfao dos clientes finais dos servios/produtos fornecidos pela empresa 3. Volume de vendas Uma vez analisada a situao, decidiu-se que a empresa estaria em boas condies para recuperar as perdas verificadas j que o director da mesma tinha recentemente aprovado uma campanha de marketing que iria ser lanada no primeiro trimestre do ano. Esperava-se que esta medida viesse a surtir impacte significativo na angariao de novos clientes e, consequentemente, num maior volume de vendas. Afinal tinham atravessado uma poca de retraco generalizada nos negcios do sector sendo que as perdas observadas em nada tinham que ver com o domnio do Know-how e competncias internas dos respectivos colaboradores, j que a empresa continuava a ser bem cotada no mercado. Aproximando-se uma poca mais favorvel aos negcios da empresa esperava-se que a situao fosse rapidamente ultrapassada.

230

V. Fase III_P7

06/06/19

10:46

Page 231

A par deste investimento, decidiu-se igualmente sensibilizar os vrios colaboradores da empresa para a realizao de um maior esforo na prestao de eventuais servios/produtos que viessem a ser solicitados por parte dos novos clientes, sem que isso impedisse a resposta s solicitaes dos clientes que j tinham em carteira, o que iria exigir dos colaboradores da empresa uma maior capacidade para gerir eficazmente o respectivo tempo de trabalho de modo a no perderem quaisquer oportunidades. Paralelamente, a empresa definiu como objectivos a alcanar no final do primeiro semestre do ano, os seguintes: Aumentar a carteira de clientes (+ 10%) Garantir a satisfao total dos clientes contactados (Reduzir a zero as reclamaes dos clientes/manter o grau de satisfao dos clientes no nvel 4/5 (Bom/Muito Bom) Aumentar o volume de vendas (+ 5%) Tratando-se de um desafio exigente, o director da empresa verifica junto do director comercial a capacidade de resposta do respectivo departamento no cumprimento das metas propostas. Analisada a situao, ambos concluram que a equipa detinha as competncias necessrias ao cumprimento dos desempenhos exigidos, mas em sua opinio, algo poderia ainda ser efectuado no sentido de tornar a equipa ainda mais eficiente: a mesma deveria saber gerir e optimizar o respectivo tempo de trabalho. Na sequncia da sugesto do director comercial, o director da empresa chama o responsvel pela rea da formao e incumbe-o de organizar uma aco de curta durao extensvel s vrias equipas de vendas. Como competncias crticas a desenvolver atravs da formao, foram indicadas as seguintes: Aplicar tcnicas eficazes da gesto individual do tempo, com resultados positivos nos desempenhos a realizar. Diagnosticar de forma permanente as principais causas dos desperdcios de tempo e agir em tempo oportuno. Com o desenvolvimento das competncias acima descritas esperava-se que cada um dos 20 comerciais que integravam a equipa de vendas conseguisse alcanar os seguintes resultados: aumentar a respectiva capacidade de resposta em nmero de servios/produtos prestados respectiva carteira de clientes, contribuindo assim para o aumento global do volume de vendas da rea comercial; angariar pelo menos um novo cliente, com resultados fracamente positivos ao nvel da satisfao do mesmo face aos servios prestados. A preparao das intervenes formativas pretendidas exigiu que fossem desenvolvidas actividades que visavam facilitar: (1) o desenho do itinerrio formativo a desenvolver; (2) a seleco de contedos; (3) a elaborao de uma estratgia de avaliao a aplicar soluo pedaggica proposta.

231

V. Fase III_P7

06/06/19

10:46

Page 232

Plano Geral da formao a desenvolver: Competncia sobre a qual a formao pretende intervir (Informao obtida atravs de diagnstico de necessidades desenvolvido) Gerir o tempo de forma eficaz Objectivos de aprendizagem a desenvolver No final da aco os formandos devero ser capazes de: Obj 1 Diagnosticar as principais causas do desperdcio de tempo, mediante a aplicao de uma grelha construda para o efeito, elaborando para cada uma delas propostas de resoluo concretas. Obj 2 Aplicar tcnicas especficas de gesto do tempo, de acordo com a seleco proposta, capazes de contribuir para uma melhor organizao pessoal. Obj 3 Elaborar e aplicar grelhas para controlo e gesto do tempo, integrando todos os aspectos considerados crticos, associando s mesmas um plano para respectiva operacionalizao. Obj 4 Desenvolver atitudes/comportamentos que visem a optimizao do tempo de trabalho, no contexto de actuao de clientes internos/externos, respeitando princpios previamente estabelecidos; Contedos a desenvolver (a associar a cada um dos objectivos de aprendizagem previstos)
Obj 1 Diagnosticar as principais causas do desperdcio de tempo, mediante a aplicao de uma grelha construda para o efeito, elaborando para cada uma delas propostas de resoluo concretas 1. A gesto do Tempo 1.1. Noes gerais 1.2. A gesto do tempo perspectivada como actividade estratgica no desempenho profissional 1.3. O processo da gesto do tempo e os factores que condicionam a respectiva optimizao 2. As estratgias de planeamento do tempo 2.1. Trs actividades crticas: antecipar, planear e controlar 2.2. Agir atempadamente: criar e implementar planos de aco 2.3. Estabelecer, acompanhar e controlar medidas prioritrias 3. A implementao dos planos de aco 3.1. A agenda como instrumento fundamental na gesto do tempo 3.3. Como gerir de forma flexvel as estratgias definidas 3.4. Como reagir a inovaes/imprevistos exigidos pelo dia-a-dia 3.5. Instrumentos de apoio gesto do tempo grelhas de apoio gesto do tempo/mapas de registos e controlo de actividades

Obj 2

Aplicar tcnicas especficas de gesto do tempo, de acordo com a seleco proposta, capazes de contribuir para uma melhor organizao pessoal

Obj 3

Elaborar e aplicar grelhas para controlo e gesto do tempo, integrando todos os aspectos considerados crticos, associando s mesmas um plano para respectiva operacionalizao.

Obj 4

Desenvolver atitudes/comportamentos que visem a optimizao do tempo de trabalho, no contexto de actuao de clientes internos/externo, respeitando princpios previamente estabelecidos;

232

V. Fase III_P7

06/06/19

10:46

Page 233

Estratgia de avaliao: A efectuar sobre (1) a totalidade dos contedos da aco/mdulo formativo; (2) os objectivos associados a competncias consideradas crticas; (3) aspectos crticos associados ao processo de aprendizagem.
Actividades de avaliao a desenvolver Aplicao de uma grelha para auto-avaliao de comportamentos/atitudes (a aplicar antes e no final da formao). Realizao de entrevista colectiva, durante a execuo da formao, para apuramento de aspectos crticos relacionados com o processo formativo. Aplicao de inqurito para aferir reaco final dos participantes na formao. Preenchimento de relatrio com evoluo das aprendizagens dos formandos. Aplicao de instrumentos para auto-avaliao das aprendizagens . Aplicao de teste escrito com itens de resposta mltipla (final da formao). Conceber, durante a realizao da formao, um plano de aco para aplicar tcnicas de gesto do tempo, aquando do regresso ao posto de trabalho. Aplicao de inqurito por questionrio para aferio de impactos nos desempenhos dos ex-formandos. Aplicao de instrumento para auto-avaliao de desempenhos realizados. Realizao de reunio para acompanhamento de progressos/aferio de eventuais impactes da formao. Actor a implicar Formando Formando Formador Formando Formador Formando Formando Formando Formador Chefia directa Formando Formando Chefia directa

Obs: Note-se que aqui a estratgia remete claramente para a triangulao de dados. Visa-se assim, avaliar as aprendizagens segundo diferentes perspectivas, resultando, por um lado, numa maior credibilidade dos resultados e, por outro lado, num melhor conhecimento acerca do processo formativo em si. Quadro de referncia a ter em conta na avaliao das aprendizagens: Resultados aferidos na auto-avaliao inicialmente desenvolvida . Inqurito inicial por entrevista a chefias directas (aferio de expectativas de impactos nos contextos de trabalho). Objectivos de aprendizagens (exige construo de tabela de cotao para avaliar resultados do teste de conhecimentos - resultado positivo apenas com 70% de respostas certas avaliao de 2 nvel). Grelha de avaliao que permita avaliar a qualidade do plano de aco a desenvolver posteriormente no posto de trabalho (resultado positivo apenas se o plano contemplar especificaes previamente definidas avaliao de 2 nvel). Indicadores de desempenho pr-estabelecidos (individuais e de grupo).

233

V. Fase III_P7

06/06/19

10:46

Page 234

Uma vez preparada a aco formativa e definida a estratgia de avaliao a desenvolver, foi possvel preparar e sensibilizar os vrios grupos para a execuo da mesma. Esta preparao exigiu a mobilizao de vrios actores, tais como o director da empresa, o responsvel pela gesto dos recursos humanos, o responsvel pela realizao da formao, as chefias directas, os formadores/monitores e os participantes na aco. A estes actores foram atribudas as seguintes responsabilidades, a desenvolver antes, durante e aps a realizao da formao:
Antes da formao Director da empresa Financiar e apoiar a aco formativa a desenvolver. Sensibilizar para a importncia dos investimentos na formao serem canalizados para a concretizao das estratgias de negcio da empresa. Preparar sistemas de recompensas para reconhecimento de desempenhos individuais e de equipa. Definir estratgias de desenvolvimento dos recursos humanos da organizao. Durante a formao Dotar os postos de trabalho dos meios necessrios execuo dos desempenhos desejados. Aps a formao Garantir o alinhamento entre os vrios objectivos: organizacionais, de rea e individuais. Apoiar as chefias ao nvel da mobilizao das vrias equipas para a concretizao dos objectivos pr-definidos. Garantir a aplicao eficaz de sistemas de avaliao de desempenho; Acompanhar e contribuir para o desenvolvimento das competncias dos colaboradores da empresa Acompanhar a aplicao dos novos saberes nos contextos reais de trabalho. Criar e aplicar metodologias para aferir o contributo da formao ao nvel dos desempenhos dos indivduos, da rea e da empresa.

Responsvel pela gesto de recursos humanos

Garantir a aprovao da direco de topo face s propostas de sistemas de reconhecimento a efectuar.

Responsvel pela formao

Garantir que a estratgia de Aplicar sistemas de formao est alinhada com a monitorizao e controlo da estratgia da empresa. formao de modo a garantir o Mobilizar os vrios actores, cumprimento dos respectivos interessados nos resultados da objectivos. formao, para a implementao Garantir que os recursos de estratgias que facilitem a disponibilizados para a formao aplicao dos adquiridos nos so os mais adequados. contextos reais de trabalho.

234

V. Fase III_P7

06/06/19

10:46

Page 235

Chefia directa

Reunir com o candidato formao com vista elaborao do mapa de impactes esperados. Focalizar o candidato formao nos aspectos crticos a desenvolver durante a formao.

Sinalizar eventuais obstculos mobilizao das competncias desenvolvidas/adquiridas durante a formao. Contribuir para uma organizao do trabalho eficaz.

Realizar uma reunio com os colaboradores que participaram na formao, para preparar a aplicao dos adquiridos nos contextos reais de trabalho. Remover eventuais obstculos ao processo de transferncia. Acompanhar e incentivar a aplicao dos novos conhecimentos nas prticas profissionais dos seus colaboradores. Mostrar-se disponvel para retirar eventuais dvidas dos formandos aps a aplicao dos saberes. Inteirar-se de eventuais impactes decorrentes da formao.

Formador/ /monitor

Apreciar mapas de impacte em presena. Esclarecer sobre percurso formativo a efectuar e de que modo pode contribuir para o cumprimento dos objectivos de desempenho dos participantes na formao.

Focalizar os participantes na formao no cumprimento dos objectivos pretendidos; Expor os assuntos com clareza, efectuar exerccios prticos, dar feedback atempado aos formandos e reflectir no final sobre aquisies efectuadas durante a formao. Manter-se focalizado nos saberes crticos necessrios ao cumprimento dos desempenhos esperados. Participar activamente nas actividades pedaggicas propostas pelo formador/monitor.

Formando

Predispor-se a efectuar uma anlise crtica quanto ao estado da arte relativamente ao nvel de proficincia detido na mobilizao das competncias propostas na formao. Elaborar, conjuntamente com a chefia directa, o mapa de impactes da formao a desenvolver.

Rever o mapa de impactes esperado com a chefia directa. elaborar e implementar um plano de aco para aplicao dos novos saberes. Avaliar progressos passados dois meses do regresso ao posto de trabalho.

Relativamente aos instrumentos utilizados na formao acima descrita, destacam-se aqui os seguintes: o mapa de impactes da formao concebido antes de realizao da formao; a grelha de avaliao que permitiu aferir o nvel de entrada dos formandos (grelha igualmente utilizada para auto-avaliao dos formandos passado algum tempo do trmino da formao); o plano de aco de apoio fase da transferncia dos adquiridos para os contextos reais de trabalho. Principais concluses a retirar do caso supra apresentado: 1. A formao no se esgota em si mesma. Antes pelo contrrio, dever ser totalmente direccionada para as necessidades de desempenho dos que nela venham a participar. As avaliaes diagnsticas assumem aqui um papel fundamental.

235

V. Fase III_P7

06/06/19

10:46

Page 236

Apresenta-se seguidamente um exemplo de uma grelha de apoio auto-avaliao do formando (teste de entrada) e posterior avaliao de follow/up (teste para averiguar alteraes nos comportamentos dos ex-formandos) para aferio de prticas dos participantes em matria de gesto do respectivo tempo. Os resultados da aplicao deste instrumento sero posteriormente apreciados pelo formando e respectiva chefia. Escala: NR (no realiza)/PF (Pouco frequente)/MF (Muito frequente)
Grau de frequncia

Actividades a implementar
Define diariamente as prioridades para execuo das tarefas a realizar D prioridade s actividades/tarefas de maior grau de dificuldade Rene as condies necessrias antes da execuo das actividades/tarefas Planeia no final de cada dia, as actividades/tarefas a realizar no dia seguinte Afere, no final de cada dia, da eficcia das tcnicas de gesto de tempo aplicadas de modo a corrigir eventuais desvios face aos objectivos propostos Delega (sempre que possvel) as tarefas que no se relacionem com as prioridades pr-estabelecidas Agenda as actividades a realizar de modo a optimizar o dia de trabalho Controla a agenda de modo a cumprir os compromissos de trabalho assumidos Prev alguns momentos do dia para realizar pequenas reflexes sobre os resultados alcanados Redefine tempos associados a actividades/tarefas sempre que necessrio Decompe as actividades em tarefas e atribui-lhes um tempo especfico Rev os objectivos a alcanar com a respectiva chefia, sempre que necessrio Identifica conflitos existentes entre prioridades pr-definidas e prioridades de outros colegas e/ou outros departamentos Define prioridades de execuo para os assuntos considerados importantes e urgentes Rev as prioridades em funo das informaes que vai obtendo Remete para segundo plano aces no prioritrias, sempre que esteja a tratar de assuntos importantes e/ou urgentes (ex: no atender por algum tempo o telefone, evitar receber pessoas no directamente relacionadas com as actividades/tarefas em execuo) Identifica os momentos do dia em que produz mais, deixando as tarefas mais difceis para esses momentos

NR

PF

MF

236

V. Fase III_P7

06/06/19

10:46

Page 237

Gere o tempo de modo a efectuar algumas pausas durante o dia para renovao de energias Negoceia, sempre que possvel, os horrios de trabalho. A realizao de determinadas tarefas pode exigir, por vezes, flexibilidade de horrios Escolhe uma agenda que melhor responde s necessidades de trabalho (electrnicas/em papel...) Mantm a agenda sempre actualizada Efectua o planeamento de actividades/tarefas para realizao no curto-prazo Intercala (sempre que possvel) actividades que gosta mais, com actividades que menos aprecia Sinaliza eventuais obstculos execuo das actividades/tarefas a realizar e equaciona medidas concretas para os ultrapassar; Mantm na secretria apenas os documentos que dizem respeito aos assuntos que est a tratar no momento; Classifica todos os documentos de trabalho e organiza-os no espao de modo a tornar os mais urgentes mais fceis de aceder; Arquiva os documentos que dizem respeito a projectos j terminados; Desfaz-se, com frequncia, dos documentos que j no fazem falta; Reencaminha as chamadas para o secretariado existente; Selecciona a informao que diariamente lhe chega em funo do trabalho que est a realizar; Recorre a instrumentos informticos sempre que os mesmos contribuam para uma melhor gesto das actividades/tarefas a realizar; Determina um tempo especfico a cada ponto da ordem de trabalhos de reunies a realizar, sistematizando as principais decises no final da mesma.

Nesta grelha podem ser sinalizados nveis de relevncia distintos quando analisados os comportamentos em presena. Da prtica, pode concluir-se que, para a concretizao de determinada situao profissional a manifestao de determinados comportamentos so mais importantes que outros. Neste caso, podemos distinguir os comportamentos em anlise mediante a introduo de ponderaes, que visam atribuir um peso ou importncia distintos aos mesmos. Vejamos o seguinte exemplo:

237

V. Fase III_P7

06/06/19

10:46

Page 238

Escala: 1 Comportamento inexistente 2 Comportamento pouco frequente 3 Comportamento muito frequente

Escala de classificao Escala de classificao 1. Define diariamente as prioridades para execuo das tarefas a realizar 2. D prioridade s actividades/tarefas de maior grau de dificuldade 3. Rene as condies necessrias antes da execuo das actividades/tarefas 4. Planeia no final de cada dia, as actividades/tarefas a realizar no dia seguinte 5. Afere, no final de cada dia, da eficcia das tcnicas de gesto de tempo aplicadas de modo a corrigir eventuais desvios face aos objectivos propostos 6. Delega (sempre que possvel) as tarefas que no se relacionem com as prioridades pr-estabelecidas (...) Ponderao 10 0 0 5 0 1 2 3

Em termos de tratamento, no caso do comportamento n 1 caso a resposta fosse 3 (comportamento muito frequente), na final teramos como classificao 30 (10x 3). Ateno que a distribuio das ponderaes dever totalizar 100% do valor previsto para este caso: 100 pontos a distribuir assimetricamente pelos vrios comportamentos em presena. Podemos recorrer a valores absolutos ou a percentagens. Este exerccio ser sempre til na identificao da gravidade do gap existente entre a manifestao de um comportamento real e o comportamento desejado. Desta forma o avaliador poder sinalizar com maior facilidade o conjunto de competncias crticas (supostamente de maior impacte nos resultados desejados) a desenvolver prioritariamente pela formao.

2. A preparao e execuo da formao no responsabilidade apenas dos que intervm profissionalmente neste domnio. Os bons resultados da formao decorrem sempre das sinergias criadas entre os actores no sentido da concretizao dos resultados e impactes previstos aos mais diversos nveis. O esquema que se segue permite uma percepo mais clara das articulaes entre as vrias responsabilidades referidas:

238

V. Fase III_P7

06/06/19

10:46

Page 239

Viso sistmica da gesto de recursos humanos numa organizao:

Fonte: adaptado de Parry 1997

3. Uma estratgia de avaliao consiste num instrumento de suporte preparao e execuo da formao, que permite controlar/monitorizar e avaliar a concretizao da cadeia de impactes esperados. Esta ideia representada no esquema apresentado seguidamente.

239

V. Fase III_P7

Indicadores organizacionais a alcanar:

Reduzir a zero as reclamaes dos clientes/ /manter o grau de satisfao dos clientes no nvel 4/5 (Bom/ /Muito Bom) reconhecer bons desempenhos

Competncias crticas de elevado impacte nos desempenhos dos indivduos: Desenvolvimento da formao: Transferncia dos adquiridos

Garantir a satisfao total dos clientes contactados Indicadores de desempenho dos indivduos

Aumentar o volume de vendas (+ 5%) aumentar nmero de servios/produtos prestados

Focalizao no desenvolvimento de saberes/ /competncias susceptveis de criar impactes reais nos desempenhos esperados

Mobilizao de saberes/ /competncias que se estima poderem surtir maior impacte nos resultados desejados

Criar mecanismos que garantam uma maior durabilidade da aplicao das competncias nos contextos reais de trabalho

7
Ex-formandos: recorrer a ajudas ao trabalho aplicar sistemas de auto-avaliao

Diagnosticar de forma permanente as principais causas de eventuais desperdcios de tempo e agir em tempo oportuno

Esquema que permite verificar o alinhamento dos objectivos da formao com as metas/objectivos da organizao

angariar pelo menos um novo cliente, com resultados fracamente positivos ao nvel da satisfao do mesmo face aos servios prestados

Avaliar Impactes

Aplicar tcnicas eficazes ao nvel da gesto individual do tempo, com resultados positivos nos desempenhos a efectuar

Aumentar a carteira de clientes (+ 10%)

Aumentar o volume de vendas (+ 5%)

76

240
Superiores hierrquicos: Indicadores do departamento comercial apoio explcito transferncia remoo de obstculos aos desempenhos esperados Aumentar a carteira de clientes (+ 10%)

06/06/19 10:46

Page 240

V. Fase III_P7

06/06/19

10:46

Page 241

4. A elaborao de planos de apoio ao processo de transferncia desejado permite centrar o ex-formando na mobilizao das competncias que verdadeiramente permitem gerar o impacte desejado. A aferio dos impactes da formao numa fase posterior execuo da formao no pode ser perspectivada como uma actividade separada do contexto da formao realizada. Antes, deve ser algo pensado antes da formao de modo a posicionar estrategicamente os vrios actores nos respectivos papis de modo a criarem as sinergias necessrias concretizao dos objectivos desejados.

No final da entrevista de chegada sugere-se que sejam elaborados planos de aco concretos com vista aplicao dos adquiridos durante a formao:
Nome do colaborador Data de sada para a formao Data de regresso ao local de trabalho Designao da aco de formao efectuada Designao do fornecedor da forma Antnio Santos 01/02/2005 07/02/2005 Mtodos e tcnicas de apoio a uma melhor gesto do tempo. FormaXC, Lda.

O que se pretende alcanar em termos de resultados individuais? A elaborao de um plano de aco remete o colaborador e respectiva chefia para a anlise das necessidades que conduziram o colaborador formao. Trata-se, novamente, de colocar em cima da mesa os principais objectivos pretendidos para a formao, uma vez consideradas as necessidades do posto de trabalho em causa. Reflecte-se aqui mais uma vez sobre: o que dever ser alterado em termos de comportamentos individuais e quais os resultados a alcanar. Fica desde logo acordado que dever-se-: Optimizar as reunies de trabalho, de modo a efectuar todas as decises necessrias ao cumprimento dos objectivos dirios de produtividade. Planificar reunies de trabalho de modo a no exceder hora e meia de reunio. Efectuar a agenda diria de trabalho distinguindo tarefas importantes de tarefas urgentes. Executar as respectivas tarefas de acordo com prioridades pr-definidas. Introduzir melhorias permanentes nas respectivas prticas de gesto do tempo. Como se pode verificar, os resultados sinalizados inserem-se na esfera de desempenho individual do colaborador e remetem para desempenhos especficos esperados.

241

V. Fase III_P7

06/06/19

10:46

Page 242

Que tipo de saberes necessrio mobilizar de modo a alcanar os resultados pretendidos? Os saberes considerados fundamentais foram os seguintes: Saber decidir estrategicamente sobre as prioridades em termos de execuo de actividades concretas. Saber aplicar regras especficas para reduo de tempo de produo de tarefas/operaes. Saber identificar e corrigir comportamentos causadores de desperdcio de tempo. Saber demonstrar capacidade de organizao pessoal. Saber definir objectivos dirios para cumprimento de tarefas especficas. Saber aplicar tcnicas/ferramentas especficas de apoio gesto do tempo.

Que estratgias desenvolver de modo a cumprir os objectivos pretendidos? concretizao de determinados desempenhos esto sempre associadas estratgias de aco distintas. Devemos aqui ter presente que cada indivduo age de forma diferente e mobiliza os seus saberes, igualmente, de forma diferenciada. As estratgias acordadas foram ento as seguintes: Estabelecer prioridades aferindo um grau de importncia aos resultados pretendidos. Quando analisados os resultados pretendidos os mesmos foram ordenados de acordo com as seguintes prioridades de aco: 1 Efectuar a agenda diria de trabalho distinguindo tarefas importantes de tarefas urgentes. 2 Planificar reunies de trabalho de modo a no exceder hora e meia de reunio. 3 Optimizar as reunies de trabalho de modo a efectuar todas as decises necessrias ao cumprimento dos objectivos dirios de produtividade. 4 Executar as respectivas tarefas de acordo com prioridades pr-definidas. 5 Introduzir melhorias permanentes nas respectivas prticas de gesto do tempo. Efectuar pontos de situao de trs em trs meses. Efectuar uma reunio para preparar a disseminao de eventuais boas prticas ao nvel de outras equipas de trabalho.

242

V. Fase III_P7

06/06/19

10:46

Page 243

Quando apresentar resultados? Esta questo pressupe uma efectiva negociao entre colaborador e respectivas chefias. Pressupe ainda a realizao de uma reflexo acerca das condies necessrias execuo das actividades/tarefas solicitadas. Fica, ento, acordado que na primeira reunio de acompanhamento devero ser j sinalizados resultados concretos resultantes da aplicao das tcnicas de gesto do tempo adquiridas/desenvolvidas pela via da formao.

Como e quando sero acompanhados e avaliados os resultados? Fica decidido entre ambas as partes que, as reunies de balano e avaliao do processo de aplicao dos adquiridos pela via da formao realizar-se-o da seguinte forma: Realizao da 1 reunio de acompanhamento: 18 de Abril. Realizao da 2 reunio de acompanhamento e aferio de resultados: 11 de Julho. Relativamente estratgia de acompanhamento, a mesma dever traduzir-se do seguinte: Realizao de duas reunies de acompanhamento nas quais ser aplicada uma grelha que visa reunir informao sobre o cumprimento dos objectivos de aplicao 23, assim como a sinalizao de eventuais obstculos ao processo de transferncia. Aplicao de uma grelha para auto-avaliao por parte do colaborador. A avaliao a efectuar ter como referente de base o desempenho padro pr-identificado por ocasio do diagnstico de necessidades de formao.

Podem ser sinalizados, nesta fase, eventuais obstculos ao processo de transferncia? Se sim, diga quais, assim como respectivas estratgias para os ultrapassar? Ficou registado que haveria necessidade de serem equacionadas outras medidas de apoio aplicao das tcnicas de gesto do tempo acordadas, tais como: a disponibilizao de todo o material de apoio necessrio a uma melhor gesto documental associada ao local de trabalho em causa; a elaborao de determinadas regras a cumprir aquando da realizao de reunies de trabalho (ex: os colegas mobilizados para as reunies devem cumprir os horrios para realizao das mesmas e devem trazer o trabalho de casa efectuado sempre que tal lhes for solicitado).
23. Os objectivos de aplicao aqui referenciados podem ser objectivos que remetem para resultados intermdios ou finais. Tratando-se de objectivos finais exigentes, importa repartir o resultado final em resultados intermdios a alcanar pelo ex-participante na formao, de modo a facilitar o respectivo processo de acompanhamento/monitorizao.

243

V. Fase III_P7

06/06/19

10:46

Page 244

V. Fase III_P7

06/06/19

10:46

Page 245

Instrumentos de apoio ao processo

V. Fase III_P7

06/06/19

10:46

Page 246

Instrumento de apoio n 16
FICHA TCNICA Objectivos: O presente instrumento visa apoiar o utilizador na verificao das condies consideradas necessrias e crticas ao processo de transferncia de adquiridos durante a formao. Contextos e momentos de aplicao: Construdo para ser aplicado no momento da deciso sobre a execuo do 3 nvel de Donald Kirkpatrick (avaliao das transferncias dos adquiridos durante a formao) Quem o pode utilizar: Os actores chamados a decidir sobre a eventual realizao do 3 nvel de avaliao.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar

Sim (x)

No (x)

Em parte (x)

1. So suficientemente conhecidos os pontos de partida da formao, designadamente, a posio inicial dos formandos, relativamente ao domnio das competncias contempladas pela formao desenvolvida? 2. Foi possvel acompanhar a execuo da formao? 3. As informaes reunidas sobre a aco/curso de formao desenvolvida permitem caracterizar suficientemente a formao realizada? 4. So conhecidas as caractersticas dos contextos nos quais se espera que a formao surta efeito? 5. Foi recolhida, durante a formao desenvolvida, informao sobre as possibilidades de aplicao dos adquiridos durante a formao? 6. Os actores do contexto, em que a formao pode vir a ser aplicada, foram devidamente informados sobre a importncia da sua participao/colaborao no processo de transferncia? 7. Os participantes na formao demonstraram claro interesse e motivao para a aplicao dos adquiridos durante a formao? 8. possvel aferir, no final da formao, o grau de impacto esperado da formao desenvolvida?
Nota: caso a maioria das questes obtenha resposta negativa, importa reflectir se valer a pena avanar para uma avaliao do 3 nvel.

246

V. Fase III_P7

06/06/19

10:46

Page 247

Instrumento de apoio n 17
FICHA TCNICA Objectivos: Este instrumento visa apoiar o formador/monitor na implementao de estratgias que contribuam para a eficcia do processo de transferncia de adquiridos associado a determinada interveno formativa. Contextos e momentos de aplicao: Pode ser aplicado como (1) checklist de apoio ao desenvolvimento das estratgias propostas medida que a formao se vai desenrolando; (2) checklist a utilizar em processos de auto-avaliao; (3) checklist de apoio a sistemas de auditoria internos. Pode ser aplicado antes, durante e aps a execuo da formao. Quem o pode utilizar: Formador/monitor, coordenadores de formao ou auditores internos. Sinalizar com ( ) as actividades realizadas.
Estratgias a aplicar por parte do formador/monitor Antes da execuo da formao: 1. Concebe e desenvolve contedos formativos com base numa prvia identificao das competncias a desenvolver 24 2. Afere da existncia e/ou implementar avaliaes de carcter diagnstico de modo a conhecer suficientemente bem o ponto de partida do participante em termos de domnio de determinados saberes 3. Discute (sempre que possvel) os contedos programticos com chefias directas/supervisores interessados na formao a realizar 4. Analisa conjuntamente com os participantes na formao, as propostas pedaggicas a executar, particularmente, os objectivos de aprendizagem pretendidos e metodologias de avaliao a aplicar 5. Facilita o processo de auto-avaliao a realizar por parte dos participantes na formao Durante a execuo da formao: 6. Desenvolve as estratgias pedaggicas de acordo com os princpios da aprendizagem de adultos 7. Recorre a metodologias formativas centradas na anlise de situaes problema (articulao com situaes relacionadas com o trabalho a executar posteriormente) 8. Tem presente o perfil de competncias que se est a trabalhar, designadamente as respectivas competncias chave ou core 9. Fornece ajudas ao trabalho visando, a aplicao das aprendizagens adquiridas/desenvolvidas 10. Desenvolve a formao com claro enfoque no formando, designadamente nas respectivas necessidades a colmatar 11. Garante a integrao/consolidao de saberes por parte dos participantes na formao 12. Disponibiliza suportes pedaggicos de qualidade e com forte pendor instrumental 13. Efectua avaliaes de progresso/aferio da satisfao com resultados entretanto alcanados 14. Prepara o formando para a fase da transferncia das aprendizagens para o respectivo posto de trabalho (implica sinalizar e/ou construir conjuntamente estratgias que possam ajudar a ultrapassar eventuais obstculos que se colocam ao processo de transferncia)
24. Actividade a realizar em articulao com os coordenadores pedaggicos.

x
247

V. Fase III_P7

06/06/19

10:46

Page 248

Aps a execuo da formao: 15. Acompanha a implementao de eventuais planos de aco que visem a transferncia dos adquiridos da formao para os contextos reais de trabalho (se possvel) 16. Informa (caso seja possvel) os supervisores dos ex-participantes na formao das capacidades adquiridas/desenvolvidas pelos mesmos 17. Mantm-se disponvel (sempre que possvel) para eventuais contactos dos ex-participantes na formao 18. Cria um canal on-line a utilizar pelos ex-formandos no caso de surgirem dvidas com a eventual aplicao no terreno de determinadas metodologias

248

V. Fase III_P7

06/06/19

10:46

Page 249

Instrumento de apoio n 18
FICHA TCNICA Objectivos: Este instrumento visa apoiar o participante na formao na implementao de estratgias que contribuam para a eficcia do processo de transferncia de adquiridos associado a determinada interveno formativa. Contextos e momentos de aplicao: Pode ser aplicado como (1) checklist de apoio ao desenvolvimento das estratgias propostas medida que a formao se vai desenrolando; (2) checklist a utilizar em processos de auto-avaliao; (3) checklist de apoio a sistemas de auditoria internos. Pode ser aplicado antes, durante e aps a execuo da formao. Quem o pode utilizar: Participante na formao, o supervisor/chefia directa ou auditores internos. Sinalizar com ( ) as actividades realizadas.
Estratgias a considerar por parte do participante na formao Antes da execuo da formao: 1. Mostra-se disponvel e receptivo para a realizao de uma entrevista de sada 2. Promove uma postura de aprendizagem permanente 3. Participa em avaliaes de natureza diagnstica Durante a execuo da formao: 4. Participa activamente nas sesses formativas, visando a optimizao do tempo disponibilizado 5. Elabora ajudas ao trabalho por forma a implementar os adquiridos no respectivo posto de trabalho 6. Sugere discusso dos contedos programticos no sentido da respectiva adequao a necessidades especficas de formao 7. Efectua propostas concretas de melhoria na sequncia de avaliaes de reaco efectuadas ao longo da execuo da formao 8. Elabora um plano de aco para aplicao dos aquiridos aquando do respectivo regresso ao contexto real de trabalho Aps a execuo da formao: 9. Mostra-se disponvel e receptivo para a realizao de uma entrevista de entrada 10. Prepara (sempre que possvel) uma sesso para disseminao de aprendizagens adquiridas 11. Mantm contacto com a equipa responsvel pela execuo da formao (sempre que possvel) 12. Desenvolve o trabalho assente em planos direccionados para a obteno de resultados 13. Dissemina os saberes adquiridos/desenvolvidos junto de outros colegas de trabalho/outros departamentos

249

V. Fase III_P7

06/06/19

10:46

Page 250

Instrumento de apoio n 19
FICHA TCNICA Objectivos: Este instrumento visa apoiar o director/coordenador da formao na implementao de estratgias que contribuam para a eficcia do processo de transferncia de adquiridos associado a determinada interveno formativa. Contextos e momentos de aplicao: Pode ser aplicado como (1) checklist de apoio ao desenvolvimento das estratgias propostas medida que a formao se vai desenrolando; (2) checklist a utilizar em processos de auto-avaliao; (3) checklist de apoio a sistemas de auditoria internos. Pode ser aplicado antes, durante e aps a execuo da formao. Quem o pode utilizar: Director/coordenador pedaggico e auditores internos. Sinalizar com ( ) as actividades realizadas.
Estratgias a considerar pelo director/coordenador da formao Antes da execuo da formao: 1. Implica os gestores de topo nos processos formativos desenvolvidos na organizao 2. Questiona as chefias (sempre que possvel) sobre os resultados esperados da formao 3. Prepara as chefias com competncias de coaching, para o acompanhamento dos formandos em formao dentro e fora da organizao 4. Implementa um sistema permanente de diagnstico de necessidades 5. Implementa sistemas comunicacionais eficazes entre os vrios implicados no projecto de formao/contrato de aprendizagem (permite o eficaz e atempado feedback) 6. Acompanha a concepo e o desenvolvimento dos contedos formativos com base na identificao prvia das competncias a desenvolver 25 7. Identifica estilos e estratgias de aprendizagem a desenvolver durante a formao 26 8. Identifica com clareza as competncias/responsabilidades a assumir por parte de cada um dos implicados no projecto de formao 9. Articula estratgias pedaggicas a desenvolver fora e dentro do contexto de trabalho (implica uma articulao com a chefia directa/supervisor/tutor do posto de trabalho) 10. Realiza processos avaliativos totalmente associados aos objectivos pr-determinados (desenvolvimento de determinadas competncias e execuo de desempenhos desejados) 11. Desenvolve actividades de avaliao formativa e sumativa (nvel 1 e 2) 12. Assegura a adequao do perfil do formador/monitor 13. Elabora contratos de formao, nos quais so enfatizadas as responsabilidades dos formandos no mbito do processo formativo no qual se encontrem a participar

25. Actividade a desenvolver em articulao com os formadores/monitores. 26. A montante da realizao podem ser identificados os estilos de aprendizagem dos formandos aquando do preenchimento da respectiva ficha de inscrio na aco de formao.

250

V. Fase III_P7

06/06/19

10:46

Page 251

Durante a execuo da formao: 14. Garante que os contedos da formao sejam ajustados s exigncias dos contextos de trabalho dos participantes na formao (ex: verificar relevncia e adequao dos contedos a desenvolver) 15. Disponibiliza suportes pedaggicos de qualidade 16. Recomenda o desenvolvimento de estratgias quer formativas quer sumativas, que permitam o feedback atempado relativamente aos resultados formativos alcanados 17. Fornece informao junto da chefia directa/tutor acerca das condies necessrias execuo do desempenho desejado Aps a execuo da formao: 18. Fornece informao junto da chefia directa/tutor acerca das condies necessrias execuo do desempenho desejado

251

V. Fase III_P7

06/06/19

10:46

Page 252

Instrumento de apoio n 20
FICHA TCNICA Objectivos: Este instrumento visa apoiar o supervisor/chefia directa na implementao de estratgias que contribuam para a eficcia do processo de transferncia de adquiridos associado a determinada interveno formativa. Contextos e momentos de aplicao: Pode ser aplicado como (1) checklist de apoio ao desenvolvimento das estratgias propostas medida que a formao se vai desenrolando; (2) checklist a utilizar em processos de auto-avaliao; (3) checklist de apoio a sistemas de auditoria internos. Pode ser aplicado antes, durante e aps a execuo da formao. Quem o pode utilizar: Coordenador pedaggico/, formador, supervisor/chefia directa e auditores internos. Sinalizar com ( ) as actividades realizadas.
Estratgias a considerar por parte do participante na formao Antes da execuo da formao: 1. Aprecia conjuntamente com o candidato formao o contedo programtico a desenvolver 2. Estabelece nveis de desempenho/proficincia a alcanar 3. Informa o respectivo colaborador acerca do mtodo de acompanhamento e avaliao a aplicar aps a realizao da formao 4. Recolhe informaes necessrias avaliao de terceiro nvel/identificao de eventuais obstculos ao processo de transferncia Durante a execuo da formao: Durante a execuo da formao: 5. Prepara o posto de trabalho para a reintegrao do colaborador em formao 6. Define objectivos de aplicao em consonncia com os objectivos estratgicos da unidade orgnica em causa 7. Solicita relatrios de progresso junto da equipa de formao/ entidade formadora (em particular sempre que se trate de formao de longa durao) Aps a execuo da formao: 8. Realiza uma reunio com o ex-formando para discutir objectivos de aplicao a alcanar no curto e mdio prazos 9. Apoia a elaborao de planos de aco individuais que facilitem o processo de transferncia 10. Cria as condies necessrias que possibilitem ao colaborador recm-chegado a partilha dos saberes adquiridos/desenvolvidos com os restantes colegas de trabalho 11. Cria oportunidades que potenciem e facilitem a fase da transferncia de aprendizagens (apresentao de novos desafios relacionados com a formao recebida) 12. Estabelece redes de aprendizagem dentro da prpria empresa (capazes de facilitar a disseminao dos adquiridos pela via da formao) 13. Elabora um plano para acompanhamento e monitorizao de progressos alcanados 14. Reconhece desempenhos efectuados no posto de trabalho aps a execuo da formao 15. Divulga informao acerca dos resultados da aplicao das aprendizagens adquiridas na formao

252

V. Fase III_P7

06/06/19

10:46

Page 253

Instrumento de apoio n 21
FICHA TCNICA Objectivos: Este instrumento visa apoiar o gestor de topo na implementao de estratgias que contribuam para a eficcia do processo de transferncia de adquiridos associado a determinada interveno formativa. Contextos e momentos de aplicao: Pode ser aplicado como (1) checklist de apoio ao desenvolvimento das estratgias propostas medida que a formao se vai desenrolando; (2) checklist a utilizar em processos de auto-avaliao; (3) checklist de apoio a sistemas de auditoria internos. Pode ser aplicado antes, durante e aps a execuo da formao. Quem o pode utilizar: Director de formao/coordenador pedaggico, formador, chefia directa, gestor de topo e auditores internos. Sinalizar com ( ) as actividades realizadas.
Estratgias a considerar por parte do participante na formao Antes da execuo da formao: 1. Desenvolve uma poltica de financiamento da formao que abranja a totalidade dos colaboradores da organizao 2. Esclarece relativamente a polticas de formao a seguir bem como respectivas prioridades. 3. Desenvolve uma cultura de aprendizagem na organizao, na qual a aprendizagem valorizada, reconhecida, apoiada e promovida. 4. Define as responsabilidades de cada um dos actores implicados no processo formativo (standards de qualidade a cumprir) 27 5. Implementa sistemas de reconhecimento com base nos resultados alcanados 6. Implementa medidas de controlo/acompanhamento do plano de formao Durante a execuo da formao: 7. Solicita ao gestor da formao um ponto de situao sobre os progressos na formao (em particular em aces de formao de mdia e longa durao) Aps a execuo da formao: 8. Cria as condies necessrias disseminao e partilha de conhecimento adquirido durante a formao, designadamente: garantir que os respectivos supervisores tm presente os objectivos estratgicos da organizao e o respectivo alinhamento com os objectivos previstos para cada a unidade funcional em questo garantir a existncia dos equipamentos/materiais necessrios aplicao/explorao dos novos saberes apoiar a dinamizao de espaos que visem a disseminao dos conhecimentos e experincias adquiridas junto de outros colaboradores/reas funcionais da instituio.

27. Neste caso, a aplicar equipa interna de formao. O mesmo procedimento poder ser aplicado pela entidade formao externa. Neste ltima caso, a deciso pela implementao de padres de qualidade, associados interveno da respectiva equipa de formao, caber ao gestor/coordenador da formao da entidade prestadora de servios de formao.

253

V. Fase III_P7

06/06/19

10:46

Page 254

V. Fase IV_P8-9

06/06/19

10:59

Page 255

FASE IV
Objectivo

TRATAR E ANALISAR OS DADOS RECOLHIDOS E PRODUZIR RELATRIOS DE AVALIAO

Na fase IV da abordagem PERTA visa-se disponibilizar informao que apoie o avaliador a (1) tratar e analisar os dados recolhidos no terreno junto dos vrios actores que intervm na formao; (2) elaborar relatrios de avaliao o mais ajustados possvel s necessidades de informao dos vrios actores que participaram na formao. Processos da FASE IV Processo 8 Tratar e analisar os dados recolhidos aps a aplicao de estratgias avaliativas Questes orientadoras Como tratar os dados recolhidos durante a realizao das actividades de avaliao? Como analisar a informao produzida? Instrumentos propostos para a FASE IV Instrumento n 22 Grelha que permite proceder validao do processo de recolha de dados Instrumento n 23 Grelha que permite alertar o avaliador para as questes centrais da fase do tratamento de dados Processo 9 Elaborar relatrios de avaliao Para que servem os relatrios de avaliao? Para quem podem ou devem ser remetidos os resultados de uma avaliao? Como produzir os contedos a incluir num relatrio de avaliao? Que estrutura de relatrio adoptar? Como elaborar recomendaes? Instrumento n 24 Checklist de apoio elaborao de um relatrio de avaliao

255

V. Fase IV_P8-9

06/06/19

10:59

Page 256

V. Fase IV_P8-9

06/06/19

10:59

Page 257

PROCESSO 8. Tratar e analisar os dados recolhidos junto dos vrios actores

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Destacar as etapas centrais da fase do tratamento e da anlise de dados. Distinguir os diferentes mtodos utilizados no tratamento e anlise de dados.

257

V. Fase IV_P8-9

06/06/19

10:59

Page 258

Processo 8. Tratar e analisar os dados recolhidos junto dos vrios actores

Na sequncia da realizao das actividades de avaliao resultam dados para tratar e analisar, com vista produo das informao que permitem responder s vrias questes de avaliao em presena. Devemos aqui ter presente que um tratamento e anlise dos dados pouco rigorosos tem repercusses ao nvel da fundamentao/ sustentao dos juzos de valor a emitir por quem avalia, resultando normalmente na perda de credibilidade do processo avaliativo. O fraco investimento nesta fase do processo avaliativo pode, ainda, descurar a recolha de outra informao considerada importante pelos vrios actores que intervm na formao, defraudando, em certa medida, as respectivas expectativas na fase de apresentao dos resultados da avaliao.

Reflectindo...

O tratamento e a anlise dos dados recolhidos durante a realizao das actividades de avaliao consistem em actividades cruciais do processo avaliativo s quais nem sempre se dedica a ateno devida. Na realidade, o fraco investimento nesta fase do processo resulta, no raras vezes, em dificuldades concretas ao nvel das posteriores fundamentaes e interpretaes sobre a informao produzida. Trata-se de uma fase em que o avaliador levado a tomar decises sobre a produo, mais ou menos exaustiva, de informao com vista resposta a determinadas questes de avaliao, o que nem sempre se afigura tarefa fcil. Aqui, o avaliador procura, mais uma vez ancorar-se nas expectativas dos vrios actores em presena, procurando centrar a respectiva ateno na produo de informao verdadeiramente essencial e til para os respectivos destinatrios.

258

V. Fase IV_P8-9

06/06/19

10:59

Page 259

Preparando a prtica....

Q1

Como tratar os dados recolhidos durante a realizao das actividades de avaliao?

A opo por este ou aquele mtodo para tratar os dados (recolhidos durante a realizao das actividades de avaliao) efectuada, em regra, em funo quer da natureza dos dados em presena, quer dos objectivos da avaliao pretendida. As vrias alternativas possveis ao dispor dos avaliadores so as seguintes:
Mtodos para tratar os dados recolhidos durante as actividades de avaliao Tratamento temtico dos dados Tipo de informao que pode exigir a aplicao do mtodo referido Comentrios/sugestes/observaes efectuados em inquritos por questionrio e entrevistas estruturadas (ex: questionrios para 1 nvel de avaliao reaco). Notas de observao ou comentrios avulsos. Dados produzidos em focus group. Dados gerados pela aplicao de entrevistas. Dados recolhidos mediante pesquisa documental. (...) Dados decorrentes da aplicao dos nveis 1, 2, 3 e 4 de D. Kirkpatrick). Dados obtidos de pesquisas de benchmarking. Estudos de prticas bem sucedidas. Resultados de intervenes de auditoria. Medidas utilizadas pela aplicao de sistemas de avaliao de desempenho (ex: balance scorecard ). (...)

Descritivo do mtodo Os dados so agrupados ou classificados em funo da similaridade temtica dos contedos. Este tipo de tratamento permite sinalizar tendncias em termos de predominncia relativamente a determinada matria em anlise. Ex: a sinalizao dos participantes que fizeram referncia nos respectivos discursos a prticas bem sucedidas na aplicao dos adquiridos durante a formao.

Tratamento quantitativo dos dados

Os dados so agrupados numa perspectiva estatstica, importando neste caso apenas a produo de dados quantitativos relativamente a determinada matria em anlise. frequente, neste caso, o avaliador recorrer a ferramentas informticas para tratamento estatstico de dados, tais como o Excel, o Access ou, ainda, programas especializados como o SPSS. Ex: quando se pretende saber quais dos participantes na formao conseguiram alcanar um maior volume de vendas, recorre-se a anlises comparativas de estatsticas relativamente respectiva evoluo num determinado intervalo de tempo.

x
259

V. Fase IV_P8-9

06/06/19

10:59

Page 260

Tratamento qualitativo dos dados

Tratamento de dados de carcter descritivo. So dados que decorrem da aplicao de mtodos/tcnicas de avaliao de natureza qualitativa, tais como as entrevistas, o focus group, notas de observao, bem como, informaes constantes em perguntas ditas abertas (ex: comentrios nos inquritos por questionrio). A anlise de contedo uma das tcnicas mais aplicadas no tratamento deste tipo de dados (ver referncias bibliogrficas).

Comentrios/sugestes/observaes efectuados em inquritos por questionrio e entrevistas estruturadas (ex: questionrios para 1 nvel de avaliao reaco). Dados recolhidos mediante pesquisa documental. Estudo de prticas bem sucedidas. Dados obtidos de pesquisas de benchmarking. Qualquer tipo de nota ou comentrio efectuado em perguntas abertas. Dados produzidos em focus group. Dados gerados pela aplicao de entrevistas. (...) Anlises de impactes. Nvel 3 e 4 de D. Kirkpatrick. Medidas associadas aos sistemas de avaliao de desempenho (ex: balanced scorecard). Anlises de desempenhos profissionais. (...)

Tratamento efectuado com base na anlise do tipo de processo em presena

Os dados gerados resultam de observaes que visam, por exemplo, avaliar o domnio integral ou parcial de determinado processo produtivo. As questes de avaliao que podem exigir um tratamento desta natureza podem ser, por exemplo, as seguinte: (1) Em que medida os participantes na formao dominam as tcnicas de produo desenvolvidas/adquiridas durante a formao? (2) Em que medida aplicam as sequncias produtivas correctas? (3) Em que medida so produzidos os resultados esperados em cada uma das etapas do processo produtivo em anlise?

O avaliador ter tendncia para aplicar um ou outro mtodo, no sendo, todavia, de estranhar o recurso a mais do que um mtodo para tratamento dos dados entretanto recolhidos. Apresentam-se seguidamente algumas das etapas fundamentais a seguir por parte de quem avalia, no que diz respeito ao tratamento de dados:

260

V. Fase IV_P8-9

06/06/19

10:59

Page 261

Etapa A Decidir que dados tratar e como tratar (1) H necessidade de se tratarem todos os dados recolhidos junto dos vrios actores? (2) So conhecidas as tcnicas necessrias ao tratamento dos dados recolhidos? (3) H necessidade de se recorrer a tratamento informtico dos dados (alguns dados lucram mais quando o respectivo tratamento efectuado manualmente... Ex: quando os dados so muito heterogneos dificultando a respectiva categorizao...) Com o desenrolar das actividades de avaliao pode acontecer que alguns dos dados recolhidos j no sejam necessrios, porque j no existem actores interessados nos mesmos ou porque os dados recolhidos no merecem qualquer credibilidade, ou ainda, porque foram recolhidos demasiados dados no terreno e o tempo disponvel no permite o respectivo tratamento.

7
Etapa B Validar os dados seleccionados para respectivo tratamento (1) Foram sinalizadas respostas incompletas? (2) Ocorreram interrupes durante a recolha dos dados? (3) Foram sinalizadas respostas inusitadas ou desfasadas dos assuntos? (4) Foram sinalizadas inconsistncias nos dados recolhidos?

7
Etapa C Codificar os dados seleccionados para respectivo tratamento (1) Foram detectados erros de codifcao? A codificao dos dados, em momento antes ou aps a aplicao dos instrumentos de avaliao, permite a posterior organizao dos dados, normalmente, numa base de dados informatizada. Trata-se de atribuir um cdigo especfico a cada item concebido para recolha de determinados dados. Pode existir uma grelha de codificao concebida parte para o efeito ou podem ser introduzidos cdigos no prprio instrumento de avaliao a aplicar.

7
261

V. Fase IV_P8-9

06/06/19

10:59

Page 262

7
Etapa D Verificar o grau de representatividade das amostras dos respondentes (1) O grupo de respondentes representativo do universo a considerar no estudo?

7
Etapa E Aferir da adequabilidade dos mtodos/ tcnicas de recolha de dados (1) As tcnicas e/ou instrumentos de avaliao aplicados foram os mais adequados, considerando a natureza dos dados a recolher?

262

V. Fase IV_P8-9

06/06/19

10:59

Page 263

Q2

Como analisar a informao produzida?

Uma vez efectuado o tratamento dos dados passa-se fase da anlise da informao produzida, actividade possibilitada pela existncia de um quadro de referncia inicial, disponibilizado ou construdo no incio e/ou ao longo da execuo da formao, tal como referido no processo 2 da Fase 1 Definir a estratgia de avaliao. No contexto de um processo de avaliao, os principais objectivos da anlise dos dados, so os seguintes: verificar em que medida a mesma deu uma resposta concreta s questes de avaliao colocadas, inicialmente ou ao longo da execuo da formao; verificar se se pode reduzir e sintetizar a informao produzida, de modo a facilitar as inferncias que sobre a mesma devero ser efectuadas; verificar se necessrio efectuar mais inquiries, para esclarecimento de algum aspecto menos desenvolvido, ou mesmo para recolha de outros dados. Importa aqui ter presente que a realidade dos factos apresenta-se, com frequncia, mais rica que as questes avaliativas elaboradas a seu respeito. Uma anlise rigorosa da informao recolhida permite, muitas vezes, revelar outros factos e outras relaes no previstas entre factos, daqui decorrendo, no raras vezes, outras questes de avaliao a considerar posteriormente. Apresenta-se, seguidamente, um possvel percurso de apoio anlise de informaes, decorrentes do tratamento de dados recolhidos no terreno:

7
Etapa A Rever as questes avaliativas que orientaram a recolha dos dados efectuada (1) As questes de avaliao pr-definidas continuam a ser suficientes? (2) Devem ser consideradas novas questes de avaliao? (3) Haver tempo para recolher mais dados no terreno?

7
Etapa B Proceder anlise dos dados recolhidos (1) Bastar efectuar uma anlise descritiva dos dados recolhidos ou haver necessidade de cruzar variveis para gerar a informao pretendida? (2) Que variveis sero necessrias cruzar?

7
263

V. Fase IV_P8-9

06/06/19

10:59

Page 264

7
Etapa C Rever a anlise efectuada e sinalizar a informao relevante Nesta fase importante decidir, a partir de uma primeira anlise de toda a informao gerada, qual a que se afigura mais relevante e significativa para o processo avaliativo em causa: (1) Em que medida a informao gerada d resposta s questes de avaliao sinalizadas? (2) Os instrumentos de avaliao permitiram gerar informao no esperada? (3) Em que medida tal informao relevante?

7
Etapa D Validar as evidncias avaliativas Nesta fase, depois de analisada a informao mais pertinente, seguem-se as decises associadas validade das evidncias produzidas. , nesta fase, que se deve decidir se a informao recolhida suficientemente credvel ou no. No raras vezes, decide-se pela recolha de mais informao e/ou aprofundamento da j produzida no sentido de garantir uma maior credibilidade do processo de avaliao junto dos respectivos beneficirios.

 Apresentam-se, de seguida, algumas orientaes de apoio anlise da informao produzida, a saber:

Recorrer a diferentes dados sobre a mesma questo de avaliao. Implica analisar o resultado da aplicao de diferentes tcnicas de avaliao. Ter presente que cada tipo de tcnica de recolha de dados exige, em regra, tratamentos e anlises diferenciadas. A aplicao de determinada tcnica de avaliao pressupe, partida, que se domine as vrias formas de tratar posteriormente a informao. No obstante a complexidade dos dados em presena, os mesmos devem ser tratados de modo a facilitar a respectiva anlise e posterior apresentao.

264

V. Fase IV_P8-9

06/06/19

10:59

Page 265

Instrumentos de apoio ao processo

V. Fase IV_P8-9

06/06/19

10:59

Page 266

Instrumento de apoio n 22
FICHA TCNICA Objectivos: Este instrumento visa alertar o avaliador para um conjunto de aspectos a ter em considerao na fase do tratamento dos dados recolhidos. Contextos e momentos de aplicao: A aplicar na fase do tratamento de dados recolhidos durante a realizao das actividades de avaliao. Quem o pode utilizar: Os responsveis pelo tratamento dos dados, que podem ser indivduos internos ou externos ao processo de avaliao.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar (na fase de tratamento dos dados)

Sim (x)

No (x)

Em parte (x)

1. Ser necessrio tratar todos os dados recolhidos? 2. So conhecidas as tcnicas necessrias ao tratamento dos dados recolhidos? 3. H necessidade de se recorrer a tratamento informtico dos dados? 4. Foram sinalizadas respostas incompletas? 5. Ocorreram interrupes durante a recolha dos dados (ex: interrupes durante a realizao de uma entrevista)? 6. Foram sinalizadas respostas inusitadas ou desfasadas dos assuntos abordados? 7. Foram sinalizadas inconsistncias nos dados recolhidos? 8. Foram detectados erros de codificao dos dados recolhidos (Ex: aps a aplicao de uma mesma grelha de codificao de dados por parte de formadores distintos)? 9. O grupo de inquiridos representativo do universo a considerar no estudo? 10. As tcnicas e/ou os instrumentos de avaliao aplicados foram os mais adequados, considerando a natureza dos dados a recolher?

266

V. Fase IV_P8-9

06/06/19

10:59

Page 267

Instrumento de apoio n 23
FICHA TCNICA Objectivos: Este instrumento permite, numa fase subsequente ao tratamento dos dados, aferir se os mesmos so os pretendidos inicialmente e se so os mais adequados, considerando a natureza das informaes a produzir. Contextos e momentos de aplicao: A aplicar na fase da anlise dos dados recolhidos durante a realizao das actividades de avaliao. Quem o pode utilizar: Os responsveis pela anlise de dados, que podem ser indivduos internos ou externos ao processo de avaliao.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar

Sim (x)

No (x)

Em parte (x)

1. As questes de avaliao pr-definidas continuam a ser suficientes? 2. Devem ser consideradas novas questes de avaliao? 3. Haver tempo para recolher mais dados no terreno? 4. Bastar efectuar uma anlise descritiva dos dados recolhidos (ou haver necessidade de cruzar variveis para gerar a informao pretendida)? 5. O cruzamento de variveis a efectuar permite dar resposta a todas as questes de avaliao (ou ficam algumas por responder)? 6. Os instrumentos de avaliao permitiram gerar informao no esperada? 7. A informao gerada mas no esperada relevante? 8. Foram sinalizados alguns preconceitos associados recolha de dados efectuada? (Ex: o entrevistador pode influenciar o entrevistado ao manifestar juzos de valor especficos em relao a determinado assunto em discusso...) 9. A informao produzida credvel? 10. Ser necessrio recorrer a outras tcnicas para validar a informao produzida?

267

V. Fase IV_P8-9

06/06/19

10:59

Page 268

V. Fase IV_P8-9

06/06/19

10:59

Page 269

PROCESSO 9. Elaborar relatrios de avaliao

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7
Elaborar relatrios de avaliao

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de: Sinalizar os factores crticos associadas ao processo de interpretao dos resultados que resultaram do tratamento e anlise de dados previamente efectuados. Sinalizar estratgias concretas de apoio elaborao de relatrios de avaliao.

269

V. Fase IV_P8-9

06/06/19

10:59

Page 270

Processo 9. Elaborar relatrios de avaliao

Uma vez tratados e analisados os dados, torna-se necessrio produzir relatrios para apresentao dos resultados dos processos avaliativos realizados. As prticas de avaliao observadas permitem-nos concluir que nem sempre se atribui a devida importncia a esta fase do processo avaliativo. Na realidade, a maior ou menor clareza dos resultados de um processo de avaliao que garante a maior ou menor utilidade e, consequentemente, apropriao das informaes por parte dos destinatrios da avaliao.

Reflectindo....

Uma vez tratados e analisados os dados recolhidos no terreno, segue-se a respectiva interpretao por parte de quem avaliou. Este processo traduz-se num dos momentos crticos de um processo de avaliao. nesta fase que se processam juzos de valor concretos com base na informao gerada. A elaborao dos juzos de valor referidos pressupe que exista, partida, um conjunto de referentes que sustentam determinada tomada de posio. A sua existncia permite realizar exerccios de comparao entre algo alcanado e padres de referncia pr-estabelecidos (antes ou durante a execuo da formao). nesta fase que se retoma o quadro de referncia da avaliao j abordado na Fase I, Processo 2. A maior ou menor fundamentao dos juzos de valor a produzir depender sempre da maior ou menor riqueza e variedade dos dados obtidos durante as actividades de avaliao. Vimos igualmente em processos anteriores que a triangulao dos dados pode ajudar a fundamentar melhor os resultados obtidos, para alm de resultar numa maior transparncia e, consequentemente, maior credibilidade dos processos avaliativos. A interpretao de resultados caracteriza-se, de um modo geral, pela atribuio de sentido e significado anlise dos dados previamente efectuada. Deste modo, usual a interpretao de resultados remeter para afirmaes tais como: O formador demonstrou um excelente desempenho. O formando foi capaz de interpretar e analisar correctamente o caso que lhe foi proposto. O curso de formao no permitiu cumprir com todos os objectivos de desempenho pr-estabelecidos. O momento da interpretao dos dados pode ainda levantar questes que exigem alguma reflexo, tais como: como agir quando o resultado da avaliao se traduz em juzos de valor pouco abonatrios do programa avaliado? Como agir quando se conclui que no se recolheram os dados pretendidos? As exigncias para o avaliador sero necessariamente maio-

270

V. Fase IV_P8-9

06/06/19

10:59

Page 271

res, em particular aquando da formulao das concluses/recomendaes, que devero ser sempre sustentadas em dados recolhidos no terreno. As orientaes prticas que se seguem sero assim focalizadas nas actividades que, acredita-se, possam vir a atribuir maior visibilidade e credibilidade ao trabalho efectuado por parte de quem avaliou.

Q1

Para que servem os relatrios de avaliao?

A principal finalidade de um relatrio de avaliao disponibilizar um conjunto de informaes e propostas de melhoria relativas execuo e/ou concluso de determinado projecto formativo. Os relatrios assumem diferentes finalidades consoante os objectivos que apresentem, a saber:

Notas informativas e comunicados/ /memorandos Relatrios Intermdios/intercalares

Relatrios breves que visam elucidar os principais aspectos relacionados com o processo de avaliao.

Relatrios elaborados, ao longo do processo avaliativo, em diferentes intervalos de tempo (trimestre, semestre), que visam acompanhar a execuo das actividades formativas. Relatrios elaborados no fim do processo avaliativo ou aps o processo ter sido encerrado, com o objectivo de se fazer um balano final de como foram desenvolvidas as actividades e os objectivos de formao propostos. Relatrios elaborados com a finalidade de serem utilizados apenas pelo avaliador. Assumem-se como relatrios de apoio e suporte tcnico ao processo avaliativo.

Relatrios de concluso das actividades

Relatrios Internos ao Processo de Avaliao

Os relatrios de avaliao podem ser apresentados em diferentes momentos, ao longo da execuo de determinado projecto formativo. A escolha do momento exacto , regra geral, determinado pela necessidade de informao dos vrios actores que intervm na formao. Assistimos, no entanto, com alguma frequncia, entrega dos resultados da avaliao apenas aps a concluso das aces de formao. Tal perspectiva indica-nos que se est a dar prioridade a uma abordagem de natureza sumativa, uma vez que as concluses deste tipo de documento nos remetem para aces futuras e no para o eventual reequacionamento de estratgias formativas a considerar ainda durante a execuo das aces. Neste ltimo caso, o relatrio de avaliao traduzir-se-ia num instrumento pedaggico e formativo que permitiria a correco de eventuais erros de trajectria identificados no projecto de formao em curso.

271

V. Fase IV_P8-9

06/06/19

10:59

Page 272

Q2

A quem podem ou devem ser remetidos os resultados da avaliao?

Os relatrios de avaliao podem ser dirigidos a todos aqueles que, de forma directa ou indirecta, participam num determinado processo avaliativo. Tal como foi possvel verificar no processo 2 da fase I, diferentes actores, que intervm num determinado projecto de formao, apresentam expectativas distintas quanto ao que desejam ver tratado e analisado num relatrio de avaliao. A clara identificao dos clientes dos resultados de uma interveno avaliativa, traduz-se assim numa actividade fundamental por facilitar a posterior adequao do discurso avaliativo s necessidades de informao dos respectivos destinatrios. Salientam-se, de seguida, alguns factores crticos a ter em conta aquando do relacionamento com os pblicos destinatrios da avaliao: ter presente os diferentes contributos das diferentes audincias destinatrias do processo de avaliao; ajustar a forma e os contedos do(s) relatrio(s) de avaliao em funo das interesses e necessidades do pblico-alvo; ter presente os direitos humanos e ticos, como por exemplo, as exigncias de sigilo e confidencialidade, associados ao processo avaliativo; apelar participao e envolvimento dos vrios actores ao longo do processo de avaliao.

Preparando a prtica...

Sero aqui destacados trs momentos cruciais na produo de relatrios de avaliao: (1) a forma como se produzem os contedos; (2) a arrumao dos assuntos que se pretende apresentar, assim como, (3) a elaborao de recomendaes dirigidas aos actores que participaram na formao.

Q3

Como produzir os contedos a incluir num relatrio de avaliao?

Os contedos a incluir num relatrio de avaliao devero respeitar a encomenda, ou seja, devem dar uma resposta adequada s necessidades de informao dos actores aos quais so destinados. A opo por este ou outro contedo surge relacionada com as dimenses e critrios do referencial de avaliao pr-estabelecido. Por exemplo: se apenas se privilegiou uma abordagem de 1 e 2 nveis (reaco e aprendizagem, respectivamente), ento, no relatrio de avaliao apenas sero apresentadas informaes relativas a estes dois nveis.

272

V. Fase IV_P8-9

06/06/19

10:59

Page 273

Acontece, por vezes, o(s) avaliador(es) apresentar(em) informao para alm da encomenda realizada, tal como, uma anlise com eventuais impactes ou outro tipo de considerao sobre a formao realizada. Esta deciso pode resultar em duas situaes distintas: a informao gerada fora da encomenda pode ir para a gaveta, o que significa no ter sido til a qualquer dos actores implicados no projecto de formao, j que a mesma no era do interesse de qualquer um dos destinatrios do processo; a informao adicional pode dar resposta a eventuais necessidades dos actores que a recebem, accionando mecanismos de aco no previstos. Seguem-se algumas recomendaes que visam apoiar quem avalia a produzir relatrios de avaliao com valor acrescentado para os respectivos destinatrios: Auscultar previamente os vrios actores sobre a maior ou menor utilidade da informao a produzir. Garantir uma correspondncia efectiva entre informao produzida e necessidades dos respectivos destinatrios, atravs da realizao de validaes conjuntas de propostas de relatrios a apresentar no decurso ou no final de uma interveno formativa. Sinalizar com clareza as mensagens/assuntos mais importantes do relatrio. A linguagem a utilizar nos relatrios deve ser clara e ajustada, sempre que possvel, linguagem dos respectivos destinatrios. Elaborar sumrios executivos. Efectuar exposies suportadas em esquemas, grficos ilustrativos da realidade observada, que permita uma fcil e rpida leitura dos resultados obtidos. Identificar tendncias/cenrios futuros. Identificar mltiplas estratgias de disseminao de resultados, de acordo com a realidade de cada um dos actores/stakeholders em presena. Apresentar recomendaes que sejam fceis de operacionalizar. Recorrer a discurso construtivo e pedaggico.

Q4

Que estrutura de relatrio adoptar?

A apresentao de um relatrio de avaliao pode variar em funo da natureza do projecto formativo, assim como dos interesses dos pblicos destinatrios dos resultados da avaliao. A estrutura que se apresenta meramente exemplificativa, podendo o avaliador criar outras formas para apresentar as respectivas mensagens. Um relatrio de avaliao pode, assim, ser dividido num conjunto de partes, designadamente:

273

V. Fase IV_P8-9

06/06/19

10:59

Page 274

Parte I Resumo do relatrio de avaliao, tambm designado por sumrio executivo Indica, de forma sucinta, as principais concluses da avaliao efectuada (caracterizao sucinta do projecto avaliado, principais questes avaliativas por nvel de avaliao , sinalizao clara do diferencial entre objectivos previstos e objectivos alcanados por nvel de avaliao , apreciao global do projecto, principais aspectos positivos, principais limitaes, dificuldades, principais recomendaes e aces futuras).

7
Parte II ndice ou tabela de contedos/guia de organizao do relatrio Indica de que forma os diferentes contedos esto inseridos no relatrio de avaliao.

7
Parte III Introduo Indica a finalidade do relatrio, os seus destinatrios e a sua organizao geral.

7
Parte IV Enquadramento do projecto Efectua uma descrio geral do projecto de formao, centrando o discurso em torno: (1) do tipo de competncias a desenvolver e respectiva justificao; (2) da proposta pedaggica preconizada; (3) dos objectivos de aprendizagem a alcanar.

274

V. Fase IV_P8-9

06/06/19

10:59

Page 275

7
Parte V Estratgia de avaliao desenvolvida aqui apresentada e justificada a metodologia de avaliao desenvolvida, na qual se destacam dimenses/critrios/ indicadores de avaliao considerados. So igualmente identificados o quadro de referncia do processo de avaliao e fontes consultadas. Esta parte do relatrio pode ainda integrar informao sobre os mtodos de recolha de dados e a forma como foram analisados.

7
Parte VI Corpo do relatrio/desenvolvimento dos assuntos Nesta parte do relatrio apresentam-se os principais resultados da avaliao. Pode ser organizado de diversas formas consoante as decises efectuadas pela equipa de avaliao e ou por solicitao de algum dos actores contactados. Ainda assim, o formato que parece agradar mais s entidades que executam formao a apresentao dos resultados por nvel de avaliao, sobre os quais se referem: (1) fontes de informao; (2) anlise descritiva de dados por nvel de avaliao; (3) principais concluses (nestas dever ser claramente referido qual o diferencial existente entre objectivos previstos e objectivos alcanados por nvel de avaliao).

7
Parte VII Dificuldades/obstculos ao processo de avaliao/aspectos positivos do processo Trata-se aqui de sinalizar eventuais limitaes do processo de avaliao resultantes de barreiras colocadas ao desenvolvimento das actividades avaliativas, tais como, insuficincia de recursos mobilizados para o projecto de avaliao, contextos pouco receptivos aplicao de prticas desta natureza, etc... Podem e devem ainda ser referidos aspectos bem sucedidos na abordagem avaliativa realizada, que quando apresentados aos vrios actores que intervieram na avaliao, podem facilitar a continuidade dos trabalhos entretanto desenvolvidos.

7
Parte VIII Sumrio conclusivo Consiste na apresentao, de forma sucinta, das principais concluses associadas ao desenvolvimento e encerramento do processo avaliativo, assim como recomendaes e respectivos planos de aco.

275

V. Fase IV_P8-9

06/06/19

10:59

Page 276

Da estrutura apresentada reala-se a parte relativa elaborao de recomendaes, pela importncia que assume no contexto de uma avaliao com carcter regulador, que visa contribuir para a efectiva melhoria das prticas dos actores que interagem no projecto de formao.

Q5

Como elaborar recomendaes?

A fase da elaborao de recomendaes traduz-se num dos momentos crticos aquando da elaborao de um relatrio de avaliao, j que se traduzem nos resultados directos decorrentes dos juzos de valor efectuados sobre determinada interveno formativa.

 De forma a garantir a utilidade e consequente apropriao das recomendaes elaboradas, sugere-se que sejam realizadas as seguintes actividades (baseado em Patton 1997): Negociar, com os diversos centros de deciso, a natureza e o contedo de um relatrio final (permite garantir uma maior aproximao do relatrio s necessidades de informao dos seus pblicos destinatrios). Elaborar as recomendaes com base nas informaes que decorreram da anlise de dados recolhidos no terreno (evita que sejam integrados no relatrio outras informaes que podem vir a causar rudos na relao entre equipa de avaliao e interlocutores implicados no processo). Destacar, de entre o conjunto de recomendaes a apresentar, as recomendaes relativas a assuntos centrais (permite focalizar os respectivos destinatrios nos aspectos considerados crticos do processo analisado). Considerar as preferncias dos seus potenciais utilizadores (pode ser solicitada pelos mesmos a apresentao de vrias alternativas de aco. Neste caso, o avaliador poder indicar vantagens e desvantagens relativas a cada uma das propostas de aco, deixando o respectivo cliente decidir acerca da aco mais adequada). Identificar (sempre que possvel) os custos e benefcios implicados na execuo de alguma recomendao efectuada, bem como eventuais custos decorrentes da no execuo das mesmas. Elaborar recomendaes que estejam relacionadas com o campo de interveno dos respectivos utilizadores (importa evitar que os mesmos recebam recomendaes sobre as quais no vo poder actuar/decidir). Elaborar recomendaes claras e precisas (implica que as mensagens sejam suficientemente explcitas de forma a serem compreendidas numa primeira leitura pelos respectivos utilizadores). Identificar a forma mais adequada para a apresentao das recomendaes (implica aferir, por exemplo, as implicaes polticas associadas a cada uma das recomendaes efectuadas e eventuais reaces dos respectivos utilizadores. O envolvimento dos interessados nos assuntos mais problemticos, ao longo da respectiva anlise, pode atenuar eventuais reaces aquando da apresentao dos relatrios finais de avaliao). Dedicar tempo suficiente para a elaborao das recomendaes (facilita uma maior reflexo acerca dos resultados obtidos, bem como a realizao de eventuais reunies com os seus potenciais utilizadores). Delinear estratgias que possibilitem a execuo das recomendaes efectuadas (no raras vezes, so realizadas sesses de apresentao de resultados, elaborados sumrios executivos dirigidos a cada um dos centros de deciso em causa, entre outros. aconselhvel que, sempre que possvel, o avaliador demonstre, nesta fase, total disponibilidade para efectuar eventuais follow-ups, aps a operacionalizao das medidas de aco propostas).

276

V. Fase IV_P8-9

06/06/19

10:59

Page 277

Instrumentos de apoio Introduo ao processo

V. Fase IV_P8-9

06/06/19

10:59

Page 278

Instrumento de apoio n 24
FICHA TCNICA Objectivos: Com a aplicao do presente instrumento visa-se alertar quem avalia para os aspectos crticos da fase da elaborao de relatrios de avaliao, com destaque para o momento da elaborao das respectivas recomendaes. Contextos e momentos de aplicao: Instrumento a aplicar na fase da elaborao de relatrios de avaliao de progresso ou finais. Quem o pode utilizar: Os actores responsveis pela execuo das actividades de avaliao e responsabilizados pela produo dos relatrios.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar

Sim (x)

No (x)

Em parte (x)

1. Foram discutidos com os actores interessados a natureza e o contedo dos relatrios a apresentar? 2. Foram claramente destacadas, no relatrio, as mensagens mais importantes do processo de avaliao realizado? 3. Foram apresentados no relatrios vrios cenrios possveis para proposta de alterao/melhoria de prticas? 4. A linguagem utilizada no relatrio acessvel por parte dos respectivos destinatrios? 5. Na estruturao do relatrio foram consideradas as vrias partes propostas neste guia? 6. As recomendaes foram devidamente justificadas com base nos dados recolhidos no terreno? 7. Foram estimados e considerados os custos associados concretizao de cada uma das recomendaes efectuadas? 8. Na elaborao das recomendaes foi considerada a capacidade de deciso dos actores indicados para as pr em prtica? 9. Aquando da elaborao das recomendaes foi levado em conta as possveis reaces dos respectivos destinatrios? 10. Foram sinalizados os resultados a alcanar com a concretizao de cada uma das recomendaes?

278

V. Fase V_P10

06/06/19

11:16

Page 279

FASE V
Objectivo

APRESENTAR OS RESULTADOS DA AVALIAO

A fase V da abordagem PERTA remete o avaliador para a importncia da apresentao dos resultados da avaliao, sendo de destacar nos textos que se seguem trs actividades centrais: a definio de uma estratgia para apresentar/disseminar os resultados de avaliao, e a preparao das sesses subsequentes e a laborao de planos de interveno concretos com vista introduo de melhorias nas prticas das entidades e/ou indivduos que operam na formao.

Processos da FASE IV Processo 10 Preparar a apresentao e disseminao dos resultados da avaliao

Questes orientadoras Como definir uma estratgia para apresentao e disseminao dos resultados de uma avaliao? Que abordagens utilizar na apresentao dos resultados da avaliao? Quais as questes crticas associadas apresentao dos resultados de avaliao? Como elaborar planos de melhoria? Como controlar a implementao das medidas propostas nos relatrios de avaliao?

Instrumentos propostos para a FASE V Instrumento n 25 Instrumento de apoio preparao das apresentaes dos resultados de uma avaliao

279

V. Fase V_P10

06/06/19

11:16

Page 280

V. Fase V_P10

06/06/19

11:16

Page 281

PROCESSO 10. Preparar a apresentao e disseminao dos resultados da avaliao

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Conhecer o contexto de partida da formao

Preparar os instrumentos a aplicar nas actividades de avaliao

Realizar intervenes avaliativas antes da execuo da formao

Tratar e analisar os dados recolhidos junto dos formadores

Preparar a apresentao e disseminao dos resultados

5
7

10

7
Planear as intervenes avaliativas

7
Testar instrumentos de avaliao

7
Realizar intervenes avaliativas durante a execuo da formao

Elaborar relatrios de avaliao

7
Realizar intervenes avaliativas aps a execuo da formao

No final deste processo o avaliador deve ser capaz de : Definir estratgias concretas de apoio apresentao e disseminao dos resultados de uma avaliao. Construir planos de interveno concretos que visem a introduo de aces correctivas e/ou melhoria no mbito de projectos em curso ou a desenvolver posteriormente.

281

V. Fase V_P10

06/06/19

11:16

Page 282

Processo 10. Preparar a apresentao e disseminao dos resultados da avaliao

Uma vez concludo o processo de avaliao da formao, torna-se necessrio preparar a apresentao dos respectivos resultados junto dos actores que na mesma participaram (directa ou indirectamente).

Reflectindo.....

Na sequncia da elaborao dos relatrios de avaliao, reflecte-se sobre a melhor forma de os apresentar/disseminar junto dos respectivos pblicos alvo. Considerando que a maior ou menor apropriao/explorao dos resultados de uma avaliao depende, na maior parte das vezes, do maior ou menor investimento efectuado na preparao das respectivas apresentaes, sugere-se que se dedique algum tempo na definio de estratgias de abordagem aos beneficirios finais da avaliao. Devemos aqui ter presente que, diferentes contextos de avaliao justificam o recurso a estratgias de comunicao diferenciadas. Neste sentido, um relatrio de avaliao aqui encarado como instrumento de dilogo entre avaliadores e avaliados, pelo que a sua apresentao/explorao pelos vrios actores merece a mxima ateno. nesta fase do processo avaliativo que se retomam os objectivos da avaliao, inicialmente definidos e divulgados junto dos actores implicados na formao. Importa, assim, ter presente se a avaliao a apresentar visa: garantir que sejam aprovadas novas aces de formao; garantir o envolvimento dos vrios presentes nas aces formativas a desenvolver no futuro prximo (participantes e outros actores); justificar investimentos financeiros efectuados na formao, demonstrando o respectivo impacte nos resultados dos indivduos, dos grupos ou organizao; reforar a qualidade dos processos formativos j desenvolvidos; sensibilizar para as reas crticas a desenvolver atravs da formao; sinalizar novas necessidades de interveno formativa; (...) Estas podero ser, partida, algumas das razes que justificam apresentaes cuidadas dos resultados da avaliao da formao. Competir a cada organizao preparar tais apresentaes de acordo com as expectativas de cada um dos presentes nessas sesses.

282

V. Fase V_P10

06/06/19

11:16

Page 283

Preparando a prtica....

Q1

Como definir uma estratgia para a apresentao e disseminao dos resultados de uma avaliao?

A definio de uma estratgia para apresentao dos resultados de uma avaliao exige uma reflexo traduzida seguidamente nas seguintes etapas:

Etapa A A quem devem ser apresentados os resultados? Consiste na (1) identificao de actores chave do processo, interessados (directa ou indirectamente) nos seus resultados; (2) sinalizao das principais caractersticas dos actores a contactar)

7
Etapa B Como devero ser apresentados os resultados? Deciso sobre a forma adequada para apresentao dos resultados - sesses de sensibilizao/formao, eventos especficos tais como seminrios, workshops, colquios, publicaes, etc...; deciso sobre contedos a apresentar por tipo de pblico destinatrio; deciso sobre a importncia da elaborao de relatrios personalizados e adequados s diferentes expectativas em presena; aferir das preferncias de cada um dos actores do processo relatrios mais pormenorizados/mais resumidos...

7
Etapa C Quando devem ser apresentados os resultados? Consiste na identificao dos momentos mais adequados para a apresentao dos resultados.

283

V. Fase V_P10

06/06/19

11:16

Page 284

7
Etapa D Quem deve apresentar os resultados da avaliao? Trata-se de sinalizar os actores melhor posicionados e preparados para a apresentao dos resultados da avaliao.

7
Etapa E Onde devem realizar-se as sesses para apresentao dos resultados? Consiste em reflectir sobre os constrangimentos associados escolha do local para apresentao de resultados.

7
Etapa F Como devem os vrios actores-chave apropriar-se dos resultados da avaliao? Trata-se de evitar que os resultados da avaliao (seja intermdia ou final) sejam utilizados para fins distintos dos pr-estabelecidos no plano de avaliao; trata-se de garantir a utilizao dos resultados produzidos, sempre que tal seja possvel - apelo rentabilizao do tempo, esforo e dinheiro, a favor de uma maior eficincia e eficcia da formao.

7
Etapa G Os destinatrios esto preparados para receberem os resultados produzidos? Na presena de resultados negativos ou no esperados, importa reflectir sobre as eventuais reaces e/ou impactes nos seus destinatrios.

Verificamos, assim, que um bom planeamento das actividades associadas apresentao dos resultados de um processo avaliativo pode favorecer, de forma bastante significativa, o sucesso da mesma.

284

V. Fase V_P10

06/06/19

11:16

Page 285

Q2

Que abordagens utilizar na apresentao de relatrios de avaliao?

So vrias as formas a utilizar na apresentao dos resultados de uma interveno avaliativa. Destacam-se, seguidamente, as abordagens/ferramentas mais utilizadas por parte das entidades que intervm na formao: Reunio individual com cada um dos interessados. Reunies colectivas (intra ou inter-equipas/departamentos; sesses pblicas...). Envio de emails/documentos escritos para anlise (contactos individuais ou colectivos). Informao constante em Newsletters internas. Consulta a informao digital. Como ferramentas de apoio disseminao, destacam-se: as apresentaes powerpoint; os documentos escritos; os sistemas de gesto de informao internos.

A forma como se apresentam os resultados de uma avaliao determina, em grande medida, o modo como os mesmos so, posteriormente, apropriados e integrados nas prticas dos respectivos pblicos destinatrios.

!!

Apresentam-se, seguidamente, algumas sugestes que visam apoiar o avaliador a preparar e apresentar os resultados das respectivas intervenes. A devoluo dos resultados junto do gestor de topo/director de formao Planear uma reunio presencial logo que reunida informao sobre eventuais impactes da formao. Envio de uma cpia do relatrio alguns dias antes da realizao da reunio referida. Sugere-se que a reunio se inicie com a apresentao dos objectivos do processo avaliativo, assim como, da metodologia utilizada na recolha dos dados. Destacar as principais questes de avaliao. Apresentar os principais resultados da avaliao, sem esquecer as respectivas questes avaliativas de base. Destacar informaes constantes no sumrio executivo apresentado, que dever focalizar as atenes na sinalizao dos impactes da formao em indicadores de desempenho dos indivduos e eventualmente da organizao. Aps a apresentao dos principais resultados, importa destacar as vantagens que decorrem da implementao de processos avaliativos. Uma breve focalizao nas limitaes/obstculos do processo pode, ainda, ajudar a sinalizar eventuais aspectos a melhorar em futuros processos de avaliao. Centrar a ateno dos responsveis presentes na possibilidade de se virem a implementar planos de aco que visem a introduo de melhorias concretas em aces que se encontrem a decorrer ou em futuras intervenes.

285

V. Fase V_P10

06/06/19

11:16

Page 286

O encerramento da reunio dever centrar-se na determinao das prioridades para aco, assim como, sinalizao de responsabilidades a assumir por parte de cada um dos actores implicados no projecto de formao. A devoluo dos resultados junto dos formadores/monitores/coordenadores pedaggicos Retomar os objectivos da avaliao desenvolvida. Sensibilizar os formadores/monitores para a importncia da reflexo a realizar em torno dos resultados das avaliaes efectuadas. Efectuar reunies em grupo ou individuais para discusso pormenorizada sobre as recomendaes decorrentes das intervenes de avaliao. Discusso aberta sobre os aspectos menos conseguidos do projecto de formao. Mobilizao dos presentes nas reunies para a elaborao e implementao de planos de melhoria. Afectao de responsabilidades e definio de timings para execuo das propostas de melhoria. Marcao de prximas reunies para verificao de resultados. Sensibilizar os formadores/monitores para a importncia da construo de manuais de qualidade internos, nos quais sejam claramente sinalizados os perfis dos formadores a considerar e desenvolver. No caso de j existirem manuais de qualidade, verificar da possibilidade de neles introduzir as mais recentes propostas de melhoria. A devoluo dos resultados junto dos participantes na formao Retomar os objectivos da avaliao desenvolvida. Reflectir conjuntamente acerca da utilidade dos resultados da avaliao para os que na mesma participaram. Retomar as principais dimenses/componentes de avaliao consideradas no modelo aplicado. Centrar a discusso nos aspectos verdadeiramente crticos. Discutir abertamente eventuais propostas de melhoria a adoptar nas aces/mdulos em curso ou aces/mdulos subsequentes. Informar sobre a responsabilidade de cada um ao nvel da implementao das propostas de melhoria sugeridas. Agendar futuras reunies/encontros para breves pontos de situao relativamente aos resultados decorrentes das aces de melhoria implementadas. Na sequncia da apresentao dos resultados da avaliao importa estar atento s reaces dos presentes, designadamente, eventual predisposio para a implementao de eventuais planos de melhoria. As respectivas reaces permitem ainda reequacionar as estratgias de apresentao, caso haja necessidade.

286

V. Fase V_P10

06/06/19

11:16

Page 287

 Alguns dos pressupostos de partida que ajudam a garantir a eficcia de uma apresentao, so os seguintes:
A apresentao dos resultados deve ser oportuna, de modo a (1) permitir tomar decises nos momentos em que so necessrias; (2) garantir a mxima utilidade dos produtos de um processo de avaliao; (3) conquistar a confiana dos vrios actores implicados no processo. As apresentaes devem ser preparadas em funo das expectativas e caractersticas dos respectivos pblicos, por forma a permitir realizar sesses medida , focalizadas nos interesses e necessidades dos clientes finais da avaliao. Existem diferentes formas de apresentar os resultados de um processo de avaliao. Uma escolha acertada pode determinar o sucesso na transmisso das mensagens da avaliao realizada. A apresentao dever focalizar-se em factos concretos e facilmente sustentveis. Tal evita que o discurso se centre em meras opinies, resultando ainda numa maior credibilidade do processo avaliativo. A existncia de vrias pausas para apresentar resultados de avaliao reduz o efeito de surpresa no final. Tal prtica facilita a introduo de actividades correntes de avaliao. Ter presente as vrias percepes que os diferentes actores tm sobre o projecto desenvolvido. Permite despistar eventuais opinies negativas sobre anteriores intervenes formativas. As apresentaes tendem a ser mais eficazes quando planeadas. Permite garantir as condies necessrias eficaz apropriao dos resultados de um processo de avaliao. Permite fundamentar/justificar melhor os aspectos menos positivos de determinado projecto.

Q3

Como elaborar planos de melhoria?

Aps a apresentao e discusso dos resultados de um processo de avaliao, importa reflectir sobre as respectivas concluses, designadamente sobre as recomendaes efectuadas por quem participou na avaliao. Estas remetem normalmente para aces a desenvolver que podem assumir duas finalidades distintas: dar continuidade e reforar eventuais prticas bem sucedidas; introduzir as alteraes necessrias de modo a corrigir/alterar aspectos menos positivos nas aces desenvolvidas. De forma a melhor acompanhar os trabalhos subsequentes, aqui fica uma proposta de grelha que visa apoiar a implementao/monitorizao de eventuais planos de aco:
Aces a implementar Responsvel pela implementao das aces Resultados a alcanar Timings para execuo das aces Estimativa global de custos

Recomendaes 1. 2. 3. 4.

287

V. Fase V_P10

06/06/19

11:16

Page 288

Q4

Como controlar a implementao das medidas propostas nos relatrios de avaliao?

O controlo/monitorizao do desenvolvimento dos planos de melhoria afigura-se aqui uma actividade central, na medida em que da maior ou menor consequncia do processo avaliativo j desenvolvido, depende a credibilidade das futuras intervenes de avaliao. As consequncias da avaliao devero assim ser claramente percepcionadas pelos que na mesma participaram, de modo a, paulatinamente, serem construdas relaes de confiana entre quem avalia e quem avaliado. Neste sentido, sugere-se que sejam discutidos os resultados de avaliaes j realizadas no momento do planeamento de novas aces de formao. Uma outra estratgia capaz de garantir uma maior visibilidade da aco do avaliador a incorporao, nos documentos de orientao/manuais de procedimentos/manuais de qualidade, de novas regras que, parida, se acredita possam conduzir a uma maior qualidade das intervenes dos vrios actores que intervm na formao.

288

V. Fase V_P10

06/06/19

11:16

Page 289

Instrumentos de apoio ao processo

V. Fase V_P10

06/06/19

11:16

Page 290

Instrumento de apoio n 25
FICHA TCNICA Objectivos: Este instrumento permite sinalizar a presena de estratgias que, uma vez implementadas, contribuem para uma maior eficcia das sesses organizadas para apresentao dos resultados da avaliao. Contextos e momentos de aplicao: Pode ser utilizado na fase do planeamento da estratgia de avaliao, assim como, na fase da preparao das apresentaes dos resultados de uma avaliao. Quem o pode utilizar: Os responsveis pela apresentao dos resultados de uma avaliao que incida sobre determinada aco formativa.
Comentrios (sinalizar e comentar ausncia de eventuais informaes que possam ter interesse para o processo de avaliao)

Questes a considerar (na fase do tratamento dos dados)

Previsto (x)

No previsto (x)

1. Sinalizar e mobilizar os diferentes destinatrios dos resultados da avaliao antes da implementao do processo avaliativo, informando sobre a importncia e utilidade das actividades a desenvolver. 2. Validar junto dos respectivos destinatrios das principais concluses do relatrio a apresentar. 3. Pedir feedback sobre a forma como correu o processo avaliativo. 4. Considerar quer os posicionamentos da maioria dos auscultados quer de apenas alguns dos elementos implicados no processo de avaliao. 5. Transmitir a informao de diversas maneiras/modo descritivo/usando grficos/esquemas/figuras/tabelas... 6. Apresentar sumrios executivos. 7. Destacar mensagens-chave. 8. Fazer inter relaes de mensagens com questes avaliativas. 9. Recorrer a linguagem acessvel e sinttica. 10. Encorajar a participao dos pblicos destinatrios, ao longo das actividades de avaliao.

290

V. Fase V_P10

06/06/19

11:16

Page 291

11. Evitar a excessiva focalizao da apresentao nos interesses de um determinado grupo em detrimento de outro(s). 12. Evitar a excessiva focalizao da apresentao nos aspectos positivos ou negativos de um qualquer actor implicado no processo avaliativo. 13. Evitar a disperso das discusses por aspectos muito especficos e ou particulares. 14. Evitar a monopolizao da apresentao/discusso por parte de um dos elementos presentes.

291

V. Fase V_P10

06/06/19

11:16

Page 292

VI. Meta-avaliao

06/06/19

11:42

Page 293

VI. O controlo do processo avaliativo: a perspectiva da meta-avaliao

Nesta parte do Guia abordam-se as questes associadas ao controlo do processo de avaliao e verificao da respectiva eficcia. Como objectivos centrais da reflexo que se segue, apresentam-se os seguintes: sensibilizar para a importncia da introduo de mecanismos de controlo da qualidade dos processos de avaliao da formao; disponibilizar instrumentos para o controlo da qualidade de um processo de avaliao da formao.

Reflectindo....

Uma vez realizadas as intervenes de avaliao, importa verificar em que medida estas foram teis para os vrios actores que nas mesmas se viram envolvidos. Defende-se aqui, tal como evidenciado ao longo das reflexes j realizadas neste Guia, uma perspectiva de avaliao que possibilite aos seus destinatrios, no apenas recolher informao sobre os resultados e impactos da formao realizada, mas tambm aprender com os processos de avaliao desenvolvidos. Tratam-se de duas perspectivas centrais nos processos de verificao do controlo da qualidade da avaliao. A esta prtica de se avaliar a prpria avaliao atribui-se a designao de Meta-Avaliao. Sobre esta matria Brinkerhoff (1985) mesmo que uma abordagem meta-avaliativa se baseia no pressuposto de que uma avaliao deve ser uma experincia de aprendizagem para todos os que na mesma se vejam implicados. Na realidade, quando se avalia a prpria avaliao realizada procura-se: aferir da qualidade do modelo ou dispositivo de avaliao desenvolvido; compreender a evoluo em termos de aplicao de prticas avaliativas; reflectir sobre os resultados das avaliaes realizadas; aprender com as reflexes e balanos realizados de modo a introduzir eventuais melhorias nas prticas de avaliao j existentes. Os processos meta-avaliativos so em regra bem acolhidos, sempre que j existem outros procedimentos internos de controlo de qualidade, tais como, processos de auditoria internos, processos de auto-avaliao dos indivduos, equipas ou organizao.

!!

Afinal, sempre que no questionamos a qualidade final do nosso trabalho, podemos estar certos que outros, seguramente, o iro fazer (Brinkerhoff, et al., 1985).

293

VI. Meta-avaliao

06/06/19

11:42

Page 294

Preparando a prtica...

Q1

Meta-avaliao: que abordagens?

As questes da meta-avaliao assumiram um papel de destaque no perodo que medeia o incio dos anos 80 e meados dos anos de 90. As preocupaes com esta matria focalizavam-se, ento, na avaliao de programas de interveno no domnio da Educao. Assiste-se, neste perodo, a um crescente desenvolvimento das prticas de avaliao nos mais diversos domnios de interveno, tendo-se verificado durante o perodo referido, a transio de uma postura de maior independncia, em matria de aplicao de projectos de avaliao, para uma postura de maior implicao de todos os intervenientes, com participao directa e ou indirecta, nesses projectos. Esta mobilizao de actores vem, em certa medida, contribuir para o desenvolvimento de novas abordagens de avaliao, e por conseguinte novas formas de recolha e tratamento de dados. A garantia da qualidade dos processos de avaliao surge, assim, como uma forte preocupao neste perodo, tendo surgido em 1981 a primeira proposta de Standards a aplicar s intervenes de natureza avaliativa, muito embora ainda fortemente direccionada para o campo da implementao de programas/projectos de educao: Standards for Evaluations of Educational Programs, Projects, and Materials (McGraw-Hill 1981). A partir desta publicao muitas foram as organizaes a validar e a apropriar-se desta obra, dando origem mais tarde criao de um comit constitudo por 16 entidades com interveno no domnio da avaliao. Vrios foram os contributos para a elaborao de uma proposta de meta-avaliao (Sanders, 1976; Joint Comittee on Standards, 1994; Brinkerhoff, 1985). As diferentes abordagens propostas assumem formatos distintos, no obstante, na maior parte dos casos, bastante complementares entre si. Uma das primeiras propostas apresentadas (Sanders, 1976), remete-nos para a verificao da adequao de um plano de avaliao. A proposta surge no formato de checklist e remete o respectivo utilizador para as questes associadas qualidade da interveno avaliativa a desenvolver. Este instrumento surge dividido em quatro grandes seces, a saber:

294

VI. Meta-avaliao

06/06/19

11:42

Page 295

Critrios considerados Critrios relacionados com a adequao da planificao da avaliao Critrios relacionados com a adequao da recolha de informao Critrios relacionados com a adequao da apresentao e divulgao dos resultados Critrios gerais

Questes centrais A avaliao surge focalizada nos aspectos centrais do projecto? A proposta avaliativa vivel quando considerados os constrangimentos do contexto? Os instrumentos avaliativos afiguram-se fiveis e vlidos? A informao recolhida objectiva e representativa do universo em presena? A informao disponibilizada til e oportuna? A implementao do processo avaliativo obedeceu a princpios ticos?

Um referencial amplamente utilizado actualmente em matria de meta-avaliao, resultou do trabalho do Joint Comittee on Standards (1994). Pela extenso e importncia da obra remete-se o avaliador para as referncias bibliogrficas nas quais poder encontrar a obra referida. Uma outra proposta, igualmente bastante divulgada, na qual possvel destacar os propsitos e enfoques de uma proposta para meta-avaliao, a apresentada por R. Brinkerhoff (1985):

Momentos de interveno O momentum antes A avaliao dos planos/estratgias avaliativas O momentum durante A avaliao das actividades avaliativas em curso O momentum depois A avaliao aps a interveno avaliativa concluda Aferir da adequao e pertinncia dos propsitos avaliativos e das questes avaliativas consideradas.

Funes avaliativas

1. A focalizao da avaliao

Contribuir para a melhor definio do propsito da avaliao, das respectivas questes avaliativas, caracterizao de contextos e identificao de audincias.

Determinar em que medida as questes avaliativas esto ou no a ser consideradas, assim como aferir at que ponto so as mais indicadas, face aos resultados entretanto alcanados Aferir da eficcia das estratgias avaliativas implementadas, assim como apoiar, se necessrio, na reviso das estratgias previstas.

2. A construo da proposta avaliativa

Identificar com clareza qual a estratgia avaliativa e/ou ajudar na definio da mesma.

Determinar em que medida a interveno avaliativa foi implementada de forma adequada e se foi til para os respectivos destinatrios.

x
295

VI. Meta-avaliao

06/06/19

11:42

Page 296

3. A recolha de informao

Aferir da adequao dos instrumentos avaliativos, assim como acerca das estratgias para recolha dos dados pretendidos. Apoiar o avaliador na seleco da melhor estratgia avaliativa a aplicar; ajudar a seleccionar o melhor perfil de avaliador a mobilizar. Aferir da adequao da estratgia de devoluo de resultados e respectivo formato de apresentao, contedos, em funo dos vrios tipos de destinatrios. Avaliar e melhorar o plano de avaliao desenvolvido; custo-benefcio das intervenes, e caractersticas dos contratos.

Aferir da adequao das estratgias de recolha de dados.

Aferir da qualidade e relevncia da informao recolhida, assim como dos mtodos utilizados na recolha dessa informao. Aferir da adequao das anlises e interpretaes efectuadas sobre a realidade observada.

4. A anlise da informao

Aferir da adequao e qualidade do tratamento da informao (ex: categorizaes...)

5. O feedback dos resultados

Ler e avaliar os relatrios de avaliao, apresentando eventuais alternativas; contribuir para a melhoria das questes tcnicas.

Avaliar os relatrios de avaliao, o respectivo equilbrio; oportunidade, adequao.

6. A gesto do processo avaliativo

Verificar em que medida o plano de avaliao est a ser monitorizado; aferir da adequao do contracto efectuado assim oramento previsto.

Aferir em que medida o processo de avaliao desenvolvido foi bem conduzido, assim como correctamente oramentado; Determinar se os custos foram razoveis; determinar se os contractos foram respeitados.

Fonte: Adaptado de Brinkerhoff, et al, 1985

As intervenes de avaliao, quer sejam efectuadas interna ou externamente organizao e/ou projecto de interveno, so cada vez mais solicitadas tal como se referiu na parte I do presente Guia. Este crescendo em termos de intervenes avaliativas exige um maior acompanhamento e validao dos prprios processos avaliativos implementados. O interesse pelas intervenes meta-avaliativas surge, em regra, muito associado a contextos de sistemas de controlo e/ou auditoria de projectos de interveno, designadamente no quadro das preocupaes com a validao das estratgias e resultados das avaliaes. No ser, pois, comum verificar a implementao isolada de intervenes desta natureza.

296

VI. Meta-avaliao

06/06/19

11:42

Page 297

Q2

Quem pode efectuar abordagens meta-avaliativas?

Os processos de meta-avaliao podem ser efectuados, quer por indivduos e/ou organizaes externas ao projecto em anlise, quer por indivduos envolvidos na implementao das intervenes. Pode tambm ser um processo da responsabilidade de equipas internas ao projecto. Na maior parte das vezes, as avaliaes desta natureza so efectuadas por parte das equipas internas, designadamente por parte dos que representam o cliente ou utilizador do programa. A meta-avaliao realizada por indivduos externos aos projectos acaba por atribuir maior credibilidade ao processo, quando comparada com a meta-avaliao realizada por indivduos internos ao projecto. A realizao de meta-avaliaes por indivduos internos ao projecto e/ou algum prximo da estrutura coordenadora do projecto, surge, regra geral, inserida, em sistemas de controlo/auditoria internos que visam, por um lado aferir da conformidade das intervenes executadas face a referenciais pr-definidos, assim como, por outro lado, introduzir melhorias nos processos que entretanto se encontrem a decorrer. Todavia, considerando a morosidade do processo meta-avaliativo, a abordagem interna acaba por ser a predominante. Tratando-se de uma observao sobre prticas/metodologias avaliativas os mesmos autores (Brinkerhoff, et al. 1985) sugerem que o processo seja conduzido por indivduos que dominem as diferentes metodologias avaliativas, ao invs de indivduos conhecedores dos contextos de interveno.

297

VI. Meta-avaliao

06/06/19

11:42

Page 298

Exemplificando....

Q3

Que dimenses/critrios utilizar na implementao da meta-avaliao?

O interesse acelerado pela implementao de prticas de avaliao, exigidas em particular pelos financiadores dos projectos de interveno, lanou para o mercado uma srie de entidades/indivduos que visam, actualmente, dar uma resposta a este tipo de solicitao. Apresenta-se seguidamente, a ttulo meramente exemplificativo, um conjunto de critrios de avaliao para a realizao de uma anlise rpida sobre as prticas de avaliao j desenvolvidas:
Dimenses de avaliao Os responsvel(eis) pela gesto/acompanhamento da implementao do processo avaliativo Os actores que participam no processo de avaliao O modelo de avaliao Principais critrios de avaliao Preparao tcnico-metodolgica dos responsveis pela gesto do processo de avaliao Eficcia na mobilizao e formao dos actores chamados a participar nas actividades de avaliao Estruturao e sofisticao do modelo de avaliao Flexibilidade e adequao do modelo de avaliao implementado face s caractersticas dos respectivos contextos de aplicao Credibilidade das fontes de informao Adeso dos vrios actores s actividades de avaliao Adequao das estratgias de avaliao s necessidades de informao dos respectivos destinatrios Qualidade dos resultados produzidos Utilidade dos resultados para os respectivos pblicos destinatrios Qualidade dos relatrios de avaliao Adequao da linguagem aos respectivos pblicos alvo Exequibilidade das recomendaes produzidas Relao custo-eficincia do processo avaliativo

As fontes de informao utilizadas Operacionalizao do modelo de avaliao Resultados do processo avaliativo Relatrios finais Recomendaes produzidas Custos do processo avaliativo

298

VI. Meta-avaliao

06/06/19

11:42

Page 299

Instrumento de apoio ao processo meta-avaliativo

VI. Meta-avaliao

06/06/19

11:42

Page 300

Instrumento de apoio n 26
FICHA TCNICA Objectivos: O presente instrumento permite efectuar uma avaliao rpida sobre as prticas de avaliao realizadas. Contextos e momentos de aplicao: Este instrumento foi construdo para ser aplicado nos momentos antes, durante e aps o desenvolvimento das estratgias de avaliao. Quem o pode utilizar: O gestor da formao, os coordenadores da formao, os formadores...
Questes a considerar Antes da execuo do processo de avaliao 1. Na preparao da avaliao foram contempladas as caractersticas dos contextos? 2. A avaliao surge centrada nos aspectos centrais/crticos da formao? 3. A proposta avaliativa afigura-se vivel quando considerados os constrangimentos do contexto? 4. Os instrumentos avaliativos a aplicar afiguram-se vlidos e fiveis? 5. Foram mobilizados e preparados os actores que intervm no processo avaliativo? Durante a execuo do processo de avaliao 6. A implementao do processo avaliativo obedece a princpios ticos? 7. O modelo de avaliao afigura-se suficientemente flexvel de modo a dar total resposta s questes de avaliao em presena? 8. As fontes de informao afiguram-se suficientemente credveis? 9. A informao disponibilizada til e oportuna? 10. A informao produzida objectiva e representativa? Aps a execuo do processo de avaliao 11. As estratgias de avaliao deram resposta s necessidades de informao dos respectivos destinatrios 12. Os vrios actores aderiram de forma satisfatria s actividades de avaliao? 13. A qualidade dos resultados produzidos satisfatria? 14. As recomendaes efectuadas so exequveis? 15. Os resultados produzidos respondem s necessidades de informao dos respectivos destinatrios? 16. A relao custo-benefcio do processo avaliativo aceitvel? SIM (x) NO (x) Observaes

300

VII. Bibliografia-sites

06/06/19

12:09

Page 301

Referncias bibliogrficas
ABRECHT, R. (1994) A Avaliao Formativa. Rio Tinto: Edies ASA. ALBARELLO, L. et al (1997) Prticas e Mtodos de Investigao em Cincias Sociais. Lisboa: Gradiva. ASTD (2001). Measurement & Evaluation Train the trainer Guide Vol. IV, an Info-line collection. ASTD. BALDWIN, T.T.; FORD, J. K. (1988) Transfer of training: a review and directions for future research. Personnel Psichology, 41, 63-105. BARBIER, J.M. (1990) A Avaliao em Formao. Porto: Afrontamento, D.L. BARDIN, L. (1977) Anlise de contedo. lisboa: Edies 70. BARKSDALE, S; LUND, T. (2001) Rapid Evaluation. Alexandria ASTD. BARTEL, A. P. (2000) Measuring the employers return on investments in training: evidence from the literature. In NCVER (2001) Research at a glance, returns on investment in training. [On-line]. Disponvel na WWW:<URL: http://www.ncver.edu.au/research/core/cp0007aag.pdf> BARTRAM, S.; GIBSON, B. (1999) Evaluating Training. HRD Press. Amherst, Massachusetts. BARZUCCHETTI, S.; CLAUDE, J. (1995) Evaluation de la formation et performance de lenterprise. Editions Liaisons. BASARAB, D. J.; ROOT, D. K. (1992) The Training Evaluation Process: a practical approach to evaluating corporate training programs. Boston: Kluwer Academic Publishers. BEE, F.; BEE, R. (1994) Training Needs Analysis and Evaluation. London: Institute of Personnel and Management. BLOOM, B. et al ( 1971) Handbook on Formative and Summative Evaluation of Student Learning. USA: McGraw-Hill, Inc. BRINKERHOFF, R.; GILL, S. (1994) The learning alliance: systems thinking in human resource development. Jossey Bass Business and management series. BRINKERHOFF, R. et al (1985) Program Evaluation a practitioners guide for trainers and educators. 3 edio. Kluwer:Nijhoff Publishing. BRINKERHOFF, R.; APKING, A. (2001) High Impact Learning. Basic Books. BROAD M., L. , ed. lit. (1997) Transferring Learning to the Workplace: seventeen case studies from the real world of training. Alexandria, Virginia: ASTD. CAETANO, A.; VELADA, R. (2004) Avaliao da Formao Profissional: o problema da transferncia. In Cadernos Sociedade e Trabalho: Formao Profissional, 4. Lisboa. Departamento de Estudos, Estatstica e Planeamento do MTSS. CARDINET, J. (1993) Avaliar Medir? 1 Edio. Rio Tinto: Edies ASA. CARDOSO, Z. et al (2003) Avaliao da formao: glossrio anotado. Lisboa: Inofor. CARRASCO, J.F. (1988) Como avaliar a aprendizagem. Rio Tinto: Edies ASA CARVALHO, A. et al (1994) Avaliao Criterial/Avaliao Normativa. In: Pensar Avaliao, Melhorar a Aprendizagem. Lisboa, IIE.

301

VII. Bibliografia-sites

06/06/19

12:09

Page 302

Comisso Interministerial para o Emprego (2001) Terminologia de Formao Profissional. Lisboa: MESS, ICT. DENNERY, M. (1997) Organiser le suivi de la formation mthodes et outils. ESF diteur, Paris. DESCY, P.; TESSARING, M. (2004) Evaluation of Systems and Programs.CEDEFOP. Luxembourg: Office for Official Publications of the European Communities. DESCY, P.; TESSARING, M. (2005) The Value of Learning: evaluation and impact of education and training. CEDEFOP. Luxembourg: Office for Official Publications of the European Communities. DESCY, P; TESSARING, M. (2005) The Value of Learning: evaluating and impact of education and training. European Centre for the Development of Vocational Training. FIGARI, G. (1996) Avaliar: que referencial?. Porto Editora GEERTSHUIS, S. et al (2002) Evaluation of Workplace Learning. Disponvel na www:<URL: http://www.emerald-library.com> GOUVEIA J. et al (2005) Manual de Avaliao da Formao. Disponvel na WWW:<URL: http://crc.aeportugal.pt> GRUBB, W.; RYAN, P. (1999) The roles of evaluation for vocational education and training. Geneva: International Labour Office. GUBA, E., LINCOLN, Y. (1989) Fourth Generation Evaluation. Newbury Park: CA: Sage. GUPTA, K. (1999) A Practical Guide to Needs Assessment. San-Francisco: Jossey-Bass. HASHIM, J. (2001) Training Evaluation: clients roles. Disponvel na WWW:<URL: http://www.emerald-library.com> INSTITUTO PARA A INOVAO NA FORMAO (2002) Acreditao: Guia de Apoio ao Utilizador do Sistema de Acreditao. Lisboa: Inofor. INSTITUTO PARA A QUALIDADE NA FORMAO (2004) Guia para a Concepo de Cursos e Materiais Pedaggicos. Coleco Metodologias de Formao. Lisboa: IQF. KETELE, J; ROEGIERS, X. (1993) Metodologia da Recolha de Dados. Lisboa: Instituto Piaget. KING, J. et al (1987) How to Assess Program Implementation. California: Sage Publications. KIRKPATRICK, D. (1998) Another Look at Evaluating Training Programs: fifty articles from training & development and technical training magazines cover the essentials of evaluation and return-on-investment. Alexandria: ASTD KIRKPATRICK, D.L. (1998-A) Evaluating Training Programs: the four levels, 2nd ed. San Francisco: Berrett-Koehler LE BOTERF, G. (1997) De la Comptence la Navigation Professionelle. Paris: Les ditions dOrganisation. LE BOTERF, G. (1999) LIngnierie des comptences. Paris: Les ditions dOrganisation. LE BOTERF, G. (2002) Ingnierie et valuation des comptences. 4 edio. Paris: dition dOrganisation. LEITE, C.; FERNANDES, P. (2002). Avaliao das Aprendizagens dos Alunos novos contextos, novas prticas. Porto: Edies ASA. MATHISON, S. (2005) Encyclopedia of Evaluation. California: Sage Publications, Inc. MEIGNANT, A. (1999) A Gesto da Formao. Lisboa: Publicaes D.Quixote.

302

VII. Bibliografia-sites

06/06/19

12:09

Page 303

MOY, J.; Mac Donald, R. (2000) Analysing Enterprise Returns on Training. [On-line]. Disponvel na WWW:<URL: http://www.ncver.edu.au/research/proj/nr8012.pdf> MTSS/DEEP (Ministrio da Segurana Social e do Trabalho/Departamento de Estudos, Estatstica e Planeamento) (2004). Cadernos Sociedade e Trabalho IV Formao Profissional. 1 edio. Lisboa: MTSS/DEEP. NEVES, A. et al (1993) Que instrumentos usar na observao. In: Pensar avaliao, melhorar a aprendizagem. Lisboa: IIE.
NOVAK, J.; GOWIN, B. (1999) Aprender a Aprender. 2 edio. Lisboa: Pltano Universitria.

OWEN, J.; ROGERS, P. (1999) Program Evaluation forms and approaches. Sage Publications. PARRY, S. (1997) Evaluating the Impact of Training: concepts for all levels, evaluation methods and practices, gaining management support: a collection of tools and techniques. Alexandria: ASTD. PATTON , M. (1997) Utilization-focused Evaluation, the New Century Text. 3rd ed. Thousand Oaks: Sage. PEREZ, C. (2001) valuer les programmes demploi et de formation: lexprience amricaine. Paris: La documentation Franaise. PERRENOUD, P. (1999) Avaliao da excelncia regulao das aprendizagens. Porto Alegre: Artmed. PETERSON, R. (1998) Training Needs Assessment: meeting the training needs for quality performance. 2nd ed. London: Kongan Page. PHILLIPS, J. et al (2004) Make Training Evaluation Work. USA: ASTD. PHILLIPS, J. J (1997) Handbook of Training Evaluation and Measurement Methods. 3rd ed. Houston: Gulf. PHILLIPS, J. J. (1997-a) Return on Investment in Training and Performance Improvement Programs a step-by-step manual for calculating the financial return. Improving Human Performance Series. Houston: Gulf Publishing PHILLIPS, J. J. (1994) Measuring return on investment, vol 1. Ed. ASTD. PHILLIPS, J. J. (1997-b) Transfering Learning to the Workplace seventeen case studies from the real world of training. ASTD. PHILLIPS, P. P. (2002) The Bottomline on ROI. Atlanta, Georgia: CEP Press. RIBEIRO, A.; RIBEIRO, L. (1989) Planificao e Avaliao do ensino-aprendizagem. Lisboa: Universidade Aberta. ROBISON, D.G.; ROBISON J.C, (1989) Training for Impact: how to link training to business needs and measure the results. San-Francisco: Jossey-Bass. RODRIGUES, M.J. (1993) Avaliao e Aprendizagem Social : uma proposta de metodologia. Lisboa: Dinmia. Lisboa: Universidade Aberta. ROSSI, P. et al (1999) Evaluation: a systematic approach. 6th ed. Thousands Oaks: Sage. SALGADO, C.M.T. (1997) Avaliao da Formao: interface escola/empresa. Lisboa: Texto. SCRIVEN, M. ( 1991) Evaluation Thesaurus. 4th ed. Newbury Park: Sage. SIMPSON, P.; LYDDON, T. (1995) Different Roles, Different Views: exploring the range of stakeholder perceptions on an in-company management development programme. Disponvel na WWW:<URL: http://www.emerald-library.com>

303

VII. Bibliografia-sites

06/06/19

12:09

Page 304

SOYER, J. (1999) Fonction formation. 2 edio. Paris: ditions dOrganisation. THE JOINT COMMITTEE ON STANDARDS (1994) The program evaluation standards how to assess evaluations of educational programs. 2nd edition. California: Sage Publications. TILLING, M.; NASH, P. (2000) Standards-based Training and Development: self-assessment, organisation and trainer development strategies and tools. Aldershot: Gower. TRINDADE, R. (2002) Experincias Educativas e Situaes de Aprendizagem novas prticas pedaggicas. Porto: edies ASA. VALADARES, J.; Graa, M. (1998) Avaliando para Melhorar a Aprendizagem. Lisboa: Pltano VAN DEN BERGHE, W. (1998) Indicators in Perspective: the use of quality indicators in vocational education and training. Luxembourg: Office for Official Publications of the European Communities. WEISS, C.H. (1997) Evaluation. 2nd edition. New Jersey: Prentice Hall. WOODS, J.; CORTADA, J. (2000) The 2000 ASTD: Training and performance yearbook. New York: Mcgraw-Hill.

304

VII. Bibliografia-sites

06/06/19

12:09

Page 305

Sites de interesse
WWW Virtual Library: Evaluation
URL: www.policy-evaluation.org Faz referncia a organizaes especializadas em matria de avaliao, a revistas especializadas, centros de investigao, entre outros.

Sobre transferncia de aprendizagens

URL: http://reviewing.co.uk/reviews/evaluation-transfer.htm#transfer Faz referncia a vrias obras relacionadas com o desenvolvimento dos nveis 3 (aplicao dos saberes adquiridos) e 4 (impacte da formao nos resultados da organizao) e referncias a ROI (Retorno do Investimento). URL: www.edholton.com Remete o utilizador para algumas das principais obras de Elwood F. Holton, especializadas no terceiro nvel de avaliao (aplicao dos adquiridos em contexto real de trabalho), no mbito do qual so apresentadas abordagens que recorrem ao LTSI (Learning Transfer System Inventory).

Online Evaluation Resources Library

URL: www.oerl.sri.com/index.html Link para site com conjunto de orientaes metodolgicas concretas sobre: (1) desenvolvimento de estratgias de avaliao; (2) construo de inquritos por questionrio; (3); aplicao de inquritos por questionrio; (4) elaborao de inquritos por entrevistas; (5) aplicao de inquritos por entrevista; (6) A recolha de dados: (7) a triangulao de dados; (8) a construo de instrumentos para prticas de observao.

Banco Mundial
URL: www.worldbank.org ou www.obancomundial.org Disponibiliza um conjunto de informaes/instrumentos que permitem efectuar a monitorizao da avaliao. Destaque para os estudos de avaliao e metodologias para monitorizao da avaliao, bem como links associados temtica da avaliao. Em www.worldbank.org/evaluation/toolkit/toolkits and handbooks/ encontrar alguns instrumentos com interesse.

305

VII. Bibliografia-sites

06/06/19

12:09

Page 306

Sociedade Americana para o Desenvolvimento da Formao ASTD

URL: www.astd.org/ Permite o acesso a fruns de discusso associados temtica da formao (Learning communities). So abertos e gratuitos a todos os profissionais que pretendam obter ou trocar informaes. Destaque para os estudos relacionados com a temtica da avaliao avaliao, abordagem ROI e Performance Improvement. ainda possvel obter uma verso electrnica da Parte II de Training Outcomes Evaluation, 1999 Measurement Kit em www.raosoft.com/downloads/astd.html/

Comisso Europeia
URL: http://europa.eu.int/comm/ Permite o acesso a documentos relacionados com a temtica da avaliao da formao, designadamente, alguns guias de apoio aplicao de metodologias de avaliao. So de destacar os guias disponibilizados nos quais podem ser encontradas algumas sugestes que visam dar apoio obteno de melhores resultados aquando da aplicao de modelos avaliativos. Destaque para: http://europa.eu.int/comm/budget/evaluation/keydocuments e http://europa.eu.int/comm/europeaid/evaluation/methods/guidelines_en.pdf

NCVER National Centre for Vocational Education Research, Ltd.

URL: www.ncver.edu.au Permite aceder a informaes subordinadas ao tema da educao/formao profissional. Permite que sejam efectuados downloads de textos/estudos integrais relacionados com a temtica da avaliao, dos quais se destacam os estudos dedicados aplicao da metodologia Return on Investment (Retorno do Investimento ROI).

The Evaluation Center Western Michigan University

URL: www.wmich.edu/evalctr/checklists/ Permite o acesso a um conjunto de checklists elaboradas por um conjunto de especialistas em matria de avaliao, tais como Daniel Stufflebeam, Michael Scriven , Michael Patton, entre outros, que visam apoiar o utilizador ao nvel da aplicao e controlo de qualidade das respectivas metodologias de avaliao. Estes instrumentos podem ser particularmente teis aquando da institucionalizao de procedimentos de auditoria interna no quadro do desenvolvimento de projectos de formao.

306

VII. Bibliografia-sites

06/06/19

12:09

Page 307

Separadores Fases

06/06/19

12:37

Page 1

FASE I

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Separadores Fases

06/06/19

12:37

Page 2

Separadores Fases

06/06/19

12:37

Page 3

FASE II

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Separadores Fases

06/06/19

12:37

Page 4

Separadores Fases

06/06/19

12:37

Page 5

FASE III

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Separadores Fases

06/06/19

12:37

Page 6

Separadores Fases

06/06/19

12:37

Page 7

FASE IV

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Separadores Fases

06/06/19

12:37

Page 8

Separadores Fases

06/06/19

12:37

Page 9

FASE V

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Separadores Fases

06/06/19

12:37

Page 10

Separadores

06/06/19

12:30

Page 1

Apresentao da abordagem PERTA

PREPARAR A INTERVENO AVALIATIVA

ELABORAR E TESTAR INSTRUMENTOS

REALIZAR A ESTRATGIA AVALIATIVA

TRATAR E ANALISAR OS DADOS

APRESENTAR OS RESULTADOS

Separadores

06/06/19

12:30

Page 2

Separadores

06/06/19

12:30

Page 3

As diferentes fases da abordagem PERTA

Separadores

06/06/19

12:30

Page 4

Separadores

06/06/19

12:30

Page 5

O controlo do processo avaliativo: perspectiva da meta-avaliao

Separadores

06/06/19

12:30

Page 6

Separadores

06/06/19

12:30

Page 7

Referncias bibliogrficas/ Sites de interesse

Separadores

06/06/19

12:30

Page 8