Treinamento

Esta seo tem como objetivos apresentar e discutir aspectos relevantes e prticos sobre o treinamento para os prossionais de sade. A educao e o treinamento continuado para o prossional de sade devem propiciar a interface entre a pesquisa e a prtica, ou seja, favorecer uma prtica baseada na melhor informao ou na melhor evidncia. Adicionalmente, os prossionais devem demonstrar um pensamento crtico situacional e capacidade de resoluo de problemas combinando competncias relacionadas ao comportamento/atitude e habilidades tcnico-cientcas. Cristina Satoko Mizoi
Editora da seo

Sistemas de avaliao de treinamento: da teoria prtica

Lissandra Borba da Cunha1, Cristina Satoko Mizoi2
Analista de Treinamento do Instituto Israelita de Ensino e Pesquisa Albert Einstein IIEPAE, So Paulo (SP), Brasil. 2 Gerente de Treinamento do Instituto Israelita de Ensino e Pesquisa Albert Einstein IIEPAE, So Paulo (SP), Brasil.
1

Os avanos do mundo contemporneo e a velocidade dessas mudanas exigem altos investimentos das empresas, seja de capital financeiro ou humano. As empresas so fundamentalmente constitudas de inteligncia, algo que apenas as pessoas possuem, e o capital financeiro somente ser bem aplicado quando for inteligentemente investido e administrado. Para tanto, os investimentos no capital humano tornam-se prioritrios em relao administrao do capital ou a qualquer outro recurso empresarial, como mquinas, equipamentos, instalaes, clientes, etc. As empresas voltaram-se para a educao profissional como elemento crucial para o alcance de resultados. Esto descobrindo que todo o investimento em pessoas, quando bem feito, provoca retornos financeiros para a organizao(1). Segundo Chiavenato, a educao profissional a educao institucionalizada, que visa ao preparo do homem para a vida profissional, em que a educao propriamente dita compreende trs etapas: formao profissional, desenvolvimento e treinamento. Portanto, o treinamento abrange uma educao profissional voltada para melhorar a performance dos profissionais dentro da empresa em que trabalham(1). Os altos investimentos em treinamento e desenvolvimento evidenciaram a necessidade de mensurar os retor-

nos para as empresas, seja na qualidade do produto gerado, na satisfao do cliente ou no clima organizacional. Portanto, sistemas de avaliao de treinamento so importantes aliados na coleta sistemtica desses dados(2). Os sistemas de treinamento somente sobrevivero se apresentarem seus resultados utilizando mtodos cientificamente reconhecidos, demonstrando o impacto positivo do treinamento no indivduo e na organizao. Segundo Borges-Andrade, a avaliao de treinamento e desenvolvimento pode ser definida como um processo que inclui sempre algum tipo de coleta de dados, o qual utilizado para emitir algum juzo de valor e avaliar o alcance das metas definidas para aquele treinamento. Essa avaliao tambm fornece dados para o aperfeioamento do sistema de treinamento(3). Scriven define avaliao como uma atividade metodolgica que consiste simplesmente na reunio e associao dos dados de realizao com um sistema de valores contidos em uma escala, critrio (padro), a fim de produzir ou uma comparao ou uma classificao numrica(4). A implantao de um sistema de avaliao de treinamento requer uma sequncia de etapas com o objetivo de apresentar um sistema slido e confivel. A primeira etapa a escolha de um modelo de avaliao de treinamento seguida pela escolha dos indicadores e a construo da metodologia de coleta de dados, englobando instrumento, fontes, avaliadores e meios de avaliao. Com essas etapas concludas, importante estruturar os procedimentos para anlise de dados e definir como esses dados sero apresentados(3). Kirkpatrick props um modelo de avaliao de treinamento com resultados imediatos e efeitos a longo prazo. Tanto os resultados imediatos como os efeitos a

einstein: Educ Contin Sade. 2010;8(3 Pt 2): 156-60

157

longo prazo podem ser avaliados em dois nveis: reao e aprendizagem como imediato e comportamento no cargo e resultado como efeitos a longo prazo. Hamblin adaptou o modelo de Kirkpatrick, dividindo resultado em outros dois nveis: mudana organizacional e valor final(3,5,6)(Figura 1).
Nvel 1 Reao

resultados de treinamento, realizamos uma comparao dos resultados obtidos no treinamento com os resultados esperados no planejamento, iniciando pelo nvel 1 (reao) at chegar ao nvel 5 (valor final)(3).

Nvel 2 Aprendizagem

Nvel 3 Comportamento no cargo

Nvel 4 Mudanas na organizao

Nvel 5 Valor final

Figura 1. Modelo de avaliao treinamento Kirkpatrick/Hamblin

Considerando o raciocnio do modelo do Kirkpatrick, importante ressaltar que, durante a fase de planejamento de treinamento, a lgica o resultado esperado em cada nvel de avaliao (Figura 2), iniciando pelo nvel 5 (valor final) at chegar ao nvel 1 (reao). Ao avaliar os

Nvel 1: AvAliAo de reAo A avaliao de reao o primeiro nvel do modelo de avaliao de treinamento de Kirkpatrick e mensura a opinio ou a satisfao dos participantes sobre diversos aspectos do evento de treinamento, fornecendo indicadores qualitativos mensurveis. Esse nvel considerado o resultado mais superficial do treinamento(5-6). A reao deve ser medida em todos os programas de treinamento, pois o participante percebe que os treinadores se importam com sua satisfao com o treinamento, aceitando sugestes para melhor-lo. A reao dos participantes ao treinamento tem influncia sobre futuros programas. Reaes negativas ao treinamento influenciam negativamente o nvel 2 (aprendizagem), mas o inverso nem sempre verdadeiro; reao positiva ao treinamento no garante o aprendizado(7). A avaliao de reao tem como foco avaliar a aplicabilidade do treinamento, o desempenho do instrutor, a qualidade do plano de treinamento e o suporte ao treinamento. Os instrumentos para a coleta desses dados podem ser por meio de questionrios com questes fechadas e abertas ou entrevistas estruturadas. Um estudo mostrou que questionrios de reao no bastam nas avaliaes de treinamento, pois no determinam o quanto esses eventos afetam o desempenho

Treinamento Objetivos de reao Efeitos de reao

Comparar

Objetivos de aprendizado

Comparar

Efeitos de aprendizado

Objetivos de comportamento no cargo

Comparar

Efeitos no comportamento no cargo

Objetivo de organizao

Comparar

Efeitos na organizao

Objetivos de valor final Lgica do planejamento de treinamento

Figura 2. Lgica do raciocnio comparativo de resultados esperados e obtidos

Comparar Avaliao de treinamento

Efeitos de valor final Cadeia de resultados de treinamento

einstein: Educ Contin Sade. 2010;8(3 Pt 2): 156-60

158

dos participantes no trabalho e se esse desempenho individual afeta a organizao(8).

Nvel 2: AvAliAo de ApreNdizAgem O segundo nvel de avaliao a aprendizagem, que tem como objetivo verificar se o que foi ensinado foi aprendido. O aprendizado est pautado na obteno de conhecimento, habilidade e atitude (CHA)(5-6). Algumas etapas compem o processo de aprendizagem (Figura 3)(3).
Aprendizado Impacto do treinamento no trabalho

produzir resultados; o mtodo mais utilizado nos sistemas de treinamento e desenvolvimento(4,10). Os instrumentos indicados para a obteno de resultados de aprendizado so: questionrios, testes, listas de verificao, roteiros observacionais e entrevistas estruturadas. Ao avaliar a aprendizagem, independentemente do instrumento de coleta, importante ter clareza do objetivo de aprendizado, pois este determinar a forma para coletar esses dados. A mensurao deve ser exatamente o desempenho descrito no objetivo, portanto, deve pertencer ao mesmo domnio deste (cognitivo, afetivo ou psicomotor) e ao mesmo nvel de complexidade (no domnio cognitivo), de internalizao (domnio afetivo) ou de automatizao (domnio psicomotor)(3).

Transferncia Generalizao Reteno Aquisio

Figura 3. Processo de aprendizagem

A fase inicial do processo de aprendizagem a aquisio, isto , apreenso do conhecimento, habilidade e/ou atitude na memria de curto prazo. Essa fase da aprendizagem deve ser medida durante ou logo aps o treinamento(3,9). A fase seguinte a reteno, ou seja, o armazenamento de informaes na memria de longo prazo que pode ser recuperada facilmente com um pequeno estmulo. Os estudos no demonstram com clareza qual o perodo de medio, nem por quanto tempo a reteno da aprendizagem, podendo ser em dias, semanas ou meses(3,9). A terceira fase do processo de aprendizagem a generalizao, que compreende a capacidade de demonstrar os CHAs aprendidos no treinamento em situaes diferentes daquelas estabelecidas no treinamento ou usuais. Por fim, a aprendizagem passa pela fase de transferncia e impacto no trabalho, que podem ser medidos com os nveis seguintes de avaliao do modelo de Kirkpatrick(3,9). O mtodo para avaliar a aprendizagem pode ser formativo ou somativo(4,9). O mtodo formativo a contnua coleta de dados durante o processo instrucional; o mtodo mais utilizado no ensino formal e distncia. O outro mtodo, somativo, obtm informaes para avaliar um programa j desenvolvido e verifica a capacidade desse programa

Nvel 3: AvAliAo do comporTAmeNTo No cArgo Comportamento o terceiro nvel de avaliao do modelo de Kirkpatrick e avalia at que ponto o comportamento no trabalho mudou como resultado do programa de treinamento. Item mais difcil de medir e talvez o mais importante por esse motivo, a medio pode ser por mtodo de amostragem, pois quase impossvel avaliar todos os programas nesse nvel(5-6). importante realizar a avaliao antes e depois do treinamento para comparar e determinar o que os participantes esto fazendo diferente. A avaliao ps-treinamento deve ser realizada somente depois de decorrido um determinado tempo, pois toda a mudana de comportamento exige tempo, o qual no quantificado com clareza na bibliografia(3). A coleta desses dados pode ser realizada por meio de observao direta estruturada e por entrevista 360, ou seja, entrevistar treinado, liderana, subordinado e outros envolvidos(3). Estudo mostra que apenas 4% das empresas americanas realizam avaliao at os nveis organizacionais e 100% realizam avaliao de Nvel 1(11). Nvel 4: AvAliAo dA mudANA NA orgANizAo O quarto nvel de avaliao mudana organizacional, que toma como critrio de avaliao o funcionamento da organizao ou mudanas que nela podem ter ocorrido em decorrncia do treinamento. A avaliao desse nvel realizada por meio da correlao de indicadores de resultados institucionais com os treinamentos voltados para o alcance desses indicadores, como processos de trabalho e produtividade, clima organizacional, absentesmo, taxa de acidentes de trabalho, metas e padres de qualidade(3).

einstein: Educ Contin Sade. 2010;8(3 Pt 2): 156-60

159

Nvel 5: AvAliAo do vAlor FiNAl O quinto e ltimo nvel valor final, cujo conceito est pautado no Return on Investment (ROI). O ROI avalia o impacto monetrio produzido pelo treinamento nos negcios da empresa e o retorno financeiro, ou seja, lucros e benefcios. Essa avaliao recomendada nos programas de treinamento com maior investimento financeiro, com uma amostragem de 5% dos programas da instituio(1,3,5). A seguir, so apresentados alguns dos resultados e indicadores do Treinamento em Sade/Centro de Educao em Sade Abram Szajman (CESAS) do Instituto Israelita de Ensino e Pesquisa do Hospital Israelita Albert Einstein, correlacionando-os com os nveis de avaliao do modelo Kirkpatrick/Hamblin. Nvel 1: AvAliAo de reAo A coleta de resultados de avaliao de reao realizada ao final de todo o treinamento presencial e distncia. O instrumento composto por quatro categorias contendo de dois a trs itens cada e com cinco critrios de avaliao (excelente, bom, regular, ruim e pssimo). As quatro categorias so: contedo/metodologia, instrutor, participao/expectativas e recursos. A anlise dos dados realizada por meio dos indicadores de porcentagem de excelente/bom, regular e ruim/pssimo, com uma meta de alcanar, no mnimo, 90% dos conceitos excelente/bom no treinamento (Tabela 1).
Tabela 1. Resultado da avaliao de reao: TRSA (2007 a 2009) perodo e conceito de avaliao 2007 % de excelente e bom 2008 % de excelente e bom 2009 % de excelente e bom contedo e metodologia 96 98 98 instrutor 97 99 98 participao e expectativa 95 99 99 recursos 95 97 98

Nvel 2: AvAliAo de ApreNdizAgem O modelo de avaliao de aprendizagem somativo, no qual a coleta dos resultados ocorre por meio da aplicao de testes de conhecimento com questes de mltipla escolha e/ou por meio de observao direta com uma lista de verificao (check list) para avaliar habilidades tcnicas. A partir das notas obtidas pelos participantes, sabe-se se alcanaram os objetivos de aprendizagem por meio da comparao de seu desempenho com o resultado esperado (nota de corte). Esses resultados mensuram tambm a aquisio de conhecimento, uma vez que se compara o conhecimento pr e ps-treinamento (Tabela 2). Nvel 3: AvAliAo do comporTAmeNTo No cArgo O resultado de comportamento no cargo foi avaliado no treinamento de Higiene das Mos, realizado em janeiro de 2009, para os profissionais assistenciais das unidades de clnica mdico-cirrgica, materno infantil, pronto atendimento, medicina diagnstica, unidade Vila Mariana e bloco cirrgico. Como estratgia para a coleta de resultados foi realizada uma auditoria observacional pr e ps-treinamento, utilizando-se um check list para verificao da realizao da higiene das mos nos momentos adequados, conforme orientado em treinamento (Tabela 3). Nvel 4: AvAliAo dA mudANA NA orgANizAo Os resultados desse nvel so coletados por meio dos respectivos indicadores de processos institucionais. O alcance de resultados institucionais multifatorial, em que uma anlise global necessria para atribuir esses resultados ao treinamento (Tabelas 4, 5 e 6). Os livros e a literatura reforam a importncia dos programas de educao profissional como forma de garantir o

Tabela 2. Resultado da avaliao de aprendizagem: TRSA (2008 a 2009) Treinamento Treinamento terico e prtico: manuseio de cardioversor/desfibrilador Zoll e alteraes clnicas 2008 Treinamento presencial/exame fsico 2008 Hemocultura e cuidados com acesso venoso central 2009 Cuidados ao paciente em VNI 2009 Atendimento bsico de urgncia/emergncia no Centro de Simulao Realstica 2008 Capacitao avanada no atendimento ao paciente neurolgico do Programa Einstein de Neurologia no Centro de Simulao Realstica 2008 Cdigo laranja atendimento de emergncias e urgncias de transeuntes 2009
VNI: ventilao no-invasiva.

Nota (mdia) pr-teste 5,19 4,35 6,6 8 5,1 5 7,18 ps-teste 9,03 7 9 9,4 6,3 9 9,53

Taxa de aquisio do conhecimento (%) 74 61 36 18 24 80 33

einstein: Educ Contin Sade. 2010;8(3 Pt 2): 156-60

160

Tabela 3. Resultado de adeso a higiene das mos: SCIH (2008 e 2009) % de adeso a higiene das mos Treinamento Higiene das mos (Jul-Set) 2008 53,2 (Jul-Set) 2009 74,2

necessidade do apoio e do investimento institucional. Adicionalmente, necessrio investir em profissionais de treinamento que realizam a anlise critica dos mtodos de avaliao de resultado, assim como dos mtodos e estratgias educacionais que apresentam os melhores resultados institucionais.

Tabela 4. Resultado de taxa de infeco relacionado CVC: SCIH (2008) Taxa de infeco relacionado a cvc Treinamento Infeco em dilise pr-treinamento (mai/2008) 8,3 ps-treinamento (out/2008) 1

reFerNciAS
1. Chiavenato I. Treinamento e desenvolvimento de recursos humanos: como incrementar talentos na empresa. 7a ed. So Paulo: Manole; 2009. 2. Borges-Andrade JE. Desenvolvimento de medidas em avaliao de treinamento. Est Psicol. (Natal). 2002;7(1):31-43. 3. Borges-Andrade JE, Abbad GS, Mouro L, organizadores. Treinamento, desenvolvimento e educao em organizaes de trabalho: fundamentos para a gesto de pessoas. Porto Alegre: Artmed; 2006. 4. Scriven MS. The methodology of evaluation. In: Tyler RW, Gagn RM, Scriven MS. Perspectives of curriculum evaluation. Chicago: Rand Mac Nally; 1967. p. 39-83. 5. Kirkpatrick DL, Kirkpatrick JD. Transformando conhecimento em comportamento: use o modelo dos quatro nveis para melhorar seu desempenho. So Paulo: Futura; 2006. 6. Kirkpatrick DL. Evaluation of training. In: Craig RL, editor. Training and development handbook. 2a ed. New York: McGraw-Hill; 1976. 7. Abbad G, Gama ALG, Borges-Andrade JE. Treinamento: anlise do relacionamento da avaliao nos nveis de reao, aprendizagem e impacto no trabalho. Rev Adm Contemp. 2000;4(3):25-45. 8. Gonalves S. Teorias da aprendizagem, prticas de ensino: contributos para a formao de professores. Coimbra: ESEC; 2001. 9. Fenili RM, Oliveira ME, Santos OMB, Eckert ER. Repensando a avaliao de aprendizagem. Rev Eletrn Enferm [Internet]. 2002 [citado 2010 Ago 2];4(2):42-8. Disponvel em: http://www.fen.ufg.br/revista/revista4_2/ repensando.html 10. Phillips J. Handbook of training evaluation. Houston: Gulf Publishing; 1997. 11. Tannenbaum SI, Yukl G. Training and development in work organizations. Annual Rev Psychol. 1992; 43(1):399-441.

Tabela 5. Resultado de ocorrncia de lcera de presso: DPAQS (2007 e 2008) % de ocorrncia de lcera de presso Treinamento lcera de presso (e-learning) pr-treinamento (Jan-dez/2007) 2,4 ps-treinamento (Nov/2007 a out/2008) 1,9

Tabela 6. Resultado de incapacidade por doenas osteomusculares: SSMA Treinamento Risco ergonmico durante a movimentao e transporte de pacientes no Centro de Simulao Realstica 2009 % de incapacidade por doenas osteomusculares (Ago-out/2008) 0,31 (Jul-Set/2009) 0,22

bom desempenho dos profissionais dentro da instituio e corrigir eventuais gaps decorrentes do ensino formal. imprescindvel que os programas de educao mostrem e evidenciem os resultados que reforam a

einstein: Educ Contin Sade. 2010;8(3 Pt 2): 156-60