Você está na página 1de 14

ENANPAD 2000 AVALIAO DE IMPACTO DE TREINAMENTO NO TRABALHO: UMA EXPERINCIA NO BANCO DO BRASIL Autoria: Marizia Ferreira de Arajo e Isa

Aparecida de Freitas RESUMO Neste artigo so apresentadas inicialmente as bases segundo as quais foi desenvolvido o Sistema Integrado de Avaliao de Programas de Treinamento e Desenvolvimento (SIAP T&D) do Banco do Brasil, que integra 4 (quatro) nveis de avaliao: reaes, aprendizado, impacto no trabalho e impacto na organizao. Discute-se a metodologia adotada para avaliar o impacto do treinamento no trabalho (o terceiro nvel de avaliao) e se so descritos os resultados de 3 (trs) cursos avaliados nesse nvel: Anlise Financeira e de Crdito, Qualidade de Crdito e o MBA Formao Geral, pontuando-se a contribuio dos cursos para a melhoria de desempenho dos funcionrios treinados. Os resultados da avaliao dos 3(trs) cursos indicam um bom nvel de aplicao das aprendizagens adquiridas nos treinamentos. Dos cursos avaliados, o melhor resultado foi o do MBA - Formao geral, onde 100% dos respondentes revelaram aplicar os contedos no trabalho. Alm disso, o grau de aplicao tambm foi superior, quando comparado com os demais cursos avaliados. O suporte aplicao da aprendizagem fornecido pela Empresa influenciou o nvel de aplicao da aprendizagem, sugerindo a necessidade de melhor estruturao do ambiente organizacional onde atuam os funcionrios treinados. 1. INTRODUO A avaliao de treinamento no Banco do Brasil surgiu da necessidade de verificar a efetividade dos treinamentos oferecidos pela Empresa a seus funcionrios. Considerando-se que os investimentos so vultosos, fazia necessrio sistematizar informaes que pudessem realimentar o processo de treinamento como um todo. A Empresa tem por opo desenvolver programas internamente, quando o objeto de conhecimento tratado aborda especificidades do contexto organizacional e, de outro lado, contratar de entidades externas ao Banco, quando o corpo de conhecimentos encontra-se disponvel no mercado. Para atender s necessidades da Empresa de avaliar os treinamentos, foi desenvolvido o SIAP T&D - Sistema Integrado de Avaliao de Programas de Treinamento e Desenvolvimento. O SIAP foi concebido a partir do levantamento das necessidades dos clientes internos do macroprocesso treinamento, valendo-se da metodologia do QFD (Desdobramento da Funo Qualidade). Para os clientes, o sistema deveria fornecer informaes abrangentes, confiveis e atrativas, para subsidiar a tomada de deciso para melhoria de: y programas de T&D, do desempenho de instrutores e treinandos; y resultados organizacionais; y alocao de recursos financeiros. O presente artigo traz os resultados da avaliao de impacto no trabalho dos cursos Anlise Financeira e de Crdito (ANFIC), Qualidade de Crdito e MBA Formao Geral. Os 2 (dois) primeiros so desenvolvidos pelo prprio Banco e o ltimo contratado junto a Universidades. Para melhor compreenso do tema, no item 2 deste artigo discorre-se sobre o referencial terico, quando feita uma abordagem ampla do Sistema de Avaliao adotado
1

pela Empresa para situar o leitor quanto ao contexto no qual a avaliao de impacto no trabalho se insere. Em seguida apresentada a trajetria metodolgica adotada para avaliao de impacto no trabalho dos treinamentos estudados (item 3). Os dados da clientela esto registrados no item 4 e a anlise e discusso dos resultados, no item 5. As consideraes finais sobre o estudo encontram-se no item 6. 2. REFERENCIAL TERICO O desenvolvimento do SIAP sustenta-se nos modelos desenvolvidos por Hamblin (1978), que define os nveis de avaliao do treinamento, e por Borges-Andrade (1982), que operacionaliza um sistema de avaliao. Hamblin (1978) sistematiza a avaliao do treinamento em nveis, de acordo com os efeitos que o treinamento deve proporcionar e tendo por base os objetivos do curso. Os 5 nveis de avaliao descritos por Hamblin so: 1. Reaes - representam as atitudes ou opinies dos treinandos sobre os diversos aspectos do treinamento, tais como: desempenho do instrutor, nvel de integrao da turma, qualidade do material didtico etc. Essas informaes devem ser coletadas logo aps o trmino do curso. 2. Aprendizado - refere-se ao atingimento dos objetivos instrucionais, em termos de aquisio de habilidades intelectuais, estratgias cognitivas, informaes verbais, atitudes, habilidades motoras proporcionadas pelo treinamento. 3. Comportamento no cargo - representa o desempenho do papel ocupacional esperado, como resultante da aplicao no trabalho do aprendizado adquirido no curso. O pressuposto deste nvel de avaliao de que a finalidade do treinamento reduzir uma deficincia de desempenho no posto de trabalho. Para Hamblin (1978), o comportamento no cargo pode ser medido examinandose a melhoria do desempenho geral do treinando, isto , todos os aspectos do seu cargo (avaliao em largura) ou uma melhoria especfica (avaliao em profundidade). Os 2 (dois) tipos de avaliao devem ser utilizados em conjunto, sempre que possvel. 4. Organizao - representa em que nvel a aplicao do aprendido no treinamento contribuiu para a mudana organizacional (melhoria dos processos de trabalho, cultura, clima e estrutura). 5. Valor Final - representa em que nvel o treinamento contribuiu para o alcance dos objetivos organizacionais (produtividade, lucro, relao custo/benefcio, aumento de participao no mercado e retorno social). Esses 5 (cinco) nveis so inter-relacionados, o que significa dizer que reaes favorveis contribuem para um melhor aprendizado. A aprendizagem influencia positivamente a aplicao e a aplicao adequada dos conhecimentos gera resultados para a organizao. No h como aplicar sem ter havido aprendizagem e no existe aprendizagem significativa se as reaes com relao ao treinamento foram desfavorveis. Em sntese, para Hamblin (1978), uma reao favorvel determina o grau de aprendizagem que, por sua vez, determina o comportamento no cargo, que impacta a organizao e o valor final. Borges-Andrade (1982) apresenta um modelo denominado MAIS - Modelo de Avaliao Integrado e Somativo, que especifica 5 (cinco) componentes fundamentais que um sistema de avaliao de treinamento deve contemplar. O modelo de avaliao integrado porque pressupe a existncia de relao entre todas as etapas do processo de treinamento, considerando desde o levantamento de necessidades at a sua efetiva aplicao. A avaliao somativa feita somente aps a realizao do treinamento e tem como objetivo fornecer

informaes para avaliar a capacidade do programa de produzir resultados, bem como indicar as oportunidades de melhoria para os prximos treinamentos. O MAIS considerado uma evoluo dos conceitos de Gagn e Briggs (1976) e do CIPP (Contexto, Insumo, Processo e Produto) de Stufflebeam (1978), que focalizam o planejamento e o processo instrucional. Alm disso, operacionaliza os nveis de avaliao propostos por autores como Kirkpatrick (1967) e Hamblin (1978), descrevendo quais variveis devem ser avaliadas e como se pode fazer. A Figura 1, a seguir, ilustra o MAIS.
Figura 1 - MAIS - Modelo de Avaliao Integrado e Somativo
Ambiente - apoio

PROCESSO

Ambiente necessidades

INSUMOS

Ambiente
PROCEDIMENTOS RESULTADOS

resultados a longo prazo

PROCESSO

Ambiente - disseminao

Fonte: Borges-Andrade (1982). Como mostra a Figura 1, os componentes que devem conter um sistema de avaliao so: insumos, procedimentos, processo, resultados e ambiente. Insumos - referem-se s caractersticas dos treinandos, anteriores instruo, que podem afetar o desempenho no curso e os resultados do treinamento. Podem ser fatores fsicos, sociais ou estados comportamentais. Procedimentos - englobam as variveis de planejamento instrucional e da atuao do instrutor em sala de aula. Focalizam as aes que foram deliberadamente elaboradas para promover a aprendizagem desejada no curso. Processo - refere-se aos aspectos do comportamento dos treinandos durante o treinamento. Variveis do tipo: nvel de motivao durante o curso, tempo de estudo individual, resultados de testes intermedirios, nmero de desistentes, nmero de repetio de atividades podem ser avaliadas dentro do espectro do componente processo. Resultados - indicam o sucesso ou fracasso do treinamento. Referem-se ao desempenho esperado do treinando, em termos de aprendizagem, ao final do treinamento. Esse desempenho deve estar descrito nos objetivos definidos para o curso e representa o nvel de atingimento desses objetivos. Ambiente - diz respeito a variveis do contexto organizacional, que englobam desde os aspectos anteriores ao treinamento at a aplicao do aprendido. Podem fazer parte do prprio programa ou da prpria situao de trabalho e afeta o treinamento e seus resultados. Esse componente subdivido em: y Necessidades - representam o motivo pelo qual o treinamento foi concebido para a Empresa, objetivando-se suprir deficincia de desempenho de pessoas que so indicadas para o treinamento;

y Apoio - contempla um conjunto de variveis que ocorrem na organizao ou fora dela que podem facilitar o processo de ensino-aprendizagem e a aplicao do aprendido no posto de trabalho. y Disseminao - refere-se aos meios utilizados para divulgar o treinamento na Empresa, isto , a forma pela qual as pessoas ficam sabendo da existncia daquele treinamento. y Resultados a longo prazo - so as conseqncias ambientais resultantes da aplicao da aprendizagem adquirida no treinamento. Podem ser visualizados como melhoria nos desempenhos individuais e organizacionais. Nesse modelo, a avaliao no deve se prender apenas mensurao do alcance dos objetivos, mas tambm em uma oportunidade de se investigar como a aprendizagem se processa na organizao, como forma de retroalimentar o sistema treinamento e gerar mudanas nos mtodos instrucionais adotados. Apresenta-se, a seguir, um quadro comparativo entre os modelos apresentados por Krikpatrick (1967), Hamblim (1978) e o sistema adotado pelo Banco do Brasil.
Quadro 1 - Comparao entre os Modelos de Kirkpatrick, Hamblin e Banco Brasil
KIRKPATRICK reaes aprendizado comportamento no cargo resultado HAMBLIN reaes aprendizado comportamento no cargo organizao valor final Banco do Brasil reaes aprendizado impacto no trabalho impacto na organizao

No modelo adotado pelo Banco do Brasil, mantm-se os dois primeiros nveis: reaes e aprendizado apresentados por Kirkpatrick (1967) e Hamblin (1978). Utiliza-se a nomenclatura impacto no trabalho por entender que a terminologia adotada por Kirkpatrick e Hamblin, comportamento no cargo, mostra-se estreita, no contexto atual das organizaes, onde cargo muitas vezes apenas uma referncia, cujas descries no so suficientes para abranger o dinamismo das atribuies de cada profissional no seu dia-a-dia de trabalho. Agrupam-se os nveis "organizao" e "valor final" em impacto na organizao, por compreender que essas medidas dizem respeito organizao como um todo, englobando quaisquer tipos de resultados organiza cionais. A inteno deste artigo discorrer sobre as bases tericas que fundamentam o SIAP Sistema Integrado de Avaliao de Programas de Treinamento e Desenvolvimento do Banco do Brasil, dando uma viso geral sobre o modelo adotado. Para o desenvolvime nto do presente artigo, centra-se nos resultados alcanados em avaliaes de impacto no trabalho para alguns cursos avaliados. Adianta-se que realizada avaliao em profundidade e largura (Hamblin, 1978) para avaliar o impacto do treinamento no cotidiano de trabalho de funcionrios treinados. Variveis dos componentes insumos e ambiente, como necessidades, apoio organizacional e resultados a longo prazo (Borges-Andrade, 1982) so estudadas. 3. TRAJETRIA METODOLGICA A deciso de se avaliar o impacto no trabalho de qualquer curso do Banco passa pela necessidade de se verificar a contribuio dos treinamentos para a melhoria do desempenho dos funcionrios treinados. Verifica-se a validade externa do treinamento com informaes que podem subsidiar a tomada de decises quanto melhoria dos programas e aos investimentos em treinamento. Essa contribuio mensurada em termos da melhoria no desempenho especfico (avaliao em profundidade) , para o qual o treinamento deve contribuir diretamente, e no
4

desempenho geral (avaliao em largura), descrito de acordo com o modelo de Gesto do Desempenho Profissional adotado pelo Banco, desenvolvido segundo o balanced scorecard (Kaplan & Norton, 1997). Em funo do alto custo de um sistema de avaliao de impacto no trabalho, a Empresa definiu que a escolha dos treinamentos a serem avaliados, nesse nvel, devem atender aos seguintes critrios: y critrio 1 - volume de recursos investidos no treinamento (valor do investimento) quanto maior o volume, maior a necessidade de avaliar o treinamento; y critrio 2 - nmero de funcionrios treinados - quanto maior o nmero de pessoas que participaram daquele treinamento, maior a necessidade de verificar a sua contribuio para o desempenho dos treinados; y critrio 3 - cursos voltados diretamente para a melhoria da satisfao do cliente quanto mais focados no atendimento ao cliente, maior a necessidade de avaliao; y critrio 4 - relevncia estratgica do curso - esse critrio indica a vinculao do treinamento com a estratgia do Banco do Brasil, em termos de: 1) alinhamento do curso com os negcios da Empresa e com os seus objetivos - quanto mais voltado para o atingimento dos objetivos organizacionais, maior a necessidade de avaliao; 2) necessidade de desenvolvimento de profissionais para atuao futura (sucesso de lideranas) - quanto mais voltado para as competncias que se desejam para o futuro e para o crescimento e sobrevivncia da organizao, mais importantes para serem avaliados. Os 3 (trs) cursos: Anlise Financeira e de Crdito (ANFIC)1, Qualidade de Crdito (Q.CRDITO) e MBA - Formao Geral (MBA) foram escolhidos para serem avaliados por atenderem aos critrios 1, 2 e 4, citados anteriormente. Apresentam-se, no Quadro 2, algumas caractersticas dos cursos avaliados.
Quadro 2 Caractersticas dos Treinamentos Avaliados
Anlise Financeira e de Crdito (ANFIC) Treinamento interno Modalidade: presencial Carga Horria: 40 horas Qualidade de Crdito (Q.CRDITO) Treinamento interno Modalidade: distncia Carga Horria: 100 horas MBA - Formao Geral (MBA) Treinamento externo Modalidade: presencial Carga Horria: 280 a 360 horas

Feitas essas consideraes sobre a escolha dos cursos, discorre-se adiante sobre a elaborao dos instrumentos de pesquisa, procedimentos de coleta e de anlise dos dados pesquisados. 3.1. Os Instrumentos de Pesquisa Para avaliar o impacto dos treinamentos, foram construdos dois questionrios para cada curso. Um para ser respondido pelo prprio funcionrio treinado (procedimento de auto avaliao) e o outro por um colega do treinado (heteroavaliao). Especificamente no caso do MBA, a heteroavaliao contou com a percepo de dois avaliadores. Foram elaboradas questes abertas e fechadas para a coleta dos dados. O nmero de questes variou de acordo com os resultados de longo prazo esperados para cada curso. Neste trabalho, esses resultados esto expressos em termos de mudanas individuais, isto , os desempenhos esperados no posto de trabalho dos treinados, especficos para cada treinamento. Os instrumentos de avaliao contemplaram o levantamento dos seguintes dados: y dados demogrficos (Bloco A) y necessidades do treinamento versus aplicao (Bloco B) y utilizao do treinamento (Bloco C)
5

y impacto do treinamento no desempenho (Bloco D) y resultados inesperados (Bloco E) y variveis de ambiente organizacional para apoio aplicao (Bloco F). O Bloco A objetivou levantar os dados demogrficos, que trazem o perfil da clientela (escolaridade, identificao de curso superior concludo, localizao e temp o na funo), consideradas como variveis de insumos, antecedentes ao treinamento. Com os itens do Bloco B pesquisaram-se a necessidade do treinamento (varivel do componente ambiente) e o nvel de aplicao dos contedos aprendidos (resultados a longo prazo). Caso fosse indicado que no havia aplicao do aprendido, uma questo aberta dava espao exposio de motivos da no aplicao das aprendizagens na situao de trabalho. J o Bloco C investigou a utilizao das aprendizagens adquiridas nos cursos no posto de trabalho dos funcionrios treinados, os desempenhos esperados (avaliao em profundidade). O que diferenciou os questionrios dos diferentes cursos foi o contedo deste Bloco, uma vez que ele foi desenvolvido para cobrir as especificidades de cada curso, em termos de seus objetivos de aplicao, isto , os resultados de longo prazo que se pretendia alcanar. O Bloco D levantou dados sobre o impacto dos cursos no desempenho geral dos funcionrios treinados, a partir das perspectivas da Gesto de Desempenho Profissional (avaliao em largura). Dentro do modelo adotado, tambm foram considerados como resultados de longo prazo . Uma questo aberta oportunizou levantar manifestaes dos funcionrios treinados sobre resultados inesperados do treinamento, isto , que contribuies, alm das citadas nas questes fechadas, poderiam ser atribudas ao treinamento (Bloco E). Com os itens do Bloco F procurou-se mensurar variveis do ambiente, mais especificamente sobre o apoio dado aplicao do treinamento no dia-a-dia de trabalho. Incluiu variveis do contexto organizacional, tais como: fatores situacionais, suporte material e conseqncias de uso das aprendizagens, partindo-se do pressuposto de que aes de suporte gerencial so importantes para a transferncia do treinamento na situao de trabalho (Oliveira-Castro, 1999). Os instrumentos de heteroavaliao foram compostos pelos Blocos C e D do instrumento de auto-avaliao, compreendendo os itens relativos avaliao em profundidade e largura.

3.2. Procedimentos de Coleta de Dados O critrio adotado para definio da populao a ser pesquisada foi a concluso dos cursos h, no mnimo, 6 meses. Assim, foram identificados os funcionrios que concluram os cursos no perodo de janeiro a maio de 1999 em todo o Pas. O tamanho da amostra foi definido de acordo com Richardson et al e Viegas (apud Brando, 1999). Os questionrios para coleta de dados foram reproduzidos em cores diferentes para cada curso e grupamento de respondentes, com o propsito de facilitar processos internos de acompanhamento da devoluo. Os instrumentos de pesquisa foram remetidos para os funcionrios treinados, via malote interno, acompanhados de carta de encaminhamento, que explicitava os objetivos da avaliao e os procedimentos que deveriam ser adotados. Estipulou-se o tempo de devoluo dos questionrios em 15 dias teis. Esse prazo revelou-se insuficiente para composio de amostra representativa da populao pesquisada. Novos prazos foram negociados e, no final, a coleta de dados se deu entre 30 e 45 dias, dependendo de cada treinamento avaliado. O Quadro 3 sintetiza as informaes sobre a coleta dos dados, incluindo-se a populao, tamanho da amostra representativa e o percentual de retorno dos instrumentos de pesquisa.
6

Quadro 3 - Coleta de Dados

ANFIC
Populao pesquisada: 820 Tamanho da amostra 269 Percentual de retorno: 43,90

Q.CRDITO
Populao pesquisada:1664 Tamanho da amostra: 382 Percentual de retorno: 25,30

MBA
Populao pesquisada:213 Tamanho da amostra: 139 Percentual de retorno: 63,38

Antes de proceder a anlise dos dados coletados, adotou -se como procedimento verificar a consistncia interna dos instrumentos, com a finalidade de investigar se os resultados eram confiveis. Realizou-se, ento, anlise fatorial com os dados amostrais dos questionrios de auto-avaliao, para cada um dos cursos pesquisados, para verificar se os itens que cobriam avaliao em profundidade (Bloco C), avaliao em largura (Bloco D) e apoio organizacional (Bloco F) eram unifatoriais, isto , constitua cada Bloco um nico fator. Observando-se que os coeficientes alpha 2 encontravam-se acima de 0,80 para cada Bloco e as cargas fatoriais 3 situavam-se acima de 0,30, pode-se dizer que o instrumento atendeu, em bom grau de preciso, as variveis estudadas, fornecendo dados confiveis para explicao do fenmeno sob anlise. 3.3. Procedimentos de Anlise de Dados Os procedimentos de tratamento dos dados englobaram anlise qualitativa e quantitativa. As questes abertas dos instrumentos de coleta de dados, que continham a manifestao espontnea dos respondentes, tiveram seus contedos analisados qualitativamente. Buscaram-se no conjunto de informaes obtidas identificar categorias representativas das unidades constitutivas do contedo. J os dados colhidos a partir das questes fechadas foram analisados quantitativamente, utilizando-se o software SPSS (Statistical Package for the Social Science ), pacote estatstico prprio para cincias sociais. 4. DADOS DA CLIENTELA Apresentam-se, a seguir, os dados demogrficos da clientela estudada, variveis de insumos, tais como: nvel de escolaridade, formao acadmica e local de trabalho como forma de caracterizar os sujeitos da pesquisa. Os dados apresentados so globais, isto , consideramse conjuntamente os 921 sujeitos que participaram do estudos dos 3 (trs) cursos, oriundos do Bloco A dos instrumentos de pesquisa. No que se refere ao nvel de escolaridade, os dados demogrficos mostram que a escolaridade do pblico pesquisado se divide basicamente em 2o. grau, com 44,3% dos casos e 3o. grau, 40,4% (Figura 2 ).
Figura 2 Distribuio dos Sujeitos por Nvel de Escolaridade
130 5 6

408

372

1o. Grau (0,7%) Ps-Graduao (14,1%)

2o. Grau (44,3%) Casos Omissos (0,5%)

3o. Grau (40,4%)

Entre os sujeitos que detinham 3o. grau e ps-graduao, os cursos mais freqentes eram por ordem: administrao, contabilidade e economia. Quanto ao local de trabalho, dos 921 funcionrios treinados(Figura 3), a grande maioria trabalhava em agncias do Banco, o que representou 75,6% do total. Os demais atuavam em Direo Geral (unidades de administrao central), rgos Regionais (unidades representantes da Direo Geral, nos diversos Estados da Federao) e CESEC (Centro de Processamento de Dados).
Figura 3 Distribuio dos Sujeitos por Local de Trabalho

143

54

18 9

Agncia (75,6%) rgo Regional (15,6%) Direo Geral (5,9%) CESEC (1,9%) Casos Omissos (1,0%)

697

5. ANLISE E DISCUSSO DOS RESULTADOS Neste item so apresentados os resultados do cruzamento de diversas variveis estudadas. Primeiramente, buscou-se investigar se o grau de aplicao do treinamento influenciado pelo nvel de percepo da necessidade. Foram objeto de anlise tambm as mdias de aplicao e os motivos da no utilizao no trabalho dos contedos dos treinamentos. Investigou-se, ainda, se nvel de aplicao do treinamento influenciado por caractersticas dos respondentes. Foram avaliados separadamente a contribuio de cada treinamento para o desempenho especfico dos funcionrios treinados e a contribuio em termos de desempenho geral. Finalmente, foram descritos as variveis do contexto organizacional e as suas influncias no nvel de utilizao das aprendizagens no trabalho. Cada um desses aspectos est descrito a seguir em tpicos especficos. 5.1 Necessidades versus Aplicao do Treinamento Foi verificada a percepo dos 921 sujeitos sobre a necessidade dos treinamentos (varivel do componente ambiente, no MAIS; Bloco B dos instrumentos de pesquisa). A mdia obtida foi de 5,2 (numa escala de 1 a 6, sendo: 1 no concordo e 6 concordo totalmente), indicando que os treinamentos eram considerados como necessrios para a melhoria dos desempenhos no trabalho. O desvio-padro apurado foi de 1,11, o que demonstrou que h disperso dos dados amostrais em torno do valor mdio. A questo seguinte do instrumento de pesquisa (do mesmo Bloco B) referia -se a aplicao do treinamento no local de trabalho. Os treinados deveriam posicionar-se quanto a Utilizo no meu trabalho os contedos aprendidos no treinamento , em uma escala de 1 a 6 sendo: 1 no concordo e 6 concordo totalmente. Os sujeitos que assinalassem 1 e 2 deveriam justificar a no aplicao e no responderiam s demais questes de pesquisa, encerrando ali a coleta de dados. Para dar suporte a esse procedimento metodolgico, o banco de dados foi separado em dois subconjuntos: registros 1 e 2 (subconjunto1, amostra cujos resultados a longo prazo dos treinamentos so inexpressivos) e registros 3, 4, 5 e 6 (subconjunto2, amostra cujos resultados
8

a longo prazo so expressivos, evidenciando a aplicao, no seu cotidiano de trabalho, das aprendizagens adquiridas nos treinamentos). O Quadro 4 mostra que 17,8% dos sujeitos no estavam aplicando as aprendizagens, uma vez que assinalaram 1 e 2 (na escala de 6 pontos). De outro lado, a maioria dos sujeitos (82,1%) estava aplicando as aprendizagens, uma vez que assinalaram de 3 a 6.
Quadro 4 Aplicao e No Aplicao das Aprendizagens
ANFIC N % 116 32,2 244 67,8 0 0,0 360 100,0 Q.CRDITO N % 48 11,3 378 88,7 0 0,0 426 100,0 MBA N % 0 0 134 99,3 1 0,7 135 100,0 TOTAIS N % 164 17,8 756 82,1 1 0,1 921 100,0

NO APLICAM APLICAM CASOS OMISSOS TOTAIS

Os 164 sujeitos que registraram 1 e 2 (em uma escala de 1 a 6 pontos) justificaram a no aplicao das aprendizagens no local de trabalho, apontando as seguintes razes (Quadro 5 - anlise qualitativa de dados).
Quadro 5 As Razes da No Aplicao das Aprendizagens

RAZES APONTADAS
No atua em rea que permita aplicar os conhecimentos adquiridos no treinamento Houve mudana de rea de atuao, de setor ou de agncia aps o treinamento Participou do curso como pr-requisito para novos cargos ou por exigncia da grade curricular Participou do curso objetivando capacitar-se para atuar em agncias (caso de pessoal de CESEC, que havia a expectativa de que os Centros seriam fechados) No utiliza atualmente, mas vislumbra aplicao futura Outras razes TOTAIS

Quantidade de Sujeitos
ANFIC Q.CRDITO

89 15 03 00

37 01 01 08

06 03 116

00 01 48

A grande maioria das pessoas (89 no ANFIC e 37 no Q.CRDITO) no utilizava os contedos porque atuava em reas onde aqueles conhecimentos e habilidades no eram exigidos. 16 outros funcionrios no utilizavam as aprendizagens porque mudaram de local de trabalho aps o treinamento. V-se que o comprometimento dos resultados a longo prazo dos treinamentos realizados deveu-se varivel ambiental necessidade de treinamento, sinalizando que as indicaes para participao nos cursos eram indevidas. Em alguns casos no havia a necessidade do treinamento. Em outros, faltou uma viso de mdio prazo, j que as pessoas fizeram o treinamento, mas foram rodiziadas de funo ou de agncia logo aps a concluso dos cursos. Foi possvel verificar, por meio do cruzamento de variveis, que apenas 17,7% dos sujeitos que assinalaram como inexpressiva a aplicao das aprendizagens (registros 1 e 2 na varivel aplicao) no percebiam como necessrios os contedos para melhoria de seu desempenho no trabalho (assinalamentos 1 e 2 na varivel necessidade). Esse dado pode indicar que os treinados ou no tinham clareza suficiente sobre o seu grau de necessidade de treinamento ou tiveram dificuldade de evidenciar que participaram de um treinamento sem necessidade.
9

Retomando-se o subconjunto de dados dos sujeitos que assinalaram de 3 a 6 em nvel de aplicao das aprendizagens no trabalho (Quadro 4), para os 757 sujeitos, anlise descritiva dos dados evidenciou a mdia geral de aplicao igual a 5,11 com desvio-padro de 0,86 (observando-se a mesma escala de 1 a 6 pontos). Essa mdia representa bom nvel de aplicao dos contedos apreendidos. Nos resultados apresentados adiante foram considerados apenas os questionrios respondidos pelos sujeitos que afirmaram aplicar os contedos aprendidos em sua situao de trabalho (757 funcionrios treinados, questionrios de auto -avaliao). 5.2 Caractersticas dos respondentes versus Aplicao do Treinamento Anlise de varincia (ANOVA4) revelou que as variveis que caracterizavam os 757 respondentes (local de trabalho e nvel de escolaridade) interferem no nvel de aplicao das aprendizagens. Houve diferena significativa entre o nvel de aplicao dos funcionrios que atuavam nos Centros de Processamento de Dados (CESEC) dos demais profissionais. Os dados mostram que os funcionrios de CESEC apresentaram grau de aplicao inferior. Isso pode ser decorrente da natureza das atribuies desenvolvidas naqueles Centros que diferente da dos demais locais dos trabalho. Quanto ao nvel de escolaridade verificou-se que os funcionrios que detinham o 1 grau revelaram mdias de aplicao significativamente menores s dos demais. Adianta-se que nas avaliaes que se seguem (profundidade e de largura) tambm foram incorporadas as opinies de outros avaliadores (heteroavaliao), dos colegas do ambiente de trabalho, no caso dos cursos ANFIC e Q.CRDITO; superiores imediatos e subordinados, no MBA. Para os dois primeiros cursos trabalhou-se com dois grupamentos de respondentes; no caso do MBA com trs grupamentos. A coleta de dados do ponto de vista de mais de um informante possibilitou traar alguns paralelos entre as opinies de grupamento de respondentes. 5.3. Avaliao em Profundidade Neste item, os resultados de longo prazo esto descritos em termos de desempenhos especficos que se esperavam dos treinados no posto de trabalho. Como cada curso tinha suas especificidades de aplicao, prestando-se para propiciar determinadas mudanas nos comportamentos individuais dos treinados, a avaliao em profundidade apresentada separada por treinamento avaliado. 5.2.1. ANFIC - Anlise Financeira e de Crdito Na auto-avaliao, as mdias variaram de 4,40 a 4,99, apresentando desvio-padro de 0,89 a 1,13. J na heteroavaliao, as mdias encontradas foram de 4,54 a 4,96, com desviospadro de 0,92 a 1,42. As mdias obtidas indicaram bons nveis de aplicao dos contedos, embora os dados amostrais apresentassem grande variao em torno das mdias. Houve convergncia entre as opinies dos dois grupamentos de avaliadores (auto e heteroavaliao), apontando as maiores e menores contribuies do ANFIC para os mesmos desempenhos especficos. Anlise pareada (Paired Samples T Teste) mostrou tambm que no havia diferenas significativas entre a percepo dos 2 (dois) grupos de respondentes, em todos os 7 (sete) itens que cobriam a avaliao em profundidade, considerando o intervalo de confiana de 95%. 5.2.2. Q.CRDITO As mdias observadas para todos os itens da avaliao em profundidade variaram entre 4,16 a 5,02 (questionrio de auto -avaliao; escala de 1 a 6 pontos, onde 1 nenhum impacto e 6 impacto muito grande). Os desvios-padro variaram entre 1,04 a 1,39. J na heteroavaliao, as mdias encontradas foram de 4,18 a 4,97, com desvios-padro de 1,06 a
10

1,45. Esses dados mostraram que o curso Qualidade de Crdito apresentou bom nvel de contribuio para a melhoria da atuao no trabalho dos funcionrios treinados. A Anlise pareada (Paired Samples T Teste) mostrou que dos 13 (treze) itens que cobrem a avaliao em profundidade, havia diferenas significativas na percepo dos respondentes em um desempenho, considerando o intervalo de confiana de 95%. Neste caso, os funcionrios consideraram que o treinamento contribuiu mais positivamente para o desempenho: Identificar os aspectos jurdicos envolvidos na anlise de crdito do que na percepo do outro grupamento de avaliador. 5.2.3. MBA - Formao Geral Os resultados da avaliao em profundidade apontaram timos nveis de utilizao das aprendizagens adquiridas no treinamento com mdias variando de 4,26 a 5,32, numa escala de 1 a 6. Os desvios-padro situaram-se entre 0,65 a 1,18, evidenciando a variao dos dados amostrais em torno das mdias obtidas. Uma peculiaridade dos dados amostrais foi revelada pela anlise pareada: houve diferenas significativas entre a percepo dos 3 (trs) respondentes, considerando o intervalo de confiana de 95%. Um aspecto a ser considerado foi que o grupo de superiores imediatos apresentou tendncia de avaliao mais crtica, apontando mdias de utilizao entre 4,37 a 4,86 e a amplitude de 0,49. Apresentou diferenas significativas entre a sua percepo e a dos treinados (em 10 itens) e entre a sua percepo e a dos subordinados (em 9 itens), de um total de 13 itens que cobriam a avaliao em profundidade. J os subordinados avaliaram mais favoravelmente e com maior amplitude (mdias de 4,53 a 5,32; amplitude de 0,79) a contribuio do MBA - Formao Geral no desempenho dos treinados, seus chefes. Possvel inferncia que as relaes de poder presentes entre superior imediatotreinado-subordinado podem ter contribudo para esses assinalamentos, alm de que os subordinados tiveram a possibilidade de acompanhar mais de perto o desempenho dos treinados. Isto pode ser corroborado pelo fato de as percepes dos subordinados apresentarem diferena significativa em apenas 2 (dois) itens, de um total de 13, quando comparadas com as dos treinados. 5.4. Avaliao em Largura Os resultados de longo prazo referentes avaliao em largura foram avaliados tendo por base as perspectivas da Gesto de Desempenho Profissional utilizadas pelo Banco do Brasil. Foram elaborados 6 (seis) itens para cobrir a contribuio dos cursos no desempenho geral dos funcionrios treinados. Assim, os resultados apontados a seguir so globais para o total de 757 respondentes. Os dados constantes do Quadro 6 referem-se a auto-avaliao, trazendo, portanto, a opinio dos funcionrios treinados.
Quadro 6 - Avaliao em Largura - Auto-Avaliao
Mdias Escala de 1 a 6

Itens pesquisados
Contribuir para a melhoria dos processos internos, em busca da excelncia do trabalho (planejamento, organizao, controle e deciso) Gerar resultados a partir dos recursos disponveis Alinhar suas aes aos planos da sua Unidade

Desvios-padro

4,85 4,56 4,53

1,01 1,15 1,17

11

Contribuir para o aprimoramento de um clima de trabalho produtivo (comunicao, satisfao, trabalho em equipe, relacionamento interpessoal) Alinhar suas aes estratgia, polticas e diretrizes da Empresa Satisfazer s necessidades da clientela, nas fases de atendimento, venda e ps-venda.

4,47 4,45 4,36

1,33 1,13 1,43

Os resultados apontaram bons nveis de impacto na avaliao em largura, com mdias que variaram entre 4,36 a 4,85 (escala de 1 a 6 pontos) e desvios-padro de 1,01 a 1,43, considerado alto, o que mostrou que a opinio dos respondentes no era homognea em torno das mdias. Vistos dessa maneira (Quadro 6), percebe-se que o maior resultado referia contribuio dos cursos para melhoria de processos internos. E o menor, ao desempenho voltado para busca da satisfao das necessidades de clientes. Tais resultados justificam-se, no caso dos cursos ANFIC e Q.CRDITO, porque esses treinamentos foram desenhados para promover mudanas nos desempenhos individuais dos treinados, relativos ao macroprocesso crdito, no que tangia ao aperfeioamento da qualidade do crdito concedido para evitar possveis inadimplncias. Assim, parece lgico que o menor impacto seja na satisfao do cliente, j que, em muitos casos, suas necessidades de crdito poderiam no ser atendidas, como desejado. Ao comparar as opinies dos grupamentos de avaliadores, houve diferena estatstica significativa entre as percepes dos treinados e seus superiores e colegas (vista pela anlise pareada de dados) em apenas um item, o que se referia ao desempenho contribuir para o aprimoramento de um clima de trabalho positivo . Quanto aos resultados inesperados do treinamento, investigados em questo aberta, ressalta-se que, em todos os treinamentos, os funcionrios treinados apresentaram dificuldade de indicar resultados inesperados, registrando aspectos diretamente ligados aos objetivos do curso, no sendo, portanto, inesperados mas, planejados. 5.5. Variveis de Contexto Organizacional Utilizou-se estatstica descritiva para verificar a percepo dos funcionrios treinados (questionrios de auto-avaliao) sobre as variveis de ambiente, relativas a apoio organizacional, na aplicao das aprendizagens adquiridas. O Quadro 7 mostra as mdias e os desvios-padro verificados em cada item pesquisado.
Quadro 7 - Apoio Organizacional - Auto-Avaliao Variveis de contexto organizacional
Mdias (escala de 1 a 6) Desvios-Padro

Fatores situacionais
Aps o curso, trabalhei em rea que me permitiu aplicar o que aprendi no treinamento Meu superior imediato tem me estimulado quanto aplicao, no trabalho, do que aprendi no treinamento Meus colegas apoiam as tentativas que fao de usar, no trabalho, o que aprendi no treinamento 4,82 4,67 4,61 1,30 1,24 1,15

Suporte material
O Banco tem colocado disposio os recursos necessrios para utilizao, no trabalho, do aprendido no treinamento Tenho acesso s informaes necessrias para a correta aplicco do que aprendi no treinamento 4,61 4,99 1,11 1,01

12

As condies fsicas do meu ambiente de trabalho (por exemplo, o espao, a iluminao, o mobilirio e o nvel de rudo) so adequadas para a aplicao do aprendido no treinamento

4,81

1,22

Conseqncias do uso da aprendizagem


Tenho recebido elogios quando aplico corretamente, no trabalho, as novas habilidades que aprendi no treinamento Chamam a minha ateno quando cometo erros ao utilizar as habilidades que aprendi no treinamento Sinto-me seguro em utilizar no trabalho o que aprendi neste treinamento Considero-me motivado para utilizar, na situao de trabalho, o aprendido no treinamento 4,18 3,18 5,09 5,21 1,30 1,53 0,91 0,92

Opinies em aberto dos funcionrios treinados ratificaram dados quantitativos das variveis de melhor destaque (grafadas em azul). Houve registros sobre o quanto os cursos contriburam para maior segurana dos treinados no desempenho de suas funes que, aliados a possibilidade objetiva de colocar em prtica as aprendizagens, tiveram impacto positivo na motivao, varivel que obteve maior mdia entre os itens de apoio organizacional estudados. Ressalta-se que, trabalhando separadamente os bancos de dados de cada curso, os resultados foram os mesmos. Alm disso, os treinados apontaram as mesmas variveis em ordem de importncia, tanto no que se referia aos maiores, como os menores resultados. Essa evidncia permitir ao Banco do Brasil adotar um plano de ao para transferncia de treinamento que reforce aspectos de motivao e segurana para a aplicao do aprendido, as variveis com maiores resultados. Alm disso, esse plano dever assentar-se em aes que propiciem maior feedback aos treinados (menores resultados, destacados em vermelho), no sentido de que os acertos sejam elogiados e os erros sejam identificados e prestadas as orientaes pertinentes. Foi realizada anlise de varincia (ANOVA) para verificar se as variveis do contexto organizacional influenciaram o nvel de aplicao das aprendizagens adquiridas nos cursos. O tratamento estatstico indicou que quanto maior o suporte organizacional, maior o nvel de aplicao no trabalho dos contedos aprendidos no treinamento. Esses dados alinham-se a pesquisas realizadas no Brasil e no exterior, segundo as quais 60% de todo o impacto do treinamento no trabalho decorrente das variveis de apoio organizacional, especialmente o suporte organizacional dado para a aplicao do treinamento (Oliveira-Castro, 1999; De Paula, 1992). 6. CONSIDERAES FINAIS Como j foi citado, o objetivo da avaliao de treinamento fornecer informaes para subsidiar a melhoria dos programas de treinamento e desenvolvimento. Assim, em cada relatrio de avaliao produzido so feitas recomendaes para as reas de planejamento e coordenao dos eventos de treinamento que visam melhorar o impacto dos cursos no desempenho dos funcionrios. Alm disso, os resultados dos treinamentos tm sido divulgados para as reas que demandaram o curso, como forma de obter mais subsdios para melhoria. Outra medida para melhoria de impacto comea a ser projetada: um sistema de transferncia de treinamento, onde todos os envolvidos no processo (treinando, instrutores, planejadores e gestores) tivessem clareza quanto ao papel que devem desempenhar para a melhoria da performance dos funcionrios treinados. Ressalta-se que os resultados obtidos com a avaliao de impacto desses 3 (trs) cursos corroboram estudos acadmicos realizados na rea de avaliao de treinamento. A Empresa entende como necessrio identificar peculiaridades de sua realidade. Para tanto, pretende consolidar, anualmente, as informaes dos cursos avaliados. Objetiva-se construir um corpo de conhecimentos sobre a consistncia dos resultados das avaliaes feitas, com indicao de
13

aes de mbito corporativo para a melhoria dos programas de treinamento e do impacto no trabalho. REFERNCIAS BIBLIOGRFICAS BRANDO, H. P. Gesto baseada em competncias: um estudo sobre competncias profissionais na indstria bancria. Dissertao de mestrado, Universidade de Braslia, Braslia, 1999. BORGES-ANDRADE, J.E. Avaliao somativa de sistemas instrucionais: integrao de trs propostas. Tecnologia Educacional, v.11, n.46, 1982. DE PAULA, S. M. Variveis preditoras de impacto de treinamento no trabalho : anlise da percepo dos treinandos de duas organizaes. Dissertao de mestrado, Universidade de Braslia, Braslia, 1992. GAGN, R.M. e BRIGGS, L. J. La planificacin de la enseanza - su princpios. Mxico : D. F. Editorial Trillas, 1976. HAMBLIN, F. S. Avaliao e controle do treinamento. So Paulo : McGraw-Hill do Brasil, 1978. KAPLAN R. S. & NORTON, D. P. A estratgia em ao: balanced scorecard. Rio de Janeiro : Campus, 1997. KIRKPATRICK, D.L. Evaluation of training. In R. L. Craig e L. R. Bitel (eds.): Training and Development Handbook. American Society for Training and Development, Nova York : Mc Graw-Hill, 1967. OLIVEIRA-CASTRO, G. A. Um modelo integrado de avaliao do impacto do treinamento no trabalho - IMPACT. Tese de Doutorado. Universidade de Braslia, Braslia, 1999. PASQUALI, L. Anlise fatorial: um manual terico-prtico. Braslia : 1998, Mimeo. STEVENSON, W. J. Estatstica aplicada administrao. So Paulo : Editora Harbra. 1981. STUFFLEBEAM, D. Alternativas e avaliao educacional: um guia de auto-ensino para educadores In SCRIVEN, M. & STUFFLEBEAM, D. (eds.). Avaliao educacional (II): perspectivas, procedimentos e alternativas. Petrpolis : Vozes, 1978.

Os dados apresentados sobre a avaliao do curso Anlise Financeira e de Crdito (ANFIC) foram levantados e analisados inicialmente por Telci Teodoro Silva. Os dos outros dois cursos, pelas autoras deste artigo. 2 O coeficiente alpha de Cronbach revela a consistncia interna do fator. Valores acima de 0,80 atestam a fidedignidade da soluo fatorial encontrada (Pasquali, 1998). 3 Refere-se validade do fator; quanto maior a carga fatorial (mais prxima de 1,00) mais a varivel representativa do fator (Pasquali, 1998). 4 Anlise de Varincia uma tcnica estatstica utilizada para testar a igualdade de mdias amostrais. Determina se as mdias amostrais sugerem diferenas efetivas ou se tais diferenas decorrem apenas da variabilidade amostral (Stevenson, 1981).

14