Escolar Documentos
Profissional Documentos
Cultura Documentos
Andre Meira ROI
Andre Meira ROI
Brasília
2008
2ii
TERMO DE APROVAÇÃO
________________________________________
Profa. Dra. Helena Corrêa Tonet
Examinadora Externa
________________________________________
Profa. Dra. Kira Maria Antônia Tarapanoff
Examinadora Externa
________________________________________
Prof. Dr. Eduardo Amadeu Dutra Moresi
Examinador Interno
_________________________________________
Profa. Dra. Luiza Beth Nunes Alonso
Orientadora
CDU 005.94
Brasília
2008
iii3
AGRADECIMENTOS
A minha mãe, Maria do Carmo, por me guiar no caminho do conhecimento, pela ajuda
e atenção constantes, e pelo amor incondicional.
Ao meu pai, Joel, por estar sempre do meu lado e me mostrar que ser um homem é ser
feito de muitas qualidades e alguns defeitos, aceitá-los e mudá-los, e de começar de novo
quando é preciso.
A Valéria, por todo o amor, por estar ao meu lado, sempre, com idéias, toques, apoio,
por toda a ajuda e suporte.
Aos meus avós, Tita, Onias (in memorian), Maria e Lincoln (in memorian), pelos
exemplos de perseverança e obstinação. Espero que se orgulhem do neto como me orgulho de
vocês.
A Jack e Patti, pela amizade, por todo o conhecimento trocado e por seu interesse e
apoio irrestrito, disponibilizando até mais do que eu pedia.
v5
A Madalena, por ser uma mãe e uma pessoa absolutamente fora de série.
E ao meu filho Pedro, pelas gargalhadas, por brincar comigo, pelos desenhos, pelo
futebol juntos, por dormir no meu colo quando eu precisava de paz, pelo amor, por me ensinar
a ser uma pessoa melhor...
vi
6
RESUMO
ABSTRACT
The present work is intended to be a detailed study about the use of Phillips ROI
Methodology as a methodical and structured process for evaluation and measurement of
Knowledge Management initiatives in organizations. This study intends to demonstrate, in an
international level, the use of the given Methodology, composed by various levels of
measures, for the evaluation of organizational initiatives that have as its objectives the
creation and sharing of knowledge and organizational learning. This study is justified by the
difficulty of proving the effectiveness of Knowledge Management initiatives for
organizations, and the lack of a specific approach or model of measurement to evaluate such
initiatives. This study addressed electively the Phillips ROI Methodology, aiming as goal to
verify its applicability as a process of evaluation and measurement of Knowledge
Management initiatives, and as a practice of Knowledge Management itself. The research was
applied to 133 (one hundred and thirty-three) participants from 25 (twenty-five) countries in 5
(five) continents, with 75% (seventy-five percent) of participants holding Post Graduate,
Masters or Doctorate degrees, outlining a group formed by practitioners of the Phillips ROI
Methodology of the entire world, using as research instrument an electronic self-administered
questionnaire, available through Internet. The results from this study consistently confirmed
the feasibility of the Phillips ROI Methodology applied for evaluation of Knowledge
Management initiatives. Beyond that, the results also showed the strong contribution of
Phillips ROI Methodology for organizational learning, configuring the Methodology itself as
a practice of Knowledge Management.
LISTA DE FIGURAS
LISTA DE QUADROS
LISTA DE GRÁFICOS
Gráfico 9. Resultados para avaliação com Metodologia Phillips ROI – Questão 3. ................83
Gráfico 10. Utilização de outros processos de avaliação para iniciativas organizacionais. .....84
Gráfico 27. Histograma por ordem de freqüência de resposta – Questão 10. ........................105
Gráfico 28. Histograma por ordem de valor de resposta – Questão 10. .................................106
13
xiii
LISTA DE TABELAS
SUMÁRIO
1.2. Tema...........................................................................................................................18
Capítulo 4 – Resultados..........................................................................................................80
5.1. Sugestões..................................................................................................................111
Referências Bibliográficas....................................................................................................114
Anexo 2 – Página interna do ROI Institute com link para a Pesquisa ................................139
Capítulo 1 - Introdução
1.2. Tema
1.4. Objetivos
1.4.1. Geral
1.4.2. Específicos
Analisando-se pela abordagem da Organização que Aprende, temos que esta por
definição apresenta um ambiente que propicia a ampliação da capacidade de inovar para
atingir seus objetivos e do estímulo a novas formas de pensamento. Csikszentmihalyi (1996)
apresenta de maneira recorrente em seu discurso a idéia de que a criatividade não acontece no
indivíduo, mas na interação com o contexto sociocultural no qual está inserido, num
fenômeno sistêmico.
A ótica das Cinco Disciplinas de Peter Senge também está baseada numa arquitetura
de idéias inovadoras e inovações em infra-estrutura organizacional, teorias, métodos e
ferramentas. Em sua obra, Senge (1990) postula que, para superar os desafios a serem
enfrentados atualmente pelas organizações, é imprescindível que as pessoas que as compõe
21
Para Bontis e Fitz-enz (2002), a extensa literatura ainda não obteve êxito em integrar
apropriadamente os campos do capital intelectual, gestão do conhecimento, comportamento
organizacional, recursos humanos e avaliação organizacional para desvelar uma perspectiva
mais holística do desempenho organizacional.
Skyrme (2003) afirma que a mensuração dos benefícios propiciados pelas iniciativas
voltadas para a gestão do conhecimento tem se tornado um dos maiores desafios da atual
economia, justificando a busca pela estruturação e adoção de modelos que permitam essa
medição.
22
incorporação esta caracterizada por Michael Polanyi por meio do termo indwelling. Uma
tradução aproximada de indwell pode ser descrita como ‘residir em’: o conhecimento
freqüentemente não chega a ‘residir’ no indivíduo, que o recebe e o devolve apenas no
âmbito do explícito.
A avaliação que compreenda vários níveis, como é feita pela Metodologia Phillips
ROI, pode superar a dificuldade em determinar o resultado factível das iniciativas
implantadas. Iniciando-se a avaliação com a reação dos indivíduos à iniciativa e passando-se
ao aprendizado que tiveram na implantação do processo permite a obtenção dos resultados
iniciais do programa. Prosseguindo com a estrutura da avaliação, passa-se ao levantamento
da aplicação do conteúdo transmitido, possibilitando a averiguação do aprendizado
efetivamente sendo posto em prática. O nível seguinte, de impacto, possibilita conhecer os
resultados da iniciativa em relação à organização, sendo interessante notar que compõe-se de
medidas tangíveis e intangíveis. O retorno sobre investimento [ROI1] da iniciativa, caso
desejado, pode ser estabelecido relacionando as medidas de impacto a valores monetários
reconhecidamente validados na estrutura da avaliação. Alie-se a isso princípios rigorosos
para a realização da avaliação e um método de isolamento dos efeitos do programa
implantado e pode-se dispor de uma metodologia que pode ser replicada em diversas
iniciativas com um elevado grau de confiabilidade. (PHILLIPS et al, 2007; PHILLIPS,
MEIRA, BLANCO, 2007; PHILLIPS, PHILLIPS, 2005; PHILLIPS, 2003).
Evidenciou-se, durante a consulta às obras dos diversos autores citados, a busca por
maneiras de demonstrar de forma prática a real importância da Gestão do Conhecimento.
Assevera-se que o levantamento da utilização da Metodologia Phillips ROI para a avaliação
de iniciativas de Gestão do Conhecimento e Aprendizagem Organizacional, feito no âmbito
de conhecedores da Metodologia em várias partes do mundo, pode permitir a confirmação
de uma alternativa para a avaliação de programas dessa natureza. Haja vista a carência e a
necessidade de meios sustentáveis de comprovação da efetividade de iniciativas de Gestão
do Conhecimento que corroborem a literatura sobre o assunto, e uma vez que a Metodologia
Phillips ROI leva em consideração fatores tangíveis e intangíveis como possíveis resultados
de iniciativas de Gestão do Conhecimento, tal confirmação será de grande valia para teóricos
e profissionais deste campo.
1
Do inglês Return on Investment.
24
Buscou-se, nas obras e autores visitados, não propriamente esgotar a discussão sobre o
tema, fato esse claramente inatingível, mas sim fundamentar a orientação do presente trabalho
nas idéias que permeiam as discussões e posicionamento dos vários autores que têm
demonstrado interesse e contribuições para com a problemática aqui exposta. Os conceitos
norteadores são descritos para entendimento do foco deste trabalho, servindo pois de
referência para a abordagem do estudo.
fato este que a tornaria por vezes confusa para aqueles que buscam compreender e executar
uma estratégia de Gestão do Conhecimento. Conceitos e pesquisas comumente são
concomitantemente desenvolvidas de maneira similar e independente em lugares diferentes,
sendo o que aconteceu com a gestão do conhecimento em meados da década de 80, quando
pesquisadores e executivos começaram a prestar mais de atenção aos aspectos do
conhecimento para os negócios das organizações. Nos Estados Unidos, o termo ‘gerenciando
o conhecimento’ começou a ser utilizado no âmbito da inteligência artificial por volta de
1986. Karl Wiig2 começou a avaliar o contexto do conhecimento na condução dos negócios –
estivesse ele nas áreas de engenharia, desenho industrial, previsão do tempo, linhas de
produção, etc. Começou-se a pensar em termos de criação, aprendizado, compartilhamento
(transferência), e o uso ou a alavancagem do conhecimento como um conjunto de processos e
dinâmicas sociais que precisava ser administrado, percebendo-se que a tecnologia surgia na
pauta mas não se configurava como o centro da questão. Karl Wiig utilizou o termo
Knowledge Management pela primeira vez em uma apresentação em 1986, e em 1990
escreveu aquilo que provavelmente foi o primeiro artigo do mundo com a frase Knowledge
Management no título3. No mesmo período, no Japão, um grupo de pesquisadores encabeçado
por Ikujiro Nonaka se ocupava desde o início dos anos 80 com os temas da inovação, além de
um modo de acelerar o seu processo nas grandes corporações japonesas. Nonaka voltou-se
para o trabalho de Michael Polanyi e o seu conceito de Conhecimento Tácito. Em 1995
Nonaka e Takeuchi publicaram o livro fundamental intitulado: ‘The Knowledge Creating
Company’4, que redefiniu o ramo da Gestão do Conhecimento.
Sveiby (2001) informa que, à mesma época, na Suécia, administrava sua empresa de
publicações com preocupação em como construir uma estratégia para uma empresa sem uma
produção tradicional, cujo maior ativo de produção era o conhecimento e a criatividade do
pessoal. Em 1986 houve a percepção de haver sido desenvolvida uma estratégia baseada na
competência. Em 1990, o prosseguimento das pesquisas levou à publicação do livro
‘Kunskapsledning’5, cujo propósito era mostrar uma abordagem estratégica para a gestão dos
recursos do conhecimento, particularmente dos trabalhadores do conhecimento, sem
2
À época, chefe da área de Inteligência Artificial da A.D. Little, primeira consultoria de gerenciamento do
mundo, fundada em 1886.
3
‘Knowledge Management: An Introduction’ in Proceedings of IAKE Second Annual International Conference
Washington DC: International Association of Knowledge Engineers, 1990, pp. 13-41.
4
‘Criação de Conhecimento na Empresa’, no Brasil. Vide Referências Bibliográficas.
5
‘Gestão do Conhecimento’, em português, possivelmente o primeiro livro do mundo com a expressão Gestão
do Conhecimento no título.
26
O psicólogo Chris Argyris trabalha desde o início da década de 1950 com a questão da
aprendizagem organizacional, assunto intrinsecamente relacionado com a gestão do
conhecimento, possuindo várias obras publicadas a respeito. Dele são as concepções de
aprendizagem de laço simples e aprendizado de laço duplo (single loop e double loop).
Um dos autores de maior renome, Ikujiro Nonaka apresenta, junto com outros
estudiosos, obra que trata do assunto Gestão do Conhecimento com foco no processo humano,
e expõe uma configuração dos requisitos para a criação e compartilhamento de conhecimento
em um conceito denominado solicitude, onde as interações humanas são gestadas, estimuladas
e facilitadas (VON KROGH, ICHIJO, NONAKA, 2001). Outros autores representantes do
que há de mais recente sobre o assunto, como Allee (2003a; 2003b), McElroy (2003b) e
Snowden (2003) também têm visões convergentes quanto à necessidade de existência de um
contexto que possibilite a fomentação do conhecimento, sem no entanto utilizarem uma
mesma denominação comum para tal contexto.
Estratégia
Domínios Direção
Comunidades Compartilhamento
Práticas Aprendizado
Performance
Sveiby (2001) define conhecimento como sendo a capacidade de agir, definição esta
que ele revela ser baseada no trabalho de L. Wittgenstein e M. Polanyi (Knowledge is an
activity best described as a Process of Knowing6). Afirma ainda que o conhecimento é um
processo dinâmico, pessoal e absolutamente distinto da informação, sendo esta última apenas
uma mídia para a comunicação explícita.
Sveiby (2001) entende que o sinônimo mais adequado para conhecimento é o termo
‘competência individual (ou humana)’.
6
Conhecimento é uma atividade melhor descrita como um processo de conhecer
28
Moresi (2001, p. 04) considera que a Gestão do Conhecimento pode ser vista como o
conjunto de atividades que busca desenvolver e controlar todo tipo de conhecimento em uma
organização, visando à utilização na consecução de seus objetivos. Este conjunto de
atividades deve ter como principal meta o apoio ao processo decisório em todos os níveis.
Para isto, é preciso estabelecer políticas, procedimentos e tecnologias que sejam capazes de
coletar, distribuir e utilizar efetivamente o conhecimento, representando fator de mudança no
comportamento organizacional.
Senge (1990, p. 21) ressalta que o mundo onde vivemos apresenta desafios sem
precedentes para os quais as instituições não estão preparadas. Na realidade, para as empresas
líderes de mercado, o mais importante não é ter trabalhadores que fazem bem um determinado
produto ou serviço. Para elas, o indispensável é dispor de pessoas que criem novos processos
organizacionais para produzirem o mesmo produto ou serviço cada vez melhor, em menos
tempo, com menos recursos e, principalmente, com valores singulares no mercado.
7
Expressão do autor
29
Senge (1990, p. 47) ressalta ainda que um aspecto interessante dessa discussão
repousa no seguinte fato: ter informação não significa ter conhecimento. A informação é o
resultado obtido do tratamento e lapidação de dados, ou seja, a partir do momento em que os
dados são organizados, manipulados, integrados para uma finalidade específica, tem-se a
produção de novas informações.
Davenport e Prusak (1998) dizem ser o conhecimento composto por uma mescla de
experiências, valores, informações e insights, o que permite a existência de uma estrutura que
torna possível não apenas a incorporação de novas experiências e informações, mas ainda a
avaliação da relevância das mesmas. O conhecimento tem origem no cérebro dos indivíduos,
e sua presença nas organizações não está restrita apenas ao conteúdo ou produção de
documentos, mas principalmente refere-se a aplicação de rotinas, processos e práticas
inovadoras ou atualizadas.
8
Morin (1986) discorre concordantemente com isto quando diz que qualquer fenômeno físico, organizacional e
vivo tende a degradar-se e a degenerar. A decadência e a desintegração constituem fenômenos normais. “Ou
seja, não seria normal, e sim inquietante, se as coisas não se modificassem com o tempo. Não existe nenhuma
receita de equilíbrio. A única forma de lutar contra a degeneração é a regeneração constante, isto é, a aptidão do
conjunto da organização para se regenerar e reorganizar-se enquanto enfrenta os processos de desintegração.”
(MORIN, 1986, p. 146).
31
investigar, liberando-os para concentrar o seu tempo sobre as dimensões que não são
monitoradas, relatadas e analisadas”. Seguindo este raciocínio, Bukovitz e Williams (2002, p.
239) afirmam que “os elementos da organização que permanecem subgerenciados consistem
nos intangíveis, entre os quais o conhecimento”.
De acordo com Snowden (2002, p. 05), há três premissas básicas para este modelo:
Grupo/Comunidade
Formação de aprendizado
Integração do conhecimento
Figura 2. Processamento do conhecimento como um processo social auto organizado. (MCELROY, 2003a, p.
153).
Sobre sistemas adaptativos complexos, Holland (1999, p. 217) descreve que uma
importante característica é o fato de que estão constantemente evoluindo, nunca atingindo um
equilíbrio estável. Quanto aos componentes dos sistemas adaptativos complexos, os agentes
adaptativos, Holland (1999, p. 213) explica que a principal característica do agente é
mutabilidade de seu comportamento com o tempo, em função do que aprende com a
experiência. A complexidade de um sistema residiria no fato de ser constituído por mais de
um agente mudando seu comportamento no decurso do tempo.
Sobre os agentes adaptativos, Holland (1999, p. 215) explana serem formados por três
componentes básicos. O primeiro, chamado sistema de desempenho, refere-se a um conjunto
de regras que regem o sistema sobre como se comportar num determinado instante.
Corresponde a tudo que o agente é capaz de fazer se cessasse de aprender naquele momento
35
Em adição, McElroy (2003b, p. 2) descreve que Karl Popper sugere que todo
conhecimento deve ser continuamente sujeitado a testes e avaliações, à crítica racional e
contínua, que buscariam eliminar os erros e aproximar-se o mais possível da verdade.
9
Interessante perceber a proximidade desta visão com a concepção tradicional de conhecimento como ‘crença
verdadeira justificável’, adotada por Nonaka e Takeuchi (1997).
36
organização detecta erros e busca corrigi-los, não havendo a alteração de suas normas, regras
ou políticas.
Importante ainda registrar a opinião de autores como Nonaka e Takeuchi (1997), para
quem uma capacidade superior de aprendizagem representa um importante papel na obtenção
de vantagem competitiva, especialmente na sua associação com a orientação para o mercado
(BAKER, SINKULA, 1999).
Confiança Mútua – esta dimensão comportamental está apoiada sobre o postulado de que,
para que seja possível haver qualquer fluxo de conhecimento nos relacionamentos, é
necessário que, entre as partes envolvidas, haja um mínimo de confiança em relação ao
interlocutor. Von Krogh, Ichijo e Nonaka (2001) destacam que não se ajuda as pessoas a
39
crescer e a realizar-se a não ser que se confie nelas, no sentido de que usarão os ensinamentos
e conselhos de quem pretende ajudá-las da melhor maneira possível. Importante ressaltar que,
de acordo com o próprio nome da dimensão, a confiança é recíproca, e que para obter e
aumentar a confiança mútua o sujeito precisa comportar-se de maneira coerente em relação
aos outros. (VON KROGH, ICHIJO, NONAKA, 2001).
Empatia Ativa – Para Von Krogh, Ichijo e Nonaka (2001), a empatia ativa possibilita a
avaliação e compreensão das verdadeiras necessidades alheias. Denota-se que a empatia ativa
é o exercício pró-ativo de buscar, por intermédio do diálogo aberto, de perguntas atentas e da
escuta ativa, compreender a situação, os interesses, as habilidades, os sucessos, os fracassos,
as oportunidades e os problemas dos indivíduos componentes no contexto específico. O
exercício da empatia ativa requer dos sujeitos envolvidos uma ampla aceitação da vida
emocional alheia, sendo esta aceitação crucial para a construção de bons relacionamentos.
(VON KROGH, ICHIJO, NONAKA, 2001).
Acesso à Ajuda – Von Krogh, Ichijo e Nonaka (2001) enfatizam que a vontade de ajudar
precisa ser complementada pela facilidade de acesso ao ajudante, representando um apoio real
e tangível. Isto vai ao encontro do que defendem Von Krogh, Ichijo e Nonaka (2001) ao
sugerir que adquirir conhecimentos e ser acessível aos que necessitam de ajuda são duas
atribuições que devem aumentar proporcionalmente. Percebe-se o quão fundamental é que
haja verdadeiramente predisposição a compartilhar em um contexto com tal propósito. O
acesso à ajuda propicia igualdade entre os sujeitos participantes do ambiente, ao proporcionar
atendimento no nível de suas necessidades, previamente levantadas com o uso da empatia
ativa.
quanto ao assunto discutido, postando-se abertos aos retornos advindos de suas manifestações.
A falta desta coragem no processo de criação de conhecimento pode resultar em produtos que
produzam conseqüências sociais negativas (VON KROGH, ICHIJO, NONAKA, 2001).
McElroy (2003a) apresenta no corpo de sua obra princípios básicos que caracterizam e
possibilitam a Gestão do Conhecimento abordada como criação e compartilhamento:
Allee (2000) diz ainda que em todos os tipos de trabalho com conhecimento as pessoas
precisam conversar, experimentar e compartilhar experiências com outras pessoas que fazem
o mesmo trabalho que elas. Tal afirmativa aproxima-se de concepção dada por Bukovitz e
Williams (2002, p. 235), de que uma teoria da organização é o conjunto de fatos e crenças
comumente compartilhados, que dita a maneira com que as organizações percebem as suas
opções estratégicas. Levando em consideração o impacto do conhecimento, as organizações
têm potencial para desenvolver um quadro radicalmente diferente de como os seus negócios
funcionam. Por sua vez, isso influencia a visão delas dos eventos no mercado e, ainda mais
importante, se eles sequer são registrados na tela do radar organizacional.
Wernke (2002) afirma que o grande diferencial de uma organização não está mais
relacionado com a quantidade de equipamentos utilizados em seus processos produtivos, mas
sim na soma de uma série de requisitos referentes ao conhecimento coletivo gerado e
adquirido, às habilidades criativas e inventivas, aos valores, atitudes e motivação das pessoas
que as possuem e ao grau de satisfação dos clientes. Por esse entendimento, percebe-se a
importância significativa que assumem os ativos intangíveis, especialmente se ressaltado o
fato de ser freqüente a necessidade de desenvolver novas formas de criar, multiplicar e utilizar
conhecimentos e habilidades de maneira eficaz e adequada.
Dorothy Leonard (apud CHOO, JOHNSTON, 2003, p. 05) identifica quatro atividades
que ampliam ou criam novas capacidades numa organização: (1) resolução de problemas de
forma criativa e compartilhada; (2) implantação e integração de novas metodologias e
ferramentas; (3) experimentação e protótipos; (4) importação de conhecimento externo.
Leonard (apud CHOO, JOHNSTON, 2003, p 06) afirma que existem dois processos
fundamentais no coração dessas atividades: (i) a habilidade de criar conhecimento novo sobre
capacidades existentes pela solução compartilhada de problemas e experimentação que se
deriva da experiência acumulada e da especialização; (ii) a habilidade de absorver
conhecimento novo que depende da pré-existência de conhecimento correlato e de uma
cultura organizacional de apoio e compatível. Leonard (apud CHOO, JOHNSTON, 2003, p.
06) enfatiza a interação contínua entre atividades de criação de conhecimento e as
capacidades de uma organização. Enquanto as capacidades são criadas e ampliadas pelas
atividades de criação de conhecimento, essas mesmas atividades são dependentes e
possibilitadas pelas capacidades da organização.
44
Allee (1997, p. 04) aconselha que “deve haver meios de avaliar se se está no rumo
certo. A mensuração ajuda a determinar com precisão e gerenciar os ativos de conhecimento e
a dar suporte contínuo à melhoria”.
10
As principais diferenças entre benefícios tangíveis e intangíveis relacionadas por Becker, Huselid e Ulrich
(2001) são que, enquanto benefícios tangíveis têm fácil visibilidade, são rigorosamente quantificáveis, têm
aplicações finitas, são ordenados por controle e são acumuláveis e/ou armazenáveis, os benefícios intangíveis
têm difícil visibilidade, são difíceis de quantificar, têm aplicações múltiplas sem perda de valor, são ordenados
por alinhamento e são dinâmicos. Há diferenças ainda no cálculo de valores de ativos, na depreciação, na
padronização, na duplicação de resultados e no gerenciamento.
46
Bukovitz e Williams (2002, p. 236) ressaltam que teorias da organização efetivas para
a atualidade devem possibilitar a visualização dos intangíveis e fatorá-los na tomada de
decisões estratégicas e operacionais. Fazendo a conexão com a avaliação das iniciativas de
gestão do conhecimento Bukovitz e Williams (2002, p. 245) postulam que, juntos, teoria da
organização, esquemas e processos provêm um contexto de mensuração. O estabelecimento
de tal contexto é parte do processo de avaliação, porque articula o conjunto de possibilidades
que a organização considera fazer parte de sua perspectiva estratégica.
Para Bukovitz e Williams (2002, p. 252), além das medidas que são computadas a
partir de dados hard, um número crescente de avaliações soft ou qualitativas insinuou-se no
repertório. Sobre a utilização de um modelo de mensuração que considere ambos os tipos de
avaliação, inclusive abarcando o ROI, Bukovitz e Williams afirmam:
Os modelos financeiros tradicionais e as declarações financeiras resultantes
representam uma plataforma comum para expressar a teoria da organização. Parte
do que os torna tão atraentes é a sua onipresença. Eles são a ‘língua franca’ do
mundo dos negócios, utilizada por aqueles que estão dentro e fora da organização,
para avaliar o valor da empresa como uma preocupação contínua. O alto grau de
padronização na avaliação financeira permite que os analistas comparem diferentes
partes da organização e, também, organizações diferentes entre si. Além disso, ‘pro-
formas’ são utilizadas para extrapolar como a organização poderia atuar em
diferentes circunstâncias. (BUKOVITZ, WILLIAMS, 2002, p.235)
47
Esquema de Cinco Níveis com ROI de Phillips – A Metodologia Phillips ROI com seu
esquema de cinco níveis é o processo mais amplamente utilizado para a avaliação de
programas de treinamento e melhoria de desempenho. Jack J. Phillips adicionou ROI como
um quinto nível de avaliação, reconhecendo que, para passar do Nível 4 ao Nível 5, as
medidas do Nível 4 que assim o pudessem deveriam ser convertidas em valores monetários,
os benefícios intangíveis deveriam ser identificados, e os benefícios monetários deveriam ser
comparados aos custos. Assim, uma combinação da abordagem de quatro níveis de
Kirkpatrick com a análise de benefícios/custos assegura um conjunto balanceado de medidas
a serem relatadas. Phillips usa os cinco níveis como framework, tendo desenvolvido um
processo sistemático que inclui uma metodologia baseada em desempenho, estratégias,
abordagens e ferramentas para implementação da avaliação em todos os cinco níveis. A
metodologia inclui ainda um passo crucial, que é o de isolar os efeitos do programa de outras
influências em suas medidas chaves. Adicionalmente, o processo identifica barreiras e
facilitadores do sucesso e provê recomendações para melhoria contínua. Esta metodologia
será descrita com maiores detalhes mais a frente.
11
Embora originalmente publicado em um artigo de 1959, seu esquema de avaliação foi organizado e publicado
em livro pela primeira vez apenas em 1975.
48
Esquema de Cinco Níveis de Kaufman – Roger Kaufman expande o esquema de quatro níveis
de Kirkpatrick ao definir um nível 1 que inclui o conceito de possibilitador, que aborda a
disponibilidade das várias fontes e entradas necessárias a uma intervenção bem sucedida, e
adicionando um quinto nível de avaliação que ocupa-se da resposta da sociedade e do cliente,
bem como das conseqüências e resultados.
CIRO – Warr, Bird e Rackham apresentam um esquema de quatro níveis no qual a avaliação
consta das categorias de Contexto, Entrada, Reação e Produto (Context, Input, Reaction e
Output).
evoluem à medida que os participantes descrevem seu sucesso na aplicação e elocubram sobre
as barreiras e facilitadores que detiveram ou apoiaram o uso das habilidades e conhecimentos.
Implementação
Filosofia e
Modelo de Padrões de
Processo
Operação
Model
Figura 3. Elementos da Metodologia ROI (PHILLIPS, MEIRA e BLANCO, 2007).
50
Nível 4 – Impacto – A coleta e análise dos dados desse nível determinam a extensão
com que a aplicação pelos participantes do conhecimento e habilidades adquiridos influenciou
positivamente as medidas-chave que se objetivava melhorar como resultado do programa. No
tratamento dos dados do nível 4 sempre se utiliza um método de isolar os efeitos do programa
de outras influências.
51
Resultados vinculados à
Desempenho Aprendizado
Lucro Clima de trabalho
Produtividade Criatividade / Inovação
Tempo Melhoria de Comunicação
Custos Liderança
Qualidade Relação com os clientes
Imagem organizacional
Desenvolvimento Humano
Relações de trabalho
(Tangíveis) (Intangíveis)
Quadro 2. Impactos usualmente evidenciados com a Metodologia Phillips ROI. (PHILLIPS, 2003; PHILLIPS,
PHILLIPS, 2005).
53
1 – Quando uma avaliação em um nível mais elevado for realizada, os dados devem ser coletados em todos os
níveis inferiores.
2 – Quando for planejada uma avaliação em um nível superior, as avaliações dos níveis anteriores não
necessitam ser tão abrangentes.
3 – Para a coleta e análise dos dados use apenas as fontes de credibilidade assegurada.
4 – Para a análise dos dados, opte pela alternativa mais conservadora para o cálculo dos resultados.
5 – Deve ser utilizado no mínimo um método para isolar os efeitos da solução.
6 – Se dados de melhoria relativos a uma população ou a uma fonte específica não estiverem disponíveis,
assume-se que pouca ou nenhuma melhoria tenha ocorrido (se não há dados, não há melhoria).
7 – Estimativas de melhoria devem ser ajustadas para possíveis erros.
8 – Itens de dados extremados e afirmações sem respaldo não devem ser usados para cálculos de ROI.
9 – Apenas o primeiro ano de benefícios deve ser usado na análise do ROI para soluções de curto prazo.
10 – Os custos da solução devem ser devem ser considerados de forma plena para análises de ROI.
11 – Medidas de intangíveis são definidas como medidas propositalmente não convertidas em valores
monetários.
12 – Os resultados da Metodologia Phillips ROI devem ser comunicados a todos os patrocinadores chaves
(‘stakeholders’).
Quadro 3. Princípios Guias da Metodologia Phillips ROI. (PHILLIPS, PHILLIPS, 2005, p. 10).
Para Phillips e Phillips (2005), os doze princípios guias provêem suporte e orientação
ao processo de avaliação e mantêm sua consistência e confiabilidade, tanto para a coleta de
dados como para a análise. Os princípios servem de ferramenta para a tomada de decisões,
orientando quais as melhores opções para a coleta dos dados, quais as fontes e períodos mais
apropriados, qual a melhor maneira de isolar e converter os dados, quais valores devem ser
incluídos e quais interessados [stakeholders] devem ser comunicados.
Phillips e Phillips (2007) afirmam que mensuração e avaliação de iniciativas deve ser
um procedimento sistemático e metódico. Por isso, a Metodologia Phillips ROI segue um
modelo de processo bem definido (PHILLIPS, 2003), como pode ser observado na Figura 4.
54
Figura 4. Modelo de processo da Metodologia Phillips ROI. (PHILLIPS, PHILLIPS, 2007, p. 20).
Benefícios Objetivos de 5
5 ROI
potenciais ROI
Necessidades
Objetivos de
3 de Aplicação e 3
Aplicação e
performance Implementação
Implementação
no trabalho
Necessidades
2 de Objetivos de
Aprendizagem 2
habilidades / Aprendizagem
conhecimento
Objetivos de
1 Preferências Reação e Reação e 1
de solução Satisfação Satisfação
Níveis de Níveis de
avaliação avaliação
©ROI Institute, Inc. Adaptado com autorização por Sirdar Instituto <www.sirdar.com.br>
Trata-se de uma pesquisa de natureza aplicada que faz uso de abordagem quantitativa
e qualitativa. Bogdan e Biklen (1994) esclarecem que investigação qualitativa constitui um
termo genérico utilizado nas Ciências Sociais para abranger diversas estratégias de pesquisa.
Nesse tipo de investigação os dados são caracterizados pelos aspectos descritivos relacionados
com as pessoas ou com diferentes temas e analisados a partir de elementos valorativos, não
58
3.2. Hipóteses
Idealmente seria o mesmo que população-alvo, mas muitas vezes esses diferem pela
possibilidade de se incluir toda a população-alvo como população acessível. Como poderá ser
visto a seguir, para o presente estudo, a população-alvo seria todos os indivíduos com
conhecimento da Metodologia Phillips ROI, ao passo que a população acessível compõe-se
daqueles indivíduos da população-alvo que poderiam ser efetivamente contatados. Apresenta-
se uma outra diferenciação importante. Uma população consiste em um conjunto específico,
objeto de estudo e definido pelo investigador. A amostra é um subconjunto da população que
pode ser gerenciado para fins de mensuração (SPATZ, 2001, p. 6), sendo uma parcela
representativa da população que é examinada com o propósito de tirarmos conclusões sobre
essa população (SILVA, 2002). Dada a população de pesquisa do presente estudo, já
caracterizada, a amostra utilizada é o subconjunto dos indivíduos que efetivamente
responderam ao questionário, configurando uma amostra aleatória ou randômica.
Esta pesquisa foi inicialmente realizada junto aos participantes da Global ROI
Conference. A Conferência teve âmbito mundial e foi realizada na cidade de Chicago, EUA,
entre 31 de outubro e 02 de novembro de 2007. A seleção da população intencional foi feita a
partir de levantamento efetuado junto à entidade organizadora do evento, o ROI Institute, após
a confirmação de presença na referida conferência de participantes do mundo todo e que
reconhecidamente fazem uso constante e regular da Metodologia Phillips ROI na avaliação
das mais diversas iniciativas em inúmeras áreas de atuação. O convite inicial para
participação na pesquisa ora conduzida foi feito verbalmente por Jack Phillips aos
participantes da Conferência durante o evento, e reforçado com convites enviados por meio de
correio eletrônico.
Sexo
Percentual
Total de
de
respostas
Respostas
Feminino 54 54%
Masculino 46 46%
Faixa Etária
Percentual
Total de
de
respostas
respostas
Menos de 21 anos 0 0%
21-25 anos 1 1%
26-30 anos 4 4%
31-35 anos 11 11%
36-40 anos 14 14%
41-45 anos 14 14%
46-50 anos 21 21%
51-55 anos 13 13%
56-60 anos 15 15%
61-65 anos 3 3%
66-70 anos 1 1%
71-75 anos 2 2%
Acima de 75 anos 0 0%
País
Percentual
Total de
de
respostas
respostas
África do Sul 1 1%
Argentina 1 1%
Austrália 2 2%
Bósnia e
1%
Herzegovínia 1
Brasil 4 4%
Canadá 7 7%
Chile 2 2%
Dinamarca 2 2%
EUA 57 57%
Filipinas 1 1%
Finlândia 1 1%
Holanda (Países
1%
Baixos) 1
Índia 1 1%
Irlanda 1 1%
Itália 1 1%
Jamaica 1 1%
Panamá 1 1%
Polônia 1 1%
Porto Rico 3 3%
Reino Unido
6%
(Inglaterra) 6
Rússia 1 1%
Suécia 1 1%
Tailândia 1 1%
Trinidad e
1%
Tobago W.I. 1
Turquia 1 1%
Conforme pode ser visto no Gráfico 3, ainda que de preenchimento não obrigatório, a
Questão 22 traçou um perfil exemplificativo da origem dos componentes da população
pesquisada. As respostas espontâneas partiram de respondentes originários de 25 (vinte e
cinco) países em 5 (cinco) continentes (América, África, Ásia, Europa e Oceania). Observa-se
uma alta taxa de respostas (57%) assinalando os Estados Unidos (EUA) como país de origem,
fato este que não se apresenta como nenhuma surpresa, haja vista que, apesar da disseminação
da Metodologia Phillips ROI estender-se, segundo o ROI Institute, por mais de 49 países, a
maior concentração de especialistas na Metodologia encontra-se nos EUA. Mesmo
considerando-se o fato da alta presença de indivíduos dos EUA, a abrangência de vários
respondentes de nacionalidades diversas indica uma divulgação muito grande da Metodologia
Phillips ROI em nível mundial e, mais importante para a pesquisa, apresenta dados obtidos
em realidades organizacionais diversificadas, nos mais variados países.
Grau de Instrução
Percentual
Total de
de
respostas
respostas
Médio 1 1%
Superior 23 23%
Pós-
graduação 13 13%
(Lato Sensu)
Mestrado 46 47%
Doutorado 15 15%
Nível da função
Percentual
Total de
de
respostas
respostas
Direção 12 12%
Gerência
13 14%
Executiva
Gerência
37 39%
Média
Gerência
13 14%
Operacional
Funcionário 15 16%
Autônomo /
Consultor 6 6%
Independente
Percebe-se uma forte presença (80%) de respondentes que são profissionais da área de
avaliação e mensuração ou que participam de equipes destinadas a avaliar e mensurar
processos e iniciativas organizacionais, fato este que aponta para uma bem-vinda qualificação
dos indivíduos que tomaram parte da presente pesquisa.
pessoal e individualmente pelo participante, por meio da Internet, na língua inglesa. Este
procedimento visava facilitar a resposta dos participantes e a ampliar a abrangência das
possíveis localidades em que os respondentes se encontrassem, uma vez que, conforme pode
ser visto na Delimitação do Estudo, era esperado que os respondentes pudessem estar em
várias partes diferentes do globo. A opção pela língua inglesa no instrumento derivou também
da amplitude de nacionalidades esperada dos respondentes, surgindo como alternativa para
facilitar o preenchimento por pessoas de idiomas variados. A disponibilização do questionário
para preenchimento ocorreu no dia 1º de novembro de 2007, para coincidir com a ocorrência
da Global ROI Conference, e permaneceu disponível até 1º de fevereiro de 2008, período
definido como suficiente para obter-se um número satisfatório de respondentes. Durante este
período, foram enviadas três mensagens eletrônicas aos componentes da população alvo,
lembrando-os de preencher o questionário que encontrava-se disponível em uma página
específica do sítio do ROI Institute.
Tal encaminhamento dos respondentes tinha por finalidade fazer com que os dados
principais obtidos na pesquisa fossem oriundos de indivíduos, primeiro, que já houvessem
realizado alguma avaliação organizacional e, segundo, que conhecessem e houvessem
realizado avaliação com a Metodologia Phillips ROI. Este procedimento permitiu que apenas
os indivíduos que se encaixassem em tal critério preenchessem as questões principais do
questionário, de modo a aprimorar qualitativamente os dados coletados.
evitar que o respondente optasse por uma resposta que não refletisse uma opinião válida,
para os casos em que ele efetivamente não tivesse opinião ou que o tópico não se aplicasse
ao seu caso específico. A maioria das questões da parte principal do questionário era de
preenchimento obrigatório, com algumas sendo opcionais. As perguntas da parte
identificatória eram todas opcionais.
A seqüência das perguntas foi ordenada por assunto e seguiu uma abordagem
temática de partir-se do geral para o específico. Importante salientar que nem todas as
perguntas foram respondidas por todos os indivíduos. O questionário eletrônico foi
elaborado com uma lógica de desvio para determinadas seções do questionário, com
diferentes questões, de acordo com as respostas dadas a questões pré-definidas como nós de
fluxo. Por exemplo, as três primeiras perguntas buscavam avaliar o conhecimento do
respondente sobre os temas tratados no questionário, com o objetivo de servir como filtro
para as próximas perguntas, procurando encaminhar o respondente para a seção do
questionário adequada ao seu perfil. O questionário dividia-se em duas seções de perguntas,
uma elaborada para os indivíduos que já houvessem realizado avaliação e mensuração de
iniciativas organizacionais e, ainda, que já o houvessem feito utilizando a Metodologia
Phillips ROI. À outra seção do questionário eram encaminhados os respondentes que nunca
tivessem avaliado iniciativas organizacionais, ou que nunca o houvessem feito utilizando a
Metodologia Phillips ROI. Havia uma subdivisão nesta última seção, para captar as opiniões
daqueles que nunca houvessem avaliado com a Metodologia Phillips ROI, mas que tivessem
um certo conhecimento da mesma.
uma resposta positiva à questão 3 o respondente prosseguiria para a questão 5 após a questão
4. A questão 4 teve por intento capturar o panorama de outras práticas de avaliação
conhecidas e utilizadas pelos respondentes, além da metodologia em estudo. A questão 5
visava situar em que tipos de medidas foi possível aos respondentes a captura de dados.
A questão 10 foi retirada do fator 2 de Blanco (2006). Em sua obra, Blanco (2006)
demonstra que, por meio da validação estatística, foi possível comprovar a possibilidade de
reutilização de seu instrumento para outras amostras de estudo e que, pela aplicação do
instrumento junto aos grupos então estudados, foi possível verificar sua capacidade de
medição de resultados de negócio e de processamento do conhecimento. Apesar de ter sido
utilizado no nível da avaliação da percepção e da opinião, ficou clara a possibilidade de
utilização em níveis de avaliação da aplicação e de avaliação do impacto da aplicação. Com
isto, o instrumento poderia vir a ser utilizado para relatar os efeitos de adoção de práticas que
influenciam os processos de negócio e do conhecimento (BLANCO, 2006), confirmando que
tal prática adotada cumpria funções de aprendizagem organizacional e gestão do
conhecimento, e poderia ser considerada uma prática de Gestão do Conhecimento. Este fator
foi denominado por Blanco (2006) de Fator de Processamento de Conhecimento.
70
Análise fatorial, AF, é um nome genérico dado a uma classe de métodos estatísticos
avançados e multivariados aplicada com o propósito principal de definir a estrutura
subjacente em uma matriz de dados. Caracteriza-se como um método multivariado
de análise das interdependências, operando sobre todas as variáveis mensuradas ou
avaliadas de um experimento ou de um levantamento amostral, que permite a
criação de fatores que agrupam as variáveis interdependentes. [...] De forma geral, a
análise fatorial aborda o problema da análise da estrutura das inter-relações
(correlações) existentes entre um grande número de variáveis (itens), permitindo,
assim, a definição de um conjunto de dimensões latentes comuns. Dimensões, estas,
mais conhecidas como fatores, mas também referidas como construtos. [...] Os
fatores podem ser entendidos como entidades hipotéticas não diretamente
observáveis, criados a partir do agrupamento das variáveis. Cada grupo de variáveis
representa um construto básico responsável pelas correlações observadas nas
respostas. No caso desta pesquisa têm-se os fatores resultados do negócio e
resultados do processamento do conhecimento. [...] Quando instrumentos de
medição são analisados, uma pergunta freqüente é se a estrutura fatorial é replicável
quando aplicada em outras amostras. Para responder a essa pergunta é necessário o
uso da análise fatorial. [...] Com isso, comprovou-se que a estrutura utilizada [...]
pode ser fielmente replicada e reutilizada junto a outras amostras. (BLANCO, 2006,
pp. 112-123).
12
Método de rotação ortogonal Varimax.
13
Método de rotação oblíqua Oblimin.
71
O procedimento de análise e estudos dos dados obtidos teve início brevemente após
o encerramento da coleta dos dados. Os dados estatísticos foram organizados para serem
apresentados de forma visual, por meio do uso de gráficos e de quadros descritivos. Os
aplicativos utilizados foram os programas Microsoft Excel e Visio, versão 2003. As
ferramentas para análise estatística escolhidas foram os cálculos de freqüência, freqüência
acumulada e os cálculos de porcentagem.
dados da CAPES e outras bases conveniadas14. Ressalta-se que a grande maioria das obras e
do material disponíveis encontrava-se na língua inglesa.
Uma das limitações previstas quando da qualificação, qual seria uma resistência dos
indivíduos e de possíveis instâncias de chefia em responder os questionários, por ser um
levantamento mais aprofundado da dinâmica interna da organização, podendo ser considerado
como pouco apropriado e como uma possibilidade de perda do sigilo de informação
organizacional estratégica, não parece ter se confirmado. Todas as respostas obtidas indicam
terem sido apresentadas sem restrições, com a expressão da profundidade solicitada. Talvez a
limitação acima descrita tenha se manifestado no número final de respondentes, mas tal
afirmação não passa do plano de suposição, uma vez que não há como confirmar a quantidade
de possíveis respondentes que haveriam desistido do questionário por resistência, tampouco
14
Disponível em <http://www.biblioteca.ucb.br>
76
há como saber com certeza o número total de possíveis respondentes, por desconhecer-se o
tamanho do universo pesquisado.
Além disso, ainda que não invalide ou mesmo desmereça os resultados alcançados
com a pesquisa, o desconhecimento do tamanho do universo pesquisado faz com que a
generalização dos resultados seja feita tomando-se por base a estimativa de cerca de 1.000
potenciais respondentes, descrita no item 3.3.
Por último, não faz parte dos objetivos desta pesquisa avaliar o desempenho
organizacional das empresas às quais os respondentes estejam vinculados, tampouco o
desempenho do grupo de estudo em relação à avaliação de iniciativas organizacionais
utilizando qualquer processo. Assim sendo, os resultados obtidos não descrevem desempenho,
mas sim as características expressas pelo grupo de estudo em relação à utilização da
Metodologia Phillips ROI e à utilização dessa última na avaliação de iniciativas de
Aprendizagem Organizacional e Gestão do Conhecimento, além de refletir o grau de
concordância do grupo sobre os resultados propiciados com a utilização da Metodologia
Phillips ROI na avaliação de iniciativas organizacionais.
Diante disso, alimentou-se ainda mais a angústia (comum a grande parte dos
mestrandos) de não conseguir estabelecer prontamente o problema de pesquisa. A resolução
para tal impasse surgiu do amadurecimento das idéias cultivado nas reuniões do autor com a
orientadora, e do surgimento de uma oportunidade fortuita que permitiu a execução da
pesquisa pretendida.
com sistemas complicados, ao invés de complexos. E há uma grande diferença entre eles. Um
sistema complicado pode constar de milhares de componentes, mas ainda assim todos os seus
componentes são conhecidos, definíveis, e seus relacionamentos com os outros componentes
do sistema podem ser isolados e identificados. Sistemas complexos não podem ser
trabalhados desta forma. Não são estáticos como sistemas complicados, mas sim dinâmicos e
sistêmicos. Diferentemente do que ocorre num sistema complicado, não há como isolar e
predizer como proceder-se-á o inter-relacionamento dos componentes de um sistema
complexo, muito menos como essas alterações interagirão com o sistema, influenciando-se
mutuamente e tornando o sistema muito diferente do previsto. Para prever resultados as
pessoas usualmente utilizam uma lógica binária, em que as possibilidades podem ser em geral
descritas como acontecimentos ‘A’ e ‘não-A’. Nesse raciocínio linear e de resultados binários,
as variáveis também são consideradas binária e linearmente. As variáveis são tomadas no
máximo de duas em duas, fazendo-se a opção do dígito binário (bit: 0 ou 1, sim ou não, aceito
ou recusado) a cada embate, e passando à variável seguinte após a definição da prévia. E uma
vez que o raciocínio é falho em trabalhar com uma multiplicidade de fatores concorrentes, é
falho também em visualizar possíveis resultados das interações destes mesmos fatores.
Desconsidera-se o universo compreendido entre ‘A’ e ‘não-A’, de onde surge o chamado
terceiro incluído, que dentro da visão da complexidade é um resultado tão plausível quanto os
compreendidos nos extremos ‘A’ e ‘não-A’.
Uma das vantagens do Mestrado Profissional vem a originar também uma de suas
dificuldades, que é a de conciliar a vida profissional com a vida acadêmica. Há uma boa dose
de dificuldade em realizar uma pesquisa e escrever a dissertação ao mesmo tempo em que
continua-se dedicando-se ao trabalho no âmbito profissional, e ainda buscar fazer tudo isso
com qualidade. Para a presente pesquisa, a dificuldade apresentava-se de maneira tripla, pois
o autor continuava suas atividades profissionais concomitantemente com o desafio de
79
emplacar uma nova iniciativa empresarial (não relacionada com as atividades profissionais
prévias) e com a tarefa de levar a cabo uma dissertação de mestrado que contribuísse com a
ampliação de conhecimento na área e que ao mesmo tempo tivesse relevância profissional.
Externalizando de um modo mais simples, era a dificuldade de manter um emprego, montar
uma empresa e escrever o trabalho ao mesmo tempo, e como lidar com tudo isso e fazer um
trabalho de qualidade em todos os aspectos. Tais exigências foram agravadas, e
provavelmente têm sua parcela na origem, de problemas de saúde enfrentados quando da
compilação e relatoria dos resultados do estudo.
Por último e não menos importante, realizar tudo o que se pretendia sem relevar a vida
familiar e os papéis sociais que precisavam ser desempenhados – de pai, de esposo e afins.
São alguns dos desafios e dificuldades encontrados. Espera-se que compartilhá-los possa
ajudar indivíduos que se encontrem em demandas semelhantes.
4. Capítulo 4 – Resultados
Para Hair et al (2005, p. 537), dada uma vasta quantia de dados disponíveis, a
perspectiva da pesquisa se torna mais direcionada em buscar as características dos dados.
Desta feita, técnicas distintas dos métodos de análise multivariados tradicionais são
empregadas de uma natureza bastante simples e qualitativa. O pesquisador, dada essa
profundidade de informação, segue uma estratégia de descoberta por meio do exame dos
dados para as relações.
A questão 2 visava melhor delinear o perfil dos respondentes. Como descrito no item
3.3 do Capítulo 3, um grupo composto de 80% de indivíduos que são profissionais da área de
avaliação e mensuração ou que são componentes de equipes destinadas à avaliação e
mensuração de processos e iniciativas organizacionais aponta um grupo especialmente
qualificado para responder uma pesquisa dessa natureza. Acredita-se que essa tendência possa
reforçar o valor qualitativo dos resultados obtidos.
83
Você já utilizou alguma das alternativas listadas a seguir para realizar avaliação de iniciativa
organizacional?
Percentual de
respostas
Análise de Benefício / Custo 53%
Esquema de Quatro Níveis de
66%
Kirkpatrick
Esquema de Cinco Níveis de Kaufman 5%
CIRO - Context, Input, Reaction e
0%
Output, de Warr, Bird e Rackham
O modelo CIPP de Stufflebeam 7%
Modelo de Marshall e Schriver de
Avaliação de Conhecimento e 3%
Habilidades
Modelo ISD, Instructional System’s
Design, de Impacto no Negócio da 4%
Universidade de Indiana
A avaliação de caso de sucesso de
14%
Brinkerhoff
A análise de utilidade de Cascio 4%
Framework Integral de Brown e Reed 0%
Balanced Scorecard 50%
Nenhuma 12%
Outra, favor especificar 8%
A última opção da questão era aberta e permitia ao indivíduo citar algum outro
processo de avaliação que ele já tivesse usado e que não estivesse listado nas opções
anteriores. Outros processos de avaliação relatados na parte aberta da questão foram: (i)
avaliação informal; (ii) instrumento simples de avaliação do impacto organizacional de
85
15
Agência Aeroespacial Norte-Americana
86
Gráfico 11. Porcentagens de concordância – resultados tangíveis e intangíveis – Metodologia Phillips ROI.
Falta de apoio / suporte da Diretoria e/ou Gerência 14,47% 14,47% 36,84% 30,26%
Falta de apoio / suporte dos pares ou pessoas envolvidas 9,21% 22,37% 34,21% 30,26%
Falta de compreensão ou de conhecimento sobre avaliação e mensuração 14,47% 28,95% 34,21% 18,42%
Falta de compreensão ou de conhecimento sobre a Metodologia Phillips 23,68% 19,74% 30,26% 19,74%
ROI
Diretoria e/ou Gerência não solicitaram ou não estão interessadas nos 11,84% 28,95% 17,11% 30,26%
resultados da avaliação
Muito Frequente (100 - 76%) Frequentemente (75 - 51%) Comumente (50 - 26%) Pouco Frequente(25% - 1%) Nunca (0%) Não se aplica
do estudo; (x) questões sobre com utilizar os dados e as informações; (xi) clima e cultura
organizacionais; (xii) falta de dados; (xiii) indisponibilidade de informações por parte de
organização; (xiv) falta de compreensão / experiência dos profissionais que conduziram o
estudo de impacto com ROI; (xv) falta de apoio, porque o processo de avaliação em si não é
visto como necessário; (xvi) tamanho da empresa; (xvii) período de tempo curto para conduzir
a atividade e a avaliação; (xviii) organização muito grande ou complexa para ter uma
metodologia consistente; (xix) iniciativa não cumpria os critérios que justificavam a alocação
de recursos para o estudo de impacto ROI; (xx) questões jurídicas relativas ao armazenamento
e processamento dos dados na Suécia, Alemanha e França.
foram as obtidas para as opções de resposta disponíveis em cada uma das medidas, podendo
ser observadas na Tabela 3.
Uma representação dos resultados descritos na Tabela 3 pode ser visualizada de forma
geral no Gráfico 13.
92
90,00%
80,00%
70,00%
60,00%
50,00%
40,00%
30,00%
20,00%
Gráfico 13. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento.
Gráfico 14. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Reação e satisfação.
4,17%
Aprendizado
0%
0%
0%
8,33%
Concordo Fortemente
Concordo
Neutro
Discordo
Discordo Fortemente
Sem Opinião
87,50%
Gráfico 15. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Aprendizado.
94
2,78% Aplicação
0%
0%
0%
19,44%
Concordo Fortemente
Concordo
Neutro
Discordo
Discordo Fortemente
Sem Opinião
77,78%
Gráfico 16. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Aplicação.
0%
1,39%
1,39%
Concordo Fortemente
25% Concordo
Neutro
Discordo
Discordo Fortemente
Sem Opinião
69,44%
Gráfico 17. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Impactos Tangíveis.
ROI
2,78%
1,39%
2,78%
6,94%
Concordo Fortemente
Concordo
Neutro
22,22%
Discordo
Discordo Fortemente
63,89%
Sem Opinião
Gráfico 18. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida ROI.
96
2,78%
Intangíveis
0%
1,39%
5,56%
Concordo Fortemente
Concordo
26,39% Neutro
Discordo
Gráfico 19. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Impactos intangíveis.
93,10% 88,57%
Gráfico 20. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Reação e Satisfação nos Grupos Demais Países e EUA.
Organizacional para o tipo de medida Reação e Satisfação igual a 100% no grupo Demais
Países, e de 94,28% no grupo EUA. A discordância e a neutralidade foram de 0% em ambos
os grupos. Para essa medida, 5,71% dos respondentes da questão não expressaram opinião no
grupo EUA.
89,66% 88,57%
Gráfico 21. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Aprendizado nos Grupos Demais Países e EUA.
0,00% 5,71%
0,00% 0,00%
0,00% 0,00%
0,00% 0,00%
24,14%
14,29%
75,86% 80,00%
Gráfico 22. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Aplicação nos Grupos Demais Países e EUA.
5,71%
0,00%
22,86%
27,59%
65,52%
71,43%
Gráfico 23. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Impactos Tangíveis nos Grupos Demais Países e EUA.
100
5,71%
0,00%
3,45%
2,86%
3,45% 0,00%
0,00%
17,24%
28,57%
Gráfico 24. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida ROI nos Grupos Demais Países e EUA.
5,71%
0,00%
0,00%
3,45% 0,00%
0,00%
6,90% 5,71%
27,59% 25,71%
62,07% 62,86%
Gráfico 25. Concordância com a aplicabilidade da Metodologia Phillips ROI em Gestão do Conhecimento para
a medida Intangíveis nos Grupos Demais Países e EUA.
De modo a tratar os dados de forma estatística, na análise dos resultados cada uma das
opções de resposta foi convertida em um valor numérico. As opções de resposta a cada
característica e seu respectivo valor numérico eram: Ocorreu – 3; Ocorreu Parcialmente – 2;
Não Ocorreu – 1; e Não se Aplica - 0. Cada um dos quatorze tópicos podia ser assinalado com
uma das respostas, que posteriormente, foi convertida em um dos valores descritos. O total
dos valores para cada respondente foi contabilizado e foi calculada a média numérica das
respostas, de forma a capturar em um espectro global a opinião dos respondentes em relação
ao tema. A intenção era representar todas as respostas aos quatorze tópicos unificados em um
valor numérico expressivo.
Distribuição -
Fator Processamento do
Conhecimento
3
Escala de Valores
0
0 15 30 45 60 75
Respondentes
20 100,00%
80,00%
15
Freqüência
60,00%
10
40,00%
5
20,00%
0 0,00%
25 75 25 00 1,
5 0 5 5
12 0, 7 , 37
5
2, 1, 8 2, 6 3, 1, 0
Bloco
Freqüência % cumulativo
com valores acima de 1 (segmentos de valores 1,875 e 1,5), denotando uma ocorrência de
parcial a plena do Fator de Processamento de Conhecimento.
Na Questão 12, foi solicitado ainda aos participantes da pesquisa que tecessem
comentários sobre casos em que foi utilizada a Metodologia Phillips ROI na avaliação e
mensuração de Gestão do Conhecimento. Três entre os comentários mais relevantes foram
selecionados e transcritos a seguir:
“Os dados qualitativos coletados foram mais convincentes para a liderança do que os
dados quantitativos (talvez devido a tratar-se de uma organização federal).”
5. Capítulo 5 - Conclusões
Como disposto no item 1.4, uma das justificativas principais para a realização da
presente pesquisa era ajudar a identificar um processo que auxiliasse a nortear os esforços de
gestão do conhecimento nas organizações, na forma de uma metodologia sistemática de
avaliação e mensuração. Com os resultados obtidos e relatados, é afirmativo que o objetivo
primeiro ora almejado, qual seja verificar a aplicabilidade da Metodologia Phillips ROI na
avaliação de iniciativas organizacionais de Gestão do Conhecimento e de Aprendizagem
Organizacional, tenha sido alcançado, com a confirmação da hipótese associada, permitindo o
reconhecimento da Metodologia Phillips ROI como uma alternativa para a avaliação de
programas e iniciativas de Gestão do Conhecimento e Aprendizagem Organizacional em meio
à carência e a necessidade de meios sustentáveis de comprovação da efetividade de iniciativas
dessa natureza.
Com os resultados obtidos, uma nova constatação surgiu. Foi possível também
verificar, a partir dos mesmos critérios utilizados e confirmados, que a Metodologia Phillips
ROI revelou-se como uma prática capaz de promover e dar suporte à Gestão do
Conhecimento dentro das organizações. Cumprir os critérios constantes do Fator de
Processamento do Conhecimento significava cumprir os critérios que, dentro do referencial
teórico adotado, alçavam uma determinada iniciativa ao âmbito da Gestão do Conhecimento.
Tais resultados deram ensejo a uma subseqüente conclusão, pois, ao identificar a aderência da
avaliação com a Metodologia Phillips ROI com relação aos processos de Gestão do
Conhecimento, findou-se por atestar a Metodologia Phillips ROI como, ela mesma, uma
prática de Gestão do Conhecimento. A confirmação da assertiva de que a Metodologia
estudada contribuía para a aprendizagem organizacional acabou então, concomitantemente,
levando à constatação de que a Metodologia Phillips ROI é, em si, uma prática de Gestão do
Conhecimento.
Por meio deste estudo, com base na experiência dos respondentes, foi possível ainda
averiguar as mais comuns barreiras e empecilhos à aplicação da Metodologia Phillips ROI
como processo de avaliação. Encontrando maior aplicação prática quando dos esforços em
estabelecer um programa ou política de avaliação de resultados e alinhamento estratégico na
organização, os resultados sobre as barreiras dispostos no Capítulo 4 podem guiar a
implantação da Metodologia Phillips ROI ou de outro processo de avaliação, para que se
esquivem e contornem as barreiras usualmente encontradas. Isto pode facilitar a utilização de
um processo sistemático de avaliação e mensuração que oriente a Gestão do Conhecimento
nas organizações.
5.1. Sugestões
Ainda que seguidos os preceitos da Metodologia Phillips ROI, que considera, para
fins de avaliação e mensuração, fatores tangíveis e intangíveis como possivelmente originados
por iniciativas de Gestão do Conhecimento, os resultados obtidos no estudo indicam uma
predisposição da visão dos respondentes em crer ser mais possível a obtenção de resultados
organizacionais intangíveis em iniciativas de Gestão do Conhecimento e de Aprendizagem
Organizacional, ainda que se tratem de situações cujos resultados não possam ser facilmente
comprovadas. Como não foi objeto deste projeto de pesquisa analisar essa predisposição,
compreender suas causas necessitaria de novas pesquisas.
Mesmo não sendo foco direto de estudo deste trabalho, os resultados aqui encontrados
indicam ser importante que se conheça melhor o impacto da avaliação de iniciativas de
Gestão do Conhecimento em processos e indicadores de negócio e do processamento do
conhecimento, fazendo-se necessária, para tanto, a realização de estudos específicos e
detalhados a este respeito. Pesquisas multidisciplinares seriam de grande valia nesse sentido,
pois é preciso buscar integração entre as áreas que se interessam pelo tema e, com isso,
possibilitar maior amplitude e profundidade aos trabalhos de pesquisa.
Considera-se que o estudo aqui realizado tenha cumprido seu propósito, de esclarecer
se iniciativas de Gestão do Conhecimento e de Aprendizagem Organizacional podem ser
avaliadas pela Metodologia Phillips ROI. O estudo confirmou a potencialidade da
Metodologia Phillips ROI como processo de avaliação de iniciativas consideradas como de
Gestão do Conhecimento e de Aprendizagem Organizacional, confirmando a aplicabilidade
da Metodologia Phillips ROI na avaliação de iniciativas organizacionais de Gestão do
Conhecimento e de Aprendizagem Organizacional e a aderência da avaliação com a
Metodologia Phillips ROI com relação aos processos de Gestão do Conhecimento, objetivo
este último em que superou o propósito inicial e demonstrou ser a Metodologia Philips ROI
ela mesma uma prática de Gestão do Conhecimento.
Acredita-se ainda que este estudo possa abrir espaço para outros trabalhos voltados ao
estudo e desenvolvimento de metodologias de avaliação dos resultados obtidos com as
práticas de Gestão do Conhecimento.
114
Referências Bibliográficas
______. KM on trial. In: Knowledge Management, Vol 7, issue 4, 2003a. Disponível em:
<http://www.vernaallee.com/interviews/Allee-KM_on_trial_complete.pdf >.Acesso
em: 23/05/2007.
______. Knowledge networks and communities of practice. OD Practitioner, Vol. 32, No. 4,
2000. Disponível em:
<http://www.vernaallee.com/value_networks/KnowledgeNetworksAndCommunities
OfPractice-28Jan07.pdf >. Acesso em: 23/05/2007.
______. The Future of Knowledge: Increasing Prosperity true Value Networks. Burlington-
MA, USA: Butterworth Heinemann, 2003b.
BAKER, William M.; SINKULA, James E. The synergetic effect of Market Orientation and
Learning Orientation on Organizational Performance. Journal of the Academy of
Marketing Science, v. 27, n. 4, p. 411-27, 1999. Disponível em
<http://jam.sagepub.com/cgi/content/abstract/27/4/411>. Acesso em 25/08/2007.
115
BECKER, Brian E.; HUSELID, Mark A.; ULRICH, Dave. The HR Scorecard: Linking
People, Strategy and Performance. Boston: Harvard Business School Press, 2001.
BONTIS, Nick.; FITZ-ENZ, Jac. Intellectual Capital ROI: a causal map of human capital
antecedents and consequents. Journal of Intellectual Capital, Vol. 3 No. 3, 2002. Pp.
223-247. Disponível em
<http://www.business.mcmaster.ca/mktg/nbontis//ic/publications/JICBontisFitz-
enz.pdf>. Acesso em 15/08/2007.
CHOO, Chun Wei; JOHNSTON, Ray. Innovation in the Knowing Organization: A Case
Study of an E-Commerce Initiative. Univesiteit van Amsterdam: Amsterdam, 2003.
Disponível em <http://primavera.fee.nl/PDFdocs/2003-10.pdf>. Acesso em
21/05/2007.
ENGESTRÖM, Yrjö. Non scolae sed vitae discimus: como superar a encapsulação da
aprendizagem escolar. In: Uma Introdução à Vygotsky. São Paulo: Ed. Loyola, 2002.
116
______. Key Issues in the New Knowledge Management. KMCI Press / Butterworth-
Heinemann, 2003.
HAIR Jr., Joseph F. et al. Análise Multivariada de Dados. 5ª ed. Porto Alegre: Bookman,
2005.
MCELROY, Mark. Double-loop knowledge management. [S.l.: s.n]: Aug 1999. Disponível
em: http://www.macroinnovation.com>. Acesso em: 02/09/2007.
______. The New Knowledge Management. Knowledge and Innovation: Journal of the KMCI,
Vol. 1, no. 1. [S. l.]: Oct, 2000, pp. 43-67.
______. Understanding the new knowledge management. 2003b. Disponível em: <
http://www.macroinnovation.com/images/Understanding_New_KM.pdf >. Acesso
em: 12/05/2007.
117
______. The Second Generation of KM. Knowledge Management. [S. l.]: Oct. 1999, pp 86-
88.
MOORE, David S. A Estatística Básica e Sua Prática. Rio de Janeiro: LTC, 2000.
MORGAN, Gareth. Images of Organization. Updated ed. Thousand Oaks, CA: Sages, 2006.
MORGAN, Howard.; HARKINS, Phil.; MARSHALL, Goldsmith. The Art and Practice of
Leadership Coaching. Hoboken: John Wiley & Sons, 2005.
PHILLIPS, Jack J. How to Build a Successful Consulting Practice. New York, NY: McGraw-
Hill, 2006.
______. Investing in Your Company’s Human Capital: Strategies to avoid spending too little
or too much. New York: American Management Association, 2005.
______. Return on Investment in Training and Performance Improvement Programs. 2nd ed.
Burlington, MA: Butterworth-Heinemann, 2003.
PHILLIPS, Jack J.; MEIRA, André G. L.; BLANCO, Valéria B. ROI – Como Medir o
Retorno sobre o Investimento. Revista Mundo PM, ano III, número 15, junho/julho
2007.
PHILLIPS, Patricia P.; PHILLIPS, Jack J. Measuring Intellectual Capital. Alexandria, VA:
ASTD Press, 2002.
118
______. Return on Investment (ROI) Basics. Alexandria, VA: ASTD Press, 2005.
______. ROI Fundamentals: Why and when to measure Return on Investment. Measurement
and Evaluation Series. San Francisco, CA: Pfeiffer, 2008.
______. The Value of Learning: How organizations capture value and ROI. San Francisco,
CA: Pfeiffer, 2007.
PHILLIPS, Patricia P. et al. The ROI Fieldbook: Strategies for implementing ROI in HR and
training. Burlington, MA: Butterworth-Heinemann, 2007.
REEVE, Johnmarshall. Understanding Motivation and Emotion. 4ª ed. Hoboken, USA: John
Willey and Sons, Inc., 2005.
______. A Quinta Disciplina: arte e prática da organização que aprende. 11ª edição. São
Paulo: Editora Nova Cultural, 1990.
SILVA, Paulo Cézar Ribeiro da. Introdução à Estatística Econômica - 2º ano. FACEV -
Faculdade de Ciências Econômicas de Vitória, 2002. Disponível em
<http://www.ai.com.br/pessoal/indices/2A0.HTM>. Acesso em 01/mar/2008.
______. A nova forma de ser simples. Revista HSM Management, ano 7, número 39, julho-
agosto, 2003. Disponível em
<http://www.hsm.com.br/hsmmanagement/edicoes/numero_39/nova_forma_ser.php
>. Acesso em 26/05/2007.
SPATZ, Chris. Basic Statistics: Tales of distributions. Belmont, CA: Wadsworth Thomson
Learning, 2001.
WILD, Christopher J.; SEBER, George A. F. Encontros com o acaso: Um primeiro curso de
análise de dados e inferência. Rio de Janeiro: LTC, 2004.