Manual de Avaliao de Satisfao do Usurio do Servio Pblico GesPblica

ndice
ndice ------------------------------------------------------------------------------------------------------------Apresentao--------------------------------------------------------------------------------------------------Introduo------------------------------------------------------------------------------------------------------O IPPS------------------------------------------------------------------------------------------------------------Amostragem para o IPPS -----------------------------------------------------------------------------------Procedimentos de Seleo Amostral ------------------------------------------------------------------------Vis da amostra ---------------------------------------------------------------------------------------------------------Seleo aleatria--------------------------------------------------------------------------------------------------------Passeios aleatrios -----------------------------------------------------------------------------------------------------Lei dos grandes nmeros e tamanho da amostra--------------------------------------------------------------Erro amostral ------------------------------------------------------------------------------------------------------------Nvel de confiana ------------------------------------------------------------------------------------------------------Convenes estatsticas sobre o erro amostral e o intervalo de confiana-----------------------------Relao entre erro amostral e tamanho da amostra ----------------------------------------------------------

2 3 3 4 6
6
7 7 8 9 9 10 10 11

Tipos de Amostra -------------------------------------------------------------------------------------------------Amostra aleatria simples -------------------------------------------------------------------------------------------Amostra estratificada--------------------------------------------------------------------------------------------------Amostra de mltiplos estgios com conglomerados----------------------------------------------------------Amostra por quotas----------------------------------------------------------------------------------------------------Amostra sistemtica ---------------------------------------------------------------------------------------------------Amostra Sistemtica com Listagem--------------------------------------------------------------------------------Amostra Sistemtica de Fluxo---------------------------------------------------------------------------------------O IPPS e a amostra sistemtica de fluxo--------------------------------------------------------------------------Critrios de seleo do entrevistado na amostra sistemtica ----------------------------------------------Forma alternativa de implementao da amostra--------------------------------------------------------------

12
12 12 13 13 14 14 15 15 16 17

Elementos Prticos da Pesquisa de Satisfao Com O IPPS----------------------------------------Tipos de entrevistas utilizadas no IPPS ---------------------------------------------------------------------Coleta de dados ---------------------------------------------------------------------------------------------------Aspectos subjetivos da coleta de dados--------------------------------------------------------------------------Percepes de Funcionrios e Usurios em relao Pesquisa de Satisfao-------------------------Lidando com percepes negativas--------------------------------------------------------------------------------Aspectos tcnicos da coleta de dados ----------------------------------------------------------------------------Abordagem dos entrevistadores -----------------------------------------------------------------------------------Treinamento de entrevistadores -----------------------------------------------------------------------------------Entendendo a fraude --------------------------------------------------------------------------------------------------As Fraudes mais comuns----------------------------------------------------------------------------------------------Superviso ----------------------------------------------------------------------------------------------------------------Equipe de Entrevistadores --------------------------------------------------------------------------------------------

17
17 18
18 18 19 20 20 21 21 22 23 23

Anlise de Dados Para O IPPS ----------------------------------------------------------------------------O processo de anlise--------------------------------------------------------------------------------------------Anlise descritiva -------------------------------------------------------------------------------------------------Unidade de anlise e variveis --------------------------------------------------------------------------------------Variveis nominais ou categricas ---------------------------------------------------------------------------------Variveis ordinais -------------------------------------------------------------------------------------------------------Variveis intervalares--------------------------------------------------------------------------------------------------Indicadores e ndices --------------------------------------------------------------------------------------------------Freqncia----------------------------------------------------------------------------------------------------------------Proporo e percentual -----------------------------------------------------------------------------------------------Razo e taxa--------------------------------------------------------------------------------------------------------------Taxa de satisfao relativa -------------------------------------------------------------------------------------------Mdia ----------------------------------------------------------------------------------------------------------------------Mdia ponderada-------------------------------------------------------------------------------------------------------Cruzamento de variveis ----------------------------------------------------------------------------------------------

23
24 25
25 25 25 26 26 27 28 29 31 31 32 31

Relatrio--------------------------------------------------------------------------------------------------------------

34

Relatrios Automatizados do IPPS -----------------------------------------------------------------------Bibliografia------------------------------------------------------------------------------------------------------

35 46
2

Apresentao
A Gerncia-Executiva do Programa Nacional de Gesto Pblica e Desburocratizao GesPblica apresenta o Manual para Avaliao de Satisfao do Usurio dos Servios Pblicos. Este manual baseado em um corpo conceitual slido sobre avaliao de satisfao e visa oferecer uma metodologia e uma ferramenta de pesquisa a qualquer organizao pblica interessada. A ferramenta de pesquisa, contida neste documento, denomina-se IPPS - Instrumento Padro de Pesquisa de Satisfao. Esta a 2o verso do Manual para Avaliao de Satisfao do Usurio dos Servios Pblicos, o qual somente foi possvel realizar com as experincias, crticas e sugestes, de diversas pessoas das organizaes pblicas que vm contribuindo neste processo.

Introduo
Desde 1991, o GesPblica vem se destacando como uma ao efetiva na induo da melhoria da qualidade da gesto das organizaes pblicas brasileiras. Ao mesmo tempo, vem continuamente acompanhando as transformaes ocorridas na administrao pblica moderna, e com isso, aperfeioando e incorporando aes para atender satisfatoriamente s demandas do Estado. nesse movimento que surge em junho de 2000 o decreto 3.507, cujo objetivo inserir o cidado como principal foco de ateno de qualquer rgo pblico federal. Para tanto, determina o estabelecimento de padres de qualidade do atendimento e realizao de avaliao de satisfao do usurio por todos os rgos e entidades da Administrao Pblica Federal direta, indireta e fundacional que atendem diretamente ao cidado. Prev, ainda, no Artigo 4., a instituio do Sistema Nacional de Avaliao da Satisfao do Usurio dos Servios Pblicos, a ser gerenciado pela Secretaria de Gesto do Ministrio do Planejamento, Oramento e Gesto, a qual caber a formulao dos critrios, metodologias e procedimentos a serem adotados pelo Sistema. A Avaliao da Satisfao do Usurio dos Servios Pblicos visa orientar as organizaes para a realizao de pesquisa de satisfao do usurio, com uma homogeneidade de critrios, metodologias e procedimentos, de forma a prover uma consistncia necessria para o funcionamento do Sistema Nacional de Avaliao da Satisfao do Usurio dos Servios Pblicos. Vale pena destacar aqui, que o objetivo desta ao no a padronizao de critrios de pesquisa com vistas a permitir a operacionalizao de um sistema normatizador e burocrtico para avaliao da satisfao do usurio dos servios pblicos, mas sim, o de institucionalizar, de forma til, simples e pragmtica a avaliao de satisfao como uma prtica de gesto relevante e necessria na estrutura da administrao pblica federal brasileira. nesse intuito que vem sendo desenvolvida uma ferramenta e uma sistemtica para garantir o funcionamento do Sistema Nacional de Avaliao da Satisfao do Usurio dos Servios Pblicos.

O IPPS
O Instrumento Padro de Pesquisa de Satisfao, o IPPS, um questionrio de pesquisa de opinio padronizado que investiga o nvel de satisfao dos usurios de um servio pblico, e foi desenvolvido para se adequar a qualquer organizao pblica. Em sua feitura foram combinados elementos das principais metodologias internacionais de medio da satisfao do usurio adaptados s necessidades e especificidades brasileiras. Vale destacar trs das metodologias usadas: o American Consumer Satisfaction Index da Universidade de Michigam; o SERVQUAL desenvolvido pelos especialistas Zeithaml, Parasuraman e Berry e o Common Measurement Tool do Centro Canadense de Gesto. A construo do IPPS foi norteada por uma diretiva bsica: a de permitir s organizaes com poucos recursos implementarem uma avaliao de satisfao caseira, mas, mesmo assim, metodologicamente rigorosa e, por isso, til. Para tanto, o IPPS pretende esgotar todos os itens de avaliao de satisfao que possam interessar a uma organizao pblica e cada organizao pode escolher, entre os itens disponveis, aqueles que contemplem a natureza do seu servio, os seus interesses gerenciais e os recursos disponveis para a pesquisa. Desse modo, organizaes com poucos recursos no precisam desenvolver o seu prprio questionrio. Este desenvolvimento demanda conhecimento tcnico especializado, em especial nas pesquisas de satisfao, que pela prpria natureza deste conceito, tem uma operacionalizao e medio relativamente complexas. O IPPS no somente um instrumento para pesquisa de satisfao, ele contm tambm conjuntos de perguntas, os chamados mdulos temticos, que exploram outros temas de interesse das unidades de atendimento. Os mdulos temticos disponveis so: padres de atendimento, avaliao de mudana, horrio de funcionamento e localizao, formas de acesso, relacionamento (Sistema de Atendimento ao Usurio (SAU) / Ouvidoria) e frequncia de uso. Desse modo, pode-se aproveitar a pesquisa de satisfao para colher outras informaes de interesse da organizao e, ainda, cruzar estas informaes com a avaliao de satisfao, de modo a descobrir o impacto destes outros elementos na satisfao dos usurios. Ainda no intuito de permitir a implementao da avaliao de satisfao com baixo oramento e que prescinda de conhecimento tcnico apurado na rea de pesquisa social e estatstica, foi desenvolvido, tambm, um software de auxlio ao processo de pesquisa e anlise dos resultados. Este software ir facilitar a adaptao do questionrio do IPPS s necessidades de cada organizao, ajudar a calcular a amostra e planejar o trabalho de campo, auxiliar a entrada de dados evitando os erros mais comuns desta fase e assistir a anlise dos resultados. No tpico da anlise, importante destacar que alm de permitir consultas livres, onde o prprio usurio poder escolher as estatsticas que ele deseja analisar, o Software do IPPS conta com os chamados Relatrios Automatizados. Esses relatrios consistem em um conjunto de tabelas que vo explorar os principais resultados da pesquisa de satisfao a partir de medies simples e ndices compostos especialmente desenvolvidos para o IPPS: o Gap/i e o Avaliao/i. Pela exposio anterior fica claro que o objetivo bsico que orientou o desenvolvimento do IPPS foi o de prover, s organizaes que o utilizaro, um instrumento capaz de produzir informao gerencial til para a melhoria de sua gesto. Este objetivo embasa tambm o foco do IPPS de avaliar a satisfao e prover informao gerencial diretamente em cada unidade, ao invs de um enfoque em diagnosticar e melhorar o atendimento de uma organizao como um todo. Este enfoque se justifica pela prpria natureza da satisfao dos usurios. A satisfao afetada por um conjunto bastante complexo de fatores, muitos deles circunstanciais, o que torna o enfoque agregado de menor valia. As especificidades de cada unidade de atendimento, de cada localidade e clientela podem atuar de
4

modo fundamental no nvel de satisfao dos usurios. Sendo assim, em pesquisas de satisfao a informao especfica ser mais proveitosa do que a informao agregada. Contudo, apesar da nfase no especfico, o IPPS contm tambm uma parte comparativa concretizada por um conjunto de perguntas idnticas a serem aplicadas por todas as organizaes, o Mdulo Geral. O Mdulo Geral permitir comparar pesquisas de satisfao de organizaes com perfis de servio e clientela bastante diferentes, e de contextos scio-culturais diversos. Alm de permitir a uma organizao de grande porte, que presta seu servio em diferentes contextos e para clientelas com diferentes perfis, avaliar comparativamente a percepo dos usurios quanto aos servios oferecidos pelas suas diversas unidades de atendimento. O enfoque sempre o de facilitar o aprendizado entre organizaes e unidades. O sucesso de uma organizao ou unidade em melhorar o seu atendimento um exemplo a ser seguido por outras. No servio pblico este processo de aprendizado j corrente e o IPPS permite identificar, com mais facilidade, alguns casos de sucesso e as experincias de xito. O Mdulo Geral constitudo por perguntas que tomam poucos minutos da entrevista. Ele est baseado na existncia de cinco dimenses genricas de servio que esto presentes em qualquer tipo de prestao de servio, a saber: confiabilidade, responsividade, garantia, empatia e aspectos tangveis. O mdulo geral contm ainda trs medies independentes, para o servio como um todo e para cada dimenso do servio: a expectativa em relao ao servio, a avaliao propriamente dita do servio e o valor/importncia de cada dimenso do servio. Do ponto de vista da futura consolidao de um sistema nacional de avaliao da satisfao do usurio, o mdulo geral a nica parte do IPPS que deve ser aplicado por todas as organizaes. Todas as outras partes do IPPS so opcionais. A partir do mdulo geral ser possvel futuramente agregar um ndice nacional de satisfao dos usurios do servio pblico. Agregaes como esta permitiro a promoo de polticas pblicas amplas na rea de prestao de servio ao cidado. importante salientar que o processo de desenvolvimento do IPPS foi amplamente subsidiado pela participao das organizaes envolvidas com o Programa de Qualidade do Governo Federal-PQSP. O desafio de construir um instrumento padro que abarque as especificidades das diversas organizaes do servio pblico no poderia ter sido vencido dentro de um escritrio, burocrtico ou acadmico. Gostaramos, assim, de destacar e agradecer a valiosa contribuio das organizaes que nos auxiliaram, com suas sugestes e questionamentos, e reafirmar que esta participao contribuiu diretamente para a qualidade do trabalho desenvolvido. A primeira verso o IPPS conta com um nmero bastante elevado de itens de avaliao de satisfao e perguntas. Contudo, espera-se que a cada ano a aplicao do IPPS venha a revelar novos itens de avaliao, novas perguntas e novos mdulos temticos, permitindo o constante aperfeioamento tanto da adequao quanto da utilidade IPPS para as organizaes que o utilizarem. Dada a prpria natureza do IPPS, de ser uma criao conjunta e estar em processo de aprimoramento, qualquer crtica ou sugesto ser sempre muito bem vinda.

Amostragem para o IPPS

Esta seo tem por objetivo desenvolver alguns conceitos bsicos relacionados ao processo de amostragem. As amostras so necessrias para reduzir os custos de pesquisas. Por exemplo, para medir o grau de satisfao dos usurios do Correio ou do Instituto Nacional de Seguridade Social-INSS, a opo menos sujeita a erros seria entrevistar os milhes de usurios que mensalmente procuram os servios destas instituies. No entanto, o custo e o tempo necessrios para se entrevistar estes milhes de usurios so proibitivos. por este motivo, por exemplo, que os censos so, em geral, decenais. Mesmo uma organizao menor, que atenda mensalmente a alguns poucos milhares de indivduos incorrer em um custo extremamente alto para entrevistar toda a sua clientela. Para contornar o problema de custos como estes, a cincia cedo aprendeu que a partir de certos procedimentos seria possvel estudar as caractersticas de um pequeno nmero de indivduos de um universo maior, e extrair deste grupo menor, a amostra, concluses que at certo ponto se aplicam a todo universo de pesquisa. Ou seja, seguindo certos procedimentos, garante-se que a amostra reflita o universo. Esta extrapolao da amostra para a populao conhecida como inferncia estatstica e significa que atravs do estudo da amostra ser possvel fazer afirmaes sobre o universo. No caso da pesquisa de avaliao de satisfao do IPPS, isso quer dizer que atravs da pesquisa com os usurios selecionados por um processo de amostragem, ser possvel fazer afirmaes sobre todos os usurios da organizao ou unidade pesquisada.

Procedimentos de Seleo Amostral

De imediato, duas questes se impem: que procedimentos so estes e at que ponto as concluses de uma amostra podem ser extrapoladas para a populao? Os procedimentos mais importantes da amostragem concentram-se no processo de seleo do conjunto de indivduos da populao que far parte da amostra. Se este processo de seleo seguir certas regras, garante-se que uma srie de caractersticas conhecidas sobre os indivduos da populao estejam presentes nos indivduos de qualquer amostra, permitindo-se extrapolar as concluses da pesquisa com a amostra para toda a populao, ou seja, inferir concluses sobre a populao a partir da amostra. Os diferentes usurios de uma organizao, por exemplo, apresentam diferentes caractersticas: o grau de escolaridade, o nvel de renda, o sexo, a idade etc. Para que uma amostra permita a extrapolao para o universo, as caractersticas do conjunto da amostra devem possuir a mesma variao/distribuio das caractersticas do seu universo. Discutiremos nesta seo apenas a amostra aleatria simples, que a base da teoria amostral, pois contm todos os elementos necessrios para o entendimento da inferncia a partir de amostras. Os outros tipos de amostras so apenas aperfeioamentos desenvolvidos para reduzir ainda mais os custos de pesquisa, ou melhorar algum aspecto especfico do processo amostral. A amostra aleatria simples baseia-se em uma regra que garanta a aleatoriedade da seleo dos indivduos. Em estatstica, aleatrio no sinnimo de casual, acidental ou fortuito. Aleatoriedade estatstica tem uma definio precisa: a seleo dos indivduos ocorre atravs de um sorteio, em que cada indivduo da populao tem uma chance conhecida e igual de ser sorteado. Assim, a amostra aleatria simples baseia-se em uma regra que garanta que cada indivduo de uma populao tenha uma probabilidade igual de ser includo na amostra. Se a regra de seleo aleatria for respeitada,
6

espera-se que a amostra seja uma verso em miniatura da populao, na qual os diferentes grupos sociais, as diferentes correntes de opinio ou caractersticas individuais estejam presentes aproximadamente nas mesmas propores da populao. No entanto, sabemos que nenhum processo amostral isento de erros e, por isso, nunca reproduz exatamente as propores da populao. A diferena entre as propores da populao e da amostra o chamado erro amostral. Se os procedimentos amostrais forem seguidos corretamente esse erro tender a ser pequeno, mas, deve-se ressaltar, ele sempre existir. importante chamar a ateno, no entanto, que os procedimentos amostrais permitem ao pesquisador estimar o erro amostral, ou seja, permitem ao pesquisador saber o quanto ele est errando este ponto ser mais bem esclarecido no decorrer da discusso.

Vis da amostra Quando o processo aleatrio no respeitado corre-se o risco de selecionar para a amostra mais indivduos de um certo grupo do que a proporo deste grupo na populao, introduzindo o chamado vis da amostra. O vis pode ser definido como um erro sistemtico introduzido no processo de seleo dos indivduos que vo compor a amostra. O vis ocorre toda vez que o processo de seleo amostral sistematicamente favorece a escolha de certos indivduos da populao para compor a amostra. Suponha que, ao realizar uma pesquisa para o IPPS, alguns entrevistadores desrespeitem as regras da seleo aleatria e, por um motivo qualquer (como por exemplo, o constrangimento natural dos mais jovens), decidam realizar entrevistas apenas com pessoas com idade semelhante sua. Suponha ainda que neste servio o nvel de satisfao esteja relacionado com a idade das pessoas, estes entrevistadores estaro sistematicamente coletando informaes que representam a percepo e opinio especficas de um determinado grupo, enviesando os resultados da pesquisa. Imagine, por exemplo, que se esteja avaliando o grau de facilidade de acesso a uma agncia de correio, cuja entrada principal acessada apenas por uma escadaria. Essa escadaria embora no oferea dificuldades de locomoo para pessoas jovens pode dificultar o movimento de pessoas idosas. A avaliao da facilidade de acesso da agncia ser, neste caso, claramente distinta conforme a faixa etria do entrevistado. Ao coletar informaes apenas de jovens, a pesquisa estar dando uma avaliao equivocada sobre a percepo do conjunto de usurios da agncia.

Seleo aleatria O processo de seleo aleatria evita o vis, pois ele se baseia em estabelecer uma chance igual de seleo dos indivduos da populao para a amostra. A chance igual de seleo para amostra torna mais provvel que a amostra selecionada represente corretamente a populao em estudo, j que o princpio de chance de seleo igual no favorece sistematicamente nenhum grupo no interior da populao. Na tabela a seguir, apresentamos um exemplo bastante simplificado da seleo amostral. Por enquanto, vamos nos ater amostra 1. Suponha uma listagem completa e correta (erros de listagem so muito comuns em pesquisas deste tipo) de 12 mil usurios regulares de um servio mdico, divididos em duas unidades de atendimento diferentes, pediatria e pneumologia. Para fazer o sorteio dos usurios deste servio mdico, podemos utilizar programas de computador ou mesmo uma tabela de nmeros aleatrios, comum em qualquer manual de estatstica. Importa observar que em um sorteio aleatrio, como o suposto neste exemplo, a probabilidade dos indivduos conhecida dada pela razo entre o tamanho da amostra e o tamanho da populao,
7

600/12.000 = 0,05 e igual para todos os indivduos da populao de usurios. necessrio esclarecer que os pacientes da pediatria e da pneumologia foram sorteados a partir de uma nica listagem, contendo os pacientes de ambos os atendimentos. A distino da tabela abaixo serve apenas para ilustrar a capacidade das amostras representarem uma caracterstica relevante da populao amostrada.
Usurios Pediatria Pneumologia Total 4000 (33,3%) 8000 (66,6%) 12.000 Amostra 1 190 (31,6%) 410 (68,3%) 600 Amostra 2 20 (20%) 80 (80%) 100

A amostra 1, com 600 indivduos, reproduz aproximadamente as mesmas propores da populao de usurios. Agora vamos observar a diferena entre as duas amostras: a amostra 1 reproduz melhor as propores da populao do que a amostra 2. Supondo que o processo de seleo amostral foi o mesmo nas duas amostras e a nica coisa que as distingue o tamanho, observa-se que a capacidade da amostra em representar a populao est diretamente relacionada ao tamanho: quanto maior a amostra, maior a sua representatividade. Para esclarecer este fato, vamos recorrer ao clebre exemplo das moedas. Todos sabem que, quando se lana uma moeda, a probabilidade de cada face cair virada para cima igual a 0,5 (meio). No entanto, imagine um experimento com quatro rodadas de dois lanamentos sucessivos de moedas, no qual os resultados das faces que caem viradas para cima em cada jogada so anotados. Ns fizemos esse experimento, e o resultado apresentado na tabela abaixo.
Rodada Primeira jogada Segunda jogada Proporo de cara 1 Coroa Coroa 0 2 Coroa Coroa 0 3 Cara Coroa 0,5 4 Cara Cara 1

Passeios aleatrios Como vemos, apesar de a probabilidade de cair cara ser de 0,5, comum cair duas caras ou duas coroas quando limitamos nosso experimento a duas jogadas. Estas repeties so os chamados passeios aleatrios, onde uma face da moeda (em termos mais gerais, um evento do espao probabilstico) pode se repetir por vrias vezes. Isto no incomum e ocorre por causa de outra caracterstica dos sorteios aleatrios: cada jogada (em termos gerais, cada extrao) independente das outras, anteriores e posteriores. Ou seja, o fato de ter cado cara em uma jogada no afeta em nada a probabilidade de cair cara na jogada seguinte. Mesmo que j tenha cado cara vrias vezes, a jogada seguinte independente das anteriores e nada impede que caia cara de novo. Voltando amostra 2, podemos comear a entender porque ela reproduz to mal as propores da populao. Nela, alguns passeios aleatrios, onde indivduos do setor de pneumologia foram sucessivamente selecionados, produziram propores muito diferentes das propores da populao. Note que como o grupo da pneumologia duas vezes maior do que o grupo da pediatria,
8

a probabilidade de haver passeios aleatrios na pneumologia tambm duas vezes maior do que na pediatria.

Lei dos grandes nmeros e tamanho da amostra De que modo podemos evitar os passeios aleatrios e conseguir que nossa amostra reproduza aproximadamente as caractersticas da populao? A teoria amostral baseia-se na chamada lei dos grandes nmeros, que em termos leigos estipula simplesmente que quanto maior o tamanho de uma amostra, mais suas caractersticas se aproximam das caractersticas de sua populao. No exemplo anterior, jogamos a moeda 20 vezes e apesar de alguns passeios aleatrios, onde caras ou coroas se sucediam, terminamos com 11 caras e 9 coroas, o que d uma proporo de cara de 0,55. Com a ajuda de um programa de computador, simulamos os lanamentos de moedas atravs de dez mil extraes binrias, resultando em 4.968 caras e 5.032 coroas, o que d uma proporo de cara de 0,497, arredondando chegamos a 0,5. Com o exemplo da moeda podemos entender que o tamanho da amostra 1 que a faz reproduzir melhor a populao que a amostra 2. Resta saber qual tamanho de amostra adequado para representar corretamente cada populao. No detalharemos aqui o clculo da amostra, j que no Software do IPPS ele ser feito automaticamente a partir das informaes do fluxo de usurios em cada organizao. O que fizemos at aqui foi explicitar qual a lgica envolvida no tamanho da amostra e porque os profissionais de pesquisa insistem tanto em amostras com um tamanho adequado para a populao em estudo. H dois parmetros que os pesquisadores utilizam para descrever a qualidade de uma amostra: o erro amostral e o intervalo de confiana.

Erro amostral Como mencionamos acima, uma amostra nunca conseguir reproduzir perfeitamente as caractersticas da sua populao. Ento, para cada amostra podemos questionar o quanto os resultados observados se aproximam dos resultados verdadeiros para a populao. Por exemplo, suponha que perguntemos a uma amostra de usurios se eles esto satisfeitos ou no com o servio oferecido e encontremos uma proporo de 65% de respostas positivas (qualquer medio feita na amostra chamada de estatstica amostral). A questo saber o quanto esta proporo se aproxima da verdadeira proporo de usurios satisfeitos no universo total de usurios do servio (qualquer medio feita na populao chamada de parmetro populacional). Essa estimativa dada pelo erro amostral. O erro amostral estabelece um intervalo em torno da estatstica amostral dentro do qual o parmetro da populao tem uma probabilidade especificada de se encontrar. Por exemplo, quando dizemos que a estatstica amostral de 65% de usurios satisfeitos tem um erro amostral de +/- 5 pontos percentuais, isto significa que o parmetro da populao est dentro do intervalo de 60% a 70%. Como vimos na discusso sobre aleatoriedade, a maior ou menor aproximao entre a estatstica amostral e o parmetro populacional depende do tamanho da amostra. Quanto maior a amostra maior a congruncia entre os dois. Caso se considere que o intervalo de 60% a 70% muito amplo e deixa muita dvida quanto ao grau de satisfao da populao, podem-se projetar amostras com erros amostrais menores. Isto necessariamente significar uma amostra maior e uma pesquisa com maiores custos. importante deixar claro, ento, que no planejamento de uma pesquisa sempre haver um dilema entre a preciso e o custo, quanto maior a preciso maior o custo de uma
9

pesquisa. Cada organizao dever escolher o tamanho de sua amostra tendo em vista o nvel de preciso necessrio aos seus interesses gerenciais e os recursos disponveis para a pesquisa.

Nvel de confiana O nvel de confiana a estimativa da probabilidade de que o parmetro populacional realmente esteja dentro do intervalo especificado pelo erro amostral. Por mais que se sigam todos os procedimentos de amostragem corretamente, ainda h uma chance de a amostra sorteada no refletir de modo adequado a populao em estudo. importante esclarecer o que significa exatamente dizer que uma amostra no reflete de forma adequada a populao em estudo. No estamos nos referindo diferena entre a estatstica amostral e o parmetro populacional. J deve estar claro que esta diferena esperada e sempre ocorrer. O erro amostral a estimativa desta diferena. Uma amostra no estar representando corretamente a sua populao quando a diferena entre a estatstica amostral e o parmetro populacional for superior ao intervalo determinado pelo erro amostral. Em nosso exemplo da satisfao dos usurios, a estatstica amostral 65% e o erro amostral de +/- 5 pontos percentuais estabelece um intervalo entre 60% e 70%, suponha que o parmetro populacional fosse de 72% de usurios satisfeitos. Neste caso, o intervalo estabelecido pelo erro amostral no abarca o verdadeiro parmetro populacional. Esta amostra considerada uma amostra no representativa, ela no reflete de modo adequado a sua populao. Isto ocorre porque toda a teoria amostral baseada em procedimentos probabilsticos. O pesquisador deve estar consciente de que sempre h a chance de uma amostra no representativa ser aleatoriamente sorteada. Sendo assim, fez-se necessrio estabelecer uma estimativa da chance de a amostra estar errada e o verdadeiro parmetro da populao no se encontrar dentro do intervalo de valores especificado pelo erro amostral. Em nosso exemplo, quando dizemos que a estatstica amostral de 65% de usurios satisfeitos tem um erro amostral de +/- 5 pontos percentuais e um intervalo de confiana de 95%, isto significa que em 95% das possveis amostras que poderamos extrair para o estudo, o parmetro da populao ir se encontrar dentro do intervalo de 60% a 70%, como especificado pelo erro amostral. Dizendo de outra forma, em cada 20 possveis amostras, 19 estimaro corretamente o parmetro da populao e 1 estar errada. Na prtica, podemos considerar que uma amostra qualquer, projetada com o intervalo de confiana de 95%, tem uma chance muito baixa de estimar incorretamente o parmetro da populao, apenas 5%.

Convenes estatsticas sobre o erro amostral e o intervalo de confiana Em amostragem convencionou-se usar o nvel de confiana de 95% como o mnimo aceitvel para uma boa amostra. Utiliza-se, tambm, o intervalo de confiana de 99%, que, no entanto, raro, pois eleva muito o tamanho da amostra. So comuns amostras com erro amostral entre 1 e 7 pontos percentuais, aceitando-se, Convencionalmente, amostra com erro de +/- 5 pontos como a mnima adequada para permitir inferncias. Amostras com erro menor s so adotadas quando a preciso de uma estimativa fundamental para a pesquisa. Como o caso das pesquisas de boca de urna, que pretendem no dia da eleio prever o resultado da apurao dos votos. Nestas pesquisas so comuns erros amostrais de 2 a 3 pontos percentuais. De outro lado, muitas vezes se observam amostras de 6 e 7 pontos percentuais, que so
10

usadas simplesmente devido ao seu menor custo. Contudo, devemos ressaltar que uma amostra menor do que o estatisticamente adequado dificilmente servir aos propsitos gerenciais de qualquer organizao, uma vez que sua anlise levar a concluses imprecisas demais para serem teis. importante lembrar que em uma amostra de +/- 7 pontos percentuais o grau de satisfao de nosso exemplo estaria em torno de 65%, +/- 7 pontos percentuais, ou seja, entre 58% e 72%. Estas duas porcentagens refletem graus de satisfao bastante distintos.

Relao entre erro amostral e tamanho da amostra Toda a discusso at aqui tem enfatizado que quanto maior a amostra, melhor ela representa a sua populao. Contudo, deve-se adicionar que a relao entre erro amostral e o tamanho da amostra no linear, ou seja, a melhora da representatividade da amostra no ocorre na mesma proporo do aumento do tamanho da amostra. Quanto maior a amostra menor a melhoria de representatividade de um aumento adicional. O grfico abaixo representa esta relao visualmente.

Como pode ser visto, para uma mesma populao, a melhoria de preciso entre as amostras de 50 e 100 casos de 4 pontos percentuais, entre as amostras de 100 e 200 casos de 3 pontos percentuais, e entre as amostras de 700 e 800 casos de 0,3 pontos percentuais. Ou seja, para amostras muito pequenas um aumento de tamanho (100 casos) produz uma reduo bastante acentuada do erro amostral e para amostras maiores o mesmo aumento de tamanho produz uma reduo do erro amostral bem menos significativa. Esta relao fundamental para se entender que na comparao entre organizaes o que importa no o tamanho da amostra, mas, se a amostra usada por cada organizao adequada para a sua populao. Ou seja, o que importa o erro amostral e o intervalo de confiana da amostra adotada. O Software do IPPS fornecer vrios tamanhos de amostra com o intervalo de confiana de 95% e erros amostrais entre 3 e 7 pontos percentuais. Caber a cada organizao pesar os recursos disponveis frente s suas necessidades de informao para decidir qual amostra adequada para o seu caso.

11

Tipos de Amostra
Nesta seo discutiremos os tipos mais comuns de amostra para nos deter na amostra sistemtica, o tipo de amostra que mais se adapta s finalidades do IPPS.

Amostra aleatria simples o tipo de amostra mais simples, baseia-se no sorteio dos indivduos a partir de uma lista completa de toda a populao. Apesar de ser a base da teoria estatstica, esta amostra raramente usada na prtica. Isso ocorre porque nem sempre possvel satisfazer as condies exigidas por este tipo de amostra, principalmente porque ela requer uma listagem completa dos indivduos do universo trabalhado. Os tipos de amostras que discutiremos a seguir podem ser considerados modificaes deste modelo bsico que melhoram seus diferentes aspectos.

Amostra estratificada A amostra estratificada foi desenvolvida como uma forma de aumentar a preciso do processo amostral, reduzindo o grau de heterogeneidade presente na amostra aleatria simples. O sorteio dos indivduos tambm feito a partir de uma listagem, contudo, usa-se uma caracterstica que seja importante para explicar o fenmeno em estudo para distinguir sub-populaes onde o sorteio realizado separadamente. Para ilustrar, vamos voltar ao nosso exemplo dos 12 mil usurios de um servio mdico divididos em duas especialidades. A especialidade pode ser considerada uma caracterstica importante para o estudo da satisfao do usurio neste servio, uma vez que remete a diferenas no tipo de tratamento, na natureza e gravidade das doenas, no perfil etrio e de gnero, e at mesmo de renda e estilo de vida dos usurios. Sendo assim, os usurios de cada especialidade tendem a ser mais semelhantes entre si, e a compartilharem opinies e percepes sobre o servio mdico oferecido. Para extrair uma amostra estratificada desta populao, deve-se, primeiro, separar a listagem de usurios de cada uma das especialidades e, em seguida, sortear dentro de cada listagem o nmero de usurios correspondente s propores de cada especialidade no total da populao. Note que em nosso exemplo das especialidades mdicas as propores da amostra 1 tm uma pequena diferena em relao s propores da populao, j que elas foram obtidas atravs de um sorteio com uma listagem contendo os usurios de ambas as especialidades. Na amostra estratificada, sorteia-se para cada especialidade o nmero exato de entrevistas que correspondem s propores da populao, neste caso 200 entrevistas para a pediatria e 400 para pneumologia, garantindo a igualdade com as propores da populao, 33,3% e 66,6%, respectivamente. Sendo verdade que a especialidade est relacionada com outras caractersticas do servio e com a satisfao dos usurios, a estratificao aumenta a chance de a amostra representar bem a populao de usurios, ao realizar o sorteio com uma lista de usurios mais homogneos. No se deve esquecer, contudo, que dentro de cada especialidade (em termos mais gerais, dentro de cada estrato) as mesmas questes envolvendo passeios aleatrios continuam existindo. Como o pesquisador nunca conseguir controlar todas as caractersticas relevantes para estratificar uma amostra, ele deve ter o cuidado de que cada uma das sub-amostras represente adequadamente as caractersticas de cada estrato da populao. Para tanto, dentro de cada estrato os mesmos procedimentos aleatrios utilizados na amostra aleatria simples continuam sendo apropriados.

12

Amostra de mltiplos estgios com conglomerados Uma das razes porque a amostra aleatria simples pouco usada que no existem listagens disponveis para grandes populaes. Sendo assim, adaptou-se a amostra aleatria simples pela introduo de mltiplos estgios de seleo, onde os estgios iniciais so os chamados conglomerados e o mesmo princpio de aleatoriedade se aplica a cada um deles. A idia de conglomerado se refere a uma unidade que aglomere pessoas. Ao se sortear aleatoriamente um conglomerado a lgica a mesma do sorteio aleatrio de indivduos. Por exemplo, para se amostrar os moradores do Brasil preciso primeiro tirar uma amostra dos municpios do pas. O municpio ser o primeiro estgio de amostragem. Dentro de cada municpio necessrio listar e sortear as diversas reas. No Brasil, o Instituto Brasileiro de Geografia e Estatstica e IBGE divide o territrio de cada municpio do pas nos seus chamados setores censitrios, a unidade geogrfica bsica usada para o arrolamento da populao nos censos. A partir da lista dos setores censitrios possvel obter uma representao geogrfica adequada de todo o municpio. Dentro de cada setor censitrio produz-se, ento, uma lista de todos os domiclios. A partir desta lista sorteiam-se os domiclios a serem visitados. Dentro do domiclio os moradores so listados e opera-se um ltimo sorteio para se determinar o indivduo que ser entrevistado. Esta uma amostra de quatro estgios: municpio, setor censitrio, domiclio e indivduo. Em cada estgio o sorteio dos elementos feito atravs de procedimentos aleatrios. importante enfatizar que a amostra de conglomerados no usa como primeiro estgio de amostragem apenas listagens de unidades geogrficas. Dependendo da pesquisa em questo, possvel usar como conglomerado qualquer unidade que concentre pessoas. Por exemplo, para se investigar os estudantes de um municpio o primeiro estgio de amostragem pode ser a escola e dentro da escola sorteia-se o estudante. Ou ainda, uma organizao de grande porte que possua centenas de agncias, pode usar a agncia como seu primeiro estgio de amostragem. Aps ser sorteada a agncia a ser pesquisada, sorteiam-se em cada agncia os usurios a serem entrevistados. Este um processo amostral bastante simples, com apenas dois estgios de amostragem, mas, que apresenta uma desvantagem para a pesquisa com o IPPS, uma vez que este foi concebido para permitir a produo de anlises que se concentram na unidade de atendimento. Quando se faz o sorteio de agncias, por definio no se tem informaes sobre as agncias que ficaram de fora da amostra. possvel estimar um indicador de satisfao do usurio para a organizao como um todo, ou para agregaes amplas como o estado ou a regio do pas, mas, no possvel prover a todas as agncias informaes que auxiliem a gesto em nvel local.

Amostra por quotas A amostra por quotas certamente a mais usada no Brasil, devido ao seu custo e prazo de execuo muito reduzidos, em comparao com os outros tipos de amostra. A amostra por quotas se baseia na idia de reproduzir na amostra as caractersticas da populao consideradas mais importantes para explicar um fenmeno. Estabelecem-se, ento, quotas de entrevistas para cada uma das combinaes destas caractersticas. Por exemplo, quais seriam as caractersticas dos usurios de um servio que estariam mais associadas ao seu grau de satisfao? Suponha que em nosso exemplo das duas especialidades mdicas ns tenhamos certeza de que as caractersticas dos usurios que esto mais associadas a seu grau de satisfao sejam a especialidade em que ele foi tratado, sexo e escolaridade. Poder-se-ia, ento, a partir do cadastro de usurios
13

calcular a proporo de pacientes em cada combinao destas trs caractersticas e com estas propores determinar o nmero de entrevistas de cada combinao. Este processo amostral semelhante amostra estratificada pela tentativa de controlar caractersticas relevantes da populao em estudo, no entanto, se distingue daquele tipo de amostra pelo fato de no se basear em uma listagem dos indivduos da populao. Na amostra por quotas entrevistam-se as pessoas que estejam passando por certo local at que se preencham as quotas determinadas na amostra. Ressalte-se que a amostra por quotas um processo amostral no-aleatrio. A amostra por quotas faz parte de outra classe de desenhos amostrais, as chamadas amostras intencionais. Na amostra por quotas o entrevistador intencionalmente busca certos perfis de indivduos. Como vimos, nada mais distante da aleatoriedade estatstica. O principal problema deste tipo de amostra que pode haver outra caracterstica da populao que esteja associada com o grau de satisfao dos usurios do servio mdico e que ns no tenhamos nos dado conta. Dentro de cada quota (ou seja, o grupo de pessoas que compartilha uma combinao de especialidade mdica, sexo e escolaridade) o procedimento de escolha do entrevistado no ser aleatrio, se for verdade que h outra caracterstica associada satisfao dos usurios, nada garante que esta outra caracterstica seja corretamente representada dentro de cada quota da amostra. Em contextos onde se conhece bem as caractersticas da populao associadas a um certo fenmeno ela tem sido usada com bastante xito. O exemplo mais clebre so as pesquisas eleitorais. As pesquisas eleitorais utilizam-se de quotas de sexo, idade, escolaridade e regio geogrfica, e com isso conseguem prever corretamente, na maioria das vezes, o resultado das eleies. Infelizmente, em poucos campos de pesquisa se conhece to bem as caractersticas relevantes da populao em estudo. As pesquisas eleitorais esto em um contexto privilegiado, onde h grande tradio de pesquisa por quota. Na maioria dos contextos de pesquisa, no entanto, impossvel determinar a qualidade das pesquisas por quotas.

Amostra sistemtica Pode-se falar em dois tipos de amostra sistemtica: a com listagem e a de fluxo.

Amostra Sistemtica com Listagem A amostra sistemtica baseada em listagem nada mais do que uma adaptao da amostra aleatria simples. O sorteio aleatrio dos indivduos em listagens muito extensas pode ser um processo bastante trabalhoso. Sendo assim, os pesquisadores preferem usar um procedimento sistemtico para o sorteio. A amostra sistemtica comea pela determinao do chamado intervalo de amostragem, que a distncia padro na listagem entre os indivduos selecionados. Por exemplo, se a lista de indivduos da populao tem 10 mil pessoas, e se deseja extrair uma amostra de mil pessoas, o intervalo amostral ser de 10 (10.000/1.000). Assim, se extrai cada dcimo indivduo da lista da populao para constar na amostra. Para garantir a estrita aleatoriedade o incio da extrao determinado por sorteio. Sorteia-se um nmero dentro do intervalo de amostragem, neste caso um nmero de 1 a 10, e a partir deste nmero se extraia cada dcimo indivduo da lista.

14

Amostra Sistemtica de Fluxo A amostra sistemtica de fluxo comumente usada para pesquisas em locais limitados, por exemplo, em uma pesquisa com os usurios do metr pode-se selecionar os entrevistados no fluxo de pessoas que circulam nas estaes; em uma pesquisa com os usurios de um servio mdico pode-se selecionar os entrevistados no fluxo de pessoas que saem do servio. Este mtodo de amostragem parte de um princpio semelhante ao da amostra sistemtica com listagem: a extrao de cada n-simo indivduo que passa por um local para ser entrevistado. A determinao do intervalo de amostragem feita a partir de informaes quanto ao fluxo total de pessoas que so atendidas em cada organizao em um ms. Assim, se uma organizao atende a 10 mil pessoas por ms e se deseja extrair uma amostra de mil pessoas, o intervalo de amostragem ser novamente de 10. Contudo, as mil entrevistas da amostra devem ser distribudas pelos diferentes perodos do dia (manh, tarde e noite, se for o caso), dias da semana e at mesmo semanas do ms proporcionalmente s estimativas do fluxo de pessoas nestes perodos. A razo para isso se encontra na idia de que diferenas na magnitude do fluxo de pessoas podem estar indicando diferenas no tipo de usurio que freqenta uma organizao em cada perodo. Um exemplo bastante bvio de uma situao como esta o servio bancrio. Sabe-se que em torno do quinto dia til de cada ms o volume de pessoas que usam os servios bancrios aumenta sensivelmente em relao ao resto do ms. Isto se deve ao grande nmero de pessoas que recebe o seu salrio at este dia e paga suas contas, faz investimentos e usa um conjunto de servios bancrios especficos. Assim, a diferena na magnitude do fluxo de pessoas indicativa de uma diferena em relao ao tipo de servio usado no perodo. Alm disso, o volume de pessoas atendido em cada momento encerra um significado fundamental para a pesquisa de satisfao. Nos momentos de maior volume de atendimento costumam acontecer mais falhas na prestao de servios, seja por cansao ou excesso de carga de trabalho para os funcionrios, seja por insuficincia de material de consumo ou equipamentos. Sendo assim, para um correto entendimento do processo de prestao de servios fundamental representar corretamente na amostra estes momentos de grande volume de atendimento. Deve-se chamar a ateno para o fato de que, devido s diferenas de fluxo nos diferentes perodos e ao fato de que o intervalo de amostragem fixo, o nmero de entrevistadores deve ser compatvel com o nmero de entrevistas a ser realizado em de cada perodo. Infelizmente, nem sempre so conhecidas as razes para haver diferenas no volume de pessoas que so atendidas em determinados horrios ou dias. Por isso, necessrio refletir na amostra as diferenas de fluxo de pessoas nos diversos momentos, como forma de tentar captar diferenas na composio da clientela.

O IPPS e a amostra sistemtica de fluxo O Software do IPPS auxiliar as instituies a determinarem tanto o tamanho da amostra quanto a distribuio das entrevistas. Para tanto, cada organizao dever fornecer uma estimativa do fluxo mensal de usurios e a sua distribuio conforme os perodos do dia, os dias da semana e as semanas do ms. Com estas informaes o Software do IPPS poder calcular o tamanho da amostra e distribu-la conforme estes momentos. importante chamar a ateno para quatro questes prticas da implementao da amostra sistemtica. Primeiro, o IPPS foi concebido para ser aplicado a pessoas que j tenham completado seu processo de prestao de servio. Pessoas que tenham sido atendidas parcialmente, mas que no
15

tenham terminado a prestao de servio no so entrevistadas. Por exemplo, pessoas que tenham marcado consulta para um servio mdico, foram atendidas parcialmente, mas no completaram o servio. Estas pessoas s sero entrevistadas aps a consulta, quando estaro avaliando no s a consulta, mas tambm seu processo de marcao. Isto merece destaque, j que a informao que deve ser usada para a amostra sistemtica de fluxo o total de pessoas que completaram o servio, sem levar em conta o total de pessoas atendidas parcialmente. O ideal contar com informaes desagregadas sobre a quantidade de pessoas que obtiveram os diferentes servios em um ms. Ento, em nosso exemplo do servio mdico, poder-se-ia totalizar para a estimativa de fluxo de pessoas o nmero de consultas, exames, internaes e outros servios completos, sem se preocupar com as outras fases do atendimento. Segundo, h uma tendncia a ser mais fcil encontrar pessoas que tenham completado o servio conforme o dia progride. Isto relativamente bvio e se deve simplesmente ao fato de que no incio do dia as pessoas esto chegando e leva algum tempo para aumentar o fluxo de pessoas que tenham obtido o servio. Alm disso, comum que em certos servios as pessoas no consigam completar o servio da primeira vez e retornem mais tarde com um documento ou alguma coisa que faltou. Este no um problema grave, e para lidar com ele preciso, apenas, que o coordenador do trabalho de campo fique atento necessidade de fazer algum ajuste no nmero de entrevistas de cada perodo do dia. Terceiro, depois de determinado o nmero de entrevistas a ser aplicado em certo perodo do dia e em um dia da semana preciso distribuir entrevistadores e entrevistas no espao fsico da unidade de atendimento. A principal razo para isto garantir que cada entrevistador tenha que lidar com um fluxo mais ou menos semelhante de pessoas e aplicar um nmero semelhante de entrevistas. necessrio distribuir os entrevistadores por todas as sadas do prdio, tendo cuidado apenas para levar em conta diferenas muito grandes de fluxo de pessoas entre as sadas ou se alguma sada do prdio est associada a um servio especfico. Quando um prdio tem diferenas muito grandes de fluxo entre as sadas podem-se alocar mais entrevistadores nas sadas de maior fluxo respeitando-se a proporcionalidade entre entrevistadores, como j apontado. Se alguma sada estiver associada a um servio especfico, deve-se ter o cuidado de colocar nesta sada um nmero de entrevistadores e entrevistas que corresponda proporo dos usurios deste servio no total do fluxo. Por exemplo, em muitos hospitais o Pronto Socorro conta com uma sada prpria, os usurios que circulam por esta sada costumam ser quase que exclusivamente os usurios do PS. Se o fluxo de usurios do PS corresponder a 25% do fluxo total de usurios do hospital, ento 25% das entrevistas devem ser feitas na sada do PS com usurios deste servio. Quarto, a amostra sistemtica um processo amostral de muito difcil superviso. Neste tipo de amostragem no se produz uma lista de indivduos a qual o entrevistador deve obedecer e que, depois, pode-se facilmente verificar a obedincia do entrevistador a esta lista. O sorteio feito no campo e o seu critrio, a ordem em que os usurios passam por um lugar, apresenta dificuldades em permitir a verificao posterior do seu correto cumprimento.

Critrios de seleo do entrevistado na amostra sistemtica H varias formas de se elaborar um critrio de seleo do entrevistado, o importante em qualquer critrio usado retirar do entrevistador a deciso sobre quem entrevistar. Quando o entrevistador detm a deciso sobre quem entrevistar ele pode usar algum critrio no-aleatrio para a seleo, introduzindo um vis na capacidade de a amostra representar a populao. Isso ocorre at mesmo quando o critrio usado pelo entrevistador bem intencionado e parece neutro ao tema da pesquisa,
16

como por exemplo, entrevistar pessoas que estejam mais dispostas a dar entrevista. Pessoas mais dispostas a dar entrevista podem ser as mais insatisfeitas e utilizam a entrevista para reclamar, ou, o contrrio, podem ser as pessoas satisfeitas e desejam expressar seu contentamento. Ou seja, um critrio de seleo aparentemente inofensivo est relacionado ao tema em estudo, neste caso satisfao do usurio, e, por isso, introduz um vis grave na pesquisa. Um critrio muito usado estabelecer um ponto imaginrio no cho que pode ser denotado por alguma marca ou desenho do assoalho e usar este ponto como critrio de sorteio: cada n-simo usurio que passar por aquele ponto ser o sorteado para a entrevista. Pode-se usar tambm como alternativa, uma porta como referncia para contagem. Quando mais de um usurio passar pela porta ou pelo ponto ao mesmo tempo pode-se determinar um critrio para contagem, por exemplo, que ela seja feita da esquerda para a direita (ou da direita para esquerda, tanto faz). Depois de todo o processo de seleo, o que fazer se o entrevistado se negar terminantemente a responder a pesquisa? Novamente, o critrio adotado tem pouco impacto, o importante que todos os entrevistadores adotem sempre o mesmo critrio. Se o fluxo de usurios for relativamente grande, podem-se contar os usurios novamente de acordo com o intervalo de amostragem. Se o fluxo for pequeno pode-se selecionar o usurio seguinte a sair depois da recusa.

Forma alternativa de implementao da amostra Uma forma alternativa de se operacionalizar o conceito de intervalo amostral pela determinao de um intervalo de tempo. Divide-se o tempo do turno pelo nmero de entrevistas a serem feitas neste turno. Vamos supor que em um ponto qualquer se v fazer 20 entrevistas em um turno de quatro horas (240 minutos / 20 entrevistas = 12 minutos). O intervalo amostral ser de uma entrevista a cada 12 minutos. claro, que se a entrevista levar mais do que 12 minutos deve-se colocar mais de um entrevistador naquele ponto. Muitos consideram esta forma de seleo mais fcil, porque prescinde da contagem dos passantes. O critrio de seleo simplesmente entrevistar a primeira pessoa que passar por certo ponto depois que terminar o intervalo de 12 minutos. Em qualquer destas situaes, no entanto, a correta execuo do sorteio depende em muito do entrevistador. Por isso, necessrio muito cuidado no treinamento dos entrevistadores no que se refere aos procedimentos de sorteio, fundamental que eles compreendam a razo para um processo to detalhado de escolha dos entrevistados. Deve-se estabelecer um roteiro detalhado de passos para a escolha do entrevistado, cada situao deve ser prevista, e nunca deixar a cargo do entrevistador a escolha entre dois usurios que estejam na mesma situao.

Elementos Prticos da Pesquisa de Satisfao Com O IPPS

Tipos de entrevistas utilizadas no IPPS

O IPPS pode ser aplicado em dois tipos de entrevistas: presencial e telefnica. A entrevista presencial a entrevista com entrevistador no local de atendimento ou no domiclio. a que produz uma qualidade melhor das informaes coletadas. Um entrevistador bem treinado, seguindo procedimentos padronizados colher melhores informaes do que qualquer outro tipo de
17

entrevista. Este o tipo de entrevista para o qual o IPPS foi elaborado. A entrevista telefnica realizada tambm por entrevistador e tem uma dinmica semelhante da entrevista presencial, garantindo uma qualidade de informao elevada. Tem como desvantagem um menor nvel de ateno da parte do entrevistado. O contato direto de uma entrevista presencial garante uma maior reteno da ateno do entrevistado. Do ponto de vista do questionrio, a menor ateno dos entrevistados tem como conseqncia que as perguntas no podem ser muito complexas, de modo a no causar confuso ao telefone, e o questionrio deve ser menor do que o de uma entrevista presencial.

Coleta de dados
Nesta seo discutiremos uma etapa importante da implementao da pesquisa de avaliao e que, muitas vezes, recebe pouca ateno: a coleta de dados, ou o assim chamado trabalho de campo. A coleta de dados uma etapa que requer muita ateno no processo de pesquisa, seja em pesquisa de satisfao seja em qualquer tipo de pesquisa de avaliao. importante ter em mente que ela depende criticamente da colaborao de pessoas que podem estar ou no comprometidas com os objetivos da pesquisa. Em pesquisas de avaliao mal conduzidas ou mal explicadas algumas pessoas podem se sentir ameaadas por ela. As demais etapas da pesquisa de satisfao so internas equipe de pesquisa e, por isso, esto sob maior controle do pesquisador, particularmente para as instituies que utilizarem o software do IPPS em suas pesquisas de satisfao, j que, no software, estas etapas internas foram automatizadas e desenhadas para evitar as fontes de erro mais comuns.

Aspectos subjetivos da coleta de dados

Percepes de Funcionrios e Usurios em relao Pesquisa de Satisfao Pode distinguir dois grupos de pessoas com interesses conflitantes com os objetivos da pesquisa nesta fase: funcionrios e usurios do servio. Os funcionrios do servio podem se sentir francamente ameaados pela pesquisa de satisfao em curso, uma vez que, em maior ou menor grau o que se est avaliando o seu trabalho. O temor dos funcionrios pode levar a uma atitude intencional, ou no, de tentar influenciar usurios no sentido de melhorar o resultado da pesquisa. Os usurios do servio sero normalmente mais neutros em relao pesquisa, no entanto, eles podem sentir que a sua continuao no servio ou algum outro benefcio percebido por eles depende, em alguma medida, do seu desempenho na pesquisa ou de sua concordncia com as caractersticas e objetivos do servio. Ambas as atitudes, embora no sejam mal intencionadas, podem prejudicar a pesquisa em curso ao prover informaes que no refletem a natureza correta da prestao do servio ou o grau de satisfao com o servio, frustrando os objetivos gerenciais da organizao. Sendo assim, importante levar explicitamente em considerao no processo de pesquisa as expectativas dos usurios, funcionrios e outros interessados, implementando procedimentos que minimizem a sensao de ameaa que qualquer pesquisa de avaliao pode acarretar. Isto importante para evitar conflitos ou distores dos resultados. Nenhuma pesquisa pode ser bem sucedida sem a colaborao das pessoas envolvidas.

18

Lidando com percepes negativas Devem-se tomar cuidados para que possveis atitudes negativas, de funcionrios e usurios, no prejudiquem a pesquisa de satisfao. Um primeiro cuidado o de que a pesquisa no interfira com o funcionamento normal dos servios. O processo de coleta de informao deve estar atento rotina do servio, de modo que, nem funcionrios nem usurios se sintam atrapalhados ou prejudicados pela sua dinmica. O uso intensivo da comunicao uma medida que ajuda muito a reduzir a sensao de ameaa de um processo de avaliao. Dito diretamente: explicar o tempo todo para todo mundo o que se quer fazer com a pesquisa. Conhecer e concordar com o que se pretende fazer o melhor estmulo para a colaborao. Alm dos objetivos da pesquisa dois outros tpicos devem ser objeto de constante ateno por parte da equipe de pesquisa de satisfao em sua estratgia de comunicao com o usurio. Primeiro, explicar a importncia da participao de cada um, a importncia das informaes prestadas para a melhoria do servio que ele usa e muitas vezes dependem. E segundo, garantir o carter confidencial das informaes prestadas. necessrio explicar que as informaes no sero usadas individualmente, mas apenas em seu conjunto, com vistas a estabelecer tipos e padres gerais. A tica da pesquisa social, no qual a pesquisa de satisfao est includa, determina que s se faa uso de informaes especficas sobre um respondente identificado com sua autorizao explcita e formal. A observncia desta norma garantir a credibilidade para futuras pesquisas de satisfao ou outra forma de avaliao. A implementao de uma pesquisa de satisfao qualquer deve ser iniciada com uma ampla reunio com os funcionrios do servio para explicar o processo que vai ser implementado e lidar explicitamente com a possvel percepo de ameaa que alguns podem estar sentindo. importante enfatizar que modernamente a pesquisa de avaliao uma ferramenta importante para a melhoria do servio, que intenciona encontrar problemas para san-los. Durante a pesquisa, a equipe de pesquisa deve estar disposta a ouvir reclamaes e prestar esclarecimentos a funcionrios, usurios e interessados em geral. Em pesquisas de maior porte necessrio que haja uma estrutura montada para esta atividade, contando inclusive com a disponibilidade de um nmero de telefone. O material impresso produzido para a pesquisa como questionrios, formulrios, folhetos, cartazes, etc., deve conter as informaes mais gerais sobre a pesquisa, explicar a importncia da participao de cada um, bem como garantir o carter confidencial das informaes. Instituies de maior porte tm nestes meios o seu principal veculo de comunicao, inclusive com seus prprios funcionrios, j que reunies em instituies deste porte tm efetividade mais baixa. Uma ltima medida para garantir a colaborao pode ser a programao, desde os primeiros contatos com os funcionrios do servio, de uma reunio ao final da pesquisa para apresentar e debater os resultados obtidos. A idia de que, ao fim do processo, os resultados daro um retorno para a unidade de atendimento, concretiza a idia de que o processo de pesquisa um processo de aprendizado. Se for muito difcil realizar uma reunio desta natureza, deve-se oferecer desde o incio a perspectiva de que todos os que se interessarem tero acesso ao relatrio final da pesquisa, ou a uma verso simplificada dele.

19

Aspectos tcnicos da coleta de dados Estabelecidos os problemas subjetivos da etapa de coleta de informao necessrio discutir agora questes relativas s dificuldades de carter tcnico.

Abordagem dos entrevistadores difcil convencer as pessoas a dar entrevista, por isso, fundamental que a equipe seja bem treinada no que se refere abordagem. No h nenhum segredo, o sucesso na abordagem se deve simplesmente simpatia e insistncia, sendo assim, pessoas muito tmidas podem ter dificuldade com a abordagem. Trajar roupas mais formais d uma aparncia de seriedade e importncia que pode facilitar a colaborao dos usurios. O entrevistador deve insistir, com educao, para que o entrevistado participe da pesquisa. Se o entrevistado alegar que est com pressa, est atrasado ou algo do gnero, insista. Todos os entrevistados diro isto. Os entrevistadores devem sempre se lembrar que d mais trabalho abordar um novo entrevistado do que insistir com o entrevistado que est negando. H pelo menos trs coisas que o entrevistador deve sempre dizer antes de desistir de um usurio: 1, informar o objetivo da pesquisa; 2, ressaltar a importncia da opinio do usurio para a melhoria do servio (dizer que na unidade de atendimento a pesquisa de satisfao contribui para a melhoria dos servios) e remeter a valores de cidadania, Estado democrtico, incluso social, etc. 3, dizer que tempo despendido na entrevista vale a pena para melhorar o servio que ele prprio utiliza. importante informar o tempo real da entrevista, um entrevistado pode desistir de dar a entrevista no meio se considerar que ela est demorando mais do que o prometido. Se o tempo de entrevista for realmente pequeno, algo em torno de 10 minutos, deve-se informar este tempo, at como elemento de convencimento. Se o tempo de entrevista for maior, deve-se informar o tempo de entrevista apenas se o usurio solicitar. Abaixo temos um pequeno roteiro de abordagem que deve ser seguido principalmente por entrevistadores pouco experientes: Bom dia/boa tarde, meu nome (nome do entrevistador), e estou fazendo uma pesquisa para a (unidade). A (unidade) est realizando uma pesquisa sobre a opinio das pessoas que utilizam os seus servios. O objetivo avaliar a satisfao dos usurios da (unidade) e, assim, poder melhorar cada vez mais o nosso atendimento (ou o nosso servio). Esta pesquisa faz parte de um projeto mais amplo para melhorar a gesto do setor pblico em benefcio dos cidados. As informaes dadas sero utilizadas apenas para a anlise da pesquisa e as pessoas que responderem a este questionrio no sero identificadas. A entrevista deve durar cerca de XX minutos e eu gostaria de saber se o(a) Sr.(a) poderia me dar um pouco de sua ateno.

Treinamento de entrevistadores Durante o treinamento da equipe que ir a campo, necessrio ler o questionrio completo para os entrevistadores, tendo ateno s instrues para o entrevistador contidas no questionrio, como os pulos de questes, entonao da leitura, etc. Deve-se tirar todas as dvidas dos entrevistadores tanto no que se refere ao significado das perguntas quanto ao que se refere aos procedimentos de preenchimento a serem adotados em cada situao. O elemento principal para que os entrevistadores apliquem o questionrio de maneira igual que todos eles entendam o questionrio de maneira igual. Outra preocupao do treinamento a de evitar a solicitude de um entrevistador em ajudar os
20

entrevistados a responder o questionrio. Esse tipo de comportamento pode levar um entrevistador a induzir, mesmo que no intencionalmente, as respostas de seu entrevistado. Isto pode ocorrer porque um entrevistador queira, com boa vontade, auxiliar um entrevistado que parece em dvida ou porque o entrevistador considere genuinamente que a melhor resposta para aquele usurio uma certa opo e no outra. Ambas as atitudes so bem intencionadas, mas comprometem imensamente a qualidade da pesquisa. Devem ser evitadas com um treinamento que enfatize a aplicao correta e uniforme do IPPS e pela nfase em uma postura neutra da parte do entrevistador. Ele no deve dar dicas para o entrevistado, opinar ou discutir as opinies dos seus respondentes. Para ficar bastante claro: quando um entrevistado demonstra dvida ou m compreenso o entrevistador deve simplesmente repetir a pergunta integralmente, se mesmo assim o entrevistado continuar demonstrando dvida e no conseguir responder, o entrevistador deve marcar o cdigo correspondente a No sabe/No respondeu. Nesta situao, melhor no ter a informao do que ter uma informao ruim, por ser induzida. Um grande problema da etapa de coleta de dados garantir que cada um dos entrevistadores esteja coletando as informaes da mesma maneira. Na medida do possvel devem-se padronizar os procedimentos da pesquisa, desde a seleo do entrevistado at a forma de abordar o usurio e a forma de fazer as perguntas. Se as perguntas estiverem sendo feitas de maneira distinta pelos diversos entrevistadores possvel que as variaes encontradas sejam em parte devido a diferenas na maneira de se aplicar a entrevista e no a diferenas reais de percepo sobre o servio em anlise. O melhor processo de treinamento a prtica. Em sesses dirigidas cada entrevistador deve executar algumas vezes a entrevista com a verso do IPPS definida pela organizao. Dividir os entrevistadores em duplas e fazer um entrevistar o outro uma tima maneira de faz-los perceber claramente os dois lados da entrevista: entrevistador e entrevistado. Alm disso, ir a campo durante o treinamento e praticar uma ou duas vezes a seleo do entrevistado, a abordagem e a prpria entrevista uma tima maneira de quebrar o gelo, e ainda, observar se os entrevistadores esto aplicando corretamente todos os procedimentos. Equipes de veteranos em uma pesquisa podem esquecer o seu treinamento ou se tornarem descuidados por uma atitude de j sou experiente, eu sei o que estou fazendo. Por isso, aconselhvel haver sesses de treinamento peridicas em processos de pesquisa mais longos, que durem um ano ou mais. Para pesquisas curtas, mas que se repitam periodicamente, como o caso do IPPS, recomendvel que se faa um novo treinamento a cada rodada.

Entendendo a fraude Durante todos os treinamentos deve tambm ser discutida claramente a poltica de superviso e de punio em caso de fraudes. At aqui falamos de erros bem intencionados, mas infelizmente em pesquisa tambm lidamos com erros mal intencionados. Os motivos so os mais variados e incluem cansao e descontentamento com as condies de trabalho, em especial pagamento. Por isso, necessrio planejar uma carga de trabalho que no seja excessiva e pagar um preo que os entrevistadores considerem justo pelo trabalho. O que especificamente uma carga de trabalho e pagamentos justos muito difcil de determinar. Varia conforme a regio do pas, o nvel de experincia dos entrevistadores, as dificuldades do trabalho de campo e a dificuldade do questionrio. Apenas com a experincia em pesquisa a tarefa de determinar a carga de trabalho e pagamento justos se torna menos espinhosa, coordenadores de pesquisa com pouca experincia devem estar preparados para renegociar os termos do trabalho durante a pesquisa. Adiante,
21

retornaremos ao assunto. Podemos, contudo, fornecer alguns elementos para ajudar na determinao da carga de trabalho e pagamento. importante tentar projetar quantos questionrios cada entrevistador ser capaz de fazer por dia, em mdia, e, ento, tentar imaginar quanto um trabalhador com o perfil dos trabalhadores que voc est usando como entrevistador costuma ganhar. H duas opes: pagar um valor fixo por dia ou turno de trabalho, fixando como condio uma cota de questionrios por dia; ou dividir o valor da diria pela cota de questionrios por dia e pagar um valor por questionrio, deixando o nmero de questionrios variar um pouco entre os entrevistadores. Normalmente o pagamento por questionrio melhor, simplesmente porque evita desentendimentos entre os entrevistadores devido a diferenas no ritmo de trabalho entre eles. Em muitas instituies pblicas os entrevistadores so recrutados entre os prprios funcionrios e estagirios. Isto pode criar algum descontentamento na equipe de entrevistadores, uma vez que eles no foram contratados para esta funo e o trabalho de entrevista muito cansativo, provavelmente mais cansativo do que o seu trabalho cotidiano. importante que entrevistadores recrutados no prprio servio percebam alguma recompensa extra por este trabalho que tambm extraordinrio. A melhor recompensa sempre um complemento de pagamento por esta atividade extra. Se isto no for possvel, pode-se tentar recompens-los com prestgio ou reconhecimento, ou mesmo tentar sensibiliz-los para as idias de qualidade, de servio pblico, de cidadania, de Estado democrtico, de foco no usurio, etc. De qualquer modo, o importante que esta fonte de descontentamento seja direta e explicitamente combatida.

As Fraudes mais comuns Apesar de toda esta nfase nas condies de trabalho importante destacar que boas condies de trabalho reduzem, mas, em geral, no eliminam os erros mal intencionados. Por isso, necessrio haver uma constante superviso da execuo do trabalho de campo. As fraudes mais comuns esto relacionadas aos procedimentos de seleo e ao preenchimento do questionrio. No que se refere aos procedimentos de seleo, os entrevistadores podem desejar entrevistar uma pessoa que est disponvel ou que parece mais simptica, para facilitar o seu trabalho, ao invs de aplicar corretamente os procedimentos de seleo do entrevistado. Dependendo do tipo de amostra e da organizao do trabalho de campo estes procedimentos podem ser bastante trabalhosos e reduzirem sensivelmente a produtividade mdia dos entrevistadores. No que se refere ao questionrio, os entrevistadores podem desejar evitar uma bateria de perguntas que seja muito trabalhosa. Neste caso, ele pode deixar a bateria em branco, como se ela no se aplicasse ao entrevistado, ou pode preencher ele mesmo.

Tambm h casos de entrevistadores que preenchem sozinhos um questionrio por completo e entregam coordenao, mas, estes casos so raros quando se tem um sistema de superviso bem estruturado. Seja na seleo do entrevistado seja na aplicao dos questionrios, o principal incentivo para um entrevistador burlar os procedimentos padronizados da pesquisa aumentar o nmero de questionrios respondidos para, com isso, aumentar seu pagamento. Obviamente, este incentivo aumentar muito se os entrevistadores tiverem a percepo de que o pagamento insuficiente ou a carga de trabalho excessiva.

22

Superviso A superviso garantir o trabalho correto da equipe de pesquisa. Um modo muito comum e bastante efetivo de superviso contatar aps a entrevista uma porcentagem dos respondentes de cada entrevistador escolhidos aleatoriamente para conferir se o trabalho foi bem feito. bastante comum os institutos de pesquisa pedirem um telefone de contato (casa ou trabalho) ao fim da entrevista, avisando que este telefone ser usado apenas para a superviso. No final do IPPS h um pedido deste tipo. Alm disso, tambm bastante comum haver no local da entrevista um supervisor para cada equipe de entrevistadores. Este supervisor tem as funes de observar se os entrevistadores esto aplicando o questionrio corretamente, se esto seguindo os procedimentos de seleo do entrevistado corretamente, tirar dvidas dos entrevistadores e levar qualquer problema que surja ao coordenador da pesquisa.

Equipe de Entrevistadores A composio da equipe de pesquisa uma considerao extremamente importante, mas, freqentemente negligenciada nos projetos da pesquisa. Considera-se que qualquer pessoa disponvel pode aplicar o questionrio e que o trabalho realmente importante feito pelo pesquisador na elaborao do instrumento de pesquisa, na anlise dos resultados e na feitura do relatrio. Isto no verdade se o trabalho de campo for mal feito as anlises posteriores so inteis, neste sentido, uma equipe de entrevistadores mal treinada ou pouco motivada pode ser extremamente prejudicial para os objetivos da pesquisa. Apesar disso, importante esclarecer que no h um perfil especfico de entrevistador, s necessrio que o entrevistador seja uma pessoa educada e muito desembaraada, afinal, no trivial abordar um desconhecido e pedir 20 minutos do seu tempo para dar uma entrevista. Certas categorias de pessoas podem provocar um vis na coleta de dados da pesquisa. Um exemplo disto ocorre quando se usa para a pesquisa funcionrios do servio. Mesmo sem inteno, os funcionrios podem constranger os entrevistados. Como vimos, alguns entrevistados podem acreditar que devem se comportar bem na pesquisa para continuar recebendo o servio. Projetos de pesquisa que utilizem o trabalho de funcionrios do servio devem tentar eliminar este constrangimento. Vestir os entrevistadores com uma camisa que faa referncia pesquisa de satisfao ou ao programa de qualidade pode ajudar a desassociar os entrevistadores dos funcionrios na percepo do entrevistado.

Anlise de Dados Para o IPPS

O maior determinante do tipo e da complexidade da anlise dos dados coletados ser a habilidade do analista. Um mesmo conjunto de dados, um mesmo instrumento de coleta de dados pode se prestar a anlises extremamente complexas ou sumamente simples. Isto no trivial, porque anlises mais complexas significam maior quantidade de informao, mais informao significa mais subsdios para a deciso gerencial sobre como melhorar o servio e sobre que aspectos so mais prioritrios para a melhoria. Sendo assim, um mesmo processo de coleta de informao pode produzir um resultado melhor ou pior em termos de informao e subsdio s decises, dependendo do quanto de anlise for aplicado.
23

Como vimos, o Software do IPPS conta com um dispositivo para contornar, pelo menos em parte, a falta de um bom analista em organizaes com menos recursos, os relatrios automatizados. Estes relatrios permitiro uma viso bastante detalhada do nvel de satisfao de uma organizao, comparando diferentes servios e diferentes aspectos de cada servio. Apesar disto, esta parte do manual, pretende fornecer orientaes s organizaes para uma anlise mais especfica dos resultados do IPPS, tendo em vista que nenhuma anlise automatizada poder abarcar os diferentes interesses gerencias de cada organizao. As explicaes sobre os relatrios automatizados encontram-se no prprio Software do IPPS. No processo de pesquisa procura-se saber como as informaes recolhidas se distribuem entre as unidades de anlise, como por exemplo, o nmero total de homens e mulheres envolvidos no servio, o padro da distribuio das notas das crianas de uma determinada escola, etc. Para realizar uma apresentao dessas informaes de forma relativamente simples e til apresentaremos alguns procedimentos muito utilizados em pesquisas estatsticas. O objetivo dessa seo apenas apresentar a definio de alguns conceitos e como eles podem ser calculados. No objetivo dessa seo discutir todos os procedimentos estatsticos, mas apenas aqueles que por sua simplicidade de clculo esto presentes no software do IPPS e podem facilmente ser usados pelos coordenadores da pesquisa com o IPPS. Para que se tenha uma anlise estatstica mais sofisticada necessrio contar com o trabalho de um profissional especializado. Sugerimos que pessoas com pouca experincia em anlise no tentem utilizar tcnicas estatsticas mais sofisticadas. Uma anlise errada pode ser mais danosa do que a falta de informao, uma vez que pode levar a investimentos mal direcionados e relegar as verdadeiras prioridades de uma organizao. Por ltimo, importante chamar a ateno de que o software do IPPS permitir a exportao das informaes coletadas na pesquisa em formato texto, de modo a ser lido em programas mais sofisticados. Sendo assim, organizaes que contem com profissionais treinados em pesquisa ou estatstica podero utilizando o IPPS realizar as anlises que desejarem.

O processo de anlise
O processo de anlise inicia-se com uma descrio preliminar dos dados, para entender os traos mais gerais do servio em estudo e conduzir as anlises baseadas nos interesses mais gerais da organizao. Com base nos primeiros achados ser possvel empreender testes mais sofisticados em uma segunda etapa com o objetivo de buscar informaes menos bvias. O que importante ter em mente que a anlise um processo iterativo. possvel que as nossas expectativas originais quanto aos resultados da pesquisa no se confirmem, pelo menos no inteiramente. O que normal, afinal, porque fazer pesquisa se soubssemos seus resultados? Resultados tidos como certos no se sustentaro e resultados insuspeitos se revelaro relevantes. Sendo assim, somente no prprio processo de anlise ser possvel determinar que caminho tomar. As primeiras anlises levaro a concluses que necessitaro de novas anlises. Sendo assim, surge a pergunta: quando parar a anlise? Exatamente esta caracterstica iterativa do processo de anlise pode torn-lo um processo sem fim com um custo injustificado pelos resultados obtidos. Devem-se equilibrar os resultados esperados com anlises adicionais com o custo de se prolongar excessivamente o processo de anlise. Assim, cada anlise a ser empreendida deve ter um objetivo claro ligado aos objetivos gerenciais da organizao. Se este cuidado for observado, o desperdcio de tempo e trabalho ser evitado e apenas anlises teis para responder s necessidades da organizao sero empreendidas. Em ltima
24

instncia o processo de anlise deve parar, mesmo que inacabado, se o prazo de entrega estiver prximo do fim. fundamental que o relatrio seja entregue a tempo para que suas informaes sejam teis. A tarefa final do processo de anlise reunir todos os resultados e descobertas em um corpo coerente de descries e explicaes a respeito do servio em estudo. Esta uma fase em que contradies entre diferentes anlises tentaro ser solucionadas, resultados estranhos tentaro ser elucidados e um primeiro rascunho do relatrio poder ser esboado. Agora vamos tratar de alguns elementos bsicos para se fazer uma anlise descritiva simples dos dados. Antes preciso chamar a ateno para algumas questes e conceitos envolvidos na anlise descritiva.

Anlise descritiva
Unidade de anlise e variveis As informaes obtidas no IPPS, como a idade do entrevistado, sua escolaridade, suas opinies e avaliaes sobre o servio, a freqncia com que usa o servio, etc. so chamadas de variveis. J o tipo de objeto ao qual a varivel faz referncia denominado de unidade de anlise. No caso do IPPS, que investiga os usurios dos servios pblicos as unidades de anlise so pessoas (os usurios deste servio). fcil perceber que as variveis podem se expressas de forma numrica ou no. Por exemplo, a varivel "idade" do entrevistado um valor numrico. Esse valor, por sua vez pode ser classificado em diferentes categorias como crianas, adolescentes, adultos e idosos. A varivel estada civil no se expressa em um valor numrico. O entrevistado pode ser solteiro, casado, vivo ou divorciado. Os diferentes tipos de variveis so classificados como: variveis nominais ou categricas, variveis ordinais e variveis intervalares.

Variveis nominais ou categricas Variveis nominais ou categricas so aquelas referentes a uma propriedade da unidade de anlise que se agrupa em diferentes categorias. Por exemplo, o sexo de uma pessoa, o seu estado civil, o tipo de escola em que estuda, a sua religio, etc. Ou seja, as variveis nominais expressam diferenas de qualidade entre os indivduos. Atravs das variveis nominais possvel classificar os indivduos: so do sexo masculino ou feminino, so casados, solteiros, divorciados ou vivos, so estudantes de escola particular ou escola pblica, so catlicos, protestantes ou no religiosos, etc.

Variveis ordinais Atravs deste tipo de varivel pode-se no apenas distribuir a unidade de anlise em diferentes categorias, mas orden-las segundo algum critrio (maior, menor, mais difcil, menos difcil, alto, baixo, timo, bom, regular, ruim, pssimo, etc.). muito comum a utilizao de variveis ordinais em anlises de avaliao de satisfao com produtos e servios. Por exemplo, pode-se pedir em uma entrevista para que as pessoas classifiquem o atendimento recebido pelos funcionrios de uma organizao como timo, bom regular, ruim ou pssimo; ou para avaliar se ela est muito satisfeita ou pouco satisfeita com o servio realizado em um posto de sade, etc.
25

No entanto, as variveis ordinais no estabelecem a magnitude (distncia) das diferenas entre as categorias da ordem. Qual a distncia entre timo e bom? a mesma entre ruim e pssimo? Por isso, estrito senso no se pode realizar operaes aritmticas com os seus valores. Isso s poderia ser feito com variveis intervalares ou numricas.

Variveis intervalares As variveis intervalares incluem, alm das propriedades das variveis nominais e ordinais, uma distncia conhecida e igual entre cada ponto da escala, como anos de escolaridade, anos de idade, centmetros de altura, quilos de peso, nota atribuda em uma avaliao etc. Assim, por exemplo, uma avaliao sobre o atendimento dos funcionrios de uma organizao que utilize a atribuio de notas entre 0 e 10 origina uma varivel intervalar, ao passo que a classificao do atendimento como bom ou ruim, consiste em uma varivel ordinal. Apenas para exemplificar, a distncia entre 8 e 9 1, que igual distncia entre 1 e 2, tambm 1, mas no podemos dizer que a distncia entre timo e bom a mesma que a distncia entre ruim e pssimo. Existem duas razes para levarmos em conta o tipo de varivel. Primeiro, o tipo de varivel define a sua sensibilidade variao das opinies e avaliaes dos indivduos. Por suas caractersticas de medio as variveis intervalares captam com mais preciso a variao da opinio entre as pessoas do que as ordinais. As variveis ordinais so mais precisas do que as nominais. Por isso, deu-se nfase no IPPS para o uso de variveis intervalares sempre que possvel. E na anlise deve-se dar maior ateno a este tipo de varivel, em segundo lugar s ordinais e por ltimo s categricas. Segundo, a forma de analisar cada varivel diferente. As variveis nominais e ordinais so adequadamente analisadas por freqncias e cruzamentos enquanto que as variveis intervalares so melhor analisadas por correlao, regresso e tcnicas mais sofisticadas no presentes no software do IPPS dado sua complexidade analtica. Sendo assim, para permitir o uso de freqncias e cruzamentos na anlise destas variveis, o software automaticamente agrega as variveis intervalares tornando-as ordinais, para tanto ele separa os usurios em trs grupos: alto, mdio e baixo para cada indicador. Os relatrios automatizados analisam as variveis intervalares a partir das mdias, permitindo uma anlise mais apurada deste tipo de varivel, apesar de inespecfica.

Indicadores e ndices comum observarmos na literatura sobre avaliao em geral a utilizao dos termos indicadores e ndices. Podemos definir de forma simples um indicador como uma medio simples de um conceito. O nvel de renda familiar e o nvel de escolaridade dos pais so utilizados, normalmente, como indicadores da condio scio-econmica de uma pessoa. Se combinarmos os valore desses indicadores teremos um ndice da sua condio scio-econmica. Da mesma forma, a nota de um aluno e sua freqncia nas aulas podem ser tomadas como indicadores de seu esforo escolar. Se ambos os indicadores forem combinados, podem dar origem a um ndice de esforo escolar. Desta forma, um ndice pode ser definido como uma combinao de indicadores. A construo adequada de ndices requer um pouco mais de conhecimento tcnico. H vrios tipos de clculos e tcnicas que podem ser usados na combinao de indicadores. Assim, recomendvel que sua construo seja realizada por pesquisadores mais experientes. Uma forma de contornar essa dificuldade utilizar indicadores e ndices j estabelecidos por outros estudiosos. Ou seja,
26

indicadores e ndices que j passaram por testes empricos e so comumente utilizados na literatura de seu tema de pesquisa. O Software do IPPS conta com dois indicadores nos relatrios automatizados que pretendem medir o grau de prioridade de melhoria de diferentes servios e aspectos do servio. O Gap/i, que combina as medies presentes no mdulo geral: a expectativa em relao ao servio, a avaliao propriamente dita do servio e o valor/importncia de cada aspecto do servio. E o Avaliao/W que combina as medies presentes nas baterias de avaliao: a avaliao do servio e o valor/importncia de cada aspecto do servio. O componente de Ajuda do Software do IPPS contm maiores detalhes sobre a construo, uso e leitura destes indicadores.

Freqncia Para obter uma organizao resumida dos dados coletados pode-se realizar uma distribuio de freqncias dos mesmos. Essa distribuio consiste simplesmente em determinar o nmero de casos de cada categoria de uma determinada varivel. Os valores obtidos so chamados de valores absolutos. A freqncia simbolizada pela letra f. O Nmero total de casos igual soma das freqncias de todas as classes ou categorias e tem como smbolo a letra N. A tabela abaixo apresenta, como exemplo, a distribuio de freqncias da questo sobre a avaliao dos usurios dos servios de uma organizao. Perguntados sobre o grau de dificuldade para conseguir o atendimento na organizao, 45 pessoas responderam terem sido atendidas com muita facilidade, 27 afirmaram ter sido fcil, 12 disseram que foram atendidas com dificuldade enquanto 11responderam que foram atendidos com muita dificuldade. Questo: Para o Sr. (a) conseguir o atendimento na organizao foi... 1 - Muito fcil 2 - Fcil 3 - Nem fcil nem difcil 4 - Difcil 5 - Muito difcil Total

f 45 27 0 12 11 95

A distribuio de freqncias pode ser utilizada para qualquer tipo de varivel. No entanto, como vimos deve-se tomar cuidado quando se trata de apresentar a distribuio de freqncia de uma varivel intervalar. Isso por que pode haver um nmero muito grande de valores. Suponha que se faa uma pergunta aberta sobre a idade das 95 pessoas. Nesse caso, cada entrevistado pode dar uma resposta diferente: 37 anos, 38 anos, 70 anos, e assim por diante. Nesses casos, os valores numricos podem ser agrupados em uma varivel ordinal. Por exemplo, no caso das idades das pessoas que utilizaram os servios da organizao, poder-se-ia agrupar os valores utilizando categorias da seguinte forma:

27

Idade
Menos de 18 anos De 19 a 35 De 36 a 65 Mais de 66 Total

f
13 49 28 5 95

Agrupar dados dessa forma apresenta o inconveniente de se perder o grau de preciso na representao da diferena entre os indivduos. Afinal, na varivel intervalar sabemos precisamente a idade de cada indivduo e na varivel ordinal no se sabe a idade de cada indivduo, o que se sabe que a idade dele est dentro de um conjunto de valores. Mas, por outro lado, tem a vantagem de apresentar os dados de uma forma simples, o que pode facilitar a anlise.

Proporo e percentual Os valores absolutos de uma distribuio de freqncia podem ser apresentados tambm atravs de valores percentuais. Isso recomendvel quando possumos um nmero de casos elevado ou quando queremos comparar duas distribuies de tamanho absoluto muito diferentes. Para se calcular um percentual, primeiro preciso calcular a proporo de casos de cada categoria. Para isso basta dividir o nmero de casos da categoria (f) pelo total de casos da varivel (N), assim proporo = f / N. Assim, a proporo de pessoas que avaliou ser muito fcil conseguir o atendimento na organizao de 45/95 que corresponde a 0,474. Para obter o percentual basta multiplicar a proporo calculada por 100, assim percentual = (f / N)x100. Assim temos 47,4% de pessoas avaliando ter sido muito fcil conseguir o servio na organizao. Deste modo, fica claro que a proporo e a porcentagem fornecem a mesma informao. A nica diferena entre elas que a proporo se expressa na base 1, onde a soma de todas as categorias igual a 1, e a porcentagem se expressa na base 100, onde a soma de todas as categorias igual a 100. Se os percentuais de cada categoria forem calculados podemos apresent-las como uma distribuio percentual. Como exemplos tero as seguintes tabelas:

Questo: Para o Sr. (a) conseguir o atendimento na organizao foi... 1 - Muito fcil 2 - Fcil 3 - Nem fcil nem difcil 4 - Difcil 5 - Muito difcil Total

f 45 27 0 12 11 95

% 47,4 28,4 0 12,6 11,6 100

28

Idade
Menos de 18 anos De 19 a 35 De 36 a 65 Mais de 66 13 49 28 5 95

%
13,7 51,6 29,5 5,3 100,1

Total

Assim, de acordo com as tabelas acima, sabemos que a maior parte das pessoas achou fcil conseguir o atendimento na organizao, j que 47,4% disseram ter sido muito fcil conseguir ser atendida e 28,4% afirmara ter sido fcil. Mais da metade das pessoas, quase 52%, possui uma idade entre 19 e 35 anos. Como dissemos umas das principais vantagens do uso de distribuies percentuais a comparao entre distribuies absolutas de tamanho absoluto muito diferentes. A tabela a seguir ilustra este ponto. Servio 1 Questo: Para o Sr. (a) conseguir o atendimento na organizao foi... 1 - Muito fcil 2 - Fcil 3 - Nem fcil nem difcil 4 - Difcil 5 - Muito difcil Total f 45 27 0 12 11 95 % 47,4 28,4 0 12,6 11,6 100 f 267 189 42 84 77 659 Servio 2 % 41 29 6 13 12 100

Na tabela podemos ver que a comparao de nmeros absolutos to diferentes muito difcil. No entanto, ao observar as porcentagens podemos ver que os usurios do servio 2 o consideram ligeiramente mais difcil de conseguir do que os usurios do servio 1. Razo e taxa A razo tambm uma forma de eliminar diferenas de tamanho na comparao entre duas amostras. Contudo, ao invs de dividir o f de uma categoria pelo N, a razo divide o f da categoria 1 pelo f da categoria 2. Assim, se, em nossa amostra, entrevistamos 41 pessoas do sexo masculino e 54 do sexo feminino, a razo de homens em relao s mulheres aproximadamente igual a 0,76 (41/54) e a razo de mulheres em relao aos homens aproximadamente igual a 1,32 (54/41). A razo pode ser uma medida til para uma anlise descritiva. No exemplo acima, podemos dizer que, se o grupo de entrevistados corresponder a uma amostra correta de uma comunidade, ou usurios dos servios de uma organizao, podemos dizer que para cada 100 mulheres existem 76
29

homens. Contudo, a maior desvantagem da taxa que para casos de variveis com mais de duas categorias so necessrias varias razes para analis-los. Alm da razo, muito comum utilizarmos taxas em anlises descritivas: taxa de mortalidade, taxa de desemprego, etc. As taxas so um tipo de razo. A diferena bsica que enquanto as razes comparam o nmero de casos de uma categoria com o nmero de casos de outra (como no exemplo acima, a comparao entre o numero de casos da categoria "masculino" com o nmero de casos da categoria feminino), as taxas comparam um nmero efetivo com um nmero potencial ou comparam uma mesma populao em dois momentos distintos, sendo chamada neste caso de taxa de mudana. Um exemplo de comparao entre um nmero efetivo e um nmero potencial a taxa de nascimento. O nmero efetivo o nmero de crianas nascidas vivas e o nmero potencial o nmero de mulheres que possuem idade para ter filhos (ou seja, as mulheres que podem ter filhos) Assim, suponha que tenham nascido 600 crianas em uma comunidade e que o nmero de mulheres capazes de engravidar nessa comunidade seja de 3000 mulheres. Nesse caso a taxa de nascimento :

Taxa de nascimento =

600 3000

= 0,2

Isso significa que para cada 1 mulher capaz de engravidar apenas 0,2 realmente engravidaram. Para torn-las mais inteligveis as taxas so apresentadas na base 1.000 ou 10.000. Assim, multiplicando o valor encontrado por 1.000 sabemos que para cada 1.000 mulheres capazes de engravidar na comunidade, 200 delas realmente engravidaram. Como no caso da proporo e da porcentagem, a informao a mesma, a mudana de base apenas modifica a forma de apresentao da informao. Um exemplo de taxa de mudana pode ser a mudana de demanda de um servio. Para isso basta subtrair o valor da varivel no tempo final (t2) do seu valor no tempo inicial (t1), dividir o valor encontrado pelo valor do tempo inicial (t1) e multiplicar o resultado encontrado por 100. Suponha que em 1990 o servio tivesse 12.000 usurios e que no ano 2000 tivesse alcanado 17.000 usurios. Para calcular seu crescimento, basta subtrair o nmero de usurios em 2000 do nmero de usurios em 1990, dividir o valor encontrado pelo nmero de usurios de 1990 e multiplicar por 100, ou seja:

Taxa de mudana = (17000 12000) = 0,42 x (100) = 42 12000 Isso significa que houve um crescimento de 42% na demanda do servio entre 1990 e 2000. Caso o servio tenha apresentado uma diminuio da sua demanda, o valor encontrado ser negativo. Por exemplo, suponha que o nmero de usurios seja invertido, ou seja, 17000 em 1990 e 12000 no ano 2000. Assim teremos:

Taxa de mudana = 12000 - 17000 = - 0,29 x (100) = -29 17000

Neste caso o servio apresentou uma queda de 29% em sua demanda.

30

Taxa de satisfao relativa Uma das medidas utilizadas para medir a satisfao de usurios com os servios de uma organizao a taxa de satisfao relativa. A taxa de satisfao relativa medida como a taxa entre a avaliao das pessoas sobre um servio e a expectativa que elas tinham sobre este servio, ou seja, a avaliao dividida pela a expectativa multiplicada por 100 (avaliao/expectativa X 100). Assim, se o valor obtido for menor do que 100 significa haver um dficit de qualidade no servio, se o valor da taxa for maior do que 100 significa, ao contrrio, haver um excedente de qualidade. Por exemplo, se uma pessoa possui uma expectativa de que a qualidade de um servio ser 10, mas sua avaliao do servio, aps receb-lo for 6, significa que a taxa de satisfao 6/10 x 100, que igual a 60. Caso a expectativa seja 5 e a avaliao 8, a taxa 8/5 x 100, que corresponde a 160. No primeiro caso, h um dficit de qualidade enquanto no segundo um excedente.

Mdia Muitas vezes, o que um pesquisador deseja obter uma medida que possa ser utilizada como um sumrio da distribuio de uma varivel. H vrios resumos que podem ser calculados para uma distribuio, um tipo muito utilizado o resumo da tendncia central de uma distribuio. A mdia aritmtica o resumo mais comum deste tipo. Ela consiste na soma de todas as pontuaes (escores) de uma distribuio dividida pelo nmero de casos. Suponha que uma amostra fictcia de 7 usurios dos servios de uma organizao apresente a seguinte distribuio nas notas dadas para a avaliao do atendimento dos funcionrios da organizao (as notas podem variar de 0 a 10): 3,3, 4, 8, 8, 9, 10. Assim, a mdia desse grupo 6,4:

(3+3+4+8+8+9+10) = 6,4 5

Os pesquisadores referem-se tambm mdia como um "centro de gravidade" da distribuio dos valores de uma varivel, ou seja, um ponto em torno do qual se equilibram as discrepncias dos valores da varivel. As discrepncias nada mais so do que a distncia entre a mdia e os valores da distribuio. Assim, para as notas dos estudantes acima temos as seguintes discrepncias: 3 - 6,4 = - 3,4 3 - 6,4 = - 3,4 4 - 6,4 = - 2,4 8 - 6,4 = 1,6 8 - 6,4 = 1,6 9 - 6,4 = 2,6 10 - 6,4 = 3,6 Somatrio = 0

Mdia ponderada H situaes em que os valores de uma distribuio representam coisas diferentes. Neste caso, devese associar aos valores da distribuio algum valor que exprima esta diferena de significado ou
31

importncia, os chamados pesos, originando o que se denomina de mdia ponderada. A mdia ponderada obtida atravs do somatrio dos valores da distribuio multiplicados pelos respectivos pesos, o resultado dividido pelo somatrio dos pesos. Imagine que os resultados de um exame final de matemtica dependam de dois exames parciais que so valorizados de forma diferente, por exemplo, o segundo exame 5 vezes mais importante que o primeiro. Suponha que as notas de um aluno tenham sido 7 e 4 e de outro 4 e 7. A forma correta de encontrar a nota mdia final de cada aluno, ponderada pelo peso de cada exame, ser:

Aluno 1

(7 x 1) + (4 x 5) = 4,5 1+ 5

Aluno 2

(4 x 1) + (7 x 5) = 6,5 1+ 5

Ou seja, as notas da primeira prova foram multiplicadas pelo peso correspondente (no caso ele igual a 1), somadas com as notas da segunda prova tambm multiplicada pelo peso correspondente (que, no exemplo equivale a 5) e, posteriormente dividas pela soma dos "pesos" (1 + 5 = 6).

Cruzamento de variveis Quando fazemos pesquisas ns normalmente estaremos interessados em saber como pessoas diferentes se comportam, para isso recorremos aos cruzamentos. O cruzamento nos permite ver como pessoas ou entidades diferentes em termos de certa caracterstica se comportam em relao a outra caracterstica. Um exemplo esclarecer o que se quer explicar, mas, primeiro vamos descrever os elementos da tabela. Um cruzamento uma forma sistemtica de apresentar as ocorrncias conjuntas de duas ou mais variveis. Uma das variveis colocada na coluna e a outra colocada na linha, cada varivel dividida em categorias que podem ser nomes de coisas ou intervalos de valores, a interseo entre uma linha e uma coluna chamada de clula, nela so contados os casos que pertencem ao mesmo tempo s categorias correspondentes quela clula na linha e na coluna. Embaixo fica o total marginal da coluna, que indica a quantidade de casos em cada categoria da coluna. A direita fica o total marginal da linha, que indica a quantidade de casos em cada categoria da linha. Observe as Tabela 1 e 2, abaixo, para identificar os elementos aqui citados. Os nmeros absolutos so pouco importantes, o que mais se leva em considerao o tamanho relativo entre eles, por isso normalmente a anlise feita atravs das porcentagens que cada nmero representa. Lembre-se que as porcentagens permitem comparar distribuies de tamanhos diferentes. A porcentagem a primeira forma de abordagem de uma tabela. Sua aparente simplicidade esconde o fato de que esta a forma fundamental de anlise de uma tabela, uma vez que atravs dela se define o que se deseja explicar. Como o que importante saber a porcentagem com que cada clula participa no cruzamento, imediatamente se impe a questo de em qual sentido vai se tirar a porcentagem, ou seja, se a porcentagem uma medida sempre relativa a um total, qual ser o valor usado como esse total (100%)? O total marginal da linha ou o da coluna?
32

Para responder a esta pergunta importante ter em mente qual variao se pretende observar. Todo cruzamento tem uma pergunta por trs, considera-se que o comportamento de uma varivel possa explicar o comportamento de uma segunda varivel. Esta segunda varivel, que se deseja dizer que a cada categoria da varivel independente podemos explicar, chamada de dependente (ou resposta) e a primeira chamada de independente (ou explicativa). Como regra, sempre a porcentagem tirada no sentido da varivel independente, o que significa observar o comportamento das categorias da varivel dependente. Dito de outra forma podemos observar como a varivel dependente se comporta em funo das categorias da varivel independente. Como exemplo interessante observar os dois cruzamentos a seguir onde com os mesmos dados se calcula a porcentagem alternativamente nos dois sentidos, o que resulta que cada cruzamento responde a perguntas diferentes. Na Tabela 1, para cada grupo de idade se mostra a avaliao das pessoas em relao a um determinado servio, onde se conclui que os mais jovens tm uma avaliao mais positiva do que os mais velhos, j que 65% dos mais jovens esto satisfeitos com o servio recebido contra 19% dos mais idosos. O que est sendo usado como fator explicativo (varivel independente) a idade. Sendo assim, observa-se a avaliao dos servios recebidos dentro de um grupo de idade, e compara-se com a avaliao nos outros grupos de idade. Na tabela 2 para cada nvel de avaliao se observa o perfil de idade dos usurios: o grupo com melhor avaliao composto em quase metade por mais jovens. Porm, este resultado tem uma diferena fundamental em relao ao anterior, o que se pergunta aqui qual o perfil de idade das diferentes avaliaes dos servios?, enquanto a pergunta da tabela 1 qual a avaliao dos diferentes perfis de idade?. Cada sentido de porcentagem responde a uma pergunta diferente. O importante, ao definir o sentido da porcentagem, a definio, guiada pelos interesses gerenciais da organizao, do que se quer saber. No presente exemplo muito mais importante explicar como as diferentes idades afetam a avaliao, do que saber qual a composio de idades dos grupos de avaliao, portanto, o cruzamento correto para o nosso interesse o da tabela 1. Na verdade, o segundo cruzamento no faz muito sentido. importante frisar que ler uma tabela no sentido contrrio ao que sua porcentagem foi tirada constitui erro grave, se na Tabela 2 algum quiser saber a influncia da idade na avaliao do servio recebido, vai ler porcentagens que no formam 100% (49+5+36=90 na categoria at 34 anos), e que, portanto, no refletem uma interpretao correta dos dados.

Tabela 1 Avaliao do servio por idade (%) At 34 anos Bom Regular Ruim Total Nmero de casos 65 3 32 100.0 (407) De 35 a 49 anos 41 24 35 100.0 (588) 50 ou mais 19 66 15 100.0 (167)

33

Tabela 2 Idade por avaliao do servio (%) At 34 anos Bom Regular Ruim 49 5 36 De 35 a 49 anos 45 53 57 50 ou mais 6 42 7 Total 100.0 100.0 100.0 Nmero de casos (537) (262) (363)

Relatrio
Um relatrio deve ser escrito especificamente para uma audincia. o conhecimento a respeito das caractersticas e interesses dos leitores que permitir escrever um relatrio que lhes interessar e, principalmente, lhes ser til. Quem escreve um relatrio deve inicialmente se perguntar que informaes seus leitores desejam e como eles as usaro. De outro lado, deve-se perguntar que informaes eles so capazes de compreender. O uso intensivo de estatstica e desenhos de anlise mais complexos pode no se justificar se a sua audincia for incapaz de compreender e criticar este tipo de anlise. O exemplo da diferena entre o pessoal de um servio e os tcnicos de um rgo de financiamento ou regulao mais amplo pode esclarecer este ponto. O pessoal envolvido com o servio estar mais interessado em informaes prticas, que ajudem a conduzir o seu trabalho de maneira adequada e que permita perceber se algum ajuste deve ser feito. Alm disso, sua formao est relacionada ao servio em que atua, o que no necessariamente inclui estatstica e tcnicas de pesquisa. Os tcnicos de um rgo de regulao ou financiamento esto mais interessados em informaes a respeito dos efeitos de cada servio, o seu impacto na sociedade, eles freqentemente precisam decidir sobre a relevncia de um servio frente a outros ou precisam decidir sobre a efetividade de uma estratgia de implementao frente a outras. No que se refere a qualificao, por fora de suas prprias atividades muitos deles tm um conhecimento sofisticado de estatstica e alguns contam inclusive com conhecimentos sobre tcnicas de pesquisa e metodologia cientfica. Neste exemplo fica claro que um relatrio que tenha sido desenhado para uma das duas audincias no satisfar as necessidades e interesses da outra. Sendo assim, se o avaliador no conhecer a audincia para o qual est se reportando corre o risco de produzir um relatrio que simplesmente no responde as perguntas de quem est lendo. Limitamos-nos neste exemplo a discutir apenas dois dos grupos de interessados em um servio, mas, deve ficar claro que outros grupos de interessados podem tambm ser o alvo de um relatrio. Considerar suas especificidades ser fundamental para gerar o relatrio adequado para eles. muito freqente, entretanto, que uma mesma pesquisa deva reportar-se a diversas audincias. Sendo assim, necessrio realizar um relatrio adequado para cada uma delas. Outra opo seria a divulgao do sumrio executivo de seu relatrio para pblicos de interessados com menor qualificao tcnica. O sumrio executivo um texto onde as principais descobertas e resultados da pesquisa so relacionados aos objetivos e necessidades da organizao. De forma sucinta, os principais pontos da pesquisa so descritos e, quando for o caso, so feitas recomendaes. Neste texto os aspectos tcnicos so deixados de lado e se d mais nfase a interpretao dos resultados. O sumrio executivo pode ser usado como a base de um texto curto e simplificado de divulgao mais ampla.
34

Uma vez definido o foco do seu relatrio o que resta saber o que e o quanto apresentar. Em qualquer pesquisa minimamente complexa provvel que o resultado da anlise seja um conjunto muito grande de informaes e descobertas, que devem ser pesadas quanto necessidade ou no de serem apresentadas no relatrio final. Haver sempre muito mais informaes do que ser necessrio para o relatrio. fundamental decidir cuidadosamente o grau de detalhamento dos dados que se deseja mostrar para sustentar uma concluso. Errar na dosagem significa ou um texto mal fundamentado e com argumentos fracos ou um texto pesado e difcil de ler. Alm disso, surgem descobertas interessantes, mas, que no se encaixam com mais nada e que no esto ligadas aos objetivos mais centrais da organizao. Surgem resultados contraditrios. Como integrar estas coisas ao corpo do relatrio? No h uma resposta simples para esses problemas, o que se deve ter em mente que um relatrio uma argumentao. Os elementos que vo ser includos vo depender dos argumentos que o avaliador est mobilizando e das concluses a que ele chega. necessrio algum bom senso e prtica para decidir o quanto dos dados suficiente em suporte a uma concluso. Normalmente no ser necessrio mostrar todos os dados relacionados a uma concluso, o avaliador pode se limitar a exibir as evidncias mais fortes. Contradies insolveis bem como descobertas interessantes, mas desconectadas normalmente ajudam pouco a linha de argumentao e devem, por isso, ser judiciosamente consideradas. Resultados contraditrios podem ser includos no relatrio e examinados atenciosamente, como uma forma de instigar mais debate e mais investigao. Achados interessantes podem estar revelando novas dimenses do servio que no estavam claras antes da pesquisa. Sendo assim, devem ser includas no relatrio e podem ser responsveis por uma abordagem completamente nova do servio. Um ltimo conselho sobre a escrita de relatrios: nunca escreva um relatrio sozinho. Mobilize seus colegas para lerem, comentarem e criticarem, quanto aos seus argumentos, quanto a seu estilo e clareza de escrita. melhor ouvir o mximo de crticas dentro de casa e prevenir-se de ouvir crticas do pblico.

Relatrios Automatizados do IPPS

Introduo
Os relatrios automatizados foram preparados com o objetivo de oferecer um diagnstico rpido sobre algumas caractersticas abordadas na pesquisa, porm, sem a pretenso de se esgotar todas as possibilidades de anlise. Isto , eles funcionam como orientadores, mas ainda no conclusivos. O presente texto procura justamente oferecer o embasamento necessrio para que o usurio do IPPS possa ler e interpretar corretamente os relatrios. Deve-se ter em mente que o processo de anlise no simples e requer um trabalho atento de muitas horas para se chegar a concluses factveis, que possam influenciar nas decises gerenciais para a melhoria do atendimento. Ento, o processo de anlise no pode ser visto como um trabalho rpido, rotineiro e totalmente estruturado, mas sim, deve-se pens-lo como um momento de reflexo sobre os dados da pesquisa e que requer um tempo exclusivo para tal. Todavia, ciente tambm da necessidade de oferecer respostas rpidas a alta administrao da organizao, servidores e o pblico em geral sobre os resultados da pesquisa, destacamos a
35

possibilidade de realizao de uma anlise rpida, com intuito mais de prestao de contas do que de anlise para melhoria gerencial. Como opo, o leitor poder ir direto para a leitura de anlise rpida localizada no final do texto e depois tirar dvidas ao longo do restante do texto. A seguir sero apresentados os seguintes relatrios automatizados e uma breve descrio de como interpret-los:

Mdulo Geral Baterias de Avaliao Baterias de Avaliao X Mdulo Geral Perfil Scio Demogrfico X Mdulo Geral Mdulos Temticos Perfil Scio Demogrfico Anlise por Servio ou rgo como um todo

Para qualquer relatrio automatizado possvel organizar as informaes por servio individualmente ou em termos gerais da organizao, que desconsidera a diviso por servio. No entanto, antes da gerao de algum relatrio automatizado, deve-se ter cuidado ao interpretar os relatrios por servio, j que para que eles sejam interpretveis necessrio que cada servio tenha uma amostra generalizvel. Isto significa uma amostra total maior e, obviamente, mais cara. Na fase de planejamento da amostra, necessrio que as organizaes decidam se desejam colher informaes sobre a satisfao dos usurios por servio ou para o conjunto da unidade de atendimento. Caso a organizao deseje colher informaes por servio, a amostra deve ser suficientemente grande para que cada servio ou pelo menos os principais tenha uma amostra generalizvel, mantendo a proporo das entrevistas por servio igual a proporo com que cada servio participa no fluxo total de usurios. O fluxo de usurios por servio pode ser inserido na aplicao de amostragem do IPPS para ser verificar qual o tamanho de amostra generalizvel para cada servio.

Contudo, algumas organizaes vo se deparar com situaes em que um ou mais servios tenham uma porcentagem de atendimentos to pequeno em relao aos outros servios, que para que estes servios de pequeno fluxo tenham uma amostra generalizvel, os outros servios devem ter amostras muito grandes. H duas alternativas para contornar este problema. Primeiro, pode-se simplesmente ignorar os servios pequenos na anlise por servio. Aqueles servios com pequeno fluxo de usurios vo ser considerados na anlise da unidade de atendimento como um todo importante representar estes usurios na anlise da unidade , mas, no possuiro informaes especficas. Segundo, possvel adotar um desenho de amostra desequilibrado, ou seja, no respeitar a proporo com que cada servio participa no fluxo total de usurios na distribuio do nmero de entrevistas por servio, o que permite calcular para cada servio a amostra mnima generalizvel, dentro da margem de erro escolhida. Infelizmente, este procedimento introduz um vis na amostra, que no tem efeito na anlise por servio, mas, distorce a anlise da unidade de atendimento como um todo, dando maior peso aos servios de menor fluxo. Para corrigir esta distoro da anlise necessrio adotar um ponderador que anula o efeito do vis introduzido. Como o clculo deste ponderador requer um estudo cuidadoso do desenho da amostra e o uso do ponderador requer que
36

o software usado tenha uma aplicao de ponderao que o software do IPPS no tem, recomendamos que apenas as organizaes que contem com profissionais capacitados em pesquisa ou estatstica utilizem esta segunda alternativa.

Os Relatrios Automatizados
Os quatro primeiros relatrios (Mdulo Geral, Baterias de Avaliao, Baterias de Avaliao X Mdulo Geral e Perfil Scio Demogrfico X Mdulo Geral) referem-se especificamente a avaliao de satisfao, e para estes foram construdos indicadores especficos (gap/i e avaliao/i) para usurios do IPPS. Esses indicadores sintetizam em apenas um nmero uma srie de informaes, para tentar demonstrar de uma forma rpida onde estaria a prioridade de ao necessria para a melhoria do atendimento. Quando o usurio do IPPS se familiarizar com esses indicadores, as anlises podero ser feitas de forma mais gil. Os relatrios Mdulos Temticos e Perfil Scio Demogrfico no se referem a avaliao de satisfao, mas a outras informaes que podem complementar a anlise da satisfao do usurio. Para tanto no foi criado nenhum indicador especfico de anlise, e por isso, os relatrios apenas apresentam as freqncias ou porcentagens de cada resposta. Nesse sentido, o presente contedo limitar-se- a comentar apenas os 4 primeiros relatrios, j que a anlise de freqncias bastante intuitiva.

Mdulo Geral O Mdulo Geral est baseado nas 5 dimenses genricas de servio (conservao e infra-estrutura; atendimento dos funcionrios; capacidade dos funcionrios; servio ser feito direito; facilidade para conseguir o servio) e ainda contm trs medies independentes (expectativa, avaliao e valor=importncia). O quadro abaixo demonstra um exemplo, com as mesmas configuraes do relatrio Mdulo Geral emitido pelo IPPS. A partir dele possvel familiarizar-se com os termos e realizar uma interpretao dos valores.

Dimenso Geral Conservao do [UNIDADE] Atendimento dos funcionrios Capacidade dos funcionrios O servio ser feito direito Facilidade para conseguir o servio

Expectativa 7,68 6,10 7,21 7,50 7,78 6,75

Avaliao 8,10 5,58 7,83 7,18 7,70 6,53

Valor -1,93 1,75 1,12 1,85 1,80

Satisfao 121,36 96,64 131,05 107,87 105,68 95,30

Gap/i --22,22 69,79 5,93 6,93 -7,29

Ex.: a ordem de prioridade das dimenses seria: A, E, B, D e C. Observe que a menor satisfao est na dimenso E, contudo, como ela tem um valor menor, ela se torna menos prioritria do que a dimenso A.

37

Frmulas: Satisfao = (Avaliao/Expectativa) x 100 Gap = (100 Satisfao) x (-1) Valor = importncia; A pergunta de importncia usada como um ponderador, transformando a ordem de importncia em pesos do seguinte modo: 1 = 3; 2 = 2,5; sem meno = 1 Gap/i = Gap.valor

Leitura: Expectativa: representa a mdia das notas, de 0 a 10, dadas pelos indivduos sobre o que esperavam receber em relao a um determinado servio. Quanto maior a nota, maior a expectativa possuam antes de receber o servio. Avaliao: representa a mdia das notas, de 0 a 10, dadas pelos indivduos sobre o que efetivamente receberam em relao a um determinado servio. Quanto maior a nota, maior a avaliao. De uma forma geral, a nota de avaliao mais fcil de ser lida por um pblico mais leigo que no conhece o clculo da satisfao que utilizamos aqui. Portanto, um indicador mais fcil de ser lido por qualquer pessoa, e, portanto, para uma divulgao geral sugerimos utiliz-lo. Valor: representa uma medida da importncia de cada atributo. Quanto maior o indicador maior a importncia de um atributo. Satisfao: representa o percentual alcanado pela avaliao do servio em relao expectativa de servio, onde valores abaixo de 100 indicam insatisfao, quando os usurios consideram que o servio recebido foi pior do que o esperado, e valores maiores ou igual a 100 indicam satisfao, quando os usurios consideram que o servio recebido foi melhor ou igual ao esperado. Como se percebe, um valor que requer maiores explicaes, e, portanto, pode causar confuses no entendimento de um pblico mais leigo. Portanto, para divulg-lo deve-se ter certeza que o pblico entender o que ele representa, caso contrrio sugere-se o uso apenas do valor da avaliao. Gap/i: um ndice que tem por objetivo auxiliar as organizaes a identificarem os elementos de servio mais prioritrios para a sua atuao, sendo assim, ele resume os quatro anteriores em apenas um valor. Este ndice envolve trs medies independentes, a avaliao, a expectativa e o valor. Principalmente por isso, ele tem uma leitura relativamente complexa.

Entendendo o gap/i: Na tabela abaixo vemos um exemplo esquemtico para melhor entendimento do que significa o gap/i.

Satisfao Baixo

Valor Alto

Ordem de prioridade 1

Satisfao 75

Peso de importncia 3

GAP -25

GAP/i -75

Leitura quanto mais negativo mais o negativo mais prioritrio do que o 38

Baixo

Baixo

75

-25

-25

do que o mais prioritrio positivo quanto mais positivo mais prioritrio

Alto

Alto

125

25

75

Alto

Baixo

125

25

25

Como o Gap/i um ndice de prioridade necessrio primeiro definir o que prioritrio em uma avaliao de satisfao. Consideramos que a satisfao baixa mais prioritria do que a satisfao alta e que o valor (a importncia) alto mais prioritrio do que o valor baixo. Podemos ver as combinaes entre satisfao e valor e a ordem de prioridade destas combinaes nas trs primeiras colunas da tabela acima. Nas colunas seguintes temos um exemplo de clculo do Gap/i que permite ilustrar sua leitura. Como podemos ver a seqncia de prioridade dos valores do ndice : 1, negativo alto; 2, negativo baixo; 3, positivo alto; 4, positivo baixo.

Mdulo Baterias de Avaliao As Baterias de Avaliao destinam-se a aprofundar a anlise de cada uma das 5 dimenses existentes no Mdulo Geral. Para tanto, disponibilizado um conjunto de perguntas para cada dimenso e que possui 2 medies independentes para cada pergunta (avaliao e valor=importncia). Perceba, que enquanto no Mdulo Geral so realizadas trs medies (expectativa, avaliao e valor=importncia), neste mdulo existem apenas 2, pois no h medio para a expectativa. A expectativa medida apenas no Mdulo Geral. O quadro abaixo demonstra um exemplo, com as mesmas configuraes do relatrio Mdulo Baterias de Avaliao emitido pelo IPPS. A partir dele possvel familiarizar-se com os termos e realizar uma interpretao dos valores.

Baterias de Avaliao: Atendimento dos Funcionrios Itens das baterias de avaliao Os funcionrios serem gentis, atenciosos e respeitosos Os funcionrios darem informaes corretas e completas Os funcionrios darem explicaes claras e simples Os funcionrios serem competentes para fazer seu servio Avaliao 8,53 7,67 7,73 6,67 Valor 2,87 3,10 3,08 3,56 Avaliao/i -5,20 -7,00 -6,93 -8,24

39

Os funcionrios terem boa vontade para responder s perguntas Os funcionrios serem capazes de solucionar os problemas que apaream

7,98 7,78

3,20 3,27

-6,41 -6,44

Ex.: A dimenso 4 a mais prioritria, combinando uma avaliao baixa com um valor alto. E a dimenso 1 a menos prioritria combinando indicadores opostos. - Frmulas: Valor = importncia; A pergunta de importncia usada como um ponderador, transformando a escala de importncia em pesos do seguinte modo: Extremamente importante = 4; Muito importante = 3,5; Importante = 2,5 Mais ou menos importante = 1,5; Sem meno = 1. Avaliao/i = ((10 avaliao) x valor) x (-1) - Leitura: Avaliao: representa a mdia das notas, de 0 a 10, dadas pelos indivduos sobre o que efetivamente perceberam receber em relao a um determinado servio. Quanto maior a nota, maior a avaliao. Valor: representa simplesmente uma medida da importncia de cada atributo. Quanto maior o indicador maior a importncia de um atributo. Avaliao/i: como o Gap/i, este um ndice que tambm tem por objetivo auxiliar as organizaes a identificarem os elementos de servio mais prioritrios para a sua atuao, sendo assim, ele um ndice de focalizao da estratgia gerencial da organizao. Este ndice envolve apenas duas medies independentes, a avaliao e o valor, sendo assim, ele tem uma leitura mais simples do que a do Gap/i, no entanto, ele tem menos informao do que o Gap/i. Pontos de Recomendao: Da mesma forma que no Mdulo Geral, aqui tambm se deve ter em mente que a nota de avaliao o tipo de indicador que pode ser mais bem entendido por qualquer pblico, por isso, recomendamos que se sua organizao deseja divulgar os resultados de uma forma breve, basta divulgar apenas a nota de avaliao, pois ela representa justamente uma nota de 0 a 10 sobre o que o pblico usurio percebe sua organizao. Os demais valores valor e avaliao/i devem ser mais utilizados para as anlises da prpria organizao. Para divulg-los deve ser acompanhado de explicao para que o pblico entenda corretamente o que eles significam. Entendendo a avaliao/i: Como a avaliao/i um ndice de prioridade necessrio primeiro definir o que prioritrio em uma avaliao de satisfao. Consideramos que a avaliao baixa mais prioritria do que a avaliao alta e que o valor (a importncia) alto mais prioritrio do que o valor baixo. Podemos ver as combinaes entre avaliao e valor e a ordem de prioridade destas combinaes nas trs primeiras colunas da tabela abaixo.
40

Avaliao baixo baixo alto alto

Valor alto baixo alto baixo

Ordem de Peso de Avaliao prioridade importncia 1 2 3 4 2 2 8 8 2 1 2 1

Avaliao/i -16 -8 -4 -2

Leitura

quanto mais negativo mais prioritrio

Nas colunas seguintes temos um exemplo de clculo da avaliao/i que permite ilustrar sua leitura. Como podemos ver a seqncia de prioridade dos valores do ndice, quanto mais negativo mais prioritrio.

Mdulo Baterias de Avaliao X Mdulo Geral As Baterias de Avaliao no possuem medio da expectativa, mas apenas da avaliao, e, portanto, no permitem o clculo do gap/i. Porm, de forma a acrescentar mais uma possibilidade de anlise para as Baterias de Avaliao, alm do indicador avaliao/i, optou-se por realizar o cruzamento entre as Baterias de Avaliao e o Mdulo Geral, e assim calcular o gap/i. O objetivo deste cruzamento identificar dentro de cada dimenso de servio os itens das baterias de avaliao que mais pressionam para baixo a satisfao dos usurios com aquela dimenso. Para fazer esse clculo passa-se por duas etapas. Primeiro, coloca-se em ordem crescente todos os indivduos da amostra em relao ao valor do indicador avaliao/i, ou seja, do mais negativo at o menos negativo (lembrando-se que quanto mais negativo, mais prioritrio). E ainda, aps esse ordenamento, dividem-se os indivduos em trs grupos,onde no primeiro grupo ficam aqueles que possuem os valores mais negativos de avaliao/i, um segundo com valores intermedirios e o terceiro com valores menos negativos. Segundo, aps a classificao dos indivduos nesses trs grupos, calcula-se novamente o valor do gap/i, para os trs grupos de forma separada. Assim, na tabela aparece o valor do gap/i, j em ordem decrescente de prioridade, ou seja, segundo a regra de anlise do gap/i, os valores mais negativos e os valores mais positivos estaro como Alta Prioridade, os valores intermedirios estaro como mdia prioridade, e os menores valores negativos e menores positivos estaro como baixa prioridade. Assim, a coluna de Alta Prioridade indica quais os itens da Bateria de Avaliao esto mais relacionados com o Mdulo Geral, ou seja, quais so aqueles que influenciam em uma menor satisfao e uma maior importncia. As colunas de Mdia Prioridade e Baixa Prioridade servem apenas para desempatar, casos os valores da coluna Alta Prioridade sejam iguais ou muito prximos.

41

Itens das baterias de avaliao (mdia de avaliao/i)

Baixa prioridade

Mdia Alta prioridade prioridade

Dimenso: b. Atendimento dos funcionrios Os funcionrios serem gentis, atenciosos e respeitosos Os funcionrios darem informaes corretas e completas Os funcionrios darem explicaes claras e simples Os funcionrios serem competentes para fazer seu servio Os funcionrios terem boa vontade para responder s perguntas Os funcionrios serem capazes de solucionar os problemas que apaream 15,32 -20,49 4,01 25,95 5,18 -8,00 0,31 -11,96 -20,82 -33,29 0,68 -66,07 -69,32 -30,21 -47,08 -17,08 -51,41 -2,88

Ex.: O item 1 o de maior prioridade, ele combina o maior valor negativo de Gap/i na coluna de Alta prioridade. Em seguida esto os itens 5 e 3. Melhorias nestes trs itens tero maior impacto na satisfao com o atendimento dos funcionrios.

Perfil Scio-Demogrfico X Mdulo Geral

Varivel de perfil (Anos de estudo) 0-4 Conservao do [UNIDADE] Atendimento dos funcionrios Capacidade dos funcionrios O servio ser feito direito Facilidade para conseguir o servio -29,7 31,0 -5,6 -2,3 -30,1 5-8 -21,3 134,7 14,8 19,4 6,2 8 ou + -4,5 9,0 9,4 -3,1 -1,3

Ex.: As pessoas de maior escolaridade do mais prioridade conservao da unidade enquanto que as pessoas de baixa escolaridade do mais prioridade conservao e facilidade para conseguir o servio.

O objetivo deste cruzamento identificar dentro de cada dimenso de servio os perfis de usurios que do maior prioridade quela dimenso. Nesta matriz, calcula-se o Gap/i de cada conjunto de variveis (0-4; 5-8; 8 ou +), e, com isso, podemos identificar o quanto cada perfil de usurio est associado prioridade de cada dimenso do servio. No exemplo acima, segundo a regra do gap/i, procura-se identificar os maiores valores negativos. Assim, pode-se perceber que as pessoas de maior escolaridade (8 ou +) do mais prioridade
42

conservao da unidade enquanto que as pessoas de baixa escolaridade (0-4) do mais prioridade conservao e facilidade para conseguir o servio.

Concluso sobre os 4 relatrios de Avaliao de Satisfao: Aps o exposto, percebe-se que os relatrios automatizados procuram pular etapas de um processo comum de pesquisa. Porm, requerem do usurio um bom entendimento sobre que querem dizer cada um dos indicadores (expectativa, avaliao, valor=importncia, gap/i e avaliao/i) bem como sobre os cruzamentos do Mdulo Geral e Baterias de Avaliao e Mdulo Geral com Perfil Scio Demogrfico. Portanto, a descrio dos 4 relatrios procura justamente oferecer o embasamento necessrio para que o usurio do IPPS possa fazer bom uso dos mesmos.

Anlise Rpida A explicao da Anlise Rpida se prope a ser bastante objetiva, portanto, dvidas sobre alguns indicadores, frmulas de clculo, conceitos etc., podero ser esclarecidas nos respectivos itens explicados ao longo do texto anterior. O objetivo da anlise rpida oferecer respostas rpidas a alta administrao da organizao, servidores e o pblico em geral sobre os resultados da pesquisa, e possui mais um contedo de prestao de contas do que de anlise para melhoria gerencial.

Mdulo Geral 1o Opo de anlise: Geralmente as pesquisas de satisfao utilizam apenas as notas de avaliao e no calculam a expectativa. E nesse sentido, no discriminam avaliao em relao a satisfao. Por conta disso, o que denominamos satisfao acaba tendo um significado que no to comum para um pblico mais leigo. Assim, a nota de avaliao o tipo de indicador que pode ser mais bem entendido por qualquer pblico, por isso, recomendamos que se sua organizao deseja divulgar os resultados de uma forma breve, basta divulgar apenas a nota de avaliao, pois ela representa justamente uma nota de 0 a 10 sobre o que o pblico usurio percebe sobre sua organizao. Quanto maior, melhor. O restante poderia ser omitido.

43

Dimenso Geral Conservao do [UNIDADE] Atendimento dos funcionrios Capacidade dos funcionrios O servio ser feito direito Facilidade para conseguir o servio

Expectativa 7,68 6,10 7,21 7,50 7,78 6,75

Avaliao 8,10 5,58 7,83 7,18 7,70 6,53

Valor -1,93 1,75 1,12 1,85 1,80

Satisfao 121,36 96,64 131,05 107,87 105,68 95,30

Gap/i --22,22 69,79 5,93 6,93 -7,29

Ex.: a ordem de prioridade das dimenses seria: A, E, B, D e C. Observe que a menor satisfao est na dimenso E, contudo, como ela tem um valor menor, ela se torna menos prioritria do que a dimenso A.

2o Opo de Anlise: Alm disso, se quiser complementar, e recomendamos, seria a anlise em conjunto dos indicadores expectativa, avaliao e satisfao. Lembrando-se que Satisfao = (Avaliao/Expectativa) x 100. Acima de 100 quer dizer que o cidado est mais do que satisfeito, igual a 100 est satisfeito e abaixo de 100 est insatisfeito. O restante seria omitido. Dimenso Geral Conservao do [UNIDADE] Atendimento dos funcionrios Capacidade dos funcionrios O servio ser feito direito Facilidade para conseguir o servio Expectativa 7,68 6,10 7,21 7,50 7,78 6,75 Avaliao Valor 8,10 5,58 7,83 7,18 7,70 6,53 -1,93 1,75 1,12 1,85 1,80 Satisfao 121,36 96,64 131,05 107,87 105,68 95,30 Gap/i --22,22 69,79 5,93 6,93 -7,29

Ex.: a ordem de prioridade das dimenses seria: A, E, B, D e C. Observe que a menor satisfao est na dimenso E, contudo, como ela tem um valor menor, ela se torna menos prioritria do que a dimenso A. Os indicadores valor e gap/i devem ser mais utilizados para as anlises da prpria organizao.

44

Mdulo Baterias de Avaliao Para uma anlise rpida basta divulgar o valor das notas que os cidados deram para cada um dos itens. A anlise bastante intuitiva, ou seja, quanto maior a nota, melhor o cidado percebe o item. Os indicadores valor e gap/i podem ser omitidos, pois devem ser mais utilizados para as anlises da prpria organizao do que para o pblico em geral.

Baterias de Avaliao: Atendimento dos Funcionrios Itens das baterias de avaliao Avaliao Valor Avaliao/i

Os funcionrios serem gentis, atenciosos e 8,53 2,87 -5,20 respeitosos Os funcionrios darem informaes corretas 7,67 3,10 -7,00 e completas Os funcionrios darem explicaes claras e 7,73 3,08 -6,93 simples Os funcionrios serem competentes para 6,67 3,56 -8,24 fazer seu servio Os funcionrios terem boa vontade para 7,98 3,20 -6,41 responder s perguntas Os funcionrios serem capazes de 7,78 3,27 -6,44 solucionar os problemas que apaream Ex.: A dimenso 4 a mais prioritria, combinando uma avaliao baixa com um valor alto. E a dimenso 1 a menos prioritria combinando indicadores opostos.

Mdulo Baterias de Avaliao X Mdulo Geral e Perfil Scio-Demogrfico X Mdulo Geral O uso desses relatrios interno a organizao e mais especificamente, para o responsvel pela pesquisa, pois dependem de maiores conhecimentos sobre a metodologia do IPPS. Portanto, no recomendamos sua divulgao sem o tratamento devido. Mdulos Temticos e Perfil Scio Demogrfico Esses relatrios podem ser livremente divulgados sem maiores problemas. O tratamento de anlise para eles bastante intuitivo, pois tratam apenas de freqncias o que relativamente fcil de entender.

45

Bibliografia
_______________ The program managers http://.acf.dhhs.gov/programs/rde/ch1.htm. guide to evaluation. Do endereo:

BABBIE, Earl. Mtodos de Pesquisa de Survey. Editora UFMG, 1999. BANCO INTERAMERICANO DE DESENVOLVIMENTO. Evaluacin: una herramienta de gestin para mejorar el desempeo. 1997. Brasil. Escola Nacional de Administrao Pblica. Experincias internacionais voltadas para a satisfao dos usurios-cidados com os servios pblicos. Braslia: ENAP, 2001. Texto para discusso, 42. Brasil. Escola Nacional de Administrao Pblica. Metodologia para medir a satisfao do usurio no Canad: desfazendo mitos e redesenhando roteiros. Braslia: ENAP, 2000. Cadernos ENAP, 20. LEVIN, Jack. Estatstica Aplicada a Cincias Humanas. Harbra, 1987. MENY, Yves e THOENIG, Jean-Claude. Las Polticas Pblicas. Ariel, 1992. National Science Foundation. NSF evaluation handbook. OFFICE OF INSPECTOR GENERAL. DEPARTMENT OF HEALTH & HUMAN SERVICES. Practical Evaluation for Public Managers: getting the information you need. 1994. ORGANIZAO DE COOPERAO PARA O DESENVOLVIMENTO ECONMICO (BID). Improving Evaluation Practices. 1999. SHADISH, William; COOK, Thomas e LEVITON, Laura. Foundations of Program Evaluation: theories of practice. Sage Publications, 1991. ZEITHAML, V. PARASURAMAN, A. BERRY, L. Delivering quality service: Balancing customer perceptions and expectations. The Free Press, 1990.

46