Este documento discute vários instrumentos para coleta de dados em pesquisas educacionais, incluindo questionários, entrevistas, observação direta, registros institucionais e grupos focais. Questionários fornecem dados quantitativos de forma padronizada, enquanto entrevistas permitem coleta flexível de dados qualitativos, mas requerem habilidades do entrevistador. Observação direta coleta dados sobre comportamentos, mas pode interferir no que é observado. Registros institucionais são uma fonte de dados existente, mas nem sempre estão completos ou comparáveis
Este documento discute vários instrumentos para coleta de dados em pesquisas educacionais, incluindo questionários, entrevistas, observação direta, registros institucionais e grupos focais. Questionários fornecem dados quantitativos de forma padronizada, enquanto entrevistas permitem coleta flexível de dados qualitativos, mas requerem habilidades do entrevistador. Observação direta coleta dados sobre comportamentos, mas pode interferir no que é observado. Registros institucionais são uma fonte de dados existente, mas nem sempre estão completos ou comparáveis
Este documento discute vários instrumentos para coleta de dados em pesquisas educacionais, incluindo questionários, entrevistas, observação direta, registros institucionais e grupos focais. Questionários fornecem dados quantitativos de forma padronizada, enquanto entrevistas permitem coleta flexível de dados qualitativos, mas requerem habilidades do entrevistador. Observação direta coleta dados sobre comportamentos, mas pode interferir no que é observado. Registros institucionais são uma fonte de dados existente, mas nem sempre estão completos ou comparáveis
INSTRUMENTOS DE COLETA DE DADOS EM PESQUISAS EDUCACIONAIS
Eduardo F. Barbosa
A Necessidade de Dados para Monitorar e Avaliar Projetos
Um sistema de monitoramento e avaliao de projetos s pode ser implementado com sucesso com a definio dos meios para obteno de dados confiveis sobre processos, produtos e resultados. Um sistema de avaliao, mesmo com um planejamento perfeito, pode fracassar inteiramente se os dados necessrios para anlise no puderem ser obtidos, ou se os mesmos so imprecisos ou sem confiabilidade.
Mtodos e tcnicas de coleta de dados e informaes qualitativas so objeto de estudo nas disciplinas de avaliao e gerncia de projetos. Esta rea de conhecimento envolve consideraes sobre uma grande variedade de aspectos, tais como: projeto de instrumentos de coleta de dados, estimativa de custos de obteno, controle de qualidade, confiabilidade, validao, seleo de amostras, mtodos de processamento, mtodos de anlise, mtodos estatsticos, tcnicas de apresentao de relatrios, etc. A deciso sobre que instrumento utilizar, como, onde e quando aplicar, etc. pode ser complexa, dependendo do porte e abrangncia do projeto. Por outro lado, projetos de menor porte, como os que se desenvolvem dentro dos limites de uma escola, podem ser monitorados e avaliados com dados obtidos a partir de instrumentos simples e de baixo custo.
Instrumentos para Medidas Quantitativas
Medidas quantitativas utilizam algum tipo de instrumento para obter ndices numricos que correspondem a caractersticas especficas das pessoas ou objetos da medio. O resultado da aplicao de um instrumento para medida quantitativa um conjunto de valores numricos que so resumidos e registrados sob a forma de relatrios. Consequentemente a qualidade das medidas influem diretamente nesses resultados. Se as medidas so fracas ou polarizadas (direcionadas por alguma caracterstica do instrumento ou por deficincias em sua aplicao), assim tambm sero os resultados. Tcnicas de medidas robustas, ao contrrio, aumentam a preciso e a confiabilidade dos dados coletados. Portanto, imprescindvel saber distinguir que situaes podem afetar a qualidade de uma medida, uma vez que isto afeta diretamente a qualidade dos dados obtidos. importante destacar, ainda, que uma tcnica de pesquisa deve ser escolhida em funo das necessidades de informao e no do oramento disponvel.
Este texto tem por objetivo apresentar uma breve informao sobre cinco tcnicas utilizadas com frequncia para para coleta de dados e informao qualitativa: (i) questionrios; (ii) entrevistas; (iii) observao direta; (iv) registros institucionais e (v) grupos focais.
Procedimentos Usuais para Coleta de Dados
1. Questionrios
Tambm chamados de survey (pesquisa ampla), o questionrio um dos procedimentos mais utilizados para obter informaes. uma tcnica de custo razovel, apresenta as mesmas questes para todas as pessoas, garante o anonimato e pode conter questes para atender a finalidades especficas de uma pesquisa. Aplicada criteriosamente, esta tcnica apresenta elevada confiabilidade. Podem ser desenvolvidos para medir atitudes, opinies, comportamento, circunstncias da vida do cidado, e outras questes. Quanto aplicao, os questionrios fazem uso de materiais simples como lpis, papel, formulrios, etc. Podem ser aplicados individualmente ou em grupos, por telefone, ou mesmo pelo correio. Pode incluir questes abertas, fechadas, de mltipla escolha, de resposta numrica, ou do tipo sim ou no.
As etapas necessrias para o desenvolvimento de um questionrio so: (i) J ustificativa; (ii) Definio dos Pgina 1de 5 Ser Professor Universitrio / INSTRUMENTOS DE COLETA DE DADOS EM PE... 5/12/2008 http://www.serprofessoruniversitario.pro.br/imprimir.php?modulo=21&texto=1325 objetivos; (iii) Redao das questes e afirmaes; (iv) Reviso; (v) Definio do formato; (vi) Pr-teste e (vii) Reviso final.
2. Entrevistas
um mtodo flexvel de obteno de informaes qualitativas sobre um projeto. Este mtodo requer um bom planejamento prvio e habilidade do entrevistador para seguir um roteiro de questionrio, com possibilidades de introduzir variaes que se fizerem necessrias durante sua aplicao. Em geral, a aplicao de uma entrevista requer um tempo maior do que o de respostas a questionrios. Por isso seu custo pode ser elevado, se o nmero de pessoas a serem entrevistadas for muito grande. Em contrapartida, a entrevista pode fornecer uma quantidade de informaes muito maior do que o questionrio. Um dos requisitos para aplicao desta tcnica que o entrevistador possua as habilidades para conduzir o processo. Boas questes e um entrevistador sem habilidades, no fazem uma boa entrevista.
O desenvolvimento de questes para entrevista deve considerar alguns aspectos, para que seja efetiva, tais como: (i) adaptar a linguagem ao nvel do entrevistado; (ii) evitar questes longas; (iii) manter um referencial bsico (objetivo) para a entrevista; (iv) sugerir todas as respostas possveis para uma pergunta, ou no sugerir nenhuma (para evitar direcionar a resposta).
Algumas habilidades desejveis no entrevistador so: (i) conhecimento do asssunto objeto da entrevista; (ii) capacidade de sntese e deciso; (ii) boa comunicao oral; (iii) colocao imparcial perante o entrevistado e (iv) auto-controle emocional.
3. Observao Direta
Este mtodo de coleta de dados baseia-se na atuao de observadores treinados para obter determinados tipos de informaes sobre resultados, processos, impactos, etc. Requer um sistema de pontuao muito bem preparado e definido, treinamento adequado dos observadores, superviso durante aplicao e procedimentos de verificao peridica para determinar a qualidade das medidas realizadas. Observaes realizadas em fases iniciais de um projeto ou mesmo antes de seu incio podem ser de carter no estruturada, ou seja, realizadas de maneira informal.
A observao direta depende mais da habilidade do pesquisador em captar informao atravs dos 5 sentidos, julg-las sem interferncias e registr-las com fidelidade do que da capacidade das pessoas de responder a perguntas ou se posicionar diante de afirmaes. Em geral, este mtodo aplicado com o pesquisador completamente fora das situaes, fatos ou pessoas que est observando. Uma das vantagens desta tcnica que o pesquisador no precisa se preocupar com as limitaes das pessoas em responder s questes. Entretanto, um procedimento de custo elevado e difcil de ser conduzido de forma confivel, principalmente quando se trata da obteno de dados sobre comportamentos que envolvem alguma complexidade. Outro ponto a considerar o problema da interferncia do pesquisador (observador) no comportamento do observado. Alm disto, requer um intenso treinamento do observador.
Uma das primeiras fontes de informao a serem consideradas a existncia de registros na prpria organizao, sob a forma de documentos, fichas, relatrios ou arquivos em computador. O uso de registros e documentos j disponveis reduz tempo e custo de pesquisas para avaliao. Alm disto, esta informao estvel e no depende de uma forma especfica para ser coletada. Deve ser observado que, na maioria das vezes, j existe uma grande quantidade de informao nas organizaes e cujo uso para fins de avaliao tem sido muito pouco efetivo.
Dependendo do desenvolvimento da cultura organizacional, da estrutura e funcionamento dos sistemas de informao existentes na instituio, pode haver alguma dificuldade com esta tcnica, pois: (i) nem todos os dados esto completos (por exemplo: registros de 2 anos atrs no esto completos); (ii) os dados disponveis esto excessivamente agregados, dificultando seu uso; (iii) mudanas de padres com o tempo inviabilizam a comparao entre dados obtidos em pocas diferentes e (iv) Dados s so disponveis para uso confidencial.
5. Grupos focais
Um grupo focal (GF) um grupo de discusso informal e de tamanho reduzido (at 12 pessoas), com o propsito de obter informao qualitativa em profundidade. As pessoas so convidadas para participar da Pgina 2de 5 Ser Professor Universitrio / INSTRUMENTOS DE COLETA DE DADOS EM PE... 5/12/2008 http://www.serprofessoruniversitario.pro.br/imprimir.php?modulo=21&texto=1325 discusso sobre determinado assunto. Normalmente, os participantes possuem alguma caracterstica em comum. Por exemplo: compartilham das mesmas caractersticas demogrficas tais como nvel de escolaridade, condio social, ou so todos funcionrios do mesmo setor do servio pblico.
Os participantes de um GF so incentivados a conversar entre si, trocando suas experincias, relatando suas necessidades, observaes, preferncias, etc. A conversao conduzida por um moderador, cuja regra central incentivar a interao entre os participantes. O moderador incentiva a participao de todos, evitando que um ou outro tenha predomnio sobre os demais, e conduz a discusso de modo que esta se mantenha dentro do(s) tpico(s) de interesse. O objetivo principal de qualquer GF revelar as percepes dos participantes sobre os tpicos em discusso. As principais caractersticas de um GF so:
Cada grupo organizado com pequeno nmero de pessoas(no mximo 12) para incentivar interao entre os membros; Cada sesso dura aproximadamente 90 minutos; A conversao concentra-se em poucos tpicos (no mximo 5 assuntos); O moderador tem uma agenda onde esto delineados os principais tpicos a serem abordados. Estes tpicos so geralmente pouco abrangentes, de modo que a conversao sobre os mesmos se torne relevante; H a presena de observador externo (o qual no se manifesta) para captar reaes dos participantes.
Diferenas entre GFs e questionrios (surveys):
GF obtm dados qualitativos, enquanto que o survey obtm, prioritariamente, dados quantitativos; GF usa pequenos grupos, enquanto que o survey requer grandes amostras; GF no so teis para inferncias precisas a respeito de toda a populao; GF utiliza questes e respostas no estruturadas, enquanto que o survey utiliza questes muito bem estruturadas, padronizadas, e respostas precodificadas
Quando utilizar GFs: GFs so teis nos estgios exploratrios de uma pesquisa, ou quando administradores querem ampliar sua compreenso a respeito de um projeto, programa ou servio. GFs pode ser utilizado para monitorar um servio em execuo, para verificar, por exemplo, o grau de satisfao das pessoas que o utilizam, que mudanas gostariam de ver ou que dificuldades esto encontrando. Os passos mais importantes na conduo de um GF so: selecionar os participantes e escrever o guia do moderador (agenda).
Seleo dos participantes: antes de selecionar os participantes, devemos decidir de que grupo queremos obter informaes. Pblicos alvo muito diferentes no devem ser colocados juntos porque um pode inibir os comentrios do outro. A idade, posio social, posio hierrquica, conhecimento dos participantes e outras variveis, podem influenciar na discusso. Os participantes podem ajustar o que vo dizer conforme a situao em que se encontrarem no grupo. Por isso, a definio do grupo alvo deve ser a mais especfica possvel.
A agenda do moderador: descreve os principais tpicos a serem abordados, os quais devem ser citados durante a discusso, atravs de questes e pontos previamente anotados. As primeiras questes discutidas devem ser de carter geral e abordagem fcil, para permitir a participao imediata de todos. O objetivo obter o envolvimento e fluidez na conversao. Em seguida, questes mais especficas e de carter mais analtico podem ser apresentadas
Local de reunies: GFs normalmente so realizados em locais especialmente preparados para este tipo de atividade. A sala deve ser equipada com recursos para gravao da discusso, sendo que este fato deve ser comunicado aos participantes, assegurando-lhes anonimato e uso exclusivo das gravaes para as finalidades da pesquisa. Os participantes tambm devem ser informados da existncia de observadores da discusso.
Problemas a serem evitados: Os gerentes devem estar atentos para possveis armadilhas envolvendo a tcnica de GFs. A maior armadilha utilizar este recurso em uma situao em que no adequado como mecanismo de pesquisa. Devido ao fato de GF ser uma tcnica mais simples e muito mais barata do que um survey, corre-se o risco de optar por ela em detrimento de uma pesquisa mais ampla e precisa. O GF fornece informaes em grande nvel de detalhes e que normalmente no podem ser generalizadas para o resto da populao. Os surveys so generalizveis se a amostra for escolhida corretamente, mas as informaes que eles produzem so menos detalhadas do que os GFs e no contm os mesmos elementos de expontaneidade.
A pesquisa atravs de GFs uma ferramenta para gerentes do servio pblico interessados em saber mais Pgina 3de 5 Ser Professor Universitrio / INSTRUMENTOS DE COLETA DE DADOS EM PE... 5/12/2008 http://www.serprofessoruniversitario.pro.br/imprimir.php?modulo=21&texto=1325 sobre preferncias especficas e necessidades de seus clientes e/ou empregados. uma tcnica flexvel e pode contribuir trazendo novas idias.
Consideraes finais
Cada uma das tcnicas citadas anteriormente objeto de estudos profundos e detalhados na literatura especializada. Portanto, para melhor conhecimento, estudos comparativos, planejamento e aplicao de instrumentos de coleta de dados, altamente recomendvel que a bibliografia especfica seja objeto de consulta, estudo e discusses pelas equipes de monitoramento e avaliao. Neste sentido, as referncias nos. 1, 3, 4 e 5 citadas abaixo, so particularmente detalhadas a respeito da seleo, desenvolvimento e uso de procedimentos de coleta de dados.
Quadro Comparativo entre Tcnicas de Coleta de Dados
(*) desejo de nivelamento social refere-se tendencia de algum responder a um questionrio no exatamente da forma em que a realidade se apresenta para ele, mas influenciado por um desejo de se Tcnica de Coleta Pontos Fortes Pontos Fracos Questionrio - Garante o anonimato - Questes objetivas de fcil pontuao - Questes padronizadas garantem uniformidade - Deixa em aberto o tempo para as pessoas pensarem sobre as respostas - Facilidade de converso dos dados para arquivos de computador - Custo razovel - Baixa taxa de respostas para questionrios enviados pelo correio - Inviabilidade de comprovar respostas ou escla- rec-las - Difcil pontuar questes abertas - D margem a respostas influenciadas pelo desejo de nivelamento social(*) - Restrito a pessoas aptas leitura - Pode ter itens polarizados/ambguos Entrevista - Flexibilidade na aplicao - Facilidade de adaptao de protocolo - Viabiliza a comprovao e esclareci mento de respostas - Taxa de resposta elevada - Pode ser aplicada a pessoas no aptas leitura - Custo elevado - Consome tempo na aplicao - Sujeita polarizao do entrevistador - No garante o anonimato - Sensvel aos efeitos no entrevistado - Caractersticas do entrevistador e do entre- vistado - Requer treinamento especializado - Questes que direcionam a resposta Observao Direta - Capaz de captar o comportamento natural das pessoas - Minimiza influncia do desejo de nivelamento social - Nvel de intromisso relativamente baixo - Confivel para observaes com baixo nivel de inferncia - Polarizada pelo observador - Requer treinamento especializado - Efeitos do observador nas pessoas - Pouco confivel para observaes com inferncias complexas - No garante anonimato - Observaes de interpretao difcil - No comprova/esclarece o observado - Nmero restrito de variveis Registros Institucionais (Anlise Documental) - Baixo custo - Tempo de obteno reduzido - Informao estvel
- Dados incompletos ou desatualizados - Excessivamente agregados - Mudanas de padres no tempo - Uso restrito (confidencialidade) - Dados difceis de recuperar Grupo Focal - Baixo custo e resposta rpida - Flexibilidade na aplicao - Eficientes para obter informaes qualitativas a curto prazo - Eficiente para esclarecer questes complexas no desenvolvimento de projetos - Adequado para medir o grau de satisfao das pessoas envolvidas - Exige facilitador/moderador com experincia para conduzir o grupo - No garante total anonimato - Depende da seleo criteriosa dos participantes - Informaes obtidas no podem ser generali- zadas
Pgina 4de 5 Ser Professor Universitrio / INSTRUMENTOS DE COLETA DE DADOS EM PE... 5/12/2008 http://www.serprofessoruniversitario.pro.br/imprimir.php?modulo=21&texto=1325 apresentar externamente com outro nvel social, mais alto (ou mais baixo), conforme as convenincias de sua imagem perante sociedade. Por exemplo, em um questionrio de uma administradora de cartes de crdito, a pessoa pode se ver impulsionada a declarar uma renda pessoal acima daquela que realmente possui. Fonte: McMillan, J . H. and Schumacher, S. Research in Education. Addison Wesley Educational Publishers Inc., New York, 1997, pp. 274-275.
Bibliografia
1. Debra L. Dean, How to Use Focus Groups, in Wholey, J . S., Hatry, H. P. and Newcomer, K., eds., Handbook of Practical Program Evaluation, J ossey-Bass Publishers, San Francisco, USA, 1994, pp. 338-349. 2. Hartry, H. P. and Kopczynsky, M. Guide to Program Outcome Measurement for the U.S. Departament of Education, Washington, D.C., 1997. 3. McMillan, J . H. and Schumacher, S. Research in Education. Addison Wesley Educational Publishers Inc., New York, 1997. 4. Rossi, P. H. and Freeman H. E., Evaluation A Systematic Approach. Sage Pub., London, 1993. 5. Worthen, B. R., Sanders, J . R. and Fitzpatrick J . L. Program Evaluation Alternative Approach and Practical Guidelines. Addison Wesley Inc., New York, 1997.
Pgina 5de 5 Ser Professor Universitrio / INSTRUMENTOS DE COLETA DE DADOS EM PE... 5/12/2008 http://www.serprofessoruniversitario.pro.br/imprimir.php?modulo=21&texto=1325