.l~ ~~'-\.'-c\SW\. \.~c)D~) UQ"-'-At) \,--'LS\..lI.,j\llV',- -" "'---'-- :'.

~

.1.a:~ t l.a_ ~Q_ lo<J'l.S.~CU . .\~p. k 't.:.~<_)'_f\'~Q_S e" c_ ,-,,-~q_e'-i tS.tO.s i

~C!Jc~~CL00.s I C-c..\_~e_ I ~C(_u..c..~J ~~ .~~\:J- ~tg ..

12 VERIFICAR SE AS PERGUNTAS FUNCIONAM COMO SE PRETENDE

Ao Ion go dos capftuJos anteriores apresentaram-se numerosos exernplos ~e perguntas cujos resultados obtidos nso correspondiam ao que se pretendia, De igual modo, foram referidos muitos estudos em que perguntas supostamente testadas no sentido de precaver qualquer inoperancia acabavam par ser mal interpretadas por boa parte dos inquiridos. Vale a pena voltar a estes estudos, porque eles constituem a base a partir da qual se descnvolve este capitulo.

Nuckols (1953) tomou nove perguntas utilizadas por The Quarters Polls que apresentavam diversas dificuldades e apresentou-as. a uma a:nostra aleat6ria de quarenta e oito individuos com urn nivel medio de rendlme~to a quem pediu que reescrevessem as questoes utilizando as suas pr6pnas palavras. Em cada seis interpretacoes, uma estava parcial au tot.a~mente incorrecta. Para alern disso, ao contrario do que seria de esperar, verificou-se que nao existia relacao alguma entre a dificuldade das perguntas e as erros de interpretacao,

Belson (1981) constatou fenornenos semelhantes ao analisar mais de 2000 perguntas construidas para vinte e quatro estudos de mercado distintos ao longo de urn perfodo de dois anos, 0 que permitiu identificar algumas perguntas em que seria de esperar que os lnquiridos sentissem dificuldades em responder. Seguidamente, seleccionaram para uma analise em profu~didade quatro exemplos de cada urn dos seis tip os de problemas que mars recorrentemente atravessarn as perguntas. as tipos escolhidos referem-se a perguntas que: implicam mais do que uma resposta; contem muitas palavras cujo significado e importante; incluem frases ou clausulas de qualifica"ao; referern-se a d o is ou mais assuntos; corihecem dificuldades de vocabulario: e incluern instrucoes. Uma primeira aplrcacao das perguntas nao evidenciou grandes sinais de duvida ou dificuldade par parte dos inquiridos, mas uma analise em profundidade revelou enorrnes problemas de cornpreensao:

200

VERIFIC'AR 5E AS PERCUNTAS FUNCIONAM COMO SE PRETENDE

201

No conjunto das perguntas testadas, a percentagem (de interpreracoes que podiam aceitar-se como reflectindo os significados 'pretendldos) (. .. ) foi, em media, apenas de 29%. Para alem disso, em oito delas verificou-se que a percentagem de respostas dentro de Iimites aceitftveis era inferior a 16% e num caso nern urn unico lnquirido, num total de 59, respondeu dentro de limites aceitaveis, Para alem disto, nas perguntas testadas, a mais elevada taxa de sucesso foi apenas de 58% (Belson, 1981,350·51.).

Belson (1981,356-9) analisou a forma como eram entendidas certas palavras de normal utilizacao nas perguntas (par exemplo, "habitualmente", "dia de sernana", "criancas", "casa", "geralmente", "regularmente", "imparcial" e "proporcao"). Numa detenninada pergunta, 0 termo "habitualmente" devia ser interpretado como "ordinariamente", "normalmente" au "em regra", mas apenas 60% de 445 interpretacdes se ajustavam a tal significado. Muitos inquiridos entendiam a palavra no sentido de "regularmente", "rnaior numero de vezes do que 0 contrario", "pelo rnenos algumas vezes", etc.

Hunt et al. (1982) descrevem as resultados de uma investigacao sobre a eficacia de certos proced imentos de pre-teste pa ra d etectar e prevenir os cinco defeitos identificados como multo frequentes par Payne (1951), nomeadamente: perguntas capiciosas; duplas perguntas; perguntas com vocabulario ambiguo; lItiliza~ao de conjuntos inadequados de opcoes de resposta e insuficiencia dessas opc;6es. as autores apresentaram urn conjunto de perguntas que incorriam nestes defeitos a varies grupos de pessoas pedindoIhes que as criticassem. Em media, por eada urna das perguntas testadas, apenas 12,8% dos inquiridos a fez relativamente a erros na respectiva formulacao, A mais elevada percentagem de deteccao de Ialhas surgiu a prop6sito da inexistencia de certas opcces de resposta, mas mesmo aqui apenas 52% dos inquiridos se manifestaram.

Os resultados relatados par Belson (1981) e por Hunt et al. (1982) sugerem com bastante clareza que nao se deve descansar na capacidade de reaccao dos inquiridos para indicar quais as problemas que as perguntas apresentam, De facto, Belson (1981,5), como outros autores (por exemplo, Fowler e Mangione, 1990), acaba por concluir que 0 pre-teste do questicnariu, embora possa ser uti! no levantamento de problemas relatives a situacao de inquiricso, nao constirui urn procedimento eficaz para detectar se as participantes interpretam correctamente as perguntas.

Parece que as inquiridos se esforc;am 0 mais que podem para responder as perguntas que lhes sao colocadas, chegando ao ponto de as modificar mentalmente, se tal for necessarto, para que elas adguiram sentido e seja possivel responder. Neste contexto, Belson (1981, 370) sugere a hip6tese de que "quando urn inquirido sente d ificuldad es com uma pergunta, e provavel que a modifique de forma a poder responder-lhe sem problemas".

202

COMO rBRC·UNTAR

Alguns tip as de pergunta sao parricularmente vulneravsisas modificacoes previstaa pela hipotese de Belson, designadamente as que apelam a ·calculos mentais (por exemplo, "quantas vezes por mes utiliza X?"), as que nao sao aplicavets ao inquirido (por exemplo, que questionam assuntos ou comportamentos que 0 inquirido nrio pratica nem conhece), as de ambito muilo geral e as que cornpreendem duas partes em conflitoe que, portanto, tendem a gerar parcialidade nil resposta.

As consoqunncias inerentcs a estes estudos sao claras. 0 investigador deve sem pre esperar que alguns dos \ nqulridos nao in terpretem as perguntas como seria desejavel, Para alern dl!ISO, uma vez que cada um dosestudos referidos trabalha sobre question,hios jt!. anleriormente aplicados a populao:y6es reels, e igualmente clare que as tradicionais procedirnentos de pre-teste nao assegurarn urna adequada vcriIicac;ao sabre a validade das perguntas.

E-sc assim conduzido ao problema do que pede ser Ieito para assegurar que as perguntas funcionem nos termos pretendidos. Para a.lem do rradtcional pre-teste do questionarto e da listagem de norrnas, existe urn certo mirnero de procedimentos que 0 investlgador pode adoptar, designadamente pedir aos inquiridos que rcescrevam as perguntas com £IS suas pr6prias palavras, queseiona-los dirsctamente sabre a interpretadio que de ram a certas palavras utihzadas nas perguntas e estimula-Iosa "pansar alto" enquanta formulam as respostas. Na proxima sect;5.o, vamos ver cada urn destes proccdimentos, lnclulndo a listagem de normas c 0 pre-teste de gu est ionarios.

Listagem de normas

Poucos tcrilo duvidas de que urn dosobjectivos princlpais de quem formula perguntas no quad ro de. uma invest igac;iio em ciencias socials e que alas sejarn correctamcnte entendidas pelos inquiridos, No plano mctodo16gico, e normalmentc aconselhado que esse formulac;ao obedeca a tim conjunto de. principlos que a experiencia entretanto acumulada permttlu idcnfificar e sisrem aHzar e que, seguid amente, He submeta 0 questionario assim construfdo a urn pnHeste junto de uma pequena amostra (vinte au lrinta individuos) da popula~ll.o a inquirir. Mais adinnte neste texlo encontra-se uma lista de normas a que a Iormulacao de perguntas para urn questtonaric deve obedecer, a qual e uma am algama deum conjunto de regrasque tern. stdoavancadas par varlos metod6Iogos.,.· a que se adickmararn algumas norm as resultantes das conclusces dos capttulcs 3 a B deste Iivro, Ndo ha duvida de que as perguntas que obedecam a todos as prlnctpios Iistadcs terAo mater prob-

Designadamenle, Cantrile Fried (19~4), SeUtiz tI 1/1. 096S1,~iunl dill. (1982)e Belson (986).

I \

)

VERIFIC A II. BE AS PERC UNTA 5 FUNCION AM COMO SE PRETENDE

203

abilidade de funcionar 1109 termos pretendidos pelo investigador, mas deve reconhecer-se que seguir estes principios nao g.aran re, por si so, a construcso de perguntas que funcionem de acordo com os objectivos prctendidos.

Uslagem de 110rtl111S para lima boa !ormulaqi'lo de pcrguntas

Para cada pergunta 0 lnvestigador dcve:

a) Assegurar que a t6pico foi claramente dcfinido;

b) Ser clare quanto no lipo cle informac;ilio que pretende obter e sobre a razao pela qual pretende essa informac;fio;

c) Assegurar ql1e a t6pico foi adequadamente definido aos inquir!dos

evitando utillzar palavras.

ta 0 a bstract as e / ou genericas que ni'lo d ispoem de q ualquer referendal empfrico concreto;

com elevada probabilidade de serem mal interpretadas pelos inquiridos quer por se tratar de palavras raramente utilizadas na vida quotidiana, quer por serem de palavras utilizadas sobretudo em determinados maios (por-exemplo.calao ou termos tecnlcos):

d) Assegurer que a pergunta ·e. relevante para os inquiridos arraves de:

utilizaC;iio de filtros adequados:

evltando solicitar Informadio que multo provavelrnente jfl Iol esquecida;

evitando perguntas hipoteticas;

e) Assegurar que a pergunta ndo sofre enviesamanto atraves de:

urn adequado balanceamento des palavras introdut6rias (por exernplo, "algumas pessoas gostam de X enquanto outras nan gostam. Voel! gosta ou nao de X?";

conjuntos de opcoes de resposta complelos;

conjuntos de opc;oes de resposta equlllbradasi

evitando uttlizar pnlavras que idlo provavelrnente provocar rcacc;oes estereottpadas,

o Eliminar complexidades que duninuerna f,okil apreensao do significado

da pergunta, designadamente:

evltando colocar duas perguntas ao mesmo tempo;

evitando utilizer palavras que t~m vsrios slgnificadosi verificando se a pergunta est~ redigida da fonna mais simples posslvel;

evitando usar muitas palavras semantlcamente densas na mearna

pergunte:

evitando utillzar clausulas de selccc;~oassim como cornpllcadna instruC;oes adictonais que levamos inquiridos a iniciar a resposta antes dea pergunta ser ccmpletamenre formulada (nos casos em

•

204

COMO PEIlGU NT" R

g)

que e preciso instrucoes espedficas e lou frases restritivas, elas, deveri:io surgir antes da pergunta e nao no fim ou no meio): verificar se a pergunta esta fonnuJada na forma mais curta posstvel;

- evltar a utillzacao de expressOes na negativa e na dupla negativa; Assegurar que os lnquirldos percebem 0 tipo de resposta que ~ solicitado, designadamente:

colocando a pergunta no respective Fontexto;

informando oe inquiridos sobre a razAo de ser da pergunta; informando-os sobre os destinos da informacao que vao Iomecer-: especificando a perspectiva que eles devem adopta r ao responder.

Testar 0 questionario

Entre as investigadores que utilizam queedonarios parece estar a ernergir um consenso relative a utilidade de realizer um pre-teste nurna pequena amostra constitulda por inq ulridos pertencentes a populacoes-alvo. Este procedimento parece ser mais uti! na prevcncao de aspectos relacionados com diIiculdades a 0 nivel da in teraccao en rrevlsta dor Ii nquirid 0 do que para d etectar se este interpreta ou nao as perguntas nos tcrrnos pretendidos, Apesar dlseo, as impressoes dos entrevistadores constuuem uma (ante indirccta de informa<;ao sobre a forma como as inquiridos "percebem" as pcrguntas e muitas sugestces tern surgido no sentido de optimizer este canal de informacao,

permitindo melhorar os questtcnarios. '

No passado. as investigadores can tenta vam-se em instruir as en trevistadores no sentido de tomarem nota das perguntas em que os inquiridos scntiarn diftculdades - au seja, "hesitassern de mais" , "se rissern de", "pcdissern esclarecimentos", etc. - 0 que consritula uma exigencia adicional para quem ja tern de estar concentrado na propria realizacao da entrevista, Respondendo a este problema, DeMario (1983, 101) propOs que os en travistadores trabalhassern aos pares durante a fase de pre-teste, permitindo que enquanto urn realizava a entrevista 0 outro pode se concentrarsse na observac;ao e subsequente anotac;a0 dos comportamentos e reaccoes dos inqulridos e do pr6prio entrevistador. Dcsta forma, pretendia-se diminuir fortemente a possibilidade de se verlficarern perdas de inIormac;ao relati~amente ,\!;S dificuldades sentidas pelos inquiridos ao lidar com as perguntas.

Igualrnente preocupados com esee assunto, Converse e Presser (1986) sugere~ que as entrevistadores que operam na fase de pre-teste devem ser cnccrajados a tomar abundantes notas nas margens dos questionarios enquanto reallzam as entrevistas e que devem partidpar em discussoes de grupo para melhor iclentificar as problemas e as perguntas onde estes surgcm. Recomendam alnda que deve sisternaticamente perguntar-se-Ihes:

, .

,', 1

.',

.e

VERIFICAR se AS PERGUNTAS FUNCIONAM COMO 51! PRETENOE

205

, , , ,

a) Alguma das perguntas se revelou perturbadora para os inquiridos?

b) Foi preciso repetir a lguma 7

c) Alguma vez os Inquiridos interpretaram mal as perguntas?

d) Em que perguntas se sentiu "sem jeito" ou teve majores dificuldades de leitura?

e) Em alguma parte do questionarlo sentiu que estava a tornar-se fastidioso?

f) Em alguma parte do questionarlo teve a sensacao de que os !nquiridos gostariam de ter oportunidade para falar mais?

I

Fowler e Mangione (1990,93) sugerem mesmo que as entrevistas realizadas no quadro do pre-teste deviam ser gravedas, de modo a permitir uma veriftcacao posterior do nurnero de vezes que cada pergunta e !ida nos exactos termos em que foi rediglda ou que os inquiridos pedem esclarecimentes, ou ainda em que foi neceaaario requestiona-los antes de as respectivas respostas serem consideradas adequadas. Fowler e Mangione dizem que:

Pensarnos que identificar as pergun!:'Ig que provocarn elevados ntvets de requestlonarnentc e melhora-lne antes de n pllcar 0 questionario !! uma das formas fillis fecundaa de reduzir os problemas de enviesarnento reladonados com os entrevlstadcres (Fowler e Mangione, 1990,91),

Testnr as perguntas

Foram desenvolvidas tres t~cnicas que se enquadram na designacao geral de "procedimentos de teste de perguntas". Ao contra rio do pre-teste, que normalmente envolve 0 ensaio do questionario na sua totalidade ou a realizac;5.o de enrrevlstas sujcltas a uma marcacao previa, estes procedimentos limitam-se normalmente a testar em profundldade nao mais do que rnela duzia de perguntcs de cada vez,

Pedir aos inquirldos qu« reescrcvllm as pl!rgurlfas par patmnns SIIlI5

Este procedimento foi utilizado pela primeira vez par Nuckols (1953) que colocou nove perguntas seleccionadas do "The Quarters Polls" a uma pequena amostra de inquiridos, Ap6s a normal apr sentacao de cada uma del as, pedia-se aos inquiridos que transmitissern par palavras suas 0 significado da pergunta de modo tao preclso quanta possfvel, sendo as auas interpretacdes textualmente registadas e mais tarde classificadas de acordo com as seguintes quatro categorills:

,

206

COMO PERCUNTAR

a) inteiramente correcta - sem ausencia de componentes essenciais;

b) gLobalmente correcta - nao mais do que uma parte omitida ou alterada;

c) parcialmen te incorrecta - mas percebendo-se que 0 inquirido reconhe-

ee 0 assunto em questiio;

d), Fompletamente incorrecta e sem respostas,

Nuckols ad mite que a capacidade das pessoas para parafrasear uma per~mta nao implica necessanamen te a com preensao do seu significado. Por outro lado, argumenta que quando os inquiridos fomecem interpretacoes incorrectas e razolivel concluir que eles nao perceberam a pergunta. mas nem todos as metod6logos aceitam este argumento - por exemplo, Belson (1981, 14) avanca a ideia de que reescrever uma pergunta utilizando as suas pr6prias palavras e uma tare fa distinta de a interpretar e responder-lhe, Enquanto a primeira tarefa pode estar compreendida nas competencias de alguns inquirid os, e possfvel que a segunda nao esteja. Se Belson tern razao, e provavel que 0 procedimento propos to por Nuckols subestime a extensao com que os inquiridos interpretam erradamente as perguntas.

A dupla enireuisia

Este procedimento traduz-se essencialmente na apresentacao de cad a uma das perguntas seleccionadas para teste nos moldes normals e, obtida a resposta, prosseguir colocando urna serie de questfies construidas para detectar as inrerpretacoes que os inquiridos deram aos conceitos-chave que integrai:n as perguntas (ver Cantril e Fried, 1944; Gordon, 1963, citado par Belson, 1981,20; Belson 1981, 390-395, e 1986, 29-32).

Belson e seus eolaboradores empenharam-se bastante no desenvolvimente deste procedimento, cornecando por uma entrevista-padrao (1986, 30-31) depois da qual 0 entrevistador prossegue a inquiricao testando tres ou quatro perguntas. Para cada uma, ele comeca por rele-la a pergunta acornpan han do-a da respectiva resposta original. Solicita-se entao ao inquirido que explique como chegou a resposta que fomeceu, e se necessario, 0 entrevistador requestiona-o exaustivamente de modo a obter uma explicacao completa por palavras suas:

Agora gostava que voltasse atras e me dissesse exactamente como chegou a esta resposta ... au: 0 que 0 levou a responder nestes termos ...

Deste modo, 0 entrevistador coloca uma serie de perguntas especfflcas que o lnvesrigador construiu para detectar como e que os inquirldos interpretam os conceitos chave. Para uma pergunta como: "Quantas p,essoas existern em

. "\

VERIFICAR 510 AS PERGUNTA5 PUNCIONAM COMO 5E PRETENDE

207

sua casa?", as perguntas a coloear para verificar a interpretacao dos inquirides podem ser:

Para responder a pergunta fez uma contagem por alto au uma contagem rigorosa?

Nao se esqueceu de se incluir na contagem?

A que periodo de tempo se refere a sua resposta: no]e, a semana

passada ... 7

Excluiu alguern -por exernplo, bebes, mernbros da famflia que estejam ausentes, h6spedes, parentes que vivarn com a familia, etc.?

Solicitar nos inquiridos qru "pensem alto" enquanto respondem CIs perguntas

Este procedimento baseia-se na ideia de registar os pensarnentos que ocorrem aos inquiridos enquanto formulam as respostas a determinadas perguntas previarnente seleccionadas para analise em profundidade (ver Hunt et aI., 1982; Jabine et aI., 1984, discutido par Fowler e Mangione, 1990: 92). 0 entrevistador grava as verbalizacoes dos inquiridos ou pede-lhes que as escrevam. Posteriormente, urn &upo independente de codificadores class ifica esse material de acordo com 0 tipo de dificuldade experi.mentada pelos inquiridos ao responder a cada pergunta.

Hunt et al. (1982) utilizaram os procedimentos da "dupla entrevista" e do "pensar alto" para testar 0 mesmo can junto de perguntas em amostras de tipo acidental recolhidas em duas lojas, e para alern disso, usararn 0 segundo numa inquiricao par telefone. Os dois metodos prod uzirarn resultados muito semelhantes nas duas amostras acidentais, enquanto 0 procedimento de "pensar alto" fomecem melhores resultados na inquiricao telef6nica do que nas outras duas. Infelizmente, os autores nao utilizaram 0 procedimento da "dupla entrevista" pela via telef6nica, pelo que nao e possivel estabelecer comparacces a esse nive!. 13 possivel que as pessoas que faziam compms nas lojas estivessern dernasiado ocupadas para prestar muita atencao as perguntas, Se for esse 0 caso, a "dupla entrevista" podera tarnbem apresentar melhores resultados, como aconteceu corn 0 procedirnento de "pensar alto" utilizado na arnostra inquirida par telefone. Trata-se de urn assunto que requer maior aprofundamento.

Sumario

Frequentemente, as perguntas lnclutdas em questionarios nao atingem as objectives espedficos que lhes estao associados. Apesar de a listagem de normas relativas a construcao de perguntas contribuir para reduzir 0 numero

f

208

COMO ~URGU NTAR

das que levantarn problemas, MO devera pensar-se que 0 mere cumprimento daquelas normas ira garantir a a usencia de todos eles, Por outro lado, se bem que 0 pre-teste do questiomlrio constituia um procedimento dificilrnente criticavel, ele parece mais vocacionado para detectar problemas relatives a ~i~iculdades se~lidas pelos entrevistadores do que propriamente para identificar 0$ relaclOnados com a forma como as Inquiridos interpretamas per~tas. No. quadro da investiga~ao em <;ii!ncias soda is parece, pois, u~dlS~ensaveltestar em profundidade quer as perguntas potencialmenle dlffceis, quer determinadas palavras-chave urilizades nas perguntas. Ate a data, fora m desen volvidos cres dilerentes tipos de procedlmento que penni=. testar. a fO.n:na como as perguntas sao interpretadas, designadamente: pedir aos inquirldos que reescrevam as perguntas pelas SUllS pr6prias pala~ras;. ~sar a "dupla entrevista", em que ap6s responderema pergunta os mq~~dos sa~ que.st.ionados sobre como chegaram as respectivas respostas; e Soliclf~r a~s mqwndos que "pensem alto" enquanto formulam as repostas, A experiencia acumulado sobre estes procedimenres nao B ainda suficlente P?rll p;Imitir c~m.parac;Oes e estabelecer Ulna hierarquia eredfve! sabre as vlrruahdadese lirni tes de cada urn, razao pela qual se recomenda que, sempre que posstval, se urilizem pelo menos dois deles.

•

13 COMENTAruos FINAlS

•

. i

Ao longo dos anes, os investigadores tornaram-se cada vez mais confiantas na informacao verbal. e est" tendencia nao apresenta quaisquer sinais de inversao. Apesar de os procedimentos utilizados na recolha de informa~ao verbal nao serern nem melhores nem piores dos que tem side usados para recolher outros tipos de inlormaG8.o (por exemplo, procedimentos de obserVEu;iio, rnedidas nao obstrurivas de Ienomenos fIsicos), ainda vale a pena desenvolver esforcos no sentido de beneficiar a sua fidelidade e validade. A atitude que se assurniu neste texto e de que a melhor forma de melhorar a q ualidade da informacao verbal consists em compreender melhor a na tureza do comportamento pergunta-resposta.

Um pressuposto basico consistiu em asscrnir que os Iacrores que afectam a forma como as pergulltas Iunctonam nao podern entender-se fora do contexte em que sao util.i:zadas. A adoPGiio desta postura decorre de se entender a comunlcacso humana como urn fenomeno de caracter reflexive, Ao interpretar comportamentos verbals, os seres humanos t,em reciprocamente em conta os pontos de vista dos outros. As respostas dos inquiridos reflectem 0 que eles assumem que 0 in vesrigador quer saber e 0 que pretende Iazer com a info.rma<;ao que vao fornecer. Entre outras coisas, estes prlnclpios lmplicarn que os inquiridos devem ser vistos como estando constantemente a formular interpreta<;oes sobre 0 comportamento do in vestigador, 0 que, par sua vez, influencla constanternente 0 seu comportamento face ao entrevistador. Implicam lambent que e errado tratar as inqulridos como sujeitos passtvos reaglndcapenas as solicita<;oes do investigador, E mals fecundo pensa-Ios como sujeitos activos envolvidos na tarefa de eraprestar sentido as perguntas que Ihes sao colocadas. ELes devem a inda set per:specti vades como ~gentes actives na medida em que tentarn constantemente exercer algum controlo eobre a situa~ao em que se encontrarn.

o modelo de comportamento pergunta-resposta inicialmente apresenlado no capitulo 2 represents uma ten tativa para Integ rar estes conheci men-

209