A Falsidade das Margens de Erro de Pesquisas Eleitorais Baseadas em Amostragem por Quotas

Jos Ferreira de Carvalho (1) Cristiano Ferraz (2)

Texto motivado por ocasio do debate: A Estatstica na Pesquisa Eleitoral, promovido pelo CONRE, no dia 26 de agosto de 2006, em So Paulo

No sbado, dia 26 de agosto, um de ns (JFC) esteve em uma reunio promovida pelo Conselho Regional de Estatstica em So Paulo, sob ttulo: DEBATE: A ESTATSTICA NA PESQUISA ELEITORAL. Foi uma festa, tudo muito bem organizado, vrios amigos a se reencontrarem. O debate iniciou-se com apresentaes de palestrantes ilustres: Dr Lourival dos Santos, professor da USP, que nos mostrou como as pesquisas eleitorais afetam o voto do eleitor, ilustrando o tema com a descrio de diversos casos concretos; o Dr Carlos Alberto de Bragana Pereira, tambm da USP, que mostrou um modo Bayesiano para estimar as propores de votos e que, em comentrio, evidenciou a tolice da proposio de um nico valor para o erro admissvel na estimao das propores de votos. JFC pde ficar somente na parte matinal da reunio, ainda em tempo de ouvir a palestra da colega Mrcia Cavallari, diretora de pesquisas do IBOPE. A excelente palestra de Mrcia renovou o interesse por uma questo sempre presente. Vale a declarao, feita em pesquisas de inteno de voto, de que a margem de erro tantos por cento, para cima ou para baixo, com tal confiana? Foi dito na palestra, que: 1. a amostragem conduzida pelo IBOPE no probabilstica; ela se baseia no esquema de quotas; 2. o esquema de quotas usado, em que pese o reconhecimento das vantagens de um esquema probabilstico, por questes de tempo de execuo; 3. o professor Leslie Kish, em seu livro, apresenta e justifica o emprego de amostragem por quotas; 4. houve estudo feito na Inglaterra, em que se mostrou a adequabilidade do esquema de amostragem por quotas. 5. Quando houve problemas com uma pesquisa em Braslia, o problema foi solucionado com o uso correto da amostragem probabilstica que foi demorada e mais custosa. Claro que essas citaes so feitas de memria e que elas refletem apenas parte da palestra, justamente a que nos interessa para esta discusso. As pesquisas eleitorais assumem importncia fundamental no processo de eleies. No somente balisam os candidatos, para orientarem seus trabalhos de convencimento de eleitores, mas tambm, como aprendemos na palestra do Prof. Lourival, podem influenciar o eleitor. So instrumentos no s de prospeco, mas tambm de conduo do processo. Deve ser por isso que as autoridades que ordenam o processo de eleies faam exigncias, como o registro de pesquisas, a nomeao de um responsvel

tcnico e da declarao da margem de erro. A amostragem por quotas, largamente usada em pesquisas de opinio e em pesquisas de mercado, no pode ser considerada alternativa vlida amostragem probabilstica. Problemas de presteza na execuo e de oramento no servem como justificativa. O problema que no h como se estimar parmetros populacionais cientificamente, a partir de uma tal amostragem. As margens de erro declaradas, como admite o IBOPE, so baseadas em frmulas de amostragem aleatria simples, a conhecida expresso para a varincia, pq/n. Mas esta varincia no se aplica amostragem por quotas ou a qualquer mtodo de amostragem no probabilstica. As justificativas apresentadas na palestra so baseadas em dois argumentos. Um o princpio da autoridade, fundamentado em um trabalho experimental feito na Inglaterra e na opinio do professor Kish, que so apresentados, sem mais explicaes, como defesas do mtodo. O outro argumento a presteza na execuo: a amostragem aleatria demoraria demasiadamente. No h uma justificativa matemtica, logicamente correta. Infelizmente, somos obrigados a dizer que as justificativas apresentadas so, em si mesmas, falsas: a opinio publicada do professor Kish diametralmente oposta declarada; e bem outra a nossa leitura do resultado de uma pesquisa emprica, conduzida na Inglaterra e publicada em 1953, que no recomenda o uso do mtodo de quotas em pesquisas nas quais os resultados devem ser derivados por mtodos propriamente respaldados pela teoria estatstica de amostragem.

A pesquisa inglesa
A pesquisa emprica mencionada anteriormente descrita no artigo de Moser e Stuart (1953) e, dados os seus objetivos, - comparar amostragem por quotas com amostragem probabilstica era um deles - vale a pena focar alguns de seus resultados. O estudo foi feito face a controvrsias envolvendo pesquisas conduzidas em amostragens por quotas, na Inglaterra e Estados Unidos, j naquela poca, a dcada de 50. O desempenho de quatro tipos de amostras por quotas foi comparado com o de uma amostra aleatria, a partir de pesquisas realizadas em trs cidades: Birmingham, Bristol e Edinburgh, no ano de 1952. Como parmetro de avaliao, utilizaram-se as discrepncias entre as estimativas geradas pelos mtodos concorrentes e os nmeros observados pelo censo de 1951. Para analisar os dados referentes distribuio por ocupao entre homens e mulheres, foram calculadas estatsticas qui-quadrado do teste de adequabilidade de ajuste, tomando-se os valores censitrios como valores esperados (Moser e Stuart, 1953, pgina 366). Em que pese a natureza descritiva deste procedimento, os dados relativos aos homens mostraram que, das doze estimativas geradas pelo mtodo de quotas, sete diferiam significativamente dos dados do censo, enquanto que nenhuma das trs estimativas geradas pelo mtodo probabilstico apresentou discrepncia notvel dos valores censitrios. Os dados referentes s mulheres no deixam por menos: das doze estimativas geradas pelo mtodo de quotas, onze produziram nmeros diferindo significativamente do censo, ao passo que em apenas uma das estimativas produzidas pelo mtodo probabilstico observou-se discrepncia significativa. Em relao varivel educao, os autores se sentiram vontade em indicar que os resultados obtidos via amostragem por quotas tendem a captar indivduos com melhor nvel de educao. Observaram ainda que, dos quatro tipos de amostragem por quotas estudados, trs produziam valores discrepantes das observaes censitrias por mais de dois desvios-padres, enquanto os valores produzidos pelo mtodo probabilstico estavam bastante prximos dos observados pelo censo. As anlises no param por a. Foram comparados ainda dados relativos varincia das estimativas

e taxas de no-resposta observadas. Obter essas informaes para o mtodo de quotas s foi possvel graas existncia de replicao do plano de amostragem e orientao explcita aos entrevistadores para registrar todos os casos de recusa das entrevistas o que no da praxe daqueles que utilizam o mtodo. Os dados indicam uma tendncia da amostragem por quotas a produzir varincias (reais) de estimadores consideravelmente maiores do que as correspondentes da amostra aleatria. O mesmo ocorre no que diz respeito a taxas de no-resposta. Ns desconhecemos outros trabalhos de comparao desta natureza e, por isso, somos levados a crer que a citao (do estudo ingls) do mesmo artigo.

O livro do professor Kish

O livro Survey Sampling, de Leslie Kish (1965), menciona amostragem por quotas logo no incio, ao descrever os vrios esquemas de amostragem. Diz o autor que este um esquema largamente usado em pesquisas de opinio pblica e em trabalhos de pesquisa de mercado. O esquema de amostragem por quotas apenas descrito, naquela seo do livro. Depois disso, somente na pgina 562 volta ao assunto, agora mais detalhadamente. Kish declara textualmente:

o mtodo no cientfico, o que torna sua avaliao impossvel o mtodo artstico (sic) tipicamente, no se faz uma tentativa de calcular a varincia adequadamente, e a expresso pq/n audaciosamente (sic) assumida e apresentada... O assunto importante continua: ningum sabe quo bom o desempenho de amostragem por quotas. Afinal de contas, os mtodos mais pobres podem produzir bons resultados para variveis que so aleatorizadas sobre a populao. As pesquisas do Literary Digest foram sucessos por anos. Em muitos outros casos no h como verificar-se o desempenho. Devemos deixar de lado as tentativas ingnuas de usar os controles de quotas, como idade, sexo e regio, como provas de desempenho da amostragem. Verificaes em variveis que no so usadas nas quotas freqentemente revelam grandes discrepncias. Alm disso, predies eleitorais freqentemente falham, algumas vezes por larga margem. Muitas dessas so convenientemente esquecidas. Algumas transformam-se em escndalos gritantes; ento trata-se de explicar os fracassos com explanaes e desculpas, as quais so ignoradas enquanto no so necessrias.

No preciso continuar a copiar o livro, para ver que, de fato, Kish fortemente crtico prtica da amostragem por quotas. Se nos permitida uma citao testemunhal, no registrada, vale dizer que um de ns (CF) esteve com o professor Kish em Ann Arbor, no Michigan, em 1996. Indagado sobre exatamente esta questo, eis sua declarao: V. no leu o meu livro? Pois eu assino embaixo, at hoje, de tudo que l est escrito sobre a questo.

Concluso
Bem, j que no h justificativa estatstica para amostragem por quota, existiria alguma outra, talvez da prtica, baseada em heurstica? O extenso levantamento de resultados de pesquisas eleitorais documentado no livro Pesquisa Eleitoral: Crticas e Tcnicas, do professor Jorge de Sousa, da UnB, refora a tese de que a resposta negativa! Jorge de Sousa teve, na ocasio, fcil acesso a dados de

pesquisas eleitorais realizadas no Brasil, j que era assessor legislativo do Senado Federal. O levantamento mostrou que a maioria das pesquisas errava muito alm das declaradas margens de erro. Eis ento o problema posto. Segundo a fraca lgica de algumas firmas de pesquisa de opinio, amostragem aleatria cara e demorada, logo invivel; alternativamente, usa-se amostragem por quotas, convenientemente mais barata e mais rpida. Ocorre que no se sabe o que pode sair de uma tal pesquisa, j que os estimadores so arbitrrios e injustificados. E as margens de erro declaradas no tem fundamento. No existe a alternativa. Estamos em uma situao como a de um paciente, que sofre de mal incurvel, a quem lhe aplicam um tratamento, algum tratamento, mesmo sabendo-se que para nada serve. Isso pode configurar m-f e, mesmo em havendo boa f, um erro mdico. Ns achamos que a declarao da margem de erro em amostragem por quotas configura-se em um erro estatstico, aqui usando-se o termo como empregado em erro mdico. Se no se pode fazer o levantamento de modo adequado, melhor no o fazer! E se no se garante a preciso das estimativas, melhor no se divulgar algo, possivelmente errado, que pode influenciar o processo eleitoral. de todo recomendvel que as autoridades que conduzem o processo eleitoral exijam no apenas a declarao da margem de erro, mas que demandem a prova de que a margem mesmo aquela declarada. Francamente, duvidamos que algum possa sensatamente calcular margens de erro (erro mximo admissvel) em amostragens por quotas.

Referncias
MOSER, C.A. and STUART, A. (1953) An experimental study of quota sampling, JRSS (A), 116, 349405. KISH, L. (1965) Survey Sampling, John Wiley and Sons, NY SOUZA, J. (1990) Pesquisas Eleitorais: Crticas e Tcnicas; Centro Grfico do Senado Federal, Braslia DF. (1) Estatstico (CONRE 4414) Professor (aposentado) de Estatstica UNICAMP Ex-membro do Centro de Estudos de Opinio Pblica (CESOP) Unicamp Consultor, Statistika Consultoria carvalho@statistika.com.br (2) Estatstico Professor de Estatstica da UFPE Coordenador do Bacharelado em Estatstica da UFPE cferraz@de.ufpe.br

Agradecimento
Ao Prof. Dr. Carlos Alberto de Bragana Pereira, pela leitura do texto e comentrios. Naturalmente, todas as opinies e responsabilidade pelo texto so dos autores.