Rio de Janeiro, 19 de maro de 2012.

Pesquisa de Boca de Urna do 2 Turno para Presidente/2010.

I Introduo
Em 26 de Fevereiro de 2011 enviamos carta ao TSE com sugestes para aprimorar as instrues normativas dos registros das pesquisas eleitorais. Dentre as propostas apresentadas inclumos temas polticos, como por exemplo, a divulgao indevida das pesquisas de inteno de votos no incio do ano eleitoral e antes da confirmao partidria dos candidatos (simulao que s interessa aos idealizadores do jogo poltico), assim como a pesquisa de Boca de Urna divulgada poucas horas antes do anncio oficial do TSE, cuja inconvenincia tornar-se- flagrante quando o vencedor apontado na Boca divergir do resultado do TSE. Abordamos nessa mesma carta crticas sobre aspectos tcnicos e para ilustrar utilizamos duas pesquisas divulgadas poca: a do Datafolha sobre Aprovao do Governo Lula em 26/10/2010 que dava a cifra de 83% de aprovao, e a do IBOPE que apresentou no 2 Turno da eleio em 31/10/2010 a previso de 58% de votos vlidos para a candidata Dilma. A seguir reproduzimos o ltimo captulo inserido na referida na carta, a qual pode ser vista na integra no site do CONFE, para que possam compreender o objetivo da nossa iniciativa:

Aproveitamos para transmitir a esse egrgio tribunal a convico quanto importncia para nossa sociedade da criao de um canal de comunicao que permita interao gil entre os Conselhos Regionais de Estatstica (CONRE) e os Tribunais Regionais Eleitorais (TRE), priorizando a participao do profissional estatstico na avaliao das metodologias e anlise dos resultados das pesquisas poltica, facilitando assim a convocao do estatstico como perito nas aes impetradas na Justia Eleitoral. Finalizando, sugerimos que os TRE incorporem em seu quadro funcional os profissionais estatsticos para anlise das metodologias.

Discutiremos neste texto a pesquisa de Boca de Urna cujas impropriedades tcnicas sero detalhadas para conhecimento dos colegas estatsticos e principalmente dos conselheiros dos Conres. O propsito motivar os Conres a monitorarem a qualidade das pesquisas polticas divulgadas no ano eleitoral de 2012. Em breve, enviaremos aos colegas e conselheiros a anlise das impropriedades cometidas pelo Instituto Datafolha em 26/10/2010 no caso da pesquisa de Aprovao do Governo Lula.
1

II Apresentao
A anlise desenvolvida demonstrar que as pesquisas eleitorais podem apresentar graves impropriedades mesmo no caso de Institutos renomados, um fato inquietante por se tratar neste caso do maior Instituto de Pesquisa no pas, cujo mtodo de trabalho serve de referncia para outros Institutos e principalmente porque suas pesquisas, tanto de mercados como de opinio pblica, so balizadoras de decises de rgos pblicos e empresas privadas no Brasil. No 2 Turno da eleio para presidente realizada em 31/10/2010, poucas horas aps o encerramento da votao e algumas horas antes do resultado final ser anunciado pelo TSE (56% dos votos vlidos para a candidata Dilma) foi divulgada a pesquisa de Boca de Urna com 58% para a candidata Dilma e 2% de margem de erro com base numa amostra de 54400 eleitores, ou seja, a percentagem dos votos vlidos segundo o Instituto estaria dentro do intervalo 0,56 e 0,60. A afirmao pode at no chamar ateno j que a mdia sempre divulga a pesquisa na forma padro: foram ouvidos n eleitores entre os dias d1 e d2 em M municpios e a margem de erro 2% para mais ou para menos, sem mencionar a confiabilidade da estimativa, mas nesse caso especfico estava registrado que a previso continha 99% de confiana. Passamos a seguir a anlise tcnica e para no congestionar justificaremos os valores numricos apresentados no texto dentro do item IV Clculos Estatsticos. 1 Parte: Impropriedade de Clculo. A declarao: a estimativa possui margem de erro de 2% com 99% de confiana falsa e pode ser facilmente contestada a partir de conhecimentos estatsticos bsicos e alicerada em somente duas informaes da pesquisa, quais sejam: Tamanho da amostra = 54400 eleitores e estimativa da candidata Dilma = 0,58 Destaque-se que a discusso a seguir no leva em conta a qualidade da estimativa, a crtica que se faz aqui independe do resultado final do TSE, isto , trata-se de uma falha tcnica; a) Fixada margem de erro de 2%, a confiabilidade Pr{ 0,56 < p < 0,60 } 100% e no 99% como declarado. Logo, a probabilidade do verdadeiro valor p da candidata Dilma pertencer ao intervalo [0,56 a 0,60] igual a 1 (100%), um evento certo. b) Fixada confiabilidade igual a 99%, a margem de erro da estimativa = 0,58 0,6% e no 2% como declarado, logo o intervalo correto seria [0,574 a 0,586]. Ento, ou a margem era de 2% com nvel de confiana 100% ou o nvel de confiana era de 99% com 0,6% margem de erro, portanto no se trata de problema metodolgico, mas erro de clculo dos parmetros do intervalo de confiana, que ensinado na primeira metade dos cursos de bacharelato em Estatstica.
2

2 Parte: Impropriedade Metodolgica. A impropriedade metodolgica da pesquisa de Boca de Urna salta a vista quando se comparam os resultados das pesquisas em 30/10/2010 (Vspera) e 31/10/2010 (Boca) no quadro a seguir. RESUMO COMPARATIVO DAS PESQUISAS DO IBOPE X RESULTADO TSE Informao Resultados Votos Vlidos(%) N de N de Dilma J. Serra Eleitores Municpios 30/10/2010 (Vspera)(1) 56,5 43,5 3.100 203 31/10/2010 (Boca)(1) 58,0 42,0 54.400 420 31/10/2010 (TSE) (2) 56,0 44,0 135.803.366 5.564
(1) Fonte: Site do IBOPE (2) Fonte: Site do TSE: Dados atualizados em 27/01/2011

Adotando-se como referncia o resultado oficial do TSE, que aparece na ltima linha do quadro, observa-se que a pesquisa na vspera da eleio, dia 30/10/2010, exibe para a candidata Dilma erro de 0,5%, resultado bastante satisfatrio numa amostra de 3100 eleitores cujo erro era de 1,7% com 95% de confiana. Surpreendentemente na pesquisa de Boca de Urna com amostra de 54400 eleitores, ver segunda linha do quadro, a estimativa para candidata Dilma apresenta erro de 2% para mais, que equivale erro de 2% para menos no candidato Serra, com diferena estimada de 16% entre os candidatos quando na realidade era de 12% (TSE). O Instituto cometeu erro de estimativa quatro vezes (4 x 0,5%=2%) maior na Boca de Urna com amostra de 54400 eleitores do que na vspera quando usou 3100 eleitores, com agravante que a Pesquisa de Boca de Urna no significa inteno de voto, pois retrata um fato consumado. Alm do mais, deve-se levar em conta que no caso da Boca de Urna o trabalho de campo muito mais simples de executar, o que diminui sobremaneira os erros no amostrais da pesquisa. Para demonstrar que o resultado da Boca estatisticamente inaceitvel basta avaliar a improvvel ocorrncia da estimativa 58% da candidata Dilma num Universo de 135.803.366 eleitores com 56% de votos vlidos para a candidata. O clculo desta probabilidade facilmente obtido e pode ser verificado no item IV Clculos Estatsticos:

Pr

0,58 = Pr

0,1

9,4

ou seja, a probabilidade de ocorrer estimativa igual ou superior a 58% com amostra de 54400 eleitores num universo cujo valor verdadeiro da proporo era igual a 56% Zero, ou a chance de errar 2% ou mais, como de fato errou, era Nula. A avaliao acima pode suscitar dvidas porque a probabilidade nula gera dificuldade na percepo da raridade do evento. Para contornar essa situao calcula-se a probabilidade de erro de estimativa superior a 1,5% que obviamente incorpora o erro de 2%. Erro superior a 1,5% igual a Pr

0,575

9,1 10

(A)
3

Lanando mo do jogo Mega Sena da Caixa Econmica Federal para servir de referncia numa trivial comparao, tem-se que a chance de acertar a Sena com uma aposta mnima de 6 nmeros 1 em 56.063.860, ou seja, a probabilidade :
. .

1,8

10
, ,

(B)
20 000

Ento, a razo entre as probabilidades B/A =

Portanto, o Instituto cometeu a incrvel faanha de gerar erro com probabilidade superior a vinte mil vezes a chance de ganhar a Mega Sena fazendo aposta com 6 nmeros.

III Concluses.
A pesquisa de Boca de Urna divulgada em 31/10/2010 apresentou erros graves: na 1 Parte os erros cometidos foram primrios e a suspeio de erro de clculo no seria hiptese plausvel se considerada a experincia do corpo tcnico desse Instituto. Ao que parece preferiu divulgar a margem de 2% com 99% de confiana, reservando 1% de risco para garantir um eventual escorrego, que quase aconteceu, pois o 56% oficial do TSE para a candidata Dilma se situou no limite inferior do intervalo; na 2 Parte o valor improvvel foi obviamente resultante de erro metodolgico no processo de amostragem cuja natureza merece discusso. Com isso o erro de estimativa foi quatro vezes (4 x 0,5%=2%) maior na Boca de Urna com amostra de 54400 eleitores que na vspera quando usou 3100 eleitores. O Sistema Confe/Conre est implantando neste ano eleitoral de 2012 um processo de monitoramento dos resultados das pesquisas polticas dos grandes Institutos de Pesquisa para candidatos a Prefeito em alguns municpios do Pas.

IV Clculos Estatsticos.
Os procedimentos aqui apresentados esto embasados nas mesmas hipteses e tcnicas estatsticas usadas no clculo dos parmetros do intervalo de confiana praticado pelos Institutos.

1 Clculos da 1 Parte.

Sendo p = 0,58 a estimativa da candidata Dilma com base numa amostra de 54400 eleitores,
ento a estimativa do desvio padro ( dp ) dada por;

e o Intervalo de Confiana para o verdadeiro valor p da proporo da candidata no Universo :

p p Pr { - t(N-1) < Student < t(N-1)} = Pr { - t(N-1)x dp < p < + t(N-1)x dp } Com n = 54400 a varivel Student passa a ser N(0,1) e t(N-1) = z. Como dp = 0,002116, ento; a) ao fixar margem de erro (z dp ) = 0,02 (2%) imposta a igualdade z
igualdade se obtm que z = 9,45 logo o nvel de confiana ; Pr {0,56 < p <.0,60} = Pr { - 9,45 < N(0,1)< 9,45} = 1 (100%)
4
x

0,002116 = 0,02, da

b) ao fixar nvel de 99% a cota da N(0,1) que faz Pr { - z < N(0,1) < z } = 99% z = 2,576 , logo a

correspondente margem de erro (z dp ) igual a 2,576 x 0,002116 = 0,006 (0,6%)

2 Clculos da 2 Parte. Seja o Universo (U) de 135.803.366 eleitores com 56% de votantes na candidata Dilma, isto , segundo o TSE o verdadeiro valor era p = 0,56. Desta forma, uma amostra de 54400 eleitores retirada de U possui os seguintes parmetros:

Mdia = 0,56 e Desvio Padro =

= 0,002128

A probabilidade de encontrar estimativa com valor igual ou maior a =0,58 determinado pelo clculo abaixo; Pr 0,58 = Pr 0,56 0,58 056 =Pr 0,56 0,02 ,

Se na ltima probabilidade dividirmos os dois lados da desigualdade pelo desvio padro da estatstica ; tem-se: Pr
p 0,56
0,02

0,58 = Pr

0,56 0,002128

0,02 0,002128 0,1 9,4 = 0

Como; 0,002128 ~ N(0,1) e 0,002128 9,4 , ento Pr

0,58 = Pr

Logo, a probabilidade de erro igual ou maior que 2% obviamente Zero, ou a chance de errar 2% ou mais, como de fato errou, era Nula. O clculo da probabilidade de erro superior a 1,5% , usado para a comparao com a Mega Sena segue procedimento similar, basta substituir 2% por 1,5%;

Pr

0,575 = Pr

= Pr

0,1

= 7,05 = 9,1x10 13

(A)

LUIZ CARLOS DA ROCHA Conselheiro do CONFE