Organizadoras Andra Maria Silveira Betnia Peixoto

Ttulo: Manual de Avaliao de Programas de Preveno da Violncia Primeira Edio Local: Braslia Nome do Editor: Organizao Panamericana de Sade Ano de Publicao: 2010

 2010 Organizao Pan-Americana da Sade Representao Brasil Todos os direitos reservados. permitida a reproduo parcial ou total dessa obra, desde que citada a fonte e que no seja para venda ou qualquer fim comercial. 1. edio 2010

Elaborao, distribuio e informaes: ORGANIZAO PAN-AMERICANA DA SADE REPRESENTAO BRASIL Unidade Tcnica de Desenvolvimento Sustentvel e Sade Ambiental Setor de Embaixadas Norte, Lote 19 CEP: 70800-400 Braslia/DF Brasil http://www.paho.org/bra
Diego Victoria Representante da Organizao Pan-Americana da Sade/Organizao Mundial da Sade no Brasil OPAS/OMS no Brasil Diego Gonzalez Machin Coordenador da Unidade Tcnica de Desenvolvimento Sustentvel e Sade Ambiental Maria Alice Barbosa Fortunato Consultora Nacional da Unidade Tcnica de Desenvolvimento Sustentvel e Sade Ambiental UNIVERSIDADE FEDERAL DE MINAS GERAIS - UFMG Faculdade de Medicina Av. Alfredo Balena, 190 Santa Efignia Belo Horizonte Minas Gerais Brasil CEP: 30130100 http://www.ufmg.br

Programa de Cooperao Tcnica e Cientfica entre a Universidade Federal de Minas Gerais/Faculdade de Medicina e OPAS/OMS Francisco Jos Penna Diretor/FM Coordenao do Projeto Promoo de Sade e Preveno da Violncia/Cooperao FM/UFMG e OPAS/OMS Elza Machado de Melo
Capa Davi Maciel Corgozinho Ficha Catalogrfica Silveira, Andra Maria, Peixoto, Betnia. Manual de avaliao de programas de preveno da violncia. / Organizao Pan-Americana da Sade; Universidade Federal de Minas Gerais. Braslia : Organizao Pan-Americana da Sade, 2010. 119 p.: il. ISBN: 978-85-7967-044-2 1. Violncia 2. Preveno e controle 3. Avaliao de programas e projetos de sade I. Organizao Pan-Americana da Sade. II. Universidade Federal de Minas Gerais. III. Ttulo. NLM: WA 335 TC XX Unidade Tcnica de Informao em Sade, Gesto do Conhecimento e Comunicao da OPAS/OMS Representao do Brasil

Sumrio Editorial Prefcio Captulo I O problema da Violncia no nosso meio Captulo II Conceitos e princpios da Avaliao O que avaliar? Por que avaliar? Quando avaliar Tipos de avaliao segundo o objeto Tipos de avaliao segundo quem executa Captulo III A realizao de uma avaliao Elementos necessrios a avaliao Pblico Alvo Como identificar esse grupo As aes Custos O que custo de oportunidade Indicadores Indicadores quantitativos x indicadores qualitativos Transformao dos indicadores qualitativos em quantitativos Fontes de informaes: onde conseguir dados para construo dos Indicadores Fontes secundrias de dados Captulo IV Avaliao de Processo Implementao da Avaliao de Processo Captulo V Avaliao Econmica Avaliao de Impacto Mtodos de Avaliao de Impacto de Programas de Preveno a Violncia Comparao Estatstica entre mdias Regresso Linear Limites das Ferramentas de estimao de impacto Avaliao de Retorno Econmico O benefcio do projeto de preveno a violncia Custo do projeto de preveno a violncia Clculo das estatsticas de retorno econmico Razo custo efetividade

07 10 15 15 16 19 19 22 24 25 26 26 27 28 28 30 31 32 34 39 47 50 53 55 61 62 67 84 86 87 94 97 99

Razo custo benefcio Taxa interna de retorno Consideraes Finais Bibliografia Anexo

101 101 104 105 109

Editorial A Organizao Pan-Americana da Sade orienta seus esforos para colaborao tcnica entre pases e seus parceiros; busca ainda promover estilos de vida saudveis e, prevenir os problemas de sade tpicos do desenvolvimento e da urbanizao, como as violncias. Desta forma, compreendendo que a violncia apresenta-se como um

importante e crescente problema de sade pblica em todo o mundo, e que, as suas conseqncias para indivduos, famlias e, comunidades, no curto e longo prazo, causam grandes prejuzos para o desenvolvimento social e econmico de todo o planeta, a OPAS vem apoiando publicaes que disseminam experincias bem sucedidas em torno da preveno da violncia e, oferecem ferramentas tericas e prticas para o enfrentamento do problema. Assim, apresentamos este documento, como parte de um esforo conjunto da OPAS/OMS no Brasil e da UFMG, por meio da estratgia de cooperao tcnica da OPAS/OMS, a qual permitiu a elaborao de um Manual para Avaliao de Programas e Projetos de Preveno a Violncia, direcionado aos gestores no nvel local, gestores de organizaes no governamentais e lideranas comunitrias, aos quais oferece informaes e conceitos para aumentar o conhecimento e o interesse em programas de preveno da violncia e sua avaliao. Esperamos que esse documento seja utilizado como linha de base para o monitoramento e avaliao de projetos e programas que busquem compreender o progresso e o impacto das intervenes para promoo de uma cultura de paz. Diego Victoria Representante da Organizao Pan-Americana da Sade /Organizao Mundial da Sade no Brasil

Prefcio

Sabe-se que existem no Brasil inmeros programas e projetos de iniciativa do governo federal, governos estaduais e municipais, Organizaes No Governamentais - ONG, empresas privadas e instituies religiosas que buscam a preveno da violncia. Em sua maioria essas iniciativas tm como campo de atuao as comunidades e como populao alvo crianas e jovens. Muitos outros projetos so voltados para a preveno da violncia contra a mulher, contra o idoso, o abuso e explorao sexual de crianas e adolescentes, a violncia no trabalho, violncia no trnsito, violncia na escola etc.

A inexistncia de cadastros fidedignos desses programas e projetos impede que saibamos o nmero exato de iniciativas dessa natureza em curso no pas, assim como o montante de recursos nelas investido. Menos ainda podemos dizer sobre a efetividade dessas prticas, uma vez que poucas so avaliadas e, quando isso ocorre, nem sempre os resultados so tornados pblicos.

Para se ter uma idia, em 2005, atravs de documento intitulado Perfil das Prticas Cadastradas no Observatrio Democrtico de Prticas de Preveno Violncia e Criminalidade no Brasil, o Ministrio da Justia apresentou as caractersticas bsicas de 168 prticas de preveno cadastradas no Observatrio at maio de 2005 (Ministrio da Justia, 2005). Deste total, apenas metade das prticas cadastradas tinha sido submetida a algum tipo de avaliao. Detalhes sobre o tipo de avaliao e sobre os seus achados no foram publicados, impedindo que os interessados no tema saibam o que, no nosso meio, tem sido realizado com sucesso, ou quais prticas tem mostrado resultados insatisfatrios.

A no realizao sistemtica de avaliao decorre da falta de tradio nessa prtica na rea de programas de preveno a violncia, do desconhecimento das metodologias avaliativas, da crena de que muito difcil e caro avaliar e, de que no podemos nos dar ao luxo de gastar dinheiro com isso. Outros acreditam que os fatos falam por si mesmo e que se um programa d certo, seremos todos capazes de ver isso. Experincias internacionais na gesto e avaliao de programas de preveno a violncia contradizem essas crenas (Sherman, 1997) e nos mostram que a avaliao fundamental para a boa gesto de recursos e implementao de boas prticas.

nesse contexto, que apresentamos o Manual de Avaliao de Programas de Preveno a Violncia. Seu objetivo sensibilizar, aumentar o conhecimento, e o interesse em avaliao. Visa ainda, estimular os formuladores e gestores de

programas de preveno a violncia a planejarem, orarem e executarem avaliaes dos programas e projetos que esto sob suas responsabilidades.

Este Manual fornece informaes de natureza conceitual e operacional que facilitam a compreenso dos princpios que orientam a prtica avaliativa e os modelos mais importantes de avaliao. Este conhecimento favorece a apreciao crtica dos programas e projetos, o dilogo entre gestores de programas, usurios, financiadores e avaliadores. Por fim, queremos destacar que diversas pessoas foram fundamentais na elaborao deste Manual, contribuindo com crticas e sugestes. A elas somos muito gratas. Em especial, gostaramos de agradecer ao Dr. Gustavo Bergonzoli que durante sua

passagem pela OPAS Brasil forneceu forte apoio e incentivo para realizao deste Manual. Coerentes com nossas convices, apresentamos nesse texto apenas exemplos de experincias j avaliadas. Nesse sentido, devemos agradecimentos Polcia Militar de Minas Gerais e a Secretaria de Defesa Social do Estado de Minas Gerais pela cesso

das informaes sobre o programa Proerd e o Fica Vivo utilizados como exemplos. Agradecemos ainda, a Fundao Ita Social e ao Banco Ita Social pela oportunidade concedida a uma das autoras de participar do programa de "Avaliao Econmica de Projetos Sociais", o que proporcionou o contato com o amplo material didtico e forneceu embasamento prtico sem o qual seria impossvel a confeco deste Manual.

As Autoras

Captulo I O problema da Violncia no nosso meio

A violncia hoje um dos maiores problemas sociais do mundo, afetando no s os pases em desenvolvimento, mas tambm pases desenvolvidos. A World Health

Organization (WHO) em relatrio de 2004 mostra que considerando todas as mortes

ocorridas nos pases membros no ano de 2002, a violncia foi a 21 causa-morte. No caso dos homens a violncia a 16 causa de morte. Para os pases em desenvolvimento do continente americano a violncia a 4 causa de morte. Nos Estados Unidos da Amrica o homicdio a 14 causa de morte como um todo, sendo a 2 principal causa entre a populao com idade entre 15 e 24 anos daquele pas.

Esta doena social incide principalmente em homens jovens, o que imputa perda econmica para a sociedade muito maior do que doenas que atingem indivduos com idade mais avanada. A World Health Organization (WHO) no relatrio de 2002, mostra que, no ano de 2000, ocorreram 8,8 homicdios por cem mil habitantes nos pases membros. A taxa de homicdio por cem mil habitantes de homens cerca de trs vezes a das mulheres (13,6 e 4,0 respectivamente). Alm disto, a taxa de homicdio de homens jovens (entre 15 e 29 anos) de 19,4 enquanto que das mulheres nesta mesma faixa etria de 4,4 por cem mil habitantes. O relatrio mostra que os pases em desenvolvimento do continente Americano so os que mais sofrem com a violncia. A taxa de homicdio por cem mil habitantes desse grupo de pases de 27,5 atingindo para os homens entre 15 e 29 anos o valor 89,7 por 100.000 habitantes.

10

No Brasil, a violncia apresenta padres alarmantes. Em 2007 o pas apresentou uma taxa de 25,2 homicdios por cem mil habitantes. Esses eventos atingiram principalmente os jovens que, apesar de representarem 18,6% da populao em 2007, foram responsveis por 36,6% dos homicdios naquele ano (Waiselfisz, 2010).

As estatsticas apresentadas retratam apenas o nmero de pessoas que foram assassinadas no dimensionando o nmero, certamente maior, daqueles que no sendo vitimados de forma fatal, sofreram agravos e apresentam as seqelas fsicas, mentais e os estigmas sociais da violncia. Waters et al. (2005) estimaram que para cada jovem (indivduo entre 10 a 20 anos) assassinado, 20 a 40 vtimas no fatais receberam assistncia mdica, o que permite visualizar um panorama assustador do nmero real de pessoas atingidas. Dados provenientes dos pases desenvolvidos

indicam que para cada pessoa assassinada 30 foram hospitalizadas por leses no fatais e aproximadamente 300 foram atendidas em servios de pronto atendimento e liberadas (World Health Organization, 2005).

Mais nebuloso, mas certamente no menos grave, so os nmeros referentes ao abuso e violncia sexual contra crianas e adolescentes, a violncia contra mulheres e crianas dentro do ambiente domstico, a violncia contra o idoso, a violncia na escola, o assdio moral no trabalho, a violncia de motivao racial/tnica e sexual e outras formas de violncia, cuja ocorrncia est a vista de todos, mas cujos registros oficiais so precrios.

O problema adquiriu tal magnitude que a Quadragsima Nona Assemblia Mundial de Sade realizada em 1996, declarou que a violncia um grande e crescente problema

11

de sade pblica no mundo (Resoluo WHO 49.25) e conclamou os Estados Membros da WHO a avaliarem os problemas de violncia em seu territrio e comunic-los organizao. Alm disto, a WHO passou a realizar campanhas de sade pblica em torno do problema e a disseminar recomendaes para programas de preveno violncia em todo o mundo.

No Brasil, no campo das polticas de sade destaca-se a Portaria N 737 do Ministrio da Sade de 16 de maio de 2001 que estabeleceu a Poltica Nacional de Reduo da Morbimortalidade por Acidentes e Violncias. A proposta da poltica est fundada no conceito constitucional de sade que abrange as questes relativas a estilos de vida e aos condicionantes sociais, histricos e ambientais nos quais est imersa a sociedade brasileira.

A primeira diretriz da poltica a promoo da adoo de comportamentos e de ambientes seguros e saudveis, atravs de ampla mobilizao da sociedade em geral, e da mdia em particular, para a importncia dos acidentes e das violncias, bem como o reforo das aes intersetoriais relacionadas ao tema. Para isto, sugere

estratgias como a dos Municpios Saudveis, Prefeito Amigo da Criana, Escolas Promotoras de Sade, a divulgao tcnica dos dados sobre acidentes e violncias, o apoio realizao de seminrios, oficinas de trabalho e estudos.

O texto legal trata da necessidade de desenvolver a co-responsabilidade do cidado incluindo a participao na reivindicao, nas proposies e no acompanhamento desta poltica, e na promoo de ambientes seguros e comportamentos saudveis relacionados preveno de acidentes e de violncias e de seus fatores de risco, como

12

uso de drogas e lcool, armas de fogo, a no observncia de regras de segurana e as relaes interpessoais conflituosas. As medidas nesse sentido consideraro tanto, os ambientes domsticos, de lazer de trabalho e de trnsito, quanto aqueles em que se desenvolvem os processos de convivncia social. O Ministrio da Sade recomenda ainda que as aes de preveno estejam incorporadas em todos os programas, planos e projetos de ateno grupos especficos da populao e temas de sade.

A segunda diretriz trata do monitoramento dos acidentes e violncias incluindo a capacitao e a mobilizao dos profissionais de sade que atuam em todos os nveis de atendimento do Sistema nico de Sade (SUS), visto que, a melhoria da qualidade da informao considerada prioritria.

A terceira diretriz trata da sistematizao, ampliao e consolidao do atendimento pr-hospitalar de forma a reduzir a mortalidade dos eventos violentos, atravs da estimulo a organizao e implantao de servios de ateno pr-hospitalar. Tambm inclui o estabelecimento de normas tcnicas, padronizao de equipamentos e veculos para transporte de vtimas e formao de recursos humanos.

A quarta diretriz, diz respeito assistncia interdisciplinar e intersetorial s vtimas de acidentes e de violncias atravs da estruturao e organizao da rede de servios do SUS, de forma que esta possa diagnosticar e tratar de forma adequada. So recomendados ainda: atendimento especfico para mulheres vtimas de violncia, atividades voltadas para reeducao de agressores, redes de apoio para o atendimento como: abrigos e unidades que atendam o aborto legal e reabilitao fsica e psicolgica das vtimas de violncia. A portaria prev a avaliao das aes

13

executadas.

Em consonncia com a Portaria N 737 do Ministrio da Sade, instituies pblicas, acadmicas e organizaes da sociedade civil tem se engajado nos esforos para reduzir violncia atravs da implementao de programas e projetos de preveno que buscam enfrentar as causas e interferir na engrenagem que a estimula e favorece.

Embora existam inmeras iniciativas de preveno sob a gesto de agncias pblicas (da esfera da sade, educao, justia, ao social etc.), associaes comunitrias, organizaes no governamentais, religiosas, desportivas e empresariais, infelizmente, no existe no Brasil a tradio de avaliao dessas experincias.

As informaes geradas pelas avaliaes dos programas nos permitem aperfeioar as concepes tericas sobre o fenmeno da violncia e orientar a aplicao de nossos recursos. Elas possibilitam a identificao do que funciona, em quais circunstncias, para qual clientela e com qual custo. A avaliao das experincias de preveno fornece sociedade o conhecimento de experincias bem sucedidas, que podem ser replicadas (Crdia, 2005).

Neste contexto, este manual pretende ser um guia simples que informa e orienta formuladores e gestores de programas e projetos de preveno a violncia dos princpios e dos modelos avaliativos mais importantes.

14

Captulo II

O que avaliar?

A avaliao faz parte de nossa vida. Avaliamos a todo o momento o mrito, a pertinncia, os custos, a relevncia, a eficcia e eficincia do que fazemos, do que os governos fazem, do que a direo do clube de futebol de nosso corao faz. Portanto, avaliar, constitui uma prtica rotineira, ainda que realizada informal e intuitivamente. O captulo primeiro da Bblia, o Gnesis, conta que Deus concluindo seu trabalho de criao dos cus, da terra e de todas as criaturas, ao final do sexto dia, contemplou sua obra e avaliou que tudo que fizera era muito bom. Talvez este tenha sido o incio da avaliao. Da passagem bblica, tiramos ainda outra lio. Avaliar significa, tambm, emitir um juzo de valor.

Como nem sempre contamos com boas informaes para avaliar, nossos julgamentos s vezes so equivocados e resultam em escolhas ruins. Se, escolhas pessoais fundamentadas em avaliaes equivocadas ou em falta de avaliao resultam em perda de dinheiro, tempo e energia, imagine as repercusses na comunidade e, na sociedade como um todo, da aplicao de recursos humanos, tempo e dinheiro em projetos e programas que no so capazes de atingir seus objetivos.

Avaliar preciso!

Mas, o significa avaliar? Existem vrios conceitos cientficos de avaliao. Para

15

Minayo (2004), avaliar um processo sistemtico de fazer perguntas sobre o mrito e a relevncia de determinada proposta ou programa, e a forma como esta proposta ou programa implementada, comparando a realidade com um padro almejado. Para Contandriopoulos et al. (2001), avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma interveno ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decises. Este julgamento pode ser resultado da aplicao de critrios e normas ou da utilizao de um procedimento cientfico (pesquisa avaliativa).

De uma maneira geral, avaliar implica na coleta cuidadosa de informaes sobre um programa ou projeto, de forma a auxiliar o processo de tomada de decises dos seus gestores. A literatura especializada diferencia mais de 35 tipos de avaliao, tais como as avaliaes de acesso ao gasto pblico, avaliaes de retorno econmico, avaliaes de meta-anlise, avaliaes de sustentabilidade e acessibilidade, avaliaes de reconstruo histrica, avaliaes de impacto, entre outras. Cada tipo vai de encontro necessidade dos interessados no programa, ou seja, o modelo de avaliao adotado vai depender do que os interessados no programa (stakeholders) querem saber a respeito do mesmo. O importante que estes interessados tenham clareza das informaes que necessitam para decidir os rumos e destinos do programa (Mcamara, 2009).

Por que avaliar? O que conta, o que funciona Tony Blair A frase acima atribuda ao ex-primeiro ministro ingls, Tony Blair teria sido

16

pronunciada por ocasio das discusses do oramento de 250 milhes de libras para o Programa de Reduo de Crimes e Violncias iniciado em 1998 na Gr-Bretanha. Esta frase d uma idia da preocupao do governo ingls com as polticas cientificamente orientadas, as quais exigem a organizao de evidncias para determinar prioridades e distribuio de recursos. Naquele ano, 10% do oramento geral, ou seja, 25 milhes de libras foram destinados s atividades de avaliao e monitoramento dos programas de preveno ao crime e violncia.

A tendncia da gesto e prtica orientada pela evidncia do que funciona e a qual custo, vem crescendo no nosso meio, gerando a necessidade de avaliaes para atender aos seguintes propsitos: 1- Proporcionar s entidades governamentais e sociedade civil, meios de aprender, s custa das experincias passadas. 2- Melhorar a prestao de servios, o planejamento e o emprego de recursos. 3- Demonstrar os resultados s partes interessadas (financiadores, clientes, gestores, trabalhadores etc.) proporcionando maior transparncia s aes. 4- Determinar o impacto de um programa. 5- Retro-alimentar o programa de informaes para facilitar seu gerenciamento. 6- Obter orientaes para modificaes nos recursos e processos. 7- Esclarecer a lgica de operao do programa. 8- Auxiliar no desenvolvimento do programa pela identificao de necessidades dos usurios, das reas e dos recursos que podem ser utilizados na implementao das aes em novas reas. 9- Fornecer descries dos contextos nos quais os programas funcionam. 10- Fornecer descries da natureza dos seus usurios, recursos, e os processos

17

de interveno utilizados na implementao do programa. 11- Identificao dos mecanismos ou processos causais, por meio dos quais o resultado do programa atingido. 12- Compreender, verificar ou aumentar os resultados e impactos de um programa. 13- Verificar se as aes planejadas esto sendo realmente implementadas. 14- Refletir sobre os objetivos e metas do programa e como verificar se foram atingidos. 15- Produzir comparaes entre programas e decidir qual deve ser mantido. 16- Examinar programas efetivos para replicao em outros locais. 17- Favorecer o aprendizado e a disseminao do conhecimento nas organizaes: a avaliao amplia o conhecimento dos gestores e de suas equipes e, cria oportunidades de reflexo para os envolvidos na construo coletiva de solues. 18- Verificar se o gestor est executando de fato o que acha que est executando: muitos planos quando colocados em prtica so modificados de tal forma que alteram a proposta original. A avaliao permite verificar se isto est ocorrendo. 19- Produzir dados ou verificar resultados que podem ser utilizados para a divulgao do programa e de seus servios na comunidade ( Mc Namara, 2009; Ministrio do Planejamento, Banco Mundial, 2004, Marino 2003).

18

Quando avaliar? A avaliao pode e deve ser realizada em todos os estgios do projeto ou programa. Mesmo antes da implantao do programa pode ocorrer a sua avaliao. Neste caso denominamos de avaliao ex-ante. Quando a avaliao ocorre durante a

implementao do programa ou ao seu termino, denominamos de avaliao ex-post. Para cada um destes momentos existem vrias metodologias ou tipos especficos de avaliao.

A avaliao ex-ante realizada antes que o programa seja implementado, objetivando fornecer elementos que permitam ao gestor decidir se o programa deve ser oferecido a uma determinada clientela. Neste sentido, deve descrever bem a populao alvo do ponto de vista de suas necessidades, seu contexto poltico, social, econmico e cultural, tentando projetar os possveis impactos da implementao do programa sobre esta populao e comparar custos e benefcios da iniciativa com alternativas disponveis.

A avaliao ex-post realizada nos programas/projetos em andamento ou, concludos. O objetivo verificar se os componentes do programa/projeto so apropriados aos fins da iniciativa ou, determinar em que medida o programa/projeto atinge seus objetivos. Visa ainda identificar os efeitos do programa/projeto.

Tipos de Avaliao segundo o objeto Existe um grande nmero de tipos de avaliao que podem ser utilizados. A escolha de qual tipo utilizar depender da fase na qual o programa se encontra (planejamento, implementao, execuo) e das perguntas que os gestores querem responder (por

19

exemplo, as aes propostas esto sendo efetivamente realizadas? O pblico alvo est satisfeito com o atendimento? Os objetivos esto sendo alcanados? O custo est condizente com os benefcios?). Os tipos de avaliao no so excludentes. O ideal a combinao entre eles.

Dois tipos muito comuns de avaliaes so as denominadas de avaliao de processo e avaliao econmica. A avaliao de processo objetiva identificar dificuldades de programao, controle, administrao, capacitao, etc., visando prioritariamente correes e adaptaes do programa. Para isto analisa a eficincia operacional do programa e busca verificar em que medida os elementos de um projeto ou programa contribuem com os fins desejados. Idealmente, deve ser realizada durante a implementao, contribuindo para a gesto da organizao e das aes do programa.

A avaliao econmica composta de duas etapas denominadas avaliao de impacto e avaliao de retorno econmico. A avaliao de retorno econmico utiliza os resultados obtidos pela avaliao de impacto, sendo que somente realizada quando o programa apresentar impacto. Como o nome sugere, a avaliao de impacto mede as mudanas que o programa gera na vida dos beneficirios, sejam eles indivduos, famlias, instituies ou comunidades. Por exemplo, a avaliao de impacto do Programa Fica Vivo implementado em Minas Gerais e voltado para a preveno dos homicdios, mensurou a modificao na ocorrncia de homicdios nas reas de atuao do programa que pode ser atribuda ao mesmo.

De forma complementar a avaliao de impacto, a avaliao de retorno econmico procura confrontar o impacto do programa com o seu custo. Esta comparao

20

realizada atravs do clculo de vrias estatsticas, sendo as mais comuns a razo custo-efetividade, razo custo-benefcio, a taxa interna de retorno e o valor presente lquido. Esta etapa da avaliao econmica s realizada quando a avaliao de impacto evidencia que o programa gerou resultados.

Glossrio Eficcia Relaciona-se ao grau em que os objetivos e metas do programa ou projeto so alcanados, independentemente dos custos implicados. Eficincia Diz respeito relao entre os recursos utilizados e os resultados alcanados. Est associada ao conceito de timo. Efetividade Constitui uma relao entre resultados/objetivos. Expressa os resultados concretos ou as aes que conduzem a estes resultados. Projeto: Empreendimento planejado e constante de uma srie de atividades correlacionadas e coordenadas para alcanar objetivos especficos dentro de um perodo de tempo e, com um oramento definido. Programa:Trata-se de um conjunto de projetos que perseguem os mesmos objetivos. O programa define as prioridades, o mbito institucional e os recursos a serem utilizados na interveno. Processo: Descreve como o programa realizado. Por exemplo, como os homens agressores domsticos so atendidos em um programa educativo voltado para agressores. Recursos (insumos ou inputs): So todos os meios necessrios para executar um programa ou projeto, como: dinheiro, clientes, pessoal tcnico etc. Resultados (outputs): Trata-se da unidade de servio. Por exemplo, o nmero de homens que passaram pelo programa de reabilitao de agressores domsticos, o nmero de visitas domiciliares realizadas por um programa de acompanhamento de famlias em situao de risco para violncia, etc. Impacto (outcomes): Trata-se dos impactos sobre os clientes ou as comunidades que

21

recebem o programa. Por exemplo, reduo do nmero de casos de violncia domstica notificada, reduo de crianas e adolescentes envolvidos em atos infracionais etc. Interessados (stakeholders): Todos aqueles so importantes para a sustentabilidade do programa ou projeto e, alimentam expectativas em relao ao mesmo, como financiadores, apoiadores, parceiros, trabalhadores, usurios, etc.

Tipos de avaliao segundo quem a executa 1. Avaliao interna: Neste tipo de avaliao so os gestores do programa ou projeto que o avaliam (auto-avaliao) executora. Tem como ou uma unidade da organizao vantagens um menor custo e diferente da um melhor

principais

aproveitamento no aprendizado institucional e na melhoria do gerenciamento do programa, dado que as organizaes so em geral mais receptivas informao produzida internamente. Supostamente, este tipo de avaliao apresenta como vantagem a maior adeso dos envolvidos na interveno, que vem a avaliao como um momento de reflexo interna sobre a prtica, o que garantiria maior cooperao com os avaliadores. Apresenta ainda menor custo, tem mais efeitos sobre o aprendizado institucional e no gerenciamento do programa, uma vez que as organizaes so mais receptivas s informaes produzidas internamente. Alm disto, os avaliadores internos conhecem melhor o programa, seus pressupostos etc. Contudo, a condio de juiz e interessado pode comprometer a objetividade e imparcialidade, alm de no constituir garantia contra atritos e disputas de interesses (Silveira, 2007, Ministrio do Planejamento, 2008, Cohen e Franco, 2002)

2. Avaliao externa: Avaliao realizada por consultores ou instituies externas aos implementadores e, que no fazem parte do programa. Os avaliadores externos

22

tendem a ser mais isentos e, a adotarem maior distncia em relao aos costumes e normas da instituio executora. Sentem-se menos constrangidos em formular crticas ao programa. O trabalho na instituio termina com a finalizao da avaliao e, a insero profissional dos avaliadores no ameaada pelos resultados da avaliao, o que pode ocorrer na avaliao interna. Este tipo de avaliao tende a apresentar maior credibilidade

O avaliador ideal aquele comprometido com certos modelos de soluo de problemas, que acredita na definio de metas e em diferentes mecanismos de realizao, que aposta na criao de modelos de relao entre insumos e produtos e na melhor combinao possvel. Seu compromisso com a soluo do problema e no com a

sobrevivncia da organizao. Neste tom, parece temerrio considerar avaliadores internos como talhados objetividade e imparcialidade. Mas caso a opo seja por lanar mo de avaliadores internos o ideal que os mesmos no estejam comprometidos com a formulao ou execuo do projeto ou programa.

3.Avaliao Mista Combina os dois modelos anteriores. Os avaliadores externos trabalham em parceria com os membros da organizao executora do programa. Este modelo visa reduzir as dificuldades e potencializar as vantagens dos tipos anteriores de avaliao.

4.Avaliao Participativa - A avaliao participativa tem sido indicada para projetos pequenos. Busca reduzir a distncia entre avaliador e beneficirios dos programas, e fixar as mudanas sugeridas, criando um ambiente favorvel a uma resposta endgena do grupo. Seu pressuposto a participao da comunidade nas fases de planejamento,

23

programao, execuo e operao, e obviamente na avaliao do projeto. Este modelo utilizado com a finalidade de conhecer melhor a situao local, os problemas, a perspectiva e as prioridades das populaes alvo, de forma a formular intervenes mais satisfatrias. Visa ainda ofertar conhecimentos e qualificaes que empoderem a populao alvo (Banco Mundial, 2003, Banco Mundial, 2004, Coehn e Franco, 2002, Cano, 2008, Silveira, 2007, Ministrio do Planejamento, 2008, Roman e Farrel, 2002)

Captulo III A realizao de uma avaliao

Segue abaixo algumas questes importantes a serem consideradas quando da concepo e planejamento de uma avaliao: Qual o propsito da avaliao? O que voc pretende fazer com os resultados obtidos? Quem so as pessoas que recebero informaes sobre a avaliao (financiadores, clientes, gestores, diretores)? O que voc necessita a fim de tomar uma deciso informada ou esclarecer sua audincia? (Informaes para explicar o programa - seus insumos, atividades e resultados, a clientela a qual se dirige o programa, a fora e a fraqueza do programa, os resultados para os clientes, porque ou como o programa falhou) Quais as fontes de informao sobre o programa? (Trabalhadores, clientes, grupos de clientes e trabalhadores juntos, documentos etc.) Como esta informao pode ser coletada? (Questionrios, entrevistas, anlise documental, grupos focais, observao de clientes e trabalhadores).

24

 Quais recursos so necessrios para coletar a informao? Quando esta informao deve ser coletada?

Elementos necessrios avaliao Para avaliar programas/projetos de preveno a violncia importante que atentemos para alguns elementos bsicos do programa, que so de fundamental importncia para o desenho da avaliao. Portanto, o ideal a incorporao da avaliao desde a fase de elaborao do projeto/programa, para que todos os elementos necessrios a ela estejam presentes j no incio. Precisamos identificar o pblico alvo, as aes a serem implementadas, os objetivos das aes e os indicadores. Nesta seo apresentamos alguns dos elementos necessrios para a avaliao. Pblico alvo a populao ou rea para a qual o projeto/programa se destina. Em geral, quando elaboramos um projeto/programa de preveno violncia, o dirigimos para um determinado grupo da sociedade. Por exemplo, quando queremos promover a preveno ao consumo de drogas, como no caso do Programa Educacional de Resistncia s Drogas - PROERD (Minas Gerais) focamos as aes nas crianas e jovens. Quando queremos reduzir os conflitos de uma regio, como nos programas de Mediao de Conflitos, focamos nos residentes dessa regio. Assim, para avaliarmos um projeto/programa de preveno criminalidade precisamos definir claramente o pblico para o qual ele se destina, ou seja, os beneficirios do projeto/programa.

25

Como identificar este grupo? O ideal que definamos quais os requisitos estabelecidos pelos formuladores da ao para que uma pessoa ou local seja beneficiado. Estes requisitos so chamados na linguagem de avaliao de critrios de elegibilidade. De posse dos critrios de elegibilidade podemos determinar o pblico-alvo da ao. A determinao do pblico alvo utilizada tanto na avaliao de processo quanto na avaliao econmica. Na avaliao de processo ela utilizada para determinar a focalizao e seus erros e na avaliao econmica utilizada como elemento chave para determinao do impacto do programa. Este ponto ser abordado mais detalhadamente posteriormente. Objetivo de uma ao O objetivo de uma ao define qual a sua utilidade, ou seja, o que ela pretende alcanar. Em outras palavras o objetivo do projeto/programa que vai definir quais mudanas que queremos promover na vida do pblico alvo. A maioria dos projetos/programas apresenta um objetivo geral, mais amplo do projeto/programa. Entretanto, em geral atravs dos objetivos especficos que os projetos so avaliados. Na avaliao de projeto/programa os objetivos servem de base para a escolha dos indicadores de impacto. Para isto, estes objetivos tm que ser bem definidos, claros e principalmente mensurveis.

26

Por exemplo, a instruo que regula a aplicao do programa PROERD define como objetivo geral1 Dotar jovens estudantes de informaes e habilidades necessrias para viver de maneira saudvel, sem drogas e violncia, com observncia das normas institucionais, filosofia do Programa e alinhado as polticas pblicas estabelecidas. E como alguns dos objetivos especficos: a) dotar jovens estudantes com ferramentas que lhe permitam evitar influncias negativas em questo relativas s drogas e violncia, promovendo os fatores de proteo e suas habilidades de resistncia; b) estabelecer relaes positivas entre alunos e policiais militares, professores, pais e outros lderes da comunidade; c) permitir aos estudantes enxergarem os policiais como servidores, transcendendo a atividade de

policiamento tradicional e estabelecendo um relacionamento fundamentado na confiana e humanizao; As aes As aes de um projeto/programa so todas as atividades desenvolvidas para a obteno dos seus objetivos. a definio das aes que mostra como o programa funciona na prtica. Assim como os objetivos, as aes devem ser bem definidas, claras e principalmente mensurveis, porque servem de base para a escolha dos indicadores de processo. a partir da definio das aes do projeto/programa que ser desenhada toda a avaliao de processo. Esta ir verificar se as aes esto ocorrendo da forma definida, se alguma ao est ocorrendo de forma diferente da esperada, etc.

27
1

Instruo interna da Polcia Militar de Minas Gerais regula a aplicao do PROERD.

Alm disto, a descrio das aes que serve de suporte para futuras expanses do programa/projeto e que ajudam a explicar os resultados da avaliao de impacto. No caso do programa PROERD a instruo interna da PMMG regula todas as etapas de sua implementao. De forma resumida o programa tem aes que se subdividem em dois grandes blocos de atuao, um voltado para a seleo e formao de instrutores e outro para a aplicao do programa nas Escolas, junto ao pblico alvo. Custos Qual o valor do projeto? O custo de um projeto/programa de preveno criminalidade a medida de todos os valores incorridos para a sua realizao. o elemento fundamental para a avaliao econmica, pois sem o custo no possvel calcular o retorno econmico do projeto. O conceito de custo usado nas avaliaes econmicas difere do conceito de custo contbil usualmente utilizado pelos gestores dos projetos. O Custo Econmico de um projeto a soma dos custos contbeis com os custos de oportunidade daqueles que participaram do projeto. O que o custo de oportunidade? O custo de oportunidade o rendimento que se deixa de obter ao realizar uma determinada escolha. Um exemplo clssico o custo que um jovem incorre em cursar a universidade. O custo de oportunidade para este jovem ou para sua famlia o salrio que ele deixa de receber por no trabalhar, mesmo que cursar a

28

universidade seja desejado pela famlia. Ainda que este jovem no trabalhasse, o fato que ir para a universidade pode significar ter que contratar algum para fazer os trabalhos domsticos ou cuidar dos irmos mais novos. O salrio perdido o custo de oportunidade da famlia Vrios projetos/programas de preveno violncia funcionam em imveis cedidos pelos parceiros ou imveis prprios da organizao gestora. Assim, no existe um custo contbil de aluguel do imvel. Entretanto, existe um custo de oportunidade relacionado propriedade do imvel. Se o proprietrio do imvel onde o projeto funciona o alugasse para uma empresa ele receberia uma renda. A renda do aluguel perdida devido cesso do mesmo ao projeto um custo de oportunidade que deve ser computado no clculo do custo econmico. Outro exemplo o custo de oportunidade do voluntrio. Vrios projetos funcionam com o auxlio de profissionais voluntrio. Pensemos em um projeto de preveno violncia que se beneficia do trabalho voluntrio de um psiquiatra. O custo das horas que este psiquiatra despende atendendo os participantes do projeto, no includo no custo contbil. Entretanto, se o psiquiatra ao invs de atender no projeto estivesse atendendo em seu consultrio ele receberia o valor da hora trabalhada. Assim, o custo de oportunidade do psiquiatra o valor das horas trabalhadas que ele deixa de receber por ser voluntrio no projeto. Este custo deve ser computado no custo econmico do projeto. Em resumo, ao trabalharmos com avaliao econmica temos que considerar os custos econmicos do projeto que so os custos contbeis somados aos custos de oportunidade do projeto.

29

Indicadores Um indicador o elemento, parmetro ou estatstica que fornece medida da magnitude de algum fenmeno. o indicador que oferece prova ou sinais de mudanas ocorridas. No caso dos projetos/programas de preveno violncia o indicador fornece a medida de algum aspecto importante para o projeto. Quando efetuamos a avaliao de processo construmos os chamados indicadores de processo. Este tipo de indicador est intimamente relacionado s aes do projeto/programa. Os indicadores so medidas das aes realizadas, ou seja, medem as atividades desenvolvidas. No caso da avaliao econmica construmos os chamados indicadores de impacto. Este tipo de indicador se relaciona aos objetivos do programa. So eles que permitem ao avaliador dizer se o programa alcanou seus objetivos. Os indicadores de processo e de impacto so fundamentais para conhecer a realidade do pblico alvo antes de depois do projeto/programa. Por isto precisam ser escolhidos com bastante cuidado e devem apresentar algumas caractersticas: i. Fcil de serem entendidos ii. De fcil construo e baixo custo; iii. Confiveis iv. No conflitantes com as informaes disponveis v. Relacionados diretamente com as aes efetuadas No exemplo do PROERD, como indicador de processo relacionado s aes de

30

formao de instrutores podemos considerar o nmero de instrutores formados, a nota dos instrutores na avaliao de aprendizagem, entre outros. Como indicador de processo relacionado aplicao do programa nas escolas podemos considerar o nmero de alunos certificados, nmero de escolas atendidas, quantidade de horas do curso ministradas por instrutor, a confiana dos jovens na polcia, a confiana do policial nos jovens, a viso dos jovens sobre as drogas, etc. Como o objetivo principal do programa PROERD instruir crianas e jovens para evitar drogas e violncia, um possvel indicador de impacto a freqncia do consumo de drogas lcitas (bebidas alcolicas e cigarro) ou ilcitas dos jovens. Outro indicador de impacto relacionado a este objetivo pode ser o nmero de vezes que o aluno foi notificado na escola por brigas. Um dos objetivos especficos do PROERD melhorar a imagem do policial entre os jovens e estabelecer confiana mtua. O grau de confiana dos jovens na polcia pode ser um indicador de impacto relacionado a este objetivo. No exemplo, fica claro que um mesmo projeto/programa pode ter vrios indicadores de processo e de impacto. Isto nos permite avali-lo nos seus diversos aspectos. Indicadores quantitativos X Indicadores qualitativos Os indicadores podem ser apresentados em dois formatos, quantitativos e qualitativos. Um indicador quantitativo aquele que indica quantidade, ou seja, fornece informaes objetivas, numricas. Tanto os indicadores de processo quanto de impacto podem ser definidos neste formato. Exemplos desse tipo de

31

indicador so: o nmero de instrutores formados, a nota dos instrutores na avaliao de aprendizagem, a renda mdia dos alunos, freqncia do consumo de drogas lcitas, o nmero de vezes o aluno foi notificado na escola por brigas, entre outros. Um indicador qualitativo aquele que mede as mudanas nas atitudes e no comportamento. Eles so em geral obtidos atravs de respostas subjetivas, textuais. A confiana dos jovens na polcia, a confiana do policial nos jovens e a viso dos jovens sobre as drogas lcitas so trs exemplos de indicadores qualitativos. Este formato de indicador mais difcil de ser analisado exigindo maior destreza do avaliador e utilizado exclusivamente em avaliaes de processo. A metodologia de avaliao econmica s aplicada em indicadores quantitativos. Alguns indicadores qualitativos so passveis de serem transformados em indicadores quantitativos para utilizao nas avaliaes de impacto. Mas como fazer esta transformao? Transformao de indicadores qualitativos em quantitativos Vejamos um exemplo: no caso do programa PROERD um indicador qualitativo a confiana dos jovens na polcia. Uma forma de transformar este indicador em quantitativo criar uma escala numrica para medir o grau de confiana na polcia. Esta escala seria: Grau de confiana na polcia: 1- Pouco confiante

32

2-Confiante 3- Muito confiante Outro indicador qualitativo do PROERD a viso dos jovens sobre as drogas lcitas. Para transform-lo em indicador quantitativo, tambm criamos uma escala: Grau de concordncia com consumo de drogas lcitas por jovens 1- No concorda 2- Concorda se o consumo for pequeno (1 vez por ms) 3- Concorda se o consumo for mdio (1 vez por semana) 4- Concorda independente do consumo A transformao de um indicador qualitativo em quantitativo gera perdas de informaes preciosas para a avaliao do programa. No exemplo, quando transformamos a confiana dos jovens na polcia (indicador qualitativo) no grau de confiana dos jovens na polcia (indicador quantitativo), enquadramos todos os jovens respondentes em apenas 3 categorias, perdendo a nuance das respostas de cada um. Assim, um jovem que confia pouco porque na sua comunidade existe corrupo policial classificado na mesma categoria de um jovem que confia pouco porque no conhece direito o funcionamento da instituio. Ambas as respostas do indicaes diferentes para o avaliador se analisadas qualitativamente, o que se perde na avaliao quantitativa. Por outro lado, somente com o indicador qualitativo no possvel medir as mudanas na relao de confiana entre policiais e jovens (impacto do PROERD).

33

Fontes das informaes: de onde viro os dados para construo dos indicadores? A discusso sobre indicadores utilizados para realizar a avaliao de

projetos/programas de preveno violncia, levanta uma importante questo: Para avaliarmos um projeto/programa precisamos obter informaes sobre os indicadores de impacto, ou seja, necessitamos de dados. Onde obter as informaes necessrias?

Cadastro do projeto O cadastro do projeto a base de dados construda internamente pelos seus gestores. Devem constar neste cadastro todas as informaes e caractersticas dos participantes relevantes para a avaliao. Geralmente, os gestores do projeto/programa so negligentes na construo deste cadastro, por o

considerarem dispendioso em termos de tempo e recurso. Entretanto, a ausncia de um bom cadastramento dos participantes pode inviabilizar as futuras avaliaes do projeto. Ento, um cadastro planejado, estruturado e preenchido

adequadamente fundamental para a avaliao do projeto. Quais as informaes devem estar contidas no Cadastro? O cadastro deve conter todas as informaes relevantes para posterior avaliao do projeto. Para saber quais so estas informaes precisamos observar os objetivos, as aes e os indicadores do projeto. Assim, no existe um modelo nico

34

de cadastro para todos os projetos/programas de preveno criminalidade, pois cada um tem um conjunto diferente de informaes que devem estar contidas no cadastramento de acordo com suas peculiaridades. No entanto, todo cadastro deve ser elaborado com o auxlio de um programa computacional de planilha eletrnica ou gerenciador de banco de dados, que tm recursos necessrios para o armazenamento adequado das informaes. No exemplo do PROERD o cadastro poderia conter trs grandes blocos de informaes: 1) Informaes sobre os policiais candidatos a instrutores Nome do policial Registro na corporao Idade Gnero Escolaridade Estado Civil Experincia anterior em atividade de ensino Se j procurou ajuda de profissional de sade metal. Por qual motivo Se consome de bebidas alcolica se com qual freqncia Se fuma e com qual freqncia Viso do policial sobre os jovens Viso do policial sobre o consumo de drogas lcitas por jovens Viso do policial sobre consumo de drogas lcitas por jovens Viso do policial sobre consumo de drogas ilcitas por jovens

2) Informaes sobre a escola Nome

35

Nmero de registro no Ministrio da Educao Endereo Nome do diretor Se federal, estadual, municipal ou privada Nome do policial designado e seu nmero de Registro

3) Informaes sobre as crianas Nome Idade Gnero Srie Se o aluno trabalha e nmero de horas Nmero de componentes na famlia Escolaridade da me Se a me trabalha Se j procurou ajuda de profissional de sade metal. Por qual motivo Se consome de bebidas alcolica se com qual freqncia Se fuma e com qual freqncia Viso do jovem sobre os policiais Viso do jovem sobre consumo de drogas lcitas Viso do jovem sobre consumo de drogas ilcitas

Quando vamos implementar um programa devemos assim recorrer aos documentos que o descrevem e o fundamentam e realizar um diagnstico prvio/pr-teste dos grupos, indivduos ou comunidades potencialmente alvos das aes do programa . Esse

36

diagnstico verifica se esses grupos, indivduos ou comunidades cumprem critrios de elegibilidade para o programa e, visa uma descrio, a mais detalhada possvel desta clientela, de forma a termos base para identificar e comparar resultados e impactos do programa aps a sua implementao.

Vejamos assim, um outro exemplo. No Programa Fica Vivo Programa Controle de Homicdios implementado em Minas Gerais, a teoria utilizada para explicar o crescimento do nmero de homicdios nas comunidades a Teoria da Desorganizao Social. Essa abordagem parte do pressuposto que o declnio da influncia dos agentes tradicionais de controle social nas comunidades urbanas, sobre a juventude, leva a violncia. Estes agentes so as famlias, igrejas, escolas, a solidariedade tnica e os valores tradicionais. A teoria destaca a distribuio espacial da criminalidade urbana e explora a importncia de fatores como status scio-econmico, composio sciodemogrfica, tnica e cultural da comunidade e mobilidade residencial, como fatores que podem determinar a capacidade de regulao de aes e comportamentos dos residentes de uma vizinhana, na medida em que condicionam o grau de identificao e envolvimento dos residentes na vida comunitria (Silveira, 2007).

O Decreto que criou o programa estabelece o seguinte objetivo:

Programa de Controle de Homicdios tem por objetivo reduzir a incidncia de homicdios dolosos, mediante aes de preveno e represso, nas reas de risco da Regio Metropolitana de Belo Horizonte e em outros municpios do Estado cujos indicadores de criminalidade violenta o justifiquem, contando, para sua execuo, com a ao integrada dos executivos federal, estadual e municipal, do Poder Judicirio, do Ministrio Pblico Estadual, bem como das organizaes no governamentais atendimento ou assistncia social e da sociedade em geral (Minas Gerais, 2003). de

37

O cadastro do programa descreve detalhadamente as suas aes, aponta como comunidades elegveis, quelas que apresentam indicadores preocupantes de

homicdios (nmeros elevados ou tendncia sustentada ao longo do tempo de crescimento) e, define como pblico alvo das aes do programa dentro da comunidade, jovens de 12 a 24 anos.

O programa implementa aes de interveno estratgica (identificao e priso de homicidas contumazes e policiamento comunitrio dentre outras aes) e de proteo social (fortalecimento de rede de proteo social, oficinas para jovens, incentivo ao empoderamento da comunidade formao de grupos de gestores locais, organizao de eventos comunitrios, incentivo s iniciativas locais etc.). Assim o diagnstico das reas candidatas a receberem o programa deve conter as seguintes informaes: Histria e perfil scio demogrfico da comunidade conhecer a histria da comunidade, sabendo como ela ocupou o territrio, quem foram os primeiros moradores, como adquiriram ou ocuparam o espao, a existncia de atividades econmicas no local etc. O perfil scio- demogrfico dos moradores Perfis de sexo, idade, ocupao e eventualmente etnia. Estatsticas de homicdios e tentativas de homicdios se possvel com definio do perfil de agressores, vtimas, locais onde ocorrem estes eventos, horas e dias da semana quando mais ocorrem estes eventos. Forma como os homicdios so cometidos. Detalhes como tipo de arma utilizada, forma de se aproximar de possveis vtimas, realizao do ato criminoso por um indivduo isolado ou por pequenos grupos etc. Estatsticas de outros crimes e violncias que afligem a comunidade, os meses

38

do ano, dias e horas nos quais mais freqente a ocorrncia destes crimes. Envolvimento de lcool e drogas ilcitas nos episdios de violncia. Impactos da violncia na comunidade: medida dos prejuzos financeiros provocados pela violncia, perda de oportunidades de trabalho, medo, reduo das festas e eventos organizados na comunidade, abandono de moradias, restries a livre circulao dos moradores pela comunidade, balas perdidas, expulso de moradores, etc. Mapeamento dos servios de segurana pblica (Companhias de Polcia Militar e Delegacias da Polcia Civil) que cobrem a regio e a existncia de programas especficos (Programa de Resistncia a Drogas PROERD, Programas de Vizinhos Protegidos, Guarda Escola, Anjos da Escola, existncia de segurana privada etc.). Mapeamento as instituies pblicas, organizaes no governamentais, associaes comunitrias e lideranas informais existentes na comunidade, Conselhos, potenciais parceiros para a iniciativa. Mapeamento da existncia de outros programas de preveno violncia operando no territrio.

Fontes Secundrias de Dados As fontes secundrias de dados so aquelas em que o pesquisador no foi responsvel pela coleta da informao. Estes dados so encontrados na administrao pblica, nas organizaes governamentais e nas instituies de pesquisa. Por exemplo, no caso de dados sobre violncia, existem vrias bases de dados: informaes resultantes das

39

notificaes ao Sistema nico de Sade SUS, dados das polcias, provenientes de boletins de ocorrncia e de inquritos policiais; dados do judicirio, provenientes dos inquritos judiciais; dados das instituies prisionais, pesquisas de vitimizao, informaes de companhias seguradoras, etc. As fontes de dados secundrias so bastante teis para conhecermos detalhadamente algumas caractersticas relevantes sobre a populao alvo. Por exemplo, taxas de ocorrncia de eventos violentos, caractersticas socioeconmicas, entre outras. Alm disso, estas bases podem ser usadas para comparar o pblico alvo de um projeto, com um conjunto de outros indivduos. No Brasil encontramos uma srie de fontes secundrias de dados (algumas delas so listadas a seguir). As fontes secundrias de dados sobre violncia tm uma particularidade que dificulta a sua utilizao nas avaliaes, em geral, so de acesso restrito. Portanto, a maior parte dessas bases no disponibilizada a qualquer pesquisador. Informaes sobre perfil de vtimas, perfil de agressores, modo de ao de agressores, envolvimento de drogas, os meses do ano, dias e horas nos quais mais freqente a ocorrncia destes crimes esto contidas em bancos de dados da Polcia Militar e Polcia Civil. Alm dos dados da polcia, podemos obter informao sobre violncia nas pesquisas de vitimizao. Trata-se de questionrios aplicados a uma amostra da populao, voltados para identificao das opinies das pessoas sobre violncia e criminalidade e para identificar vtimas de crimes. Pesquisas de vitimizao foram realizadas em algumas cidades brasileiras. Quando disponveis constituem uma importante fonte de informao.

40

Outras fontes importantes de informaes sobre a violncia na comunidade so os Conselhos Tutelares, Conselhos de Segurana Pblica, Centros de Referncia em Assistncia Social CRAS, Unidades de Sade, Delegacias Especializadas (Mulheres, Crimes Contra a Vida, Idoso, etc.).

Informaes sobre perfil scio demogrfico dos moradores tm como importante fonte o Instituto Brasileiro de Geografia e Estatstica IBGE. Os censos - realizados de 10 em 10 anos no pas e as PNAD - Pesquisas Nacionais de Amostra por Domiclio fornecem informaes valiosas. Nessas bases so disponibilizadas informaes sobre populao por setor censitrio constantes de idade, sexo, rendimentos, estado civil, nvel de escolaridade, mobilidade populacional, situao do mercado de trabalho, trabalho infantil, cobertura previdenciria, sindicalizao, condies de habitao, posse de bens durveis, etc. Deve-se, contudo ter ateno, pois a constituio dos bairros e favelas no obedece diviso por setor censitrio, o que exige que um profissional conhecedor das bases de dados extraia das mesmas os dados que correspondem a comunidade de interesse. Os dados produzidos pelo IBGE podem ser adquiridos. Para maiores informaes pode-se consultar a pgina do Instituto na Internet no endereo http://www.ibge.gov.br. Alguns municpios brasileiros possuem bases de dados prprias construdas com a finalidade de apoiar a implementao de polticas municipais. Quase sempre complementam ou atualizam dados produzidos pelo IBGE. Informaes sobre a constituio da comunidade, de natureza mais qualitativa podem ser obtidas junto aos moradores mais antigos, associaes de bairro, agncias pblicas instaladas h mais tempo na comunidade, como escolas e unidades de sade e mesmo entidades religiosas.

41

Nos municpios mais organizados, as prefeituras atravs dos seus rgos de planejamento urbano e cultura costumam possuir informaes organizadas sobre o surgimento de bairros e comunidades especficas, principalmente, as mais antigas. Outros informantes chaves, para recuperao deste histrico podem ser vereadores que representam ou representaram no passado interesses da comunidade. O perfil das vtimas da violncia e dos agressores tambm pode ser investigado em conversas com membros da comunidade ou gestores locais de agncias pblicas.

Nos grandes centros urbanos comum que estejam disponveis fontes de informao de origem acadmica. Independente do foco, estes textos quase sempre apresentam um histrico da comunidade estudada. Pesquisas em pginas de busca da Internet, bancos de teses e bibliotecas das maiores universidades e faculdades locais, ajudam a localizar estes textos.

Eventualmente, possvel obter essas informaes atravs de entrevistas a moradores, lideranas comunitrias e gestores locais. Pesquisas em bancos digitais da imprensa diria, tambm podem ajudar. Freqentemente, a cobertura jornalstica rene informaes de natureza qualitativa sobre violncias e crimes ocorridos em determinado territrio. A visualizao seriada dessas notcias muitas vezes nos ajuda a reconstituir de forma mais detalhada a histria de violncia no territrio, e complementa as estatsticas. A fase mais difcil deste trabalho ocorre no incio quando temos de identificar os informantes qualificados. Estratgia bastante utilizada comear pelos gestores

42

pblicos e autoridades religiosas (mais fceis de localizar) e solicitar que apontem outras lideranas da comunidade, organizaes e entidades que desenvolvem trabalhos importantes. Esta solicitao deve se repetir a cada nova entrevista at que os nomes indicados passem a se repetir e ser sempre os mesmos (tcnica conhecida como bola de neve). Unidades de sade e escolas podem ser localizadas junto s secretarias municipais e estaduais de sade e educao. Em alguns locais, a simples busca pgina da Internet destas secretarias permite identificar as unidades da regio. Secretarias de cultura, esporte, juventude, desenvolvimento econmico etc., eventualmente possuem cadastro de entidades culturais, esportivas e associaes comunitrias existentes no territrio. Esses cadastros podem tambm constituir um ponto de partida para o mapeamento das entidades atuando no territrio. Quadro 1- Possveis fontes de informao sobre violncia Fontes de informao sobre crimes e violncia na comunidade Fonte Agncias Segurana Pblica Tipo de informao de Estatsticas crimes e violncias Fontes e forma de Obteno

de Solicitao de acesso a bancos de dados outras de notificao de eventos e pesquisas de vitimizao

Dados qualitativos

Entrevistas a Delegado (a) , Comandantes de companhias e batalhes de polcia, Perfil de vtimas oficiais responsveis por policiamento Perfil de agressores comunitrio, ou Policiais responsveis por Relao com a projetos especiais comunidade Dificuldades encontradas Recursos disponveis

43

Comunidade

Volume de eventos Entrevistas ou grupos violentos representantes de: Crimes mais graves

focais

com

Lojas e pequenas empresas; Seguradoras;

Grau de medo da Firmas de segurana particular e bancos; violncia e do crime Hospitais e outros servios de sade; Preocupaes da Escolas; Entidades de apoio vtima de comunidade etc. crimes como violncia domstica; Perfil de vtimas e Prises; Organizaes de mulheres, grupos agressores de jovens, Organizaes cvicas; Iniciativas de Sindicatos; Entidades culturais e preveno em curso Esportivas; Entidades religiosas na comunidade Entidades caritativas; Conselhos locais (segurana pblica, sade etc.) Rdios e jornais comunitrios

Anlise documental:
Matrias de jornais, Consultas a pesquisas de natureza acadmica, Realizao de surveys,Fruns da Comunidade Outras agncias Informaes scio- Anlise documental e entrevista com governamentais demogrficas e de informantes chaves de: acesso a servios Secretarias/departamentos municipais de essenciais habitao, empresas concessionrias de (estatsticas de servios pblicos. pronto-socorros, Empresas/ Fundaes de Processamento numero de famlias de dados estatsticos (ex: IBGE) que recebem benefcios de Bancos de dados de secretrias de sade e problemas urbanos, assistncia social, educao, desenvolvimento econmico. nmero de crianas matriculadas nas escolas, estatsticas de evaso escolar,,nmero de detentores de ttulo de posse de moradias, percentual da populao com acesso a saneamento

bsico, coleta de lixo, eletricidade etc., cadastro de atividades econmicas)

Tcnicas podem ser utilizadas para a obteno de informaes sobre a comunidade a ser atendida O quadro 2 a seguir apresenta as vantagens e desvantagens de cada uma das tcnicas de obteno de informaes sobre a rea a ser atendida pelo programa.

45

Tcnicas Questionrios e Surveys

Descrio Envolvem a aplicao de questionrios estruturados em amostra de pessoas da comunidade ou em um grupo especfico. Os questionrios podem ser auto-respondveis, aplicados por entrevistadores face a face, por telefone ou via postal. Trata-se de meios teis de obter informaes sobre comportamentos, atitudes, e opinies de um grupo maior de pessoas.
O propsito dos grupos focais reunir pequenos grupos de pessoas (8-12) para discutir tpicos importantes para a implementao do programa. Trata-se de uma tcnica importante em situaes nas quais importante entender o contexto, e o entendimento e profundidade da anlise importante assim como novas idias sobre o que fazer. So importantes para explorar determinados temas antes de conduzir um survey ou aplicar questionrio ao grupo especfico.

Vantagens permitem colher informaes de muitas pessoas. - so annimos - so mais facilmente analisveis e comparveis - Permitem avaliar a reao do pblico a propostas de polticas pblicas, identificar violncias ocorridos e no notificados, e fornecem dados para posterior avaliao de programas implementados - alguns modelos de questionrios j so disponiveis
- So baratos e podem ser realizados com mais rapidez. Estimulam os participantes a exporem suas idias, - Ajudam a considerar outros pontos de vista e a identificar prioridades. - Podem oferecer insight sobre a extenso e fora das opinies e resistncias a mudanas. Podem identificar potenciais participantes do programa.

Desvantagens - podem exigir especialistas em amostragem e em metodologia de survey - so impessoais - podem ser caros - refletem opinies, atitudes e informaes em um dado ponto no tempo

Grupos Focais

-Os participantes podem no ser representativos da populao da qual provem. -Pode ser difcil recrutar o nmero de voluntrios necessrios para o grupo. - vulnervel a manipula Exige facilitadores experientes.

46

Entrevistas com informantes chaves

Tem objetivos Semelhantes aos do grupo semelhantes aos dos focal grupos focais, exceto que os entrevistados so escolhidos especificamente por suas experincias, envolvimento e conhecimento dos temas sobre os quais a informao necessria Anlise de - pode permitir viso mais Documentos abrangente e histrica da situao - no compromete a rotina do programa - as informaes j existem Estudo Caso de Trata-se de um estudo de - completa descrio dos um programa, um projeto, recursos processos e uma instituio ou resultados e experincia entidade. Objetiva dos usurios no programa conhecer como e porque - constitui uma forma so realizadas as aes de adequada de descrever o uma determinada forma. programa para as pessoas Procura identificar o que que no o conhecem existe de mais caracterstico e, essencial na unidade de estudo Fonte: Adaptado de Queenland Government, 2002, MacNamara, 2009

- Demandam muito tempo - so mais difceis de analisar e comparar - podem ser caras - o entrevistar pode enviesar as respostas dos entrevistados

- exige muito tempo para coletar, organizar e descrever as informaes permite mais profundidade da informao do que amplitude

Captulo IV: Avaliao de Processo

Aps a criao e planejamento do programa ou projeto inicia-se a fase de implementao das aes. Essa fase, ainda que muito bem planejada e fundamentada,

47

constitui uma fase difcil e no raro tumultuada, na medida em que, a vida como ela apresenta contingncias e imprevistos que podem exigir adaptaes no plano de trabalho original. Estas contingncias demandam esforos no sentido de compreenso dos fatos que venham a ocorrer e que exigiro ajustes no plano original.

Assim, a avaliao de processo tem como principal objetivo verificar se os mecanismos operacionais do programa se desenvolvem de tal forma a permitir que este atinja os objetivos planejados, ou seja, em que medida o programa implementado segundo o plano original. Este tipo de avaliao oferece informaes teis a gestores e financiadores no caso dos programas novos. No caso dos programas j estabelecidos, responde questes sobre a qualidade dos servios oferecidos, como est organizado de fato e o nvel de sucesso com que est atingindo a populao alvo. O quadro 3 resume os principais usos da avaliao de processo

Quadro 3 Usos da Avaliao de Processo

Usos da Avaliao de Processo Aperfeioamento Processo do mais freqentemente realizada no meio do processo de implementao. processo a Permite aos gestores fazerem tempo, quando detectados ajustes no de

problemas

implementao que podem comprometer os resultados. Esclarecer a caixa preta Pode esclarecer os achados da avaliao de impacto fornecendo da avaliao de impacto informaes sobre os mecanismos operacionais do programa, ou seja, permite identificar os ingredientes do programa que levam aos resultados.

48

Identificao das Melhores Quando a avaliao de processo realizada em um programa que Prticas opera em diferentes contextos (cidades e regies), as melhores prticas podem ser identificadas atravs da comparao e replicadas em outras iniciativas. Anlise do processo de Se a avaliao de processo realizada de forma sistemtica, ao longo do tempo, as informaes obtidas podem ser utilizadas para identificar os gargalos e reas que necessitam de melhorias na ao governamental. Fonte: Baseado em World Bank, 2009

administrao pblica

Em geral, a avaliao de processo demandada pela prpria equipe ou pelos financiadores. Pode ser realizada por pessoa ou equipe do prprio programa, eventualmente com ajuda de um especialista ou, por avaliadores externos. Entretanto, na maioria das vezes conduzida por especialistas, como um projeto separado, que pode envolver tcnicos do programa, mas no est integrada na sua rotina diria. Isto particularmente recomendado quando estamos diante de programas grandes e complexos (Rossi et al., 2004, World Bank ,2009).

A avaliao de Processos pode utilizar metodologias quantitativas e qualitativas. De uma forma geral este tipo de avaliao envolve: Detalhada descrio de como os programas ou projetos esto operando de fato, em comparao aos protocolos que descrevem como eles deveriam estar operando segundo o desenho original. Medidas da eficcia e da eficincia das operaes. Recomendaes para melhorar o processo.

49

Implementao da avaliao de processo A execuo deste tipo de avaliao exige trabalhos de campo e de bancada. s vezes uma boa avaliao de processo pode ser lenta e cara em decorrncia do trabalho de campo, principalmente se o projeto ou programa implementado em diferentes locais (World Bank, 2009).

Segundo, Rossi et al. (2004) A avaliao de processo deve responder as seguintes questes: Quantas pessoas esto recebendo os servios? Quais os critrios que o programa utiliza para definir a sua clientela? Como os usurios tm acesso aos servios do programa? Os usurios dos servios fazem parte da populao alvo do programa? Os usurios do servio esto recebendo a quantidade e o tipo de servio na qualidade adequada? Existem membros da populao alvo que no esto recebendo o servio ou subgrupos dentro da populao alvo que esto sub-representados entre aqueles que recebem o servio. Os membros da populao alvo conhecem o programa ou projeto? As atividades necessrias a oferta dos servios esto sendo executadas adequadamente? A equipe executora tem o tamanho e as competncias necessrias para execuo das atividades previstas? O programa est bem organizado. A equipe executora interage bem? Os recursos disponveis incluindo equipamentos e fontes de custeio so

50

adequados para manter as atividades do programa? O programa est em conformidade com os requisitos impostos pelas agncias financiadoras, agncias governamentais, conselhos gestores, conselhos

profissionais, legislao etc.? Existem diferenas de performance entre locais diferentes que executam o mesmo programa? Os usurios/clientes esto satisfeitos com os servios recebidos? O que usurios consideram ser o ponto forte do programa? O que a equipe do programa considera ser seu ponto forte? O que os usurios consideram um ponto frgil do programa? O que os trabalhadores consideram um ponto frgil do programa? O que a equipe do programa recomenda para melhorar o programa? O que os usurios recomendam para melhorar o programa? Existe algum tipo de acompanhamento (follow up) dos usurios aps eles sarem do programa?

Como responder a estas questes? Atravs da realizao de entrevistas com informantes chaves, grupos focais, surveys, anlise de documentos gerenciais, anlise de notcias de jornal.

De qualquer forma, como pode ser apreendido das questes acima colocadas, a avaliao de processo implica no uso de expresses como apropriado, adequado, razovel, satisfatrio, pretendido etc. Portanto, trata-se de uma modalidade que implica em julgamento. Para tal necessrio ao avaliador dispor de critrios e padres

51

defensveis nos quais ele possa basear o seu julgamento. A inexistncia de definio destes critrios torna o trabalho do avaliador muito difcil, exigindo que o mesmo busque na teoria que fundamenta o programa pistas do que o programa deveria estar fazendo e do que constitui um desempenho adequado.

Os

critrios

mais

comumente

aplicados

nestas

situaes

so

os

padres

administrativos ou objetivos que so estabelecidos pelos administradores. Estes podem ser estabelecidos com base na experincia pregressa, na performance de programas semelhantes ou, atravs do julgamento profissional de conselheiros e gestores. Se bem justificados, estes padres podem constituir parmetros frente os quais ser avaliado o desempenho do programa. importante ressaltar que sem critrios claros para nortearem a avaliao, processos ruins podem ser julgados adequados. Da mesma forma procedimentos muito flexveis de avaliao podem considerar todos os processos aceitveis, o que torna a avaliao intil (Rossi et al, 2004).

Outra forma de avaliao de processo o monitoramento contnuo de indicadores de processo escolhidos para o programa. O monitoramento constitui uma ferramenta til que facilita a gesto do programa atravs da informao regular sobre como o programa est executando suas funes crticas. Este tipo de retorno possibilita aos gestores adotar medidas de ajuste quando surgem problemas e, manter os interessados (stakeholders) permanentemente informados sobre o desempenho do programa. Assim, o monitoramento deve estar integrado s atividades rotineiras do

52

sistema de informao do programa que compila, registra e sumariza periodicamente seus dados. O monitoramento deve constituir uma ferramenta de gerenciamento aplicada pelos gestores do programa durante toda a sua execuo (Cano, 2008; World Bank, 2009; Carvalho, 2003; Rossi et al, 2004; World Bank, 2003).

Captulo V2 Avaliao Econmica A avaliao econmica de um projeto/programa de preveno violncia composta de duas etapas, avaliao de impacto e avaliao do retorno econmico. Estas duas etapas so complementares, sendo que a avaliao de retorno econmico realizada a partir dos resultados da avaliao de impacto.

O que avaliao de impacto?

De forma intuitiva, a avaliao de impacto mede as mudanas que o programa gera na vida dos beneficirios. Isto equivale a dizer que a avaliao de impacto mensura o efeito (positivo ou negativo, intencional ou no intencional), que o programa causa no 53

A apresentao deste captulo est baseada na estrutura analtica do Manual.de Avaliao Econmica de Projetos Socais da Fundao Ita Social, elaborada por Schor e Afonso (2005), adaptada para a avaliao de programas de preveno e combate violncia.

pblico-alvo escolhido. Assim, a avaliao de impacto de programa de preveno violncia pretende compreender em que medida o programa atinge o pblico alvo e, a magnitude dos seus efeitos sobre a violncia. Alm disto, as metodologias de avaliao de impacto permitem a diferenciao da magnitude do impacto ao longo do tempo e, entre os diferentes grupos ou regies alvos, bem como, a mensurao de resultados no planejados inicialmente. Para efetuarmos uma avaliao de impacto precisamos identificar relaes causais entre as aes do programa e os efeitos obtidos. O estabelecimento destas relaes feito de forma a garantir que aqueles efeitos so de fato causados pelo programa e no por algum fator exgeno. Em outras palavras, precisamos verificar se as mudanas nos indicadores de impacto so de fato causadas pelo programa ou se ocorreriam mesmo sem a implementao do mesmo. Em suma, as metodologias empregadas para a avaliao de impacto procuram garantir a relao causal entre aes do programa e os resultados observados e estimar sua magnitude. Pensemos no exemplo do PROERD, citado anteriormente. Para atingir os objetivos, as crianas e jovens participantes freqentam aulas ministradas por policiais nas escolas. Desejamos saber o resultado do programa nos participantes. Por exemplo, podemos escolher como indicador de impacto a freqncia do consumo de drogas. Como mensurar (avaliar) o efeito do programa sobre este indicador? Como isolar os efeitos de um fator simultneo, por exemplo, aumento da penalidade neste tipo de infrao? A resposta a estas questes tema desta seo.

O que avaliao de retorno econmico?

A avaliao de retorno econmico pretende comparar a magnitude dos resultados

54

obtidos pela avaliao de impacto com o custo incorrido para sua obteno. Ou seja, pretende confrontar o impacto do programa com o seu custo. Alm disto, quando efetuada em mais de um programa, os parmetros estimados servem de comparao entre eles. Este tipo de avaliao importante porque mesmo que um programa tenha obtido impacto positivo (estimado atravs da avaliao de impacto), pode ser que o custo para a sua obteno tenha sido to alto que inviabilize sua implementao. Ou seja, o programa funciona, mas no compensa. Muitas vezes temos programas que exibem um impacto de grande magnitude, mas que quando confrontados com seu custo se apresentam pouco viveis, ou seja, tm custo muito alto em relao aos benefcios que geram. A avaliao de retorno econmico pretende responder as seguintes perguntas: O benefcio gerado pelo vivel projeto/programa economicamente? maior Em que seu custo? Este

projeto/programa

quais

projetos/programas

alternativos devemos investir? Avaliao de Impacto A avaliao de impacto mensura as mudanas na vida dos indivduos provocadas pelo programa. No caso de programas de preveno violncia, a avaliao de impacto objetiva, principalmente, determinar quantos atos violentos foram prevenidos. Alm disto, como geralmente os programas de preveno violncia promovem melhorias na qualidade de vida dos participantes, a avaliao de impacto pode considerar outros efeitos. Consideremos um exemplo: o programa Fica Vivo, implementado em Minas Gerais, visa

55

a reduo dos homicdios em locais de grande incidncia, geralmente favelas. Portanto, seu pblico-alvo so os locais onde foi implementado. A avaliao de impacto desse Programa deve tentar mensurar, principalmente se houve reduo no nmero de homicdios, pois este o seu principal objetivo. Alm disto, podemos considerar outros efeitos do programa como o aumento da empregabilidade dos jovens participantes, o desenvolvimento econmico do local, o grau de confiana da populao na polcia, etc. Dois conceitos so inerentes avaliao de impacto: mensurao e causalidade. Entendemos por mensurao o ato de medir ou mensurar algo. Assim, a avaliao de impacto mede a magnitude da mudana provocada pelo programa, e no somente determina se houve mudana. Para podermos medir a magnitude da mudana provocada pelo programa, temos que escolher indicadores que representam as mudanas, que o programa procura criar, ou seja, indicadores diretamente relacionados aos objetivos do programa. Portanto, espera-se que estes indicadores tenham sido afetados pelo programa. Como discutimos anteriormente neste Manual este tipo de indicador denominado indicador de impacto. Considere o exemplo do programa Fica Vivo para a reduo dos homicdios. Gostaramos de saber se o programa reduziu em 10%, 20% ou 50% o nmero de homicdios nos locais que o receberam. Ter uma medida objetiva (numrica) da reduo da violncia e criminalidade bastante til para os gestores do programa seja na comparao com outros programas seja para verificar se a magnitude da diminuio dos homicdios satisfatria.

56

O conceito de causalidade diz respeito relao de causa e efeito. A avaliao de impacto alm de mensurar a magnitude das mudanas dos indicadores escolhidos, procura determinar se a mudana foi causada pelo programa. Intuitivamente, determinar causalidade equivale a definir se foi a participao no programa que provocou a mudana no indicador de impacto3. No exemplo do programa Fica Vivo, gostaramos de comparar o nmero de homicdios dos locais que receberam o programa com o nmero de homicdios desses locais caso eles no tivessem recebido o programa. Assim, teramos certeza de que a reduo do nmero de homicdios foi devido ao programa. Se estivssemos em um conto de fadas olharamos no interior de uma bola de cristal e veramos como estariam os participantes se eles no tivessem participado do programa. No exemplo citado, verificaramos o que teria acontecido aos locais que receberam o Fica Vivo, caso no o tivessem recebido. Obviamente, isto no possvel.

Ento, como avaliar o impacto do programa?

A resposta mais usual a esta pergunta que devemos comparar o indicador de impacto dos participantes do programa antes e depois de passarem por ele, ou seja, ver a evoluo do indicador de impacto no tempo. Entretanto, isto no suficiente. Por exemplo, se compararmos a evoluo do nmero de homicdios dos locais que receberam o Fica Vivo e descobrirmos que este nmero diminuiu, no poderemos atribuir ao programa esta reduo. Outros fatores podem ter causado a diminuio dos homicdios, por exemplo, a poltica de entrega voluntria de armas ou a remoo de famlias das favelas atravs de um programa habitacional. Nesses casos os 57

Ravallion (2001, 2005) discute os problemas inerentes s avaliao de impacto de programas e polticas pblicas, em especial programas de reduo de pobreza.

homicdios de todas as favelas do municpio devem ter reduzido. Se mensurssemos o impacto observando apenas os locais que participaram do programa no poderamos garantir causalidade, que um conceito inerente avaliao de impacto. A maneira correta de avaliar o impacto de um programa comparar o grupo dos participantes com um grupo de no participantes semelhantes. O grupo de no participantes representa a situao na qual os participantes estariam, caso no tivessem recebido o programa. Na linguagem da literatura de avaliao de impacto, o que queremos encontrar o contrafactual dos tratados. Como isto no possvel, resolvemos o problema atravs da construo do grupo controle. O grupo controle a reunio de no tratados (no participantes) semelhantes aos tratados. Portanto, o grupo controle formado por no participantes que possuem caractersticas semelhantes aos participantes. Observar os no participantes equivale a olhar a bola de cristal dos contos de fadas. No exemplo do Fica Vivo, o grupo controle deve ser formado por locais que no participaram do programa e que sejam parecidos com os que participaram (mesmo nvel socioeconmico, estrutura etria, qualidade das moradias, etc). A seleo do grupo controle que parece conceitualmente simples, torna-se um dos maiores problemas para os avaliadores na prtica. Nem sempre possvel encontrar um bom grupo controle, pois pode ser difcil selecionar no tratados com caractersticas semelhantes a dos tratados. Existem dois motivos que dificultam a construo do grupo controle: i) Auto-seleo: acontece auto-seleo quando os participantes do programa escolhem participar. Isto significa que estas pessoas so diferentes das que no escolhem

58

participar. Por exemplo, pense num programa para reintegrao social de egressos do sistema prisional com objetivo de prevenir que estes cometam novos crimes. Alguns egressos optam por participar (tratados) e outros escolhem no participar (controle). O grupo tratado deve ter caractersticas diferentes do grupo no tratado. Algumas destas caractersticas podem ser observveis (sexo, idade, escolaridade, renda familiar, religio, etc) e outras so no observveis (moralidade, ndole, propenso ao trabalho, etc.). Se compararmos a taxa de reincidncia criminal desses dois grupos e encontramos uma menor taxa para os tratados, no poderemos atribuir esta diferena diretamente ao programa. Pode ser que o grupo tratado seja mais religioso ou mais propenso ao trabalho do que o grupo no tratado e so estas diferenas que levaram menor na taxa de reincidncia observada no grupo tratado.

ii)Seleo: muitas vezes a participao nos programas de preveno criminalidade involuntria, ou seja, imposta a participao. Neste caso no acontece auto-seleo. Entretanto, se a seleo dos tratados feita com base em um critrio de elegibilidade pode ser que o grupo tratado difira do grupo no tratado justamente por ser um pblico alvo especfico. Por exemplo, no programa Fica Vivo para reduo dos homicdios, os locais participantes so escolhidos pelos gestores pblicos de acordo com os critrios de alta taxa de homicdios e vulnerabilidade social. Outro exemplo so os programas de preveno terciria (para indivduos que j cometeram delitos), como tratamento a usurios de drogas. A participao neste tipo de programa geralmente imposta pelo judicirio. As pessoas tratadas so diferentes do resto da sociedade por serem todas usurias de drogas.

59

At aqui aprendemos que para avaliar o impacto de um programa necessrio mensurar as mudanas no indicador de impacto e, garantir que estas mudanas foram causadas pelo programa. Determinar a causalidade um dos maiores problemas para os avaliadores, pois exige a construo do grupo controle, o que muitas vezes difcil. Uma forma de construir um bom grupo controle atravs da utilizao de experimentos controlados e aleatrios. Na rea de sade este tipo de experimento bastante utilizado. Considere o teste de um novo tipo de medicamento, por exemplo, um antidepressivo. Para fazer este teste escolhido um grupo de pacientes com depresso. Os membros deste grupo se diferem em vrios aspectos. O que o pesquisador faz dividir este grupo em dois subgrupos de forma aleatria (por sorteio), grupos A e B. O grupo A recebe o antidepressivo, enquanto o grupo B recebe plulas de farinha. Nenhum dos elementos dos grupos sabe se o remdio que receberam verdadeiro ou de farinha. Ao final do perodo de tratamento verifica-se a diferena na depresso dos dois grupos. Se o grupo que tomou o antidepressivo apresenta menor depresso, atribui-se ao remdio o efeito de cura. Mas porque usar experimento controlado? Porque no comparar dois grupos quaisquer? Considere mais um exemplo. Um estudo busca identificar a relao entre depresso e dependncia qumica. Se verificarmos que os dependentes qumicos tendem a ter mais depresso que os no dependentes, no podemos concluir que a dependncia qumica causa depresso. Existem outros fatores que fazem com que o dependente qumico seja diferente do resto da populao e que podem estar levando depresso, como o isolamento social, sedentarismo, hbitos de vida cotidiana, etc. Portanto, existem diferenas entre os dois grupos que impedem a comparao direta. Para o pesquisador poder estudar o efeito da dependncia qumica sobre a depresso, ele deve selecionar

60

um grupo de dependentes e no dependentes que tenham hbitos semelhantes, de forma que a nica diferena entre ambos o uso das drogas. Neste caso, a diferena na incidncia de depresso entre os dois grupos pode ser considerada efeito apenas da dependncia qumica. Dos exemplos acima conclumos que precisamos utilizar o experimento controlado para determinar a causalidade entre dois fatores. Entretanto, em cincias sociais e especificamente na preveno da violncia, geralmente no podemos fazer

experimentos controlados. No temos como ter absoluta certeza que as mudanas no indicador de impacto so resultados do programa. Provavelmente muitas mudanas ocorreram no perodo de vigncia do programa, sem ter relao com ele, e afetaram o indicador de impacto. Ento, como isolar o impacto do programa do impacto dessas outras mudanas? Existem vrias tcnicas estatsticas para mensurar o impacto do programa quando no temos experimento controlado. Entretanto, para que o impacto obtido por estes mtodos seja confivel o avaliador continua precisando construir bons grupos de controle. Para a compreenso dos textos a seguir necessrio o conhecimento de alguns conceitos bsicos de estatstica que esto apresentados no Anexo.

Mtodos de estimao do impacto de programas de preveno violncia Neste Manual aprenderemos trs ferramentas de estimao do impacto de um programa de preveno violncia. A escolha de qual ferramenta utilizar depende das 61

caractersticas das informaes disponveis. Na seo anterior, vimos que o principal problema de avaliao econmica que no somos capazes de observar como os tratados (participantes do programa) estariam se no tivessem recebido o tratamento (programa). Apenas os observamos com o tratamento. Se pudssemos observar os tratados com e, sem o tratamento ao mesmo tempo o clculo do impacto do programa seria muito simples. Bastaria comparar o indicador de impacto dos tratados nas duas situaes (com e sem o programa). Para representar como os tratados estariam caso no tivessem sido tratados construmos os chamados grupos de controle. Quando garantimos que o grupo controle uma representao, quase perfeita do grupo tratado, a estimao do impacto do programa realizada pela simples Comparao Estatstica entre a Mdia do indicador de impacto de ambos os grupos. Este caso acontece em um experimento aleatrio. Quando o grupo controle similar ao grupo tratado, mas no podemos garantir que, a representao perfeita do grupo tratado, a estimao do impacto realizada utilizando o instrumental de Regresso Linear. Neste caso temos um experimento no aleatrio. Por fim, quando dispomos de informaes sobre os grupos de tratamento e controle antes e depois do programa estimamos o impacto atravs do instrumental denominado Diferenas em Diferenas. Comparao estatstica entre mdias Este instrumental utilizado quando estamos trabalhando com o mtodo experimental ou de seleo aleatria. O mtodo experimental ou de seleo aleatria bastante simples, mas para sua utilizao necessrio que a avaliao seja contemplada antes do incio do programa. O primeiro passo cadastrar todos os elementos com caractersticas esperadas para o pblico-alvo e que desejam participar. Assim, teremos uma lista de inscritos. O segundo passo atravs de sorteio selecionar os 62

elementos que participaro do programa. Desta forma, teremos o grupo de tratamento (os sorteados) e o grupo de controle (os que no foram sorteados). O terceiro passo realizado um tempo aps o programa ter sido implementado. Ele consiste em comparar estatisticamente a mdia do indicador de impacto entre os grupos de tratamento e controle4. O impacto do programa obtido pela diferena da mdia do indicador de impacto entre os dois grupos. No caso do PROERD, para empregarmos o mtodo experimental ou aleatrio de avaliao de impacto deveramos: Primeiro passo: verificar entre as crianas e jovens matriculadas nas escolas onde o programa ser implantado quais querem participar. Elaborar uma lista com seus nomes. Segundo passo: na lista elaborada sortear as que participaro do PROERD (grupo de tratamento). Formar o grupo de controle (crianas e jovens que no participaro do programa). Terceiro passo: aps as crianas do grupo de tratamento participarem do programa, comparamos a mdia do indicador de impacto escolhido do grupo de tratamento e controle, por exemplo, consumo de drogas ilcitas. Se na mdia, o consumo de drogas ilcitas dos tratados estatisticamente menor do que o consumo de drogas ilcitas do controle, dizemos que o programa teve impacto na preveno do consumo s drogas. No exemplo do Fica Vivo, os passos para aplicar o mtodo experimental ou aleatrio so:

63

Em geral os programas devem ser avaliados com no mnimo um ano de funcionamento, para que seja dado tempo suficiente para apresentarem resultados.

Primeiro passo: listar todos locais com alta taxa de homicdios e vulnerabilidade social (critrios de elegibilidade do programa;

caractersticas do pblico alvo). Como o programa desenhado para locais no faz sentido em abrir inscries. Segundo passo: dentre os locais listados sortear os que recebero o programa, formando um grupo de tratamento e um de controle. Terceiro passo: aps os locais terem recebido o programa (tratamento), comparamos a mdia do indicador de impacto escolhido entre os grupos, por exemplo, reduo do nmero de homicdios. Se na mdia, o nmero de homicdios dos locais que receberam o programa (grupo tratado) estatisticamente menor do que o nmero de homicdios dos locais que no receberam o programa (grupo controle), dizemos que o programa teve impacto na preveno dos homicdios. Um experimento aleatrio aquele no qual acontece o sorteio dos participantes, sendo o grupo controle constitudo de elementos que se inscreveram para participar do programa e no foram sorteados.

Por que o sorteio importante?

Atravs do sorteio constitumos aleatoriamente o grupo tratado e controle. Isto nos garante que, na mdia, a nica diferena entre os grupos a participao no programa, pois ambos so formados por elementos que satisfazem as condies exigidas para participao e desejam participar. Assim, o sorteio a forma de gerar um bom grupo de controle. Note que o sorteio deve ser realizado na etapa de formulao do

64

programa, o que muito diferente de depois do programa realizado, sortear entre os participantes uma amostra para constituir o grupo controle.

Como efetuar o teste de diferena de mdias na prtica?

Para efetuar o teste de diferenas precisamos montar um banco de dados com informaes individuais sobre o indicador de impacto para todos os elementos do grupo de tratamento e controle. A tabela I apresenta um banco de dados de um programa para a preveno aos homicdios. Neste banco de dados est contida a varivel ID que uma numerao contnua identificando os locais. A varivel Nmero de Homicdios Antes que o nmero absoluto de homicdios ocorridos no ltimo ano antes do programa nestes locais, a varivel Nmero de Homicdios Depois que o nmero absoluto de homicdios ocorridos no ltimo ano depois do programa nestes locais e a varivel Participao, que identifica quais locais participaram do programa (grupo tratado) e quais no participaram (grupo controle). Tabela I: Banco de dados anual de um programa de preveno de homicdios fictcio

A partir destes dados calculamos a mdia do indicador de impacto para cada um dos grupos separadamente. Em seguida, calculamos um intervalo de confiana a 95% para 65

uma delas, por exemplo, para o grupo controle. A criao do intervalo de confiana est baseada na hiptese de que a mdia da varivel (indicador de impacto) tem distribuio normal. A Tabela II a seguir apresenta estes resultados para o programa fictcio. Tabela II: Mdia e intervalo de confiana para o programa fictcio
Mdia dos Intervalo de confiana homicdios Lim. Inferior Lim.Superior 6 4,1 8,7 11 6,4 15,6

Tratado Controle

Para testar se as mdias so estatisticamente diferentes, verificamos se a mdia calculada para o grupo tratado est dentro do intervalo de confiana calculado para o grupo controle ou vise versa: i) Caso afirmativo, as duas mdias no so estatisticamente diferentes, significando que o programa no teve impacto. ii) Caso negativo, as mdias so estatisticamente diferentes, significando que o programa teve impacto. Se as mdias so estatisticamente diferentes, como no exemplo, a magnitude do impacto obtida pela diferena entre elas. O impacto do programa fictcio de reduo dos homicdios de -5 homicdios. Isto significa que os locais tratados, em mdia, apresentam aps o tratamento 5 homicdios a menos do que os locais controles, indicando que o programa de fato promove a reduo dos homicdios.

66

Se o experimento aleatrio, para estimar o impacto do programa, basta comparar estatisticamente a mdia do indicador de impacto do grupo tratado e do controle. Para isto construmos um intervalo de confiana da mdia de um dos grupos, por exemplo, o grupo tratado. A formula para a construo deste intervalo a 95% de confiana a seguinte:
sT X T - 1,96 * ; X + 1,96 * sT T n n

Onde X T a mdia do indicador de impacto para o grupo tratado st o desvio padro do indicador de impacto para o grupo tratado n o nmero de elementos no grupo tratado Depois de calcular o valor do intervalo de confiana verificamos se, a mdia do indicador de impacto do outro grupo est contida neste intervalo. Como regra temos: Se a mdia do grupo controle est contida no intervalo de confiana do grupo tratado, com 95% de probabilidade, as mdias so iguais e, portanto, o programa no teve impacto. Se a mdia do grupo controle no est contida no intervalo de confiana do grupo tratado, com 95% de probabilidade, as mdias no so iguais e, portanto, o programa teve impacto.

Regresso linear Este mtodo aplicado quando a seleo dos participantes no aleatria ou no 67

experimental. A seleo no experimental ou no aleatria o caso mais comum na avaliao de programas sociais, especificamente em projetos de preveno violncia. Na maioria destes programas a seleo dos participantes no ocorre aleatoriamente, porque outros critrios so utilizados para selecionar os participantes dentre o pblico alvo. Por exemplo, os gestores de um programa para preveno aos homicdios podem, entre o pblico alvo, escolher os locais de maior incidncia criminal, ou os gestores de um programa para preveno do uso de drogas entre jovens podem, entre os jovens inscritos, escolher aqueles que consideram mais vulnerveis. A implicao da seleo no aleatria para a avaliao de impacto que no podemos considerar o grupo de no tratados como controle natural para os tratados. No caso da seleo aleatria, os no tratados constituem naturalmente o grupo de controle, pois na mdia, a nica diferena para o grupo tratado a participao no programa (ambos so formados por elementos que satisfazem as condies exigidas para participao e desejam participar). Nesse sentido, retornamos ao principal problema de avaliao de impacto, ou seja, no temos um grupo de elementos que represente como os tratados estariam se no tivesse recebido o tratamento. Quando a seleo no aleatria o grupo controle no representa perfeitamente o grupo tratado

Como avaliar o impacto quando temos um grupo controle com caractersticas diferentes do grupo de tratamento?
O primeiro passo determinar quais so as caractersticas que diferem nos dois grupos e que afetam o indicador de impacto. No exemplo do programa para reduo

68

dos homicdios podemos citar proporo de jovens na populao como caracterstica que pode ser diferente entre o grupo tratado e controle e, que afeta o nmero de homicdios (indicador de impacto). A proporo de jovens deve estar relacionada ao maior nmero de homicdios, pois esta faixa etria tende a ser mais vtima e autora deste tipo de crime. No exemplo do programa para preveno do uso de drogas entre jovens, a vulnerabilidade social pode ser levantada como uma caracterstica que afeta o indicador de impacto (uso de drogas) e que diferente entre os dois grupos. Como foram selecionados jovens com maior vulnerabilidade social para participar, ento essa caracterstica diferente entre os grupos de tratamento e controle. Alm disto, provavelmente a vulnerabilidade social est relacionada ao uso de drogas. Assim, grupos de jovens socialmente mais vulnerveis , em mdia, devem ter maior incidncia de uso de drogas. Nestes exemplos citamos apenas uma caracterstica para cada programa, entretanto o avaliador deve listar todas as caractersticas possveis. Depois de listar e coletar as informaes sobre as caractersticas que afetam o indicador de impacto e, que so diferentes entre os grupos de tratamento e controle, passamos ao segundo passo para avaliar programas de preveno violncia quando a seleo dos participantes foi no aleatria: a estimao da regresso. O mtodo de estimao regresso uma tcnica economtrica. A econometria a principal ferramenta quantitativa das cincias econmicas e sociais. Atravs da combinao de funes matemticas e mtodos estatsticos, se prope a estabelecer relaes numricas entre objetos de estudos. Neste Manual trabalharemos apenas com uma tcnica de regresso, a chamada de regresso linear. Utilizamos a regresso linear para estabelecer a relao entre o indicador de impacto

69

e a participao no programa. Ou seja, atravs esta tcnica que verificamos se a participao no programa causa uma melhoria no indicador de impacto. As caractersticas levantadas no primeiro passo so utilizadas para isolar o impacto do programa da influncia de outras caractersticas, tornando o resultado mais confivel. No exemplo do programa para a preveno do homicdio onde o indicador de impacto o nmero de homicdio e, o pblico alvo so os locais de alta incidncia deste crime e baixa vulnerabilidade social, estimamos a seguinte regresso linear: Nmero de homicdio= +1 participao +2 nmero de habitantes +3 proporo de jovens na populao +4 renda mdia + 5 escolaridade mdia + A varivel que denominamos participao assume valor 0 (zero) quando o local no participou do programa e 1 (um) quando o local participou do programa. O coeficiente estimado 1 indica o impacto mdio que a participao no programa tem sobre o nmero de homicdios do local livre do efeito das outras variveis includas na equao. Se 1 estatisticamente diferente de zero o programa teve impacto sobre o nmero de homicdio. O coeficiente estimado determina o nmero de homicdios mdio do local caso ele receba zero em todas as outras variveis da equao. Os demais coeficientes que multiplicam as outras variveis (2, 3, 4, 5) medem a associao entre cada uma delas e o nmero de homicdios, sendo includas na equao com o objetivo de livrar o impacto do programa das suas influncias. O coeficiente denominado de termo de erro e se refere parte da variao do nmero de homicdio que no conseguimos determinar.

70

A regresso linear determina a causalidade entre o programa e o indicador de impacto, isolando a influncia de outras caractersticas que diferem entre os grupos. Para isto estimamos a seguinte equao: Y = a + b1 x Participao + b2 x Caracterstica1 + b3 x Caracterstica2 + e Onde: Y o indicador de impacto do programa Participao uma varivel binria que assume valor 1 (um) se o elemento participou do programa e 0 (zero) se no participou Caracterstica
1 e 2

so variveis que influenciam o indicador de impacto e

que so diferentes entre os grupos de tratamento e de controle a, b1, b 2, b3 so os coeficientes estimados e e o termo de erro A regra para ver se o programa teve impacto nos tratados : Se o coeficiente b1 positivo e o valor 0 no estiver contido no seu intervalo de confiana, o programa gerou aumento no indicador de impacto Se o coeficiente b1 negativo e o valor 0 no estiver contido no seu intervalo de confiana, o programa gerou reduo do indicador de impacto Se o intervalo de confiana do coeficiente b 1 contiver o valor 0 (zero), o programa no gera impacto.

71

Mas como estimar a regresso linear e obter os valores dos coeficientes?

Vrios programas computacionais estimam a ferramenta de regresso linear, entre eles o MS-Excel. A estimao da regresso nos fornece os valores dos coeficientes (, 1, 2, 3, 4, 5). O Anexo explica mais detalhadamente o mtodo de regresso linear. Como estamos lidando com amostras, os coeficientes estimados pela regresso linear (, 1, 2, 3, 4, 5) so variveis aleatrias. Por isso, os programas computacionais calculam os valores e o intervalo de confiana para cada um destes coeficientes. O teste de hiptese neste caso, tem como hiptese nula que o coeficiente diferente de zero. O intervalo de confiana construdo para cada um dos coeficientes nos fornecer, no nvel de significncia escolhido, se o verdadeiro valor do coeficiente pode ser zero. Na prtica, se no intervalo de confiana estiver contido o zero, ento no podemos dizer que o coeficiente estimado diferente de zero. Por exemplo, se o coeficiente estimado para a varivel participao (1) for negativo, mas o zero estiver no intervalo de confiana, ento no podemos dizer que o impacto do programa estatisticamente diferente de zero. Ou seja, no podemos afirmar que o programa teve impacto de reduo dos homicdios. importante salientar, que com o mtodo de regresso conseguimos isolar o impacto do programa do efeito de caracterstica que observamos, mas pode existir uma srie de caractersticas que no conseguimos observar e, que podem estar enviesando o impacto estimado. Neste sentido, mesmo utilizando o mtodo de regresso linear, fundamental termos um bom grupo de controle, para reduzir o vis sob no observveis (variveis que no conseguimos observar).

72

Como estimar a regresso linear na prtica?

Para estimar a regresso linear precisamos montar um banco de dados com informaes individuais sobre todos os elementos do grupo de tratamento e controle. Este banco de dados deve conter a varivel ID que uma numerao contnua identificando os locais. A varivel Nmero de Homicdios Depois o nmero absoluto de homicdios ocorridos no ltimo ano depois da implementao do programa nesses locais. A varivel Participao identifica quais locais participaram do programa (grupo tratado) e quais no participaram (grupo controle), e as demais variveis que acreditamos afetar o indicador de impacto e serem diferentes entre os dois grupos. Em geral os programas computacionais denominam de Y a varivel dependente (indicador de impacto nmero de homicdio) e de X as variveis de controle (demais variveis). Na planilha do MS- Excel temos que construir uma coluna com a varivel Y e ao lado as colunas com as variveis X. A tabela III apresenta um banco de dados fictcio de um programa para a preveno aos homicdios.

73

Tabela III: Banco de dados anual de um programa de preveno de homicdios fictcio

Com base neste banco de dados estimamos os coeficientes da regresso linear: Nmero de homicdio= +1 participao +2 nmero de habitantes +3 proporo de jovens na populao +4 renda mdia + 5 escolaridade mdia + A regresso linear estimada no programa Ms- Excel seguimos o caminho:

74

1) No menu ferramentas clique em anlise de dados. Se anlise de dados no estiver disponvel, no menu ferramentas, clique em Suplementos. Na lista suplementos disponveis, selecione a caixa ferramentas de anlise e clique em OK. Em seguida a opo anlise de dados estar disponvel no menu ferramentas

2) Uma caixa de dilogo ser aberta. Escolha a opo regresso e clique em OK.

75

3) A caixa de dilogo da regresso aberta. Nesta caixa algumas informaes so solicitadas. Primeiramente, informamos o intervalo Y de entrada (se refere coluna do indicador de impacto). No exemplo, selecionamos a coluna B da clula 1 a 16. Depois informamos o intervalo X de entrada (que so todas as demais colunas de variveis). No exemplo, colunas C, D, E, F, G, da clula 1 a 16.

4) O resultado estimado da regresso linear :

RESUMO DOS RESULTADOS Estatstica de regresso R mltiplo R-Quadrado R-quadrado ajustado Erro padro Observaes ANOVA gl Regresso Resduo Total 5 9 14 SQ 125 262 388 MQ 25,09 29,14 F 0,86 F de significao 0,54

0,57 0,32 -0,05 5,40 15

Interseo Participao Nmero de Habitantes (por mil) Proporo de Jovens na Populao Renda Mdia (Reais) Escolaridade Mdia (anos de estudo)

Coeficientes Erro padro 10,41 8,94 -2,48 3,31 0,24 0,23 -3,48 9,81 0,00 0,02 -0,37 1,17

Stat t 1,16 -0,75 1,03 -0,35 0,11 -0,32

valor-P 0,27 0,47 0,33 0,73 0,92 0,76

95% inferiores -9,82 -9,96 -0,29 -25,68 -0,03 -3,03

95% superiores 30,63 5,01 0,77 18,73 0,04 2,29

76

Estes resultados apresentam a coluna coeficientes os valores dos coeficientes (, 1, 2, 3, 4, 5) estimados na regresso linear. Alm disto, apresentam os limites inferiores (95% inferiores) e superiores (95% superiores) do intervalo de confiana5. Estamos interessados especificamente no coeficiente da varivel participao, pois ela que indica o impacto do programa. Vemos que este coeficiente negativo, indicando que a participao no programa reduz o nmero de homicdios. Entretanto, o valor 0 (zero) est contido no intervalo de confiana (-9,96; 5,01) significando que a 95% de confiana no podemos rejeitar a hiptese de que o valor do coeficiente pode ser zero. Ento, dizemos que o coeficiente estatisticamente no significativo, ou seja, o programa no teve impacto. importante atentar para o fato de termos apenas 15 observaes, 8 locais no grupo tratado e 7 locais no grupo controle. Quanto menor o nmero de observaes, maior o intervalo de confiana e menos precisa nossa estimativa do valor verdadeiro do coeficiente. Regresso Linear de Diferenas em Diferenas. O mtodo de diferenas em diferenas utilizado quando dispomos de informaes sobre o grupo de tratamento e controle pelo menos em dois momentos no tempo, antes e depois do programa. Este mtodo aplicado tanto para experimento aleatrio como para experimento no aleatrio. O mtodo de diferenas em diferenas compara a variao observada na mdia do indicador de impacto antes e depois do programa para o grupo de tratamento com a variao observada para o grupo controle. Caso a variao observada mdia no grupo de tratamento seja maior do que a do grupo controle, ento o programa teve impacto.

77
5

As demais estatsticas contidas nos resultados no sero detalhadas nesta apostila por necessitar de conhecimento mais avanado de econometria.

Considere que, no exemplo do programa para reduo dos homicdios, existam informaes para antes e depois do programa. Se denominarmos HA a mdia do nmero de homicdio antes do programa, HD a mdia do nmero de homicdio depois do programa e H a variao mdia do nmero de homicdio, temos que:

HTratado= HDTratado - HATratado Analogamente para o grupo controle: HControle= HDControle - HAControle No mtodo de diferenas em diferenas analisamos as duas variaes como segue: Se, i) DH tratados - DH controle > 0 impacto positivo ii) DH tratados - DH controle < 0 impacto negativo iii) DH tratados - DH controle = 0 no ocorreu impacto Nesta anlise calculamos a diferena de uma diferena, este o motivo do nome do mtodo. Por estarmos sempre utilizando amostras, as variaes mdias no nmero de homicdios so variveis aleatrias. Para poder comparar esta variao entre o grupo tratado e controle precisamos construir o intervalo de confiana. Ou seja, no basta

78

verificar matematicamente se a variao dos homicdios antes e depois do programa do grupo tratado diferente do grupo controle, precisamos verificar se estatisticamente diferente. Para isto, podemos utilizar o instrumental de regresso linear apresentado na seo anterior, estimando a seguinte regresso linear: H= + 1 participao + 2 tempo + 3 participao x tempo + No caso da regresso linear de diferenas em diferenas o coeficiente da varivel participao x tempo (3) que indicar o impacto do programa6. Se b3 for positivo e o 0 (zero) no estiver contido no intervalo de confiana associado a b3, dizemos que o programa causa impacto positivo. Se b3 for negativo e o 0 (zero) no estiver contido no intervalo de confiana associado a b3, dizemos que o programa causa impacto negativo. Se o 0 (zero) estiver contido no intervalo de confiana associado a b3, dizemos que o programa no causa impacto. Os demais coeficientes expressam outros efeitos: b1 expressa se os grupos de tratamento e controle so diferentes, independentemente do programa e b 2 expressa se o indicador de impacto (no exemplo o nmero de homicdios) muda ao longo do tempo independentemente do programa. Para interpretar estes dois coeficientes necessrio que se verifique se so estatisticamente diferentes de zero. Caso o experimento seja no aleatrio inclumos na regresso linear de diferenas em diferenas outras variveis que expressem as caractersticas que afetam o indicador de impacto e que so diferentes entre os grupos de tratamento e controle. A insero destas variveis isola o efeito do impacto o programa.

79
6

Ver quadro explicativo ao final da seo para prova.

Prova de que o coeficiente 3 fornece o estimador de diferenas em diferenas: Considere a tabela: onde TA o indicador de impacto do tratamento antes do programa:
Mdias por grupo Tratamento Controle Diferenas das Diferenas Antes Depois Variao TA TD TD - TA CA CD CD - CA (TD TA) (CD CA)

Onde: TA o indicador de impacto do tratamento antes do programa. TD o indicador de impacto do tratamento depois do programa. CA o indicador de impacto do controle antes do programa. CD o indicador de impacto do tratamento antes do programa. Considere a seguinte equao: H= + 1 participao + 2 tempo + 3 participao x tempo + Substituindo cada varivel na equao (1) temos: TA: participao =1; tempo =0; participao x tempo =0 TA = a + b1 x 1 + b2 x 0 + b3 x 0 TA = a + b1 (2) TD: participao =1; tempo =1; participao x tempo =1 TD = a + b1 x 1 + b2 x 1 + b3 x 1 TD = a + b1 + b2 + b3 (3) (1)

Para calcular (TD-TA), substitumos (2) e (3) (TD TA)=a + b1 + b2 + b3 (a + b1) (TD TA)=a + b1 + b2 + b3 a b1 (TD TA) = b2 + b3 (4) CA: : participao =0; tempo =1; participao x tempo =0 CA = a + b1 x 0 + b2 x 0 + b3 x 0 CA = a (5) CD: : participao =0; tempo =1; participao x tempo =0 CD = a + b1 x 0 + b2 x 1 + b3 x 0 CD = a + b2 (6)

80

Para calcular (TD-TA), substitumos (5) e (6) (CD CA) =a + b2 a (CD CA)= b2 (7) Para calcular o termo de Diferenas das Diferenas [ (TD TA) (CD CA)] substitumos (4) e (7). Diferenas das Diferenas = (TD TA) (CD CA) = b2 + b3 - b2 = b3

Como estimar a regresso linear de diferenas em diferenas na prtica?

Para estimar a regresso linear de diferenas em diferenas precisamos construir um banco de dados que contenha informaes do grupo tratado e do grupo controle antes de depois do programa. Inicialmente, trabalhamos com duas planilhas de dados, uma de antes do programa e outra de depois, ver tabela IV. Ambas devem conter as mesmas variveis: ID: identificador dos elementos. Atente para a correspondncia do identificador entre as duas planilhas. Se um elemento, por exemplo, um bairro, um na planilha antes, necessariamente tambm deve ser um na planilha depois. Indicador de impacto: no exemplo o nmero de homicdios. Participao: uma varivel binria. O elemento recebe 1(um) se participou do programa e 0(zero) se no participou. Tempo: uma varivel binria. Todos os elementos da planilha antes recebem 0 (zero), indicando que so dados de antes do incio do programa. Todos os elementos da planilha depois recebem 1 (um) indicando que so dados de depois do programa.

81

Participao x Tempo: uma varivel binria obtida pela multiplicao da varivel participao pela varivel tempo. Atente que somente as observaes dos elementos que participaram do programa no tempo depois do programa recebem 1 (um). As demais observaes so 0 (zero).

Tabela IV: Planilhas antes e depois

Uma vez organizada estas planilhas as unimos em um nico banco de dados, que denominamos de dif-dif. A unio das duas planilhas feita pela colagem das informaes da planilha depois ao final dos dados da planilha antes, de forma a manter a correspondncia entre as variveis. A tabela V um exemplo desta base:

82

Tabela V: Base de dado de diferenas em diferenas

Uma vez construdo o banco de dados dif-dif estimamos a regresso linear de diferenas em diferenas usando um programa computacional. Onde o Y o indicador de impacto, no exemplo o nmero de homicdios, e X so as demais variveis. A tabela VI a seguir, apresenta o resultado desta estimao:
RESUMO DOS RESULTADOS Estatstica de regresso R mltiplo 0,55 R-Quadrado 0,30 R-quadrado ajustado 0,22 Erro padro 4,79 Observaes 30 ANOVA Regresso Resduo Total gl 3 26 29 Coeficientes 14,14 -1,77 -3,14 -2,86 SQ 254,86 596,61 851,47 Erro padro 1,81 2,48 2,56 3,51 MQ 84,95 22,95 F 3,70 F de significao 0,02

Interseo Participao Tempo Participao x Tempo

Stat t 7,81 -0,71 -1,23 -0,81

valor-P 0,00 0,48 0,23 0,42

95% inferiores 10,42 -6,86 -8,41 -10,06

95% superiores 17,86 3,33 2,12 4,35

83

Estes resultados apresentam a coluna coeficientes que so os valores dos coeficientes (, 1, 2, 3,) estimados na regresso linear de diferenas em diferenas. Alm disto, apresentam os limites inferiores (95% inferiores) e superiores (95% superiores) do intervalo de confiana7. Estamos interessados especificamente no coeficiente da varivel Participao x Tempo que indica o impacto do programa. Este coeficiente negativo, indicando que a participao no programa reduz o nmero de homicdio. Entretanto, o valor 0 (zero) est contido no intervalo de confiana (-10,06; 4,35) significando que a 95% de confiana no podemos rejeitar a hiptese de que o valor do coeficiente zero. Ento, dizemos que o coeficiente estatisticamente no significativo, ou seja, o programa no teve impacto. Limites das ferramentas de estimao de impacto As trs ferramentas apresentadas para a estimao do impacto de programas de preveno violncia so ferramentas estatsticas e economtricas. Como toda ferramenta estatstica e economtrica, estas tambm sofrem algumas limitaes

84

As demais estatsticas contidas nos resultados no sero detalhadas nesta apostila por necessitar de conhecimento mais avanado de econometria.

inerentes a tais mtodos. Os trs principais problemas da estimao do impacto do programa so referentes ao tamanho da amostra, s variveis no observadas e s grandes diferenas entre os grupos de tratamento e controle. Vejamos cada uma destas limitaes detalhadamente. O tamanho da amostra afeta diretamente a preciso dos resultados. Quanto maior o tamanho da amostra, mais confivel o impacto estimado. Esta uma propriedade das anlises estatsticas e economtricas. Se o tamanho da amostra pequeno, grande a probabilidade de encontrarmos um impacto no significativo, ou seja, um impacto que no estatisticamente diferente de zero, mesmo que o programa na realidade tenha tido impacto. Assim, em amostras pequenas corremos o risco de cometer o erro de concluir que o programa no teve impacto, sendo que na realidade o impacto ocorreu. A limitao decorrente das variveis no observadas (tambm denominadas variveis omitidas) est presente em quase todas as avaliaes. Quando no conseguimos mensurar ou observar uma caracterstica dos grupos de tratamento e controle no podemos inclu-la na anlise. Se esta caracterstica (varivel) no observada afeta o indicador de impacto e difere entre os grupos de tratamento e controle, ento por no observ-la, no conseguimos isolar o impacto estimado do seu efeito. Assim, o coeficiente estimado do indicador de impacto est expressando o efeito da varivel no observada, alm do efeito do programa. O impacto estimado est enviesado, no expressando o verdadeiro impacto gerado pelo programa. A nica forma de amenizar esta limitao construir um grupo controle o mais similar possvel do grupo tratado. No caso de experimento aleatrio, em que o grupo controle constitudo pelos elementos que se inscreveram para o programa e no foram sorteados, a probabilidade de que o grupo controle seja similar ao grupo tratado nas variveis no observveis, alta e esta limitao minimizada.

85

Por fim, mas no menos importante, existe a limitao do grupo controle e tratamento serem muito diferentes. Quando isto acontece dizemos que estamos com um problema de suporte comum. Neste caso o instrumental de regresso linear no consegue estimar o impacto do programa corretamente. Para resolver este problema existem outras ferramentas, no abordadas neste Manual, que servem para selecionar dentre o grupo de controle os elementos que so mais parecidos com os do grupo de tratamento. Um exemplo so os mtodos de pareamento (matching). Avaliao de Retorno Econmico De forma geral, a avaliao de retorno econmico objetiva mensurar a viabilidade econmica de um projeto. Em outras palavras o retorno econmico de um investimento compara o seu custo com o benefcio financeiro gerado, de forma a determinar se o investimento lucrativo e economicamente vivel. A aplicao deste conceito em projetos de preveno violncia exige viso mais ampla do seu significado. Vamos entender como. Um projeto de preveno violncia no um investimento financeiro. Entretanto, faz-se necessrio o dispndio de recurso financeiro, que pode ser interpretado como um investimento. Por outro lado, o projeto de preveno violncia no visa gerao de lucro. Entretanto, o bem-estar e a qualidade de vida da populao aumentam com a preveno da violncia, e isto pode ser pensado como o lucro do projeto. Se os custos do projeto de preveno criminalidade so considerados como investimento e, o benefcio gerado pela preveno a violncia como lucro, para calcularmos o retorno econmico necessrio dimensionarmos o valor monetrio destes dois elementos.

86

O benefcio do Projeto de preveno violncia O valor monetrio do benefcio gerado pelo projeto de preveno violncia calculado a partir dos resultados da avaliao de impacto. Portanto, necessariamente a avaliao de impacto antecede a avaliao de retorno econmico. O que fazemos transformar o impacto estimado na avaliao de impacto em valor monetrio do benefcio, o qual, por simplificao, ser denominado no restante do Manual apenas por benefcio. A transformao do impacto estimado em benefcio uma das maiores dificuldades da avaliao de retorno econmico. Ela exige a associao de um valor monetrio a um impacto no monetrio. Em projetos para gerao de renda, onde o indicador de impacto a renda, o impacto j estimado em valor monetrio no exigindo nenhuma transformao. Dificilmente, um projeto de preveno violncia ter como indicador de impacto a renda dos participantes. Assim, na maioria das vezes ser necessria a transformao do impacto estimado em valor monetrio do benefcio.

Como transformar o impacto estimado em benefcio?

Consideremos os exemplos fictcios anteriores do programa para reduo dos homicdios e para preveno do consumo de drogas. No caso do programa para a reduo dos homicdios o indicador de impacto o nmero de homicdios. O impacto estimado determina o nmero de homicdios que deixaram de ocorrer devido ao programa. Para transformar este impacto em benefcio, necessrio atribuir um valor

87

monetrio para o nmero de homicdios evitados. Mas, qual o ganho para a sociedade em evitar os homicdios? Uma resposta a esta pergunta pode ser o quanto sociedade economizar no futuro devido aos homicdios que deixaram de ocorrer. Neste sentido, ao estimarmos a perda que os homicdios impem sociedade, teremos um valor monetrio a atribuir ao nmero de homicdios prevenidos pelo programa8. No caso do programa para preveno do consumo de drogas, o indicador de impacto o nmero de usurios de drogas. O impacto estimado determina o nmero de jovens que no usaram drogas (no vieram a se tornar usurios de drogas) devido ao programa. Podemos aplicar o mesmo conceito do exemplo anterior para associar um valor monetrio para a preveno do uso de droga. Precisamos estimar o quanto sociedade economizar no futuro com a preveno do uso de drogas. Para isto estimamos o valor monetrio da perda que o usurio de drogas impe para a sociedade. Generalizando, uma das formas para transformar o nmero de atos violentos prevenidos estimado na avaliao de impacto em valor monetrio do benefcio, utilizamos a hiptese de que vrios recursos deixam de serem gastos pelos diversos agentes da sociedade devido preveno. Nesta perspectiva, o valor monetrio do crime prevenido o custo que a violncia impe sociedade. Esta no a nica maneira de transformar o impacto da preveno da violncia em benefcio. Podemos pensar em outras hipteses para atribuir valor monetrio reduo da violncia devido ao programa.

88

O valor da perda que a violncia impe para a sociedade composto de vrios fatores. A literatura de sugere diversos componentes como: valor despendido com o judicirio, o gastos com aparato policial, despesas mdicas e psicolgicas com as vtimas e familiares, valor da perda de produo, tratamento mdico e psicolgico para o dependente qumico (no caso de uso de drogas) entre outros (Dubourg et al., 2005; Brand e Price, 2000; Mayhew, 2003).

Caso, o estimador de impacto do programa de preveno violncia no seja a reduo do nmero de atos violentos, outras hipteses devem ser pensadas para fazer a atribuio de valor monetrio ao impacto. Quanto maior o grau de conhecimento do avaliador sobre o programa, sua implantao, seus atores, etc., melhor sero as hipteses elaboradas para esta transformao. Por exemplo, o programa PROERD pode ter como um dos indicadores de impacto o grau de confiana dos jovens na polcia, pois o programa visa melhorar a confiana dos jovens nestes profissionais. Se na avaliao de impacto encontramos que o grau de confiana na polcia aumentou 10%, temos que elaborar boas hipteses para transformar este impacto em valor monetrio. Caso no seja possvel encontrar boas hipteses para transformar o impacto estimado em valor monetrio no ser possvel calcular o retorno do programa. Entretanto, ainda podemos calcular um indicador chamado custo-efetividade que uma medida de dimenso do impacto em relao ao custo do programa. Este indicador ser discutido frente.

Como transformar o impacto estimado em benefcio na prtica?

Em seo anterior estimamos atravs do mtodo de diferenas em diferenas o impacto do programa fictcio para reduo dos homicdios. O resultado encontrado que o programa no teve impacto, pois o coeficiente estimado estatisticamente no significativo. Neste caso, no podemos efetuar a avaliao de retorno econmico do programa. Para fins didticos, considere que o coeficiente estimado

estatisticamente significativo. Se isto fosse verdade o programa teria impacto de 2,86 homicdios em mdia no perodo. Quanto valeria para a sociedade a reduo de 2,86 homicdios?

89

Considere a hiptese de que o benefcio da reduo do homicdio quanto sociedade economizar no futuro devido aos homicdios que deixaram de ocorrer. Somando todos os valores da perda que este tipo de morte violenta impe a sociedade (gastos policiais, judicirio e de sade, perda de produo, entre outros) calculamos o custo do homicdio. Suponha que para cada homicdio ocorrido, em mdia, a perda para sociedade seja de 50.000 reais ao ano, durante 20 anos. Nessa perda esto contidos os gastos com o sistema de sade, o enterro, a investigao da polcia, o processo judicirio, o aprisionamento do suspeito, a renda que o indivduo deixou de gerar, entre outros. Estes gastos no so efetuados todos de uma vez. Eles acontecem ao longo dos anos medida que a investigao, o processo, a condenao e o aprisionamento so efetuados. Assim, o benefcio anual por homicdio evitado de 50.000,00 reais. Como o programa evitou em mdia 2,86 homicdios ao ano, multiplicamos este valor por 50.000 e obtemos que o benefcio anual do programa de 143.000,00 reais. Este benefcio anual ser recebido pela sociedade durante 20 anos (tempo que supostamente duraro os gastos com o homicdio). Para obter o benefcio total do programa temos que somar os benefcios anuais. Entretanto, quando os benefcios do programa so recebidos em diferentes momentos no tempo, no podemos

simplesmente somar o valor em cada momento para obtermos o benefcio total. Isto acontece porque, em geral, as pessoas atribuem mais valor ao dinheiro no presente do que no futuro. O que voc prefere ganhar 100 reais hoje ou no ano que vem? Este fenmeno conhecido como preferncia intertemporal. Assim, para obtermos o benefcio total do programa temos que utilizar uma taxa de desconto intertemporal para deduzir do montante o fato de que o valor s ser recebido no futuro.

90

Para fazer o desconto intertemporal e calcular o benefcio total do programa precisamos utilizar os conceitos de valor presente e valor futuro da matemtica financeira. Estes conceitos so bastante intuitivos. O valor presente quanto determinado montante de dinheiro vale no tempo inicial do investimento e o valor futuro quanto ele valer em momentos posteriores. A frmula que relaciona estes dois conceitos : VF = VP*(1+ i)n ou VP = VF/(1+i)n

Onde: VF o valor futuro VP o valor presente N o nmero do perodo i a taxa de desconto intertemporal Com a aplicao direta desta frmula podemos obter o valor do benefcio total do programa j com o desconto intertemporal. Mas qual a taxa de desconto intertemporal adequada? Em geral, os economistas consideram que a taxa de desconto intertemporal igual taxa de juros. A taxa de juros pode ser pensada como a recompensa de se deixar de consumir hoje, para consumir amanh. Portanto, pode ser interpretada como a taxa que os indivduos valorizam no presente em relao ao futuro - taxa de desconto intertemporal. Voltando ao nosso exemplo, calculamos que o benefcio anual do programa de 143.000,00 reais, recebidos por 20 anos. Para calcular o benefcio total, utilizamos o programa MS-Excel que possui a funo acima incorporada. Primeiramente, inserimos a funo do Valor Presente, para obtermos o benefcio total do programa deduzido a taxa de desconto intertemporal. Para isto, na barra de ferramentas inserir devemos

91

pedir a opo inserir funo. Uma caixa de dilogo abrir. Nela selecionamos funo financeira: VP. Estes passos so retratados na figura 1 abaixo. Figura 1: Funo financeira do Valor Presente

Ao abrir a caixa de dilogo da funo, teremos que preencher as opes: a) Taxa, que a taxa de desconto intertemporal. No nosso exemplo consideraremos 5% ao ano; b) Nmero de pagamentos, que nosso exemplo so 19, pois a primeira parcela do benefcio j absorvida no ano presente; c) O valor de cada parcela que neste caso de 143.000,00 reais. Veja a Figura 2.

92

Figura 2: Caixa de dilogo da funo Valor Presente

O resultado obtido o benefcio total do programa, ou seja, a soma do benefcio anual recebido durante os 20 anos, deduzida a taxa de desconto intertemporal. No exemplo o benefcio total do programa de 1.728.200 reais. A tabela VII resume os resultados obtidos. Tabela VII: Resultados da estimao de impacto

Categoria Impacto Benefcio anual por homicdio evitado Benefcio anual do programa Benefcio total do programa

Valores -2,86 50.000,00 143.000,00 1.728.200,88

Caso o benefcio anual do programa no seja um valor constante no tempo a funo valor presente do MS-Excel no poder ser aplicada diretamente. Neste caso, temos

88

que calcular o valor presente de cada parcela e som-las. Custo do projeto de preveno violncia A anlise de retorno econmico trabalha com a definio de custo econmico do programa de preveno violncia. O custo econmico de um projeto inclui o custo contbil e o custo de oportunidade do projeto.

O custo contbil aquele constante na prestao de contas do programa, ou seja, todo o dispndio de recursos realizado para o seu funcionamento. O custo de oportunidade o rendimento que se deixa de obter ao realizar uma determinada escolha. Por exemplo: um programa que funciona em um prdio cedido pela prefeitura. O valor do aluguel no pago o custo de oportunidade de utilizao do imvel, o qual no aparece no demonstrativo contbil do projeto. A soma dos dois tipos de custo compe o custo econmico do projeto que utilizado no clculo do retorno econmico.

94

Os custos de um programa de preveno violncia podem acontecer em momentos diferentes no tempo. Por exemplo, no programa PROERD de preveno s drogas, so ministrados cursos por policiais em diferentes anos da grade curricular. Portanto, o grupo tratado, recebe o tratamento em mais de um ano. Quando o custo do programa acontece em diferentes momentos no tempo, no podemos simplesmente somar o valor gasto em cada momento para obtermos o custo total. Isto acontece porque o dinheiro muda de valor ao longo do tempo. A quantidade de bens que adquirimos com 1.000 reais em 1999 diferente da quantidade que conseguimos adquirir em 2009. No mesmo sentido, se aplicssemos 1.000 reais em uma poupana no ano de em 1999, seu valor hoje seria muito maior, porque o dinheiro renderia juros. O fenmeno de mudana de valor do dinheiro longo do tempo conhecido como inflao/deflao. Como obter o custo total do programa quando os dispndios acontecem ao longo do tempo? Para obter o custo total do programa, preciso, como no clculo do benefcio total, aplicar os conceitos de valor presente e valor futuro da matemtica financeira. O uso destes conceitos neste caso tem uma interpretao diferente da aplicao no clculo do benefcio total, pois aqui ele representa a mudana do valor do dinheiro ao longo do tempo e no o desconto intertemporal. Considere um exemplo fictcio de um programa de preveno s drogas que est sendo avaliado nos dois primeiros anos de funcionamento chamados de t0 e t1. Os custos nestes dois anos so: T0: R$: 500.000 T1: R$: 600.000

95

Para encontramos o custo total do programa considerando uma taxa de inflao de 5% ao ano, temos duas opes: a) trazemos o custo de T1 a valor presente de T0: VP = VF/(1+i) substituindo o valor de T1 em VF temos: VP=600.000/(1+0,05) VP=571.428 Isto significa que, o custo do programa de 600.000 em T1 se fosse executado em T0 teria sido de 571.428. Portanto, o custo total do programa em T0 de: Custo total = 500.000+ 571.428 = 1.071.428 b) Trazemos o custo de T0 a valor futuro de T1: VF = VP*(1+ i) substituindo o valor de T0 em VP temos: VF = 500000*(1+0,05) VF = 525000 O custo do programa de 500.000 em T0 se fosse efetuado em T1 teria sido de 525000. Portanto, o custo total do programa em T1 de: Custo total = 600.000+ 525000 = 1.125.000 No exemplo do programa de preveno ao homicdio que estamos trabalhando ao longo 96

do Manual, o tratamento ocorreu apenas em um perodo no tempo. Portanto, seu custo estimado para apenas um momento, que neste caso um ano. Apresentamos o custo fictcio deste programa na tabela VIII. O programa funciona em um imvel cedido pelo parceiro (no paga aluguel) e, tem a participao de voluntrios (no so pagos). Os custos do aluguel e dos salrios dos voluntrios no pagos so computados como custo de oportunidade do programa, num total de 180.000,00 reais. O custo contbil composto pelo material permanente e de consumo e pelo pagamento de pessoal somando 820.000,00 reais. A soma destes dois custos fornece o Custo Econmico do programa de 1.000.000,00 reais. Tabela VIII: Custo anual Fictcio do programa de preveno aos homicdios
tem Aluguel Voluntrios Material Permanente Material de Consumo Pessoal Soma dos Custos Custos Econmico Custo de Oportunidade 100.000,00 80.000,00 Custo Contbil

180.000,00 1.000.000,00

480.000,00 200.000,00 140.000,00 820.000,00

Clculo das estatsticas de retorno econmico. Depois de estimados os benefcios e os custos de um programa de preveno violncia estamos aptos a calcular as estatsticas de retorno econmico. Existem vrias estatsticas que expressam o retorno econmico de um programa. Neste Manual vamos apresentar as mais comuns: razo custo-efetividade, razo custo-benefcio e taxa interna de retorno. Para o clculo das estatsticas de retorno econmico, primeiramente precisamos montar o fluxo de caixa do programa de preveno violncia. O fluxo de caixa um

97

conceito advindo da matemtica financeira que representa as receitas e despesas de um investimento ao longo do tempo. Utilizamos para isto uma linha do tempo e setas. As setas apontadas para cima representam as receitas, as para baixo as despesas. A figura 3 o exemplo de um fluxo de caixa de um investimento no qual teve um custo apenas no primeiro perodo do tempo e rendeu benefcio nos dez perodos do tempo seguinte. No caso de programas de preveno violncia as sadas so os custos do programa e as entradas so os benefcios. Figura 3: Fluxo de caixa

Voltemos ao exemplo do programa de preveno ao homicdio que tem sido trabalhado ao longo deste Manual. O fluxo de caixa, com base nos resultados anteriormente obtidos, est representado na Figura 4

O fluxo de caixa mostra que o programa de preveno ao homicdio funcionou durante um ano, com um custo de um milho de reais e os vinte anos subseqentes gerou um

98

benefcio anual de 143 mil reais a cada ano. Depois de, desenhado o fluxo de caixa passamos aos clculos das estatsticas de Retorno Econmico.

Razo Custo-Efetividade
A estatstica denominada de Razo Custo-Efetividade calculada quando no foi possvel transformar o impacto do programa (efetividade) em benefcio. Esta estatstica fornece o quanto foi gasto por unidade de impacto estimada. Por exemplo, no programa PROERD no qual o impacto estimado em termos de pessoas que deixaram de se tornar usurios de drogas, a estatstica Razo Custo-Efetividade fornece o valor monetrio gasto para cada pessoa que no se tornou usuria de drogas devido ao programa. No caso do programa para reduo do homicdio, esta estatstica determina o valor gasto para cada homicdio prevenido. Para seu clculo basta dividir o custo econmico do programa pelo impacto estimado (na avaliao de impacto)9: Razo Custo-Efetividade= custo econmico / impacto estimado No exemplo do programa de preveno de homicdio, supondo que o impacto estimado estatisticamente significativo, temos a reduo de 2,86 homicdios. O custo econmico acontece apenas no tempo zero sendo de 1 milho de reais: Razo Custo-Efetividade = 1.000.000 / 2,86 = 350.000

99

importantssimo atentar que o impacto do programa e o custo tm que estar calculado para o mesmo momento no tempo.

O custo-efetividade de 300 mil reais significa que cada homicdio evitado pelo programa custou 300 mil reais. Mas, pagar este valor para evitar um homicdio muito ou pouco? A pergunta s poder ser respondida pelas outras estatsticas de retorno econmico. Apesar disto, a estatstica de custo-efetividade muito usada para comparar programas. Se o gestor tem que decidir entre dois programas, ele escolher o que tem menor custo-efetividade, pois o custo para se atingir o mesmo objetivo menor. Algum poderia argumentar que se para comparar dois programas poderamos olhar apenas para o impacto estimado. Entretanto, isto no estaria correto, pois pode ocorrer a situao em que um tenha o impacto maior do que o outro, mas por causa do seu custo ser muito mais elevado ele tem menor razo custo-efetividade. Existe um problema tico na comparao entre os programas, porque teoricamente o gestor pblico deveria investir no programa que gera maior retorno. Por exemplo, se o retorno de um programa de preveno aos homicdios maior do que o retorno de um programa de preveno violncia contra a mulher, teoricamente o gestor publico deveria investir na preveno do homicdio. Contudo, mesmo que o programa de

preveno violncia contra a mulher tenha menor retorno, este tipo de crime deve ser combatido. O ideal s comparar programas que tenham como objetivo a preveno do mesmo tipo de violncia. Assim, o gestor pode, dentro da categoria de violncia a prevenir, optar pelo programa de maior retorno.

100

Razo Custo-Benefcio
A razo custo-benefcio relaciona o custo e o benefcio estimado pelo programa fornecendo uma medida de qual o retorno para a sociedade de cada real investido na preveno da criminalidade realizada pelo programa. Para o seu clculo basta dividir o benefcio total estimado pelo custo econmico do programa10. Razo Custo-Benefcio= Benefcio total / custo econmico No exemplo do programa de preveno de homicdio encontramos um benefcio total de 1.728.200,00 reais. Aplicando a frmula temos: Razo Custo-Benefcio = 1.728.200,00/ 1.000.000 = 1,73 O resultado significa que para cada real investido no programa para preveno ao homicdio a sociedade ganha 1,73 reais no futuro. Se subtrairmos uma unidade da razo custo-benefcio e multiplicarmos por 100, encontramos a taxa de retorno percentual deste programa que de 73%.

Taxa Interna de Retorno

A taxa interna de retorno pode ser entendida como a taxa de oportunidade de investir o recurso no projeto de preveno violncia. Para sua obteno utilizamos a funo financeira presente no programa MS-Excel, pois seu clculo bastante complicado. Intuitivamente o que o programa faz encontrar qual a taxa que torna igual o custo econmico do programa com seu benefcio estimado. Para isto, no estimamos o custo do programa e o seu benefcio a cada momento no tempo sem som-

101

10

Lembre-se de que o custo e o benefcio tm que estar calculados no mesmo momento no tempo.

los, pois isto implicaria na aplicao de uma taxa de desconto intertemporal e na taxa de inflao/deflao. Com o custo e o benefcio estimado, o programa estimar a taxa interna de retorno de forma a igualar o custo e o benefcio no tempo no momento presente. Como calcular a taxa interna de retorno na prtica? Primeiramente, montamos uma planilha em MS-Excel que retrata o fluxo de caixa do programa. Colocamos nesta planilha uma coluna de tempo, uma de custo, e outra de benefcio. Alm disto, inserimos uma coluna denominada lquido, que o benefcio, menos o custo, em cada momento no tempo. A figura 5 apresenta esta planilha para o programa de preveno ao homicdio. Figura 5: Planilha do Fluxo de Caixa do programa fictcio para preveno ao homicdio

102

Uma vez montado o fluxo de caixa inserimos a funo financeira taxa interna de retorno-TIR. Para isto, selecionamos na barra de ferramentas inserir, em seguida selecionamos a opo inserir funo. Uma caixa de dilogo ir abrir. Nela selecionamos funo financeira TIR. Esses passos so apresentados na figura 6 a seguir. Figura 6: Funo financeira da Taxa Interna de Retorno

Uma a caixa de dilogo da funo ir se abrir. Nela preencheremos a opo valores na qual selecionaremos na planilha os valores correspondentes coluna que denominamos de lquido. O programa ento estimar a taxa interna de retorno que no caso do

103

exemplo de 13%. Esta taxa pode ser comparada taxa de juros do mercado. Por exemplo, se a taxa interna de retorno maior do que a poupana, o retorno do programa maior do que o desta aplicao financeira. Por outro lado, se a taxa interna de retorno menor do que a poupana, ento o retorno do programa maior do que o obtido nesta aplicao. Consideraes Finais A avaliao de programas e projetos de preveno violncia ainda constitui uma raridade em nosso meio. Em parte isto decorre da falta de tradio de avaliao de programas sociais de uma forma geral, no nosso pas e, de certo preconceito contra esta atividade, que vista to somente como uma ferramenta de fiscalizao dos financiadores, e desta forma, potencialmente ameaadora aos programas.

Esta viso desconhece ou subestima a importncia da avaliao como instrumento para aperfeioamento da gesto, para melhor conhecimento quanto os ingredientes ativos dos programas de preveno e a principais dificuldades encontradas pelos gestores na conduo dos mesmos.

Este Manual ao oferecer informaes e conceitos simplificados e no exaustivos buscou aumentar o conhecimento e o interesse entre os gestores e interessados em programas de preveno a violncia sobre a avaliao, estimulando-os a planejarem, orarem e executarem avaliaes dos programas e projetos que esto sob suas responsabilidades.

104

Bibliografia Andrade, M. V. e Peixoto, B. T. Avaliao econmica de programas de preveno e controle da criminalidade no Brasil. In: Cludio Beato. (org.). Compreendendo e Avaliando Projetos de Segurana Pblica. Belo Horizonte: UFMG, 2008, v. , p. -219. Banco Mundial. Preveno Comunitria do Crime e da Violncia em reas Urbanas da Amrica Latina Um Guia de Recursos para Municpios, 2003 Banco Mundial. Monitorizao & Avaliao Algumas Ferramentas, Mtodos e Abordagens, 2004 Brand, S.; Price, R. The economic and social costs of crime. Home Office Research Study 217 Economic and Resource Analysis, Research, Development and Statistics, Directorate. London: Home Office, 2000 Camplo AF. Avaliao de Programas Sociais em ONGS: Discutindo aspectos conceituais e levantando algumas orientaes metodolgicas sobre avaliao de impacto. Disponvel em: http://www.cereja.org.br/arquivos_upload/avaliacaoprogrsociais_amandafcampelo.pdf Acessado em: 10/03/2009 Cano, I. Introduo avaliao de programas sociais. Rio de Janeiro: FGV, 2008 Crdia N. Estado del arte de los programas de prevencin de la violencia en jvenes Washington: Pan American Health Organization (OMS), Pan American Sanitary Bureau (OPS), Regional Office of the World Health Organization, 2005, 80p. Carvalho SN. Avaliao de programas sociais: balano das experincias e contribuies para o debate. So Paulo em Perspectiva, 17(3-4):185-197, 2003 Cohen, E; Franco, R. Avaliao de projetos sociais. 5. ed. Petrpolis, Vozes, 2002. Contradriopoulos AP; Champagne, F; Denis, JR ,Inealut, R, 1997. A Avaliao na rea da sade: conceitos e mtodos. In: Hartz, ZMA (org.) Avaliao em sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: FIOCRUZ. pp. 29-47 Dubourg, R.; Hamed, J; Thorns, J. The economic and social costs of crime against individuals and households. Home Office Online Report, 2005

105 Fagan, J. "Criminalization of Domestic Violence: Promises and Limits" in Conference on Criminal Justice Research and Evaluation. Research Report, National Institute of Justice. 1995. Disponvel em http://www.ncjrs.gov/pdffiles/crimdom.pdf. Acessado em 04/04/2009 Hamilton-Smith N. Anticipated consequences: developing a strategy for the targeted measurement of displacement and diffusion of benefits. In: Tilley N. Evaluation for crime prevention. Crime Prevention Studies, Volume 14. Devon: Willan Publishing, 2002 Lapponi, J C. Estatstica Usando Excel. Rio de Janeiro: Campus-Elsevier, 2005. Marino E. Manual de Avaliao de Projetos Sociais. So Paulo: Saraiva: Instituto Airton Sena, 2003 Mayhew, P. Counting the Costs of Crime in Australia: Technical Report, Technical and Background Paper Series, n. 4, Australian Institute of Criminology, Canberra, 2003 MacNamara C. A basic guide to program evaluation . Disponvel em: http://www.tgci.com/magazine/A%20Basic%20Guide%20to%20Program%20Evaluatio n.pdf. Acessado em: 04/04/2009 Mihalic S., Irwin K., Elliot D., Fagan A., Hansen D. Blueprints for violence prevention. Juvenile Justice Bulletin, july, 2001 Minayo MCS. (Org.) ; Assis, SG (Org.) ; Souza, Edinilsa Ramos de (Org.) . Avaliao por triangulao de mtodos. 1a.. ed. Rio de Janeiro: Editora Fiocruz, 2005. Minas Gerais. Decreto No. 43.334, de 20 de maio de 2003. Cria o Programa de Homicdios do Estado de Minas Gerais. Minas Gerais, Belo Horizonte, 21 de maio 2003 a. Dirio do Executivo, Legislativo e Judicirio. Caderno 1, p.2-3 Ministrio da Justia, Secretaria Nacional de Segurana Pblica, Departamento de Pesquisa, Anlise da Informao e Treinamento de Pessoal, Perfil das Prticas Cadastradas no Observatrio Democrtico de Prticas de Preveno Violncia e Criminalidade 2005 Ministrio da Sade. Impacto da Violncia na Sade de Crianas e Adolescentes. Preveno de Violncias e Promoo da Cultura da Paz. Braslia: Ministrio da Sade, 2009, 10p

106

Ministrio do Planejamento, Secretaria de Planejamento e Investimentos Estratgicos Manual de Avaliao Plano Plurianual 2004-2007 60 p disponvel em: http://www.mp.gov.br/secretarias/upload/Arquivos/spi/plano_plurianual/avaliacao_PP A/06_PPA_Aval_manual.pdf acessado em 10/03/2009 Peixoto, B. T., Andrade, M. V. e Azevedo, J. P. Preveno e controle de homicdios: uma avaliao de impacto no Brasil. Belo Horizonte: CEDEPLAR/UFMG, 2008 (TEXTO PARA DISCUSSO N.337). Peixoto, B. T, Andrade, M. V. e Azevedo, J. P. Avaliao econmica do programa Fica Vivo: o caso piloto. Belo Horizonte: CEDEPLAR/UFMG, 2008 (TEXTO PARA DISCUSSO N.336). Ravallion, M. Mystery of the Vanishing Benefits: An Introduction to Evaluation. World Bank Economic Review, 15(1), p. 115-140, 2001. Ravallion, M. Evaluating anti-poverty programs. Handbook of Development Economics, v. 4, Eds Robert E. Everson e T. Paul Schultz, Amsterdam, North-Holland, 2005. Roman J, Farrel G. Cost-benefit analysis for crime prevention: Opportunity costs, routes savings and crime externalities. In: Tilley N. Crime Prevention StudiesEvaluation for crime prevention. Devon: Criminal Justice Press, 2002 p.53-92 Rossi PH, Lipsey MW, Freeman HE. Evaluation A systematic approach. Thousand Oaks: Sage Publications, 2004 Schor, Adriana e Afonso, Luis Eduardo (2005) Avaliao Econmica de Projetos Sociais. Apostila utilizada no curso de mesmo nome da Fundao Ita Social. Sherman LW, Gottfredson D, MacKenzie D, Eck J, Reuter P. Bushway S.. Preventing Crime: What works, what doesnt, whats promising. 1997 Silveira AM. Prevenindo Homicdios: Avaliao do Programa Fica Vivo no Morro das Pedras. [tese de doutorado]. Belo Horizonte: Faculdade de Filosofia e Cincias Humanas da Universidade Federal de Minas Gerais; 2007 Waiselfisz JJ. Mapa da Violncia: os Jovens da Amrica latina 2010. Braslia: RITLA Instituto Sangari, Ministrio da Justia, 151p

107

Waters H.R. et als The costs of interpersonal violence an international review. Health Policy 2005 73: 303-315 World Health Organization T E A C H - V I P - users manual. Geneva:WHO, 2005, 36p World Bank. Results of the Expert Roundtables on Innovative Performance Measurement Tools: NOTE # 4: Process Evaluations. Disponvel em : http://siteresources.worldbank.org/INTLACREGTOPPOVANA/Resources/8404421235414009766/TechnicalNoteProcessEvaluation.pdf Acessado em :15/03/09

108

Anexo Conceitos estatsticos a) Experimento aleatrio: Um experimento aleatrio se no for possvel antecipar seu resultado, apesar de conhecer todos os resultados possveis que define o espao amostral de experimento. Assim, cada vez que o experimento aleatrio for repetido o resultado poder ser diferente, mesmo que se saibam todos os possveis resultados. O exemplo clssico de experimento aleatrio o lanamento de um dado. O espao amostral deste experimento varia entre 1 e 6, que equivalem as faces do dado. Entretanto, ao lanamos o dado no possvel determinar o resultado. b) Varivel aleatria: Lapponi (2005) define que a varivel aleatria uma varivel cujo valor o resultado numrico de um experimento aleatrio. Assim, a varivel aleatria uma funo

formada por valores numricos definidos sobre o espao amostral de um experimento. Desta forma, podemos dizer que a ocorrncia de um evento de violncia uma varivel aleatria. Com certeza, quanto maior a incapacidade de dilogo e mediao de conflitos dos atores, maior a probabilidade do episdio de violncia ocorrer. Mas isso no quer dizer que incapacidade de dilogo e mediao de conflitos dos indivduos leva necessariamente um episdio de violncia, pois isso depende de outras variveis (bom humor, uso de bebida alcolica, assunto a ser discutido, etc.) que podem se modificar ao longo do tempo e no esto sob seu controle. A ocorrncia de episdios de violncia

109

pode ser uma varivel aleatria, pois s saberemos se ocorrer em determinado perodo aps checarmos, ao final do perodo. c) Amostra e populao: Em estatstica chamamos de populao o total de unidades ou elementos sobre os quais queremos conseguir informaes. Por exemplo, se queremos saber informao sobre a violncia em um municpio, a populao so todos os residentes deste municpio. Agora se queremos saber sobre casos de violncia contra a mulher neste municpio a populao so todas as mulheres residentes neste municpio. A amostra a seleo de um subconjunto de elementos de uma populao de tal forma que descries destes elementos (estatsticas) descrevam com preciso a populao da qual foram selecionadas. Ou seja, uma parte representativa da populao. O conhecimento a respeito da populao geralmente baseado no conhecimento da amostra. Em geral, impossvel ou muito caro obtermos informao de toda populao. Por isso, precisamos ter certeza de que a amostra realmente representativa da populao. Uma amostra representativa de uma populao se ela tem exatamente as mesmas caractersticas da populao da qual foi selecionada. Se quisermos saber sobre a vitimizao em um municpio teramos que entrevistar todos os residentes do municpio. Obviamente, isso no o que se faz, pois seria muito custoso de levaria muito tempo. O que os institutos de pesquisa fazem quando realizam uma pesquisa para saber o percentual de vitimizao entrevistar apenas uma parcela da populao. Para isto eles selecionam uma amostra da populao e, com base nas vitimizao das pessoas que compem a amostra fazem inferncias sobre a vitimizao na populao. Portanto, quando ouvimos que 10% da populao de um

110

determinado municpio foi vitimada, este resultado baseado nos resultados para a amostra entrevistada. Da a importncia de escolher bem a amostra. Se ela no for representativa da populao, as inferncias feitas com base nos resultados da amostra no sero vlidas. d) Distribuio de probabilidade: Quando estamos trabalhando com variveis aleatrias no sabemos os valores que elas iro assumir at a realizao do experimento. Entretanto, sabemos os possveis valores que elas podem assumir. Tambm podemos supor as probabilidades com que cada um dos resultados pode acontecer. Com base nisso definimos a distribuio de probabilidade da varivel aleatria. A distribuio de probabilidade de uma varivel aleatria a lista dos valores possveis de uma varivel aleatria com suas possibilidades de ocorrncia. Voltemos ao exemplo do experimento aleatrio de jogar um dado. Nunca sabemos qual face do dado ser selecionada, ou seja, o resultado deste experimento uma varivel aleatria. possvel obter 6 resultados para este experimento referentes s 6 faces do dado. Assim, dizemos que existem seis possveis valores associados a essa varivel aleatria (1, 2, 3, 4, 5 e 6), sendo que razovel supor que as probabilidades de ocorrncia de cada valor, no caso de um dado no-viciado, so iguais (cada resultado tem probabilidade de ocorrncia de 1/6). Neste caso, a funo de probabilidade representada como na figura 1. No eixo das abscissas esto os possveis valores associados varivel aleatria; e, no eixo das ordenadas, especificamos as probabilidades de ocorrncia, que neste caso 1/6.

111

Figura 1 - Funo de probabilidade

Poderamos em outro experimento aleatrio jogar dois dados. O resultado possvel dado pela soma dos valores observados em cada um dos dados. Como no possvel determinar o resultado antes de realizar o experimento dizemos que o resultado uma varivel aleatria. So possveis obter 11 valores deste experimento, a varivel aleatria pode assumir os valores entre 2 e 12. Entretanto, diferentemente do exemplo anterior, esses valores no tm probabilidade igual de ocorrncia. Existem 36 possveis combinaes no lanamento de 2 dados. A soma 2 pode ser obtida apenas com a combinao (1, 1), mas a soma 5 pode ser obtida com as combinaes (1, 4), (4, 1), (2, 3) e (3, 2). Das 36 combinaes possveis, apenas uma delas gera o resultado 2 e quatro delas geram o resultado 5. Podemos ento dizer que a probabilidade de ocorrer o resultado 2 de 1/36, enquanto a probabilidade de ocorrer o resultado 5 de 4/36. Repetindo o mesmo raciocnio para todos os resultados possveis, temos a distribuio de probabilidade dessa varivel aleatria representada na figura 2.

112

Figura 2 - Funo de probabilidade

e) Distribuio normal: A distribuio normal uma das distribuies de probabilidade mais importantes na estatstica moderna, sendo bastante usada nos estudos econmicos. Seu enorme uso advm da facilidade de defini-la, utilizando para isto apenas dois parmetros: a mdia e o desvio padro. Esta distribuio tem formato como mostrado na figura 3. Figura 3 Distribuio normal

113

As principais caractersticas da distribuio normal que a mdia localizada exatamente no meio da distribuio, sendo o valor com maior probabilidade de ocorrncia. A distribuio simtrica ao redor da mdia, ou seja, independente do valor estar localizado direita ou esquerda da mdia, a probabilidade de ocorrncia igual se ele apresenta a mesma distncia da mdia. f) Mdia: a medida de posio mais usada em estatstica. uma forma de descrevermos uma amostra ou varivel aleatria. Para obter a mdia de uma amostra basta dividir a soma dos valores das observaes da amostra (representadas pela letra (x)) pelo nmero de observaes da amostra (representado pela letra (n)). A mdia tambm chamada de valor esperado de uma varivel aleatria.

Onde: xi a observao da varivel aleatria x para o indivduo i. Normalmente a mdia amostral representa por .

Por exemplo, considere a seguinte distribuio de nmero de estupros de uma amostra de 16 municpios de uma regio, onde cada valor representa o nmero de estupros em cada municpio: (3;3;9;0;4;5;5;5;5;6;8;10;12;12;14;18)

114

A mdia neste caso : X= (3+3+9+0+4+5+5+5+5+6+8+10+12+12+14+18) / 16 = 119/16 =7,4375 Em mdia acontecem 7,4375 estupros por municpio da regio g) Medidas de disperso: A varincia indica como a amostra est distribuda em torno da mdia. Quando analisada em conjunto com a mdia possvel ter uma idia bastante clara da distribuio. O valor da varincia uma medida de disperso dos valores da varivel em torno da mdia. Quanto maior a varincia, mais dispersos so os valores observados da varivel em relao sua mdia. Podemos ento interpretar a varincia como uma medida de preciso da mdia. Quando uma varivel aleatria tem uma varincia grande, a inferncia de um valor a ser observado pela sua mdia no muito precisa. Quanto menor a varincia, menos dispersos so os valores observados da varivel em relao mdia. Ou seja, mais provvel que o valor a ser observado esteja prximo da mdia. Para o clculo da varincia na amostra, primeiramente, subtramos o nmero de estupros em cada cidade (Xi) da mdia da amostra ( X ) e elevamos este valor a segunda potncia. Em seguida, somamos estas diferenas e dividimos o resultado pelo nmero de observao da amostra menos um (n-1). Novamente, Xi representa o nmero de estupros que ocorreram na cidade i.

s2 =

( X 1 - X ) 2 + ( X 2 - X ) 2 + ... + ( X n - X ) 2 (n - 1)

115

Imagine o exemplo anterior em que a mdia de estupro entre os municpios de uma regio de 7,4375 estupros.
s2 = + 2 x (3 - 7,4375) 2 + (9 - 7,4375) 2 + (0 - 7,4375) 2 + (4 - 7,4375) 2 + 4 x (5 - 7,4375) 2 + (16 - 1)

(6 - 7,4375) 2 + (8 - 7,4375) 2 + (10 - 7,4375) 2 + 2 x (12 - 7,4375) 2 + (14 - 7,4375) 2 + (18 - 7,4375) 2 (16 - 1)

2 x ( -4,4375) 2 + (1,5625) 2 + (-7,4375) 2 + ( -3,4375) 2 + 4 x ( -2,4375) 2 + 15 (-1,4375) 2 + (0,5625) 2 + (2,5625) 2 + 2 x (4,5625) 2 + (6,5625) 2 + (10,5625) 2 + 15 s2 =

39,3828 + 2,4414 + 55,3164 + 11,8164 + 23,7656 + 2,0664 + 0,3164 + 6,5664 + 41,6328 + 43,0664 + 111,5664 15 337,9374 2 s = = 22,52917 15 s2 =

A partir da varincia, podemos obter o desvio-padro, representado por (s). O desvio padro calculado por meio da raiz quadrada da varincia. Esta tambm uma medida de disperso, mostrando como os valores observados esto distribudos em torno da mdia.

No exemplo do estupro nos municpios de uma regio temos que o desvio padro dado por:

s = s 2 = 22,52971 = 4,74649

116

h) Intervalo de confiana: Quando trabalhamos com uma amostra utilizamos o resultado da amostra para inferir sobre a populao a qual ela representa. No caso do exemplo do nmero de estupros por municpio, utilizamos uma amostra de 16 municpios para inferir sobre a populao (que no caso so todos os municpios do Estado). Desta forma, calculamos a mdia da amostra e falamos que ela a mdia da populao. Mas, como garantir que a mdia da amostra representa realmente a mdia do Estado? No temos como garantir que a mdia dos estupros nos 16 municpios (amostra) seja exatamente a mdia dos estupros no Estado (populao). Entretanto, se o nmero de estupros por municpio uma varivel aleatria, com distribuio normal podemos construir o intervalo de confiana da mdia amostral que vai nos dizer com uma probabilidade de, por exemplo, 95% que a mdia da populao est contida neste intervalo de confiana. Quando uma varivel aleatria segue uma distribuio normal, sabemos pelas propriedades desta distribuio que: 68% dos valores possveis esto simetricamente distribudos entre 1 desvio-padro em relao mdia direita e esquerda da mdia; e 95% dos valores possveis esto simetricamente distribudos entre 2 desviopadro em relao mdia direita e esquerda da mdia. Para calcularmos o intervalo de confiana a 95% de probabilidade precisamos saber antes a mdia amostral ( X ), o desvio padro (s) e o nmero de observaes da amostra (n). De posse destas estatsticas calculamos o intervalo de confiana por meio da seguinte formula:

117

Graficamente pode ser representado conforme figura 4: Figura 4 Intervalo de Confiana - Distribuio Normal

No exemplo trabalhado neste anexo, temos que a mdia da amostra 7,4375, o desvio padro 4,74649 e o nmero de observaes na amostra de 16. Assim, temos que:

4,74649 4,74649 ; 7,4375 + 1,96 * 7,4375 - 1,96 * 16 16 [5,11 ; 9,76]

118

Graficame nte:

95%
5,11 7,4375 9,76

O que este intervalo de confiana calculado significa : com 95% de confiana a mdia da do Estado se encontra entre 5,11 e 9,76 estupros por municpio.

119