Organizadoras

Andra Maria Silveira

Betnia Peixoto

Ttulo: Manual de Avaliao de Programas de Preveno da Violncia

Primeira Edio
Local: Braslia
Nome do Editor: Organizao Panamericana de Sade
Ano de Publicao: 2010

 2010 Organizao Pan-Americana da Sade Representao Brasil

Todos os direitos reservados. permitida a reproduo parcial ou total dessa obra, desde que citada a
fonte e que no seja para venda ou qualquer fim comercial.
1. edio 2010

Elaborao, distribuio e informaes:

ORGANIZAO PAN-AMERICANA DA SADE REPRESENTAO BRASIL
Unidade Tcnica de Desenvolvimento Sustentvel e Sade Ambiental
Setor de Embaixadas Norte, Lote 19
CEP: 70800-400 Braslia/DF Brasil
http://www.paho.org/bra
Diego Victoria
Representante da Organizao Pan-Americana da Sade/Organizao Mundial da Sade no Brasil
OPAS/OMS no Brasil
Diego Gonzalez Machin
Coordenador da Unidade Tcnica de Desenvolvimento Sustentvel e Sade Ambiental
Maria Alice Barbosa Fortunato
Consultora Nacional da Unidade Tcnica de Desenvolvimento Sustentvel e Sade Ambiental
UNIVERSIDADE FEDERAL DE MINAS GERAIS - UFMG
Faculdade de Medicina
Av. Alfredo Balena, 190
Santa Efignia
Belo Horizonte Minas Gerais Brasil
CEP: 30130100
http://www.ufmg.br

Programa de Cooperao Tcnica e Cientfica entre a Universidade Federal de Minas Gerais/Faculdade de

Medicina e OPAS/OMS
Francisco Jos Penna Diretor/FM
Coordenao do Projeto Promoo de Sade e Preveno da Violncia/Cooperao FM/UFMG e
OPAS/OMS
Elza Machado de Melo
Capa
Davi Maciel Corgozinho
Ficha Catalogrfica
Silveira, Andra Maria, Peixoto, Betnia. Manual de avaliao de programas de preveno da
violncia. / Organizao Pan-Americana da Sade; Universidade Federal de Minas Gerais.
Braslia : Organizao Pan-Americana da Sade, 2010.
119 p.: il.
ISBN: 978-85-7967-044-2
1. Violncia 2. Preveno e controle 3. Avaliao de programas e projetos de sade I. Organizao
Pan-Americana da Sade. II. Universidade Federal de Minas Gerais. III. Ttulo.
NLM: WA 335
TC XX

Unidade Tcnica de Informao em Sade,

Gesto do Conhecimento e Comunicao da OPAS/OMS Representao do Brasil

Sumrio
Editorial
Prefcio
Captulo I
O problema da Violncia no nosso meio
Captulo II
Conceitos e princpios da Avaliao
O que avaliar?
Por que avaliar?
Quando avaliar
Tipos de avaliao segundo o objeto
Tipos de avaliao segundo quem executa
Captulo III
A realizao de uma avaliao
Elementos necessrios a avaliao
Pblico Alvo
Como identificar esse grupo
As aes
Custos
O que custo de oportunidade
Indicadores
Indicadores quantitativos x indicadores qualitativos
Transformao dos indicadores qualitativos em quantitativos
Fontes de informaes: onde conseguir dados para construo dos
Indicadores
Fontes secundrias de dados
Captulo IV
Avaliao de Processo
Implementao da Avaliao de Processo
Captulo V
Avaliao Econmica
Avaliao de Impacto
Mtodos de Avaliao de Impacto de Programas de Preveno a
Violncia
Comparao Estatstica entre mdias
Regresso Linear
Limites das Ferramentas de estimao de impacto
Avaliao de Retorno Econmico
O benefcio do projeto de preveno a violncia
Custo do projeto de preveno a violncia
Clculo das estatsticas de retorno econmico
Razo custo efetividade

07
10
15
15
16
19
19
22
24
25
26
26
27
28
28
30
31
32
34
39
47
50
53
55
61
62
67
84
86
87
94
97
99

Razo custo benefcio

Taxa interna de retorno
Consideraes Finais
Bibliografia
Anexo

101
101
104
105
109

Editorial
A Organizao Pan-Americana da Sade orienta seus esforos para colaborao
tcnica entre pases e seus parceiros; busca ainda promover estilos de vida saudveis
e, prevenir os problemas de sade tpicos do desenvolvimento e da urbanizao, como
as violncias.

Desta forma, compreendendo que a violncia apresenta-se como um

importante e crescente problema de sade pblica em todo o mundo, e que, as suas

conseqncias para indivduos, famlias e, comunidades, no curto e longo prazo, causam
grandes prejuzos para o desenvolvimento social e econmico de todo o planeta, a
OPAS vem apoiando publicaes que disseminam experincias bem sucedidas em torno
da preveno da violncia e, oferecem ferramentas tericas e prticas para o
enfrentamento do problema.
Assim, apresentamos este documento, como parte de um esforo conjunto da
OPAS/OMS no Brasil e da UFMG, por meio da estratgia de cooperao tcnica da
OPAS/OMS, a qual permitiu a elaborao de um Manual para Avaliao de Programas e
Projetos de Preveno a Violncia, direcionado aos gestores no nvel local, gestores de
organizaes no governamentais e lideranas comunitrias, aos quais oferece
informaes e conceitos para aumentar o conhecimento e o interesse em programas
de preveno da violncia e sua avaliao. Esperamos que esse documento seja
utilizado como linha de base para o monitoramento e avaliao de projetos e
programas que busquem compreender o progresso e o impacto das intervenes para
promoo de uma cultura de paz.
Diego Victoria
Representante da Organizao Pan-Americana da Sade
/Organizao Mundial da Sade no Brasil

Prefcio

Sabe-se que existem no Brasil inmeros programas e projetos de iniciativa do governo

federal, governos estaduais e municipais, Organizaes No Governamentais - ONG,
empresas privadas e instituies religiosas que buscam a preveno da violncia. Em
sua maioria essas iniciativas tm como campo de atuao as comunidades e como
populao alvo crianas e jovens. Muitos outros projetos so voltados para a
preveno da violncia contra a mulher, contra o idoso, o abuso e explorao sexual de
crianas e adolescentes, a violncia no trabalho, violncia no trnsito, violncia na
escola etc.

A inexistncia de cadastros fidedignos desses programas e projetos impede que

saibamos o nmero exato de iniciativas dessa natureza em curso no pas, assim como o
montante de recursos nelas investido. Menos ainda podemos dizer sobre a efetividade
dessas prticas, uma vez que poucas so avaliadas e, quando isso ocorre, nem sempre
os resultados so tornados pblicos.

Para se ter uma idia, em 2005, atravs de documento intitulado Perfil das Prticas
Cadastradas no Observatrio Democrtico de Prticas de Preveno Violncia e
Criminalidade no Brasil, o Ministrio da Justia apresentou as caractersticas bsicas
de 168 prticas de preveno cadastradas no Observatrio at maio de 2005
(Ministrio da Justia, 2005). Deste total, apenas metade das prticas cadastradas
tinha sido submetida a algum tipo de avaliao. Detalhes sobre o tipo de avaliao e
sobre os seus achados no foram publicados, impedindo que os interessados no tema
saibam o que, no nosso meio, tem sido realizado com sucesso, ou quais prticas tem
mostrado resultados insatisfatrios.

A no realizao sistemtica de avaliao decorre da falta de tradio nessa prtica

na rea de programas de preveno a violncia, do desconhecimento das metodologias
avaliativas, da crena de que muito difcil e caro avaliar e, de que no podemos nos
dar ao luxo de gastar dinheiro com isso. Outros acreditam que os fatos falam por si
mesmo e que se um programa d certo, seremos todos capazes de ver isso.
Experincias internacionais na gesto e avaliao de programas de preveno a
violncia contradizem essas crenas (Sherman, 1997) e nos mostram que a avaliao
fundamental para a boa gesto de recursos e implementao de boas prticas.

nesse contexto, que apresentamos o Manual de Avaliao de Programas de

Preveno a Violncia. Seu objetivo sensibilizar, aumentar o conhecimento, e o
interesse em avaliao.

Visa ainda, estimular os formuladores e gestores de

programas de preveno a violncia a planejarem, orarem e executarem avaliaes

dos programas e projetos que esto sob suas responsabilidades.

Este Manual fornece informaes de natureza conceitual e operacional que facilitam a

compreenso dos princpios que orientam a prtica avaliativa e os modelos mais
importantes de avaliao. Este conhecimento favorece a apreciao crtica dos
programas e projetos, o dilogo entre gestores de programas, usurios, financiadores
e avaliadores.
Por fim, queremos destacar que diversas pessoas foram fundamentais na elaborao
deste Manual, contribuindo com crticas e sugestes. A elas somos muito gratas. Em
especial,

gostaramos

de agradecer

ao Dr. Gustavo

Bergonzoli que durante sua

passagem pela OPAS Brasil forneceu forte apoio e incentivo para realizao deste
Manual. Coerentes com nossas convices, apresentamos nesse texto apenas exemplos
de experincias j avaliadas. Nesse sentido, devemos agradecimentos Polcia Militar
de Minas Gerais e a Secretaria de Defesa Social do Estado de Minas Gerais pela cesso

das informaes sobre o programa Proerd e o Fica Vivo utilizados como exemplos.
Agradecemos ainda, a Fundao Ita Social e ao Banco Ita Social pela oportunidade
concedida a uma das autoras de participar do programa de "Avaliao Econmica de
Projetos Sociais", o que proporcionou o contato com o amplo material didtico e
forneceu embasamento prtico sem o qual seria impossvel a confeco deste Manual.

As Autoras

Captulo I
O problema da Violncia no nosso meio

A violncia hoje um dos maiores problemas sociais do mundo, afetando no s os

pases em desenvolvimento, mas tambm pases desenvolvidos. A World Health

Organization (WHO) em relatrio de 2004 mostra que considerando todas as mortes

ocorridas nos pases membros no ano de 2002, a violncia foi a 21 causa-morte. No
caso dos homens a violncia a 16 causa de morte. Para os pases em
desenvolvimento do continente americano a violncia a 4 causa de morte. Nos
Estados Unidos da Amrica o homicdio a 14 causa de morte como um todo, sendo a
2 principal causa entre a populao com idade entre 15 e 24 anos daquele pas.

Esta doena social incide principalmente em homens jovens, o que imputa perda
econmica para a sociedade muito maior do que doenas que atingem indivduos com
idade mais avanada. A World Health Organization (WHO) no relatrio de 2002,
mostra que, no ano de 2000, ocorreram 8,8 homicdios por cem mil habitantes nos
pases membros. A taxa de homicdio por cem mil habitantes de homens cerca de
trs vezes a das mulheres (13,6 e 4,0 respectivamente). Alm disto, a taxa de
homicdio de homens jovens (entre 15 e 29 anos) de 19,4 enquanto que das mulheres
nesta mesma faixa etria de 4,4 por cem mil habitantes. O relatrio mostra que os
pases em desenvolvimento do continente Americano so os que mais sofrem com a
violncia. A taxa de homicdio por cem mil habitantes desse grupo de pases de 27,5
atingindo para os homens entre 15 e 29 anos o valor 89,7 por 100.000 habitantes.

10

No Brasil, a violncia apresenta padres alarmantes. Em 2007 o pas apresentou uma

taxa de 25,2 homicdios por cem mil habitantes. Esses eventos atingiram
principalmente os jovens que, apesar de representarem 18,6% da populao em 2007,
foram responsveis por 36,6% dos homicdios naquele ano (Waiselfisz, 2010).

As estatsticas apresentadas retratam apenas o nmero de pessoas que foram

assassinadas no dimensionando o nmero, certamente maior, daqueles que no sendo
vitimados de forma fatal, sofreram agravos e apresentam as seqelas fsicas, mentais
e os estigmas sociais da violncia. Waters et al. (2005) estimaram que para cada
jovem (indivduo entre 10 a 20 anos) assassinado, 20 a 40 vtimas no fatais
receberam assistncia mdica, o que permite visualizar um panorama assustador do
nmero real de pessoas atingidas.

Dados provenientes dos pases desenvolvidos

indicam que para cada pessoa assassinada 30 foram hospitalizadas por leses no
fatais e aproximadamente 300 foram atendidas em servios de pronto atendimento e
liberadas (World Health Organization, 2005).

Mais nebuloso, mas certamente no menos grave, so os nmeros referentes ao abuso

e violncia sexual contra crianas e adolescentes, a violncia contra mulheres e
crianas dentro do ambiente domstico, a violncia contra o idoso, a violncia na
escola, o assdio moral no trabalho, a violncia de motivao racial/tnica e sexual e
outras formas de violncia, cuja ocorrncia est a vista de todos, mas cujos registros
oficiais so precrios.

O problema adquiriu tal magnitude que a Quadragsima Nona Assemblia Mundial de

Sade realizada em 1996, declarou que a violncia um grande e crescente problema

11

de sade pblica no mundo (Resoluo WHO 49.25) e conclamou os Estados Membros

da WHO a avaliarem os problemas de violncia em seu territrio e comunic-los
organizao. Alm disto, a WHO passou a realizar campanhas de sade pblica em
torno do problema e a disseminar recomendaes para programas de preveno
violncia em todo o mundo.

No Brasil, no campo das polticas de sade destaca-se a Portaria N 737 do Ministrio

da Sade de 16 de maio de 2001 que estabeleceu a Poltica Nacional de Reduo da
Morbimortalidade por Acidentes e Violncias. A proposta da poltica est fundada no
conceito constitucional de sade que abrange as questes relativas a estilos de vida e
aos condicionantes sociais, histricos e ambientais nos quais est imersa a sociedade
brasileira.

A primeira diretriz da poltica a promoo da adoo de comportamentos e de

ambientes seguros e saudveis, atravs de ampla mobilizao da sociedade em geral,
e da mdia em particular, para a importncia dos acidentes e das violncias, bem como
o reforo das aes intersetoriais relacionadas ao tema.

Para isto, sugere

estratgias como a dos Municpios Saudveis, Prefeito Amigo da Criana, Escolas

Promotoras de Sade, a divulgao tcnica dos dados sobre acidentes e violncias, o
apoio realizao de seminrios, oficinas de trabalho e estudos.

O texto legal trata da necessidade de desenvolver a co-responsabilidade do cidado

incluindo a participao na reivindicao, nas proposies e no acompanhamento desta
poltica, e na promoo de ambientes seguros e comportamentos saudveis
relacionados preveno de acidentes e de violncias e de seus fatores de risco, como

12

uso de drogas e lcool, armas de fogo, a no observncia de regras de segurana e as

relaes interpessoais conflituosas. As medidas nesse sentido consideraro tanto, os
ambientes domsticos, de lazer de trabalho e de trnsito, quanto aqueles em que se
desenvolvem os processos de convivncia social. O Ministrio da Sade recomenda
ainda que as aes de preveno estejam incorporadas em todos os programas, planos
e projetos de ateno grupos especficos da populao e temas de sade.

A segunda diretriz trata do monitoramento dos acidentes e violncias incluindo a

capacitao e a mobilizao dos profissionais de sade que atuam em todos os nveis
de atendimento do Sistema nico de Sade (SUS), visto que, a melhoria da qualidade
da informao considerada prioritria.

A terceira diretriz trata da sistematizao, ampliao e consolidao do atendimento

pr-hospitalar de forma a reduzir a mortalidade dos eventos violentos, atravs da
estimulo a organizao e implantao de servios de ateno pr-hospitalar. Tambm
inclui o estabelecimento de normas tcnicas, padronizao de equipamentos e veculos
para transporte de vtimas e formao de recursos humanos.

A quarta diretriz, diz respeito assistncia interdisciplinar e intersetorial s vtimas

de acidentes e de violncias atravs da estruturao e organizao da rede de
servios do SUS, de forma que esta possa diagnosticar e tratar de forma adequada.
So recomendados ainda: atendimento especfico para mulheres vtimas de violncia,
atividades voltadas para reeducao de agressores, redes de apoio para o
atendimento como: abrigos e unidades que atendam o aborto legal e reabilitao fsica
e psicolgica das vtimas de violncia. A portaria prev a avaliao das aes

13

executadas.

Em consonncia com a Portaria N 737 do Ministrio da Sade, instituies pblicas,

acadmicas e organizaes da sociedade civil tem se engajado nos esforos para
reduzir violncia atravs da implementao de programas e projetos de preveno
que buscam enfrentar as causas e interferir na engrenagem que a estimula e favorece.

Embora existam inmeras iniciativas de preveno sob a gesto de agncias pblicas

(da esfera da sade, educao, justia, ao social etc.), associaes comunitrias,
organizaes no governamentais, religiosas, desportivas e empresariais, infelizmente,
no existe no Brasil a tradio de avaliao dessas experincias.

As informaes geradas pelas avaliaes dos programas nos permitem aperfeioar as

concepes tericas sobre o fenmeno da violncia e orientar a aplicao de nossos
recursos. Elas possibilitam a identificao do que funciona, em quais circunstncias,
para qual clientela e com qual custo. A avaliao das experincias de preveno
fornece sociedade o conhecimento de experincias bem sucedidas, que podem ser
replicadas (Crdia, 2005).

Neste contexto, este manual pretende ser um guia simples que informa e orienta
formuladores e gestores de programas e projetos de preveno a violncia dos
princpios e dos modelos avaliativos mais importantes.

14

Captulo II

O que avaliar?

A avaliao faz parte de nossa vida. Avaliamos a todo o momento o mrito, a

pertinncia, os custos, a relevncia, a eficcia e eficincia do que fazemos, do que os
governos fazem, do que a direo do clube de futebol de nosso corao faz. Portanto,
avaliar, constitui uma prtica rotineira, ainda que realizada informal e intuitivamente.
O captulo primeiro da Bblia, o Gnesis, conta que Deus concluindo seu trabalho de
criao dos cus, da terra e de todas as criaturas, ao final do sexto dia, contemplou
sua obra e avaliou que tudo que fizera era muito bom. Talvez este tenha sido o incio
da avaliao. Da passagem bblica, tiramos ainda outra lio. Avaliar significa, tambm,
emitir um juzo de valor.

Como nem sempre contamos com boas informaes para avaliar, nossos julgamentos s
vezes so equivocados e resultam em escolhas ruins. Se, escolhas pessoais
fundamentadas em avaliaes equivocadas ou em falta de avaliao resultam em perda
de dinheiro, tempo e energia, imagine as repercusses na comunidade e, na sociedade
como um todo, da aplicao de recursos humanos, tempo e dinheiro em projetos e
programas que no so capazes de atingir seus objetivos.

Avaliar preciso!

Mas, o significa avaliar? Existem vrios conceitos cientficos de avaliao. Para

15

Minayo (2004), avaliar um processo sistemtico de fazer perguntas sobre o mrito e

a relevncia de determinada proposta ou programa, e a forma como esta proposta ou
programa implementada, comparando a realidade com um padro almejado. Para
Contandriopoulos et al. (2001), avaliar consiste fundamentalmente em fazer um
julgamento de valor a respeito de uma interveno ou sobre qualquer um de seus
componentes, com o objetivo de ajudar na tomada de decises. Este julgamento pode
ser resultado da aplicao de critrios e normas ou da utilizao de um procedimento
cientfico (pesquisa avaliativa).

De uma maneira geral, avaliar implica na coleta cuidadosa de informaes sobre um

programa ou projeto, de forma a auxiliar o processo de tomada de decises dos seus
gestores. A literatura especializada diferencia mais de 35 tipos de avaliao, tais
como as avaliaes de acesso ao gasto pblico, avaliaes de retorno econmico,
avaliaes de meta-anlise, avaliaes de sustentabilidade e acessibilidade, avaliaes
de reconstruo histrica, avaliaes de impacto, entre outras. Cada tipo vai de
encontro necessidade dos interessados no programa, ou seja, o modelo de avaliao
adotado vai depender do que os interessados no programa (stakeholders) querem
saber a respeito do mesmo. O importante que estes interessados tenham clareza
das informaes que necessitam para decidir os rumos e destinos do programa
(Mcamara, 2009).

Por que avaliar?

O que conta, o que funciona
Tony Blair
A frase acima atribuda ao ex-primeiro ministro ingls, Tony Blair teria sido

16

pronunciada por ocasio das discusses do oramento de 250 milhes de libras para
o Programa de Reduo de Crimes e Violncias iniciado em 1998 na Gr-Bretanha. Esta
frase d uma idia da preocupao do governo ingls com as polticas cientificamente
orientadas, as quais exigem a organizao de evidncias para determinar prioridades
e distribuio de recursos. Naquele ano, 10% do oramento geral, ou seja, 25
milhes de libras foram destinados s atividades de avaliao e monitoramento dos
programas de preveno ao crime e violncia.

A tendncia da gesto e prtica orientada pela evidncia do que funciona e a qual

custo, vem crescendo no nosso meio, gerando a necessidade de avaliaes para
atender aos seguintes propsitos:
1- Proporcionar s entidades governamentais e sociedade civil, meios de
aprender, s custa das experincias passadas.
2- Melhorar a prestao de servios, o planejamento e o emprego de recursos.
3- Demonstrar os resultados s partes interessadas (financiadores, clientes,
gestores, trabalhadores etc.) proporcionando maior transparncia s aes.
4- Determinar o impacto de um programa.
5- Retro-alimentar o programa de informaes para facilitar seu gerenciamento.
6- Obter orientaes para modificaes nos recursos e processos.
7- Esclarecer a lgica de operao do programa.
8- Auxiliar no desenvolvimento do programa pela identificao de necessidades
dos usurios, das reas e dos recursos que podem ser utilizados na
implementao das aes em novas reas.
9- Fornecer descries dos contextos nos quais os programas funcionam.
10- Fornecer descries da natureza dos seus usurios, recursos, e os processos

17

de interveno utilizados na implementao do programa.

11- Identificao dos mecanismos ou processos causais, por meio dos quais o
resultado do programa atingido.
12- Compreender, verificar ou aumentar os resultados e impactos de um programa.
13- Verificar se as aes planejadas esto sendo realmente implementadas.
14- Refletir sobre os objetivos e metas do programa e como verificar se foram
atingidos.
15- Produzir comparaes entre programas e decidir qual deve ser mantido.
16- Examinar programas efetivos para replicao em outros locais.
17- Favorecer o aprendizado e a disseminao do conhecimento nas organizaes: a
avaliao amplia o conhecimento dos gestores e de suas equipes e, cria
oportunidades de reflexo para os envolvidos na construo coletiva de
solues.
18- Verificar se o gestor est executando de fato o que acha que est
executando: muitos planos quando colocados em prtica so modificados de tal
forma que alteram a proposta original. A avaliao permite verificar se isto
est ocorrendo.
19- Produzir dados ou verificar resultados que podem ser utilizados para a
divulgao do programa e de seus servios na comunidade ( Mc Namara, 2009;
Ministrio do Planejamento, Banco Mundial, 2004, Marino 2003).

18

Quando avaliar?
A avaliao pode e deve ser realizada em todos os estgios do projeto ou programa.
Mesmo antes da implantao do programa pode ocorrer a sua avaliao. Neste caso
denominamos

de

avaliao

ex-ante.

Quando

avaliao

ocorre

durante

implementao do programa ou ao seu termino, denominamos de avaliao ex-post.

Para cada um destes momentos existem vrias metodologias ou tipos especficos de
avaliao.

A avaliao ex-ante realizada antes que o programa seja implementado, objetivando

fornecer elementos que permitam ao gestor decidir se o programa deve ser oferecido
a uma determinada clientela. Neste sentido, deve descrever bem a populao alvo do
ponto de vista de suas necessidades, seu contexto poltico, social, econmico e
cultural, tentando projetar os possveis impactos da implementao do programa sobre
esta populao e comparar custos e benefcios da iniciativa com alternativas
disponveis.

A avaliao ex-post realizada nos programas/projetos em andamento ou, concludos.

O objetivo verificar se os componentes do programa/projeto so apropriados aos
fins da iniciativa ou, determinar em que medida o programa/projeto atinge seus
objetivos. Visa ainda identificar os efeitos do programa/projeto.

Tipos de Avaliao segundo o objeto

Existe um grande nmero de tipos de avaliao que podem ser utilizados. A escolha de
qual tipo utilizar depender da fase na qual o programa se encontra (planejamento,
implementao, execuo) e das perguntas que os gestores querem responder (por

19

exemplo, as aes propostas esto sendo efetivamente realizadas? O pblico alvo est
satisfeito com o atendimento? Os objetivos esto sendo alcanados? O custo est
condizente com os benefcios?). Os tipos de avaliao no so excludentes. O ideal a
combinao entre eles.

Dois tipos muito comuns de avaliaes so as denominadas de avaliao de processo e

avaliao econmica. A avaliao de processo objetiva identificar dificuldades de
programao, controle, administrao, capacitao, etc., visando prioritariamente
correes e adaptaes do programa. Para isto analisa a eficincia operacional do
programa e busca verificar em que medida os elementos de um projeto ou programa
contribuem com os fins desejados. Idealmente, deve ser realizada durante a
implementao, contribuindo para a gesto da organizao e das aes do programa.

A avaliao econmica composta de duas etapas denominadas avaliao de impacto e

avaliao de retorno econmico. A avaliao de retorno econmico utiliza os resultados
obtidos pela avaliao de impacto, sendo que somente realizada quando o programa
apresentar impacto. Como o nome sugere, a avaliao de impacto mede as mudanas
que o programa gera na vida dos beneficirios, sejam eles indivduos, famlias,
instituies ou comunidades. Por exemplo, a avaliao de impacto do Programa Fica
Vivo implementado em Minas Gerais e voltado para a preveno dos homicdios,
mensurou a modificao na ocorrncia de homicdios nas reas de atuao do programa
que pode ser atribuda ao mesmo.

De forma complementar a avaliao de impacto, a avaliao de retorno econmico

procura confrontar o impacto do programa com o seu custo. Esta comparao

20

realizada atravs do clculo de vrias estatsticas, sendo as mais comuns a razo

custo-efetividade, razo custo-benefcio, a taxa interna de retorno e o valor presente
lquido. Esta etapa da avaliao econmica s realizada quando a avaliao de impacto
evidencia que o programa gerou resultados.

Glossrio
Eficcia Relaciona-se ao grau em que os objetivos e metas do programa ou projeto
so alcanados, independentemente dos custos implicados.
Eficincia Diz respeito relao entre os recursos utilizados e os resultados
alcanados. Est associada ao conceito de timo.
Efetividade Constitui uma relao entre resultados/objetivos. Expressa os
resultados concretos ou as aes que conduzem a estes resultados.
Projeto: Empreendimento planejado e constante de uma srie de atividades
correlacionadas e coordenadas para alcanar objetivos especficos dentro de um
perodo de tempo e, com um oramento definido.
Programa:Trata-se de um conjunto de projetos que perseguem os mesmos objetivos.
O programa define as prioridades, o mbito institucional e os recursos a serem
utilizados na interveno.
Processo: Descreve como o programa realizado. Por exemplo, como os homens
agressores domsticos so atendidos em um programa educativo voltado para
agressores.
Recursos (insumos ou inputs): So todos os meios necessrios para executar um
programa ou projeto, como: dinheiro, clientes, pessoal tcnico etc.
Resultados (outputs): Trata-se da unidade de servio. Por exemplo, o nmero de
homens que passaram pelo programa de reabilitao de agressores domsticos, o
nmero de visitas domiciliares realizadas por um programa de acompanhamento de
famlias em situao de risco para violncia, etc.
Impacto (outcomes): Trata-se dos impactos sobre os clientes ou as comunidades que

21

recebem o programa. Por exemplo, reduo do nmero de casos de violncia

domstica notificada, reduo de crianas e adolescentes envolvidos em atos
infracionais etc.
Interessados (stakeholders): Todos aqueles so importantes para a sustentabilidade
do programa ou projeto e, alimentam expectativas em relao ao mesmo, como
financiadores, apoiadores, parceiros, trabalhadores, usurios, etc.

Tipos de avaliao segundo quem a executa

1. Avaliao interna: Neste tipo de avaliao so os gestores do programa ou projeto
que o avaliam (auto-avaliao)
executora.

Tem

como

ou uma unidade da organizao

principais

vantagens

um menor

custo e

diferente da
um

melhor

aproveitamento no aprendizado institucional e na melhoria do gerenciamento do

programa, dado que as organizaes so em geral mais receptivas informao
produzida internamente. Supostamente, este tipo de avaliao apresenta como
vantagem a maior adeso dos envolvidos na interveno, que vem a avaliao como um
momento de reflexo interna sobre a prtica, o que garantiria maior cooperao com
os avaliadores. Apresenta ainda menor custo, tem mais efeitos sobre o aprendizado
institucional e no gerenciamento do programa, uma vez que as organizaes so mais
receptivas s informaes produzidas internamente. Alm disto, os avaliadores
internos conhecem melhor o programa, seus pressupostos etc. Contudo, a condio de
juiz e interessado pode comprometer a objetividade e imparcialidade, alm de no
constituir garantia contra atritos e disputas de interesses (Silveira, 2007, Ministrio
do Planejamento, 2008, Cohen e Franco, 2002)

2. Avaliao externa: Avaliao realizada por consultores ou instituies externas

aos implementadores e, que no fazem parte do programa. Os avaliadores externos

22

tendem a ser mais isentos e, a adotarem maior distncia em relao aos costumes e
normas da instituio executora. Sentem-se menos constrangidos em formular
crticas ao programa. O trabalho na instituio termina com a finalizao da avaliao
e, a insero profissional dos avaliadores no ameaada pelos resultados da
avaliao, o que pode ocorrer na avaliao interna. Este tipo de avaliao tende a
apresentar maior credibilidade

O avaliador ideal aquele comprometido com certos modelos de soluo de problemas,

que acredita na definio de metas e em diferentes mecanismos de realizao, que
aposta na criao de modelos de relao entre insumos e produtos e na melhor
combinao possvel.

Seu compromisso com a soluo do problema e no com a

sobrevivncia da organizao. Neste tom, parece temerrio considerar avaliadores

internos como talhados objetividade e imparcialidade. Mas caso a opo seja por
lanar mo de avaliadores internos o ideal que os mesmos no estejam
comprometidos com a formulao ou execuo do projeto ou programa.

3.Avaliao Mista Combina os dois modelos anteriores. Os avaliadores externos

trabalham em parceria com os membros da organizao executora do programa. Este
modelo visa reduzir as dificuldades e potencializar as vantagens dos tipos anteriores
de avaliao.

4.Avaliao Participativa - A avaliao participativa tem sido indicada para projetos

pequenos. Busca reduzir a distncia entre avaliador e beneficirios dos programas, e
fixar as mudanas sugeridas, criando um ambiente favorvel a uma resposta endgena
do grupo. Seu pressuposto a participao da comunidade nas fases de planejamento,

23

programao, execuo e operao, e obviamente na avaliao do projeto. Este modelo

utilizado com a finalidade de conhecer melhor a situao local, os problemas, a
perspectiva e as prioridades das populaes alvo, de forma a formular intervenes
mais satisfatrias. Visa ainda ofertar conhecimentos e qualificaes que empoderem a
populao alvo (Banco Mundial, 2003, Banco Mundial, 2004, Coehn e Franco, 2002,
Cano, 2008, Silveira, 2007, Ministrio do Planejamento, 2008, Roman e Farrel, 2002)

Captulo III
A realizao de uma avaliao

Segue abaixo algumas questes importantes a serem consideradas quando da

concepo e planejamento de uma avaliao:
Qual o propsito da avaliao? O que voc pretende fazer com os
resultados obtidos?
Quem so as pessoas que recebero informaes sobre a avaliao
(financiadores, clientes, gestores, diretores)?
O que voc necessita a fim de tomar uma deciso informada ou esclarecer
sua audincia? (Informaes para explicar o programa - seus insumos,
atividades e resultados, a clientela a qual se dirige o programa, a fora e a
fraqueza do programa, os resultados para os clientes, porque ou como o
programa falhou)

Quais as fontes de informao sobre o programa? (Trabalhadores,

clientes, grupos de clientes e trabalhadores juntos, documentos etc.)

Como esta informao pode ser coletada? (Questionrios, entrevistas,

anlise documental, grupos focais, observao de clientes e trabalhadores).

24

 Quais recursos so necessrios para coletar a informao?

Quando esta informao deve ser coletada?

Elementos necessrios avaliao

Para avaliar programas/projetos de preveno a violncia importante que atentemos
para alguns elementos bsicos do programa, que so de fundamental importncia para
o desenho da avaliao. Portanto, o ideal a incorporao da avaliao desde a fase de
elaborao do projeto/programa, para que todos os elementos necessrios a ela
estejam presentes j no incio. Precisamos identificar o pblico alvo, as aes a serem
implementadas, os objetivos das aes e os indicadores.
Nesta seo apresentamos alguns dos elementos necessrios para a avaliao.
Pblico alvo
a populao ou rea para a qual o projeto/programa se destina. Em geral, quando
elaboramos um projeto/programa de preveno violncia, o dirigimos para um
determinado grupo da sociedade. Por exemplo, quando queremos promover a preveno
ao consumo de drogas, como no caso do Programa Educacional de Resistncia s
Drogas - PROERD (Minas Gerais) focamos as aes nas crianas e jovens. Quando
queremos reduzir os conflitos de uma regio, como nos programas de Mediao de
Conflitos, focamos nos residentes dessa regio. Assim, para avaliarmos um
projeto/programa de preveno criminalidade precisamos definir claramente o
pblico para o qual ele se destina, ou seja, os beneficirios do projeto/programa.

25

Como identificar este grupo?

O ideal que definamos quais os requisitos estabelecidos pelos formuladores da ao
para que uma pessoa ou local seja beneficiado. Estes requisitos so chamados na
linguagem de avaliao de critrios de elegibilidade. De posse dos critrios de
elegibilidade podemos determinar o pblico-alvo da ao.
A determinao do pblico alvo utilizada tanto na avaliao de processo quanto na
avaliao econmica. Na avaliao de processo ela utilizada para determinar a
focalizao e seus erros e na avaliao econmica utilizada como elemento chave
para determinao do impacto do programa. Este ponto ser abordado mais
detalhadamente posteriormente.
Objetivo de uma ao
O objetivo de uma ao define qual a sua utilidade, ou seja, o que ela pretende
alcanar. Em outras palavras o objetivo do projeto/programa que vai definir quais
mudanas que queremos promover na vida do pblico alvo. A maioria dos
projetos/programas apresenta um objetivo geral, mais amplo do projeto/programa.
Entretanto, em geral atravs dos objetivos especficos que os projetos so
avaliados.
Na avaliao de projeto/programa os objetivos servem de base para a escolha dos
indicadores de impacto. Para isto, estes objetivos tm que ser bem definidos,
claros e principalmente mensurveis.

26

Por exemplo, a instruo que regula a aplicao do programa PROERD define como
objetivo geral1
Dotar jovens estudantes de informaes e habilidades necessrias para viver de
maneira saudvel, sem drogas e violncia, com observncia das normas
institucionais, filosofia do Programa e alinhado as polticas pblicas estabelecidas.
E como alguns dos objetivos especficos: a) dotar jovens estudantes com
ferramentas que lhe permitam evitar influncias negativas em questo relativas s
drogas e violncia, promovendo os fatores de proteo e suas habilidades de
resistncia; b) estabelecer relaes positivas entre alunos e policiais militares,
professores, pais e outros lderes da comunidade; c) permitir aos estudantes
enxergarem

os policiais

como

servidores, transcendendo a

atividade

de

policiamento tradicional e estabelecendo um relacionamento fundamentado na

confiana e humanizao;
As aes
As aes de um projeto/programa so todas as atividades desenvolvidas para a
obteno dos seus objetivos. a definio das aes que mostra como o programa
funciona na prtica. Assim como os objetivos, as aes devem ser bem definidas,
claras e principalmente mensurveis, porque servem de base para a escolha dos
indicadores de processo.
a partir da definio das aes do projeto/programa que ser desenhada toda a
avaliao de processo. Esta ir verificar se as aes esto ocorrendo da forma
definida, se alguma ao est ocorrendo de forma diferente da esperada, etc.

27
1

Instruo interna da Polcia Militar de Minas Gerais regula a aplicao do PROERD.

Alm disto, a descrio das aes que serve de suporte para futuras expanses
do programa/projeto e que ajudam a explicar os resultados da avaliao de
impacto.
No caso do programa PROERD a instruo interna da PMMG regula todas as etapas
de sua implementao. De forma resumida o programa tem aes que se
subdividem em dois grandes blocos de atuao, um voltado para a seleo e
formao de instrutores e outro para a aplicao do programa nas Escolas, junto
ao pblico alvo.
Custos
Qual o valor do projeto? O custo de um projeto/programa de preveno
criminalidade a medida de todos os valores incorridos para a sua realizao. o
elemento fundamental para a avaliao econmica, pois sem o custo no possvel
calcular o retorno econmico do projeto.
O conceito de custo usado nas avaliaes econmicas difere do conceito de custo
contbil usualmente utilizado pelos gestores dos projetos. O Custo Econmico de
um projeto a soma dos custos contbeis com os custos de oportunidade daqueles
que participaram do projeto.
O que o custo de oportunidade?
O custo de oportunidade o rendimento que se deixa de obter ao realizar uma
determinada escolha. Um exemplo clssico o custo que um jovem incorre em
cursar a universidade. O custo de oportunidade para este jovem ou para sua
famlia o salrio que ele deixa de receber por no trabalhar, mesmo que cursar a

28

universidade seja desejado pela famlia. Ainda que este jovem no trabalhasse, o
fato que ir para a universidade pode significar ter que contratar algum para
fazer os trabalhos domsticos ou cuidar dos irmos mais novos. O salrio perdido
o custo de oportunidade da famlia
Vrios projetos/programas de preveno violncia funcionam em imveis cedidos
pelos parceiros ou imveis prprios da organizao gestora. Assim, no existe um
custo contbil de aluguel do imvel. Entretanto, existe um custo de oportunidade
relacionado propriedade do imvel. Se o proprietrio do imvel onde o projeto
funciona o alugasse para uma empresa ele receberia uma renda. A renda do
aluguel perdida devido cesso do mesmo ao projeto um custo de oportunidade
que deve ser computado no clculo do custo econmico.
Outro exemplo o custo de oportunidade do voluntrio. Vrios projetos funcionam
com o auxlio de profissionais voluntrio. Pensemos em um projeto de preveno
violncia que se beneficia do trabalho voluntrio de um psiquiatra. O custo das
horas que este psiquiatra despende atendendo os participantes do projeto, no
includo no custo contbil. Entretanto, se o psiquiatra ao invs de atender no
projeto estivesse atendendo em seu consultrio ele receberia o valor da hora
trabalhada. Assim, o custo de oportunidade do psiquiatra o valor das horas
trabalhadas que ele deixa de receber por ser voluntrio no projeto. Este custo
deve ser computado no custo econmico do projeto.
Em resumo, ao trabalharmos com avaliao econmica temos que considerar os
custos econmicos do projeto que so os custos contbeis somados aos custos de
oportunidade do projeto.

29

Indicadores
Um indicador o elemento, parmetro ou estatstica que fornece medida da
magnitude de algum fenmeno. o indicador que oferece prova ou sinais de
mudanas ocorridas. No caso dos projetos/programas de preveno violncia o
indicador fornece a medida de algum aspecto importante para o projeto.
Quando efetuamos a avaliao de processo construmos os chamados indicadores
de processo. Este tipo de indicador est intimamente relacionado s aes do
projeto/programa. Os indicadores so medidas das aes realizadas, ou seja,
medem as atividades desenvolvidas.
No caso da avaliao econmica construmos os chamados indicadores de impacto.
Este tipo de indicador se relaciona aos objetivos do programa. So eles que
permitem ao avaliador dizer se o programa alcanou seus objetivos.
Os indicadores de processo e de impacto so fundamentais para conhecer a
realidade do pblico alvo antes de depois do projeto/programa. Por isto precisam
ser escolhidos com bastante cuidado e devem apresentar algumas caractersticas:
i. Fcil de serem entendidos
ii. De fcil construo e baixo custo;
iii. Confiveis
iv. No conflitantes com as informaes disponveis
v. Relacionados diretamente com as aes efetuadas
No exemplo do PROERD, como indicador de processo relacionado s aes de

30

formao de instrutores podemos considerar o nmero de instrutores formados, a

nota dos instrutores na avaliao de aprendizagem, entre outros. Como indicador
de processo relacionado aplicao do programa nas escolas podemos considerar o
nmero de alunos certificados, nmero de escolas atendidas, quantidade de horas
do curso ministradas por instrutor, a confiana dos jovens na polcia, a confiana
do policial nos jovens, a viso dos jovens sobre as drogas, etc.
Como o objetivo principal do programa PROERD instruir crianas e jovens para
evitar drogas e violncia, um possvel indicador de impacto a freqncia do
consumo de drogas lcitas (bebidas alcolicas e cigarro) ou ilcitas dos jovens.
Outro indicador de impacto relacionado a este objetivo pode ser o nmero de
vezes que o aluno foi notificado na escola por brigas.
Um dos objetivos especficos do PROERD melhorar a imagem do policial entre os
jovens e estabelecer confiana mtua. O grau de confiana dos jovens na polcia
pode ser um indicador de impacto relacionado a este objetivo.
No exemplo, fica claro que um mesmo projeto/programa pode ter vrios
indicadores de processo e de impacto. Isto nos permite avali-lo nos seus diversos
aspectos.
Indicadores quantitativos X Indicadores qualitativos
Os indicadores podem ser apresentados em dois formatos, quantitativos e
qualitativos. Um indicador quantitativo aquele que indica quantidade, ou seja,
fornece informaes objetivas, numricas. Tanto os indicadores de processo
quanto de impacto podem ser definidos neste formato. Exemplos desse tipo de

31

indicador so: o nmero de instrutores formados, a nota dos instrutores na

avaliao de aprendizagem, a renda mdia dos alunos, freqncia do consumo de
drogas lcitas, o nmero de vezes o aluno foi notificado na escola por brigas, entre
outros.
Um indicador qualitativo aquele que mede as mudanas nas atitudes e no
comportamento. Eles so em geral obtidos atravs de respostas subjetivas,
textuais. A confiana dos jovens na polcia, a confiana do policial nos jovens e a
viso dos jovens sobre as drogas lcitas so trs exemplos de indicadores
qualitativos. Este formato de indicador mais difcil de ser analisado exigindo
maior destreza do avaliador e utilizado exclusivamente em avaliaes de
processo. A metodologia de avaliao econmica s aplicada em indicadores
quantitativos.
Alguns indicadores qualitativos so passveis de serem transformados em
indicadores quantitativos para utilizao nas avaliaes de impacto. Mas como
fazer esta transformao?
Transformao de indicadores qualitativos em quantitativos
Vejamos um exemplo: no caso do programa PROERD um indicador qualitativo a
confiana dos jovens na polcia. Uma forma de transformar este indicador em
quantitativo criar uma escala numrica para medir o grau de confiana na polcia.
Esta escala seria:
Grau de confiana na polcia:
1- Pouco confiante

32

2-Confiante
3- Muito confiante
Outro indicador qualitativo do PROERD a viso dos jovens sobre as drogas
lcitas. Para transform-lo em indicador quantitativo, tambm criamos uma escala:
Grau de concordncia com consumo de drogas lcitas por jovens
1- No concorda
2- Concorda se o consumo for pequeno (1 vez por ms)
3- Concorda se o consumo for mdio (1 vez por semana)
4- Concorda independente do consumo
A transformao de um indicador qualitativo em quantitativo gera perdas de
informaes preciosas para a avaliao do programa.
No exemplo, quando transformamos a confiana dos jovens na polcia (indicador
qualitativo) no grau de confiana dos jovens na polcia (indicador quantitativo),
enquadramos todos os jovens respondentes em apenas 3 categorias, perdendo a
nuance das respostas de cada um. Assim, um jovem que confia pouco porque na sua
comunidade existe corrupo policial classificado na mesma categoria de um
jovem que confia pouco porque no conhece direito o funcionamento da instituio.
Ambas as respostas do indicaes diferentes para o avaliador se analisadas
qualitativamente, o que se perde na avaliao quantitativa. Por outro lado, somente
com o indicador qualitativo no possvel medir as mudanas na relao de
confiana entre policiais e jovens (impacto do PROERD).

33

Fontes das informaes: de onde viro os dados para construo dos

indicadores?
A

discusso

sobre

indicadores

utilizados

para

realizar

avaliao

de

projetos/programas de preveno violncia, levanta uma importante questo:

Para avaliarmos um projeto/programa precisamos obter informaes sobre os
indicadores de impacto, ou seja, necessitamos de dados.
Onde obter as informaes necessrias?

Cadastro do projeto
O cadastro do projeto a base de dados construda internamente pelos seus
gestores. Devem constar neste cadastro todas as informaes e caractersticas
dos participantes relevantes para a avaliao. Geralmente, os gestores do
projeto/programa

so

negligentes

na

construo

deste

cadastro,

por

considerarem dispendioso em termos de tempo e recurso. Entretanto, a ausncia

de um bom cadastramento dos participantes pode inviabilizar as futuras avaliaes
do

projeto.

Ento,

um

cadastro

planejado,

estruturado

preenchido

adequadamente fundamental para a avaliao do projeto.

Quais as informaes devem estar contidas no Cadastro?
O cadastro deve conter todas as informaes relevantes para posterior avaliao
do projeto. Para saber quais so estas informaes precisamos observar os
objetivos, as aes e os indicadores do projeto. Assim, no existe um modelo nico

34

de cadastro para todos os projetos/programas de preveno criminalidade, pois

cada um tem um conjunto diferente de informaes que devem estar contidas no
cadastramento de acordo com suas peculiaridades. No entanto, todo cadastro deve
ser elaborado com o auxlio de um programa computacional de planilha eletrnica
ou gerenciador de banco de dados, que tm recursos necessrios para o
armazenamento adequado das informaes.
No exemplo do PROERD o cadastro poderia conter trs grandes blocos de
informaes:
1) Informaes sobre os policiais candidatos a instrutores

Nome do policial

Registro na corporao

Idade

Gnero

Escolaridade

Estado Civil

Experincia anterior em atividade de ensino

Se j procurou ajuda de profissional de sade metal. Por qual motivo

Se consome de bebidas alcolica se com qual freqncia

Se fuma e com qual freqncia

Viso do policial sobre os jovens

Viso do policial sobre o consumo de drogas lcitas por jovens

Viso do policial sobre consumo de drogas lcitas por jovens

Viso do policial sobre consumo de drogas ilcitas por jovens

2) Informaes sobre a escola

Nome

35

Nmero de registro no Ministrio da Educao

Endereo

Nome do diretor

Se federal, estadual, municipal ou privada

Nome do policial designado e seu nmero de Registro

3) Informaes sobre as crianas

Nome

Idade

Gnero

Srie

Se o aluno trabalha e nmero de horas

Nmero de componentes na famlia

Escolaridade da me

Se a me trabalha

Se j procurou ajuda de profissional de sade metal. Por qual motivo

Se consome de bebidas alcolica se com qual freqncia

Se fuma e com qual freqncia

Viso do jovem sobre os policiais

Viso do jovem sobre consumo de drogas lcitas

Viso do jovem sobre consumo de drogas ilcitas

Quando vamos implementar um programa devemos assim recorrer aos documentos que
o descrevem e o fundamentam e realizar um diagnstico prvio/pr-teste dos grupos,
indivduos

ou comunidades potencialmente alvos das aes do programa . Esse

36

diagnstico verifica se esses grupos, indivduos ou comunidades cumprem critrios de

elegibilidade para o programa e, visa uma descrio, a mais detalhada possvel desta
clientela, de forma a termos base para identificar e comparar resultados e impactos
do programa aps a sua implementao.

Vejamos assim, um outro exemplo. No Programa Fica Vivo Programa Controle de

Homicdios implementado em Minas Gerais, a teoria utilizada para explicar o
crescimento do nmero de homicdios nas comunidades a Teoria da Desorganizao
Social. Essa abordagem parte do pressuposto que o declnio da influncia dos agentes
tradicionais de controle social nas comunidades urbanas, sobre a juventude, leva a
violncia. Estes agentes so as famlias, igrejas, escolas, a solidariedade tnica e os
valores tradicionais. A teoria destaca a distribuio espacial da criminalidade urbana e
explora a importncia de fatores como status scio-econmico, composio sciodemogrfica, tnica e cultural da comunidade e mobilidade residencial, como fatores
que podem determinar a capacidade de regulao de aes e comportamentos dos
residentes de uma vizinhana, na medida em que condicionam o grau de identificao e
envolvimento dos residentes na vida comunitria (Silveira, 2007).

O Decreto que criou o programa estabelece o seguinte objetivo:

Programa de Controle de Homicdios tem por objetivo reduzir a incidncia de

homicdios dolosos, mediante aes de preveno e represso, nas reas de risco da
Regio Metropolitana de Belo Horizonte e em outros municpios do Estado cujos
indicadores de criminalidade violenta o justifiquem, contando, para sua execuo, com
a ao integrada dos executivos federal, estadual e municipal, do Poder Judicirio, do
Ministrio Pblico Estadual, bem como das organizaes no governamentais

de

atendimento ou assistncia social e da sociedade em geral (Minas Gerais, 2003).

37

O cadastro do programa descreve detalhadamente as suas aes, aponta como

comunidades elegveis, quelas

que apresentam

indicadores preocupantes

de

homicdios (nmeros elevados ou tendncia sustentada ao longo do tempo de

crescimento) e, define como pblico alvo das aes do programa dentro da
comunidade, jovens de 12 a 24 anos.

O programa implementa aes de interveno estratgica (identificao e priso de

homicidas contumazes e policiamento comunitrio dentre outras aes) e de proteo
social (fortalecimento de rede de proteo social, oficinas para jovens, incentivo ao
empoderamento da comunidade formao de grupos de gestores locais, organizao
de eventos comunitrios, incentivo s iniciativas locais etc.). Assim o diagnstico das
reas candidatas a receberem o programa deve conter as seguintes informaes:

Histria e perfil scio demogrfico da comunidade conhecer a histria da

comunidade, sabendo como ela ocupou o territrio, quem foram os primeiros
moradores, como adquiriram ou ocuparam o espao, a existncia de atividades
econmicas no local etc.

O perfil scio- demogrfico dos moradores Perfis de sexo, idade, ocupao e

eventualmente etnia.

Estatsticas de homicdios e tentativas de homicdios se possvel com

definio do perfil de agressores, vtimas, locais onde ocorrem estes eventos,
horas e dias da semana quando mais ocorrem estes eventos. Forma como os
homicdios so cometidos. Detalhes como tipo de arma utilizada, forma de se
aproximar de possveis vtimas, realizao do ato criminoso por um indivduo
isolado ou por pequenos grupos etc.

Estatsticas de outros crimes e violncias que afligem a comunidade, os meses

38

do ano, dias e horas nos quais mais freqente a ocorrncia destes crimes.

Envolvimento de lcool e drogas ilcitas nos episdios de violncia.

Impactos da violncia na comunidade: medida dos prejuzos financeiros

provocados pela violncia, perda de oportunidades de trabalho, medo, reduo
das festas e eventos organizados na comunidade, abandono de moradias,
restries a livre circulao dos moradores pela comunidade, balas perdidas,
expulso de moradores, etc.

Mapeamento dos servios de segurana pblica (Companhias de Polcia Militar

e Delegacias da Polcia Civil) que cobrem a regio e a existncia de programas
especficos (Programa de Resistncia a Drogas PROERD, Programas de
Vizinhos Protegidos, Guarda Escola, Anjos da Escola, existncia de segurana
privada etc.).

Mapeamento as instituies pblicas, organizaes no governamentais,

associaes comunitrias e lideranas informais existentes na comunidade,
Conselhos, potenciais parceiros para a iniciativa.

Mapeamento da existncia de outros programas de preveno violncia

operando no territrio.

Fontes Secundrias de Dados

As fontes secundrias de dados so aquelas em que o pesquisador no foi responsvel
pela coleta da informao. Estes dados so encontrados na administrao pblica, nas
organizaes governamentais e nas instituies de pesquisa. Por exemplo, no caso de
dados sobre violncia, existem vrias bases de dados: informaes resultantes das

39

notificaes ao Sistema nico de Sade SUS, dados das polcias, provenientes de

boletins de ocorrncia e de inquritos policiais; dados do judicirio, provenientes dos
inquritos judiciais; dados das instituies prisionais, pesquisas de vitimizao,
informaes de companhias seguradoras, etc.
As fontes de dados secundrias so bastante teis para conhecermos detalhadamente
algumas caractersticas relevantes sobre a populao alvo. Por exemplo, taxas de
ocorrncia de eventos violentos, caractersticas socioeconmicas, entre outras. Alm
disso, estas bases podem ser usadas para comparar o pblico alvo de um projeto, com
um conjunto de outros indivduos.
No Brasil encontramos uma srie de fontes secundrias de dados (algumas delas so
listadas a seguir). As fontes secundrias de dados sobre violncia tm uma
particularidade que dificulta a sua utilizao nas avaliaes, em geral, so de acesso
restrito. Portanto, a maior parte dessas bases no disponibilizada a qualquer
pesquisador.
Informaes sobre perfil de vtimas, perfil de agressores, modo de ao de
agressores, envolvimento de drogas, os meses do ano, dias e horas nos quais mais
freqente a ocorrncia destes crimes esto contidas em bancos de dados da Polcia
Militar e Polcia Civil. Alm dos dados da polcia, podemos obter informao sobre
violncia nas pesquisas de vitimizao. Trata-se de questionrios aplicados a uma
amostra da populao, voltados para identificao das opinies das pessoas sobre
violncia e criminalidade e para identificar vtimas de crimes. Pesquisas de vitimizao
foram realizadas em algumas cidades brasileiras. Quando disponveis constituem uma
importante fonte de informao.

40

Outras fontes importantes de informaes sobre a violncia na comunidade so os

Conselhos Tutelares, Conselhos de Segurana Pblica, Centros de Referncia em
Assistncia Social CRAS, Unidades de Sade, Delegacias Especializadas (Mulheres,
Crimes Contra a Vida, Idoso, etc.).

Informaes sobre perfil scio demogrfico dos moradores tm como importante

fonte o Instituto Brasileiro de Geografia e Estatstica IBGE. Os censos - realizados
de 10 em 10 anos no pas e as PNAD - Pesquisas Nacionais de Amostra por Domiclio
fornecem informaes valiosas. Nessas bases so disponibilizadas informaes sobre
populao por setor censitrio constantes de idade, sexo, rendimentos, estado civil,
nvel de escolaridade, mobilidade populacional, situao do mercado de trabalho,
trabalho infantil, cobertura previdenciria, sindicalizao, condies de habitao,
posse de bens durveis, etc. Deve-se, contudo ter ateno, pois a constituio dos
bairros e favelas no obedece diviso por setor censitrio, o que exige que um
profissional conhecedor das bases de dados extraia das mesmas os dados que
correspondem a comunidade de interesse. Os dados produzidos pelo IBGE podem ser
adquiridos. Para maiores informaes pode-se consultar a pgina do Instituto na
Internet no endereo http://www.ibge.gov.br. Alguns municpios brasileiros possuem
bases de dados prprias construdas com a finalidade de apoiar a implementao de
polticas municipais. Quase sempre complementam ou atualizam dados produzidos pelo
IBGE.
Informaes sobre a constituio da comunidade, de natureza mais qualitativa podem
ser obtidas junto aos moradores mais antigos, associaes de bairro, agncias pblicas
instaladas h mais tempo na comunidade, como escolas e unidades de sade e mesmo
entidades religiosas.

41

Nos municpios mais organizados, as prefeituras atravs dos seus rgos de

planejamento urbano e cultura costumam possuir informaes organizadas sobre o
surgimento de bairros e comunidades especficas, principalmente, as mais antigas.
Outros informantes chaves, para recuperao deste histrico podem ser vereadores
que representam ou representaram no passado interesses da comunidade. O perfil das
vtimas da violncia e dos agressores tambm pode ser investigado em conversas com
membros da comunidade ou gestores locais de agncias pblicas.

Nos grandes centros urbanos comum que estejam disponveis fontes de informao
de origem acadmica. Independente do foco, estes textos quase sempre apresentam
um histrico da comunidade estudada. Pesquisas em pginas de busca da Internet,
bancos de teses e bibliotecas das maiores universidades e faculdades locais, ajudam a
localizar estes textos.

Eventualmente, possvel obter essas informaes atravs de entrevistas a

moradores, lideranas comunitrias e gestores locais. Pesquisas em bancos digitais da
imprensa diria, tambm podem ajudar. Freqentemente, a cobertura jornalstica
rene informaes de natureza qualitativa sobre violncias e crimes ocorridos em
determinado territrio. A visualizao seriada dessas notcias muitas vezes nos ajuda
a reconstituir de forma mais detalhada a histria de violncia no territrio, e
complementa as estatsticas.
A fase mais difcil deste trabalho ocorre no incio quando temos de identificar os
informantes qualificados. Estratgia bastante utilizada comear pelos gestores

42

pblicos e autoridades religiosas (mais fceis de localizar) e solicitar que apontem

outras lideranas da comunidade, organizaes e entidades que desenvolvem trabalhos
importantes. Esta solicitao deve se repetir a cada nova entrevista at que os nomes
indicados passem a se repetir e ser sempre os mesmos (tcnica conhecida como bola
de neve).
Unidades de sade e escolas podem ser localizadas junto s secretarias municipais e
estaduais de sade e educao. Em alguns locais, a simples busca pgina da Internet
destas secretarias permite identificar as unidades da regio. Secretarias de cultura,
esporte, juventude, desenvolvimento econmico etc., eventualmente possuem cadastro
de entidades culturais, esportivas e associaes comunitrias existentes no territrio.
Esses cadastros podem tambm constituir um ponto de partida para o mapeamento
das entidades atuando no territrio.
Quadro 1- Possveis fontes de informao sobre violncia
Fontes de informao sobre crimes e violncia na comunidade
Fonte
Agncias
Segurana
Pblica

Tipo de informao
de Estatsticas
crimes
e
violncias

Fontes e forma de Obteno

de Solicitao de acesso a bancos de dados

outras de notificao de eventos e pesquisas de
vitimizao

Dados qualitativos

Entrevistas a Delegado (a) , Comandantes

de companhias e batalhes de polcia,
Perfil de vtimas
oficiais responsveis por policiamento
Perfil de agressores comunitrio, ou Policiais responsveis por
Relao
com
a projetos especiais
comunidade
Dificuldades
encontradas
Recursos disponveis

43

Comunidade

Volume de eventos Entrevistas ou grupos

violentos
representantes de:
Crimes mais graves

focais

com

Lojas e pequenas empresas; Seguradoras;

Grau de medo da Firmas de segurana particular e bancos;

violncia e do crime
Hospitais e outros servios de sade;
Preocupaes
da
Escolas; Entidades de apoio vtima de
comunidade etc.
crimes como violncia domstica;
Perfil de vtimas e
Prises; Organizaes de mulheres, grupos
agressores
de jovens, Organizaes cvicas;
Iniciativas
de
Sindicatos;
Entidades
culturais
e
preveno em curso
Esportivas; Entidades religiosas
na comunidade
Entidades caritativas; Conselhos locais
(segurana pblica, sade etc.)
Rdios e jornais comunitrios

Anlise documental:
Matrias de jornais, Consultas a pesquisas
de natureza acadmica, Realizao de
surveys,Fruns da Comunidade
Outras agncias Informaes scio- Anlise documental e entrevista com
governamentais demogrficas e de informantes chaves de:
acesso a servios
Secretarias/departamentos municipais de
essenciais
habitao, empresas concessionrias de
(estatsticas
de servios pblicos.
pronto-socorros,
Empresas/ Fundaes de Processamento
numero de famlias
de dados estatsticos (ex: IBGE)
que
recebem
benefcios
de Bancos de dados de secretrias de sade e
problemas
urbanos,
assistncia
social, educao,
desenvolvimento
econmico.
nmero de crianas
matriculadas
nas
escolas, estatsticas
de
evaso
escolar,,nmero de
detentores de ttulo
de
posse
de
moradias,
percentual
da
populao
com
acesso a saneamento

bsico, coleta de
lixo,
eletricidade
etc., cadastro de
atividades
econmicas)

Tcnicas podem ser utilizadas para a obteno de informaes sobre a

comunidade a ser atendida
O quadro 2 a seguir apresenta as vantagens e desvantagens de cada uma das tcnicas
de obteno de informaes sobre a rea a ser atendida pelo programa.

45

Tcnicas
Questionrios
e
Surveys

Descrio
Envolvem a aplicao de
questionrios
estruturados em amostra
de pessoas da comunidade
ou
em
um
grupo
especfico.
Os
questionrios podem ser
auto-respondveis,
aplicados
por
entrevistadores face a
face, por telefone ou via
postal. Trata-se de meios
teis
de
obter
informaes
sobre
comportamentos,
atitudes, e opinies de
um
grupo
maior
de
pessoas.

Vantagens
permitem
colher
informaes de muitas
pessoas.
- so annimos
- so mais facilmente
analisveis e comparveis
- Permitem avaliar a
reao do pblico a
propostas de polticas
pblicas,
identificar
violncias ocorridos e no
notificados, e fornecem
dados para posterior
avaliao de programas
implementados
- alguns modelos de
questionrios
j
so
disponiveis

Desvantagens
- podem exigir
especialistas em
amostragem e em
metodologia de survey
- so impessoais
- podem ser caros
- refletem opinies,
atitudes e informaes
em um dado ponto no
tempo

Grupos Focais

O propsito dos grupos

focais reunir pequenos
grupos de pessoas (8-12)
para
discutir
tpicos
importantes
para
a
implementao
do
programa. Trata-se de
uma tcnica importante
em situaes nas quais
importante entender o
contexto,
e
o
entendimento
e
profundidade da anlise
importante assim como
novas idias sobre o que
fazer. So importantes
para
explorar
determinados temas antes
de conduzir um survey ou
aplicar questionrio ao
grupo especfico.

- So baratos e podem
ser realizados com mais
rapidez.
Estimulam
os
participantes a exporem
suas idias,
- Ajudam a considerar
outros pontos de vista e
a identificar prioridades.
- Podem oferecer insight
sobre a extenso e fora
das
opinies
e
resistncias a mudanas.
Podem
identificar
potenciais participantes
do programa.

-Os participantes podem

no ser representativos
da populao da qual
provem.
-Pode ser difcil recrutar
o nmero de voluntrios
necessrios para o grupo.
- vulnervel a manipula
Exige
facilitadores
experientes.

46

Entrevistas
com
informantes
chaves

Tem
objetivos Semelhantes aos do grupo
semelhantes
aos
dos focal
grupos focais, exceto que
os
entrevistados
so
escolhidos
especificamente por suas
experincias, envolvimento
e conhecimento dos temas
sobre
os
quais
a
informao necessria
Anlise de
- pode permitir viso mais
Documentos
abrangente e histrica da
situao
- no compromete a
rotina do programa
- as informaes j
existem

- Demandam muito tempo

- so mais difceis de
analisar e comparar
- podem ser caras
- o entrevistar pode
enviesar as respostas dos
entrevistados

Estudo
Caso

- exige muito tempo para

coletar,
organizar
e
descrever as informaes
permite
mais
profundidade
da
informao
do
que
amplitude

de Trata-se de um estudo de - completa descrio dos

um programa, um projeto, recursos processos e
uma
instituio
ou resultados e experincia
entidade.
Objetiva dos usurios no programa
conhecer como e porque - constitui uma forma
so realizadas as aes de adequada de descrever o
uma determinada forma. programa para as pessoas
Procura identificar o que que no o conhecem
existe
de
mais
caracterstico e, essencial
na unidade de estudo
Fonte: Adaptado de Queenland Government, 2002, MacNamara, 2009

Captulo IV:
Avaliao de Processo

Aps a criao e planejamento do programa ou projeto inicia-se a fase de

implementao das aes. Essa fase, ainda que muito bem planejada e fundamentada,

47

constitui uma fase difcil e no raro tumultuada, na medida em que, a vida como ela
apresenta contingncias e imprevistos que podem exigir adaptaes no plano de
trabalho original. Estas contingncias demandam esforos no sentido de compreenso
dos fatos que venham a ocorrer e que exigiro ajustes no plano original.

Assim, a avaliao de processo tem como principal objetivo verificar se os mecanismos

operacionais do programa se desenvolvem de tal forma a permitir que este atinja os
objetivos planejados, ou seja, em que medida o programa implementado segundo o
plano original. Este tipo de avaliao oferece informaes teis a gestores e
financiadores no caso dos programas novos. No caso dos programas j estabelecidos,
responde questes sobre a qualidade dos servios oferecidos, como est organizado
de fato e o nvel de sucesso com que est atingindo a populao alvo. O quadro 3
resume os principais usos da avaliao de processo

Quadro 3 Usos da Avaliao de Processo

Usos da Avaliao de Processo

Aperfeioamento
Processo

do mais freqentemente realizada no meio do processo de

implementao.
processo

Permite aos gestores fazerem

tempo,

quando

detectados

ajustes

problemas

no
de

implementao que podem comprometer os resultados.

Esclarecer a caixa preta Pode esclarecer os achados da avaliao de impacto fornecendo
da avaliao de impacto

informaes sobre os mecanismos operacionais do programa, ou

seja, permite identificar os ingredientes do programa que levam
aos resultados.

48

Identificao das Melhores Quando a avaliao de processo realizada em um programa que

Prticas

opera em diferentes contextos (cidades e regies), as melhores

prticas podem ser identificadas atravs da comparao e
replicadas em outras iniciativas.

Anlise

do

processo

administrao pblica

de Se a avaliao de processo realizada de forma sistemtica, ao

longo do tempo, as informaes obtidas podem ser utilizadas para
identificar os gargalos e reas que necessitam de melhorias na
ao governamental.

Fonte: Baseado em World Bank, 2009

Em geral, a avaliao de processo demandada pela prpria equipe ou pelos

financiadores. Pode ser realizada por pessoa ou equipe do prprio programa,
eventualmente com ajuda de um especialista ou, por avaliadores externos. Entretanto,
na maioria das vezes conduzida por especialistas, como um projeto separado, que
pode envolver tcnicos do programa, mas no est integrada na sua rotina diria. Isto
particularmente recomendado quando estamos diante de programas grandes e
complexos (Rossi et al., 2004, World Bank ,2009).

A avaliao de Processos pode utilizar metodologias quantitativas e qualitativas. De

uma forma geral este tipo de avaliao envolve:
Detalhada descrio de como os programas ou projetos esto operando de
fato, em comparao aos protocolos que descrevem como eles deveriam estar
operando segundo o desenho original.
Medidas da eficcia e da eficincia das operaes.
Recomendaes para melhorar o processo.

49

Implementao da avaliao de processo

A execuo deste tipo de avaliao exige trabalhos de campo e de bancada. s vezes
uma boa avaliao de processo pode ser lenta e cara em decorrncia do trabalho de
campo, principalmente se o projeto ou programa implementado em diferentes locais
(World Bank, 2009).

Segundo, Rossi et al. (2004) A avaliao de processo deve responder as seguintes

questes:
Quantas pessoas esto recebendo os servios?
Quais os critrios que o programa utiliza para definir a sua clientela?
Como os usurios tm acesso aos servios do programa?
Os usurios dos servios fazem parte da populao alvo do programa?
Os usurios do servio esto recebendo a quantidade e o tipo de servio na
qualidade adequada?
Existem membros da populao alvo que no esto recebendo o servio ou
subgrupos dentro da populao alvo que esto sub-representados entre aqueles
que recebem o servio.
Os membros da populao alvo conhecem o programa ou projeto?
As atividades necessrias a oferta dos servios esto sendo executadas
adequadamente?
A equipe executora tem o tamanho e as competncias necessrias para
execuo das atividades previstas?
O programa est bem organizado. A equipe executora interage bem?
Os recursos disponveis incluindo equipamentos e fontes de custeio so

50

adequados para manter as atividades do programa?

O programa est em conformidade com os requisitos impostos pelas agncias
financiadoras,

agncias

governamentais,

conselhos

gestores,

conselhos

profissionais, legislao etc.?

Existem diferenas de performance entre locais diferentes que executam o
mesmo programa?
Os usurios/clientes esto satisfeitos com os servios recebidos?
O que usurios consideram ser o ponto forte do programa?
O que a equipe do programa considera ser seu ponto forte?
O que os usurios consideram um ponto frgil do programa?
O que os trabalhadores consideram um ponto frgil do programa?
O que a equipe do programa recomenda para melhorar o programa?
O que os usurios recomendam para melhorar o programa?
Existe algum tipo de acompanhamento (follow up) dos usurios aps eles sarem
do programa?

Como responder a estas questes?

Atravs da realizao de entrevistas com informantes chaves, grupos focais, surveys,
anlise de documentos gerenciais, anlise de notcias de jornal.

De qualquer forma, como pode ser apreendido das questes acima colocadas, a
avaliao de processo implica no uso de expresses como apropriado, adequado,
razovel, satisfatrio, pretendido etc. Portanto, trata-se de uma modalidade que
implica em julgamento. Para tal necessrio ao avaliador dispor de critrios e padres

51

defensveis nos quais ele possa basear o seu julgamento. A inexistncia de definio
destes critrios torna o trabalho do avaliador muito difcil, exigindo que o mesmo
busque na teoria que fundamenta o programa pistas do que o programa deveria estar
fazendo e do que constitui um desempenho adequado.

Os

critrios

mais

comumente

aplicados

nestas

situaes

so

os

padres

administrativos ou objetivos que so estabelecidos pelos administradores. Estes

podem ser estabelecidos com base na experincia pregressa, na performance de
programas semelhantes ou, atravs do julgamento profissional de conselheiros e
gestores. Se bem justificados, estes padres podem constituir parmetros frente os
quais ser avaliado o desempenho do programa. importante ressaltar que sem
critrios claros para nortearem a avaliao, processos ruins podem ser julgados
adequados. Da mesma forma procedimentos muito flexveis de avaliao podem
considerar todos os processos aceitveis, o que torna a avaliao intil (Rossi et al,
2004).

Outra forma de avaliao de processo o monitoramento contnuo de indicadores de

processo escolhidos para o programa. O monitoramento constitui uma ferramenta til
que facilita a gesto do programa atravs da informao regular sobre como o
programa est executando suas funes crticas. Este tipo de retorno possibilita aos
gestores adotar medidas de ajuste quando surgem problemas e, manter os
interessados (stakeholders) permanentemente informados sobre o desempenho do
programa. Assim, o monitoramento deve estar integrado s atividades rotineiras do

52

sistema de informao do programa que compila, registra e sumariza periodicamente

seus dados. O monitoramento deve constituir uma ferramenta de gerenciamento
aplicada pelos gestores do programa durante toda a sua execuo (Cano, 2008; World
Bank, 2009; Carvalho, 2003; Rossi et al, 2004; World Bank, 2003).

Captulo V2
Avaliao Econmica
A avaliao econmica de um projeto/programa de preveno violncia composta
de duas etapas, avaliao de impacto e avaliao do retorno econmico. Estas duas
etapas so complementares, sendo que a avaliao de retorno econmico realizada a
partir dos resultados da avaliao de impacto.

O que avaliao de impacto?

De forma intuitiva, a avaliao de impacto mede as mudanas que o programa gera na
vida dos beneficirios. Isto equivale a dizer que a avaliao de impacto mensura o
efeito (positivo ou negativo, intencional ou no intencional), que o programa causa no
53

A apresentao deste captulo est baseada na estrutura analtica do Manual.de Avaliao Econmica de
Projetos Socais da Fundao Ita Social, elaborada por Schor e Afonso (2005), adaptada para a avaliao de
programas de preveno e combate violncia.

pblico-alvo escolhido. Assim, a avaliao de impacto de programa de preveno

violncia pretende compreender em que medida o programa atinge o pblico alvo e, a
magnitude dos seus efeitos sobre a violncia. Alm disto, as metodologias de avaliao
de impacto permitem a diferenciao da magnitude do impacto ao longo do tempo e,
entre os diferentes grupos ou regies alvos, bem como, a mensurao de resultados
no planejados inicialmente.
Para efetuarmos uma avaliao de impacto precisamos identificar relaes causais
entre as aes do programa e os efeitos obtidos. O estabelecimento destas relaes
feito de forma a garantir que aqueles efeitos so de fato causados pelo programa e
no por algum fator exgeno. Em outras palavras, precisamos verificar se as mudanas
nos indicadores de impacto so de fato causadas pelo programa ou se ocorreriam
mesmo sem a implementao do mesmo. Em suma, as metodologias empregadas para a
avaliao de impacto procuram garantir a relao causal entre aes do programa e os
resultados observados e estimar sua magnitude.
Pensemos no exemplo do PROERD, citado anteriormente. Para atingir os objetivos, as
crianas e jovens participantes freqentam aulas ministradas por policiais nas escolas.
Desejamos saber o resultado do programa nos participantes. Por exemplo, podemos
escolher como indicador de impacto a freqncia do consumo de drogas. Como
mensurar (avaliar) o efeito do programa sobre este indicador? Como isolar os efeitos
de um fator simultneo, por exemplo, aumento da penalidade neste tipo de infrao? A
resposta a estas questes tema desta seo.

O que avaliao de retorno econmico?

A avaliao de retorno econmico pretende comparar a magnitude dos resultados

54

obtidos pela avaliao de impacto com o custo incorrido para sua obteno. Ou seja,
pretende confrontar o impacto do programa com o seu custo. Alm disto, quando
efetuada em mais de um programa, os parmetros estimados servem de comparao
entre eles.
Este tipo de avaliao importante porque mesmo que um programa tenha obtido
impacto positivo (estimado atravs da avaliao de impacto), pode ser que o custo para
a sua obteno tenha sido to alto que inviabilize sua implementao. Ou seja, o
programa funciona, mas no compensa. Muitas vezes temos programas que exibem um
impacto de grande magnitude, mas que quando confrontados com seu custo se
apresentam pouco viveis, ou seja, tm custo muito alto em relao aos benefcios que
geram. A avaliao de retorno econmico pretende responder as seguintes perguntas:
O

benefcio

gerado pelo

projeto/programa

vivel

projeto/programa
economicamente?

maior
Em

que

quais

seu

custo?

Este

projetos/programas

alternativos devemos investir?

Avaliao de Impacto
A avaliao de impacto mensura as mudanas na vida dos indivduos provocadas pelo
programa. No caso de programas de preveno violncia, a avaliao de impacto
objetiva, principalmente, determinar quantos atos violentos foram prevenidos. Alm
disto, como geralmente os programas de preveno violncia promovem melhorias na
qualidade de vida dos participantes, a avaliao de impacto pode considerar outros
efeitos.
Consideremos um exemplo: o programa Fica Vivo, implementado em Minas Gerais, visa

55

a reduo dos homicdios em locais de grande incidncia, geralmente favelas. Portanto,

seu pblico-alvo so os locais onde foi implementado. A avaliao de impacto desse
Programa deve tentar mensurar, principalmente se houve reduo no nmero de
homicdios, pois este o seu principal objetivo. Alm disto, podemos considerar outros
efeitos do programa como o aumento da empregabilidade dos jovens participantes, o
desenvolvimento econmico do local, o grau de confiana da populao na polcia, etc.
Dois conceitos so inerentes avaliao de impacto: mensurao e causalidade.
Entendemos por mensurao o ato de medir ou mensurar algo. Assim, a avaliao de
impacto mede a magnitude da mudana provocada pelo programa, e no somente
determina se houve mudana. Para podermos medir a magnitude da mudana provocada
pelo programa, temos que escolher indicadores que representam as mudanas, que o
programa procura criar, ou seja, indicadores diretamente relacionados aos objetivos
do programa. Portanto, espera-se que estes indicadores tenham sido afetados pelo
programa. Como discutimos anteriormente neste Manual este tipo de indicador
denominado indicador de impacto.
Considere o exemplo do programa Fica Vivo para a reduo dos homicdios.
Gostaramos de saber se o programa reduziu em 10%, 20% ou 50% o nmero de
homicdios nos locais que o receberam. Ter uma medida objetiva (numrica) da
reduo da violncia e criminalidade bastante til para os gestores do programa seja
na comparao com outros programas seja para verificar se a magnitude da diminuio
dos homicdios satisfatria.

56

O conceito de causalidade diz respeito relao de causa e efeito. A avaliao de

impacto alm de mensurar a magnitude das mudanas dos indicadores escolhidos,
procura determinar se a mudana foi causada pelo programa. Intuitivamente,
determinar causalidade equivale a definir se foi a participao no programa que
provocou a mudana no indicador de impacto3.
No exemplo do programa Fica Vivo, gostaramos de comparar o nmero de homicdios
dos locais que receberam o programa com o nmero de homicdios desses locais caso
eles no tivessem recebido o programa. Assim, teramos certeza de que a reduo do
nmero de homicdios foi devido ao programa. Se estivssemos em um conto de fadas
olharamos no interior de uma bola de cristal e veramos como estariam os
participantes se eles no tivessem participado do programa. No exemplo citado,
verificaramos o que teria acontecido aos locais que receberam o Fica Vivo, caso no o
tivessem recebido. Obviamente, isto no possvel.

Ento, como avaliar o impacto do programa?

A resposta mais usual a esta pergunta que devemos comparar o indicador de impacto
dos participantes do programa antes e depois de passarem por ele, ou seja, ver a
evoluo do indicador de impacto no tempo. Entretanto, isto no suficiente. Por
exemplo, se compararmos a evoluo do nmero de homicdios dos locais que
receberam o Fica Vivo e descobrirmos que este nmero diminuiu, no poderemos
atribuir ao programa esta reduo. Outros fatores podem ter causado a diminuio
dos homicdios, por exemplo, a poltica de entrega voluntria de armas ou a remoo
de famlias das favelas atravs de um programa habitacional. Nesses casos os
57

Ravallion (2001, 2005) discute os problemas inerentes s avaliao de impacto de

programas e polticas pblicas, em especial programas de reduo de pobreza.

homicdios de todas as favelas do municpio devem ter reduzido. Se mensurssemos o

impacto observando apenas os locais que participaram do programa no poderamos
garantir causalidade, que um conceito inerente avaliao de impacto.
A maneira correta de avaliar o impacto de um programa comparar o grupo dos
participantes com um grupo de no participantes semelhantes. O grupo de no
participantes representa a situao na qual os participantes estariam, caso no
tivessem recebido o programa. Na linguagem da literatura de avaliao de impacto, o
que queremos encontrar o contrafactual dos tratados. Como isto no possvel,
resolvemos o problema atravs da construo do grupo controle.
O grupo controle a reunio de no tratados (no participantes) semelhantes aos
tratados. Portanto, o grupo controle formado por no participantes que possuem
caractersticas semelhantes aos participantes. Observar os no participantes equivale
a olhar a bola de cristal dos contos de fadas. No exemplo do Fica Vivo, o grupo
controle deve ser formado por locais que no participaram do programa e que sejam
parecidos com os que participaram (mesmo nvel socioeconmico, estrutura etria,
qualidade das moradias, etc).
A seleo do grupo controle que parece conceitualmente simples, torna-se um dos
maiores problemas para os avaliadores na prtica. Nem sempre possvel encontrar
um bom grupo controle, pois pode ser difcil selecionar no tratados com
caractersticas semelhantes a dos tratados. Existem dois motivos que dificultam a
construo do grupo controle:
i) Auto-seleo: acontece auto-seleo quando os participantes do programa escolhem
participar. Isto significa que estas pessoas so diferentes das que no escolhem

58

participar. Por exemplo, pense num programa para reintegrao social de egressos do
sistema prisional com objetivo de prevenir que estes cometam novos crimes. Alguns
egressos optam por participar (tratados) e outros escolhem no participar (controle).
O grupo tratado deve ter caractersticas diferentes do grupo no tratado. Algumas
destas caractersticas podem ser observveis (sexo, idade, escolaridade, renda
familiar, religio, etc) e outras so no observveis (moralidade, ndole, propenso ao
trabalho, etc.). Se compararmos a taxa de reincidncia criminal desses dois grupos e
encontramos uma menor taxa para os tratados, no poderemos atribuir esta diferena
diretamente ao programa. Pode ser que o grupo tratado seja mais religioso ou mais
propenso ao trabalho do que o grupo no tratado e so estas diferenas que levaram
menor na taxa de reincidncia observada no grupo tratado.

ii)Seleo: muitas vezes a participao nos programas de preveno criminalidade

involuntria, ou seja, imposta a participao. Neste caso no acontece auto-seleo.
Entretanto, se a seleo dos tratados feita com base em um critrio de
elegibilidade pode ser que o grupo tratado difira do grupo no tratado justamente por
ser um pblico alvo especfico. Por exemplo, no programa Fica Vivo para reduo dos
homicdios, os locais participantes so escolhidos pelos gestores pblicos de acordo
com os critrios de alta taxa de homicdios e vulnerabilidade social. Outro exemplo
so os programas de preveno terciria (para indivduos que j cometeram delitos),
como tratamento a usurios de drogas. A participao neste tipo de programa
geralmente imposta pelo judicirio. As pessoas tratadas so diferentes do resto da
sociedade por serem todas usurias de drogas.

59

At aqui aprendemos que para avaliar o impacto de um programa necessrio

mensurar as mudanas no indicador de impacto e, garantir que estas mudanas foram
causadas pelo programa. Determinar a causalidade um dos maiores problemas para
os avaliadores, pois exige a construo do grupo controle, o que muitas vezes difcil.
Uma forma de construir um bom grupo controle atravs da utilizao de
experimentos controlados e aleatrios. Na rea de sade este tipo de experimento
bastante utilizado. Considere o teste de um novo tipo de medicamento, por exemplo,
um antidepressivo. Para fazer este teste escolhido um grupo de pacientes com
depresso. Os membros deste grupo se diferem em vrios aspectos. O que o
pesquisador faz dividir este grupo em dois subgrupos de forma aleatria (por
sorteio), grupos A e B. O grupo A recebe o antidepressivo, enquanto o grupo B recebe
plulas de farinha. Nenhum dos elementos dos grupos sabe se o remdio que
receberam verdadeiro ou de farinha. Ao final do perodo de tratamento verifica-se
a diferena na depresso dos dois grupos. Se o grupo que tomou o antidepressivo
apresenta menor depresso, atribui-se ao remdio o efeito de cura.
Mas porque usar experimento controlado? Porque no comparar dois grupos quaisquer?
Considere mais um exemplo. Um estudo busca identificar a relao entre depresso e
dependncia qumica. Se verificarmos que os dependentes qumicos tendem a ter mais
depresso que os no dependentes, no podemos concluir que a dependncia qumica
causa depresso. Existem outros fatores que fazem com que o dependente qumico
seja diferente do resto da populao e que podem estar levando depresso, como o
isolamento social, sedentarismo, hbitos de vida cotidiana, etc. Portanto, existem
diferenas entre os dois grupos que impedem a comparao direta. Para o pesquisador
poder estudar o efeito da dependncia qumica sobre a depresso, ele deve selecionar

60

um grupo de dependentes e no dependentes que tenham hbitos semelhantes, de

forma que a nica diferena entre ambos o uso das drogas. Neste caso, a diferena
na incidncia de depresso entre os dois grupos pode ser considerada efeito apenas
da dependncia qumica.
Dos exemplos acima conclumos que precisamos utilizar o experimento controlado para
determinar a causalidade entre dois fatores. Entretanto, em cincias sociais e
especificamente

na

preveno

da

violncia,

geralmente

no

podemos

fazer

experimentos controlados. No temos como ter absoluta certeza que as mudanas no

indicador de impacto so resultados do programa. Provavelmente muitas mudanas
ocorreram no perodo de vigncia do programa, sem ter relao com ele, e afetaram o
indicador de impacto.
Ento, como isolar o impacto do programa do impacto dessas outras mudanas?
Existem vrias tcnicas estatsticas para mensurar o impacto do programa quando no
temos experimento controlado. Entretanto, para que o impacto obtido por estes
mtodos seja confivel o avaliador continua precisando construir bons grupos de
controle.
Para a compreenso dos textos a seguir necessrio o conhecimento de alguns
conceitos bsicos de estatstica que esto apresentados no Anexo.

Mtodos de estimao do impacto de programas de preveno violncia

Neste Manual aprenderemos trs ferramentas de estimao do impacto de um
programa de preveno violncia. A escolha de qual ferramenta utilizar depende das
61

caractersticas das informaes disponveis. Na seo anterior, vimos que o principal

problema de avaliao econmica que no somos capazes de observar como os
tratados (participantes do programa) estariam se no tivessem recebido o tratamento
(programa). Apenas os observamos com o tratamento. Se pudssemos observar os
tratados com e, sem o tratamento ao mesmo tempo o clculo do impacto do programa
seria muito simples. Bastaria comparar o indicador de impacto dos tratados nas duas
situaes (com e sem o programa). Para representar como os tratados estariam caso
no tivessem sido tratados construmos os chamados grupos de controle.
Quando garantimos que o grupo controle uma representao, quase perfeita do
grupo tratado, a estimao do impacto do programa realizada pela simples
Comparao Estatstica entre a Mdia do indicador de impacto de ambos os grupos.
Este caso acontece em um experimento aleatrio. Quando o grupo controle similar
ao grupo tratado, mas no podemos garantir que, a representao perfeita do grupo
tratado, a estimao do impacto realizada utilizando o instrumental de Regresso
Linear. Neste caso temos um experimento no aleatrio. Por fim, quando dispomos de
informaes sobre os grupos de tratamento e controle antes e depois do programa
estimamos o impacto atravs do instrumental denominado Diferenas em Diferenas.
Comparao estatstica entre mdias
Este instrumental utilizado quando estamos trabalhando com o mtodo experimental
ou de seleo aleatria. O mtodo experimental ou de seleo aleatria bastante
simples, mas para sua utilizao necessrio que a avaliao seja contemplada antes
do incio do programa. O primeiro passo cadastrar todos os elementos com
caractersticas esperadas para o pblico-alvo e que desejam participar. Assim,
teremos uma lista de inscritos. O segundo passo atravs de sorteio selecionar os
62

elementos que participaro do programa. Desta forma, teremos o grupo de tratamento

(os sorteados) e o grupo de controle (os que no foram sorteados). O terceiro passo
realizado um tempo aps o programa ter sido implementado. Ele consiste em comparar
estatisticamente a mdia do indicador de impacto entre os grupos de tratamento e
controle4. O impacto do programa obtido pela diferena da mdia do indicador de
impacto entre os dois grupos.
No caso do PROERD, para empregarmos o mtodo experimental ou aleatrio de
avaliao de impacto deveramos:

Primeiro passo: verificar entre as crianas e jovens matriculadas nas

escolas onde o programa ser implantado quais querem participar. Elaborar
uma lista com seus nomes.

Segundo passo: na lista elaborada sortear as que participaro do PROERD

(grupo de tratamento). Formar o grupo de controle (crianas e jovens que
no participaro do programa).

Terceiro passo: aps as crianas do grupo de tratamento participarem do

programa, comparamos a mdia do indicador de impacto escolhido do grupo
de tratamento e controle, por exemplo, consumo de drogas ilcitas. Se na
mdia, o consumo de drogas ilcitas dos tratados estatisticamente menor
do que o consumo de drogas ilcitas do controle, dizemos que o programa
teve impacto na preveno do consumo s drogas.

No exemplo do Fica Vivo, os passos para aplicar o mtodo experimental ou aleatrio

so:

63

Em geral os programas devem ser avaliados com no mnimo um ano de funcionamento, para que seja dado
tempo suficiente para apresentarem resultados.

Primeiro passo: listar todos locais com alta taxa de homicdios e

vulnerabilidade

social

(critrios

de

elegibilidade

do

programa;

caractersticas do pblico alvo). Como o programa desenhado para locais

no faz sentido em abrir inscries.

Segundo passo: dentre os locais listados sortear os que recebero o

programa, formando um grupo de tratamento e um de controle.

Terceiro passo: aps os locais terem recebido o programa (tratamento),

comparamos a mdia do indicador de impacto escolhido entre os grupos, por
exemplo, reduo do nmero de homicdios. Se na mdia, o nmero de
homicdios dos locais que receberam o programa (grupo tratado)
estatisticamente menor do que o nmero de homicdios dos locais que no
receberam o programa (grupo controle), dizemos que o programa teve
impacto na preveno dos homicdios.

Um experimento aleatrio aquele no qual acontece o sorteio dos participantes,

sendo o grupo controle constitudo de elementos que se inscreveram para participar
do programa e no foram sorteados.

Por que o sorteio importante?

Atravs do sorteio constitumos aleatoriamente o grupo tratado e controle. Isto nos
garante que, na mdia, a nica diferena entre os grupos a participao no programa,
pois ambos so formados por elementos que satisfazem as condies exigidas para
participao e desejam participar. Assim, o sorteio a forma de gerar um bom grupo
de controle. Note que o sorteio deve ser realizado na etapa de formulao do

64

programa, o que muito diferente de depois do programa realizado, sortear entre os

participantes uma amostra para constituir o grupo controle.

Como efetuar o teste de diferena de mdias na prtica?

Para efetuar o teste de diferenas precisamos montar um banco de dados com
informaes individuais sobre o indicador de impacto para todos os elementos do
grupo de tratamento e controle. A tabela I apresenta um banco de dados de um
programa para a preveno aos homicdios. Neste banco de dados est contida a
varivel ID que uma numerao contnua identificando os locais. A varivel
Nmero de Homicdios Antes que o nmero absoluto de homicdios ocorridos no
ltimo ano antes do programa nestes locais, a varivel Nmero de Homicdios Depois
que o nmero absoluto de homicdios ocorridos no ltimo ano depois do programa
nestes locais e a varivel Participao, que identifica quais locais participaram do
programa (grupo tratado) e quais no participaram (grupo controle).
Tabela I: Banco de dados anual de um programa de preveno de homicdios fictcio

A partir destes dados calculamos a mdia do indicador de impacto para cada um dos
grupos separadamente. Em seguida, calculamos um intervalo de confiana a 95% para
65

uma delas, por exemplo, para o grupo controle. A criao do intervalo de confiana
est baseada na hiptese de que a mdia da varivel (indicador de impacto) tem
distribuio normal. A Tabela II a seguir apresenta estes resultados para o programa
fictcio.
Tabela II: Mdia e intervalo de confiana para o programa fictcio

Tratado
Controle

Mdia dos Intervalo de confiana

homicdios Lim. Inferior
Lim.Superior
6
4,1
8,7
11
6,4
15,6

Para testar se as mdias so estatisticamente diferentes, verificamos se a mdia

calculada para o grupo tratado est dentro do intervalo de confiana calculado para o
grupo controle ou vise versa:
i)

Caso afirmativo, as duas mdias no so estatisticamente diferentes,

significando que o programa no teve impacto.

ii)

Caso negativo, as mdias so estatisticamente diferentes, significando que

o programa teve impacto.

Se as mdias so estatisticamente diferentes, como no exemplo, a magnitude do

impacto obtida pela diferena entre elas. O impacto do programa fictcio de
reduo dos homicdios de -5 homicdios. Isto significa que os locais tratados,
em mdia, apresentam aps o tratamento 5 homicdios a menos do que os locais
controles, indicando que o programa de fato promove a reduo dos homicdios.

66

Se o experimento aleatrio, para estimar o impacto do programa, basta

comparar estatisticamente a mdia do indicador de impacto do grupo tratado e do
controle. Para isto construmos um intervalo de confiana da mdia de um dos
grupos, por exemplo, o grupo tratado. A formula para a construo deste intervalo
a 95% de confiana a seguinte:

sT
X T - 1,96 *

; X + 1,96 * sT

T
n

Onde X T a mdia do indicador de impacto para o grupo tratado

st o desvio padro do indicador de impacto para o grupo tratado
n o nmero de elementos no grupo tratado
Depois de calcular o valor do intervalo de confiana verificamos se, a mdia do
indicador de impacto do outro grupo est contida neste intervalo. Como regra
temos:

Se a mdia do grupo controle est contida no intervalo de confiana do

grupo tratado, com 95% de probabilidade, as mdias so iguais e, portanto,
o programa no teve impacto.

Se a mdia do grupo controle no est contida no intervalo de confiana do grupo

tratado, com 95% de probabilidade, as mdias no so iguais e, portanto, o programa
teve impacto.

Regresso linear
Este mtodo aplicado quando a seleo dos participantes no aleatria ou no
67

experimental. A seleo no experimental ou no aleatria o caso mais comum na

avaliao de programas sociais, especificamente em projetos de preveno violncia.
Na maioria destes programas a seleo dos participantes no ocorre aleatoriamente,
porque outros critrios so utilizados para selecionar os participantes dentre o
pblico alvo. Por exemplo, os gestores de um programa para preveno aos homicdios
podem, entre o pblico alvo, escolher os locais de maior incidncia criminal, ou os
gestores de um programa para preveno do uso de drogas entre jovens podem, entre
os jovens inscritos, escolher aqueles que consideram mais vulnerveis.
A implicao da seleo no aleatria para a avaliao de impacto que no podemos
considerar o grupo de no tratados como controle natural para os tratados. No caso
da seleo aleatria, os no tratados constituem naturalmente o grupo de controle,
pois na mdia, a nica diferena para o grupo tratado a participao no programa
(ambos so formados por elementos que satisfazem as condies exigidas para
participao e desejam participar). Nesse sentido, retornamos ao principal problema
de avaliao de impacto, ou seja, no temos um grupo de elementos que represente
como os tratados estariam se no tivesse recebido o tratamento.
Quando a seleo no aleatria o grupo controle no representa perfeitamente o
grupo tratado

Como avaliar o impacto quando temos um grupo controle com caractersticas

diferentes do grupo de tratamento?
O primeiro passo determinar quais so as caractersticas que diferem nos dois
grupos e que afetam o indicador de impacto. No exemplo do programa para reduo

68

dos homicdios podemos citar proporo de jovens na populao como caracterstica

que pode ser diferente entre o grupo tratado e controle e, que afeta o nmero de
homicdios (indicador de impacto). A proporo de jovens deve estar relacionada ao
maior nmero de homicdios, pois esta faixa etria tende a ser mais vtima e autora
deste tipo de crime. No exemplo do programa para preveno do uso de drogas entre
jovens, a vulnerabilidade social pode ser levantada como uma caracterstica que afeta
o indicador de impacto (uso de drogas) e que diferente entre os dois grupos. Como
foram selecionados jovens com maior vulnerabilidade social para participar, ento essa
caracterstica diferente entre os grupos de tratamento e controle. Alm disto,
provavelmente a vulnerabilidade social est relacionada ao uso de drogas. Assim,
grupos de jovens socialmente mais vulnerveis , em mdia, devem ter maior incidncia
de uso de drogas. Nestes exemplos citamos apenas uma caracterstica para cada
programa, entretanto o avaliador deve listar todas as caractersticas possveis.
Depois de listar e coletar as informaes sobre as caractersticas que afetam o
indicador de impacto e, que so diferentes entre os grupos de tratamento e controle,
passamos ao segundo passo para avaliar programas de preveno violncia quando a
seleo dos participantes foi no aleatria: a estimao da regresso.
O mtodo de estimao regresso uma tcnica economtrica. A econometria a
principal ferramenta quantitativa das cincias econmicas e sociais. Atravs da
combinao de funes matemticas e mtodos estatsticos, se prope a estabelecer
relaes numricas entre objetos de estudos. Neste Manual trabalharemos apenas
com uma tcnica de regresso, a chamada de regresso linear.
Utilizamos a regresso linear para estabelecer a relao entre o indicador de impacto

69

e a participao no programa. Ou seja, atravs esta tcnica que verificamos se a

participao no programa causa uma melhoria no indicador de impacto. As
caractersticas levantadas no primeiro passo so utilizadas para isolar o impacto do
programa da influncia de outras caractersticas, tornando o resultado mais confivel.
No exemplo do programa para a preveno do homicdio onde o indicador de impacto
o nmero de homicdio e, o pblico alvo so os locais de alta incidncia deste crime e
baixa vulnerabilidade social, estimamos a seguinte regresso linear:
Nmero de homicdio= +1 participao +2 nmero de habitantes +3 proporo de
jovens na populao +4 renda mdia + 5 escolaridade mdia +
A varivel que denominamos participao assume valor 0 (zero) quando o local no
participou do programa e 1 (um) quando o local participou do programa. O coeficiente
estimado 1 indica o impacto mdio que a participao no programa tem sobre o
nmero de homicdios do local livre do efeito das outras variveis includas na equao.
Se 1 estatisticamente diferente de zero o programa teve impacto sobre o nmero
de homicdio.
O coeficiente estimado determina o nmero de homicdios mdio do local caso ele
receba zero em todas as outras variveis da equao. Os demais coeficientes que
multiplicam as outras variveis (2, 3, 4, 5) medem a associao entre cada uma
delas e o nmero de homicdios, sendo includas na equao com o objetivo de livrar o
impacto do programa das suas influncias. O coeficiente denominado de termo de
erro e se refere parte da variao do nmero de homicdio que no conseguimos
determinar.

70

A regresso linear determina a causalidade entre o programa e o indicador de

impacto, isolando a influncia de outras caractersticas que diferem entre os
grupos. Para isto estimamos a seguinte equao:
Y = a + b1 x Participao + b2 x Caracterstica1 + b3 x Caracterstica2 + e
Onde: Y o indicador de impacto do programa
Participao uma varivel binria que assume valor 1 (um) se o elemento
participou do programa e 0 (zero) se no participou
Caracterstica

1 e 2

so variveis que influenciam o indicador de impacto e

que so diferentes entre os grupos de tratamento e de controle

a, b1, b 2, b3 so os coeficientes estimados e
e o termo de erro
A regra para ver se o programa teve impacto nos tratados :

Se o coeficiente b1 positivo e o valor 0 no estiver contido no seu

intervalo de confiana, o programa gerou aumento no indicador de impacto

Se o coeficiente b1 negativo e o valor 0 no estiver contido no seu

intervalo de confiana, o programa gerou reduo do indicador de impacto

Se o intervalo de confiana do coeficiente b 1 contiver o valor 0 (zero), o programa

no gera impacto.

71

Mas como estimar a regresso linear e obter os valores dos coeficientes?

Vrios programas computacionais estimam a ferramenta de regresso linear, entre
eles o MS-Excel. A estimao da regresso nos fornece os valores dos coeficientes (,
1, 2, 3, 4, 5). O Anexo explica mais detalhadamente o mtodo de regresso linear.
Como estamos lidando com amostras, os coeficientes estimados pela regresso linear
(, 1, 2, 3, 4, 5) so variveis aleatrias. Por isso, os programas computacionais
calculam os valores e o intervalo de confiana para cada um destes coeficientes. O
teste de hiptese neste caso, tem como hiptese nula que o coeficiente diferente
de zero. O intervalo de confiana construdo para cada um dos coeficientes nos
fornecer, no nvel de significncia escolhido, se o verdadeiro valor do coeficiente
pode ser zero. Na prtica, se no intervalo de confiana estiver contido o zero, ento
no podemos dizer que o coeficiente estimado diferente de zero.
Por exemplo, se o coeficiente estimado para a varivel participao (1) for negativo,
mas o zero estiver no intervalo de confiana, ento no podemos dizer que o impacto
do programa estatisticamente diferente de zero. Ou seja, no podemos afirmar que
o programa teve impacto de reduo dos homicdios.
importante salientar, que com o mtodo de regresso conseguimos isolar o impacto
do programa do efeito de caracterstica que observamos, mas pode existir uma srie
de caractersticas que no conseguimos observar e, que podem estar enviesando o
impacto estimado. Neste sentido, mesmo utilizando o mtodo de regresso linear,
fundamental termos um bom grupo de controle, para reduzir o vis sob no
observveis (variveis que no conseguimos observar).

72

Como estimar a regresso linear na prtica?

Para estimar a regresso linear precisamos montar um banco de dados com
informaes individuais sobre todos os elementos do grupo de tratamento e controle.
Este banco de dados deve conter a varivel ID que uma numerao contnua
identificando os locais. A varivel Nmero de Homicdios Depois o nmero absoluto
de homicdios ocorridos no ltimo ano depois da implementao do programa nesses
locais. A varivel Participao identifica quais locais participaram do programa
(grupo tratado) e quais no participaram (grupo controle), e as demais variveis que
acreditamos afetar o indicador de impacto e serem diferentes entre os dois grupos.
Em geral os programas computacionais denominam de Y a varivel dependente
(indicador de impacto nmero de homicdio) e de X as variveis de controle (demais
variveis). Na planilha do MS- Excel temos que construir uma coluna com a varivel Y e
ao lado as colunas com as variveis X. A tabela III apresenta um banco de dados
fictcio de um programa para a preveno aos homicdios.

73

Tabela III: Banco de dados anual de um programa de preveno de homicdios fictcio

Com base neste banco de dados estimamos os coeficientes da regresso linear:

Nmero de homicdio= +1 participao +2 nmero de habitantes +3 proporo de
jovens na populao +4 renda mdia + 5 escolaridade mdia +
A regresso linear estimada no programa Ms- Excel seguimos o caminho:

74

1) No menu ferramentas clique em anlise de dados. Se anlise de dados no

estiver disponvel, no menu ferramentas, clique em Suplementos. Na lista
suplementos disponveis, selecione a caixa ferramentas de anlise e clique em OK.
Em seguida a opo anlise de dados estar disponvel no menu ferramentas

2) Uma caixa de dilogo ser aberta. Escolha a opo regresso e clique em OK.

75

3) A caixa de dilogo da regresso aberta. Nesta caixa algumas informaes so

solicitadas. Primeiramente, informamos o intervalo Y de entrada (se refere coluna
do indicador de impacto). No exemplo, selecionamos a coluna B da clula 1 a 16. Depois
informamos o intervalo X de entrada (que so todas as demais colunas de variveis).
No exemplo, colunas C, D, E, F, G, da clula 1 a 16.

4) O resultado estimado da regresso linear :

RESUMO DOS RESULTADOS
Estatstica de regresso
R mltiplo
R-Quadrado
R-quadrado ajustado
Erro padro
Observaes

0,57
0,32
-0,05
5,40
15

ANOVA
gl
Regresso
Resduo
Total

Interseo
Participao
Nmero de Habitantes (por mil)
Proporo de Jovens na Populao
Renda Mdia (Reais)
Escolaridade Mdia (anos de estudo)

5
9
14

SQ
125
262
388

Coeficientes Erro padro

10,41
8,94
-2,48
3,31
0,24
0,23
-3,48
9,81
0,00
0,02
-0,37
1,17

MQ
25,09
29,14

F
0,86

F de significao
0,54

Stat t
1,16
-0,75
1,03
-0,35
0,11
-0,32

valor-P
0,27
0,47
0,33
0,73
0,92
0,76

95% inferiores
-9,82
-9,96
-0,29
-25,68
-0,03
-3,03

95% superiores
30,63
5,01
0,77
18,73
0,04
2,29

76

Estes resultados apresentam a coluna coeficientes os valores dos coeficientes (, 1,

2, 3, 4, 5) estimados na regresso linear. Alm disto, apresentam os limites
inferiores (95% inferiores) e superiores (95% superiores) do intervalo de confiana5.
Estamos interessados especificamente no coeficiente da varivel participao, pois
ela que indica o impacto do programa. Vemos que este coeficiente negativo,
indicando que a participao no programa reduz o nmero de homicdios. Entretanto, o
valor 0 (zero) est contido no intervalo de confiana (-9,96; 5,01) significando que a
95% de confiana no podemos rejeitar a hiptese de que o valor do coeficiente pode
ser zero. Ento, dizemos que o coeficiente estatisticamente no significativo, ou
seja, o programa no teve impacto. importante atentar para o fato de termos apenas
15 observaes, 8 locais no grupo tratado e 7 locais no grupo controle. Quanto menor
o nmero de observaes, maior o intervalo de confiana e menos precisa nossa
estimativa do valor verdadeiro do coeficiente.
Regresso Linear de Diferenas em Diferenas.
O mtodo de diferenas em diferenas utilizado quando dispomos de informaes
sobre o grupo de tratamento e controle pelo menos em dois momentos no tempo, antes
e depois do programa. Este mtodo aplicado tanto para experimento aleatrio como
para experimento no aleatrio.
O mtodo de diferenas em diferenas compara a variao observada na mdia do
indicador de impacto antes e depois do programa para o grupo de tratamento com a
variao observada para o grupo controle. Caso a variao observada mdia no grupo
de tratamento seja maior do que a do grupo controle, ento o programa teve impacto.

77
5

As demais estatsticas contidas nos resultados no sero detalhadas nesta apostila por necessitar de
conhecimento mais avanado de econometria.

Considere que, no exemplo do programa para reduo dos homicdios, existam

informaes para antes e depois do programa. Se denominarmos HA a mdia do
nmero de homicdio antes do programa, HD a mdia do nmero de homicdio depois do
programa e H a variao mdia do nmero de homicdio, temos que:

HTratado= HDTratado - HATratado

Analogamente para o grupo controle:
HControle= HDControle - HAControle
No mtodo de diferenas em diferenas analisamos as duas variaes como segue:
Se,
i) DH tratados - DH controle > 0 impacto positivo
ii) DH tratados - DH controle < 0 impacto negativo
iii) DH tratados - DH controle = 0 no ocorreu impacto
Nesta anlise calculamos a diferena de uma diferena, este o motivo do nome do
mtodo.
Por estarmos sempre utilizando amostras, as variaes mdias no nmero de
homicdios so variveis aleatrias. Para poder comparar esta variao entre o grupo
tratado e controle precisamos construir o intervalo de confiana. Ou seja, no basta

78

verificar matematicamente se a variao dos homicdios antes e depois do programa

do grupo tratado diferente do grupo controle, precisamos verificar se
estatisticamente diferente. Para isto, podemos utilizar o instrumental de regresso
linear apresentado na seo anterior, estimando a seguinte regresso linear:
H= + 1 participao + 2 tempo + 3 participao x tempo +
No caso da regresso linear de diferenas em diferenas o coeficiente da varivel
participao x tempo (3) que indicar o impacto do programa6. Se b3 for positivo e
o 0 (zero) no estiver contido no intervalo de confiana associado a b3, dizemos que o
programa causa impacto positivo. Se b3 for negativo e o 0 (zero) no estiver contido
no intervalo de confiana associado a b3, dizemos que o programa causa impacto
negativo. Se o 0 (zero) estiver contido no intervalo de confiana associado a b3,
dizemos que o programa no causa impacto.
Os demais coeficientes expressam outros efeitos: b1 expressa se os grupos de
tratamento e controle so diferentes, independentemente do programa e b 2 expressa
se o indicador de impacto (no exemplo o nmero de homicdios) muda ao longo do
tempo independentemente do programa. Para interpretar estes dois coeficientes
necessrio que se verifique se so estatisticamente diferentes de zero.
Caso o experimento seja no aleatrio inclumos na regresso linear de diferenas em
diferenas outras variveis que expressem as caractersticas que afetam o indicador
de impacto e que so diferentes entre os grupos de tratamento e controle. A insero
destas variveis isola o efeito do impacto o programa.

79
6

Ver quadro explicativo ao final da seo para prova.

Prova de que o coeficiente 3 fornece o estimador de diferenas em diferenas:

Considere a tabela: onde TA o indicador de impacto do tratamento antes do
programa:
Mdias por grupo
Tratamento
Controle
Diferenas das Diferenas

Antes
Depois
Variao
TA
TD
TD - TA
CA
CD
CD - CA
(TD TA) (CD CA)

Onde: TA o indicador de impacto do tratamento antes do programa.

TD o indicador de impacto do tratamento depois do programa.
CA o indicador de impacto do controle antes do programa.
CD o indicador de impacto do tratamento antes do programa.
Considere a seguinte equao:
H= + 1 participao + 2 tempo + 3 participao x tempo +

(1)

Substituindo cada varivel na equao (1) temos:

TA: participao =1; tempo =0; participao x tempo =0
TA = a + b1 x 1 + b2 x 0 + b3 x 0
TA = a + b1
(2)
TD: participao =1; tempo =1; participao x tempo =1
TD = a + b1 x 1 + b2 x 1 + b3 x 1
TD = a + b1 + b2 + b3
(3)

Para calcular (TD-TA), substitumos (2) e (3)

(TD TA)=a + b1 + b2 + b3 (a + b1)
(TD TA)=a + b1 + b2 + b3 a b1
(TD TA) = b2 + b3
(4)
CA: : participao =0; tempo =1; participao x tempo =0
CA = a + b1 x 0 + b2 x 0 + b3 x 0
CA = a
(5)
CD: : participao =0; tempo =1; participao x tempo =0
CD = a + b1 x 0 + b2 x 1 + b3 x 0
CD = a + b2
(6)

80

Para calcular (TD-TA), substitumos (5) e (6)

(CD CA) =a + b2 a
(CD CA)= b2
(7)
Para calcular o termo de Diferenas das Diferenas [ (TD TA) (CD CA)]
substitumos (4) e (7).
Diferenas das Diferenas = (TD TA) (CD CA) = b2 + b3 - b2 = b3

Como estimar a regresso linear de diferenas em diferenas na prtica?

Para estimar a regresso linear de diferenas em diferenas precisamos construir um
banco de dados que contenha informaes do grupo tratado e do grupo controle antes
de depois do programa. Inicialmente, trabalhamos com duas planilhas de dados, uma de
antes do programa e outra de depois, ver tabela IV. Ambas devem conter as mesmas
variveis:

ID: identificador dos elementos. Atente para a correspondncia do

identificador entre as duas planilhas. Se um elemento, por exemplo, um
bairro, um na planilha antes, necessariamente tambm deve ser um na
planilha depois.

Indicador de impacto: no exemplo o nmero de homicdios.

Participao: uma varivel binria. O elemento recebe 1(um) se participou

do programa e 0(zero) se no participou.

Tempo: uma varivel binria. Todos os elementos da planilha antes

recebem 0 (zero), indicando que so dados de antes do incio do programa.
Todos os elementos da planilha depois recebem 1 (um) indicando que so
dados de depois do programa.

81

Participao x Tempo: uma varivel binria obtida pela multiplicao da

varivel participao pela varivel tempo. Atente que somente as
observaes dos elementos que participaram do programa no tempo depois
do programa recebem 1 (um). As demais observaes so 0 (zero).

Tabela IV: Planilhas antes e depois

Uma vez organizada estas planilhas as unimos em um nico banco de dados, que
denominamos de dif-dif. A unio das duas planilhas feita pela colagem das
informaes da planilha depois ao final dos dados da planilha antes, de forma a manter
a correspondncia entre as variveis. A tabela V um exemplo desta base:

82

Tabela V: Base de dado de diferenas em diferenas

Uma vez construdo o banco de dados dif-dif estimamos a regresso linear de

diferenas em diferenas usando um programa computacional. Onde o Y o indicador
de impacto, no exemplo o nmero de homicdios, e X so as demais variveis. A tabela
VI a seguir, apresenta o resultado desta estimao:
RESUMO DOS RESULTADOS
Estatstica de regresso
R mltiplo
0,55
R-Quadrado
0,30
R-quadrado ajustado
0,22
Erro padro
4,79
Observaes
30
ANOVA
Regresso
Resduo
Total

Interseo
Participao
Tempo
Participao x Tempo

gl
3
26
29

SQ
254,86
596,61
851,47

MQ
84,95
22,95

F
3,70

F de significao
0,02

Coeficientes
14,14
-1,77
-3,14
-2,86

Erro padro
1,81
2,48
2,56
3,51

Stat t
7,81
-0,71
-1,23
-0,81

valor-P
0,00
0,48
0,23
0,42

95% inferiores
10,42
-6,86
-8,41
-10,06

95% superiores
17,86
3,33
2,12
4,35

83

Estes resultados apresentam a coluna coeficientes que so os valores dos

coeficientes (, 1, 2, 3,) estimados na regresso linear de diferenas em diferenas.
Alm disto, apresentam os limites inferiores (95% inferiores) e superiores (95%
superiores) do intervalo de confiana7.
Estamos interessados especificamente no coeficiente da varivel Participao x
Tempo que indica o impacto do programa. Este coeficiente negativo, indicando que a
participao no programa reduz o nmero de homicdio. Entretanto, o valor 0 (zero)
est contido no intervalo de confiana (-10,06; 4,35) significando que a 95% de
confiana no podemos rejeitar a hiptese de que o valor do coeficiente zero. Ento,
dizemos que o coeficiente estatisticamente no significativo, ou seja, o programa
no teve impacto.
Limites das ferramentas de estimao de impacto
As trs ferramentas apresentadas para a estimao do impacto de programas de
preveno violncia so ferramentas estatsticas e economtricas. Como toda
ferramenta estatstica e economtrica, estas tambm sofrem algumas limitaes

84

As demais estatsticas contidas nos resultados no sero detalhadas nesta apostila por necessitar de
conhecimento mais avanado de econometria.

inerentes a tais mtodos. Os trs principais problemas da estimao do impacto do

programa so referentes ao tamanho da amostra, s variveis no observadas e s
grandes diferenas entre os grupos de tratamento e controle. Vejamos cada uma
destas limitaes detalhadamente.
O tamanho da amostra afeta diretamente a preciso dos resultados. Quanto maior o
tamanho da amostra, mais confivel o impacto estimado. Esta uma propriedade das
anlises estatsticas e economtricas. Se o tamanho da amostra pequeno, grande a
probabilidade de encontrarmos um impacto no significativo, ou seja, um impacto que
no estatisticamente diferente de zero, mesmo que o programa na realidade tenha
tido impacto. Assim, em amostras pequenas corremos o risco de cometer o erro de
concluir que o programa no teve impacto, sendo que na realidade o impacto ocorreu.
A limitao decorrente das variveis no observadas (tambm denominadas variveis
omitidas) est presente em quase todas as avaliaes. Quando no conseguimos
mensurar ou observar uma caracterstica dos grupos de tratamento e controle no
podemos inclu-la na anlise. Se esta caracterstica (varivel) no observada afeta o
indicador de impacto e difere entre os grupos de tratamento e controle, ento por
no observ-la, no conseguimos isolar o impacto estimado do seu efeito. Assim, o
coeficiente estimado do indicador de impacto est expressando o efeito da varivel
no observada, alm do efeito do programa. O impacto estimado est enviesado, no
expressando o verdadeiro impacto gerado pelo programa. A nica forma de amenizar
esta limitao construir um grupo controle o mais similar possvel do grupo tratado.
No caso de experimento aleatrio, em que o grupo controle constitudo pelos
elementos que se inscreveram para o programa e no foram sorteados, a probabilidade
de que o grupo controle seja similar ao grupo tratado nas variveis no observveis,
alta e esta limitao minimizada.

85

Por fim, mas no menos importante, existe a limitao do grupo controle e tratamento
serem muito diferentes. Quando isto acontece dizemos que estamos com um problema
de suporte comum. Neste caso o instrumental de regresso linear no consegue
estimar o impacto do programa corretamente. Para resolver este problema existem
outras ferramentas, no abordadas neste Manual, que servem para selecionar dentre o
grupo de controle os elementos que so mais parecidos com os do grupo de
tratamento. Um exemplo so os mtodos de pareamento (matching).
Avaliao de Retorno Econmico
De forma geral, a avaliao de retorno econmico objetiva mensurar a viabilidade
econmica de um projeto. Em outras palavras o retorno econmico de um investimento
compara o seu custo com o benefcio financeiro gerado, de forma a determinar se o
investimento lucrativo e economicamente vivel.
A aplicao deste conceito em projetos de preveno violncia exige viso mais
ampla do seu significado. Vamos entender como. Um projeto de preveno violncia
no um investimento financeiro. Entretanto, faz-se necessrio o dispndio de
recurso financeiro, que pode ser interpretado como um investimento. Por outro lado, o
projeto de preveno violncia no visa gerao de lucro. Entretanto, o bem-estar e
a qualidade de vida da populao aumentam com a preveno da violncia, e isto pode
ser pensado como o lucro do projeto.
Se os custos do projeto de preveno criminalidade so considerados como
investimento e, o benefcio gerado pela preveno a violncia como lucro, para
calcularmos o retorno econmico necessrio dimensionarmos o valor monetrio
destes dois elementos.

86

O benefcio do Projeto de preveno violncia

O valor monetrio do benefcio gerado pelo projeto de preveno violncia
calculado a partir dos resultados da avaliao de impacto. Portanto, necessariamente a
avaliao de impacto antecede a avaliao de retorno econmico. O que fazemos
transformar o impacto estimado na avaliao de impacto em valor monetrio do
benefcio, o qual, por simplificao, ser denominado no restante do Manual apenas por
benefcio.
A transformao do impacto estimado em benefcio uma das maiores dificuldades da
avaliao de retorno econmico. Ela exige a associao de um valor monetrio a um
impacto no monetrio. Em projetos para gerao de renda, onde o indicador de
impacto a renda, o impacto j estimado em valor monetrio no exigindo nenhuma
transformao. Dificilmente, um projeto de preveno violncia ter como indicador
de impacto a renda dos participantes. Assim, na maioria das vezes ser necessria a
transformao do impacto estimado em valor monetrio do benefcio.

Como transformar o impacto estimado em benefcio?

Consideremos os exemplos fictcios anteriores do programa para reduo dos
homicdios e para preveno do consumo de drogas. No caso do programa para a
reduo dos homicdios o indicador de impacto o nmero de homicdios. O impacto
estimado determina o nmero de homicdios que deixaram de ocorrer devido ao
programa. Para transformar este impacto em benefcio, necessrio atribuir um valor

87

monetrio para o nmero de homicdios evitados. Mas, qual o ganho para a sociedade
em evitar os homicdios? Uma resposta a esta pergunta pode ser o quanto sociedade
economizar no futuro devido aos homicdios que deixaram de ocorrer. Neste sentido,
ao estimarmos a perda que os homicdios impem sociedade, teremos um valor
monetrio a atribuir ao nmero de homicdios prevenidos pelo programa8.
No caso do programa para preveno do consumo de drogas, o indicador de impacto
o nmero de usurios de drogas. O impacto estimado determina o nmero de jovens
que no usaram drogas (no vieram a se tornar usurios de drogas) devido ao
programa. Podemos aplicar o mesmo conceito do exemplo anterior para associar um
valor monetrio para a preveno do uso de droga. Precisamos estimar o quanto
sociedade economizar no futuro com a preveno do uso de drogas. Para isto
estimamos o valor monetrio da perda que o usurio de drogas impe para a sociedade.
Generalizando, uma das formas para transformar o nmero de atos violentos
prevenidos estimado na avaliao de impacto em valor monetrio do benefcio,
utilizamos a hiptese de que vrios recursos deixam de serem gastos pelos diversos
agentes da sociedade devido preveno. Nesta perspectiva, o valor monetrio do
crime prevenido o custo que a violncia impe sociedade. Esta no a nica
maneira de transformar o impacto da preveno da violncia em benefcio. Podemos
pensar em outras hipteses para atribuir valor monetrio reduo da violncia
devido ao programa.

88

O valor da perda que a violncia impe para a sociedade composto de vrios fatores. A literatura de
sugere diversos componentes como: valor despendido com o judicirio, o gastos com aparato policial,
despesas mdicas e psicolgicas com as vtimas e familiares, valor da perda de produo, tratamento
mdico e psicolgico para o dependente qumico (no caso de uso de drogas) entre outros (Dubourg et al.,
2005; Brand e Price, 2000; Mayhew, 2003).

Caso, o estimador de impacto do programa de preveno violncia no seja a reduo

do nmero de atos violentos, outras hipteses devem ser pensadas para fazer a
atribuio de valor monetrio ao impacto. Quanto maior o grau de conhecimento do
avaliador sobre o programa, sua implantao, seus atores, etc., melhor sero as
hipteses elaboradas para esta transformao. Por exemplo, o programa PROERD
pode ter como um dos indicadores de impacto o grau de confiana dos jovens na
polcia, pois o programa visa melhorar a confiana dos jovens nestes profissionais. Se
na avaliao de impacto encontramos que o grau de confiana na polcia aumentou 10%,
temos que elaborar boas hipteses para transformar este impacto em valor monetrio.
Caso no seja possvel encontrar boas hipteses para transformar o impacto estimado
em valor monetrio no ser possvel calcular o retorno do programa. Entretanto,
ainda podemos calcular um indicador chamado custo-efetividade que uma medida de
dimenso do impacto em relao ao custo do programa. Este indicador ser discutido
frente.

Como transformar o impacto estimado em benefcio na prtica?

Em seo anterior estimamos atravs do mtodo de diferenas em diferenas o
impacto do programa fictcio para reduo dos homicdios. O resultado encontrado
que o programa no teve impacto, pois o coeficiente estimado estatisticamente no
significativo. Neste caso, no podemos efetuar a avaliao de retorno econmico do
programa.

Para

fins

didticos,

considere

que

coeficiente

estimado

estatisticamente significativo. Se isto fosse verdade o programa teria impacto de 2,86 homicdios em mdia no perodo. Quanto valeria para a sociedade a reduo de 2,86 homicdios?

89

Considere a hiptese de que o benefcio da reduo do homicdio quanto sociedade

economizar no futuro devido aos homicdios que deixaram de ocorrer. Somando todos
os valores da perda que este tipo de morte violenta impe a sociedade (gastos
policiais, judicirio e de sade, perda de produo, entre outros) calculamos o custo do
homicdio. Suponha que para cada homicdio ocorrido, em mdia, a perda para
sociedade seja de 50.000 reais ao ano, durante 20 anos. Nessa perda esto contidos
os gastos com o sistema de sade, o enterro, a investigao da polcia, o processo
judicirio, o aprisionamento do suspeito, a renda que o indivduo deixou de gerar,
entre outros. Estes gastos no so efetuados todos de uma vez. Eles acontecem ao
longo dos anos medida que a investigao, o processo, a condenao e o
aprisionamento so efetuados. Assim, o benefcio anual por homicdio evitado de
50.000,00 reais.
Como o programa evitou em mdia 2,86 homicdios ao ano, multiplicamos este valor por
50.000 e obtemos que o benefcio anual do programa de 143.000,00 reais. Este
benefcio anual ser recebido pela sociedade durante 20 anos (tempo que
supostamente duraro os gastos com o homicdio). Para obter o benefcio total do
programa temos que somar os benefcios anuais. Entretanto, quando os benefcios do
programa so recebidos em diferentes

momentos no tempo, no

podemos

simplesmente somar o valor em cada momento para obtermos o benefcio total. Isto
acontece porque, em geral, as pessoas atribuem mais valor ao dinheiro no presente do
que no futuro. O que voc prefere ganhar 100 reais hoje ou no ano que vem? Este
fenmeno conhecido como preferncia intertemporal. Assim, para obtermos o
benefcio total do programa temos que utilizar uma taxa de desconto intertemporal
para deduzir do montante o fato de que o valor s ser recebido no futuro.

90

Para fazer o desconto intertemporal e calcular o benefcio total do programa

precisamos utilizar os conceitos de valor presente e valor futuro da matemtica
financeira. Estes conceitos so bastante intuitivos. O valor presente quanto
determinado montante de dinheiro vale no tempo inicial do investimento e o valor
futuro quanto ele valer em momentos posteriores. A frmula que relaciona estes
dois conceitos :
VF = VP*(1+ i)n

ou

VP = VF/(1+i)n

Onde: VF o valor futuro

VP o valor presente
N o nmero do perodo
i a taxa de desconto intertemporal
Com a aplicao direta desta frmula podemos obter o valor do benefcio total do
programa j com o desconto intertemporal. Mas qual a taxa de desconto intertemporal
adequada? Em geral, os economistas consideram que a taxa de desconto intertemporal
igual taxa de juros. A taxa de juros pode ser pensada como a recompensa de se
deixar de consumir hoje, para consumir amanh. Portanto, pode ser interpretada como
a taxa que os indivduos valorizam no presente em relao ao futuro - taxa de
desconto intertemporal.
Voltando ao nosso exemplo, calculamos que o benefcio anual do programa de
143.000,00 reais, recebidos por 20 anos. Para calcular o benefcio total, utilizamos o
programa MS-Excel que possui a funo acima incorporada. Primeiramente, inserimos a
funo do Valor Presente, para obtermos o benefcio total do programa deduzido a
taxa de desconto intertemporal. Para isto, na barra de ferramentas inserir devemos

91

pedir a opo inserir funo. Uma caixa de dilogo abrir. Nela selecionamos funo
financeira: VP. Estes passos so retratados na figura 1 abaixo.
Figura 1: Funo financeira do Valor Presente

Ao abrir a caixa de dilogo da funo, teremos que preencher as opes: a) Taxa,

que a taxa de desconto intertemporal. No nosso exemplo consideraremos 5% ao ano;
b) Nmero de pagamentos, que nosso exemplo so 19, pois a primeira parcela do
benefcio j absorvida no ano presente; c) O valor de cada parcela que neste caso
de 143.000,00 reais. Veja a Figura 2.

92

Figura 2: Caixa de dilogo da funo Valor Presente

O resultado obtido o benefcio total do programa, ou seja, a soma do benefcio

anual recebido durante os 20 anos, deduzida a taxa de desconto intertemporal. No
exemplo o benefcio total do programa de 1.728.200 reais. A tabela VII resume os
resultados obtidos.
Tabela VII: Resultados da estimao de impacto

Categoria
Impacto
Benefcio anual por homicdio evitado
Benefcio anual do programa
Benefcio total do programa

Valores
-2,86
50.000,00
143.000,00
1.728.200,88

Caso o benefcio anual do programa no seja um valor constante no tempo a funo

valor presente do MS-Excel no poder ser aplicada diretamente. Neste caso, temos

88

que calcular o valor presente de cada parcela e som-las.

Custo do projeto de preveno violncia
A anlise de retorno econmico trabalha com a definio de custo econmico do
programa de preveno violncia. O custo econmico de um projeto inclui o custo
contbil e o custo de oportunidade do projeto.

O custo contbil aquele constante na prestao de contas do programa, ou seja,

todo o dispndio de recursos realizado para o seu funcionamento. O custo de
oportunidade o rendimento que se deixa de obter ao realizar uma determinada
escolha. Por exemplo: um programa que funciona em um prdio cedido pela prefeitura.
O valor do aluguel no pago o custo de oportunidade de utilizao do imvel, o qual
no aparece no demonstrativo contbil do projeto. A soma dos dois tipos de custo
compe o custo econmico do projeto que utilizado no clculo do retorno econmico.

94

Os custos de um programa de preveno violncia podem acontecer em momentos

diferentes no tempo. Por exemplo, no programa PROERD de preveno s drogas, so
ministrados cursos por policiais em diferentes anos da grade curricular. Portanto, o
grupo tratado, recebe o tratamento em mais de um ano. Quando o custo do programa
acontece em diferentes momentos no tempo, no podemos simplesmente somar o valor
gasto em cada momento para obtermos o custo total. Isto acontece porque o dinheiro
muda de valor ao longo do tempo. A quantidade de bens que adquirimos com 1.000
reais em 1999 diferente da quantidade que conseguimos adquirir em 2009. No
mesmo sentido, se aplicssemos 1.000 reais em uma poupana no ano de em 1999, seu
valor hoje seria muito maior, porque o dinheiro renderia juros. O fenmeno de
mudana de valor do dinheiro longo do tempo conhecido como inflao/deflao.
Como obter o custo total do programa quando os dispndios acontecem ao longo
do tempo?
Para obter o custo total do programa, preciso, como no clculo do benefcio total,
aplicar os conceitos de valor presente e valor futuro da matemtica financeira. O uso
destes conceitos neste caso tem uma interpretao diferente da aplicao no clculo
do benefcio total, pois aqui ele representa a mudana do valor do dinheiro ao longo do
tempo e no o desconto intertemporal.
Considere um exemplo fictcio de um programa de preveno s drogas que est sendo
avaliado nos dois primeiros anos de funcionamento chamados de t0 e t1. Os custos
nestes dois anos so:
T0: R$: 500.000
T1: R$: 600.000

95

Para encontramos o custo total do programa considerando uma taxa de inflao de 5%

ao ano, temos duas opes:
a)

trazemos o custo de T1 a valor presente de T0:

VP = VF/(1+i) substituindo o valor de T1 em VF temos:
VP=600.000/(1+0,05)
VP=571.428
Isto significa que, o custo do programa de 600.000 em T1 se fosse executado em T0
teria sido de 571.428.
Portanto, o custo total do programa em T0 de:
Custo total = 500.000+ 571.428 = 1.071.428

b)

Trazemos o custo de T0 a valor futuro de T1:

VF = VP*(1+ i) substituindo o valor de T0 em VP temos:
VF = 500000*(1+0,05)
VF = 525000
O custo do programa de 500.000 em T0 se fosse efetuado em T1 teria sido de
525000.
Portanto, o custo total do programa em T1 de:
Custo total = 600.000+ 525000 = 1.125.000
No exemplo do programa de preveno ao homicdio que estamos trabalhando ao longo
96

do Manual, o tratamento ocorreu apenas em um perodo no tempo. Portanto, seu custo

estimado para apenas um momento, que neste caso um ano. Apresentamos o custo
fictcio deste programa na tabela VIII. O programa funciona em um imvel cedido
pelo parceiro (no paga aluguel) e, tem a participao de voluntrios (no so pagos).
Os custos do aluguel e dos salrios dos voluntrios no pagos so computados como
custo de oportunidade do programa, num total de 180.000,00 reais. O custo contbil
composto pelo material permanente e de consumo e pelo pagamento de pessoal
somando 820.000,00 reais. A soma destes dois custos fornece o Custo Econmico do
programa de 1.000.000,00 reais.
Tabela VIII: Custo anual Fictcio do programa de preveno aos homicdios
tem
Aluguel
Voluntrios
Material Permanente
Material de Consumo
Pessoal
Soma dos Custos
Custos Econmico

Custo de Oportunidade
100.000,00
80.000,00

Custo Contbil

180.000,00
1.000.000,00

480.000,00
200.000,00
140.000,00
820.000,00

Clculo das estatsticas de retorno econmico.

Depois de estimados os benefcios e os custos de um programa de preveno
violncia estamos aptos a calcular as estatsticas de retorno econmico. Existem
vrias estatsticas que expressam o retorno econmico de um programa. Neste Manual
vamos apresentar as mais comuns: razo custo-efetividade, razo custo-benefcio e
taxa interna de retorno.
Para o clculo das estatsticas de retorno econmico, primeiramente precisamos
montar o fluxo de caixa do programa de preveno violncia. O fluxo de caixa um

97

conceito advindo da matemtica financeira que representa as receitas e despesas de

um investimento ao longo do tempo. Utilizamos para isto uma linha do tempo e setas.
As setas apontadas para cima representam as receitas, as para baixo as despesas. A
figura 3 o exemplo de um fluxo de caixa de um investimento no qual teve um custo
apenas no primeiro perodo do tempo e rendeu benefcio nos dez perodos do tempo
seguinte. No caso de programas de preveno violncia as sadas so os custos do
programa e as entradas so os benefcios.
Figura 3: Fluxo de caixa

Voltemos ao exemplo do programa de preveno ao homicdio que tem sido trabalhado

ao longo deste Manual. O fluxo de caixa, com base nos resultados anteriormente
obtidos, est representado na Figura 4

O fluxo de caixa mostra que o programa de preveno ao homicdio funcionou durante

um ano, com um custo de um milho de reais e os vinte anos subseqentes gerou um

98

benefcio anual de 143 mil reais a cada ano.

Depois de, desenhado o fluxo de caixa passamos aos clculos das estatsticas de
Retorno Econmico.

Razo Custo-Efetividade
A estatstica denominada de Razo Custo-Efetividade calculada quando no foi
possvel transformar o impacto do programa (efetividade) em benefcio. Esta
estatstica fornece o quanto foi gasto por unidade de impacto estimada. Por exemplo,
no programa PROERD no qual o impacto estimado em termos de pessoas que
deixaram de se tornar usurios de drogas, a estatstica Razo Custo-Efetividade
fornece o valor monetrio gasto para cada pessoa que no se tornou usuria de drogas
devido ao programa. No caso do programa para reduo do homicdio, esta estatstica
determina o valor gasto para cada homicdio prevenido.
Para seu clculo basta dividir o custo econmico do programa pelo impacto estimado
(na avaliao de impacto)9:
Razo Custo-Efetividade= custo econmico / impacto estimado
No exemplo do programa de preveno de homicdio, supondo que o impacto estimado
estatisticamente significativo, temos a reduo de 2,86 homicdios. O custo
econmico acontece apenas no tempo zero sendo de 1 milho de reais:
Razo Custo-Efetividade = 1.000.000 / 2,86 = 350.000

99

importantssimo atentar que o impacto do programa e o custo tm que estar calculado para o mesmo
momento no tempo.

O custo-efetividade de 300 mil reais significa que cada homicdio evitado pelo
programa custou 300 mil reais. Mas, pagar este valor para evitar um homicdio muito
ou pouco?
A pergunta s poder ser respondida pelas outras estatsticas de retorno econmico.
Apesar disto, a estatstica de custo-efetividade muito usada para comparar
programas. Se o gestor tem que decidir entre dois programas, ele escolher o que tem
menor custo-efetividade, pois o custo para se atingir o mesmo objetivo menor.
Algum poderia argumentar que se para comparar dois programas poderamos olhar
apenas para o impacto estimado. Entretanto, isto no estaria correto, pois pode
ocorrer a situao em que um tenha o impacto maior do que o outro, mas por causa do
seu custo ser muito mais elevado ele tem menor razo custo-efetividade.
Existe um problema tico na comparao entre os programas, porque teoricamente o
gestor pblico deveria investir no programa que gera maior retorno. Por exemplo, se o
retorno de um programa de preveno aos homicdios maior do que o retorno de um
programa de preveno violncia contra a mulher, teoricamente o gestor publico
deveria investir na preveno do homicdio.

Contudo, mesmo que o programa de

preveno violncia contra a mulher tenha menor retorno, este tipo de crime deve
ser combatido. O ideal s comparar programas que tenham como objetivo a
preveno do mesmo tipo de violncia. Assim, o gestor pode, dentro da categoria de
violncia a prevenir, optar pelo programa de maior retorno.

100

Razo Custo-Benefcio
A razo custo-benefcio relaciona o custo e o benefcio estimado pelo programa
fornecendo uma medida de qual o retorno para a sociedade de cada real investido na
preveno da criminalidade realizada pelo programa. Para o seu clculo basta dividir o
benefcio total estimado pelo custo econmico do programa10.
Razo Custo-Benefcio= Benefcio total / custo econmico
No exemplo do programa de preveno de homicdio encontramos um benefcio total
de 1.728.200,00 reais. Aplicando a frmula temos:
Razo Custo-Benefcio = 1.728.200,00/ 1.000.000 = 1,73
O resultado significa que para cada real investido no programa para preveno ao
homicdio a sociedade ganha 1,73 reais no futuro. Se subtrairmos uma unidade da
razo custo-benefcio e multiplicarmos por 100, encontramos a taxa de retorno
percentual deste programa que de 73%.

Taxa Interna de Retorno

A taxa interna de retorno pode ser entendida como a taxa de oportunidade de
investir o recurso no projeto de preveno violncia. Para sua obteno utilizamos a
funo financeira presente no programa MS-Excel, pois seu clculo bastante
complicado. Intuitivamente o que o programa faz encontrar qual a taxa que torna
igual o custo econmico do programa com seu benefcio estimado. Para isto, no
estimamos o custo do programa e o seu benefcio a cada momento no tempo sem som-

101

10

Lembre-se de que o custo e o benefcio tm que estar calculados no mesmo momento no tempo.

los, pois isto implicaria na aplicao de uma taxa de desconto intertemporal e na taxa
de inflao/deflao. Com o custo e o benefcio estimado, o programa estimar a taxa
interna de retorno de forma a igualar o custo e o benefcio no tempo no momento
presente.
Como calcular a taxa interna de retorno na prtica?
Primeiramente, montamos uma planilha em MS-Excel que retrata o fluxo de caixa do
programa. Colocamos nesta planilha uma coluna de tempo, uma de custo, e outra de
benefcio. Alm disto, inserimos uma coluna denominada lquido, que o benefcio,
menos o custo, em cada momento no tempo. A figura 5 apresenta esta planilha para o
programa de preveno ao homicdio.
Figura 5: Planilha do Fluxo de Caixa do programa fictcio para preveno ao homicdio

102

Uma vez montado o fluxo de caixa inserimos a funo financeira taxa interna de
retorno-TIR. Para isto, selecionamos na barra de ferramentas inserir, em seguida
selecionamos a opo inserir funo. Uma caixa de dilogo ir abrir. Nela
selecionamos funo financeira TIR. Esses passos so apresentados na figura 6 a
seguir.
Figura 6: Funo financeira da Taxa Interna de Retorno

Uma a caixa de dilogo da funo ir se abrir. Nela preencheremos a opo valores na

qual selecionaremos na planilha os valores correspondentes coluna que denominamos
de lquido. O programa ento estimar a taxa interna de retorno que no caso do

103

exemplo de 13%. Esta taxa pode ser comparada taxa de juros do mercado. Por
exemplo, se a taxa interna de retorno maior do que a poupana, o retorno do
programa maior do que o desta aplicao financeira. Por outro lado, se a taxa interna
de retorno menor do que a poupana, ento o retorno do programa maior do que o
obtido nesta aplicao.
Consideraes Finais
A avaliao de programas e projetos de preveno violncia ainda constitui uma
raridade em nosso meio. Em parte isto decorre da falta de tradio de avaliao de
programas sociais de uma forma geral, no nosso pas e, de certo preconceito contra
esta atividade, que vista to somente como uma ferramenta de fiscalizao dos
financiadores, e desta forma, potencialmente ameaadora aos programas.

Esta viso desconhece ou subestima a importncia da avaliao como instrumento para

aperfeioamento da gesto, para melhor conhecimento quanto os ingredientes ativos
dos programas de preveno e a principais dificuldades encontradas pelos gestores na
conduo dos mesmos.

Este Manual ao oferecer informaes e conceitos simplificados e no exaustivos

buscou aumentar o conhecimento e o interesse entre os gestores e interessados em
programas de preveno a violncia sobre a avaliao, estimulando-os a planejarem,
orarem e executarem avaliaes dos programas e projetos que esto sob suas
responsabilidades.

104

Bibliografia
Andrade, M. V. e Peixoto, B. T. Avaliao econmica de programas de preveno e
controle da criminalidade no Brasil. In: Cludio Beato. (org.). Compreendendo e
Avaliando Projetos de Segurana Pblica. Belo Horizonte: UFMG, 2008, v. , p. -219.
Banco Mundial. Preveno Comunitria do Crime e da Violncia em reas Urbanas da
Amrica Latina Um Guia de Recursos para Municpios, 2003
Banco Mundial. Monitorizao & Avaliao Algumas Ferramentas, Mtodos e
Abordagens, 2004
Brand, S.; Price, R. The economic and social costs of crime. Home Office Research
Study 217 Economic and Resource Analysis, Research, Development and Statistics,
Directorate. London: Home Office, 2000
Camplo
AF. Avaliao de Programas Sociais em ONGS: Discutindo aspectos
conceituais e levantando algumas orientaes metodolgicas sobre avaliao de
impacto.
Disponvel
em:
http://www.cereja.org.br/arquivos_upload/avaliacaoprogrsociais_amandafcampelo.pdf
Acessado em: 10/03/2009
Cano, I. Introduo avaliao de programas sociais. Rio de Janeiro: FGV, 2008
Crdia N. Estado del arte de los programas de prevencin de la violencia en jvenes
Washington: Pan American Health Organization (OMS), Pan American Sanitary Bureau
(OPS), Regional Office of the World Health Organization, 2005, 80p.
Carvalho SN. Avaliao de programas sociais: balano das experincias e contribuies
para o debate. So Paulo em Perspectiva, 17(3-4):185-197, 2003
Cohen, E; Franco, R. Avaliao de projetos sociais. 5. ed. Petrpolis, Vozes, 2002.
Contradriopoulos AP; Champagne, F; Denis, JR ,Inealut, R, 1997. A Avaliao na rea
da sade: conceitos e mtodos. In: Hartz, ZMA (org.) Avaliao em sade: dos
modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro:
FIOCRUZ. pp. 29-47
Dubourg, R.; Hamed, J; Thorns, J. The economic and social costs of crime against
individuals and households. Home Office Online Report, 2005

105
Fagan, J. "Criminalization of Domestic Violence: Promises and Limits" in Conference on
Criminal Justice Research and Evaluation. Research Report, National Institute of
Justice. 1995. Disponvel em http://www.ncjrs.gov/pdffiles/crimdom.pdf. Acessado
em 04/04/2009
Hamilton-Smith N. Anticipated consequences: developing a strategy for the targeted
measurement of displacement and diffusion of benefits. In: Tilley N. Evaluation for
crime prevention. Crime Prevention Studies, Volume 14. Devon: Willan Publishing, 2002
Lapponi, J C. Estatstica Usando Excel. Rio de Janeiro: Campus-Elsevier, 2005.
Marino E. Manual de Avaliao de Projetos Sociais. So Paulo: Saraiva: Instituto
Airton Sena, 2003
Mayhew, P. Counting the Costs of Crime in Australia: Technical Report, Technical and
Background Paper Series, n. 4, Australian Institute of Criminology, Canberra, 2003
MacNamara C. A basic guide to program evaluation . Disponvel em:
http://www.tgci.com/magazine/A%20Basic%20Guide%20to%20Program%20Evaluatio
n.pdf. Acessado em: 04/04/2009
Mihalic S., Irwin K., Elliot D., Fagan A., Hansen D. Blueprints for violence prevention.
Juvenile Justice Bulletin, july, 2001
Minayo MCS. (Org.) ; Assis, SG (Org.) ; Souza, Edinilsa Ramos de (Org.) . Avaliao por
triangulao de mtodos. 1a.. ed. Rio de Janeiro: Editora Fiocruz, 2005.
Minas Gerais. Decreto No. 43.334, de 20 de maio de 2003. Cria o Programa de
Homicdios do Estado de Minas Gerais. Minas Gerais, Belo Horizonte, 21 de maio 2003
a. Dirio do Executivo, Legislativo e Judicirio. Caderno 1, p.2-3
Ministrio da Justia, Secretaria Nacional de Segurana Pblica, Departamento de
Pesquisa, Anlise da Informao e Treinamento de Pessoal, Perfil das Prticas
Cadastradas no Observatrio Democrtico de Prticas de Preveno Violncia e
Criminalidade 2005
Ministrio da Sade. Impacto da Violncia na Sade de Crianas e Adolescentes.
Preveno de Violncias e Promoo da Cultura da Paz. Braslia: Ministrio da Sade,
2009, 10p

106

Ministrio do Planejamento, Secretaria de Planejamento e Investimentos Estratgicos

Manual de Avaliao Plano Plurianual 2004-2007 60 p disponvel em:
http://www.mp.gov.br/secretarias/upload/Arquivos/spi/plano_plurianual/avaliacao_PP
A/06_PPA_Aval_manual.pdf acessado em 10/03/2009
Peixoto, B. T., Andrade, M. V. e Azevedo, J. P. Preveno e controle de homicdios:
uma avaliao de impacto no Brasil. Belo Horizonte: CEDEPLAR/UFMG, 2008 (TEXTO
PARA DISCUSSO N.337).
Peixoto, B. T, Andrade, M. V. e Azevedo, J. P. Avaliao econmica do programa Fica
Vivo: o caso piloto. Belo Horizonte: CEDEPLAR/UFMG, 2008 (TEXTO PARA
DISCUSSO N.336).
Ravallion, M. Mystery of the Vanishing Benefits: An Introduction to Evaluation. World
Bank Economic Review, 15(1), p. 115-140, 2001.
Ravallion, M. Evaluating anti-poverty programs. Handbook of Development Economics,
v. 4, Eds Robert E. Everson e T. Paul Schultz, Amsterdam, North-Holland, 2005.
Roman J, Farrel G. Cost-benefit analysis for crime prevention: Opportunity costs,
routes savings and crime externalities. In: Tilley N. Crime Prevention StudiesEvaluation for crime prevention. Devon: Criminal Justice Press, 2002 p.53-92
Rossi PH, Lipsey MW, Freeman HE. Evaluation A systematic approach. Thousand
Oaks: Sage Publications, 2004
Schor, Adriana e Afonso, Luis Eduardo (2005) Avaliao Econmica de Projetos
Sociais. Apostila utilizada no curso de mesmo nome da Fundao Ita Social.
Sherman LW, Gottfredson D, MacKenzie D, Eck J, Reuter P. Bushway S.. Preventing
Crime: What works, what doesnt, whats promising. 1997
Silveira AM. Prevenindo Homicdios: Avaliao do Programa Fica Vivo no Morro das
Pedras. [tese de doutorado]. Belo Horizonte: Faculdade de Filosofia e Cincias
Humanas da Universidade Federal de Minas Gerais; 2007
Waiselfisz JJ. Mapa da Violncia: os Jovens da Amrica latina 2010. Braslia: RITLA
Instituto Sangari, Ministrio da Justia, 151p

107

Waters H.R. et als The costs of interpersonal violence an international review.

Health Policy 2005 73: 303-315
World Health Organization T E A C H - V I P - users manual. Geneva:WHO, 2005, 36p
World Bank. Results of the Expert Roundtables on Innovative Performance
Measurement Tools: NOTE # 4: Process Evaluations. Disponvel em :
http://siteresources.worldbank.org/INTLACREGTOPPOVANA/Resources/8404421235414009766/TechnicalNoteProcessEvaluation.pdf Acessado em :15/03/09

108

Anexo
Conceitos estatsticos
a) Experimento aleatrio:
Um experimento aleatrio se no for possvel antecipar seu resultado, apesar de
conhecer todos os resultados possveis que define o espao amostral de experimento.
Assim, cada vez que o experimento aleatrio for repetido o resultado poder ser
diferente, mesmo que se saibam todos os possveis resultados. O exemplo clssico de
experimento aleatrio o lanamento de um dado. O espao amostral deste
experimento varia entre 1 e 6, que equivalem as faces do dado. Entretanto, ao
lanamos o dado no possvel determinar o resultado.
b) Varivel aleatria:
Lapponi (2005) define que a varivel aleatria uma varivel cujo valor o resultado
numrico de um experimento aleatrio.

Assim, a varivel aleatria uma funo

formada por valores numricos definidos sobre o espao amostral de um experimento.

Desta forma, podemos dizer que a ocorrncia de um evento de violncia uma varivel
aleatria. Com certeza, quanto maior a incapacidade de dilogo e mediao de
conflitos dos atores, maior a probabilidade do episdio de violncia ocorrer. Mas isso
no quer dizer que incapacidade de dilogo e mediao de conflitos dos indivduos leva
necessariamente um episdio de violncia, pois isso depende de outras variveis (bom
humor, uso de bebida alcolica, assunto a ser discutido, etc.) que podem se modificar
ao longo do tempo e no esto sob seu controle. A ocorrncia de episdios de violncia

109

pode ser uma varivel aleatria, pois s saberemos se ocorrer em determinado

perodo aps checarmos, ao final do perodo.
c) Amostra e populao:
Em estatstica chamamos de populao o total de unidades ou elementos sobre os
quais queremos conseguir informaes. Por exemplo, se queremos saber informao
sobre a violncia em um municpio, a populao so todos os residentes deste
municpio. Agora se queremos saber sobre casos de violncia contra a mulher neste
municpio a populao so todas as mulheres residentes neste municpio. A amostra
a seleo de um subconjunto de elementos de uma populao de tal forma que
descries destes elementos (estatsticas) descrevam com preciso a populao da
qual foram selecionadas. Ou seja, uma parte representativa da populao. O
conhecimento a respeito da populao geralmente baseado no conhecimento da
amostra. Em geral, impossvel ou muito caro obtermos informao de toda populao.
Por isso, precisamos ter certeza de que a amostra realmente representativa da
populao. Uma amostra representativa de uma populao se ela tem exatamente as
mesmas caractersticas da populao da qual foi selecionada.
Se quisermos saber sobre a vitimizao em um municpio teramos que entrevistar
todos os residentes do municpio. Obviamente, isso no o que se faz, pois seria muito
custoso de levaria muito tempo. O que os institutos de pesquisa fazem quando
realizam uma pesquisa para saber o percentual de vitimizao entrevistar apenas
uma parcela da populao. Para isto eles selecionam uma amostra da populao e, com
base nas vitimizao das pessoas que compem a amostra fazem inferncias sobre a
vitimizao na populao. Portanto, quando ouvimos que 10% da populao de um

110

determinado municpio foi vitimada, este resultado baseado nos resultados para a
amostra entrevistada. Da a importncia de escolher bem a amostra. Se ela no for
representativa da populao, as inferncias feitas com base nos resultados da
amostra no sero vlidas.
d) Distribuio de probabilidade:
Quando estamos trabalhando com variveis aleatrias no sabemos os valores que elas
iro assumir at a realizao do experimento. Entretanto, sabemos os possveis
valores que elas podem assumir. Tambm podemos supor as probabilidades com que
cada um dos resultados pode acontecer. Com base nisso definimos a distribuio de
probabilidade da varivel aleatria. A distribuio de probabilidade de uma varivel
aleatria a lista dos valores possveis de uma varivel aleatria com suas
possibilidades de ocorrncia.
Voltemos ao exemplo do experimento aleatrio de jogar um dado. Nunca sabemos qual
face do dado ser selecionada, ou seja, o resultado deste experimento uma varivel
aleatria. possvel obter 6 resultados para este experimento referentes s 6 faces
do dado. Assim, dizemos que existem seis possveis valores associados a essa varivel
aleatria (1, 2, 3, 4, 5 e 6), sendo que razovel supor que as probabilidades de
ocorrncia de cada valor, no caso de um dado no-viciado, so iguais (cada resultado
tem probabilidade de ocorrncia de 1/6). Neste caso, a funo de probabilidade
representada como na figura 1. No eixo das abscissas esto os possveis valores
associados varivel aleatria; e, no eixo das ordenadas, especificamos as
probabilidades de ocorrncia, que neste caso 1/6.

111

Figura 1 - Funo de probabilidade

Poderamos em outro experimento aleatrio jogar dois dados. O resultado possvel

dado pela soma dos valores observados em cada um dos dados. Como no possvel
determinar o resultado antes de realizar o experimento dizemos que o resultado
uma varivel aleatria. So possveis obter 11 valores deste experimento, a varivel
aleatria pode assumir os valores entre 2 e 12. Entretanto, diferentemente do
exemplo anterior, esses valores no tm probabilidade igual de ocorrncia. Existem 36
possveis combinaes no lanamento de 2 dados. A soma 2 pode ser obtida apenas
com a combinao (1, 1), mas a soma 5 pode ser obtida com as combinaes (1, 4), (4,
1), (2, 3) e (3, 2). Das 36 combinaes possveis, apenas uma delas gera o resultado 2 e
quatro delas geram o resultado 5. Podemos ento dizer que a probabilidade de ocorrer
o resultado 2 de 1/36, enquanto a probabilidade de ocorrer o resultado 5 de 4/36.
Repetindo o mesmo raciocnio para todos os resultados possveis, temos a distribuio
de probabilidade dessa varivel aleatria representada na figura 2.

112

Figura 2 - Funo de probabilidade

e) Distribuio normal:
A distribuio normal uma das distribuies de probabilidade mais importantes na
estatstica moderna, sendo bastante usada nos estudos econmicos. Seu enorme uso
advm da facilidade de defini-la, utilizando para isto apenas dois parmetros: a mdia
e o desvio padro. Esta distribuio tem formato como mostrado na figura 3.
Figura 3 Distribuio normal

113

As principais caractersticas da distribuio normal que a mdia localizada

exatamente no meio da distribuio, sendo o valor com maior probabilidade de
ocorrncia. A distribuio simtrica ao redor da mdia, ou seja, independente do
valor estar localizado direita ou esquerda da mdia, a probabilidade de ocorrncia
igual se ele apresenta a mesma distncia da mdia.
f) Mdia:
a medida de posio mais usada em estatstica. uma forma de descrevermos uma
amostra ou varivel aleatria. Para obter a mdia de uma amostra basta dividir a soma
dos valores das observaes da amostra (representadas pela letra (x)) pelo nmero de
observaes da amostra (representado pela letra (n)). A mdia tambm chamada de
valor esperado de uma varivel aleatria.

Onde: xi a observao da varivel aleatria x para o indivduo i. Normalmente a

mdia amostral representa por

Por exemplo, considere a seguinte distribuio de nmero de estupros de uma amostra

de 16 municpios de uma regio, onde cada valor representa o nmero de estupros em
cada municpio: (3;3;9;0;4;5;5;5;5;6;8;10;12;12;14;18)

114

A mdia neste caso :

X= (3+3+9+0+4+5+5+5+5+6+8+10+12+12+14+18) / 16 = 119/16 =7,4375
Em mdia acontecem 7,4375 estupros por municpio da regio
g) Medidas de disperso:
A varincia indica como a amostra est distribuda em torno da mdia. Quando
analisada em conjunto com a mdia possvel ter uma idia bastante clara da
distribuio. O valor da varincia uma medida de disperso dos valores da varivel
em torno da mdia. Quanto maior a varincia, mais dispersos so os valores
observados da varivel em relao sua mdia. Podemos ento interpretar a varincia
como uma medida de preciso da mdia. Quando uma varivel aleatria tem uma
varincia grande, a inferncia de um valor a ser observado pela sua mdia no muito
precisa. Quanto menor a varincia, menos dispersos so os valores observados da
varivel em relao mdia. Ou seja, mais provvel que o valor a ser observado
esteja prximo da mdia.
Para o clculo da varincia na amostra, primeiramente, subtramos o nmero de
estupros em cada cidade (Xi) da mdia da amostra ( X ) e elevamos este valor a
segunda potncia. Em seguida, somamos estas diferenas e dividimos o resultado pelo
nmero de observao da amostra menos um (n-1). Novamente, Xi representa o nmero
de estupros que ocorreram na cidade i.

s2 =

( X 1 - X ) 2 + ( X 2 - X ) 2 + ... + ( X n - X ) 2
(n - 1)

115

Imagine o exemplo anterior em que a mdia de estupro entre os municpios de uma

regio de 7,4375 estupros.
s2 =
+

2 x (3 - 7,4375) 2 + (9 - 7,4375) 2 + (0 - 7,4375) 2 + (4 - 7,4375) 2 + 4 x (5 - 7,4375) 2

+
(16 - 1)

(6 - 7,4375) 2 + (8 - 7,4375) 2 + (10 - 7,4375) 2 + 2 x (12 - 7,4375) 2 + (14 - 7,4375) 2 + (18 - 7,4375) 2
(16 - 1)

2 x ( -4,4375) 2 + (1,5625) 2 + (-7,4375) 2 + ( -3,4375) 2 + 4 x ( -2,4375) 2

+
15
(-1,4375) 2 + (0,5625) 2 + (2,5625) 2 + 2 x (4,5625) 2 + (6,5625) 2 + (10,5625) 2
+
15
s2 =

39,3828 + 2,4414 + 55,3164 + 11,8164 + 23,7656 + 2,0664 + 0,3164 + 6,5664 + 41,6328 + 43,0664 + 111,5664
15
337,9374
2
s =
= 22,52917
15
s2 =

A partir da varincia, podemos obter o desvio-padro, representado por (s). O desvio

padro calculado por meio da raiz quadrada da varincia. Esta tambm uma medida
de disperso, mostrando como os valores observados esto distribudos em torno da
mdia.

No exemplo do estupro nos municpios de uma regio temos que o desvio padro dado
por:

s = s 2 = 22,52971 = 4,74649

116

h) Intervalo de confiana:
Quando trabalhamos com uma amostra utilizamos o resultado da amostra para inferir
sobre a populao a qual ela representa. No caso do exemplo do nmero de estupros
por municpio, utilizamos uma amostra de 16 municpios para inferir sobre a populao
(que no caso so todos os municpios do Estado). Desta forma, calculamos a mdia da
amostra e falamos que ela a mdia da populao. Mas, como garantir que a mdia da
amostra representa realmente a mdia do Estado? No temos como garantir que a
mdia dos estupros nos 16 municpios (amostra) seja exatamente a mdia dos estupros
no Estado (populao). Entretanto, se o nmero de estupros por municpio uma
varivel aleatria, com distribuio normal podemos construir o intervalo de confiana
da mdia amostral que vai nos dizer com uma probabilidade de, por exemplo, 95% que
a mdia da populao est contida neste intervalo de confiana.
Quando uma varivel aleatria segue uma distribuio normal, sabemos pelas
propriedades desta distribuio que: 68% dos valores possveis esto simetricamente
distribudos entre 1 desvio-padro em relao mdia direita e esquerda da
mdia; e 95% dos valores possveis esto simetricamente distribudos entre 2 desviopadro em relao mdia direita e esquerda da mdia.
Para calcularmos o intervalo de confiana a 95% de probabilidade precisamos saber
antes a mdia amostral ( X ), o desvio padro (s) e o nmero de observaes da
amostra (n). De posse destas estatsticas calculamos o intervalo de confiana por
meio da seguinte formula:

117

Graficamente pode ser representado conforme figura 4:

Figura 4 Intervalo de Confiana - Distribuio Normal

No exemplo trabalhado neste anexo, temos que a mdia da amostra 7,4375, o desvio
padro 4,74649 e o nmero de observaes na amostra de 16. Assim, temos que:

4,74649
4,74649
; 7,4375 + 1,96 *

7,4375 - 1,96 *
16
16

[5,11 ; 9,76]

118

Graficame
nte:

95%
5,11

7,4375

9,76

O que este intervalo de confiana calculado significa : com 95% de confiana a mdia
da do Estado se encontra entre 5,11 e 9,76 estupros por municpio.

119