Você está na página 1de 13

SÃO PAULO EM PERSPECTIVA, 17(3-4): 185-197, 2003 AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

AVALIAÇÃO DE PROGRAMAS SOCIAIS


balanço das experiências
e contribuição para o debate

SONIA NAHAS DE CARVALHO

Resumo: O artigo recupera as avaliações de programas sociais desenvolvidas pela Fundação Seade. Inicia-se
com os pressupostos teóricos e metodológicos que orientam a atividade de avaliação de programas e recupera
as principais experiências existentes, com ênfase nos aspectos metodológicos.
Palavras-chave: programas sociais; metodologias de avaliação.

Abstract: This article revisits the evaluations of social programs elaborated by Fundação Seade. It takes as its
starting point the theoretical and methodological assumptions that guide program evaluation, and addresses
the principal prevailing experiences, with an emphasis on methodological aspects.
Key words: social programs; evaluation methods.

A
avaliação de políticas públicas na Fundação Seade trução permanente com, pelo menos, dois sentidos com-
data de período recente e a experiência acumula- plementares. O primeiro refere-se às metodologias de ava-
da até o momento consiste na avaliação de pro- liação e consiste no aperfeiçoamento contínuo de mode-
gramas sociais específicos para atender a demandas dis- los de análise, técnicas e instrumentos. O segundo define
tintas e baseadas em orientações metodológicas hetero- os objetivos que orientam a promoção dessa atividade que,
gêneas. Apresentar essa experiência tem por propósito con- mantendo-se técnica, destina-se ao aprimoramento das
tribuir para a discussão do significado da avaliação no políticas sociais em seus propósitos de solucionar proble-
processo das políticas públicas e para o aperfeiçoamento mas e atender a carências. Com base nas experiências de-
de metodologias de avaliação, com ênfase nas políticas senvolvidas e na literatura sobre o tema, alguns pressu-
sociais. Os projetos de avaliação escolhidos foram: pós- postos vêm orientando a construção dessa atividade.
ocupação de conjuntos habitacionais ofertados pela Com- O campo mais geral de entendimento da avaliação pres-
panhia de Desenvolvimento Habitacional e Urbano – supõe a noção de que políticas públicas consistem em
CDHU; Programa Jovem Cidadão: Meu Primeiro Traba- processo contínuo de decisões, que se alteram permanen-
lho, de coordenação da Secretaria Estadual do Emprego e temente. Em realidade, “o objeto central da avaliação é o
Relações do Trabalho; Programa Telecurso 2000, execu- processo das políticas públicas. (...) Parece-nos mais apro-
tado pela Federação das Indústrias do Estado de São Pau- priado, do ponto de vista empírico, e sem dúvida mais
lo em parceria com o Ministério do Trabalho e Emprego; consistente com a proposição relativa à onipresença da
e os programas estaduais Atuação em Cortiços e Fábricas política, ver o sistema das políticas públicas como um
de Cultura, desenvolvidos pela CDHU e Secretaria da processo em fluxo (grifo nosso), que se caracteriza por
Cultura, com apoio financeiro do Banco Interamericano constantes barganhas, pressões e contrapressões, e não raro
de Desenvolvimento. por redefinições do próprio objeto das decisões”. Dois
Além de recente, a avaliação de programas sociais na aspectos devem ser destacados. “Um, o processo tempo-
Fundação Seade é uma atividade em processo de cons- ral da constante redefinição dos objetos em jogo, como

185
SÃO PAULO EM PERSPECTIVA, 17(3-4) 2003

produto de decisões anteriores. Outro, o processo pelo qual avaliação de políticas públicas visa ajustar ou validar ob-
se altera a própria definição do que é ou não objeto de jetivos, metas e focos sociais, adequar os meios utiliza-
decisão política; ou seja, o processo pelo qual objetos antes dos aos fins propostos, quantificar e qualificar o atendi-
congelados ou tidos como parâmetros não negociáveis mento realizado e os benefícios gerados, identificar os
deixam de sê-lo.” (Lamounier, s.d.:3-4). impactos ou efeitos das ações nas condições de vida dos
Se o sistema das políticas públicas é um processo em beneficiários diretos e indiretos. Diante desses objetivos,
fluxo, por associação uma dada política pública não pode a avaliação distingue-se nas modalidades avaliação de
configurar-se como seqüência linear de etapas. De for- processo e avaliação de impacto, estruturadas, em geral,
ma distinta de interpretações anteriores,1 que tratavam as em metodologias de análise comparada entre o “antes” e
políticas públicas como etapas estanques e sucessivas de o “depois”, entre o “proposto” e o “realizado” e entre
formulação, implementação e avaliação de decisões pre- “meios” e “fins”.
viamente tomadas, a abordagem que melhor expressa o A avaliação de processo visa acompanhar e avaliar a
quadro real das políticas públicas é as que a considera execução dos procedimentos de implantação dos progra-
como processo contínuo de decisões que, se de um lado mas e políticas e diferencia-se em avaliação de eficácia e
pode contribuir para ajustar e melhor adequar as ações ao de eficiência. O objeto central dessa modalidade é avaliar
seu objeto, de outro, pode alterar substancialmente uma a adequação dos meios e recursos utilizados perante os
política pública. resultados parciais ou finais, referenciados aos objetivos
Consoante esse entendimento, a avaliação é parte cons- e metas propostos pela política ou programa. Ressalve-
titutiva do processo da política pública. Ou seja, ele não se, contudo, que avaliar processo não pode se confundir
é unicamente formulação e implementação de ações. A com monitorar programas, uma ferramenta de gerencia-
avaliação integra-se a esse processo como atividade per- mento aplicada durante sua execução.
manente que acompanha todas as fases da política públi- A avaliação de impacto é aquela que focaliza os efei-
ca, desde a identificação do problema da política até a aná- tos ou impactos produzidos sobre a sociedade e, portan-
lise das mudanças sociais advindas da intervenção pública. to, para além dos beneficiários diretos da intervenção
Se, na aparência, a formulação e a implementação de pública, avaliando-se sua efetividade social. Dois pressu-
políticas ou programas são vistas como fases distintas, pois postos orientam a avaliação de impacto. O primeiro reco-
entendidas, respectivamente, como diagnóstico de proble- nhece propósitos de mudança social na política em análi-
mas e propostas para sua solução e como execução de se e, neste caso, faz sentido estruturar a investigação para
passos previamente definidos e organizados, em realida- mensurar seus impactos. O segundo pressuposto é o que
de elas não se distinguem tão facilmente. A própria im- estrutura a análise com base em uma relação causal entre
plementação de ações é, e de fato assim ocorre, um cons- a política ou programa e a mudança social provocada.
tante (re)definir das decisões, recomendadas pela política Pode-se constatar empiricamente mudanças, proceder à
em momentos anteriores de seu processo. sua diferenciação, à sua quantificação, etc. Contudo, para
A avaliação, por sua vez, não se confunde com a se- se analisar o impacto dessas mudanças, é preciso estabe-
qüência final desse processo. “De princípio, é preciso fri- lecer a relação causa–efeito entre estas e a ação pública
sar que a avaliação deve ser remetida strictu senso à no- realizada por meio da política. Em suma, não basta cons-
ção de análise. Isso quer dizer que a avaliação se dá ao tatar a ocorrência da mudança; é preciso provar que foi
longo de todo o processo, seja na formulação, seja na causada pelo programa.
implementação, ou mesmo nos impactos ou efeitos pro- Por fim, a avaliação é instrumental de análise para
vocados pelas duas etapas anteriores” (Carvalho; Costa, avaliar a eficiência, a eficácia – e, portanto, o processo da
1986:8). política ou programa – e a efetividade – ou seja, os im-
Integrar a avaliação ao processo das políticas públicas pactos das ações promovidas pela política ou programa.
não significa, contudo, que ela deva ser promovida pelas Nessa perspectiva, a avaliação inscreve-se no campo das
agências responsáveis por sua implantação. Ao contrário, Ciências Sociais Aplicadas e se organiza e se desenvolve
a posição que a avaliação ocupa no processo das políticas apoiada nos referenciais conceituais das diferentes Ciên-
públicas é externa aos agentes gestores e executores e sin- cias Sociais. As abordagens podem ser da Microeconomia
gular em face de seus propósitos. Semelhante aos estu- com conceitos como os da maximização de benefícios e
dos feitos em outras instituições, na Fundação Seade a minimização de custos, da Ciência Política apoiando-se

186
AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

na teoria dos conflitos e em conceitos como o da forma- sim, para a escolha dos empreendimentos consideraram-
ção de arenas decisórias e das formas institucionais de se as alternativas de tipologia de edificação (casa ou apar-
governo, ou da Sociologia e os referenciais conceituais tamento) e de construção (por empreitada ou mutirão).
para a elaboração de diagnósticos, reconstrução de pro- Além dessas variáveis, tal escolha levou em conta a data
cessos sociais, etc. de entrega do empreendimento: anterior e posterior a 1994.
Como instrumental de análise, a avaliação vale-se tam- Dois procedimentos foram adotados para a execução
bém dos métodos próprios da pesquisa social. A sua es- do projeto. O primeiro baseou-se na exploração de base
colha, contudo, não é aleatória nem mesmo predetermi- de dados de fiscalização e cobrança, disponível na CDHU,
nada, pois o pressuposto é que seja conforme aos objetivos, que, contudo, mostrou-se inadequada em face de proble-
explícitos e implícitos, estabelecidos pela política em aná- mas de consistência e confiabilidade dos dados. O segun-
lise. De acordo com Deutscher, citado por Figueiredo e do procedimento consistiu na investigação em campo.
Figueiredo (1986:109), “a escolha do método a ser utili- Diante do conhecimento não sistematizado sobre o fenô-
zado decorre mais do objetivo da política ou programa meno da inadimplência, optou-se pela realização de estu-
sob observação e de seu escopo social do que da prefe- dos de caso, tendo sido escolhidos cinco empreendimen-
rência intelectual do analista. O mais importante nessa dis- tos habitacionais implantados no município de São Paulo
cussão é o estabelecimento das conexões lógicas entre os a partir da combinação das variáveis tipo de edificação,
objetivos da avaliação, os critérios de avaliação e os mo- tipo de construção e data de entrega.3
delos analíticos capazes de dar conta da pergunta básica O desafio inicial para a investigação referiu-se à ina-
de toda pesquisa de avaliação: a política ou programa so- dimplência contratual, uma vez que os mutuários origi-
cial sob observação foi um sucesso ou um fracasso?” nais – que haviam firmado contrato com a CDHU – não
eram mais localizados e, portanto, não seria possível pes-
PÓS-OCUPAÇÃO DE CONJUNTOS quisar as razões que os levaram à transferência do imó-
DE HABITAÇÃO POPULAR vel. Para superar esse desafio, as alternativas foram a de
levantar informações indiretas, obtidas com os mutuários
O estudo de pós-ocupação de conjuntos habitacionais, residentes, e a de identificar o perfil do novo mutuário,
encomendado pela CDHU em 1999, estruturou-se com o comparando-o ao mutuário original.
propósito de contribuir para explicar a inadimplência nas Os pressupostos para a análise da inadimplência defi-
unidades habitacionais, classificada em três tipos: finan- niram os temas de investigação, considerando-se as va-
ceira, de atraso no pagamento das prestações de financia- riáveis sociodemográficas, para classificação dos mutuá-
mento habitacional; contratual, com a transferência do rios segundo as situações de adimplência, a participação
imóvel a outras famílias não mutuárias da CDHU; e em associações e na administração condominial, graus e
condominial, de atraso no pagamento do condomínio. níveis de satisfação com a moradia, o conjunto e o entor-
Tratava-se, portanto, de um projeto para avaliar interven- no urbano, e estrutura de despesas, identificados como pa-
ções públicas realizadas, com benefícios já concedidos ao râmetros de qualificação dos empreendimentos e da po-
público-alvo da política. pulação residente. Com a clareza de que dados quanti-
Os pressupostos para o estudo consideraram o modelo tativos não seriam suficientes para se entender o fenôme-
de solução única da política habitacional paulista no aten- no, dados qualitativos foram também coletados por meio
dimento das necessidades da população de baixa renda. de entrevistas estruturadas feitas com lideranças, síndi-
Esse modelo caracteriza-se pela provisão de casa própria, cos e alguns moradores. O questionário, composto em per-
em conjuntos habitacionais, em geral de grande porte, des- guntas fechadas, foi aplicado a todas as famílias residen-
tinada às famílias entre um e dez salários mínimos de ren- tes nos empreendimentos habitacionais selecionados.
da familiar que assumem um contrato de financiamento A análise feita seguiu duas abordagens. Na primeira, o
por um período de 25 anos, passível de subsídio de acor- empreendimento foi a unidade de análise e se procurou
do com a capacidade de pagamento das famílias.2 apontar a especificidade de cada empreendimento em re-
Diante de parâmetros uniformes e rígidos, o estudo lação aos aspectos demográficos, socioeconômicos, de
investigou a existência de diferenciações no comportamen- participação em associações e administração do condo-
to dos mutuários nos aspectos em que a política guarda mínio, níveis de satisfação, estrutura de despesas e situa-
alguma flexibilidade, qual seja, de sua implantação. As- ções de adimplência contratual, condominial e financei-

187
SÃO PAULO EM PERSPECTIVA, 17(3-4) 2003

ra. A segunda abordagem considerou o domicílio como programa, e se estende até os dias atuais. Por decorrência,
unidade de análise e buscou explicar as situações de ina- o foco principal da avaliação tem sido o de acompanhar e
dimplência financeira, condominial e contratual a partir avaliar o processo de desenvolvimento do programa e se
da análise do comportamento de variáveis socioeconômi- estrutura em torno de dois campos: analisar resultados à
cas selecionadas. A inadimplência financeira foi também medida que o programa é executado; e identificar,
examinada considerando-se os “fatores de risco” à ina- qualificando, as atribuições de fato exercidas pelos agentes
dimplência dos mutuários. Assim, o risco à inadimplên- de implementação do programa em relação aos objetivos
cia (atraso superior a três meses) ou ao atraso no paga- do programa. 5 Para dar conta desse foco, a estratégia
mento das prestações (atraso de até três meses) foi metodológica escolhida foi, de um lado, a de analisar os
analisado tendo-se por referência o nível médio de renda grandes números que mostram o desempenho quantitativo
domiciliar, a estrutura de despesas, a posição socioocupa- do programa e, de outro, de privilegiar a investigação dos
cional do chefe do domicílio e sua situação de trabalho e principais atores, compreendendo mais intensamente os
fatores não estritamente econômicos. beneficiários finais, as empresas que aderiram ao pro-
grama, os monitores e as escolas parceiras na implantação
PROGRAMA JOVEM CIDADÃO: do programa. Em face dos pressupostos da análise de
MEU PRIMEIRO TRABALHO avaliação, os instrumentos de coleta têm sido diver-
sificados e adequados à natureza das informações
De iniciativa do governo do Estado de São Paulo e requeridas, incluindo questionários, entrevistas estru-
coordenado pela Secretaria do Emprego e Relações do turadas e grupos de discussão.
Trabalho, o Programa Jovem Cidadão: Meu Primeiro Tra- A análise dos resultados do programa segue dois pro-
balho visa proporcionar, aos estudantes de 16 a 21 anos cedimentos analítico-metodológicos distintos e comple-
da rede pública estadual de ensino médio, a primeira opor- mentares. O primeiro, destinado ao acompanhamento con-
tunidade de experiência profissional no mercado de tra- juntural, desenvolve-se mediante a exploração analítica de
balho, preparando-os para o exercício da cidadania. O indicadores especialmente construídos com base no regis-
benefício oferecido consiste em aprendizado e prática tro de alunos inscritos e de empresas.6 Editado na forma
profissional, de preferência em empresas do setor priva- de boletins, esse acompanhamento foi mensal entre outu-
do, concedendo-se aos jovens admitidos uma bolsa de, no bro/2000 e dezembro/2002, passando a ser trimestral em
mínimo, R$130.4 Decidida sua implantação, a execução 2003. Ao final de cada ano, um novo produto é editado,
do programa restringiu o atendimento aos alunos das es- consolidando-se a análise de desempenho do programa.
colas estaduais de ensino médio localizadas na Região Como produto, os boletins atendem ao objetivo de dis-
Metropolitana de São Paulo, situação em que se encontra seminação do programa e, com isso, oferecem à socieda-
atualmente. de meios para conhecer e controlar a ação pública. As
O projeto de avaliação desse programa pretendia cons- possibilidades de realização desse propósito foram am-
truir uma metodologia e produzir indicadores destinados pliadas em 2003 com a divulgação dos boletins na página
ao aperfeiçoamento e à aferição dos resultados obtidos. da Fundação Seade na Internet.7
Alguns aspectos distinguem o processo desenvolvido. Em Já na perspectiva de seu conteúdo, os boletins expõem
primeiro lugar, a participação da Fundação Seade deu-se a evolução da inscrição de estudantes e da oferta e preen-
desde a concepção inicial do programa, com a elaboração chimento de vagas, qualificada segundo dados gerenciais
de metodologia para a classificação dos estudantes ins- disponíveis como idade e sexo dos alunos inscritos, porte
critos segundo carência social, destinada à escolha dos e setor de atividade das empresas, conclusão de estágio e
beneficiários do programa. A contribuição localizada nes- motivos para a não-conclusão em relação às vagas preen-
sa definição pode ser interpretada já como parte do pró- chidas, bem como a distribuição espacial segundo as Di-
prio processo de avaliação e vista como recurso para retorias de Ensino existentes na Região Metropolitana
auxiliar a identificação de instrumentos de implementa- de São Paulo. A análise feita permite avaliar, de um lado,
ção do programa. os rumos adotados pelos agentes de implementação do
A segunda característica refere-se à simultaneidade programa, sugerindo capacidades e recursos existentes para
entre a implementação e a avaliação do programa. Esta a colocação dos estudantes em uma vaga de estágio e, de
começou ainda em 2000, poucos meses após o início do outro, os efeitos que o comportamento do mercado de tra-

188
AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

balho, com rebatimentos diferenciados no espaço metro- res são de dois tipos: os relacionados aos mecanismos
politano, possa ter sobre um programa como o Jovem Ci- operacionais do programa, como o pagamento em dia da
dadão, que articula a geração de benefícios sociais à ofer- bolsa-estágio e do vale-transporte e a duração da jornada
ta de vagas para estágio pelo setor privado. Em suma, diária de estágio; e os relacionados ao aprendizado, como
analisar o programa mediante os indicadores de desem- treinamento recebido, atividades realizadas, nível de sa-
penho apontados possibilita avaliar a extensão em que os tisfação e relações construídas no ambiente de trabalho.
objetivos e metas são realizados em relação ao atendimento A análise dos efeitos sobre as condições de vida e expec-
do público-alvo.8 tativas futuras é feita com base em indicadores que incluem
A avaliação do programa é também realizada com base as possibilidades de efetivação na empresa, melhorias para
em informações colhidas com os estudantes atendidos com a vida escolar e relacionamento social e familiar, contri-
uma vaga de estágio. Complementar à análise de desem- buições para escolhas profissionais e para a continuidade
penho, avalia-se, da ótica dos beneficiários, se o progra- dos estudos.
ma cumpre os objetivos de oferecer a oportunidade de O segundo procedimento de investigação visou levan-
prática e aprendizado profissional e de atender aos social- tar informações com ex-estagiários. Esse segmento era
mente mais carentes dentre os estudantes inscritos. Para formado por jovens que concluíram o estágio entre oito e
além dessas dimensões, a investigação com os estagiários 12 meses da data de realização da pesquisa e foram esco-
contribui também para avaliar os efeitos imediatos pro- lhidos dentre os que haviam respondido às pesquisas de
duzidos sobre suas condições sociais e perspectivas futu- abril e agosto de 2001. Nesse caso, a proposta foi essen-
ras. Essa é uma dimensão que, apesar de se referir a efei- cialmente qualitativa, pois se pretendia explorar e apro-
tos sociais decorrentes da ação pública executada, não deve fundar aspectos fundamentais para o aprimoramento do
ser confundida com a avaliação de impacto. programa. Por se tratar de um público composto por jo-
Para atender a esses propósitos, os estagiários vêm sen- vens, a técnica utilizada foi a de grupos de discussão, apli-
do tratados segundo suas diferentes situações, que são cando-se “dinâmicas que estimulam e facilitam a mani-
múltiplas, de inserção no programa. Com a clareza de que festação dos participantes, como simulações e jogos,
todas essas situações ainda não foram investigadas, a ava- tornando a pesquisa quase lúdica. Tais dinâmicas ajudam
liação já realizada restringiu-se aos estudantes que haviam a atenuar dificuldades como inibição, timidez, descon-
sido bem-sucedidos de acordo com os objetivos do pro- fiança de determinados públicos. Isso é particularmente
grama, ou seja, contemplados com uma vaga de estágio.9 útil no caso de jovens, segmento que geralmente se carac-
Nas pesquisas realizadas adotaram-se procedimentos teriza por falas lacônicas, em código, em especial diante
de investigação distintos, diante da natureza das infor- de adultos.” (Fundação Seade, junho 2002:2).
mações que se queria levantar e do tratamento analítico A utilização de métodos de investigação qualitativa no
a ser dado a elas. O primeiro procedimento destinou-se projeto de avaliação do programa justifica-se por sua ade-
à análise comparada entre grupos de beneficiários dis- quação para captar dados de percepção dos beneficiários
tinguidos por tempo de estágio. Para cada grupo apli- em relação aos benefícios obtidos, ao significado da ex-
cou-se um questionário composto de perguntas comuns periência realizada e ao potencial do programa como com-
sobre características pessoais e familiares e diferencia- ponente de uma política para jovens, contemplando a opor-
das por tempo de estágio quanto às características, ex- tunidade de contato com o mercado de trabalho e a
pectativas e proveitos do estágio.10 As coletas foram re- construção da cidadania. Os resultados reforçaram os al-
alizadas em abril/2001, agosto/2001 e setembro/2002 e cançados pelas pesquisas quantitativas anteriores, como
a análise foi desenvolvida da perspectiva da compara- o tipo de atividade mais freqüente desenvolvida pelos es-
ção dos segmentos de estudantes pesquisados. A partir tudantes no estágio, permitiram aprofundar outros aspec-
da segunda coleta, a comparação foi também feita entre tos, como o dos efeitos do programa para a vida profis-
os grupos que passaram pelo programa nos diferentes sional e pessoal dos jovens, e identificar novas dimensões,
momentos de coleta. como a possibilidade de existir discriminação de raça/cor
Vale destacar os principais indicadores elaborados. No e de sugestões para o aprimoramento do programa, como
que se refere ao perfil do estagiário, consideram-se os a revisão do período de seis meses para a experiência de
indicadores que identificam o grupo social atendido pelo estágio e a interrupção do atendimento público assim que
programa. Em relação ao estágio oferecido, os indicado- concluída esta experiência.

189
SÃO PAULO EM PERSPECTIVA, 17(3-4) 2003

Ao lado do beneficiário final, outro ator importante, capacitação para compreender as implicações dos objeti-
podendo-se dizer estratégico, para o programa são as vos gerais do programa para a execução de suas ativida-
empresas ofertantes de vagas para estágio. Desde a sua des rotineiras e realização dos objetivos específicos de
concepção, o mecanismo de adesão das empresas ao pro- cada etapa de funcionamento. Quanto às condições infra-
grama é voluntário, com a restrição relativa ao número de estruturais para o exercício das atividades, chamaram a
vagas proporcional ao número de empregados da empre- atenção os indicadores de adequação dos espaços físicos
sa. Com esse segmento, foram utilizadas duas técnicas de de trabalho, a oferta de linhas telefônicas, de computado-
pesquisa. A primeira, aplicada no início de 2001, consis- res e de acesso à Internet.
tiu em questionário de autopreenchimento enviado por Quanto às escolas, a pesquisa permitiu apontar limites
correio a todas as empresas participantes do programa. e problemas existentes, como a relação entre o número de
Além do retorno não ter sido alto (cerca de 33% do uni- estudantes inscritos e de vagas para estágio, descompas-
verso), as informações obtidas não foram suficientemen- so que se acentua quando são considerados o perfil social
te satisfatórias para uma análise que visava identificar a da população-alvo e a localização da escola/residência do
compreensão das empresas sobre o programa e os estagiá- aluno no território metropolitano. A isso se somam o tipo
rios em treinamento, as condições de trabalho e os pro- e grau de participação ou envolvimento da escola no pro-
gressos alcançados em seu processo de formação. A críti- grama que pouco incorpora a facilidade que a escola ofe-
ca à época feita concluiu que o próprio instrumento de rece de contato diário com os estudantes.
coleta – um questionário – não era adequado para atender
a tais objetivos. Uma segunda técnica de pesquisa foi in- TELECURSO 2000
troduzida, com a coleta de dados qualitativos obtidos por
meio de entrevistas estruturadas realizadas com empresas A primeira avaliação do Telecurso 2000, como parte
escolhidas segundo critérios predefinidos de classificação. do Plano Nacional de Qualificação do Trabalhador –
Nesse caso, alcançaram-se resultados analíticos mais sa- Planfor,11 elaborado e coordenado pela Secretaria de Po-
tisfatórios, que permitiram reconhecer a heterogeneidade líticas Públicas de Emprego – SPPE do Ministério do Tra-
de comportamento das empresas em relação ao programa balho e Emprego – MTE, foi feita em 2000,12 objeto de
e das razões para sua adesão, bem como qualificar a in- contrato com a Federação das Indústrias do Estado de São
serção do estagiário quanto a treinamento, aprendizagem Paulo – Fiesp, entidade coordenadora do programa. No
e atividades desenvolvidas na empresa. ano seguinte o programa foi novamente avaliado, consi-
Por fim, a avaliação compreende também analisar o derando-se a execução de 2001. A oportunidade dessa ex-
funcionamento do programa, tendo-se por “propósito iden- periência veio carregada de desafios, que permitiram acu-
tificar aspectos críticos e gargalos que se interpõem na mular novos conhecimentos à Fundação Seade. Em breves
atuação dos agentes envolvidos. É, normalmente, por meio palavras, tratava-se de um projeto de avaliação a ser exe-
desse tipo de análise que questões aparentemente mini- cutado em um prazo de apenas cinco meses, com coleta
mizadas por exigências práticas ou mesmo encobertas por de dados em diferentes locais do território nacional e que
rotinas de trabalho se intensificam, adquirindo a relevân- pressupunha assimilar e aplicar a metodologia elaborada
cia que em geral lhes cabe perante a realização dos obje- pelo MTE/SPPE, com definição das dimensões e dos pro-
tivos do programa.” (Fundação Seade, novembro 2002:3). cedimentos de avaliação.
Para atender a esse propósito, foram investigados os Para a agência coordenadora do Planfor, programas
agentes centrais no processo de implementação, quais se- precisam ser supervisionados e avaliados, atividades a
jam: o monitor, responsável pelo contato direto com a serem realizadas com entidades ou equipes diferentes, pois
população-alvo do programa; e a escola, na figura do res- se distinguem em dimensões fundamentais, como objeti-
ponsável pelo programa, elo na divulgação do programa vos e foco. De acordo com o MTE/SPPE, a supervisão
e no apoio à inscrição dos alunos no programa. A pesqui- tem por objetivo “monitorar ou medir a eficiência”13 de
sa com esses agentes visou levantar informações qualita- um programa e constitui “ferramenta gerencial” que visa
tivas e se realizou por meio da aplicação de roteiros es- “orientar e corrigir o processo, durante a execução do pro-
truturados para entrevista. grama, e apoiar ou aprimorar sua gestão”. A avaliação,
Em relação aos monitores, são relevantes os indicado- sempre externa aos agentes executores, focaliza-se na
res de tempo de permanência na função e, em especial, de “mensuração da eficácia e da efetividade social de um

190
AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

programa”,14 e constitui “subsídio para a política públi- A metodologia do MTE/SPPE sugeria também que a
ca” para “orientar o aprimoramento metodológico e con- avaliação considerasse amostras representativas do uni-
ceitual do Planfor e prestar contas à sociedade”. Com pro- verso de atendimento do programa. A dispersão nacional
pósitos diferentes, a supervisão desenvolve-se somente das telessalas, combinada a razões operacionais de custo
durante a execução das ações e a avaliação externa ocor- e tempo para execução do projeto, forçou a introdução de
re também após o término do programa, procedendo-se um segundo ajuste na metodologia proposta. Para a ava-
ao acompanhamento dos beneficiários (MTE, 2000:10). liação de 2000, adotou-se, como critério, a combinação
Em face do foco proposto e dos objetivos visados, a entre concentração espacial de telessalas e representati-
metodologia de avaliação dos programas só poderia ser vidade dos agentes parceiros da Fiesp, responsáveis re-
abrangente, compreendendo diferentes dimensões para se gionais pela execução do programa. Para a de 2001, o
medir a eficácia e a efetividade social, assim identifica- critério foi o de realizar as pesquisas em outros locais e
das: foco na demanda do mercado de trabalho; atendimento com outras entidades, distintos dos pesquisados em 2000.16
da população-alvo; adequação dos programas ofertados; Se, por um lado, as escolhas feitas impediram que os
adequação das entidades executoras; produtividade e cus- dados para análise fossem representativos do universo de
tos; gestão da parceria (ou do PEQ); gestão do Planfor; atendimento do Telecurso 2000, por outro, permitiram a
impactos para os treinandos; e impactos como política investigação aprofundada e o melhor entendimento dos
pública.15 processos de implementação existentes. Além disso, a
Essa metodologia, contudo, estruturou-se a partir dos escolha de bases territoriais distintas para 2000 e 2001
Planos Estaduais de Qualificação – PEQs, de oferta de permitiu acumular conhecimento sobre o programa, em
cursos de capacitação ou requalificação profissional de decorrência da maior diversidade de situações e da am-
trabalhadores para que obtenham ou melhorem sua inser- pliação da oportunidade de comparação entre os proces-
ção no mercado de trabalho. Os cursos oferecidos restrin- sos de implementação.
gem-se aos residentes de cada Estado brasileiro de atua- As dimensões consideradas para avaliação, por sua vez,
ção das Secretarias do Trabalho. O Telecurso 2000, por demandaram esforços de investigação distintos quanto às
sua vez, diferencia-se dos PEQs por visar a elevação da fontes, procedimentos e instrumentos de coleta. Os dados
escolaridade de jovens e adultos que não conseguiram de fonte secundária compreenderam os documentos con-
concluir o ensino básico na idade adequada, oferecendo tratuais, instrucionais e orientadores do Planfor e do
cursos de educação supletiva à distância. Assim, a des- Telecurso 2000, a base de dados da Pesquisa Nacional por
peito da influência que um maior nível de instrução possa Amostra de Domicílios (IBGE) e o Registro dos Alunos
ter para a inserção profissional dos indivíduos, reconhe- Inscritos no programa. Nos dois anos de avaliação enfren-
cia-se que esse não era um resultado a ser dimensionado taram-se dificuldades no manuseio dos dados cadastrais
de forma específica como o seria no caso de cursos de dos alunos do programa, decorrentes de problemas de pre-
formação profissional. Além disso, o Telecurso 2000 com- enchimento dos campos de informação sobre os inscritos,
preendia a instalação de telessalas espalhadas por dife- de conceituação das variáveis de caracterização dos mes-
rentes regiões brasileiras. mos, de atualização dos dados cadastrais e de ausência de
Em decorrência, adaptações e ajustes precisaram ser controle da data de entrada das informações.17
introduzidos. Em primeiro lugar, o projeto de avaliação A organização da coleta em fontes primárias foi prece-
definiu hipóteses de investigação e, por decorrência, pro- dida da identificação dos agentes de implementação do
cedimentos metodológicos, fontes e instrumentos de co- programa e de suas atribuições básicas, conformando um
leta orientados pelo objetivo do Telecurso 2000 de elevar modelo de implantação, a priori construído, hierárquico
a escolaridade da população. As análises baseadas em e vertical no processo de tomada de decisões. A recupe-
dados secundários deram prioridade à segmentação da ração e confirmação desse modelo em campo considerou
população segundo o nível educacional em relação ao aces- os agentes em todos os níveis da estrutura identificada,
so ao ensino supletivo e ao grau de ensino concluído. E as utilizando-se de instrumentos de coleta especificamente
análises dos dados primários foram feitas após a adequa- elaborados para atender aos propósitos de avaliar a eficá-
ção dos instrumentos de coleta para investigar as percep- cia e efetividade do Telecurso 2000.
ções e efeitos em diferentes dimensões pessoais e sociais Tendo-se por referência as atribuições dos agentes de
relacionadas à elevação da escolaridade. implementação, foram realizadas entrevistas estruturadas

191
SÃO PAULO EM PERSPECTIVA, 17(3-4) 2003

com o propósito de verificar o cumprimento dos objeti- Avaliação de utilização de medidas de eficácia relaciona-
vos e metas do programa e de identificar o funcionamen- das à inserção no mercado de trabalho e níveis de renda,
to quanto à existência de dificuldades na execução, às ar- os indicadores utilizados para avaliar a eficácia do
ticulações entre agentes de níveis diferentes e às formas Telecurso 2000 representaram o esforço de se adequar à
de relacionamento estabelecidas com a clientela potencial avaliação aos objetivos desse programa, dando-se ênfase
e efetiva. Considerados os dois anos de avaliação, a cole- a indicadores relativos à elevação ou recuperação da auto-
ta qualitativa foi feita com a entidade de coordenação estima e à formação básica e cidadã.
(Fiesp), os parceiros responsáveis, com atuação nacional Complementar à análise da eficácia, a avaliação incluiu
(Fundação Roberto Marinho, Serviço Nacional de Apren- a análise da eficiência do programa. Ou seja, a avaliação
dizagem Industrial – Senai, Confederação Nacional da do Telecurso 2000 não só procurou dar conta da análise
Indústria e novamente a Fiesp), os parceiros organizado- sobre o cumprimento das metas físicas e financeiras soli-
res, com atuação regional (Senai regionais, Instituto Su- citadas pelo Guia de Avaliação em capítulo específico
perior de Administração e Economia da Amazônia e Viva sobre otimização de custos, como compreendeu também
Rio) e os parceiros executores, com atuação local, consti- a exploração das condições organizacionais existentes dos
tuídos por associações comunitárias ou de moradores, agentes envolvidos e dos recursos físicos como parte da
órgãos públicos, sindicatos, cooperativas, etc. Ao lado avaliação. A própria opção metodológica que privilegiou
destes, foram também entrevistados supervisores do pro- a investigação segundo agentes regionais/locais possibi-
grama e orientadores de aprendizagem. litou um ganho analítico adicional que confirma o pressu-
Em relação aos beneficiários, a metodologia de ava- posto de que a implementação não constitui mera etapa
liação recomendava a investigação com treinandos e egres- que operacionaliza decisões ou definições anteriores, to-
sos dos programas. O tempo de implantação do programa madas na fase da formulação de programas. Não obstante
como parte do Planfor exigiu novas adaptações. A primeira o modelo vertical de implantação do Telecurso 2000, os
foi a de ajustar a denominação treinandos – mais adequa- agentes e as estruturas regionais/locais de implementação
da para cursos de capacitação profissional – à real clien- influenciam os resultados do programa, em decorrência
tela do Telecurso 2000, ou seja, alunos de ensino supleti- de diferenças de recursos, dos mecanismos utilizados e
vo de níveis fundamental e médio. A segunda adaptação das formas de articulação com outros agentes e de mobi-
decorreu do calendário de implantação do programa e de lização da população.
duração dos cursos, pois o Telecurso 2000 não dispunha A avaliação da efetividade social do programa não foi
de beneficiários que atendessem ao requisito de 90 a 180 plenamente atingida, mesmo se considerada a pesquisa com
dias após o término do curso e pudessem, assim, ser con- os concluintes em 2001. Ao lado de indicadores, também
siderados egressos. Na avaliação de 2000, toda a cliente- construídos para os alunos, relativos aos níveis de satis-
la do programa freqüentava telessala. E para a de 2001 já fação alcançados e do significado da elevação da escola-
se contava com pequena parcela de beneficiários com tér- ridade para sua vida pessoal, familiar e social, além da
mino de curso, porém em prazo inferior ao requerido para profissional, com os concluintes a ênfase recaiu sobre os
serem egressos. Alterando o foco de investigação para indicadores de comparação entre as situações anterior e
concluintes, posto que mais adequados à real situação, foi posterior à realização do curso quanto a renda, inserção
estruturado um novo grupo de pesquisa que considerou profissional e alguns aspectos da vida familiar e social.
os efeitos imediatos produzidos com o término do curso Longe de se considerar tais indicadores como de impac-
sobre as condições pessoais e sociais dos beneficiários. to, porque não seria de fato possível, a comparação feita
As informações levantadas nas diferentes fontes per- simplesmente mostrou as condições existentes em dois
mitiram chegar a resultados analíticos sobre a eficácia e a momentos e, somente por hipótese, estabeleceu-se algu-
efetividade social do Telecurso 2000, apresentados em ma relação causal entre a situação então atual e as ações
relatório organizado segundo as dimensões de avaliação do programa.
demandadas pela metodologia, não sem ajustes em rela- A análise da efetividade social de um programa com
ção às recomendações do Guia de Avaliação do Planfor. objetivos como os do Telecurso 2000 compreendeu tam-
A avaliação da eficácia do programa foi atingida, vali- bém o significado social da promoção de ações para a ele-
dando os procedimentos adotados para a captação e aná- vação do nível de escolaridade da população para a ex-
lise dos dados. Diferentemente da orientação do Guia de pansão da cidadania e como parte constitutiva de uma

192
AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

política pública de emprego e renda. Conforme as con- cional, com atividades de fortalecimento institucional das
clusões apresentadas, “a execução do Telecurso 2000 con- agências de um programa e de definição e montagem de
verge na direção dos objetivos do Planfor, expressando, sistemas de acompanhamento e de avaliação.
de fato, avanço conceitual, ao integrar ações que visam A metodologia do marco lógico e a de avaliação do
elevar a escolaridade em uma política nacional de gera- Planfor se distinguem pela forma como se relacionam ao
ção de emprego e renda”. Um avanço identificado em três programa que delas faz uso, com forte associação ao pró-
dimensões: “ao promover um bem público de caráter uni- prio momento de seu desenvolvimento e aplicação. Sem
versal às populações que não tiveram oportunidade social desconsiderar o fato de que desde sua origem haveria um
de concluir a educação básica na idade adequada; ao pro- componente de avaliação, a metodologia dos programas
piciar a elevação do estoque de capital humano e, por integrados ao Planfor só se definiu em momento poste-
conseguinte, aumento da produtividade da mão-de-obra rior ao início da sua implantação. Se nessa forma de con-
e, portanto, aumento da competitividade da economia bra- dução da política há um aspecto positivo de construção
sileira; e ao ampliar o escopo do sistema público de em- em processo da metodologia com a contribuição de di-
prego para além de atividades de capacitação profissio- versos atores, não sem polêmicas, permanece também a
nal e intermediação de mão-de-obra.” (Fundação Seade/ sombra da dissociação entre a avaliação e as demais ati-
Fiesp, 2001:108). vidades dos programas. Apesar desse aspecto, tal meto-
dologia se destaca pela clareza na distinção dos conceitos
ATUAÇÃO EM CORTIÇOS de avaliação e de monitoramento e das atividades reque-
E FÁBRICAS DE CULTURA ridas para seu desenvolvimento, bem como na proposi-
ção de dimensões para avaliação, possibilitando resulta-
Os programas Atuação em Cortiços e Fábricas de Cul- dos analíticos baseados em uma interpretação integrada
tura, promovidos pela CDHU e Secretaria Estadual de do comportamento dos agentes, das atribuições das ins-
Cultura, respectivamente, são reunidos em um mesmo item tâncias de implementação e da interação com as popula-
devido a seguirem a mesma metodologia de elaboração e ções potencial e beneficiária.
execução de projetos recomendada pelo Banco Interame- Em relação à metodologia do Planfor, salientamos dois
ricano de Desenvolvimento – BID, parceiro no financia- diferenciais da metodologia recomendada pelo BID.19 O
mento. Para a Fundação Seade, essas experiências se di- primeiro reside no momento em que é montada a matriz
ferenciam das anteriores em alguns aspectos que serão do marco lógico, simultânea à fase de definição do proje-
enfatizados. to de intervenção e anterior ao início de sua implantação.
Dispor dos recursos financeiros do BID é também es- Trata-se de um esforço que pode dar maior clareza aos
truturar projetos seguindo parâmetros razoavelmente rígi- objetivos do programa, dos instrumentos e recursos ne-
dos, definidos em metodologia complexa e ampla, deno- cessários e de antecipação, pelo menos teórica, dos riscos
minada metodologia do marco lógico.18 Em linhas gerais, e oportunidades para atingir os resultados esperados. O
a estruturação dessa metodologia parte da concepção de segundo diferencial dessa metodologia é o esforço de fa-
políticas públicas como processo e estabelece os recursos zer da avaliação parte, de fato constitutiva, do processo
metodológicos que articulam a política pública, seus pro- das políticas públicas. Ao introduzir, desde a montagem
gramas e projetos, e inter-relacionam o que seriam as eta- da matriz, requerimentos para o diagnóstico das condi-
pas de um mesmo programa, desde o diagnóstico da popu- ções existentes e a definição de critérios para interven-
lação-alvo até a definição de critérios para intervenção. ção, o modelo metodológico recomendado propõe as ba-
Segundo seus pressupostos, a avaliação é constitutiva e ses que integram a avaliação às demais ações de um
integrada ao próprio processo da política pública, progra- programa. Uma integração que se constrói em duas dire-
ma e projeto. Para tanto, a ferramenta de base estrutura-se ções. A primeira baseia-se na hipótese de que diagnosti-
em forma de matriz – a matriz do marco lógico – de orga- car a realidade sobre a qual se pretende intervir já é parte
nização, de um lado, dos objetivos, indicadores, meios de da avaliação. E a segunda funda-se no suposto de que esse
aferição e fatores externos a influenciar os resultados do diagnóstico prévio é a condição para o acompanhamento
programa e, de outro, da especificação dos objetivos geral das mudanças nas condições sociais gerais e dos benefi-
e específicos, componentes e atividades. Dentre os com- ciários de um programa após iniciada sua execução e ao
ponentes, inclui-se, em geral, o desenvolvimento institu- seu término. No atendimento desses requisitos é que se

193
SÃO PAULO EM PERSPECTIVA, 17(3-4) 2003

identifica a contribuição feita até o momento pela Funda- posterior à definição de seu objetivo de “buscar a inser-
ção Seade para os programas Atuação em Cortiços e Fá- ção social, familiar e cidadã de crianças e jovens social-
bricas de Cultura. mente vulneráveis mediante a promoção de atividades
A parceria com a CDHU inicia-se com a colaboração culturais”, mas simultânea às definições dos instrumen-
técnica na montagem da matriz do marco lógico do pro- tos de intervenção e escolha das áreas de atuação.
grama, feita por técnicos da própria Companhia e do BID. Consoante a uma estratégia de intervenção localmente
Na continuidade do processo, a participação da Funda- focalizada, mediante parcerias com entidades sociais exis-
ção Seade foi sistemática, com a realização de levanta- tentes, reforma de instalações e construção de “fábricas
mentos, pesquisas e estudos de diagnóstico de cortiços. de cultura” em distritos do município de São Paulo com
Em Santos, as atividades restringiram-se à coleta e análi- concentração de população infantil e jovem e elevados
se socioeconômica dos cortiços identificados pela CDHU índices de violência, o ingresso da Fundação Seade no
com base em mapeamento de uso do solo urbano já dis- projeto foi fundamental, pois atendeu aos requerimentos
ponível. Em São Paulo, as atividades foram diversifica- técnicos para a escolha das áreas para implantação do pro-
das e de maior extensão, compreendendo também a cole- grama. Assim, com base em metodologia especialmente
ta e análise socioeconômica da população encortiçada, criada, a Fundação Seade elaborou o que se denominou
precedida por levantamento cadastral de uso do solo para índice de vulnerabilidade juvenil (IVJ), construído a par-
identificação dos imóveis encortiçados. Essas atividades tir das variáveis: taxa anual de crescimento populacional
somente se realizaram após a definição dos parâmetros entre 1991 e 2000; percentual de jovens, de 15 a 19 anos,
de estruturação da proposta de intervenção relativos às no total da população dos distritos; taxa de mortalidade
alternativas de solução, aos mecanismos de acesso da por homicídio da população masculina de 15 a 19 anos;
população e à escolha das cidades com a delimitação dos percentual de mães adolescentes, de 14 a 17 anos, no to-
setores de intervenção. tal de nascidos vivos; valor do rendimento nominal mé-
As técnicas utilizadas para o levantamento cadastral e dio mensal, das pessoas com rendimento, responsáveis
pesquisa socioeconômica seguem as usuais, à exceção dos pelos domicílios particulares permanentes; e percentual
procedimentos adotados para a identificação dos imóveis de jovens de 15 a 17 anos que não freqüentam escola.
classificados como cortiços.20 A relevância da experiên- Como resultado, foram classificados todos os distritos da
cia, porém, residiu sobretudo nos esforços para integrar capital segundo uma escala de 0 a 100 pontos, em que o
as atividades desenvolvidas e os produtos elaborados às 100 representa o distrito de maior vulnerabilidade, agru-
necessidades do programa, a fim de subsidiar as etapas pados em cinco categorias. Do grupo cinco, com 19 dis-
subseqüentes de elaboração dos projetos para interven- tritos de maior vulnerabilidade juvenil, foram escolhidos
ção em um único setor, em Santos, e em nove setores de- os nove distritos para intervenção. 22
limitados em São Paulo. Da mesma forma que as análises sobre os cortiços, a
Os dados cadastrais e socioeconômicos receberam tra- criação desse índice, integrando-o às necessidades do pro-
tamento georreferenciado, em formato Maptitude, conten- grama das Fábricas de Cultura, introduz a avaliação ao
do a identificação, lote a lote, do uso urbano. Nos lotes processo desses programas como atividade que também
classificados como cortiços foram adicionados dados de analisa e identifica as condições sociais existentes da po-
caracterização física dos imóveis e socioeconômicos da pulação a ser objeto de intervenção pública. Seja com a
população residente, além de fotos. Os dados socioeco- coleta de dados para aprofundar e sistematizar o conheci-
nômicos foram também analiticamente tratados com base mento da população, seja valendo-se do tratamento analí-
em indicadores construídos para expressar o perfil socio- tico e estatístico de dados, essas experiências são exem-
demográfico e educacional, as condições de renda e de plos que podem contribuir para rever procedimentos, com
inserção no mercado de trabalho, estrutura de despesas e a incorporação do uso adequado de dados e informações
comprometimento da renda, condições de moradia e ava- para fundamentar as decisões tomadas na definição de
liação da moradia atual. Dos resultados encontrados sur- propostas de intervenção pública.
preendeu a elevada presença de famílias unipessoais, ten- A continuidade das atividades previstas para a Funda-
do sido objeto de análise mais aprofundada.21 ção Seade atende às demandas do programa Fábricas de
A participação da Fundação Seade no programa Fábri- Cultura de estruturação de sistemas de acompanhamento
cas de Cultura, de implantação ainda não iniciada, foi e avaliação. Ao lado da própria criação desses sistemas,

194
AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

segundo uma concepção que incorpora variáveis de ges- cutadas, metas físicas, metas financeiras, resultados apre-
tão física e financeira do programa, essas atividades in- sentados, etc.), não pode ser confundido com produzir in-
cluem a elaboração de instrumentos de cadastro dos agen- formações. Estas requerem procedimentos de coleta, como
tes do programa – beneficiários, entidades sociais e a definição conceitual das variáveis, regras de consistên-
educadores de arte – e a realização de coleta domiciliar e cia, com padronização e sistematização dos dados. Além
análise de dados socioeconômicos das nove áreas previs- disso, recuperar informações exige procedimentos ágeis
tas para intervenção, acrescidas de uma décima, definida para que se possa acompanhar a execução de programas e
para acompanhamento e controle das mudanças sociais identificar os problemas em seu processo de implementa-
provocadas pela ação pública.23 Como resultado, essas ção. Portanto, dispor de indicadores de acompanhamento
atividades possibilitarão construir, na linguagem do BID, e, se possível, organizados em sistemas estruturados por
a “linha de base” do programa, seja com o diagnóstico variáveis estratégicas à avaliação de processo, é dispor
social prévio dos distritos, seja com o cadastramento dos de instrumental que permita introduzir ajustes para ade-
agentes à medida que ingressam no programa, condição quar metas originalmente propostas, rever procedimentos
técnica necessária para o acompanhamento e avaliação na de execução, mobilizar novos recursos ou redirecionar
fase intermediária de execução, final e após 12 meses de recursos alocados, dentre outros mecanismos que venham
término do programa, previsto para quatro anos. a contribuir para ampliar a eficácia e a eficiência de polí-
ticas ou programas públicos.
CONSIDERAÇÕES FINAIS A metodologia de acompanhamento e avaliação pro-
posta pelo BID e o registro informatizado de inscritos e
As avaliações das ações públicas de provisão habita- empresas do Jovem Cidadão são subsídios à revisão de
cional, intervenção em cortiços, oferta de educação su- conceitos e de procedimentos que podem conduzir à trans-
pletiva a distância, estágio para estudantes de ensino mé- formação de dados em informações. E se, além disso, o
dio e atividades culturais para populações socialmente propósito for o de tornar a avaliação atividade constituti-
vulneráveis, mostram singularidades e regularidades que va do processo das políticas públicas, é preciso avançar
se somam às reflexões sobre metodologias de avaliação, nas discussões para a estruturação de sistemas de infor-
em particular no campo das políticas sociais e sobre o lu- mações para o acompanhamento e a avaliação das políti-
gar da avaliação no processo das políticas públicas. No cas públicas.24
lugar da síntese dessas experiências, dois ou três pontos O segundo ponto é menos um questionamento e mais
devem ser colocados a título de conclusão. um reforço do fato de que a atividade de avaliação se
O primeiro parte da constatação de fragilidade dos cri- realiza pela utilização de diferentes métodos da pesquisa
térios utilizados no registro e armazenamento dos dados social. De acordo com Figueiredo e Figueiredo (1986:109),
dos programas públicos, dificultando e, por vezes impos- os estudos de avaliação podem incluir “a pesquisa de po-
sibilitando seu acompanhamento e avaliação. Quadro se- pulações por amostragem, a análise de dados agregados
melhante ao que enfrentamos na utilização dos dados ca- (também chamada de contabilidade social), a análise de
dastrais no estudo de pós-ocupação habitacional e na conteúdo e a observação participante.” Na avaliação de
avaliação do Telecurso 2000, os analistas de políticas pú- um programa ou política específica, contudo, não são to-
blicas sistematicamente também se deparam, dificultan- dos os métodos de pesquisa social que devem ser utiliza-
do a avaliação de processo, além de, muitas vezes, com- dos; ao contrário, a sua escolha é feita por adequação aos
prometer o acompanhamento gerencial dos programas. objetivos da política ou programa em análise, aos objeti-
Provocar a discussão para promover mudanças desse vos da avaliação e, algumas vezes, à especificidade do
quadro pressupõe dois referenciais: de ordem conceitual, público beneficiário. Diante dos propósitos da avaliação
relativo ao entendimento do significado da “informação” e do programa, os estudos do Programa Jovem Cidadão
no processo das políticas públicas; e ordem operacional, incluem a análise dos dados do programa, a pesquisa cen-
referente aos instrumentos que organizam os dados para sitária de grupos de estagiários, entrevistas estruturadas e
que possam ser recuperados segundo unidades de análise grupos de discussão, por se considerar a necessidade de
padronizadas e com recortes temporais adequados. Assim, informações qualitativas aprofundadas e pelo fato de o
coletar dados, que se materializam na forma de cadastros público jovem ser mais refratário a entrevistas individuais.
ou registros de naturezas distintas (inscrições, ações exe- E a avaliação do Telecurso 2000 incluiu a percepção do

195
SÃO PAULO EM PERSPECTIVA, 17(3-4) 2003

pesquisador dos ambientes regionais diferenciados decor- 9. No momento de elaboração deste artigo, nova pesquisa estava em
andamento, considerando-se os estudantes inscritos no programa no
rentes do modelo de sua implantação. mesmo período e encaminhados para uma vaga de estágio, distinguidos
Por fim, a última questão reconhece que a posição ocu- em alunos admitidos em estágio e que não foram aceitos para estágio.
pada pela avaliação situa-se na fronteira entre a produção 10. O procedimento de coleta é o autopreenchimento, para o que tem
sido fundamental a parceria com a Coordenadoria de Ensino da Gran-
de conhecimentos e a sua aplicação prática para o aper- de São Paulo, da Secretaria Estadual da Educação, que se responsabi-
feiçoamento do sistema das políticas públicas, notadamen- liza pela distribuição e pelo retorno dos questionários.
te no campo das sociais.25 Os estudos realizados permi- 11. O Plano Nacional de Qualificação do Trabalhador foi, em sua ori-
tem identificar distinções, por vezes conflituosas, de gem em 1995, estruturado para ser implementado por meio de Planos
Estaduais de Qualificação (PEQs), executados pelas Secretarias Esta-
conceitos fundamentais à atividade de avaliação, com re- duais do Trabalho e parcerias regionais ou nacionais firmadas para
percussões operacionais, e sugerem o aprofundamento das projetos ou estudos específicos. À medida que era implantado, outras
parcerias foram sendo estabelecidas com heterogeneidade de ações,
noções de eficiência, eficácia e efetividade na avaliação como a firmada com a Fiesp para oferecer ensino supletivo de níveis
de políticas públicas e, de forma correlata, de resultados, fundamental e médio para jovens e adultos.
efeitos, mudanças e impactos. Em um outro plano, essa 12. O processo de avaliação estruturado pelo MTE/SPPE compreen-
deu, até 1999, somente os Planos Estaduais de Qualificação. A par-
questão também diz respeito às prioridades das modali- tir de 2000, os programas das parcerias foram incorporados a esse
dades de avaliação a serem desenvolvidas no interesse das processo.
próprias prioridades da ação pública. Para tanto, é opor- 13. Eficiência é “entendida como grau de aproximação entre o previs-
to e o realizado, em matéria de treinandos, carga horária, abrangência
tuno o questionamento de Vilmar Faria (2002:76) ao co- espacial e setorial, aplicação de recursos, etc.” (MTE, 2000:8).
locar que “mais importante talvez do que a avaliação de
14. Eficácia “se expressa pelo benefício das ações de educação profis-
impacto seja a avaliação de processo de uma política à sional para os treinandos, traduzido em obtenção ou manutenção de
medida que ela vai sendo desenvolvida”. trabalho, geração ou elevação de renda, ganhos de produtividade e
qualidade, integração ou reintegração social”. E efetividade social diz
respeito aos “impactos do Planfor como política pública, do ponto de
vista mais amplo das populações, comunidades ou setores focaliza-
NOTAS dos” (MTE, 2000:8).
15. Para a avaliação de 2001, o Guia de Avaliação do Planfor redefi-
Este artigo é o resultado do trabalho coletivo de pesquisadores, analis- niu algumas dimensões de avaliação sem, contudo, os seus objetivos e
tas e funcionários da Fundação Seade e, em especial, dos técnicos da parâmetros básicos.
Divisão de Estudos Especiais. Agradecemos em particular a Lilia Belluzzo 16. Em 2000, a pesquisa foi feita nos municípios da região metropoli-
e Stella Christina Schrijnemaekers que leram versões preliminares. tana, exceto a capital, e do interior do Estado de São Paulo e do Esta-
1. Essas interpretações foram, em especial, desenvolvidas pelas Ciên- do do Rio de Janeiro, e nas cidades de Manaus/AM e Campina Gran-
cias da Administração que, nas primeiras fases da produção das polí- de/RN e, em 2001, nas cidades de São Paulo e Sorocaba e em cidades
ticas públicas, assumiram posição de preponderância por sua natureza das Regiões Norte e Nordeste.
agregadora dos vários conhecimentos necessários à consecução de ati- 17. O esforço do MTE/SPPE de montagem do Sistema de Informações
vidades burocrático-organizacionais. Ver Carvalho e Costa (1986). Gerenciais sobre Ações de Emprego (Sigae), apesar de bastante abran-
2. Ao seu lado, o governo do Estado de São Paulo promove iniciativas gente em relação aos programas executados, não incluía o Telecurso
de outra natureza, como a urbanização de favelas, recuperação de áreas 2000 no período em que foi feita a avaliação.
de mananciais e, no período mais recente, de recuperação de cortiços 18. Ver Banco Interamericano de Desarrollo, 1997.
em grandes centros urbanos. Contudo, a escala dessas intervenções está
muito distante da oferta de novas unidades habitacionais que continua 19. Não é nosso propósito discutir a metodologia do marco lógico, que
sendo predominante. contém outras vantagens e mesmo desvantagens, e nos ativemos ex-
clusivamente à identificação de alguns aspectos e à forma como se tem
3. O atendimento do critério data de entrega ficou parcialmente preju- dado a participação da Fundação Seade.
dicado em face de o predomínio da produção de moradias no municí-
pio de São Paulo ter ocorrido somente em período mais recente. 20. Ver Fundação Seade/CDHU, maio de 2003.

4. Ver Decreto estadual n 44.860, 27 abr. 2000.


o 21. Com base na metodologia do marco lógico, a Fundação Seade de-
senvolveu também projeto que detalha a metodologia de avaliação para
5. Cabe observar que, em seu desenho original, a proposta de avalia- o Projeto Setorial Pari, no município de São Paulo, correspondente à
ção elaborada incluía também o esforço de investigação dos impactos primeira fase de implantação do programa.
diretos e indiretos sobre a população beneficiária. Como se verá, a ava-
liação restringiu-se aos efeitos produzidos sobre os beneficiários do 22. A metodologia para a criação do IVJ e os resultados obtidos
programa. estão disponíveis na página da Fundação Seade na Internet
<www.seade.gov.br>.
6. O gerenciamento do programa é feito pela Companhia de Processa-
mento de Dados do Estado de São Paulo – Prodesp e os dados são or- 23. Essa pesquisa vale-se da experiência acumulada pela Fundação
ganizados em duas bases: de alunos inscritos e de vagas ofertadas. Seade com a Pesquisa de Condições de Vida (PCV), realizada desde
1990, orientada para a investigação das condições de pobreza da po-
7. Ver <www:seade.gov.br>. pulação urbana.
8. Ao longo desse período, vários aperfeiçoamentos foram introduzidos 24. Complementar, com perspectivas de integração, à montagem des-
nos boletins como resultado do diálogo com os gestores do programa e ses sistemas somam-se os cadastros únicos de beneficiários potenciais
de ajustes na base gerencial dos dados de inscritos e empresas. implantado pelo governo federal em 2001, articulado aos programas

196
AVALIAÇÃO DE PROGRAMAS SOCIAIS: BALANÇO DAS EXPERIÊNCIAS E...

sociais de transferência de renda e em elaboração pelo governo do Es- ________ . Avaliação Externa do Programa Telecurso 2000. Relató-
tado de São Paulo, com o Cadastro Pró-social. rio Final. Contrato Seade/Federação das Indústrias do Estado de
25. Ou, como propôs Vilmar Faria (2002), de reestruturação do siste- São Paulo, jan. 2001.
ma das políticas sociais às condições socioestruturais do período mais FUNDAÇÃO SEADE/SERT. Avaliação do Programa Jovem Cidadão:
recente. Meu Primeiro Trabalho. Relatório de análise II: Pesquisa quali-
tativa com escolas que aderiram ao PJC. Contrato Seade/Sert, dez.
2002a.
REFERÊNCIAS BIBLIOGRÁFICAS ________ . Avaliação do Programa Jovem Cidadão: Meu Primeiro
Trabalho. Relatório IV: Pesquisa quantitativa com estagiários de
setembro de 2002. Contrato Seade/Sert, dez. 2002b.
BANCO Interamericano de Desarrollo. Una herramienta de gestion
para mejorar el desempeño de los projectos. S.l. 1997. ________ . Avaliação do Programa Jovem Cidadão: Meu Primeiro
Trabalho. Relatório de análise III: Pesquisa qualitativa com mo-
CARVALHO, S.N. de; COSTA, V. da. Problemas da análise de políti-
nitores do PJC. Contrato Seade/Sert, nov. 2002.
cas públicas: formulação, implementação e avaliação. Trabalho
apresentado na X REUNIÃO ANUAL DA ANPOCS. Campos do ________ . Avaliação do Programa Jovem Cidadão: Meu Primeiro
Jordão/SP, 1986. Trabalho. Relatório V: Pesquisa quantitativa com estagiários de
SÃO PAULO (Estado). Decreto no 44.860, de 27 de abril de 2000. Ins- abril e agosto de 2001. Contrato Seade/Sert, set. 2002.
tituição do Programa Jovem Cidadão: Meu Primeiro Trabalho. ________ . Avaliação do Programa Jovem Cidadão: Meu Primeiro
FARIA, V. Políticas públicas e governabilidade: desafios teóricos e prá- Trabalho. Relatório VII: Pesquisa qualitativa com ex-estagiários.
ticos. In: FAUSTO, A. (Org.). Desenvolvimento e integração na Contrato Seade/Sert, jun. 2002.
América Latina e no Caribe: a contribuição das Ciências Sociais. ________ . Avaliação do Programa Jovem Cidadão: Meu Primeiro
Brasília: IPRI/Funag/Flacso/Ministério da Cultura, 2002. p.65-81. Trabalho. Relatório II: Perfil e avaliação das empresas. Contrato
FIGUEIREDO, M.F.; FIGUEIREDO, A.C. Avaliação política e ava- Seade/Sert, mar. 2001.
liação de políticas: um quadro de referência teórica. Análise & INSTITUTO POLIS/OIT. Organização Internacional do Trabalho. Cons-
Conjuntura, Belo Horizonte, v.1, n.3, p.107-127, set./dez. 1986. trução de indicadores de avaliação de programas sociais: sistema-
FUNDAÇÃO SEADE/CDHU. Programa de Atuação em Cortiços: tização a partir dos programas sociais desenvolvidos pelas prefei-
Levantamento cadastral e pesquisa socioeconômica. Município de turas de Santo André e São Paulo e pelo Governo do Estado de
São Paulo, maio 2003. São Paulo. Relatório final. jun. 2003.
________ . Definição de metodologia de acompanhamento e ava- LAMOUNIER, B. Análise de políticas públicas: quadro teórico-me-
liação do Programa de Atuação em Cortiços – PAC, mar. 2002. todológico de referência. s.d. Mimeografado.
________ . Análise da regularidade de ocupação das unidades habi- MINISTÉRIO DO TRABALHO E EMPREGO. Plano Nacional de
tacionais comercializadas na Capital e Grande São Paulo. Relató- Qualificação do Trabalhador: guia de avaliação. Brasília, 2000.
rio final. Contrato Seade/CDHU, fev. 2000. (Série Referenciais de Planejamento).
________ . Análise da regularidade de ocupação das unidades habi-
tacionais comercializadas na Capital e Grande São Paulo. Relató-
rio de andamento. Contrato Seade/CDHU, dez. 1999.
FUNDAÇÃO SEADE/FIESP. Avaliação Externa do Programa SONIA NAHAS DE CARVALHO: Socióloga, Chefe da Divisão de Estudos
Telecurso 2000. Relatório Final. Contrato Seade/Fiesp, jan. 2002. Especiais da Fundação Seade (sonahas@seade.gov.br).

197