PROJETO Avaliao do Impacto Distributivo e Elaborao de
Sistemtica de Monitoramento do Programa Nacional de Alimentao Escolar PNAE 1
1. OBJETIVOS
O projeto "Avaliao do Impacto Distributivo e Elaborao de Sistemtica de Monitoramento do Programa Nacional de Alimentao Escolar" teve como objetivo geral avaliao do Impacto Distributivo do PNAE e elaborao de uma sistemtica de monitoramento que confira maior eficincia, eficcia e efetividade gesto do PNAE. Neste contexto, foram desenvolvidas atividades especficas de planejamento, concepo e realizao de pesquisa de campo, com posterior organizao e anlise dos resultados, bem como apresentada proposta de sistemtica de monitoramento da gesto do PNAE. Os objetivos especficos foram: Avaliar o impacto distributivo e aperfeioar a execuo do PNAE; Avaliar a atuao dos Conselhos de Alimentao Escolar CAEs; Verificar a variabilidade regional quanto a hbitos alimentares e seu impacto sobre custos de aquisio de produtos, para eventual adoo de valores per capita diferenciados; Conhecer o nvel de aceitabilidade da alimentao oferecida pelas Entidades Executoras EE's do Programa; Identificar meios de tornar ainda melhor a alimentao oferecida pelo Programa; Identificar problemas relacionados s diversas etapas de execuo do PNAE; e, Conhecer e divulgar formas e prticas gerenciais que mais tm contribudo para o funcionamento do Programa, tanto na produo dos servios de alimentao, quanto no alcance dos resultados esperados.
2. CONTEXTUALIZAO DO PROJETO
1 Projeto desenvolvido pelo Consrcio Booz Allen Logos, formado pelas empresas Booz Allen & Hamilton do Brasil Consultores Ltda. e Logos Engenharia S.A, com subcontratao da empresa Vox Populi Mercado e Opinio S/C Ltda para a realizao da pesquisa sobre Impacto Distributivo do PNAE, no mbito do Programa de Modernizao do Poder Executivo Federal. Vigncia do Projeto: 23 de julho de 2001 a 11 de maro de 2002. 2 O Fundo Nacional de Desenvolvimento da Educao, autarquia do Ministrio da Educao, responsvel por captar e distribuir recursos financeiros para vrios programas e projetos do Ensino Fundamental. Com uma poltica descentralizada, o FNDE faz com que os recursos geralmente cheguem de forma direta a cada Prefeitura e a cada escola. O Programa Nacional de Alimentao Escolar - tambm conhecido como 'Programa da Merenda Escolar' - o mais antigo programa social do Governo Federal na rea da Educao. O PNAE repassa recursos para alimentar cerca de 37 milhes de estudantes do Ensino Fundamental por dia, durante os 200 dias do ano letivo. Desde sua criao, em 1954, at 1993, o PNAE foi gerenciado de forma centralizada pelo Governo Federal. De 1994 a 1998 a execuo do Programa foi descentralizada por meio da celebrao de convnios com os Estados, Distrito Federal e Municpios. A partir de 1999, promoveu-se a ampla redefinio de funes e responsabilidades entre rgos envolvidos no programa. A descentralizao significou a transferncia da execuo do PNAE do nvel federal para os nveis estadual e municipal. Estes passaram a receber os recursos diretamente do FNDE para a execuo do programa. Por meio desta ltima mudana do PNAE, os Estados, Distrito Federal e Municpios foram denominados Entidades Executoras. Ou seja, o FNDE repassa os recursos para as entidades responsveis pela execuo do programa. Este recurso destinado, exclusivamente, compra e distribuio de alimentos para os alunos das escolas pblicas e entidades filantrpicas. O objetivo do PNAE fornecer recursos suplementares para garantir que 15% das necessidades nutricionais dirias das crianas matriculadas na Pr- Escola e no Ensino Fundamental sejam atendidas. A complementao alimentar fica a cargo dos Estados, DF e Municpios beneficiados, conforme estabelecido na Constituio. Ao atender 22% da populao brasileira, a Merenda Escolar garante, no mnimo, uma refeio diria, ao mesmo tempo em que atua na formao de bons hbitos alimentares. So diversos os agentes participantes do PNAE, a saber: 1. FNDE - responsvel pela normatizao, assistncia financeira, coordenao, acompanhamento, cooperao tcnica e fiscalizao da aplicao dos recursos; 2. Entidades Executoras - recebem do FNDE a verba do PNAE para executarem o programa Merenda Escolar. So Entidades Executoras: a) Secretarias de Educao dos Estados e do Distrito Federal - atendem s escolas da rede estadual e s escolas pblicas do Distrito Federal; b) Prefeituras Municipais - assistem as escolas municipais, as mantidas por entidades filantrpicas e as escolas da rede estadual, quando delegadas pela Secretaria de Educao dos Estados; e c) Escolas Federais; e, 3 3. Conselhos de Alimentao Escolar - CAE, colegiados compostos por representantes dos Poderes Executivo e Legislativo, dos professores, dos pais de alunos e de outros segmentos da sociedade local. O CAE, dentre outras atividades, assessora e fiscaliza a aplicao do dinheiro recebido pelas Entidades Executoras.
4. METODOLOGIA ADOTADA
O estudo desenvolvido pela Consultoria consistiu em duas etapas distintas, em adio Etapa Inicial de planejamento e organizao do projeto: Etapa I Pesquisa sobre o Impacto Distributivo, Anlise Comparativa com Pesquisas Anteriores e Anlise Scio-Econmica; e, Etapa II Proposio de Sistemtica de Monitoramento do PNAE. A Etapa I teve como objetivo geral realizao de pesquisa sobre o impacto distributivo do PNAE, a anlise scio-econmica de seus resultados e a anlise comparativa com os dados gerados nas pesquisas de 1997 e 1999. Os objetivos especficos foram o de fornecer resultados maximamente detalhados para a avaliao do PNAE e para o estabelecimento de parmetros para a construo de indicadores, e fornecer subsdios aos trabalhos da Etapa II. A Etapa I foi desdobrada em quatro atividades, a saber: Atividade 1 Preparao. Compreendeu a seleo de variveis e definio da amostra e dos instrumentos para coleta de dados, a realizao do workshop com equipe do PNAE para discusso do planejamento da pesquisa, a elaborao e pr-teste dos instrumentos de pesquisa e a anlise dos resultados do pr-teste e aprovao dos instrumentos. Atividade 2 Pesquisa. Compreendeu o treinamento das equipes de campo, as entrevistas com Entidades Executoras - EE's e CAE's, no nvel municipal, a realizao da pesquisa de campo e entrevistas pessoais nas escolas, EE's e CAE's, a organizao e anlise dos resultados e um workshop para discusso dos resultados da pesquisa com a equipe do PNAE. Na pesquisa junto s instituies de ensino, a amostra de 3.809 escolas entrevistadas foi calculada para garantir uma margem de erro entre 6% e 10%, com um intervalo de confiana de 95%, para cada um dos 27 Estados brasileiros de modo a garantir os resultados relativos: ao porte do municpio; porte da escola; s regies geogrficas; localizao; ao tipo de vinculao e ao modelo de operacionalizao do programa. Em cada instituio sorteada foram entrevistados o diretor, a merendeira e um aluno. No caso da pesquisa junto aos pais de alunos, membros dos CAE's, foram realizadas 324 entrevistas em todo o Brasil, amostra que, considerando as 4 variveis envolvidas, propiciou um intervalo de confiana de 95%, com margem de erro de aproximadamente 5%. A pesquisa foi realizada sob a coordenao da Consultoria e executada pela Vox Populi Mercado e Opinio S/C Ltda.
Atividade 3 Anlise Comparativa entre as Pesquisas. Compreendeu a seleo e formatao dos itens e respectivos resultados a serem comparados - pesquisas de 1997, 1999 e aquela realizada neste projeto -, Em virtude de diferenas metodolgicas entre as pesquisas (as de 1997 e 1999 foram sob a forma de questionrios enviados e a deste projeto foi presencial), no foi possvel comparar informaes desagregadas.
! No questionrio junto a Escolas foram investigados os seguintes aspectos: " Diretores # Caracterizao da unidade escolar; # Comparao das matrculas em 2000/2001; # Os alunos e a merenda escolar; # Outras pessoas envolvidas nas atividades de merenda; # Contribuies recebidas pela escola; # Modelos Operacionais; # Avaliao da gesto e controle de atividades bsicas para o sucesso do PNAE; # Conhecimento e avaliao de aspectos gerais do PNAE; e, # Caracterizao do Diretor.
" Merendeiras: # Conhecimento sobre o planejamento dos cardpios; # Se a escola segue o cardpio recomendado; # Se a escola prepara a merenda ou recebe pronta; # Treinamentos; # Avaliao da merenda oferecida aos alunos; e, # Caracterizao da merendeira. " Alunos # Avaliao da merenda; e, # Caracterizao dos alunos. 5 Atividade 4 Anlise Scio-Econmica dos Resultados da Pesquisa. Compreendeu o levantamento de informaes sobre aspectos relevantes do programa e o cruzamento das informaes da Pesquisa realizada no contexto deste projeto com as variveis socio-econmicas e as anlises e concluses.
Por sua vez, a Etapa II teve como objetivo geral elaborar uma sistemtica de monitoramento da execuo do PNAE, com os seguintes objetivos especficos: $ Avaliar: Os diversos procedimentos de aquisio e armazenamento dos gneros alimentcios; Os diversos mecanismos de controle de qualidade adotados pelas Entidades Executoras; -- O impacto das diferenas locais de hbitos alimentares no custo das refeies e seu impacto sobre o valor per capita; A incorporao, pelos responsveis nas diferentes instncias do Programa, do contedo relativo a suas atribuies e competncias; e, O funcionamento e as atividades dos CAE's. $ Desenvolver: O desenho bsico de uma sistemtica de monitoramento da gesto do PNAE para instrumentalizao das Entidades Executoras; $ Apresentar recomendaes e sugestes para o aumento da eficincia, eficcia e da efetividade do PNAE. A Etapa II foi desdobrada em seis atividades, a saber: Atividade 1 Melhores Prticas de Gesto da Merenda Escolar. Compreendeu a seleo e realizao de entrevistas e depoimentos e a definio de aspectos crticos envolvidos no processo de gesto para apurao de melhores prticas e a definio de melhores prticas e benchmarking em cada um dos aspectos eleitos. Relatrio com a abordagem de Benchmarking e Melhores Prticas de Gesto do PNAE: a apresentao de algumas melhores prticas teve como objetivo a criao de um mecanismo que facilite o acesso das Entidades Executoras na busca de aprimoramento continuo de suas prticas de trabalho atravs da observao e troca de experincias com organizaes congneres. Foram consideradas seis matrizes como padro de referncia para a classificao de melhores prticas no mbito das EE's, apresentando, de forma sucinta, nove experincias que foram consideradas casos de sucesso.
Atividade 2 Desenho Inicial da Sistemtica de Monitoramento. 6 Compreendeu a definio do conjunto de informaes pertinentes ao processo de monitoramento com a apurao da periodicidade da gerao dessas informaes; identificao das fontes das informaes; identificao dos responsveis pela coleta e anlise das informaes; entendimento dos meios que so ou devero ser utilizados para seu registro e armazenamento -, o mapeamento dos loci de produo das informaes, a definio preliminar dos indicadores necessrios ao monitoramento e o workshop para verificao dos resultados preliminares com a equipe do PNAE. Atividade 3 Validao dos Indicadores de Monitoramento. Compreendeu a incorporao dos parmetros estabelecidos com base nas informaes das entrevistas no nvel estadual e pesquisa de campo e o workshop de validao com a equipe do PNAE. Foram aperfeioados os indicadores que compem os painis e explicitadas as formulas de clculo para obteno desses indicadores. Tambm foram desenvolvidos instrumentos sugerindo padres a serem adotados na verificao e anlise de situaes e condies operacionais do Programa, para a determinao de alguns indicadores no mensurveis quantitativamente. Atividade 4 Sistemtica de Monitoramento da Gesto pelas Entidades Executoras Compreendeu a ratificao das informaes pertinentes sistemtica de monitoramento, o desenho bsico de processos e instrumentos com o direcionamento para a instrumentalizao das Entidades Executoras e a definio de responsabilidades, com a montagem dos Painis de Controle de Gesto dos centros de responsabilidade do programa. Adicionalmente s atividades previstas, foram realizadas outras que, no decorrer do projeto, mostraram-se pertinentes ao completo encadeamento lgico dos trabalhos, a saber: Pesquisa com as Entidades Executoras Municipais: o objetivo desta pesquisa foi o de conhecer e avaliar as formas de atuao que as Entidades Executoras Municipais desenvolvem quanto aos temas principais do programa. A pesquisa foi realizada atravs de um questionrio especfico, enviado para os municpios selecionados, juntamente com um envelope j postado para a resposta. Foram enviados 399 questionrios, tendo se observado uma taxa de retorno de 44%. Os dados obtidos foram consolidados em um Banco de Dados digitalizado, repassado ao FNDE. Entrevistas no Nvel Estadual: Compreendeu a seleo e sistematizao das informaes obtidas nas entrevistas com representantes das respectivas Entidades Executoras estaduais e pais de alunos, membros do CAE estadual, bem como a avaliao das informaes. Os resultados foram organizados em dois bancos de dados, segundo os dois conjuntos amostrais definidos, sendo encaminhados para o FNDE, juntamente com os relatrios de anlise, em complementao aos produtos formalmente previstos em contrato. 7
5. RESULTADOS ALCANADOS
O projeto concebeu um conjunto articulado de mecanismos e ferramentas de gesto para o aperfeioamento da sistemtica de monitoramento do Programa Nacional de Alimentao Escolar PNAE, nos nveis federal, estadual e municipal alm da prpria unidade escolar, baseado em princpios de desburocratizao de procedimentos e operaes, contando ainda com indicadores de resultados e de processos detalhadamente definidos, constituindo-se assim na base fundamental de um sistema de informaes gerenciais e, por extenso, num arcabouo de alta relevncia no contexto das polticas sociais. Dentre os principais indicadores definidos, destacam-se: ndice de Crescimento do Pblico Alvo - ICPA, que mede a relao entre o nmero de alunos efetivamente beneficiados pelo PNAE no ano em exerccio com o nmero de alunos beneficirios constantes do Censo do exerccio anterior; ndice de Cobertura do Programa ICP, que mede o nmero de alunos beneficiados em relao ao nmero de alunos matriculados no ano em exerccio; Indicador de Atendimento da Alimentao Escolar, que calcula o total de pessoas que merendam em relao ao nmero de alunos beneficirios constantes do Censo do exerccio anterior; ndice de Regularidade do Repasse, que calcula o nmero de remessas sem atraso em relao ao total de remessas; e, ndice de Suficincia do Valor per Capita, que calcula o valor per capita repassado pelo FNDE em relao ao valor efetivamente praticado.
O impacto das diferenas locais de hbitos alimentares no custo das refeies e seu impacto sobre o valor per capita, embora constante dos objetivos do projeto no puderam ser avaliados pela pesquisa devido a problemas identificados na gesto, planejamento e execuo dos cardpios. Tal informao permitiu ao FNDE implementar oficinas de orientao e sensibilizao de nutricionistas, projeto especfico para avaliao do impacto das diferenas regionais e custo de refeies. A pesquisa sobre o impacto distributivo do PNAE, com base de dados e anlises sobre o desempenho do PNAE e da satisfao de seu pblico-alvo e outros "stakeholders" em todo o pas, constituiu a mais ampla e detalhada iniciativa de levantamento de informaes com relevncia estatstica sobre o Programa at hoje realizada, atravs de entrevistas presenciais realizadas diretamente com agentes fundamentais para o seu sucesso e avaliao de processos e resultados. Os relatrios individuais da pesquisa sobre o impacto distributivo do PNAE, contendo os dados desagregados por Estados e Regies, est sendo 8 sistematizado pelo FNDE, a fim de permitir o acompanhamento do PNAE no sentido de estabelecer aes que promovam melhorias de indicadores chave que se mostraram distintos entre Estados e Regies. Resultados preliminares conduziram o FNDE a estabelecer parcerias com Ministrio da Agricultura, Pecuria e Abastecimento e Agncia Nacional de Vigilncia Sanitria, a fim de serem corrigidas as distores nas diversas dimenses de gesto do PNAE. A Avaliao de Melhores Prticas de gesto do PNAE no mbito de Entidades Executoras municipais, abordagem que constitui ponto de partida para evolues subsequentes no estabelecimento de parmetros de maior capacitao nas diversas dimenses de gesto do Programa, cotejou diferentes ferramentas de gesto e modelos organizacionais e de gesto do programa desenvolvidos localmente.
6. CONCLUSES
O Programa Nacional de Alimentao Escolar, pelos resultados obtidos na avaliao realizada no contexto do projeto, mostrou ser uma ao com ampla repercusso positiva na sociedade brasileira, principalmente no que se refere sua dimenso operacional. O FNDE, entendendo a necessidade de instrumentalizar os Conselhos de Alimentao Escolar (CAE) para o Acompanhamento e Monitoramento do PNAE, desenvolveu um software denominado Sistema - SAM/PNAE, composto de dois mdulos: CAE e ESCOLA que permite o acompanhamento da eficincia, eficcia e efetividade do programa, por meio de indicadores qualiquantitativos. No ano de 2002, foram capacitados 545 municpios plos que esto implantando o SAM em seus municpios bem como procedendo a sua multiplicao para a microregio de abrangncia. Todavia, o FNDE entende que existem ainda oportunidades de melhoria relacionadas, em especial, dimenso de gesto. Dentre essas oportunidades, o detalhamento pelo projeto da sistemtica de monitoramento do programa pelas suas entidades executoras, bem como o Sistema SAM/PNAE, desenvolvido pelo FNDE para a instrumentalizao do CAE, constituem em iniciativa concreta para o enfrentamento dos desafios de eficincia e eficcia da administrao pblica.
6. EQUIPE DO PROJETO
A equipe do FNDE foi composta pelos seguintes profissionais: Diretora de Aes de Assistncia Educacional: Maria Elza da Silva Gerente do PNAE: Elizabeth Menezes 9 Coordenadora Nacional do Sistema de Acompanhamento e Monitoramento do PNAE e consultora do FNDE: Profa. Maria Antnia Martins Galeazzi
Por parte do Consrcio Booz Allen Logos, com um total estimado de 3.260 horas, participaram os seguintes consultores: Scio Responsvel pela BAH: Luiz F. M. Vieira Scio Responsvel pela Logos: Jair Roxo Gerente do Projeto: Miguel Luiz M. Noronha Equipe de Consultores: Catarina Guarnieri Gileno Schaden F. Marcelino Jackson Tong Jos Nogueira Filho Jos Paulo R. Santiago Roberto Issao Kimura Durval Barcellar Junior Sebastio Melega Burin Vanya Mundin Sant`Anna Maximino Laschiavo de Barros Fernando Assumpo Galvo Fuad Jorge Rose Marie Inajosa Sinsio Bachetto Jos Roberto Felicssimo Carlos Alberto Monteiro de Aguiar Tancredo Vasconcellos Neto Em adio equipe de consultores, o projeto contou com o suporte da Vox Populi Mercado e Opinio S/C Ltda. na execuo da Pesquisa sobre Impacto Distributivo do PNAE, com equipe cuja coordenao esteve a cargo de Ludimila Rosseti Calijorne.
Ministrio do Planejamento, Oramento e Gesto. Evelyn Levy - Secretria Maria Marlene Almeida Diretora de Programa Viviane Soares Gerente de Projetos.