Escolar Documentos
Profissional Documentos
Cultura Documentos
Prefeito Diretor
José Sarto Nogueira Moreira Fabrizio Cardoso Rigout
Vice-Prefeito Coordenação
José Élcio Batista Carla Sanche
Avaliadores
Coordenadoria Especial de Andreia Skackauskas Vaz de Mello
Políticas Públicas de Juventude Bruno Rizardi
Tomaz Vicente
Secretário
Referente Produto 5 Davi Gomes Barroso Equipe de Apoio
21-82071 CDD-371.2
Agradecimentos
Equipes do Instituto CUCA, das unidades dos
CUCAs, jovens, moradores, técnicos e gestores
que contribuíram com seu tempo e suas ideias.
MENSAGEM DO PREFEITO
A Prefeitura de Fortaleza acredita no potencial criativo das ju- realizadas reflexões conjuntas sobre os públicos-alvo, as ações
ventudes e contribui com ações diretas para a promoção do desenvolvidas e seus objetivos, o percurso para se alcançar a
protagonismo dos jovens como um caminho para o exercício transformações na vida dos jovens e os fatores externos que
da cidadania. Ao longo dos últimos anos, construímos uma influenciam no alcance dos resultados desejados.
importante rede de proteção social voltada às juventudes da
Cidade, com a finalidade de ampliar os direitos de cerca de A pesquisa resultou em uma “Sistemática de Monitoramento,
730 mil jovens fortalezenses entre 15 e 29 anos. Avaliação e Aprendizagem”, onde foram desenvolvidos ins-
trumentos de monitoramento e avaliação e destaca ainda
A Rede CUCA, principal braço das políticas de juventude da o compromisso, engajamento e a participação não apenas
nossa Cidade, presente nos bairros do Jangurussu, José Wal- dos técnicos e gestores da Rede CUCA, mas, também, dos
ter, Mondubim, Pici e Barra do Ceará, desenvolve atividades pais/responsáveis e, principalmente, dos jovens que utilizam
e ações que garantem acesso a áreas extremamente impor- e frequentam os equipamentos de juventude. As considera-
tantes, como educação, saúde, cultura, trabalho, esporte, la- ções apresentadas contribuem diretamente para o aperfei-
zer, assistência social, segurança e participação política. çoamento da gestão pública.
No último ano, enfrentamos com absoluta firmeza os desa- Estes resultados são possíveis quando o poder público e a
fios impostos pela pandemia. Diversos jovens da nossa cida- sociedade civil definem planos e ações para proteger, capa-
de encontram nos equipamentos da Rede CUCA um lugar citar e gerar oportunidades aos nossos jovens. Estas ações,
de acolhimento e de segurança. Entregar para a juventude executadas de maneira integrada, proporcionam um aten-
da cidade um serviço de referência só é possível com a cons- dimento de qualidade à juventude de Fortaleza, oferecendo
6 7
MENSAGEM DO SECRETÁRIO
Com aproximadamente 30% de sua população formada cia social, participação política e melhorar os mecanismos de
por jovens e concentrada em áreas de baixo IDH, Fortale- acompanhamento da nossa juventude.
za possui a maior rede de proteção social voltada para as
juventudes do país. Construir e fortalecer esta teia nas peri- Neste sentido, a construção do Quadro Lógico dos Projetos
ferias tem sido um desafio e um compromisso da Prefeitura e das Atividades da Rede CUCA irá auxiliar no monitora-
de Fortaleza ao longo dos últimos anos. mento, acompanhamento e na avaliação dos serviços ofer-
tados pela Coordenadoria Especial de Políticas Públicas de
O maior braço da nossa rede de proteção social para o setor Juventude de Fortaleza. Com os instrumentos de monito-
juvenil é - sem dúvidas - a Rede CUCA. Presentes em ter- ramento e avaliação apresentados por esta pesquisa será
ritórios estratégicos, os Centros Urbanos de Cultura, Arte, possível observar, por exemplo, se a implementação de
Ciências e Esporte de Fortaleza atendem, prioritariamente, programas através da Rede CUCA atende aos resultados e
jovens de 15 a 29 anos, residentes em áreas de alta vul- impactos esperados tanto pela gestão pública quanto pe-
nerabilidade. A constante ampliação da política pública de los jovens que utilizam nossos serviços.
juventude na Cidade possibilita a promoção e a ampliação
dos direitos dos nossos jovens. Nosso compromisso, além de ampliar as ações e atividades
já ofertadas pela Coordenadoria, é entregar aos jovens da
Com os desafios impostos pela pandemia, é cada vez mais Cidade um serviço de excelência. Garantindo seus direitos
importante fortalecer as políticas públicas envolvendo toda a e investindo nos sonhos e projetos da nossa juventude, es-
sociedade para estruturar uma ampla rede de proteção social tamos construindo uma cidade cada vez mais justa, frater-
que garanta acesso à educação, saúde, lazer, esporte, assistên- na e menos desigual.
8 9
O Quadro Lógico da Rede CUCA é pensado para que o ciclo
avaliativo envolva seus públicos e agentes implementadores
num processo contínuo de análise crítica dos resultados
obtidos e de questionamento sobre as ações empreendidas,
seu contexto e suas premissas.
10 11
ÍNDICE LISTA DE SIGLAS E ABREVIAÇÕES
06 TEXTO - PREFEITO CEPPJ Coordenadoria Especial de Políticas Públicas de Juventude
CUCA Centros Urbanos de Cultura, Arte, Ciência e Esporte
08 TEXTO - SECRETÁRIO
MAAp Monitoramento, Avaliação e Aprendizagem
10 TEXTO - PLAN EVAL
M&A Monitoramento e Avaliação
14 RESUMO EXECUTIVO QdL Quadro Lógico
12 13
RESUMO EXECUTIVO
O presente documento, Relatório Final, traz os resultados da da cidade ao mesmo tempo em que estimula os jovens a volvidas e seus objetivos, o percurso para se alcançar as programas sociais. Nesse sentido, considerou-se a relevância
consultoria para a construção do Quadro Lógico dos Projetos buscar essas oportunidades de forma proativa. transformações na vida dos jovens e os fatores externos da apresentação de possíveis caminhos para a utilização das
e das Atividades da Rede CUCA. Além disso, incorpora os tra- que influenciam o alcance dos resultados. ferramentas construídas. Foram, então, desenvolvidos os ins-
balhos de revisão da Teoria de Mudança e de elaboração da O processo de construção do Quadro Lógico começou com trumentos de monitoramento e avaliação, além de conside-
Matriz de Indicadores, dos Instrumentais de Monitoramento a revisão da Teoria de Mudança feita a partir de uma análise De posse da nova Teoria de Mudança, a equipe da Plan Eval rações metodológicas sobre cada um dos processos.
e Avaliação e do Guia Metodológico. qualitativa estruturada, que contou, primeiramente, com a re- realizou uma nova rodada de participação das partes interes-
alização do desk review e de entrevistas semiestruturadas com sadas (jovens e gestores) por meio de oficinas para validação Os instrumentos de monitoramento e avaliação foram
A Rede CUCA, oficializada em 2014 - com a conclusão das os principais gestores da Rede CUCA e com os membros das e construção do Quadro Lógico e da Matriz de Indicadores. testados com seus respectivos públicos, a fim de validar
três unidades – Barra do Ceará, Jangurussu e Mondubim comunidades onde se encontram as três unidades da Rede. Resultaram desse trabalho coletivo os indicadores, a periodici- a aplicabilidade dos formulários e o entendimento do
- se transformou em um grande aparato municipal de pro- Em seguida, foram realizados grupos focais com profissionais dade de coleta, bem como premissas internas e externas. público sobre as perguntas e possíveis divergências nas
teção social e oportunidades que atende, prioritariamente, (técnicos) que fazem parte das equipes dos CUCAs e com jo- alternativas das respostas. Os eventuais problemas perce-
jovens de 15 a 29 anos, oferecendo cursos, práticas espor- vens que frequentam os equipamentos. Todo esse trabalho foi consolidado em uma “Sistemática bidos nos testes foram corrigidos e os formulários atua-
tivas, difusão cultural, formações e produções na área de de Monitoramento, Avaliação e Aprendizagem”. Este últi- lizados. Todos estes materiais têm por objetivo gerar um
comunicação e atividades que têm como intuito fortalecer A partir do conjunto de informações levantadas, a equi- mo elemento - Aprendizagem - não fazia parte do escopo mecanismo de checagem e correção de rota em relação
o protagonismo juvenil e realizar a promoção e garantia de pe da Plan Eval realizou um processo de interação com as original proposto, mas foi incluído ao final pela equipe de à Teoria de Mudança, ou seja: a partir dos dados coleta-
direitos humanos1. De acordo com os gestores responsáveis, partes interessadas, por meio de oficinas remotas, para a consultores a partir da compreensão de que as avaliações dos e tratados, é possível observar se a implementação
os CUCAs formam uma ampla estrutura que tem como obje- revisão da Teoria de Mudança. Este trabalho englobou a e os processos de monitoramento precisam ser úteis ao do programa através da Rede CUCA está atendendo aos
14 15
“Podemos dizer que todos os jovens brasileiros vulneráveis. Cerca de 60% desses jovens vivem em famí- As adolescentes também vêm se tornando cada vez mais vítimas
têm a mesma oportunidade? Claro que não. lias pobres, localizadas nas áreas de maior violência6. Entre diretas da rivalidade entre facções criminosas, sendo violenta e
Então vamos sempre falar: juventudes. O que aqueles com mais de 25 anos, 41% abandonaram os estu- fisicamente agredidas12. Já a gravidez precoce, como principal
existe são juventudes brasileiras”. dos ainda nos anos iniciais. Entre aqueles de 15 a 29 anos, fator que prejudica a permanência das jovens na escola, aparece
24% são desempregados; os que não estudam e nem traba- ainda como uma preocupação entre órgãos públicos e organis-
“O jovem pode sonhar. Mas como o jovem lham constituem 28,9% dos jovens7. mos internacionais. A taxa de nascidos vivos de mães de 10 a 19
anos é de 13,3% só em Fortaleza - no Brasil essa taxa é de 15,5%13.
pode sonhar? Qual jovem tem capacidade, ou
Embora na Avaliação de Impactos Sociais e Econômicos realizada
tem tempo para sonhar?”2
em 2017 parte dos moradores das comunidades tenha apontado Dado esse cenário, muitas vezes de desalento para os jovens pe-
para uma maior sensação de segurança limitada ao entorno dos riféricos do município, cabe questionar se os serviços oferecidos
equipamentos8, em 2018, percebeu-se um aumento expressivo pela Rede CUCA estariam realmente atendendo àqueles que se
da violência urbana na capital cearense. O Atlas da Violência do encontram em situação de vulnerabilidade social – como aque-
IPEA, com dados de 2019, aponta para uma taxa de 87,9 homi- les que estariam vivendo em pobreza extrema, oriundos de la-
AS JUVENTUDES cídios por 100 mil habitantes em Fortaleza, o que situa a cidade res desestruturados, sofrendo violência doméstica, ou ainda que
16 17
pela Rede CUCA por uma série de fatores, como, por exemplo, talmente preparadas para atender ou acolher, em especial As diferenças entre os jovens se tornaram ainda mais incon- “Com a pandemia os cursos passaram
por não terem condições de acompanhar os cursos, uma vez que professores de cursos. Essa dificuldade pode (i) afastar o testes com a pandemia de COVID-19. A mudança das ativi- a ser on-line e isso alcançou muitas
eles não têm a escolaridade exigida ou por não terem documen- jovem do CUCA, uma vez que sua demanda não é atendi- dades presenciais para o universo virtual apenas confirmou pessoas de outras regiões da cidade
tação; ou mesmo por não terem situação financeira para frequen- da no equipamento ou (ii) gerar algum desgaste na equi- a constatação, para vários gestores, de que os públicos aten- e até de fora do país! Apesar disso, o
tar, se deslocar ou permanecer horas nos equipamentos sem ter pe, que irá além de suas limitações e responsabilidades didos pelos CUCAs são muitos, com necessidades e desejos CUCA fechado representou a ‘grande
o que comer. É rotina para alguns dos profissionais dos CUCAs para atender a essas necessidades. diversos. A morte de jovens que deixaram de ser atendidos praça’ da comunidade fechada.
ouvir dos jovens: “Tia, vai ter merenda? ” presencialmente tornou isso ainda mais evidente14:
Muitos jovens usuários morreram por
O que se evidencia enfim, é um trabalho focado no jovem
causa da violência ou entraram na
E muitas vezes, os jovens vivenciam situações de vulnera- da periferia, mas que ainda não alcança a todos, conforme
bilidade para as quais as equipes dos CUCAs não estão to- avaliação de um gestor do CUCA:
criminalidade por não terem outra
alternativa. (...) Depois da abertura, a
população não voltou correndo para
o equipamento, jovens não voltaram
rápido e os mais vulneráveis não
voltaram mais. A principal lição que
podemos tirar disso é perceber que a
comunidade também dita suas regras.
“O trabalho feito pela DPDH [Diretoria de Promoção
Precisamos saber ouvir e entender as
de Direitos Humanos] com jovens em situação de
necessidades da população e levar
vulnerabilidade social, que busca pelos jovens nas
em conta as especificidades em cada
comunidades, provoca a demanda. Já a demanda
região onde o CUCA está, pois, as
espontânea é feita pelos jovens da periferia, que
comunidades são diferentes”.
na verdade não estão na vulnerabilidade. Há uma
(Gestor 2)
diferença entre jovens da periferia e jovens em
situação de vulnerabilidade social - não é a mesma
coisa. A Rede CUCA consegue atender os jovens da
periferia com suas atividades - esse é o público dos
Alguns gestores comentaram o assassinato de vários jovens durante o período de maior isolamento na cidade em 2020, especialmente
14
entre frequentadores dos CUCAs Barra e Mondubim, por conta das disputas violentas entre facções criminosas. Sobre essa situação em
Fortaleza, ver artigo do The Intercept: Tráfico toma conta, e violência mata tanto quanto o coronavírus na periferia de Fortaleza. Os 15
bairros da Regional I da capital concentram o maior número de mortes violentas de abril e a maior letalidade pela COVID-19 de Fortaleza.
Disponível em: <https://theintercept.com/2020/05/05/coronavirus-fortaleza-mortes-violencia> Acesso em 28 jan.2021.
Rede CUCA
18 19
“Nunca me sonharam sendo um psicólogo, nunca me
sonharam sendo um professor, nunca me sonharam Além disso, muitos dos jovens conseguiram oportunidades de
sendo um médico. Meus pais não sonhavam e não me emprego tanto fora como dentro do equipamento, como é o
ensinaram a sonhar. Eu aprendi a sonhar sozinho”.15 caso dos monitores que são contratados para auxiliar os pro-
fessores dos CUCAs, garantindo uma fonte de renda impor-
tante para os jovens que se interessam pelos cursos e querem
se aprofundar e continuar nos estudos.
“Agora eu sei o que quero da minha vida”.
(Jovem frequentador do CUCA) Os jovens relataram que tiveram conhecimento sobre a exis-
tência do CUCA por meio de uma interação informal, um “boca
a boca” e que a primeira visitação para conhecer o espaço e/
ou fazer alguma das atividades foi normalmente mediada por
Os jovens do CUCA algum amigo; outros tiveram suas primeiras experiências a
partir da ida de professores de suas escolas aos equipamentos;
Um dos fatores mais importantes que se nota na fala dos jovens alguns procuraram o local devido à proximidade geográfica
que frequentam a Rede CUCA é o sentimento de acolhimento de suas residências. Contudo, os próprios jovens frequentado-
e a relação positiva com as equipes que trabalham no equipa- res confirmam que há pouca divulgação e que muitas pessoas
mento. Não raro se ouve a referência ao CUCA como uma “se- não sabem que as atividades ofertadas no equipamento são
“Para mim o CUCA é minha gunda casa”, na qual os jovens conseguem se expressar, se rela- gratuitas e de qualidade excepcional.
segunda casa, me sinto fazendo cionar uns com os outros e se sentir seguros na convivência com
parte de uma grande família”. outros adultos mais atentos às suas necessidades. Dentre os fatores que justificam a ausência dos jovens nos
(Jovem 1) CUCAs estariam: (i) a dificuldade de locomoção de pessoas
Muitos jovens consultados durante o desenvolvimento deste que moram em regiões mais periféricas ainda mais distantes;
trabalho relataram não “conseguir imaginar” suas vidas sem o (ii) a percepção de insegurança - relacionada à localização
CUCA. Há entre eles uma relação bastante positiva com o dos equipamentos; (iii) a falta do apoio da família, face ao
“Foi no CUCA que eu passei a programa, indicando que não teriam oportunidades seme- preconceito em relação à região ou à desinformação sobre o
aceitar a forma como sou, meu lhantes nos campos da cultura, esportes e desenvolvimento próprio CUCA. No que tange a este último ponto, há relatos
corpo e minha sexualidade”. técnico-profissional em qualquer outro espaço. Em caráter de que algumas famílias percebem o CUCA como um am-
20 21
“(...) não existe esse jovem cabeça vazia, que não quer
porcaria nenhuma como a gente fala. Não existe culdade em se conectar com alguns deles, que estão menos exemplos citados são de conhecimento público por conta da
ninguém em sala de aula que não queira nada”16 abertos ao diálogo; as diversas violências que sofrem em casa notoriedade que receberam. Porém, chama atenção a forma
(físicas, verbais e financeiras); os desafios vinculados ao crime como são ou não monitorados os resultados esperados na
e à presença de facções de traficantes de drogas; a pobreza vida dos jovens. Como salientou um gestor, a maior parte das
financeira; o baixo desenvolvimento socioemocional dos jo- mudanças na vida dos jovens são abstratas e não são devida-
“Sonhamos junto com os jovens, não raro já escutei: vens; e, em alguns casos, o baixo nível de escolaridade. mente registradas ou acompanhadas.
‘nunca me sonharam nada’”
(Jovem frequentador do CUCA) Todo profissional do CUCA, seja gestor, seja professor, seja téc- Um dos achados do desk review e das entrevistas foi a falta de
nico, conhece a história de um jovem exemplar que teve a sistematização dos resultados, assim como de um sistema de
vida mudada após a sua experiência no CUCA. São histórias informação abrangente de monitoramento17. O que direciona
que contêm o teor de superação, no qual jovens que tinham para um outro problema identificado: a falha na construção
pouca ou nenhuma oportunidade conseguiram superar suas de indicadores de resultado, ou mesmo de acompanhamento
dificuldades e alcançar metas antes inimagináveis, como destes por parte dos gestores e suas equipes. E isso é reconhe-
premiações, viagens internacionais e empregos. Alguns dos cido pelos próprios gestores, em falas como:
A REDE CUCA
Diante da provocação sobre o que significa transformar a com diferentes atividades, socializar com grupos diversos e se
vida do jovem, muitos dos profissionais atuantes nos CUCAs expressar enquanto indivíduo; o segundo, é gerar um senti- “É preciso mensurar melhor o que nós fazemos na Rede
concordam que é uma relação de oportunidade e protago- mento de acolhimento, no qual o jovem saiba que não está CUCA. Nós não temos um programa ou plataforma
nismo. As equipes compreendem que há poucas oportunida- sozinho ou sendo julgado e que pode contar com a equipe,
que nós podemos alimentar para registrar todo esse
des disponíveis para os jovens das periferias e que, mesmo que inclusive para questões pessoais.
elas existam, ainda há uma lacuna entre a oferta de possibilida-
trabalho que a gente faz. Não sabemos sobre o destino
des e o engajamento dos jovens. Nesse aspecto, o protago- Dessa forma, é possível inferir que há uma lógica de empo- certo dos dados depois que são entregues à CEPPJ. Hoje
nismo jovem é a chave não só para que esse público tenha deramento dos jovens, seguindo uma fórmula para am- é uma colcha de retalhos, dados não são mensurados
acesso a oportunidades, como também saiba aproveitá-las. pliar o repertório de possibilidades da juventude e esti- ou compilados de forma adequada desde a criação do
17
Para um gestor entrevistado, a questão do sistema de informação já teria melhorado bastante na Rede CUCA, mas expressou assim a
16
Fala de um jovem de 17 anos do filme documentário Nunca me sonharam (2017). sua opinião: “Se pudesse ser mais informatizado seria maravilhoso!” (Gestor 5).
Rede CUCA
22 23
Em geral, até esse momento, os gestores das unidades traba-
lham com indicadores usados estritamente para medir o al-
cance das metas determinadas pelos contratos estabelecidos
com o BID e assim prestar contas de suas atividades – no que
se refere, principalmente ao alcance ou público atendido, mas
não há práticas e rotinas para monitorar o progresso de resul-
tados e das mudanças provocadas na vida dos jovens. Falta
sistematização e acesso a todos os indicadores por todas as
equipes, como foi destacado por alguns gestores.
24 25
A CONSTRUÇÃO DO QUADRO A participação foi utilizada como pilar central da condução O princípio da utilidade baseia-se no entendimento de que
desse processo e ocorreu a partir da inclusão de diferentes as “avaliações devem responder às necessidades de infor-
LÓGICO DA REDE CUCA perspectivas de atores. No total, 75 pessoas participaram das mação e conhecimento dos interessados, favorecendo sua
atividades. Não só os técnicos e gestores da Rede CUCA, mas aprendizagem sobre o objeto, a ampliação de seus níveis
também pais e responsáveis e principalmente os jovens que de análise e apropriação”18. Diante desse entendimento, a
O processo de construção do Quadro Lógico da Rede CUCA dutos previstos no escopo da contratação. Dessa forma, em frequentam os CUCAs. O engajamento e a participação ativa equipe da Plan Eval buscou facilitar o processo e desenhá-lo
foi organizado em quatro fases sequenciais compostas por cada uma das etapas foram realizadas diferentes atividades de desses atores foram fundamentais para o desenho da pro- de forma cuidadosa, considerando que todas as atividades
etapas e atividades necessárias para a consolidação dos pro- acordo com especificidades de cada produto. posta metodológica, dos instrumentos e das ferramentas re- e seus resultados afetarão seu uso. Por “uso” entende-se a
sultantes desse trabalho. É relevante destacar que todo esse forma com que as pessoas reais aplicam os achados da ava-
processo foi realizado de forma remota em função da pande- liação e experimentam esse processo. Assim, essa forma de
Fluxograma das Etapas e Atividades mia de COVID-19. Apesar de desafiador, foi um processo rico conduzir um processo apoia os usuários na seleção de conte-
e sem prejuízos à qualidade das interações com os atores e údo, modelos e métodos mais apropriados para sua situação
Fase 1 Fase 2 Fase 3 Fase 4 dos resultados das atividades. em particular, não perdendo o foco nos usos pretendidos
O Contexto A Mudança esperada A Estratégia Os Instrumentos dos resultados e da implementação de suas recomendações,
o impulso para a a realidade como reflexões M&A da A combinação de métodos, junto com a triangulação ferramentas e instrumentos criados.
mudança gostaríamos que fosse subjacentes à ação intervenção de dados, possibilita a redução de vieses de interpreta-
ção e aumento da validade das inferências. Nesse processo Já o princípio da transparência referiu-se ao acompanha-
foram realizadas entrevistas, análise documental, grupos mento constante e aproximado com a condução e relação
Plano Desk review Grupos Revisão Quadro Lógico Guia focais e oficinas – o que permitiu a realização de investiga- com a equipe da CEPPJ na construção da metodologia do
de trabalho e entrevistas Focais da TdM e Matriz de Metodológico ções mais ricas e a compreensão nítida dos desafios e das Quadro Lógico, etapas do trabalho, ferramentas de pesquisa
Indicadores e Instrumentais mudanças esperadas na vida dos jovens. e os produtos intermediários.
75
Participantes: entrevistas e grupos focais
Silva, Rogério Renato; Joppert, Márcia Paterno; Gasparini, Max Felipe Vianna (organizadores) Diretrizes para a prática
18
Figura 2, elaboração: Plan Eval, 2021 de avaliação no Brasil (livro eletrônico) / 1. ed. – Rio de Janeiro: Rede Brasileira de Monitoramento e Avaliação, 2020.
Rede CUCA
26 27
RESULTADOS Os princípios que orientam essa sistemática estão listados abaixo e
foram consolidados a partir da compreensão da consultoria sobre a
Rede CUCA e da relação com os diferentes stakeholders consultados
ao longo do processo:
A trajetória percorrida ao longo dessa consultoria permitiu andamento das atividades e o avanço em direção aos resul-
construir ferramentas e elementos fundamentais para o mo- tados apoiando, principalmente, a gestão da intervenção. A • Utilidade e relevância das informações coletadas e geradas,
nitoramento e avaliação da Rede CUCA, constituindo-se em avaliação oferece a visão também sistemática e objetiva do respondendo de forma notória, objetiva e oportuna às demandas e
necessidades do Programa e seus agentes de execução;
uma proposta de “sistemática”. A partir do conhecimento mérito, do valor, das transformações provocadas ou induzidas
acumulado do programa, a equipe da Plan Eval propôs adicio- pelo projeto ou iniciativa. E a aprendizagem refere-se, por sua • Aplicabilidade dos levantamentos diante dos limites e
nar outra dimensão igualmente relevante: a “aprendizagem”. vez, aos processos de reflexão intencional sobre avanços, con- possibilidades existentes;
quistas, desafios e boas práticas para o alcance dos objetivos
Numa estrutura como a desenvolvida, cada uma das dimen- declarados19. Isso se alinha com a compreensão de que as ava- • Participação dos agentes executores e gestores na construção e
revisão das estruturas, instrumentos e indicadores, assim como na
sões tem uma função, um propósito e processos específicos. liações são instrumentos fundamentais para a aprendizagem
coleta, registro e análise crítica das informações.
O monitoramento, diz respeito à coleta contínua e ordena- organizacional com a finalidade de aprimorar a gestão e o al-
da de dados e visa fornecer informações oportunas sobre o cance dos resultados de programas sociais.
A estrutura sistemática tem, então, como objetivos principais: O conjunto de usuários e interessados nas informações produzidas veis pela operação das unidades - Instituto CUCA. Em um segun-
por esta estrutura abrange um amplo espectro de atores. Como do plano, estão os níveis de gestão mais altos do município. Além
• Apoiar a gestão do programa, oferecendo informações relevantes usuários primários e imediatos estão, por um lado, os gestores desses, devem ainda ser considerados a população de jovens da
que auxiliem a tomada de decisão sobre alocação de recursos, municipais da Coordenadoria de Juventude e responsáveis pela cidade de Fortaleza e a sociedade de forma geral, como parte inte-
estratégias e ações.
Política Pública de Juventude, e por outro, os gestores responsá- ressada nos resultados e transformações proporcionadas.
28 29
Diante dessas considerações, essa sistemática foi estruturada a partir dos seguintes elementos:
30 31
TdM Esquemática
Teoria de Mudança
A TdM é uma ferramenta de desenvolvimento de solu- No caso do processo de construção do Quadro Lógico da Visão de longo prazo
Esfera de interesse
ções para problemas sociais complexos, que explica a ini- Rede CUCA, a revisão da TdM teve o objetivo de repactuar as
ciativa ou lógica de uma intervenção, esclarecendo como expectativas de resultado e o caminho da transformação, fa-
Impacto
as realizações “iniciais e intermediárias preparam o terreno vorecendo as etapas posteriores de avaliação. Para tanto, foi
para os resultados de longo prazo” (ANDERSON, 2006) 20. É conduzido um processo participativo de reflexão juntamente Mudanças de comportamentos,
Longo prazo Partir
então uma “descrição abrangente e ilustrativa de como e àqueles que vivem o CUCA todos os dias: as equipes dos equi- atitudes e práticas (2)
por que se espera que uma mudança desejada aconteça em pamentos e os jovens. A intenção foi pensar com o público, e
um determinado contexto” 21. não para o público, fazendo com que a TdM tenha adesão às
múltiplas realidades dos atores e das comunidades.
Essa ferramenta apresenta a teoria ou a lógica para uma mu- Mudanças de comportamentos,
Médio prazo Expandir
Esfera de influência
dança esperada a partir de uma intervenção, demonstrando o É importante ressaltar que, assim como o nome indica, a TdM atitudes e práticas (1)
encadeamento entre as ações de curto-prazo e os efeitos de é um conjunto de hipóteses sobre o funcionamento de um
longo-prazo, passando pelos resultados esperados. É também programa ou de uma intervenção social - no caso a Rede Resultados
usada como base para o desenvolvimento de sistemáticas de CUCA - e deve ser reavaliado frente aos resultados dos indica-
Mudanças em comportamentos
monitoramento e avaliação, uma vez que todos os seus aspec- dores mensurados de forma contínua. Curto prazo Conhecer
e percepções
tos devem ser passíveis de mensuração, a fim de garantir uma
boa implementação do programa. A TdM desenvolvida para a Rede CUCA segue uma estrutura
que perpassa três esferas: controle, influência e interesse. A in-
A revisão da TdM é um passo importante para manter pro- terconexão entre essas camadas indica a gradação de geren-
Esfera de controle
Eixos de atuação Chegar
20
ANDERSON, A. The Community Builder`s Approach to Theory of Change – A Pratical Guide
to Theory Development. New York: The Aspen Institute, 2006. Figura 4, elaboração: Plan Eval, 2021
CENTER FOR THEORY OF CHANGE: What is a Theroy of Change?
21
32 33
A esfera de controle refere-se às atividades executadas pela Teoria de Mudança
Rede CUCA, definidas como “Eixos de Atuação”. Ao reconhecer
a diversidade de atividades ofertadas e a influência mútua en- Visão de
Jovens protagonistas de suas trajetórias e com melhores condições de vida
tre as ações, optou-se pela agregação das atividades em eixos. longo prazo
É neste nível que o programa possui maior governabilidade e
maior oportunidades de implementar mudanças.
Redução de condutas de risco Protagonismo juvenil Maior empregabilidade Partir
35
Você conhece SOCIOEMOCIONAL
Habilidades que melhoram o
desempenho nos estudos
a REDE CUCA? 4.
4. Partir
e trabalhos.
ESTUDOS
Dedicação aos estudos, Depois de aprender muito, com
aumento do desempenho Não, essa não é a parte da despedida. os meus erros e acertos durante
escolar e maiores habilidades Partir é o momento em que você sente minha jornada, já me sinto
profissionais. confiante para seguir em frente e
segurança para explorar outros
ir em busca dos meus sonhos!
espaços, além da Rede CUCA.
AUTOESTIMA
2.
2. 5.
Confiança para tomar maior
Ser
1.
controle da sua história e
Protagonista
Chegar começar. Não tem mistério, é
só chegar! Chega aí!
Conhecer algo novo na Rede CUCA já
PROATIVIDADE
Habilidades que aumentam
faz parte da rotina. Aqui todo dia é a busca por mudanças de A Rede CUCA acredita que
um aprendizado. forma espontânea. todos têm a capacidade de
chegar muito mais longe.
Somos uma Rede de jovens
POSTURA protagonistas!
Buscar novos conhecimentos
ajuda muito a nos tornarmos Mudanças de atitudes
melhores. Eu sinto que aumentam a relação positiva
ATENDIMENTO cresço e fico mais madura entre colegas
E ACOLHIMENTO todo dia! e familiares.
Ações de atendimento psicossocial, Aqui eu assumi o
psicológico, atividades de leitura, encami- APOIO FAMILIAR controle da minha
nhamento à assistência social, entre outros. própria história!
Compartilhando sonhos e
metas em família.
SAÚDE
Ações como atendimento médico,
fisioterapia, educação sexual,
CONHECIMENTO CULTURAL Expandir é exercitar tudo
reprodutiva e etc. aquilo que aprendemos,
Exercício do lado social, esportivo,
colocando em prática todas
TRABALHO cultural e profissional. as nossas habilidades.
Cursos profissionalizantes, vagas de MENOS ATITUDES DE RISCO
emprego, estágio, monitoria, e outros. Gravidez indesejada, drogas e
CULTURA E ARTES
Ampliação de relações
positivas entre pares. Expandir pensamento crítico, envolvimento com
a comunidade e relações saudáveis.
3.
3.
Cursos e programas de dança, música,
rádio e outros.
CONSCIENTIZAÇÃO EMPREGABILIDADE
Sobre drogas, DST’s, sexualidade, Atuação no mundo do trabalho, melhoria e
COMUNIDADE ampliação dos estudos e desenvolvimento
Rede CUCA
36 37
“Sempre tive uma vida muito sedentária, não
praticava nenhum esporte. Quando eu fui para lá, Esfera de Influência Anteriormente eu era muito desligado
eu conheci essa parte dos esportes, eu sempre quis da relação estudo-trabalho. Eu sempre
nadar, então fui lá e me inscrevi no curso de natação achei, até porque eu fui educado assim,
(...) aprendi a nadar lá, mais de um ano nadando. Eu Conhecer que trabalho a gente arranjava muito por
acho que cria um sentimento de mais possibilidade, conta do esforço, e menos por conta do
que a gente pode mais, eu posso aprender uma
A partir da experiência com diversas atividades no CUCA, o estudo. (...) Eu fazia cursos tanto no CUCA,
jovem passa por uma ampliação de horizontes e começa a tri- quanto fora. Isso foi a principal mudança
coisa que eu nunca fiz na vida, eu posso ter acesso lhar um percurso próprio de desenvolvimento. Esse processo
a uma coisa, eu posso me dedicar àquilo e eu posso em relação ao mundo do trabalho, o
oportuniza mudanças em seus conhecimentos e percepções,
aprender e, a partir daí, eu posso ir mais além.” expandindo as possibilidades vislumbradas pelo jovem, que
fato de eu colocar na minha cabeça e eu
(Jovem do CUCA Jangurussu) antes eram reduzidas e inatingíveis. Aqui, se espera que as fa- começar a entender que o seu currículo,
mílias dos jovens tenham uma melhor percepção do CUCA, ele é extremamente variável.”
que o repertório e referenciais dos jovens sejam ampliados, (Jovem do CUCA Barra)
que eles já sejam capazes de se integrar e socializar, que se
conscientizem sobre seus direitos e deveres e sobre questões
relacionadas à sexualidade, paternidade e maternidade.
Esfera de Controle
“Ali você vê que é um lugar
muito aberto, você sempre vai Chegar
ter espaço para fazer o que você
quer e, na grande maioria dos Assim que chegam, os jovens são apresentados às diversas mo-
casos, você não vai ser julgado dalidades de atividades da Rede CUCA ao chegar, representa- “É… Cara… É, eu só fui realmente ter essa vivência em relação à
das pelos eixos de atuação. Esses eixos agem, individualmente, educação sexual depois que eu entrei na Rede, porque em casa
por isso, tá ligado? Isso foi uma como uma porta de entrada para os jovens, pois muitas vezes
das principais mudanças que eu nunca tive, nunca tive essa vivência em relação a meus pais
os jovens que começam a frequentar as unidades se envolvem
rolou na minha vida, cara, eu olharem para mim, conversar comigo sobre. O que eu cheguei mais
com diferentes atividades dos diversos eixos. Assim, o jovem tem
aprendi a ser mais consciente, tá perto de ter foi na escola, só que na escola era tipo aquele negócio
38 39
“Eu sempre fui criado num meio preconceituoso assim e,
quando eu entrei na rede, eu percebi que, cara, existem milhões Partir “Assumi uma postura mais resolutiva
de pessoas diferentes, existem milhões de personalidades nas atividades do meu dia a dia.
diferentes e se você não gosta, você ao menos tem obrigação As transformações em conhecimentos e comportamentos No estágio, me coloquei mais em
de aceitar e respeitar, sabe, você não pode mudar a pessoa e culminam em mudanças mais impactantes na vida dos jo- questões/demandas, assumindo risco e
adaptar ela ao seu jeito, se ela não pode ser do jeito que você
vens, que têm suas realidades alteradas a partir das ações da responsabilidades. As atividades dentro
quer e, como eu entrei no CUCA muito novo eu sempre achei
Rede CUCA e das próprias ações do jovem. Todo esse proces- do CUCA me ajudaram a assumir esse
so também é dependente de uma tomada de consciência e tipo de postura, pois muitas demandas lá
que isso fosse o certo, até eu entender que cada pessoa é uma protagonismo do jovem. Esses efeitos podem ser visualizados
pessoa e por mais que a gente seja diferente, por baixo da pele eram de minha responsabilidade.”
a partir de três perspectivas: a redução de condutas de risco
é sangue e osso todo mundo.(...) Você aprende a entender de dos jovens, o desenvolvimento de protagonismo juvenil e o
(Jovem do CUCA Jangurussu)
fato as pessoas de forma física, de forma emocional e, cara, aumento da empregabilidade do público-alvo do programa.
você aprende a ser mais empático, sabe?(...)”
(Jovem do CUCA Barra)
Expandir
40 41
Esfera de Interesse Quadro Lógico
Visão de longo prazo O Enfoque do Quadro Lógico (QdL) é uma ferramenta analíti-
ca para a gestão, elaboração, monitoramento e avaliação de
A visão de longo prazo é o objetivo final e de maior impacto programas e projetos que se baseia em procedimentos parti-
do programa. Neste nível também é onde a governabilidade cipativos de discussão sequencial para a elaboração do plano
da Rede CUCA é a menor, dependendo de diversos outros lógico de execução de um programa/projeto. É uma sistemá-
fatores, políticas, conjunturas e estruturas que influenciam tica que apresenta uma relativa simplicidade na sua aplicação,
negativamente ou positivamente para esta transformação mas que devido ao seu enfoque participativo para tomada de
mais permanente e duradoura na vida do público-alvo. De decisão requer um elevado grau de envolvimento e compro-
toda forma, é importante que essa seja a visão compartilha- metimento das partes interessadas.
da por todos os atores-chave e usuários do programa, uma
vez que é necessária a confluência de esforços em torno de
um objetivo comum. A visão de longo prazo foi estabele-
cida como os jovens protagonistas de suas trajetórias
e com melhores condições de vida. Essa visão apresenta
dois pontos fundamentais: (i) o jovem como o dono de sua
própria história, assumindo controle de aspectos de sua vida As principais finalidades do método são:
e tendo agência sobre as situações e escolhas que são colo-
• Tornar explícitos o propósito e a justificativa de uma intervenção,
cadas à sua frente; e (ii) o jovem com melhores condições de
na medida em que promove uma análise do seu entorno, desde a
vida, acessando e conseguindo se beneficiar de oportunida- concepção do projeto;
des antes distantes ou indisponíveis.
• Auxiliar o processo de tomada de decisão, promovendo a participação
dos diferentes atores sociais envolvidos e o consenso entre as partes;
42 43
Entre os produtos gerados pela aplicação do método, o está bem-estruturado e, ainda, realizar o acompanhamento Por outro lado, é importante ter claro que o QdL não é apenas
Quadro Lógico é seu principal elemento, já que resume sistemático e uma avaliação mais fácil e mais objetiva23. uma maneira de apresentar informações, mas tem uma con-
em uma só matriz toda a lógica da intervenção. Essa matriz tribuição importante para garantir uma boa conceituação e o
consiste em um conjunto de conceitos interdependentes Entretanto, é importante destacar que o Quadro Lógico não desenho de iniciativas. Quando é elaborado seguindo os prin-
que descrevem, de um modo operacional e organizado, os é um plano completo de um projeto, e tampouco a aplicação cípios metodológicos básicos (análises situacionais e participa-
aspectos mais importantes de um projeto e as relações ló- do método pode ser reduzida à elaboração da matriz. Ainda ção) é de grande valor para a construção de uma compreensão
gicas entre eles (insumos e atividades, atividades e resulta- assim, é inegável que o quadro ocupa um papel fundamental, comum do projeto e das expectativas sobre recursos neces-
dos, resultados e objetivos)22. Essa descrição relacional per- pois fornece respostas às perguntas como: sários e resultados pretendidos. Se elaborado corretamente,
mite verificar se o projeto, programa ou intervenção social o QdL demonstrará precisamente que não há atividade está
sendo executada desnecessariamente ou em falta. Ou, ainda,
que os serviços que a intervenção irá gerar são os necessários e
suficientes para resolver o problema que lhe deu origem.
44 45
Quadro Lógico
Objetivo Jovens % de jovens Avaliação Jovens conseguem Jovens têm Objetivo Maior Taxa de emprego de Avaliação Capacitação Situação
Geral protagonistas de empregados após três longitudinal gerar renda e oportunidades Específico empregabilidade jovens entre 25 e 29 longitudinal e formação na econômica do
suas trajetórias anos de ingresso ascender socialmente de estudo anos que concluíram Rede CUCA país possibilita
e com melhores na Rede CUCA e trabalho para um curso profissional correspondem às estabilidade
condições ascensão social da Rede CUCA demandas das redes do mercado
de vida Renda média de jovens e exercício um ano após a produtivas locais de trabalho
após três anos de pleno de seu conclusão do curso
ingresso na Rede CUCA protagonismo
e cidadania
Anos de estudo médio Resultados Melhoria das Percentual de jovens Teste de Jovens são capazes Famílias dos
dos jovens após três Nível 1 relações familiares atendidos que relatam habilidades de melhorar suas jovens estão
anos de ingresso melhoria nas relações socioemocionais relações familiares propensas a
na Rede CUCA familiares em função do melhorias nas
desenvolvimento relações a partir
socioemocional de mudanças na
Objetivo Redução Percentual de jovens Avaliação Jovens que Há rede atitude dos jovens
Específico de condutas que participaram da longitudinal participam da Rede de proteção
de risco Rede CUCA no último CUCA são menos disponível para Percentual de pais Pesquisa A Rede CUCA Pais/Responsáveis
ano e apresentam propensos acolhimento e e responsáveis que com formulário é bem divulgada valorizam a
menos de duas a apresentar prevenção de relatam melhoria nas avaliativo e conhecida Rede CUCA e
condutas de risco condutas de risco condutas de risco atitudes do jovem respondido por pela comunidade a se engajam
pais/responsáveis em atividades
relacionadas
Protagonismo Percentual de jovens Avaliação Jovens que Jovens têm
aos jovens
juvenil que participaram da longitudinal participam da Rede oportunidade
Rede CUCA no último CUCA desenvolvem de exercer sua
ano e apresentam atitudes protagonistas individualidade Jovens com Percentual de jovens Base do Setor Cursos formativos Há vagas
46 47
Lógica de Meios de Pressupostos Pressupostos Lógica de Meios de Pressupostos Pressupostos
Nível Indicadores Nível Indicadores
Intervenção Verificação Internos Externos Intervenção Verificação Internos Externos
Resultados Maior interesse Percentual de Pesquisa com A evolução Jovens têm Resultados Melhor percepção Percentual de Formulário A Rede CUCA é Os pais e
Nível 1 e melhoria jovens atendidos formulário escolar dos jovens condições Nível 2 dos CUCAs participação de pais e de inscrição bem divulgada responsáveis
nos estudos que concluíram avaliativo é acompanhada financeiras e/ pelas famílias responsáveis de jovens em eventos e conhecida pela têm interesse e
do Ensino Médio respondido periodicamente ou sociais de atendidos em eventos e atividades comunidade disponibilidade
após ingressarem pelos jovens pelas equipes permanecer e atividades do CUCA em participar
na Rede CUCA da Rede CUCA na escola das atividades
da Rede CUCA
48 49
Lógica de Meios de Pressupostos Pressupostos Lógica de Meios de Pressupostos Pressupostos
Nível Indicadores Nível Indicadores
Intervenção Verificação Internos Externos Intervenção Verificação Internos Externos
Resultados Aumento da Percentual de jovens Base do Setor Jovens conseguem Jovens Resultados Integração e Pontuação média Teste de Competências Jovens
Nível 2 percepção sobre matriculados em de Matrículas se capacitar e receber conseguem Nível 2 Socialização no índice de habilidades socioemocionais conseguem
possibilidade cursos formativos que as certificações acessar e habilidades sociais socioemocionais podem ser permanecer
de trajetórias recebem certificação do curso permanecer desenvolvidas no CUCA
nas atividades por meio do a longo prazo
esporte e cultura
Violência Violência
da região não da região não
afeta as atividades afeta as atividades
dos CUCAs dos CUCAs
Percentual de jovens Pesquisa com Atividades do Jovens Pontuação média Pesquisa com Jovens são Jovens têm seus
Conscientização
atendidos que têm formulário CUCA ajudam o conseguem em escala de formulário sensibilizados direitos e deveres
sobre direitos
planos profissionais avaliativo jovem a perceber acessar e conhecimento sobre avaliativo sobre seus direitos respeitados em
e deveres
ou acadêmicos respondido possibilidades e permanecer direitos e deveres respondido e deveres no CUCA suas comunidades
para o futuro pelos jovens a fazer planos nas atividades pelos jovens
Violência da
Violência região não afeta
da região não as atividades
afeta as atividades dos CUCAs
dos CUCAs
50 51
Lógica de Meios de Pressupostos Pressupostos Lógica de Meios de Pressupostos Pressupostos
Nível Indicadores Nível Indicadores
Intervenção Verificação Internos Externos Intervenção Verificação Internos Externos
Resultados Conscientização Percentual de jovens Pesquisa Jovens têm acesso Jovens pais Atividades Esportes Número de vagas Setores da Rede Recursos humanos Jovens e
Nível 2 sobre drogas, atendidos que são com formulário a informações e mães têm ofertadas em CUCA / Metas de disponíveis comunidade
IST, sexualidade, pais e mães após avaliativo e atividades de disponibilidade práticas desportivas Monitoramento e capacitados têm interesse
paternidade/ 1 ano na Rede CUCA respondido conscientização em participar em 12 meses para realização nas atividades
maternidade pelos jovens sobre paternidade/ das atividades das atividades disponibilizadas
na matrícula maternidade do CUCA pela Rede CUCA
e após 1 ano / Vagas e atividades
Base do Setor Rede CUCA Cultura e Artes Número de Setores da Rede disponibilizadas aos
de Matrículas segue oferecendo apresentações culturais CUCA / Metas de jovens e comunidade
atividades de realizadas em 12 meses Monitoramento
conscientização
sobre paternidade/
maternidade Comunidade Número de Setores da Rede
na juventude atendimentos CUCA / Metas de
realizados Monitoramento
Atividades Número Setores da Rede Recursos humanos Jovens e em 12 meses
Atendimento e
Acolhimento de atividades CUCA / Metas de disponíveis comunidade
realizados para Monitoramento e capacitados têm interesse Quadro 2, elaboração: Plan Eval, 2021
promoção de para realização nas atividades
direitos da juventude das atividades disponibilizadas
em 12 meses pela Rede CUCA
Vagas e atividades
disponibilizadas aos
jovens e comunidade
52 53
Atributos desejáveis em Indicadores
54 55
Matriz de Indicadores
Avaliação Percentual de jovens empregados após Numerador: número de jovens empregados após três anos de Avaliação longitudinal Anual A definir
três anos de ingresso na Rede Cuca ingresso na Rede Cuca
Denominador: número de jovens respondentes que
frequentam o CUCA há 3 anos ou mais
Avaliação Renda média de jovens após três anos de Numerador: soma da renda dos jovens atendidos após 3 anos Avaliação longitudinal Anual A definir
ingresso na Rede Cuca de ingresso na Rede Cuca
Denominador: número de jovens respondentes que
frequentam o CUCA há 3 anos ou mais
Avaliação Anos de estudo médio dos jovens após Numerador: soma dos anos de estudo total dos jovens Avaliação longitudinal Anual A definir
três anos de ingresso na Rede Cuca atendidos após 3 anos de ingresso
Denominador: número de jovens respondentes que
frequentam o CUCA há três anos ou mais
Avaliação Percentual de jovens que participaram da Numerador: jovens que relataram uma ou nenhuma conduta Avaliação longitudinal Anual A definir
Rede Cuca no último ano e apresentam de risco26 no último ano
menos de duas condutas de risco Denominador: número de jovens respondentes
Avaliação Percentual de jovens que participaram da Numerador: jovens que relataram duas ou mais atitudes Avaliação longitudinal Anual A definir
Rede Cuca no último ano e apresentam protagonistas27 no último ano
ao menos duas atitudes protagonistas Denominador: número de jovens respondentes
Avaliação Taxa de emprego de jovens entre 25 Numerador: número de jovens que, um ano depois de Avaliação longitudinal Anual A definir
Exemplos de condutas de risco são: situação de inatividade (sem estudo e sem trabalho), consumo excessivo de álcool ou substâncias
26
56 57
Etapa Lógica de Intervenção Indicadores Fonte Periodicidade Responsabilidade
Avaliação Percentual de jovens atendidos que Numerador: número de jovens que relatam melhoria nas Avaliação Longitudinal: Teste de habilidades Anual A definir
relatam melhoria nas relações familiares relações familiares socioemocionais
Denominador: número de jovens respondentes
Avaliação Percentual de pais e responsáveis que Numerador: número de pais ou responsáveis que relatam Formulário de Pesquisa com Pais e Responsáveis Anual A definir
relatam melhoria nas atitudes do jovem melhoria nas atitudes dos jovens no período
Denominador: número de pais ou responsáveis respondentes
Avaliação Percentual de jovens atendidos em Numerador: número de jovens atendidos em cursos Base do Setor de Matrículas / Base do Setor do Cuca Anual A definir
cursos formativos que conseguem formativos empregados no período Trabalho
emprego Denominador: número de jovens respondentes que
realizaram cursos formativos
Avaliação Percentual de jovens atendidos que Numerador: número de jovens até 19 anos que concluíram o Pesquisa Semestral com Jovens Anual A definir
concluíram o Ensino Médio após Ensino Médio no período
ingressarem na Rede Cuca Denominador: número de jovens até 19 anos respondentes
Avaliação Percentual de jovens atendidos que Numerador: número de jovens atendidos, entre 18 e 29 Pesquisa Semestral com Jovens Anual A definir
ingressaram no Ensino Superior após anos, que ingressaram o ensino superior no período
ingressarem na Rede Cuca Denominador: número de jovens respondentes entre 18
e 29 anos
Avaliação Porcentagem de jovens entre 16 e 17 Numerador: número de jovens entre 16 e 17 anos que seguem Pesquisa Semestral com Jovens Anual A definir
anos que seguem matriculados na frequentando a escola um ano depois de inscritos no Cuca
Avaliação Pontuação média no índice de Numerador: soma das pontuações nas dimensões de Teste de habilidades socioemocionais Anual A definir
autoestima e inteligência emocional autoestima e inteligência emocional
Denominador: número de jovens avaliados
Rede CUCA
58 59
Etapa Lógica de Intervenção Indicadores Fonte Periodicidade Responsabilidade
Monitoramento Percentual de participantes dos eventos Numerador: número de pais ou responsáveis que declaram Formulário de Pesquisa com Pais e Responsáveis Mensal A definir
que são pais ou responsáveis de jovens que o filho frequenta o Cuca
que frequentam o CUCA Denominador: número total de respostas
Monitoramento Nível de satisfação de pais e responsáveis Numerador: percentual de respondentes que avaliam Formulário de Pesquisa com Pais e Responsáveis Mensal A definir
de jovens que frequentam o Cuca o Cuca de 9 a 10
Subtrator: percentual de respondentes que avaliam o
Cuca de 0 a 6
Monitoramento Percentual de jovens atendidos que estão Numeradores: número de jovens que estão matriculados em Base do Setor de Matrículas Semestral A definir
matriculados em mais de uma atividade uma atividade; número de jovens que estão matriculados em
(1, 2, 3 ou mais...) duas atividades; número de jovens que estão matriculados em
três atividades ou mais
Denominadores: número de jovens matriculados
Monitoramento Percentual de jovens atendidos que Numerador: número de jovens que declaram participar de Pesquisa Semestral com Jovens Semestral A definir
participam de outros programas culturais outros programas culturais e esportivos de Fortaleza
e esportivos em Fortaleza Denominador: número de jovens respondentes
Monitoramento Percentual de jovens matriculados Numerador: número de jovens certificados em cursos Base do Setor de Matrículas Semestral A definir
em cursos formativos que recebem formativos
certificação Denominador: número de jovens matriculados em cursos
formativos
Monitoramento Percentual de jovens atendidos que têm Numerador: número de jovens que declaram ter planos Pesquisa Semestral com Jovens Semestral A definir
planos profissionais ou acadêmicos para profissionais ou acadêmicos
Monitoramento Percentual de jovens atendidos que estão Numerador: número de jovens que declaram envolvimento em Pesquisa Semestral com Jovens Semestral A definir
envolvidos em atividades sociais atividades sociais
Denominador: número de jovens respondentes
60 61
Etapa Lógica de Intervenção Indicadores Fonte Periodicidade Responsabilidade
Monitoramento Pontuação média no índice de Numerador: soma das pontuações obtidas no questionário do Avaliação Longitudinal: Teste de habilidades Anual A definir
habilidades sociais índice de habilidades sociais socioemocionais
Denominador: número de jovens respondentes
Monitoramento Pontuação média em escala de Numerador: soma da pontuação na escala de conhecimento Pesquisa Semestral com Jovens Semestral A definir
conhecimento sobre direitos e deveres sobre direitos e deveres
Denominador: número de jovens respondentes
Monitoramento Taxa de testes de IST e Gravidez realizados Numerador: número de testes de IST e Gravidez realizados Base de dados do Cuca Saudável Mensal A definir
por jovem atendido Denominador: número de jovens atendidos
Monitoramento Percentual de jovens atendidos que são Numerador: número de jovens que declararam ser pais ou Pesquisa Semestral com Jovens / Base do Setor de Semestral A definir
pais e mães após 1 ano na Rede Cuca mães após um ano de ingresso na Rede Cuca Matrículas
Denominador: número de jovens que frequentaram o Cuca no
último ano
Monitoramento Número de atividades realizados para Soma das atividades realizados para promoção de direitos da Setores da Rede Cuca / Metas de Monitoramento Mensal A definir
promoção de direitos da juventude juventude no período
Monitoramento Atendimentos realizados nos serviços de Soma dos atendimentos realizados nos serviços de saúde do Setor Cuca Saudável Mensal A definir
saúde do Cuca Cuca no período
Monitoramento Número de vagas ofertadas em cursos Soma das vagas ofertadas em cursos no período Setores da Rede Cuca / Metas de Monitoramento Mensal A definir
Monitoramento Número de vagas ofertadas em práticas Soma das vagas ofertadas em práticas desportivas no período Setores da Rede Cuca / Metas de Monitoramento Mensal A definir
Monitoramento Número de apresentações culturais Soma das apresentações culturais realizadas Setores da Rede Cuca / Metas de Monitoramento Mensal A definir
realizadas
Monitoramento Número de atendimentos realizados Soma dos atendimentos realizados no período Setores da Rede Cuca / Metas de Monitoramento Mensal A definir
62 63
Ficha do Indicador: Mapa descritivo
Guia Metodológico
O Guia Metodológico é o documento que apresenta a Siste- de diferentes partes interessadas nas discussões cuidadosas
mática de Monitoramento, Avaliação e Aprendizagem, com sobre o que está vigorando e o que não está funcionando, e
todos os instrumentos de pesquisa, as fichas dos indicadores em seus esforços para atingir os objetivos declarados.
e que detalha suas formas e métodos de coleta.
Neste sentido, o Guia Metodológico apresenta uma propos-
A dimensão da Aprendizagem não fazia parte do escopo ori- ta de rotina de acompanhamento e discussão sobre o mo-
ginal da consultoria, mas foi incluída pela equipe da Plan Eval, nitoramento dos indicadores que deve ser realizado com as
a partir da compreensão de que as avaliações e os processos lideranças da Rede CUCA e com a CEPPJ.
de monitoramento precisam ser úteis ao aprimoramento da
gestão e do alcance dos resultados de programas sociais. Re- Outros elementos essenciais apresentados no Guia são as
fere-se a processos de reflexão propositada sobre avanços, fichas dos indicadores que contêm descrição detalhada de
conquistas, desafios e boas práticas para o alcance dos obje- cada um deles. Junto a estes documentos também estão as
tivos de interesse de determinada intervenção. Seu objetivo é metodologias de cálculo de indicadores específicos, como por
propiciar tomadas de decisões mais inteligentes, utilizando-se exemplo: condutas de riscos, atitudes protagonistas, autoesti-
dos dados de M&A. A aprendizagem requer o envolvimento ma e inteligência emocional - habilidades socioemocionais.
64 65
A Planilha de Monitoramento de atividades foi desenvol- Segundo Scriven (2018, p. 283)28, em um estudo longitudinal
vida para apoiar o monitoramento dos indicadores referentes “um indivíduo ou grupo de indivíduos específicos é acompa-
às estratégias da Rede. Difere-se, mas não invalida as planilhas nhado durante um período substancial a fim de se descobri-
Instrumentos de e instrumentos utilizados para o acompanhamento das metas rem as mudanças ocorridas devido à influência do avaliado,
dos contratos de gestão. à maturação ou ao ambiente”. Assim sendo, a realização de
Monitoramento e Avaliação um painel longitudinal como método para avaliação dos
O Formulário de Pesquisa com Pais e Responsáveis está resultados tem como objetivo averiguar as transformações
Fazem parte ainda do Guia Metodológico os instrumentos de res de interesse para a mensuração dos resultados. Também focado na identificação de mudanças de atitudes dos jovens nas vidas dos jovens em relação as condições gerais de vida,
pesquisa desenvolvidos para o monitoramento e para a avalia- foram consideradas as capacidades já existentes e instaladas frequentadores da Rede por seus pais e responsáveis e na ava- escolaridade e vida profissional, condutas de risco e ativida-
ção. Cada instrumento foi elaborado considerando a informa- na Rede CUCA e todo o diagnóstico de seu funcionamento - liação do grau de satisfação destes em relação ao CUCA. Esse des protagonistas, habilidades socioemocionais e percepção
ção que se requer dos distintos públicos-alvo e os indicado- elaborado nas etapas anteriores de trabalho. formulário é bastante simples e deve ser aplicado em eventos sobre as contribuições do CUCA para essas mudanças29.
que sejam abertos à comunidade e/ou atividades destinadas
aos pais e responsáveis. No caso da Rede CUCA não se recomenda a realização de es-
Instrumentos de M&A - Rede CUCA tudos transversais ou amostras independentes compostas
A Pesquisa Semestral com Jovens visa observar: a amplia- por indivíduos diferentes a cada onda. A principal diferença
ção do capital cultural dos jovens a partir da participação em de um estudo longitudinal para análise por amostras é que
Nível Instrumento Periodicidade Quem responde?
outras atividades culturais e esportivas da cidade; a percepção neste último procura-se fazer inferências considerando o
dos jovens sobre as possibilidades de trajetórias de desenvol- universo da população de interesse da pesquisa, no caso os
Monitoramento 01. Formulário de Pesquisa Mensal Pais e Responsáveis vimento profissional e de estudos; o grau de envolvimento em jovens que participam da Rede CUCA, por meio de coleta
com Pais e Responsáveis atividades sociais e de conhecimento sobre direitos e deveres e análise de dados de uma amostra representativa dessa
dos jovens; e também a maternidade/paternidade dos jovens população de interesse. Assim, respeitados os parâmetros
02. Pesquisa Semestral Semestral Jovens
atendidos, após ingressarem na Rede. de nível de confiança e margem de erro, os resultados das
com Jovens
amostras devem representar a realidade de toda a popula-
Mensal Setores Rede CUCA Esses instrumentos estão destinados aos processos de moni- ção de interesse considerada na amostra. Por outro lado, na
03. Planilha de Monitoramento
de Atividades toramento e, portanto, devem ter aplicação mais frequente análise dos dados longitudinais a preocupação é investigar
(mensal e semestral, como especificado). como o painel de jovens evoluiu ao longo das medições.
Scriven, Michael. Avaliação um guia de conceitos. São Paulo: Terra e Paz, 2018.
28
As considerações metodológicas mais detalhadas e as observações sobre o atrito e a amostragem estão apresentadas no Produto 4 –
29
66 67
Além disso, no caso da Rede CUCA um estudo por amostras A prática mais apropriada nestes casos, ou seja, para que se Para a Pesquisa Semestral com Jovens e para a primeira
pode ser impactado por questões de viés; e pode ainda ser tenha controle e redução do atrito em estudos longitudinais, rodada da Avaliação Longitudinal pode-se aproveitar o sis-
determinado pela auto seleção dos participantes das ativida- é o monitoramento contínuo dos respondentes ao longo do tema informatizado através do qual atualmente são realizadas
des – jovens decidem ou não frequentar as atividades – e pela tempo. Será fundamental, portanto que sejam estabelecidos as inscrições iniciais, matrículas para as atividades e por onde
realização de comparações equivocadas em contextos que mecanismos de controle da participação dos jovens na Rede, os professores podem fazer a gestão de suas turmas: o JUVI –
podem variar – contextos econômicos, sociais etc. atualização cadastral periódica e contato entre as ondas de Portal da Juventude. Essas pesquisas podem ser incorporadas a
medição. Uma possibilidade é a instituição da obrigatorieda- esse sistema sendo disponibilizadas de acordo com o a periodi-
Ainda que alguns jovens deixem de frequentar o CUCA de de atualização cadastral, ao menos de informações básicas cidade desejada, para que sejam autopreenchidas pelos Jovens.
após a primeira rodada da pesquisa eles ainda sim devem de contato, periodicamente. Por exemplo: a cada 6 meses ou
ser buscados e entrevistados como parte deste estudo. mesmo no ato de matrícula em alguma atividade. Se os instrumentos forem bem programados, no que se refere
à obrigatoriedade das perguntas, regras de pulo e controle de
respondentes – um questionário por CPF, por exemplo –, esse
tipo de coleta pode ser bastante eficaz e representar a alterna-
tiva com melhor custo de realização. Há ainda a possibilidade
Esquema - Avaliação Longitudinal
de as aplicações serem feitas por pesquisadores/entrevistado-
res – seja presencialmente, quando as atividades presenciais
Atualizações Atualizações puderem voltar a acontecer, ou mesmo por meio de ligação
cadastrais cadastrais telefônica, que depende da atualização dos dados de contato.
Ano 1 + Ano 2 + Ano 3 Ambos os formatos são efetivos, contudo as aplicações com
Contato Contato uso de pesquisadores, tanto de forma presencial quanto re-
frequente Seguem frequente Seguem mota, requerem maior investimento financeiro do que a utili-
Amostra de frequentando frequentando zação de questionários autorrespondidos.
Jovens da
Jovens da
Rede CUCA
Rede CUCA Deixaram Deixaram
de frequentar de frequentar
68 69
RECOMENDAÇÕES I – Fortalecimento da Capacidade II – Uso, Aprendizagem e Comunicação
Institucional de M&A
O leque de recomendações resultantes desta consultoria, é Dada a diversidade de pesquisas e instrumentos construídos, Um dos resultados do trabalho realizado foi a apresentação de
motivado pelo entendimento de que somente a existência recomenda-se que seja estruturada uma equipe ou um uma proposta de rotina para o fortalecimento da aprendiza-
do Quadro Lógico e demais ferramentas desenvolvidas são setor de M&A responsável tanto pela coleta dos dados através gem na Rede CUCA a partir do uso das informações resultan-
fundamentais mas não suficientes para o acompanhamento da aplicação das pesquisas, como por cobrar e recolher os dados tes dos procedimentos e instrumentos desenvolvidos. Como
eficiente do alcance dos resultados de transformação preten- das bases de atendimento e junto aos diferentes setores da Rede dito, aprendizagem aqui se refere a apropriação e reflexão in-
didos na vida dos jovens. CUCA. Idealmente essa equipe deve ser parte da CEPPJ, respon- tencional a respeito dos resultados alcançados, avanços, difi-
sável pela política de juventude no município. culdades e lições aprendidas. O passo seguinte a esta reflexão,
Além das recomendações operacionais e técnicas feitas ao deve ser a resposta gerencial às questões apresentadas, ou
longo de todo o trabalho e apresentadas nos demais produ- Na composição dessa equipe, recomenda-se ainda, que seja seja, a tomada de decisão baseada nas evidências apresenta-
tos, destacamos aqui os aspectos de maior relevância para o verificada a viabilidade da contratação de jovens através do das pelos processos de MAAp.
igual alcance dos objetivos da sistemática e instrumentos de- mecanismo já existente de bolsas (monitoria) para aplicação
senvolvidos apoio à gestão do programa, oferecendo informa- de pesquisas e desenvolvimento de formulários integrados ao Recomenda-se, portanto, que as equipes da CEPPJ e da
ções relevantes que auxiliem a tomada de decisão sobre alo- sistema (Portal da Juventude). Isso pode trazer benefícios no Rede CUCA analisem a proposição apresentada, realizan-
cação de recursos, estratégias e ações; orientação da avaliação apoio à geração de renda dos jovens, facilidade de contrata- do os ajustes necessários a partir da consideração das suas
regular do progresso em direção aos resultados. ção e execução das pesquisas e, principalmente no comparti- possibilidades e seus limites institucionais e implemen-
lhamento e apropriação de seus resultados. tem uma rotina de reflexão e resposta aos resultados
que forem encontrados.
De toda maneira é fundamental que essa equipe receba trei-
namento e orientações adequadas e qualificadas. A realização das atividades propostas ou outras que tenham
objetivos e orientações semelhantes, poderá enriquecer tanto
o conhecimento uniformizado dos objetivos pretendidos, o ca-
70 71
III – Contratação de Consultoria Especializada IV – Integração das Pesquisas com os Sistemas V – Manutenção da Participação dos jovens
para Avaliação Longitudinal Informatizados
O processo de construção do Quadro Lógico da Rede CUCA
A estruturação de uma equipe própria de M&A no quadro da Atualmente a Rede CUCA conta com o Portal da Juventu- se mostrou extremamente rico principalmente pela partici-
CEPPJ ou mesmo da Rede CUCA favorecerá o fortalecimento de, plataforma eletrônica através da qual os jovens realizam pação e engajamento das diferentes partes interessadas, em
da capacidade institucional de M&A do programa e poderá as inscrições nas atividades, acessam os editais e podem ter especial os jovens.
oferecer diversos benefícios aos processos de pesquisa. acesso aos percursos formativos; e o SISJUV que tem caráter
mais administrativo e através do qual os professores e gesto- Recomenda-se que a participação dos jovens seja man-
Ainda assim, em função das especificidades técnicas e meto- res podem obter informações sobre os frequentadores das tida no debate e reflexões futuras sobre os resultados
dológicas da Avaliação Longitudinal conforme apresentado atividades, por exemplo. encontrados a partir da aplicação dos instrumentos e
no Produto 4 – Guia Metodológico, recomenda-se a con- procedimentos desenvolvidos.
tratação de consultoria especializada para realização Esses sistemas são integrados e juntos são uma potente ferra-
desta avaliação, a fim de garantir o rigor da aplicação da menta já à disposição dos gestores do programa. No entanto, Ademais das melhorias já mencionadas sobre o aprimo-
metodologia e da análise de dados. ao que foi possível apurar, até o momento padecem de inves- ramento das rotinas de reflexão (aprendizagem) e toma-
timentos de desenvolvimento e seu uso ainda é limitado, prin- da de decisão a partir dos dados do monitoramento e das
cipalmente no que diz respeito ao potencial de informações avaliações junto aos técnicos e gestores, a manutenção da
que podem ser extraídas e que podem favorecer a coleta de participação dos jovens também pode gerar outras cama-
dados dos indicadores desenvolvidos. das de ganhos. Um primeiro aspecto refere-se à geração
de informação de melhor qualidade. Isso porque os bene-
Visando obter agilidade nos processos de coleta de dados de ficiários normalmente estão em melhores posições para fa-
monitoramento e que demandarão a interação com os jovens, zer perguntas relevantes, identificar mudanças, reconhecer
recomenda-se a realização de ajuste desses sistema como são impactados e oferecer percepções sobre onde os
para integração dos formulários de pesquisa, registros programas podem melhorar. Outro ganho com esse públi-
e acompanhamento das respostas ao longo do tempo co é que em um processo como este pode-se demonstrar
- em oposição a apagar os dados para atualização. Recomen- e melhorar a responsabilidade para com os jovens, que po-
72 73
REFERÊNCIAS BIBLIOGRÁFICAS
AGÊNCIA NORUEGUESA DE COOPERAÇÃO (NORAD). CULLIGAN, M.; SHERRIFF, L. (org). OLIVEIRA, Cecília. REDAÇÃO MARIE CLAIRE.
El enfoque del marco lógico. Manual para la planificación de MEAL DPro: A Guide to the MEAL DPro – Monitoring, Tráfico toma conta, e violência mata tanto quanto o Meninas são mortas por decretos de facções nas redes
proyectos orientada mediante objetivos. Evaluation, Accountability and Learning for Development coronavírus na periferia de Fortaleza. Os 15 bairros da sociais. O feminicídio atinge jovens do sexo feminino de
Bilbao: IUDC/UCM/CIDEAL, 2004. Professionals. 2019. Regional I da capital concentram o maior número de mortes 12 a 19 anos e o assassinato visa retirar os símbolos de
Disponível em: http://mealdpro.org/ violentas de abril e a maior letalidade pela COVID-19 de feminilidade como os cabelos e os seios.
ANDERSON, A. Fortaleza. Disponível em: https://revistamarieclaire.globo.com/Noticias/
The Community Builder`s Approach to Theory of Change – IBGE. In: The Intercept. noticia/2020/01/meninas-no-ceara-sao-mortas-por-decretos-
A Pratical Guide to Theory Development. Dados do Censo 2010. Disponível em: de-faccoes-nas-redes-sociais.html
New York: The Aspen Institue, 2006 https://theintercept.com/2020/05/05/coronavirus-fortaleza- Acesso em 28 de jan.2021.
IBGE; MS/SVS/CGIAE. mortes-violencia> Acesso em 28 jan.2021.
BID. PROGRAMA DE FORTALECIMENTO DA INCLUSÃO SOCIAL Sistema de Informações de Mortalidade (2007-2018) SCRIVEN, Michael.
E DE REDES ATENÇÃO – PROREDES. PFEIFFER, P. Avaliação um guia de conceitos.
Perfil do Projeto. MAPA DA CRIMINALIDADE E DA VIOLÊNCIA EM FORTALEZA. Quadro Lógico: Um método para planejar e gerenciar São Paulo: Terra e Paz, 2018.
Fortaleza, 2015. Perfil da SERV VI. Laboratório de Direitos Humanos, Cidadania mudanças. In: GIACOMINI, J. & PAGNUSSAT, J.L. (org.).
e Ética (Labvida) e Laboratório de Estudos da Conflitualidade e Planejamento e Orçamento governamental – Coletânea – SHAHIN, A.; MAHABOD
BID. PROGRAMA INTEGRADO DE POLÍTICAS PÚBLICAS DE Violência (Covio), Universidade Estadual do Ceará. Volume 1. M. Prioritization of Key Performance Indicators: an
JUVENTUDE DE FORTALEZA – PIPPJ. 2018. Brasília: ENAP, 2006. integration of analytical hierarchy process and goal setting.
Relatório de Conclusão de Projeto In: International Journal of Productivity and Performance
(PCR), 2019. MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. PNAD CONTÍNUA. Management, N:226, 2006.
Indicadores de programas: Guia Metodológico / Ministério Educação/IBGE Disponível em:
CENTER FOR THEORY OF CHANGE: do Planejamento, Orçamento e Gestão, Secretaria de 2019 (2º trimestre). https://www.emerald.com/insight/publication/issn/1741-0401
What is a Theory of Change? Planejamento e Investimentos Estratégicos - Brasília
2011-2018.
74 75