ENSAIO (/ENSAIO/)

Por que
produzimos
diretrizes para a
prática de FOTO: AMANDA PEROBELLI/REUT

avaliação

Rogério Silva, Marcia Joppert e Max Gasparini

25 de Agosto de 2020

Essas orientações são um chamado para que a sociedade brasileira amplie sua atenção e capacidade de influenciar a produção
das avaliações, com especial atenção ao modo como são realizadas e às finalidades às quais se destinam

Avaliações de políticas, programas, projetos e serviços têm se tornado cada vez mais importantes no Brasil. Evidente conquista do período de redemocratização e da
consequente ampliação do interesse público e do diálogo entre os atores sociais, a demanda por avaliações têm crescido progressivamente. Esse crescimento vem junto
com a expansão das políticas públicas, o fortalecimento da sociedade civil, a agenda de cooperação internacional e avanços no setor privado.

Das avaliações de larga escala na educação àquelas dedicadas à implementação de políticas, das pesquisas avaliativas produzidas pelas universidades aos estudos de
impacto fomentados pelo Estado, agências multilaterais e organizações da sociedade civil, é evidente o crescente estoque de capital científico, técnico e político
disponível no Brasil, como têm mostrado muitos autores, entre eles os colunistas do Nexo Claudio Ferraz (/colunistas/autor/Claudio-Ferraz) e Alicia Kowaltowski
(/colunistas/autor/Alicia-Kowaltowski) .

Até aqui, é certo que muitas avaliações contribuíram para tornar as políticas públicas e os investimentos privados mais efetivos e transparentes e para aumentar o
aprendizado e fortalecer as organizações em geral. Quando realizadas com respeito aos atores, com critérios válidos e métodos consistentes, são muitos os casos de
avaliações que operaram como instrumentos democráticos e contribuíram para reduzir as desigualdades e assegurar direitos.

Mas as avaliações não foram apenas valorosas. Operadas por agentes e instituições reais em cenários políticos diversos, elas também falharam e foram subutilizadas e,
em algumas situações, produziram danos. Não são poucos os casos de avaliações utilizadas para manipular a opinião pública, reforçar desigualdades, invisibilizar o
racismo e cercear direitos. E mais recentemente, como argumenta Marta Arretche (/colunistas/2020/O-negacionismo-e-o-método-científico-hoje-e-na-história) , não
são poucos os casos de negação da evidência científica a demonstrarem que a prática e o uso das avaliações têm muito o que avançar.

Comprometida com a produção de avaliações relevantes e que possam fortalecer a democracia, a liderança da RBMA (Rede Brasileira de Monitoramento e Avaliação)
apoiada pela Agenda de Avaliação do Gife
(https://avaliacao.gife.org.br/#:~:text=A%20Agenda%20de%20Avalia%C3%A7%C3%A3o%20tem,das%20organiza%C3%A7%C3%B5es%20da%20sociedade%20civil.)
, elaborou as Diretrizes para a prática de avaliação no Brasil (https://drive.google.com/file/d/11dGgY6SG5juPp1lb4L6fuuuxOIT4ArDR/view?usp=sharing) . As
Diretrizes são um chamado para que a sociedade brasileira amplie sua atenção e capacidade de influenciar a produção das avaliações, com especial atenção ao modo
como são realizadas e às finalidades às quais se destinam.

Fruto da consulta a mais de 200 especialistas, pesquisadores, gestores públicos e grupos específicos, como jovens avaliadores e avaliadores negros, as Diretrizes para a
prática de avaliação no Brasil estão apresentadas em quatro dimensões, definidas por pares de conceitos, nas quais encontram-se 26 diretrizes.

A primeira
delas trata DIRETRIZES PODEM INSTRUMENTAR CONSELHEIROS DE DIREITOS, ATIVISTAS E JORNALISTAS A BUSCAREM
da POLÍTICAS E SERVIÇOS PÚBLICOS DE MAIOR QUALIDADE

Aprendizagem e Utilização, apontando que as avaliações devem dialogar e responder às necessidades de informação e conhecimento dos interessados, favorecendo o
aprendizado sobre o objeto avaliado. Desse modo, as avaliações podem ampliar níveis de análise, reflexão, compreensão e apropriação e inspirar processos de
formulação, implementação, prestação de contas e decisão sobre continuar, descontinuar ou ampliar iniciativas.

A segunda dimensão trata de Direitos e Integridade, apontando que as avaliações devem reconhecer e respeitar os direitos e posições sociais, culturais e políticas dos
interessados como condição para sua legitimidade. Devem também respeitar os parâmetros normativos e legais vigentes. A afirmação é seguida de sete diretrizes que
detalham e procuram tangibilizar a declaração principal.

A terceira dimensão trata de Contextualização e Valoração. As avaliações devem apoiar-se na melhor compreensão possível dos objetos. Devem formular, eleger e
explicitar critérios tecnicamente consistentes, contextualmente apropriados, que façam sentido para os interessados e sejam adequados para responder às perguntas
avaliativas. Este é o que muitos teóricos classificam como o coração da prática avaliativa, ou seja, o exercício de atribuir valor a um determinado objeto avaliado.

A quarta dimensão trata então de Método e Viabilidade. Ela aborda a relação da avaliação com o método científico, e com a necessidade de que os estudos sejam viáveis
à luz das condições reais dos objetos e dos recursos institucionais, afirmando que “ao lado do uso criterioso de métodos científicos, as avaliações devem ser geridas de
modo cuidadoso, transparente e flexível, devem contar com profissionais e equipes bem preparadas, além de assegurar o bom uso de recursos materiais e naturais”.

Baseadas nas diretrizes elaboradas para a América Latina e Caribe pela Relac (https://www.relac.net/) (Red de Seguimiento, Evaluación y Sistematización de América
Latina y el Caribe), as diretrizes brasileiras foram adequadas ao contexto, valores e práticas nacionais. O documento destaca a necessidade de que as avaliações sejam
utilizadas para fomentar diálogos republicanos entre os atores, para assegurar o uso inteligente, responsável e transparente dos recursos públicos e privados, e para
favorecer gestão e decisões baseadas em evidências.

Destacam também a necessidade de produzir avaliações capazes de combater o racismo, reconhecendo ser esta uma agenda de primeira grandeza no Brasil e via
essencial para reduzir as desigualdades e violências e caminhar na direção de um futuro com mais democracia e prosperidade para todas as pessoas. Nesse sentido, o
documento lembra que as Diretrizes podem instrumentar conselheiros de direitos, ativistas e jornalistas a buscarem políticas e serviços públicos de maior qualidade,
bem como sustentar a luta por direitos civis, políticos, sociais e ambientais.

Para os profissionais e instituições avaliadoras, as Diretrizes também podem cumprir importantes funções. Ao iluminar aspectos centrais à prática, elas podem oferecer
suporte à concepção, implementação e uso de avaliações. Podem também basear processos de meta-avaliação, ou seja, aqueles que analisam criticamente as próprias
avaliações. Como aponta o teórico Michael Scriven, “meta-avaliação é o imperativo profissional da avaliação: ela representa o reconhecimento de que ‘a avaliação
começa em casa’, de que a avaliação é autorreferente e não apenas algo que se faz com os outros”.

Nesse laço entre ciência, política e gestão proposto pelas avaliações, são muitos os atores e as situações que podem se beneficiar das Diretrizes. Respeitando seus
diferentes níveis de compreensão, inserções e objetos de interesse, as Diretrizes procuram favorecer o diálogo e a reflexão sobre a prática. A publicação refuta o viés
normativo, recomendando que as diretrizes cumpram o papel de provocar reflexão, crítica e construção. Primeiro esforço da RBMA para propor marcos conceituais
comuns para as avaliações realizadas no Brasil, e por isso mesmo com explícitas limitações, é preciso tomá-las como possibilidade e nunca como imperativo.

Como afirma o documento, as Diretrizes são uma plataforma de diálogo para o amplo e diverso campo avaliativo que a RBMA procura fomentar, marcado por uma
“comunidade criativa, transdisciplinar e pluri-institucional na qual convivem muitas correntes, abordagens, orientações e intenções”.

Se uma democracia forte requer que todos os atores da sociedade participem ativamente da produção e expansão dos direitos políticos, civis, sociais e ambientais, não
há dúvidas de que é preciso dar a devida atenção às avaliações, pelo modo como podem favorecer ou obstruir tais construções. Vamos falar sobre isso?

Rogério Silva é doutor em saúde pública pela USP (Universidade de São Paulo), é sócio da Pacto Organizações Regenerativas e um dos organizadores das
Diretrizes para prática de avaliação no Brasil.

Marcia Joppert é doutoranda no programa de psicologia com concentração em avaliação na Claremont Graduate University, diretora da Rede Brasileira de
Monitoramento e Avaliação e uma das organizadoras das Diretrizes para prática de avaliação no Brasil.

Max Gasparini é mestre em saúde coletiva pela Faculdade de Medicina da USP, é consultor da Move Social e um dos organizadores das Diretrizes para prática de
avaliação no Brasil.

Os artigos publicados no nexo ensaio são de autoria de colaboradores eventuais do jornal e não representam as ideias ou opiniões do Nexo. O
Nexo Ensaio é um espaço que tem como objetivo garantir a pluralidade do debate sobre temas relevantes para a agenda pública nacional e
internacional. Para participar, entre em contato por meio de ensaio@nexojornal.com.br informando seu nome, telefone e email.

(https://thetrustproject.org/) SAIBA MAIS