Avaliação, quantificação de objectivos, indicadores

Notas a partir da experiência dos QCA

OBSERVATÓRIO DO QCA III 03.03.2004

 Síntese da apresentação

A) As funções de avaliação e acompanhamento centradas nos

resultados
lt d - o papell dos
d indicadores
i di d

a B) Indicadores (definições, tipologias, características,

atributos de qualidade)

a C)) Como medir “economia”,, “eficiência” e “eficácia”?

OBSERVATÓRIO DO QCA III 03.03.2004

 A) Avaliação e acompanhamento

Uma perspectiva e uma tradição da avaliação

Dirigida a programas públicos de investimento

Ênfase nos resultados

Preocupação central com a necessidade de justificar o

dispêndio de recursos públicos - “Value
Value for money”
money e
“accountability”

Em muitos países,
países associada/incorporada em processos
de reforma dos sistemas de programação e orçamentação

OBSERVATÓRIO DO QCA III 03.03.2004

 A) Avaliação e acompanhamento

Avaliação e acompanhamento

Ambas se inscrevem no domínio das funções de apoio à gestão

Acompanhamento - procedimentos de verificação sistemática /

regular do nível de afectação de recursos, das realizações e, se
possível, dos efeitos de uma intervenção

Avaliação - procedimentos de análise aprofundada da medida em

que as intervenções produzem os efeitos desejados

OBSERVATÓRIO DO QCA III 03.03.2004

 A) Avaliação e acompanhamento

Avaliação e acompanhamento

Ambas utilizam indicadores como inputs essenciais

Acompanhamento - os sistemas de indicadores constituem a sua

ferramenta central

Os “produtos-tipo” - relatórios de acompanhamento; sistemas de

alerta

Avaliação - os indicadores são parte de um leque muito mais vasto

de informação mobilizada

Os produtos-tipo” - relatórios de avaliação ex ante (concepção),

intermédia (operacionalização) e ex post (efeitos)

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

Oq
que é um indicador ?
em busca de uma definição consensual ...

“ um indicador pode definir-se

definir se como a medida de um objectivo
que se pretende atingir, de um recurso mobilizado, de um
efeito obtido, de um elemento de qualidade, de uma variável de
contexto”
t t ”

da colecção MEANS (CE, 1999)

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

... ou de um sentido útil, nem sempre evidente

“ um indicador é,
é acima de tudo,
tudo um instrumento (de produção
de informação) tendo em vista apoiar os actores de uma
intervenção a comunicar, a negociar ou a decidir”

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

Principais tipologias de indicadores (exemplos)

ƒ em função do tratamento da informação

ƒ em função do seu potencial de comparabilidade
ƒ em função do âmbito da informação incorporada
ƒ em função dos estádios da intervenção a que se referem
ƒ em função dos critérios que pretendem “medir”

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

em função do tratamento da informação

elementares / simples
p
(n.º de escolas EB1 remodeladas)
derivados
(tcma da população escolar)
compostos / compósitos
(taxa específica de escolarização da população de 15-17 anos)

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

em função do potencial de em função do âmbito da

comparabilidade informação incorporada
Genéricos de contexto
(taxa de execução da despesa (% da população servida pela
programada) rede pública de saneamento
básico)
específicos
(n.º de alunos beneficiados de programa
pelo projecto alfa) (k d
(km d pública
de rede úbli ded
saneamento básico construída)

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

em função dos estádios da intervenção a que se referem

de recurso (input)
( p )
Meios - financeiros, humanos, organizacionais - à disposição ou utilizados
pela intervenção
de realização (output)
Produtos das operações, bens ou serviços produzidos
de resultado (outcome)
Efeitos directos e imediatos sobre destinatários das intervenções
de impacto (outreach)
Efeitos globais e duradouros sobre os destinatários ou a população-alvo

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

em função dos critérios que pretende “medir”

de eficiência
REALIZAÇÕES OU RESULTADOS vs RECURSOS

de eficácia
REALIZAÇÕES,
Õ RESULTADOS OU IMPACTOS vs OBJECTIVOS

de utilidade e de sustentabilidade
CONTRIBUIÇÃO
Ç PARA A MUDANÇA
Ç DAS CONDIÇÕES
Ç DE PARTIDA
PRESERVAÇÃO / PROLONGAMENTO DOS IMPACTOS NO TEMPO

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

utilidade / sustentabilidade
Diagnóstico SOCIEDADE, ECONOMIA,
REGIÃO
(problemas, desafios, IMPACTOS
pertinência necessidades)
Produção
ç
OBJECTIVOS eficácia RESULTADOS de efeitos
GERAIS
(efeitos OBJECTIVOS
duradouros) ESPECÍFICOS REALIZAÇÕES
(efeitos imediatos
sobre população-
alvo)
OBJECTIVOS eficiência OPERAÇÕES
Concepção geral OPERACIONAIS
(bens e serviços
da intervenção produzidos) RECURSOS
Execução

Concepção operacional
Decisão

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

Como aferir a qualidade de um indicador?

1. Verificar se estão bem definidas as suas características elementares

ƒ A designação é clara e sintética ?
ƒ A descrição do seu significado é partilhada pelos seus diferentes utilizadores ?
ƒ A metodologia de cálculo está bem explicitada ?
ƒ A fontes
As f t dos d dados
d d necessários
á i ao seu cálculo
ál l estão
tã devidamente
d id t
identificadas ?
ƒ Está definida a sua norma de referência ?

2. Verificar se estão garantidos os atributos mínimos de qualidade

ƒ Disponibilidade e periodicidade dos dados
ƒ Sensibilidade
ƒ Comparabilidade
ƒ Fiabilidade

(adaptado de Colecção Means, volume 2, 1999)

OBSERVATÓRIO DO QCA III 03.03.2004

 B) Indicadores ...

Mettodologia explicitada ?
gnificado partilhada ?

erência ?
ontes identifficadas ?

ade dos
Designação clara ?

Comparabilidade
dade

ade
Disponibilida

Sensibilid
dados s
orma de refe

Fiabilida
D

No

D
Fo
Sig
Procura (em passageiros/ano) do Metro do Sul
do Tejo ?
N.º médio anual de formandos em formação
em alternância ?
População servida por piscinas
?
Rácio entre consultas nos centros de saúde e
nas consultas externas dos hospitais ?

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

da Lei de Enquadramento Orçamental (Lei 91/2001, de 20 de Agosto)

Artigo 16.º
g
Programas orçamentais
ç
1 – O programa orçamental inclui as despesas correspondentes a um conjunto
de medidas ou projectos ou acções de carácter plurianual, que concorrem, de
forma articulada e complementar, para a concretização de um ou vários
j
objectivos específicos,
p , relativos a uma ou mais políticas
p públicas,
p , dele
fazendo necessariamente parte integrante um conjunto de indicadores que
permitam avaliar a economia, a eficiência e a eficácia da sua realização.
( ... )

Artigo 17.º
Medidas
( ... )
4 – O projecto ou acção correspondem a unidades básicas de realização do
programa ou medida com orçamento e calendarização rigorosamente
definidos, susceptíveis de, quando executados, darem imediatamente lugar a
resultados avaliáveis.

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

da Lei de Enquadramento Orçamental (Lei 91/2001, de 20 de Agosto)

O princípio da coerência vertical da programação

A sequência Programa – Medida – Acção – Projecto
A concordância lógica
g da cadeia de objectivos
j
A articulação (efeitos de complementaridade / de sinergia)
A definição da unidade básica de realização (orçamento e calendário próprios)

O princípio da utilização de indicadores com vista à aferição de desempenho

(em termos de economia, eficiência e eficácia)

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Economia

No sentido de quantificação, de evolução dos recursos

envolvidos ?

No sentido da relação óptima entre afectação dos recursos e

satisfação
ç das necessidades ?
Confluência entre a eficiência e a eficácia

RECURSOS

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Economia

Vantagem dos indicadores genéricos (comparabilidade intra e inter

programas; utilização aos diversos níveis da programação)

Recursos financeiros:
taxa de execução do orçamento
t
taxas d i ã anuais
de variação i
ratio custos de operação / investimentos
efeito de alavanca (no caso de sistemas de incentivos)

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Eficiência

No sentido da relação entre, por um lado, realizações e efeitos

e, por outro lado, recursos envolvidos

A perspectiva custo-benefício alargada

NORMAS DE REFERÊNCIA

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Efi iê i
Eficiência

Indicadores sob a forma recursos/realização:

ç a extensão do
princípio dos custos-padrão
Aplicabilidade a investimentos estandartizados
(infraestruturais ou imateriais)
Mas com problemas evidentes:
as realizações complexas (uma escola, um hospital)
a necessária segmentação (diferenciação da formação em função
d áreas
das á d especialização,
de i li ã dos
d públicos,
úbli …))
Indicadores sob a forma recursos/resultados: a extensão
do princípio a resultados estandartizáveis
Os problemas de comparabilidade - efeitos de contexto ( p.e.
sucesso escolar) - aconselham a sua utilização no quadro da
avaliação e não do acompanhamento

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Eficácia
No sentido da concretização de objectivos quantificados

METAS
> é o critério central das funções acompanhamento e
avaliação centrada nos resultados
> pressupõe articulação exigente com o processo de
programação (a formulação de objectivos e a sua
quantificação)

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Pressupostos gerais para a aferição da eficácia

1. No âmbito do p
processo de programação
p g ç
Definição das cadeias de objectivos relevantes
(dos objectivos gerais e específicos aos objectivos operacionais, do
programa às unidades básicas de programação)

Coerência vertical – procedimentos tipo “árvore

árvore de objectivos”
objectivos

Coerência horizontal – procedimentos tipo “matrizes

matrizes de
impactos cruzados”

OBSERVATÓRIO DO QCA III 03.03.2004

 Avaliação Intercalar do Programa Operacional
Cultura

OBJECTIVOS ESSENCIAIS DA ACTUAÇÃO NA ÁREA CULTURAL

Reforçar a cultura como factor de desenvolvimento e de emprego Promover um maior equilíbrio espacial no acesso à cultura
EIXOS ESTRATÉGICOS E OBJECTIVOS GERAIS
Valorizar o património histórico e cultural (Sub-programa 1) Promoção do acesso a bens culturais (Sub-programa 2)
MEDIDAS
Medida 2.2 - Utilização das novas
Medida 1.1 - Recuperação e animação Medida 1.2 - Modernização e Medida 2.1 - Criação de uma rede
tecnologias da informação para
de sítios históricos e culturais ç dos museus nacionais
dinamização fundamental de recintos culturais
acesso à cultura
lt
OBJECTIVOS ESPECÍFICOS
Tornar mais acessível à população a
Aumentar o número de visitantes aos locais Aumentar o número de visitantes dos
produção nacional e internacional no campo Facilitar e promover o acesso de todos os
de especial interesse cultural e revitalizar principais museus nacionais, em especial
da música e das artes performativas de cidadãos aos bens, serviços e
actividades de dinamização cultural os situados fora da região de Lisboa
qualidade informações de natureza cultural e à
Criar emprego e riqueza nas regiões com Criar emprego em actividades Dotar o país de um conjunto de salas de informação utilizando para o efeito as
informação,
recursos patrimoniais importantes complementares à envolvente do museu espectáculos com boas condições técnicas de potencialidades das novas tecnologias
(recuperação de edifícios, criação artística) (novas empresas e profissões associadas) palco e equipadas eficazmente
Possibilitar às estruturas de produção
Contribuir para a valorização social e cultural
privadas as condições para poderem
das populações
desenvolver os seus projectos
Potenciar a vinda de produções estrangeiras
TIPOLOGIA DE PROJECTOS
Obras de recuperação e valorização de
Obras de construção, recuperação ou Construção, recuperação e valorização de Inventariação, digitalização e divulgação
monumentos, sítios históricos e
valorização de museus recintos culturais do património
arqueológicos
Edição de publicações e outros suportes Oficinas de conservação e restauro nos Rede informática dos museus para apoio
Eventos de animação cultural
documentais e digitais museus aos utentes
Tratamento e digitalização de arquivos,
arquivos
Acontecimentos culturais ligados à Serviços dos museus (bibliotecas,
Difusão nacional das artes do espectáculo fundos bibliográficos e património musical
valorização e animação do património arquivos,...)
portugês
Grandes eventos culturais: festivais, Outros instrumentos de divulgação da
Exposições permanentes ou temporárias Formação de novos públicos
exposições, espectáculos. informação cultural
Instrumentos de divulgação pública dos
Promoção da cultura popular
museus
Estudos e outros instrumentos de reflexão e
divulgação sobre museus

OBSERVATÓRIO DO QCA III 03.03.2004

 Avaliação Intercalar do Programa Operacional
da Ciência,
Ciência Tecnologia e Inovação (POCTI)
Q UADRO .1 - M ATRIZ DE COERÊNCIA ENTRE M EDIDAS DO POCTI E PRINCIPAIS PREOCUPAÇÕES ESTRATÉGICAS DAS POLÍTICAS NACIONAIS
(PNDES, PDR, QCA III) E DAS POLÍTICAS COMUNITÁRIAS (ANÁLISE REFERENCIADA AO MOMENTO DA PROGRAMAÇÃO INICIAL)

Melhoria das Emprego Produtividade, Inovação Conhecimento Organização Coesão Ambiente e

Qualificações (empregabilidade, Competitividade e e Sociedade espacial Social desenvolvimento
flexibilidade) mudança de sustentável
estrutural Informação
Medida 1.1. +++ ++ ++ ++ +++ + + (-?) ++
Eixo 1 Formação CML CML ML ML CML ML ML L
avançada
1. Formar e Medida 1.2. ++ +++ +++ +++ ++ + +
Qualificar Apoio à inserção ML CML ML ML ML CML ML
de doutores e
mestres nas
empresas e nas
instituições de
I&D
Eixo 2 Medida 2.1. ++ + + + +++ +
Desenvolver Desenvolver CML ML ML ML CML L
o Sistema uma rede
Científico, moderna de
Tecnológico instituições de
e de I&D
Inovação Medida 2.2. + + + + +
Organizar uma ML ML ML CML ML
matriz coerente
de
equipamentos
científicos
Medida 2.3. ++ + +++ +++ +++ ++ (-?)
Promover a CML ML ML ML CML L
produção
científica, o
desenvolvimento
tecnológico e a
inovação
Eixo 3: Medida 3.1. ++ ++ ++ ++ +++ + ++ ++
Promover a Promover a ML ML L L CML ML L L
Cultura cultura científica
Científica e e tecnológica
Tecnológica
Legenda:
+ Complementaridade
C l t id d positiva
iti mas pouco iintensa;
t ++ C
Complementaridade
l t id d fforte;
t +++ C
Complementaridade
l t id d muito
it forte;
f t -
Conflitualidade (interacção negativa)
C – Curto Prazo; M – Médio Prazo; L – Longo prazo.

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Pressupostos gerais para uma aferição da eficácia

2. Na identificação do sistema de indicadores adequado

Quantos? Quais? Para que efeitos?
Relevância / Pertinência
(as principais prioridades estão devidamente ilustradas por
indicadores – sobretudo ao nível dos indicadores de resultados e de
impactos específicos ou em domínios transversais?)
Abrangência / Exaustividade
(as principais linhas orçamentais estão devidamente representadas
por indicadores – sobretudo ao nível da realização?)
Compatibilidade / Coerência
(possibilidade de agregação de realizações ou efeitos)

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

Indicadores para a aferição da eficácia

um exemplo: a medida 4.1 do Programa Operacional Acessibilidades e
Transportes do QCA III
Objectivo específico: melhoria da qualidade e eficiência do sistema de transportes
Objectivos operacionais:
- aquisição e reconversão de material circulante ferroviário
- implementação de sistemas de gestão e controlo de tráfego
- implementação de sistemas de monitorização de qualidade ambiental

Correcta identificação das “unidades básicas de realização” ?

Integração coerente no âmbito dos objectivos gerais do Programa ?
Articulação coerente e com efeito sinergético com prioridades do desenvolvimento
económico e social, designadamente em matéria ambiental, de coesão territorial ou
de coesão social ?

OBSERVATÓRIO DO QCA III 03.03.2004

 C) “medir” economia, eficiência e eficácia ?

um exemplo: a medida 4.1 do Programa Operacional Acessibilidades e Transportes do QCA III

O sistema de indicadores
De realização N.º de composições ferroviárias adquiridas
N
N.º de planos de prevenção e salvaguarda ambiental nos portos
nacionais elaborados
N.º de planos de segurança nos portos nacionais elaborados

De resultado Área sob jurisdição portuária coberta por sistema integrados de gestão
ambiental
Variação do nn.º de comboios de passageiros em circulação
Variação do n.º de comboios de mercadorias em circulação
Variação do n.º de circulações ferroviárias suburbanas por dia útil
(Lisboa e Porto)

De impacto Redução do n.º de vítimas mortais de acidentes rodoviários

Redução de acidentes com vítimas motivados por embates em
comboios em passagens de nível
Redução da exposição ao risco de acidentes em portos
OBSERVATÓRIO DO QCA III 03.03.2004