Gesto e Regulao de Servios Pblicos de Saneamento Bsico

Avaliao do Desempenho pelo Regulador: Importncia dos Indicadores de Desempenho

11/09/2012 Braslia

Rui Cunha Marques rcmar@ebes.pt rui.marques@ist.utl.pt

Agenda
1 Conceito de Indicador de Desempenho 2 Aplicaes de Indicadores de Desempenho 3 Confiana nos Resultados 4 Metodologia de Aplicao 5 Definio dos Indicadores de Desempenho

6 Fatores Explanatrios
7 Valores de Referncia 8 Ideias-chave

Rui Cunha Marques

Definio
Indicador de desempenho consiste numa medida quantificada, na forma de razo, que traduz o modo ou a intensidade de realizao de uma determinada

atividade;
Pode ser adimensional (e. g. %) ou intensivo (e. g. $R/m3).

Um indicador de desempenho pretende no constituir uma caracterstica da organizao (e. g. densidade de clientes)

Um indicador de desempenho no deixa de ser uma medida parcial de produtividade

Um indicador de desempenho no pode ser analisado de uma forma descontextualizada
Rui Cunha Marques 3

Vantagem de aplicao dos ID

A aplicao de indicadores de desempenho pode ter diversas finalidades consoante o tipo de destinatrio que os utiliza: Prestadores de servios:
Obriga compilao e gesto da informao; Tomada de decises pelos gerentes de forma mais rpida; Refora o poder dos decisores, tornando mais fcil a justificao das decises efetuadas e o e estabelecimento de prioridades; Gesto pr-ativa; Deteo de fragilidades e pontos negros (e fortes) do sistema; Implementao de uma gesto por objetivos ao estabelecer metas para os ID; Por fim, facilita as auditorias internas ou externas e torna as caractersticas e resultados das atividades mais transparentes.

Rui Cunha Marques

Vantagem de aplicao dos ID

Agncia reguladora:
Instrumento-chave para a superviso da qualidade do servio prestado pelo prestador.

So tambm importantes para as entidades responsveis pela poltica do sector a nvel nacional, regional ou local, para os usurios, para os organismos financeiros e para as organizaes supraestaduais/supranacionais.
Rui Cunha Marques 5

Quadro de ID
O indicador de desempenho analisado individualmente tem um interesse reduzido. Deve, por isso, ser includo num quadro ou sistema de indicadores; A seleo de um quadro de indicadores deve respeitar os seguintes requisitos:
Identificao clara do perodo de tempo considerado, tal como a rea geogrfica afeta ao prestador de servios que est a ser avaliado; Definio dos indicadores, tendo em ateno os vrios estados de desenvolvimento existentes; Estabelecimento de uma escala de resultados dos indicadores propostos,

correspondendo a uma avaliao qualitativa; Identificao dos aspetos a examinar, tanto na perspectiva do prestador de servios em anlise, como das outras entidades intervenientes no sector;

Rui Cunha Marques

Quadro de ID
Definio coerente e evidente dos indicadores, impedindo avaliaes e interpretaes

subjetivas, bem como dualidade de critrios na sua determinao;

Independncia dos indicadores, sempre que seja possvel, evitando a sua sobreposio; Estabelecimento de critrios que permitam a validao e extrapolao dos resultados

obtidos, bem como da qualidade da informao recolhida;

Utilizao de equipamento relativamente simples na determinao de indicadores (adequados ao nvel de desenvolvimento existente do prestador) e de fcil implementao a curto e mdio prazo; Verificao dos resultados com relativa facilidade; Perceo fcil dos resultados obtidos, referentes aos indicadores por entidades no especialistas, como os usurios, mdia ou os responsveis polticos.

Rui Cunha Marques

Vrios Sistemas Propostos

Quadro de indicadores da IWA:
158 indicadores associados a trs nveis de importncia, divididos em indicadores de recursos hdricos (4), indicadores de recursos humanos (25), indicadores infraestruturais (15), indicadores

operacionais (40), indicadores de qualidade de servio (27), indicadores econmico-financeiros (47);

Estes indicadores so ainda complementados com os fatores de contexto (informao significativa sobre o perfil da regio, o perfil do sistema e o perfil do prestador de servios);

Quadro de indicadores do Banco Mundial (http://www.ib-net.org/):

So 30 indicadores (mais subdivises) escalonados em 12 categorias (cobertura dos servios, qualidade de servio, consumos e produo, faturao e cobrana, gua no faturada, desempenho

financeiro, ativos, micromedio, disponibilidade dos servios, custos e recursos humanos e

indicadores operacionais); A base de dados inclui uns milhares de prestadores de servios referentes a uma centena de pases.
Rui Cunha Marques 8

Vrios Sistemas Propostos

Multiplicidade de propostas:
Normas internacionais ISO 24.500 relativas produo e consumo de gua e manejo de esgoto. Portugal: Marques (1999), IRAR (2005 e 2011);

Holanda: VEWIN;
Inglaterra e Pas de Gales: OFWAT; Frana: ONDEU (sistema interno), ; Pases Nrdicos (seis cidades), associaes Noruega (NVE), Dinamarca (DANVA), Sucia (VAV), ; Alemanha: Associaes dos prestadores ATV-DVWK e DVWG, ; Estados Unidos: WEF, AWWA, AMSA, ; Austrlia: IPART, ;

No h sistemas de indicadores de desempenho a la carte para o nosso prestador. Devemos definir o nosso sistema, em funo das nossas necessidades, procurando utilizar a linguagem e a terminologia mais adequada

Rui Cunha Marques

Confiabilidade
A verificao da exatido e da confiabilidade dos dados importante na medida em que valida comparaes que venham a ser feitas entre eles. A cada um dos indicadores dever ser associado um parmetro normalizado de confiana; Por confiabilidade entende-se o grau de exaustividade versus o de extrapolao que deu origem aos registos.
Estes valores resultam de medies ou registos fidedignos e exaustivos obtidos pelos melhores mtodos de clculo conhecidos. Registos cobrem a totalidade dos valores a medir. Valores com algumas falham pouco significativas, por exemplo registos no confirmados ou alguns (poucos) valores em falta obtidos por extrapolao. Valores baseados em extrapolaes de uma amostra para a qual se aplica grau A ou B. Todos os restantes.

A (muito confivel)

B (confivel)

C (pouco confivel) D (sem confiabilidade) (Fonte: OFWAT, 1997 e IWA, 2000)

Rui Cunha Marques

10

Exatido
Por exatido entende-se a aproximao entre o resultado da medio e o
valor na realidade medido.
Bandas de exatido

1
2 3 4 5 6 X

Exatido melhor ou igual a 1%.

Exatido melhor ou igual a 5%. Exatido melhor ou igual a 10%. Exatido melhor ou igual a 25%. Exatido melhor ou igual a 50%. Exatido melhor ou igual a 100%. Restantes valores e casos em que no determinvel.

(Fonte: OFWAT, 1997 e IWA, 2000)

Rui Cunha Marques

11

Indicador de Confiana
A partir dos fatores de confiabilidade e exatido forma-se o indicador de confiana normalizado juntando a letra com o nmero. Assim, por exemplo, a dados com muita confiabilidade e exatido igual ou superior a 10% atribui-se o indicador A3.
A 1 2 3 4 5 6 A1 A2 A3 A4 B B2 B3 B4 C C2 C3 C4 C5 D D3 D4 D5 D6

(Fonte: OFWAT, 1997 e IWA, 2000)

Rui Cunha Marques

12

Metodologia
Indicador Critrio de medio Determinao do indicador Anlise dos fatores explanatrios No controlveis Avaliao de performance

Comparao com valores de referncia

Controlveis

Rui Cunha Marques

13

Importncia
Os indicadores de desempenho so normalmente hierarquizados em funo da sua importncia.

Rui Cunha Marques

14

Nvel de Desenvolvimento
Os indicadores so, com frequncia, definidos em funo do grau de desenvolvimento dos prestadores de servios;

Rui Cunha Marques

15

Classificao
Os indicadores de desempenho so, por vezes, classificados em confrontveis e em no confrontveis, consoante a adequabilidade que tm para aplicao de benchmarking. Por exemplo, o indicador substituio de contadores confrontvel enquanto o indicador origem de gua no confrontvel; Os indicadores no confrontveis so, frequentemente, inseridos na informao de contexto e so, comummente, considerados fatores explanatrios, isto , fatores que podem permitir, em certo grau, explicar o melhor ou pior desempenho do prestador de servios; Os indicadores so tambm classificados em classes em funo da sua natureza. Por

exemplo, podem ser escalonados em indicadores estruturais, indicadores operacionais,

indicadores de qualidade de servio, indicadores de recursos humanos e indicadores econmico-financeiros.

Rui Cunha Marques

16

Indicadores Estruturais
Os indicadores estruturais descrevem a estrutura fsica dos servios de saneamento, evidenciando as principais caractersticas do seu patrimnio e da sua estrutura fsica; Exemplos de indicadores estruturais para o servio de abastecimento de gua e para o servio de esgotamento sanitrio:
Indicador de desempenho gua Unidade Importncia

Capacidade de armazenamento de gua bruta

Capacidade de tratamento Capacidade de armazenamento de gua tratada Consumo de energia

Dia
% Dia kWh/m3/mca

Moderada
Alta Moderada Moderada Elevada Elevada Moderada
Rui Cunha Marques 17

Esgoto
Capacidade de tratamento Risco de inundao Consumo de energia % % KWh/m3/mca

Indicadores Operacionais
Os indicadores operacionais permitem conhecer os aspectos relacionados com o funcionamento operacional dos servios.

Indicador de desempenho
Inspeo Limpeza de reservatrios Substituio de hidrmetros Reabilitao de canalizaes Perdas de gua Falhas do servio eltrico Anlises efetuadas Veculos Vazamentos Extravasamentos

Unidade
Dia Ano Ano % m3/ligao/ano Horas/EE/ano % Km / veculo n./100km/ano n./100km/ano

Importncia
Alta Alta Muito alta Muito alta Muito alta Alta Alta Moderada Alta Alta

Rui Cunha Marques

18

Indicadores de Qualidade de Servio

Os indicadores de qualidade de servio dizem respeito s questes da qualidade da gua e satisfao dos usurios com o servio prestado.
Indicador de desempenho
gua Cobertura de servio Atendimento de servio Interrupo % % Muito alta Muito alta

Unidade

Importncia

Qualidade de gua fornecida

Reclamaes de servio Micromedio Esgoto Cobertura de servio de drenagem Cobertura de servio de tratamento Atendimento de servio Qualidade de efluente Reclamaes de servio

%
n./1000 usurios/ano %

Muito alta
Muito alta Alta

% % % % n./1000 usurios/ano

Muito alta Muito alta Muito alta Muito alta Muito alta

Rui Cunha Marques

19

Indicadores de Recursos Humanos

Os indicadores de recursos humanos procuram avaliar o desempenho e a produtividade dos empregados dos servios.

Indicador de desempenho
Funcionrios por usurio Funcionrios por volume distribudo Funcionrios por extenso de rede Funcionrios por departamento Qualificao do pessoal Horas extraordinrias Absentismo Formao Acidentes de trabalho

Unidade
n./1000 usurios n./106 m3 n./10 km % % hora/funcionrio/ano hora/funcionrio/ano dia/funcionrio/ano n./funcionrio/ano

Importncia
Muito alta Moderada Moderada Moderada Alta Alta Alta Muito alta Muito alta

Rui Cunha Marques

20

Indicadores Econmico-financeiros
Os indicadores econmico-financeiros retratam os aspetos de natureza econmica/financeira do prestador e das suas atividades.
Indicador de desempenho
Custo unitrio total do servio Custos correntes do servio Proveito unitrio total do servio Investimento no servio Preo mdio do servio Cobertura de custos do servio Dvida de usurios Solvabilidade Liquidez geral Taxa de retorno do activo fixo

Unidade
$R/m3 $R/m3 $R/m3 $R/m3 $R/m3 % -

Importncia
Muito alta Alta Moderada Moderada Alta Muito alta Alta Alta Moderada Moderada

Rentabilidade dos capitais prprios

Moderada

Rui Cunha Marques

21

Fatores explanatrios
Fatores explanatrios so fatores ou indicadores que podem permitir

justificar, em certa medida, o melhor ou pior desempenho evidenciado.

O clculo de um indicador de desempenho sem a integrao dos fatores explanatrios tem um interesse reduzido
Os fatores explanatrios so classificados em controlveis (discricionrios) ou no

controlveis (no discricionrios), se os gerentes dos prestadores tm capacidade

ou no de alterar os seu valores; e. g. Idade mdia das condutas constitui um fator controlvel enquanto a pluviosidade ou a densidade de usurios no o ;
Rui Cunha Marques 22

Diversidade de fatores
Existem fatores explanatrios relacionados no s com o ambiente operacional, mas tambm relacionados com o ambiente regulatrio (e.g. legislao, regulador, ), com

o histrico do prestador de servios (e.g. capacidade ociosa) e com a escala de

operao; Na anlise dos fatores explanatrios interessa, sobretudo, determinar situaes extremas, isto , as circunstncias em que os prestadores de servios apresentam valores muito fora do normal.

Na maioria das situaes o efeito dos fatores explanatrios pode no ser relevante, no podendo os mesmos servir de argumento para justificar um eventual pior desempenho

Rui Cunha Marques

23

Exemplos
a) Capacidade de armazenamento de gua tratada
Razo entre o volume total de reservatrios de gua tratada e o caudal mdio dirio.

Fatores explanatrios:
Fator de pico, nmero de avarias no sistema e capacidade da distribuio e do transporte.

b) Custos de energia
Razo entre o custo anual com a energia e o volume de gua faturado anualmente.

Fatores explanatrios:
Topografia, estaes de tratamento de gua e idade do equipamento.

Rui Cunha Marques

24

Exemplos
c) Extravasamento
Razo entre o nmero de extravasamentos das redes de esgoto e o comprimento da mesma.

Fatores explanatrios:
Velocidade do escoamento / autolimpeza, idade do sistema, materiais e dimetros e densidade de usurios.

d) gua infiltrada em termos de custos

Razo entre os custos decorrentes da infiltrao de gua e os custos totais.

Fatores explanatrios:
Pluviosidade, exportao de guas residuais, custos de operao e manuteno, topografia e tratamento.

Rui Cunha Marques

25

Valores de referncia
Aps o clculo dos indicadores e a definio dos fatores explanatrios e o desempenho obtido comparado com valores de referncia (benchmarks);

Estes valores correspondem s melhores prticas (best practices) do

mercado, quer sejam referidas na literatura quer correspondam a valores determinados para outros prestadores de servios atuantes no Brasil ou no estrangeiro; Em ltima instncia, o benchmark baseia-se nos valores obtidos em anos

anteriores;
Os valores de referncia servem no s para medir o seu grau de desempenho como tambm para estabelecer metas para perodos

temporais futuros.
Rui Cunha Marques 26

Exemplos
a) Interrupes na rede
Razo entre o nmero anual de interrupes na rede e o comprimento total da rede dividido por cem;

Valor de referncia:
10 a 20 interrupes /100km/ano dependendo da densidade de usurios. Quanto maior esta for maior ser o valor do indicador;

b)

Formao
Razo entre o nmero total de horas de formao efetuadas por ano e o nmero de empregados;

Valor de referncia:
40 horas por empregado por ano.

Rui Cunha Marques

27

Exemplos
c) Reabilitao de canalizaes de esgoto
Razo entre o comprimento da rede e o comprimento de canalizaes reabilitadas por ano;

Valor de referncia:
1,5 a 2,5% ao ano;

d) Cobertura dos custos do servio de esgoto

Razo entre os proveitos anuais do servio de esgoto e os seus custos anuais;

Valor de referncia
10% acima do custo total.

Rui Cunha Marques

28

Ideias-chave
Na aplicao de indicadores de desempenho deve-se:
Definir claramente as metas e os objetivos do estudo a efetuar; Ter conscincia que na maioria das situaes a obteno dos indicadores de desempenho envolve a participao de vrios departamentos e de vrios intervenientes e que consome muitos recursos. Logo, deve existir uma grande disponibilizao do avaliado para se avaliar; A avaliao do desempenho deve ser vista sempre como uma oportunidade e no como um fardo ou uma crtica da sua atuao; No existem quadros de indicadores prt--porter. Deve existir a preocupao de usar a terminologia mais adequada e de construir um quadro de indicadores adaptado sua realidade;
Rui Cunha Marques 29

Ideias-chave
A integrao dos fatores explanatrios fundamental. Porm, na maioria dos casos no deve justificar o eventual pior desempenho manifestado;

Os valores de referncia devem ser definidos tendo, sobretudo, em conta as

melhores prticas nacionais. Torna-se fundamental traar metas e objetivos de melhoria para os anos seguintes; Deve existir a conscincia que os resultados pretendidos com a aplicao de indicadores de desempenho (benchmarking mtrico) demoram tempo a alcanar. Alm disso, s uma primeira etapa!...

O objetivo benchmarking processo!...

Rui Cunha Marques 30

DVIDAS

Rui Cunha Marques

31