Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

MODELOS DE GESTO PBLICA E QUALIDADE OPERACIONAL NO

SECTOR DAS GUAS PORTUGUS: ESTUDO COMPARADO
PUBLIC MANAGEMENT AND OPERATIONAL QUALITY IN THE
PORTUGUESE DEPARTMENT OF WATERS: COMPARATIVE STUDY
Hugo Conscincia Silvestre1
Joaquim Filipe Arajo2
RESUMO
Neste artigo fazemos o estudo da relao entre os modelos de prestao de servios pblicos
existentes no setor das guas em Portugal com a qualidade de tipo operacional e qualidade do
bem fornecido. Para o efeito socorremo-nos de um desenho de pesquisa de tipo comparativo
numa perspectiva diacrnica ou dinmica, o desenho de painel 2002 a 2009 e cujos dados
foram recolhidos dos relatrios da Entidade Reguladora dos Servios de guas e Resduos,
entidade que supervisiona e controla as empresas que operam no sector das guas. Fazendo
uso da Anlise de Varincia analisamos os modelos de prestao deste bem relativamente
qualidade da prestao de servio e qualidade da gua disponibilizada aos cidados.
Palavras-chave: Nova Gesto Pblica; Modelos de Gesto Pblica; Avaliao de
desempenho; Qualidade do Servio,
ABSTRACT
Using survey data from the Portuguese Water Sector Regulator, the following study explores
the relationship between the operational and good quality and the sector that provides the
service. With a comparative research design that includes data from 2002 to 2009, we aim to
describe that relationship through ANOVA. We conclude for a non statistical relationship
between the sector that provides the service with operational quality. However, we prove that
a relationship exists between public private partnerships with the goods quality.
Keywords: Public Sector Reform; Public Private Partnerships; Corporate Public Sector
Corporations; Social Performance.

1. Introduo

A participao do setor privado na prestao de servios pblicos tornou-se

uma alternativa produo e prestao desses servios pelas organizaes pblicas, no incio
dos anos oitenta (cf. Pollitt & Bouckaert, 2004). At aos anos setenta a administrao pblica
baseava-se no modelo Profissional de Administrao: os administradores focavam-se na
gesto das aes quotidianas de acordo com as regras estabelecidas, recorrendo ao modelo
burocrtico para a organizao das suas atividades (Osborne, 2010). Neste modelo a nfase
colocava-se no cumprimento do que a lei definia como sendo o melhor modo na prestao do
1
2

Universidade Tcnica de Lisboa, Portugal. E-mail: hmcsilvestre@gmail.com.

Universidade do Minho, Portugal. E-mail: jfilipe@eeg.uminho.pt.

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

241

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

servio pblico. No existia uma separao entre as questes polticas e as questes

administrativas, porque as ltimas se tornaram num elemento importante na promoo e
implementao das polticas pblicas (cf. Osborne, 2006). O conhecimento tcnico para a
tomada de deciso sobre a produo de bens e servios levou os Governos a depender do
conhecimento especializado detido pelos profissionais da Administrao Pblica e o
concomitante envolvimento dos altos funcionrios no processo poltico. Este envolvimento
levou a que o foco do controlo fosse colocado nos inputs em detrimento dos outputs ou
outcomes.
No que concerne aos processos de deciso estes no eram flexveis e a
responsabilidade gestionria era limitada porque existia uma elevada intimidade entre a
deciso poltica e as aes administrativas. Por fim no existiam incentivos para uma maior
eficincia e eficcia na distribuio de servios pblicos (Arajo, 2003). Devido aos
constrangimentos apresentados, os novos modos de prestao do servio pblico
sustentados pelas idias da Nova Gesto Pblica (NGP) defendiam a participao do setor
privado para a prestao de bens e servios pblicos atravs da utilizao da
contratualizao/externalizao/terciarizao e das parcerias pblico privadas, entre outros
(Silvestre, 2010).
A participao do setor privado visava uma melhor utilizao dos recursos escassos
(Value-for-money) de modo a elevar o desempenho organizacional. Esta participao emergiu
igualmente como uma possvel soluo para obter o compromisso das empresas privadas, e os
mecanismos de mercado associados, na prossecuo dos objetivos no comerciais
(Feigenbaum, Henig, & Hamnett, 1998). Segundo Peters & Waterman (1987) estes objetivos
seriam conseguidos com o alinhamento entre as decises organizacionais e as expectativas
dos clientes e as suas necessidades. Isso acontece porque a ao organizacional no um fim
em si, um meio para satisfazer as expectativas e necessidades dos clientes e no existe um
propsito organizacional em agir sem conhecer o que estes realmente querem. Assim, com um
desempenho econmico melhorado seria expectvel que tambm pudesse existir uma
melhoria da qualidade dos bens e servios pblicos disponibilizados aos cidados (Pollitt,
1990).
Nesse propsito vrios estudos foram realizados entre 1976 e 1994 com o intuito de
entender a existncia da relao entre a prestao de servios pblicos pelos privados e os
resultados atingidos (Hodge, 2000). Desses estudos, conclui Hodge (2000) que apenas 15 por
cento versavam o conhecimento da relao entre a participao do setor privado na prestao
de servios pblicos e os resultados no econmicos, sendo que estes impactos no so
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

242

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

provados uma vez que faltam evidncias estatsticas, nomeadamente no que concerne
qualidade dos bens e dos servios produzidos.
Estudos recentes esto contudo a desenvolver diferentes abordagens aos modos como
os servios pblicos so prestados, nomeadamente atravs da criao de empresas pblicas
(cf. Tavares & Cames, 2010). O desenvolvimento destas figuras institucionais,
principalmente ao nvel da administrao local, surgem com o intuito de melhorar os
objetivos no comerciais ao invs dos comerciais como at aqui vinha acontecendo. A
dimenso social, de onde destacamos a qualidade do bem e do servio, pois enfatizada nesta
abordagem (cf. Bel & Fageda, 2010).
Merc destes recentes desenvolvimentos tericos pretendemos aqui atestar da relao
entre os modelos de gesto utilizados para a prestao do servio pblico com a qualidade
apresentados pelos diferentes modelos de gesto. Entende-se por modelos de gesto as formas
de prestao de servios pblico nomeadamente o recurso hierarquia, ao mercado ou o
recurso a parcerias. Por outro lado, este estudo recolhe dados sobre os resultados alcanados
pela participao do setor privado na prestao de servios pblicos e deste modo contribui
para os recentes desenvolvimentos tericos da reforma do sector pblico (em particular na
nfase que coloca nos objetivos no comerciais em detrimento do enfoque na eficincia
econmica, aquela que tem sido a mais utilizada). Este artigo segue o seguinte esquema. Na
prxima seco descrevemos a emergncia de novos modos na prestao de servios
pblicos: as parcerias pblico privadas e as empresas municipais, tidas como modelos
alternativos prestao de servios pblicos, com o intuito de melhorar a qualidade dos bens
e dos servios. De seguida so enunciadas as hipteses de trabalho e correspondentes
variveis. Por fim apresentamos os resultados do nosso estudo seguidos das concluses.

2. Modelos utilizados para a prestao de servios pblicos

Do modelo burocrtico s parcerias pblico privadas

As alteraes polticas, econmicas, sociais e tecnolgicas nos finais do Sculo XX

(Osborne & Brown, 2005), estiveram na origem da participao do setor privado na prestao
dos servios pblicos na grande maioria dos pases da OCDE (Lane, 2005). Existem contudo
diferenas entre os vrios pases da OCDE no que concerne ao mecanismo utilizado para a
participao do sector privado. Por exemplo, numa comparao entre os pases AngloSaxnicos e os pases da Europa Continental, verificamos que nos ltimos a venda da
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

243

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

propriedade pblica no foi to intensa porque a reforma do sector pblico nestes pases tinha
como objetivo a institucionalizao do Estado neoWeberiano e no do Estado neoliberal
(Pollitt & Bouckaert, 2004). Contudo a venda da propriedade pblica no Reino Unido foi
mais radical do que nos outros pases, muito em especial porque os ltimos desenvolveram
modos alternativos para a prestao do servio pblico, nomeadamente o estabelecimento de
parcerias pblico privadas e a constituio de empresas pblicas (cf. Bel & Fageda, 2010; Bel,
Hebdon, & Warner, 2007).
Para Silvestre & Arajo (2012) as parcerias pblico privadas podem assumir vrios
tipos. Para estes autores todos os arranjos que compreendam a cooperao entre
organizaes pblicas e privadas que apresentam objetivos comuns e que repartem os riscos
e responsabilidades na produo e entrega dos servios pblicos durante um perodo de
tempo alargado, esto dentro do conceito de parcerias pblico privadas. De entre os vrios
arranjos emergem os contratos de concesso, aqueles que reportam responsabilidade das
organizaes privadas na gesto de bens e servios pblicos j existentes ou ento em criao
(Nikolic & Maikisch, 2006). Este tipo de arranjo tem sido privilegiado face aos outros a
razo pela qual aqui o destacamos.
No seu mago, as parcerias pblico privadas apresentam vantagens tericas
considerveis face a outro tipo de arranjos, nomeadamente pelo compromisso entre as
capacidades gestionrias dos privados (Tati, 2005), com o compromisso poltico, que
invariavelmente elevar a qualidade dos bens e servios prestados (Fundo Monetrio
Internacional, 2004).

Das parcerias pblico privadas s empresas pblicas

As empresas pblicas municipais tm sido recentemente utilizadas para a

prestao de servios pblicos em alguns pases Europeus, nomeadamente em Espanha e
Portugal (Tavares & Cames, 2010; Torres & Pina, 2001).
Na experincia Portuguesa as empresas pblicas municipais surgem aps a aprovao
da Lei das Empresas Municipais, Intermunicipais e Regionais de 1998. Para Tavares &
Cames (2007) este arranjo institucional permitiu melhorar a gesto atravs da libertao das
regras do Direito Administrativo que os municpios estavam obrigados a cumprir.
Com a criao das empresas municipais tornou-se possvel desenvolver a gesto de um
modo mais ajustado realidade dos bens e servios produzidos. Em primeiro lugar, porque a
inteno poltica baseava-se na tentativa de libertar a gesto da burocracia tradicional
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

244

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

(Tavares & Cames, 2010) tida como ineficiente. Sendo as empresas municipais geridas com
base na lei aplicada s empresas privadas, e no com o recurso ao Direito Pblico, estas
organizaes podiam decidir mais facilmente sobre os recursos humanos, tcnicos,
financeiros e materiais de modo a melhorar o seu desempenho. Decises mais cleres
traduzem-se numa melhor gesto organizacional.
Em segundo lugar as empresas pblicas municipais tm apenas um propsito de ao e
so financeira, jurdica e patrimonialmente independentes da estrutura da Cmara Municipal,
entidade que detm a sua propriedade (Lei das Empresas Municipais, Intermunicipais e
Regionais de 1998). Com a separao das questes polticas das questes de gesto, estas
organizaes podem decidir com base em critrios de gesto e no com base em critrios
polticos, tal como preconizado pela NGP.
Em terceiro lugar as taxas pagas pelos utilizadores tornam-se a principal fonte de
rendimento das empresas municipais, reduzindo a dependncia financeira destas em relao
s transferncias do oramento autrquico. No seu mago, este modelo tenta acabar com os
subsdios indiscriminados s organizaes pblicas tradicionais. Esta nova forma de prestao
do servio pblico, em virtude da autonomia que introduzem, permite a estas organizaes
perseguir nveis de eficincia organizacional mais apurados atravs de uma gesto
profissional. Deste modo a dependncia que anteriormente estas organizaes, enquanto
estruturas burocrticas, tinham em relao aos oramentos transferidos pela Cmara
Municipal so aparentemente eliminados aps a sua passagem para empresas pblicas. Com a
gesto profissional estas novas organizaes procuram uma melhoria da eficincia para que
se tornem financeira e economicamente sustentveis. Por isso as empresas municipais
procuram sobreviver atravs do balano adequado entre receitas e custos, tal como acontece
com as empresas do sector privado que dependem exclusivamente das taxas pagas pelos
utilizadores dos seus servios. Esta inteno mostra que as empresas municipais diferem da
tradicional burocracia e tornam-se inclusive alternativas participao do setor privado na
prestao de servios pblicos. Mesmo colocando grande nfase na eficincia organizacional,
as empresas municipais mantm como prioritrio a melhoria dos objetivos no comerciais (cf.
Bel & Fageda, 2010).
Neste pressuposto a diferena entre a participao dos privados atravs das parcerias
pblico privadas e as empresas pblicas municipais radica nos seus objetivos. Ambas
privilegiam a melhor utilizao dos recursos escassos atravs da melhoria dos nveis de
eficincia. Contudo os parceiros privados visam o lucro. J as empresas pblicas municipais

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

245

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

visam, atravs da melhoria da eficincia promover, entre outros, o aumento da qualidade dos
servios que prestam.

3. Hipteses e Variveis

Na primeira seco mostramos que a participao do setor privado na prestao dos

servios pblicos, nomeadamente atravs das parcerias pblico privadas, foi utilizada com o
intuito de melhorar a prestao daqueles servios. Em alternativa, exploramos os novos meios
para a prestao desses servios sem fazer uso das primeiras: as empresas municipais.
Teoricamente os defensores da NGP defendem que o desempenho das organizaes
pblicas inferior ao das organizaes privadas (cf. Silvestre, 2010). Esta crena resulta da
assumpo de que com o envolvimento das organizaes privadas para a prestao de
servios pblicos, a qualidade dos bens produzidos e dos servios prestados so melhorados
ou na pior das hipteses mantidos, mesmo fazendo uso de menores recursos para o mesmo
nvel de produo (cf. Savas, 2000). Para mais, com a gesto profissional na prestao
daqueles servios, os contribuintes so beneficiados no seguinte: em primeiro lugar no
precisam de continuadamente financiar os servios pblicos atravs dos seus impostos; em
segundo lugar conseguem melhorar os benefcios do seu consumo atravs do aumento ou
manuteno dos nveis de qualidade (cf. OFWAT, 2005). Do que foi escrito esperamos que:

H0: As parcerias pblico privadas tenham uma relao privilegiada com nveis
de qualidade elevados na prestao do servio pblico.

Associada participao das organizaes privadas para a prestao de servios

pblicos alguns estudos tm sido realizados com o intuito de estabelecer uma ligao com o
desempenho. Nesse pressuposto existe uma problemtica na literatura porque mesmo que as
empresas privadas tenham mostrado ser mais eficientes e produtivas isso pode ter sido
alcanado com uma qualidade inferior na prestao do servio pblico (cf. Taylor & Cooper,
2008; Pollitt & Bouckaert, 2004) pondo assim em risco os objetivos no comerciais. Contudo,
e como referimos anteriormente, no existem evidncias estatsticas sobre os impactos no
econmicos, nomeadamente resultados sobre a qualidade dos bens e servios prestados
atravs da participao dos privados (cf. Hodge, 2000).
Sobre os impactos destas iniciativas importante o conhecimento dos ganhos e dos
custos, nomeadamente do desfecho da sua relao. Aps o conhecimento desta conexo,
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

246

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

possvel saber se esta a forma mais adequada de prestao de servios pblicos porque fica
demonstrado ser uma boa alternativa de reforma (Arajo, 2004). Contudo, e como exposto
anteriormente, devido s dvidas existentes no que concerne relao entre a participao dos
privados com os objetivos no comerciais (em que se insere a qualidade), modos alternativos
foram utilizados para melhorar a prestao dos servios pblicos. A maior aposta nestas
alternativas baseia-se, em primeiro lugar, na crena de que as organizaes pblicas podem
ser to eficientes e produtivas como as privadas (Leland & Smirnova, 2009). Todavia o
principal propsito destas organizaes consiste na melhoria da qualidade dos servios
pblicos que prestam, elevando deste modo os objetivos no comerciais (cf. Bel & Fageda,
2010). Como verificamos o modelo de gesto adotado relaciona-se teoricamente com os
objetivos no comerciais. Mesmo sendo pblicas, as empresas municipais podem ser to
eficientes e produtivas quanto as empresas privadas (Horn, 1995). Se as organizaes pblicas
sob a gesto de tipo privado podem ser econmica e financeiramente viveis eles colocam
adicionalmente a nfase nos objetivos no comerciais (Suleiman, 2003) e muito em especial
na qualidade dos servios e bens que prestam e produzem. Isto sugere a seguinte hiptese:

H1: As empresas municipais tm uma relao privilegiada com nveis de

qualidade elevados na prestao do servio pblico.

Uma vez colocadas as nossas hipteses de trabalho passamos em seguida para a

metodologia.

4. Metodologia

Objetivo do Estudo

Com este estudo pretendemos fazer uma descrio detalhada de um fenmeno em

particular (cf. Blaikie, 2000) e estabelecer as relaos entre variveis (Bryman, 2004; Yin,
2009), ou seja, pretendemos atestar da relao entre os modelos de gesto utilizados para a
prestao do servio pblico com a qualidade apresentados pelos modelos de gesto.

Desenho de pesquisa e seleo do setor

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

247

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

O nosso estudo baseia-se num desenho de tipo comparativo numa perspectiva

diacrnica ou dinmica o desenho de painel (cf. Cames, 2012), tendo 308 organizaes
Portuguesas como unidade de anlise. Escolhemos para o efeito o setor das guas em
Portugal. As razes para esta escolha devem-se sobretudo inexistncia de estudos em
Portugal sobre a temtica que propomos aqui tratar, para alm de que no existem outros
estudos com dados estatsticos suficientemente robustos para atestar da relao entre a
qualidade alcanada pelos vrios modelos de gesto pblica (cf. Hodge, 2000). Por fim,
percebemos que quer as parcerias pblico privadas, quer as empresas municipais em Portugal
esto suficientemente maturadas uma vez que muitas operam h alguns anos, logo diminui a
suspeita acerca da validade inferencial do nosso estudo.

Dados utilizados e indicadores

Os dados cobrem o perodo de 2002 a 2009 para a totalidade das organizaes a operar
no setor das guas em Portugal, e foram obtidos pela consulta do Relatrio Anual da Entidade
Reguladora das guas e Resduos de Portugal (ERSAR, 2009).
Para o efeito, a anlise emprica das hipteses colocadas na seco anterior
compromete a utilizao de duas variveis dependentes diferenciadas, a saber:

A percentagem dos testes paramtricos realizados gua que cada organizao

est obrigada a efetuar (TP) e que mede a qualidade operacional. Este
indicador surge por uma imposio da Unio Europeia que obriga todas as
organizaes de distribuio de gua a realizarem consecutivas recolhas de
gua para posterior monitorizao da sua qualidade. Neste caso em particular,
as organizaes, e dependendo do tamanho da populao que servem, esto
obrigadas a realizar determinado nmero de recolha de gua (n). O desejvel
que cada organizao possa cumprir o nmero mnimo estipulado de recolha de
amostras de gua, e se o fizer atingiu os 100% de recolhas de gua a que est
obrigada o que considerado como sendo uma excelente qualidade
operacional;

O outro indicador reporta percentagem dos testes paramtricos gua que se

mostraram conformes com o cumprimento dos pr-requisitos para consumo
humano (TPCH). Este indicador serve para medir a qualidade do bem gua que
distribudo pelas organizaes a operar no setor. Para o efeito, existem

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

248

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

critrios bacteriolgicos, entre outros, que devem ser analisados e cumpridos

de modo a que o consumo daquela gua no coloque em risco a sade humana.
Tambm aqui desejvel que os 100% das anlises efetuadas estejam de
acordo com os parmetros de qualidade indicados pela Unio Europeia.

Como avanado na seco anterior, consideramos uma varivel independente: os

modelos de gesto (MdG) na prestao dos servios de gua em Portugal. Como temos vindo
a aflorar os modelos de gesto pblica no setor das guas em Portugal seguem o levantamento
terico anteriormente enunciado, a saber: o modelo profissional de Administrao Pblica e
dentro dele identificamos vrias tipologias: 1) a burocracia propriamente dita onde para o
efeito o servio est integrado na estrutura da Cmara Municipal; 2) os Servios
Municipalizados, que detm autonomia administrativa e financeira mas sem personalidade
jurdica que ainda pertencem burocracia local, que foram uma primeira tentativa para fazer a
separao entre as questes marcadamente gestionrias e as outras de carcter poltico; 3) as
empresas municipais, aquelas que para alm de deterem personalidade jurdica detm ainda
independncia administrativa, financeira, e patrimonial, com o intuito de alcanarem os
objetivos no comerciais, nomeadamente a qualidade do bem e do servio; 4) as parcerias
pblico privadas estabelecidas mediante um contrato de concesso estabelecido entre
organizaes privadas com os Governos Locais; ou 5) os multi-concessionrios, onde o
Governo Central, e no o Local, estabelece um contrato de concesso desta vez com uma
empresa pblica (Taylor & Cooper, 2008; Bel & Fageda, 2010; Savas, 2000; Wallsten &
Kosec, 2008.
Para alm dos modelos de gesto, decidimos introduzir uma varivel de controlo: a
propriedade (PROP). Para Wallsten & Kosec (2008) quando pretendemos atestar da relao
entre o setor que presta o servio com a qualidade alcanada, a propriedade deve ser
considerada. Num estudo realizado por estes autores qualidade dos servios de guas
prestados pelas organizaes a operar nos Estados Unidos da Amrica, a propriedade no
mostra ter impacto na qualidade. Como avanamos, e como controlo, inserimos esta varivel
no nosso modelo de anlise uma vez que a realidade Portuguesa se diferencia da experincia
dos Estados Unidos da Amrica, para alm de tentarmos perceber se os resultados do estudo
destes autores tambm se confirmam no panorama nacional.
A Tabela 1 sumaria as variveis descritas a montante assim como a definio e a
medio e o sinal esperado para cada uma delas.

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

249

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

Tabela 1 Descrio das variveis

S
Varivel

Descrio

inal

Fonte

esperado
TVarivel dependente; percentagem dos testes paramtricos realizados gua que
P

ERSA

cada uma das organizaes est por lei obrigada e mede a qualidade

operacional

(2009)

TVarivel dependente; percentagem dos testes paramtricos que preenchem os

PCH

ERSA

requisitos para consumo humano da gua, visando a medio da qualidade

do bem.
MVarivel que mede o tipo de Modelo de Gesto adotado por cada uma das
dG

(2009)
+

Taylor

organizaes. 1 se forem Servios Municipalizados, com autonomia

& Cooper (2008)

administrativa e financeira mas sem personalidade jurdica que ainda

para as

pertence burocracia local; 2 se for a burocracia, para o efeito o servio est

burocracias;

integrado na estrutura da Cmara Municipal; 3 se for uma empresa

Bel &

municipal, com independncia administrativa, financeira, patrimonial e com

Fageda (2010)

personalidade jurdica independente, contudo o conselho de administrao

para as empresas

eleito pelos polticos locais; 4. Se uma parceria pblico privada; ou 5 os

pblicas;

multi-concessionrios, onde o Governo Central, e no o Local, estabelece

Savas

um contrato de concesso com uma empresa pblica

(2000) para as
parcerias pblico
privadas

PVarivel dicotmica que mede a propriedade das organizaes de distribuio de

RO

gua. 1 se a propriedade for Pblica, e 2 se for Privada

Wallste
n & Kosec
(2008)

Ferramentas estatsticas utilizadas

Para que possamos descrever a relao do fenmeno fizemos uso da Anlise de

Varincia (ANOVA). A utilizao da ANOVA permite-nos testar a relao das diferenas das
mdias das nossas variveis dependentes e independentes, ou seja, atravs desta ferramenta
estatstica conseguimos verificar se as mdias das variveis que integram o modelo provam
estatstica e inequivocamente que existem diferenas nos resultados alcanados pelas
organizaes (cf. Grice & Iwasaki 2007) no que concerne qualidade do bem e qualidade
do servio ao nvel operacional. Para mais consideramos a linearidade, com a qual testamos se
a varincia entre as mdias constante para toda a srie, logo sendo consideradas como
estatisticamente vlidas. Ainda a ANOVA torna possvel o conhecimento da fora da relao
entre essas variveis (atravs do clculo do 2). Como a nossa inteno passa por examinar a
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

250

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

relao entre as variveis numa perspectiva individual, e no numa perspectiva integrada, a

utilizao da ANOVA fica justificada. Por ltimo, motivado pelas diferenas entre os n quer
na varivel MgM, quer na varivel PRO, nenhuma outra anlise seria to adequada quanto
esta.

5. Resultados e Discusso

Os nossos resultados ANOVA mostram que a diferena de mdias da percentagem dos

testes paramtricos afetada pelos modelos de gesto nos anos de 2002 e 2003 (p=.001; e
p=.000 respectivamente) vide tabela 2. Embora o p seja adequado para os anos de 2004 e
2005, a linearidade no foi confirmada logo no podero os resultados ser tidos em
considerao (p>.05).
Tabela 2 Resultados da anlise de varincia (ANOVA) s alteraes na Percentagem dos
Testes Paramtricos pelo Modelo de Gesto
Fonte

SS
TP2002*

456

MdG

Error

Total
TP2003*

10589
1.561
11312
5.016
9635.
852

MdG

Error

Total
TP2004*

95598
.017
10523
3.869
6583.
441

MdG

Error

Total
TP2005*
MdG

7233.

10809
2.985
11467
6.425
1179.
721

df
4

287

MS
1808.
364

F
4.901

P
.001
*

Eta2
.064

368.9
60

291

278

2408.
963

7.005

.000
*

.092

343.8
78

282

285

1645.
860

4.340

.002

.057

2.792

.027

.038

379.2
74

289

294.9
30

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

251

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

Error

Total
TP2006*

30213
.367
31393
.088
159.6
89

MdG

Error

Total
TP2007*

15148
.938
15308
.627

286

105.6
41

290

292

39.92
2

Error

2.001

292

.007

Total

2.022

296

TP2008*

41.55

Error

Total
TP2009*

9901.
302
9942.
854
.672

.736

.568

.010

.306

.874

.004

.578

.679

.008

296

.005

.010

MdG

.546

51.88

.020

MdG

.770

292

10.38
8
33.90
9

296

.168

292

.291

MdG

Error

Total

84.85
5
85.52
7

296

* p< .05

Retomando novamente os anos de 2002 e 2003 verificamos que as multiconcessionrias (M=99.9 para 2002 e M=100 para 2003) apresentam uma melhor qualidade
operacional, seguidas pelas parcerias pblico privadas (M=91.6 para 2002 e M=95.6 para
2003); servios municipalizados (M=87.7 para 2002 e M=91.1 para 2003); empresas
municipais (M=82.4 para 2002 e M=82.6 para 2003); e Cmara Municipal (M=77.7 para 2002
e M=79.2 para 2003). Finalmente, a partir de 2006 no existem diferenas estatisticamente
significativas entre os modelos de gesto na relao com a qualidade operacional (p>.05).
Estes resultados mostram que nas parcerias pblico privadas importante desde o
incio alcanar uma elevada qualidade operacional. Chegamos contudo a um momento em que
as outras tipologias de prestao de servios de gua consideradas apresentam os mesmos
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

252

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

nveis de qualidade operacional que as primeiras ao ponto em que as diferenas dos resultados
no so significativas entre elas. Estes resultados devem-se muito em resultado da aplicao
da Diretiva 2000/60/CE do Parlamento Europeu e do Conselho Diretiva-Quadro da gua,
que estabeleceu um quadro de aco comunitria no domnio da poltica da gua
nomeadamente sobre a obrigatoriedade de todos os operadores realizarem testes paramtricos
gua que posteriormente distribuem. Esta normalizao imposta pela Unio Europeia
contribuiu para a melhoria dos nveis de qualidade. Sendo uma Diretiva Comunitria o no
cumprimento das disposies leva invariavelmente a pesadas sanes para o seu no
cumprimento. No que concerne s parcerias pblico privadas existem ainda consequncias
adicionais, porque aquando da negociao entre as empresas privadas e o poder poltico
municipal para a adjudicao da explorao dos servios de gua nos vrios municpios
atravs de uma parceria pblico privada, a qualidade da gua deve ser imaculada uma vez que
se trata de um bem precioso e insubstituvel. Existe pois uma especial preocupao poltica
para que a qualidade do bem no seja diminuda, estando esta preocupao prevista no
caderno de encargos do operador, que uma vez no cumprida resultar no pagamento de
indemnizaes por parte do operador privado ao adjudicante pblico. Em situaes mais
gravosas ou recorrentes o contrato de concesso pode inclusive ser rescindido.
Tabela 3 Resultados da anlise de varincia (ANOVA) s alteraes na Percentagem dos
Testes Paramtricos pela Propriedade
Fonte

SS
TP2002

* PRO

86
Error

Total
TP2003
* PRO

10924
1.930
11312
5.016
6230.3
52

Error

Total
TP2004
* PRO

3883.0

99003.
517
10523
3.869
2044.0
82

Df

290

MS
3883.0
86

Eta2

10.308

.001*

.034

17.684

.000*

.059

5.227

.023*

.018

376.69
6

291

281

6230.3
52
352.32
6

282

2044,0
82

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

253

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

Error

Total
TP2005
* PRO

11263
2.343
11467
6.425
502.75
6

Error

Total
TP2006
* PRO
Error

Total
TP2007

30890.
331
31393.
088
50.151
15258.
476
15308.
627

288

391.08
5

289

289

502.75
6

50.151

295

51.724

2.013

295

.007

Total

2.022

296

3.104

3.104

295

33.694

Total
TP2009

9939.7
50
9942.8
54

.003

1.204

.273

.004

.092

.762

.000

.833

.362

.003

296

.241

.241

Error

85.286

295

.289

Total

85.527

296

* PRO

.326

296

Error

Error

.970

290

.008

* PRO

.016

TP2008

.031*

106.88

.008

* PRO

4.704

* p< .05

J na Tabela 3, e para a mesma varivel dependente, a propriedade foi introduzida

como varivel de controlo. Verificamos aqui que existe uma significncia estatstica para os
anos de 2002 (p=.001), 2003 (p=.000), 2004 (p=.023) e 2005 (p=.031). Assim podemos
concluir que a propriedade privada (M=91.5 para 2002; M =96.2 para 2003; M=95.9 para
2004; e M =99.8 para 2005) apresenta uma melhor qualidade operacional do que a
propriedade pblica (M = 79.4 para 2002; M =80.9 para 2003; M =87.2 para 2004; e M =95.5
para 2005). Devemos contudo salientar que, e face aos resultados constatados, as
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

254

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

organizaes pblicas elevaram a qualidade operacional nos anos de 2006, 2007, 2008 e
2009, logo verificamos que no existem diferenas estatsticas significativas (p>.05) entre as
duas tipologias de propriedade no que concerne aos testes paramtricos. A no divergncia
dos resultados entre propriedades tambm poder ser explicada pela entrada em vigor da
Diretiva Comunitria, que no sendo cumprida levar a pesadas sanes.
Tabela 4 Resultados da anlise de varincia (ANOVA) s alteraes na Percentagem dos
Testes Paramtricos para Consumo Humano pelos Modelos de Gesto
Fonte
TPCH2002*
MdG

420.93
0

Error

Total
TPCH2003*
MdG

3568.8
82
3989.8
13
351.79
1

Error

Total
TPCH2004*
MdG

2656.0
31
3007.8
22
437.15
4

Error

Total
TPCH2005*
MdG

4096.7
28
4533.8
82
204.89
8

Error

Total
TPCH2006*
MdG

2055.2
65
2260.1
63
184.27
5

Error

Total
TPCH2007*
MdG

SS

2047.9
37
2232.2
12
174.77
1

df
4

286

MS
105.23
3

F
8.433

Eta2

P
.000
*

.106

12.479

290

87.948

278

9.554

9.205

.000
*

.117

282

284

109.28
8

7.576

.000
*

.096

14.425

288

51.225

286

7.186

7.128

.000
*

.091

290

46.069

292

7.013

6.569

.000
*

.083

296

43.693

6.851

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

.000
*

.086

255

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

1862.2

Error

51
2037.0

Total

21

TPCH2008*

292

296

301.36

MdG

75.341

292

14.616

3
4267.7

Error

52
4569.1

Total

15

TPCH2009*

34.113

292

5.414

3
1580.9

Error

14
1717.3

Total

67

.001

5.155

.066

296

136.45

MdG

6.378

.000

6.301

.079

296

* p< .05

No modelo seguinte introduzimos a segunda varivel dependente TPCH na relao

com os modelos de gesto (MdG). Os nossos resultados mostram que existe uma significncia
estatstica entre as variveis para o perodo entre 2002 e 2009 vide Tabela 4. Assim, e para o
perodo considerado (2002-2009), temos que as multi-concessionrias apresentam o melhor
desempenho da qualidade do bem (M=99.7), sequenciadas pelos servios municipalizados
(M=98.9), parcerias pblico privadas (M=98.7), empresas municipais (M=98.4) e Cmaras
Municipais (M=96.4). Estes resultados permitem-nos concluir que as parcerias pblico
privadas apresentam uma melhor qualidade da gua que as empresas municipais, contudo
perdem para os servios municipalizados.
Com

ANOVA

provamos

igualmente

que

propriedade

afeta

significativamente o bem gua em todos os anos considerados, medido atravs da

percentagem dos Testes Paramtricos gua que se mostram conformes com o cumprimento
dos pr-requisitos para Consumo Humano. Isto equivale a afirmar que existem diferenas
estatsticas nos resultados entre as organizaes pblicas e as privadas para este indicador
vide Tabela 5. Neste pressuposto as organizaes pblicas apresentam M=97.1 contra M=98.8
das privadas para o intervalo de anos considerados, logo podemos concluir que a qualidade do
bem gua no perodo superior nas parcerias pblico privadas. Por fim de notar que a
magnitude do efeito (2) em mdia para o perodo de 2002 a 2009 de 2.8%, ou seja, a

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

256

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

propriedade tem uma relao baixa com a qualidade do bem embora seja estatisticamente
significativa.
J a magnitude dos efeitos, e na comparao, maior para os modelos de gesto, com
cerca de 9% (M2=.09, para o perodo de 2002-2009), do que para a propriedade (M2=.028,
para o perodo de 2002-2009). Estes resultados provam que o modelo de gesto tem uma
influncia maior nos resultados da qualidade da gua do que a varivel propriedade, ou seja,
embora a propriedade se relacione com a qualidade da gua, o modelo de gesto utilizado
explica em maior grau essas variaes. Confirmamos aqui os resultados verificados por
Wallsten & Kosec (2008).
Face aos resultados que acabmos de expor estamos em condies de rejeitar as duas
hipteses de trabalho que estabelecemos na seo 3. Assim rejeitamos a hiptese de que as
parcerias pblico privadas tenham uma relao privilegiada com nveis de qualidade elevados
na prestao do servio pblico. No que concerne ao servio operacional apenas existem
diferenas para os anos de 2002 e 2003. A partir de 2004 no existem diferenas estatsticas
que vo de encontro hiptese previamente colocada. J para a qualidade do bem, essas
diferenas existem, contudo as parcerias pblico privadas tm um pior desempenho que os
servios municipalizados razo pela qual no podemos com este estudo confirmar os
pressupostos tericos que suportam a participao do setor privado na prestao de servios
pblicos da gua em Portugal, nomeadamente no que concerne ao to desejado compromisso
entre as capacidades gestionrias dos privados (cf. Tati, 2005), com o compromisso poltico,
que elevar obrigatoriamente a qualidade dos bens e servios prestados (cf. FMI, 2004).
Tabela 5 Resultados da anlise de varincia (ANOVA) s alteraes na Percentagem dos
Testes Paramtricos para Consumo Humano pela Propriedade
Fonte
TPCH2002*
PRO

SS
133.51
0

Error

Total
TPCH2003*
PRO

3856.3
03
3989.8
13
100.09
8

Error

2907.7
24

df
1

289

MS
133.51
0

F
10.006

P
.002
*

Eta2
.033

13.344

290

281

100.09
8

9.673

.002
*

.033

10.348

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

257

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

Total
TP2004*
PRO

3007.8
22
143.36
3

Error

Total
TP2005*
PRO
Error

Total
TPCH2006*
PRO
Error

Total
TPCH2007*
PRO
Error

Total
TPCH2008*
PRO

4390.5
19
4533.8
82
73.014
2187.1
49
2260.1
63
42.976
2189.2
36
2232.2
12
49.961
1987.0
60
2037.0
21
103.07
1

Error

Total
TPCH2009*
PRO
Error

Total

4466.0
43
4569.1
15
49.852
1667.5
15
1717.3
67

282

287

143.36
3

9.371

.002
*

.032

15.298

288

73.014

289

7.568

9.648

.002
*

.032

290

42.976

295

7.421

5.791

.017
*

.019

296

49.961

295

6.736

7.417

.007
*

.025

296

295

103.07
1

6.808

.010
*

.023

15.139

296

49.852

295

5.653

8.819

.003
*

.029

296

* p< .05

No que concerne s empresas municipais verificamos que no existem igualmente

diferenas estatsticas, e semelhana do anterior, entre o modelo de gesto e a qualidade de
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

258

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

nvel operacional. J para a qualidade do bem, verificamos que existem diferenas estatsticas
entre os modelos de gesto sendo que as empresas pblicas municipais apresentam piores
resultados do que os servios municipalizados e parcerias pblico privadas. Por esta razo
somos levados a rejeitar a hiptese de que existe uma relao privilegiada entre as empresas
municipais com os nveis de qualidade elevados na prestao do servio pblico de guas em
Portugal. Deste modo, verificamos que os propsitos polticos para uma maior utilizao
desta tipologia de prestao de servios pblicos, nomeadamente para elevar os desempenhos
no comerciais, no foram alcanados (cf. Bel & Fageda, 2010).

5. Concluses e futuras investigaes

A participao das organizaes privadas na prestao dos servios pblicos tornou-se

uma parte importante para a reforma do sector pblico devido s mudanas polticas,
econmicas, sociais e tecnolgicas que ocorreram em finais da dcada de setenta. Com esta
participao dos privados, atravs das parcerias pblico privadas, entre outras formas, o
value-for-money foi enfatizado. Em alternativa participao dos privados na prestao de
servios pblicos foram desenvolvidas as empresas municipais com o pressuposto de que
devem ser geridas como um qualquer negcio, todavia, o seu principal intuito firma-se na
melhoria dos objetivos no comerciais, nomeadamente a qualidade dos servios pblicos.
Tendo em mente o problema associado aos resultados alcanados pela proviso dos
servios pblicos, realizamos o nosso estudo podendo agora concluir que os modelos de
gesto utilizados no sector de distribuio de gua em Portugal no apresentam diferenas
estatsticas para a qualidade operacional e qualidade do bem que disponibilizam aos cidados.
Com estes resultados podemos questionar se as recentes formas de prestao de servio
pblico onde se incluem as empresas privadas e tambm as parcerias pblico privadas tm
de fato um melhor desempenho que a tradicional burocracia (cf. Pollitt, 2009). Isto quer dizer
que as burocracias, e dependendo dos incentivos, podem alcanar iguais resultados na
qualidade do bem e servio que prestam quando comparadas com as mais recentes tipologias
de gesto. Sabemos que a qualidade no livre (Pollitt & Bouckaert, 1995), contudo o
incentivo dado por meio da regulao dos servios fundamentais poder elevar a qualidade
alcanada.
Em sntese, o estudo no conclusivo em relao existncia de relao entre os
modelos de gesto pblica e a qualidade operacional e qualidade do bem prestados e isso
acontece porque existem outros fatores que podero influenciar esta relao e que importa
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

259

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

aprofundar: nomeadamente acerca da regulao da qualidade. Esta cautela leva-nos a

equacionar a realizao de futuros estudos. Em primeiro lugar porque apenas considermos o
caso Portugus, logo a investigao noutros pases com ligaes estreitas e histricas
deveriam ser realizados e muito em especial no Brasil. Este tipo de estudo permitir-nos-
atestar os resultados deste mesmo estudo e avanar com outras hipteses explicativas para o
fenmeno. Por fim, e para que tenhamos maiores certezas sobre os resultados que agora
apresentamos igualmente necessrio enriquecer a discusso sobre o modo de proviso dos
servios pblicos noutros sectores de atividade.
6. Referncias
ARAJO, J. F. Teoria e Modelos de Gesto Pblica Relatrio da Disciplina. Braga:
Universidade do Minho, 2004.
____________. A Governao Local e os Novos Desafios. Artigo apresentado no Frum de
Gesto e Administrao Pblica, Mirandela, Portugal, 2003.
BEL, G.; HEBDON, R.; & WARNER, M. Local government reform: Privatisation and its
alternatives. Local Government Studies, v. 33, n. 4, pp. 507-515, 2007.
_______.; & FAGEDA, X. Partial privatization in local services delivery: An empirical
analysis on the choice of mixed firms. Local Government Studies v. 36, n. 1, pp. 129-149,
2010.
BLAIKIE, N. Designing Social Research, The Logic of Anticipation. Cambridge: Polity,
2000.
BRYMAN, A. Social Research Methods. 2nd ed. Oxford: Oxford University Prees, 2004.
CAMES, P. J. O Design de Investigao, 2012. In: SILVESTRE, H. C.; & ARAJO, J. F
(eds), Metodologia para a Investigao Social (103-120). Lisboa: Escolar Editora.
Diretiva 2000/60/CE do Parlamento Europeu e do Conselho Diretiva-Quadro da gua.
Entidade Reguladora dos Servios de gua e Resduos [ERSAR], 2009. Relatrio. Lisboa:
Entidade Reguladora dos Servios de gua e Resduos.
FEIGENBAUM, H.; HENING, J.; & HAMMETT, C. Shrinking the State The Political
Underpinnings of Privatisation, 1998. Cambridge: Cambridge University Press.
Fundo Monetrio Internacional (2004). Public Private Partnership. Fiscal Affairs Department
Disponvel em: <http://www.imf.org/external/np/fad/2004/pifp/eng/031204.htm> Acesso em:
3 jan. 2011
GRICE, J. W.; & IWASAKI, M. A Truly Multivariate Approach to MANOVA. Applied
Multivariate Research, v. 12, n. 3, pp.199-226, 2007.
HODGE, G. Privatization An International Review of Performance. Colorado:
Westview Press, 2000.
Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

260

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

HORN, M. The Political Economy of Public Administration Institutional Choice in the

Public Sector. Cambridge: Cambridge University Press, 1995.
LANE, J. Public Administration and Public Management the principal-agent
perspective. New York: Routledge. Lei das Empresas Municipais, Intermunicipais e
Regionais de 1998, 2005.
LELAND, S.; & SMINORVA, O. Reassessing Privatisation Strategies 25 Years Later:
Revisiting Perry and Babitskys Comparative performance Study of Urban Bus Transit
Services. Public Administration Review, v. 69, n. 5, pp. 855-867, 2009.
NIKOLIC, I.; & MAIKISCH, H. Public-Private Partnerships and Collaboration in the Health
Sector An Overview with Case Studies from Recent European Experience. HNP
Discussion paper, The World Bank, 2006.
OSBORNE, S. P. The New Public Governance? Public Management Review, v. 8, n. 3, pp.
377-387, 2006.
___________.; & BROWN, K. Managing Change and Innovation in Public Services
Organizations. London: Routledge, 2005.
PETERS, T.; & WATERMAN, R. Na Senda da Excelncia O exemplo das empresas
norte-americanas mais bem geridas. Lisboa: Publicaes Dom Quixote, 1987.
POLITT, C. Bureaucracies Remember, Post-Bureaucrat Organizations Forget? Public
Administration, v. 87, n. 2, pp. 198-218, 2009.
_________. Managerialism and the Public Services: The Anglo-American Experience.
Oxford: Basil Blackwell, 1990.
_________.; & BOUCKAERT, G. Public Management Reform: A Comparative Analysis.
2nd ed. Oxford: Oxford University Press, 2004.
___________________________. Defining Quality. In: POLLITT, C.; & BOUCKAERT, G.
(eds) Quality Improvement in European Public Services: Concepts, Cases and
Commentary. London: Sage Publications, pp. 3-19, 1995.
SAVAS, E. S. Privatisation and Public-Private Partnerships. New-York: Chatham House
Publishers, 2000.
SILVESTRE, H. C.; & ARAJO, J. F. Public Private Partnership/Private Finance Initiative in
Portugal: Theory, Practice and Results. Public Performance & Management Review, 2012.
SILVESTRE, H. C. Gesto Pblica Modelos de Prestao no Servio Pblico. Lisboa:
Escolar Editora, 2010.
SULEIMAN, E. Dismantling Democratic States. New Jersey: Princeton University Press,
2003.

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

261

Mestrado Profissional em Gesto Pblica para o Desenvolvimento do Nordeste - UFPE

TATI, G. Public-private partnership (PPP) and water-supply provision in urban Africa: The
experience of Congo-Brazzaville. Development in Practice, v. 15, n. 3, pp. 316324, 2005.
TAVARES, A. F.; & CAMES, P. J. Local Service Delivery Choices in Portugal: A Political
Transaction Costs Framework. Local Government Studies, v. 33, n. 4, pp. 53553, 2007.
_____________________________. New Forms of Local Governance Service. Public
Management Review, v. 12, n. 4, pp. 587608, 2010.
TAYLOR, P.; & COOPER, C. It was absolute hell: Inside the private prison. Capital &
Class v. 96, pp. 3-29, 2008.
TORRES, L.; & PINA, V. Public-private partnership and private finance initiatives in the EU
and Spanish local governments. European Accounting Review, v. 10, n. 3, pp. 601619,
2001.
WALLSTEN, S.; & KOSEC, K. The Effects of Ownership and Benchmark Competition: An
empirical analysis on US Water System. International Journal of Industrial Organizations
v. 26, pp.186-205, 2008.
YIN, R. Case Study Research, Design and Methods.4th ed.. London: Sage, 2009.

Revista Gesto Pblica: Prticas e Desafios, Recife, v. III, n. 5, out. 2012.

262