Você está na página 1de 16

CONTROLE OPERACIONAL NA GESTO PBLICA

Ivanildo Scheuer

Resumo
O presente artigo visa oferecer subsdios para uma reflexo a respeito dos mecanismos e formas de controle operacional nas prefeituras, colocando em evidncia a funo do Setor de Controle para permitir o acompanhamento e avaliao dos recursos postos disposio dos diversos setores da administrao municipal. Um eficiente sistema de controle interno reconhecido por ter como caracterstica a busca de uma apropriada distribuio de funes, a contabilizao adequada das receitas, despesas e custos, a normatizao interna, o correto cumprimento dos deveres e funes de cada setor da organizao e a adequada qualificao profissional e tcnica dos servidores. Outro objetivo do estudo possibilitar uma anlise dos mecanismos de controle interno, especificamente para a administrao pblica municipal, estabelecendo bases tericas para seu entendimento.

Abstract
The present article wants to offer subsidies for a reflection over mechanism and forms of operational control in prefectures. Thus a reflection would make evident the function of a control sector, allowing accompaniment and valuation of resources available for several sectors of citys administration. An efficient system of intern control has as characteristics a search for appropriate distribution of functions, accounts of revenues, expenses and costs, appropriate internal norms, correct compliment of obligations and functions of each organizations sector and also a appropriate professional qualification of servants. The objective of this study is to make possible an analysis of the mechanism of internal control, especially for the public citys administration, and setting theoretic basis for its understanding.

CONTABILIDADE E INFORMAO

IJU

EDITORA UNIJU

ano 8

n 23

p. 49-63

JUL./DEZ. 2005

50

Introduo
O ambiente em que as entidades pblicas esto inseridas modifica-se constantemente, trazendo uma grande preocupao administrao e isso se agrava diante das restries oramentrio-financeiras que vivenciam as diversas esferas governamentais. Nesses tempos de modernidade, em que se fala muito nas reformas do Estado, refletir sobre instrumentos de controles operacionais no setor pblico mostra-se de grande valia. A exigncia e a crescente demanda da sociedade por mais e melhores servios e com custos menores, reclamam uma ateno mais profunda, com relao ao controle e qualidade das aes de gesto nas mais diversas reas, bem como na adoo de novas metodologias administrativas, focadas quando da aplicao dos recursos, na identificao da necessidade para o atendimento da eficincia, eficcia e efetividade. Esses aspectos so considerados relevantes para a administrao pblica, assim como o planejamento e principalmente o controle operacional, os quais assumem uma dimenso de praticabilidade para o curto prazo, trazendo respostas na disponibilizao de ferramentas conceituais slidas para a gesto dos recursos. O controle operacional integra o conjunto de instrumentos de gerenciamento e realiza tarefa de suma importncia para a gesto pblica, pois se assemelha a uma fotografia que permite conhecer a entidade, seja grande ou pequena, com a vantagem de possibilitar empreender aes que visem a corrigir eventuais prticas no adequadas e tambm dar novos rumos para a gesto, evitando, dessa forma, a repetio ou continuidade de falhas. A premissa bsica deste estudo que tem surgido forte presso da sociedade a fim de que os gestores, como agentes das finanas pblicas, tornem-se cada vez mais eficazes. Tanto isso verdade que os legisladores, a mdia e o povo esto exigindo, em ritmo crescente, cada vez mais responsabilidade, informaes e transparncia na execuo e prestao de contas das organizaes pblicas. H uma preocupao e busca incessante de novos princpios e fundamentos para a modernizao das administraes pblicas nos crculos polticos e
C ONTABILI DADE E IN F ORMAO IJ U

sociais. Para uma boa gesto pblica e para a concretizao dos planos de governo, uma ferramenta bsica o controle, que, na sua conceituao moderna, busca ver, alm dos dados numricos e econmicos, a legalidade dos atos, que consiste na observncia da Constituio e dos demais ditames do ordenamento jurdico pelos cidados e pelos poderes pblicos. Busca ainda a aferio da eficcia da gesto, medida pelo grau de cumprimento dos objetivos previstos nos programas de atuao, seguida dos indicadores de eficincia que estabelecem a relao entre os bens e servios adquiridos, ou prestados, e os recursos utilizados. Por fim, a viso de economia, como a obteno de resultados ao menor custo possvel, sem perda de qualidade. A bibliografia disponvel sobre controle operacional, quase em sua totalidade, direcionada para a rea privada. Isso aponta para a necessidade de estudos e investigaes sistemticas que possam identificar e explicar as caractersticas dos rgos de controles operacionais nas organizaes pblicas, especialmente nas municipais, de modo a se construir conhecimentos sobre o assunto, que na literatura quase no abordado ou o superficialmente. A avaliao da qualidade das administraes pblicas deve partir necessariamente de uma anlise do contexto externo em que as organizaes pblicas se situam, e do contexto interno envolvendo as caractersticas do sistema administrativo, as polticas e os investimentos financeiros, assim como a organizao do sistema de controle operacional luz da legislao especfica. Com o presente artigo pretende-se oferecer um embasamento terico sobre o tema, na esperana de contribuir com subsdios e tcnicas para um melhor entendimento do controle e gerenciamento dos recursos, em consonncia com o planejamento, objetivos e metas da entidade. Vale ressaltar que o controle e a fiscalizao constituem-se em dois valiosos instrumentos para a administrao pblica, pois a partir desses mecanismos obtm-se informaes que possibilitam a adoo de medidas que visam a assegurar uma boa administrao dos recursos, ou seja, se as operaes esto sendo realizadas com efetividade, eficincia e eficcia.
ano 8 N 23 J UL. /D EZ . 2005

ED ITORA U N IJ U

51
Assim sendo, parte-se a princpio da explicitao do conceito do termo controle, abordando os objetivos, importncia, mecanismos, problemas, fases e os requisitos para um controle adequado. cotejamento das metas previstas com as metas alcanadas em sentido amplo, ou seja, de secretarias, de setores ou de pessoas, para assegurar a preciso e a confiabilidade nas informaes internas. um instrumento da administrao para alcanar a eficincia e a eficcia. O controle diferente do acompanhamento, que a simples verificao do desempenho dos rgos e dos recursos humanos envolvidos mediante relatrios que informam o que foi realizado em relao aos programas e aos respectivos cronogramas. J o controle operacional nas organizaes pblicas reveste-se de profundidade maior, pois procura saber as causas dos resultados para obter a informao que possibilita uma ao corretiva, ao passo que o acompanhamento cuida de verificar as posies em relao aos programas em execuo, de forma que o plano de trabalho seja executado dentro do que foi planejado. O processo de controle atua no sentido de ajustar as operaes a determinados padres previamente estabelecidos e funciona de acordo com as informaes que recebe e que oportunizam a ao corretiva, que base do controle. O controle, portanto, deve ser definido de acordo com os resultados que se pretende obter a partir dos objetivos, planos, polticas, estruturas, procedimentos, etc. O controle envolve uma comparao com padres previamente estabelecidos para permitir uma tomada de ao corretiva quando um desvio inaceitvel ocorre. Essa ao corretiva pode envolver o exerccio de autoridade e de direo, embora no necessariamente em todos os casos. A ao corretiva apropriada pode ser tambm a reviso e alterao dos padres existentes para ajust-los realidade dos fatos ou das possibilidades da organizao. Controle tambm a funo administrativa que consiste em medir e corrigir o desempenho de subordinados para assegurar que os objetivos da organizao e os planos delineados para alcan-los sejam atingidos e concretizados. Este tem por objetivo apontar as falhas e os erros para retific-los e evitar reincidncias. Segundo Koontz e ODonell (1989, p. 453)
o melhor controle aquele que impede que ocorram desvios, antecipando que eles iro acontecer caso alguma medida no seja tomada agora, isto

Controle e Processo Administrativo


Dentre vrios conceitos destaca-se que controle a verificao administrativa e/ou a fiscalizao financeira, que est intimamente ligada administrao, seja privada ou pblica. por meio do controle que a administrao verifica e analisa os resultados obtidos das aes, comparando-os com o que foi previsto e planejado. Diante das informaes obtidas, a administrao toma as decises, no intento de corrigir as falhas que eventualmente so encontradas. O controle um processo pelo qual a administrao se certifica, na medida do possvel, de que a organizao est agindo em conformidade com os planos e polticas planejados. Acredita-se que o controle operacional, em sua conceituao genrica, uma atitude responsvel e orientada que todo dirigente deve ter, a fim de cuidar do fiel cumprimento das previses e das determinaes legais. Referindo-se ao controle Santos (1996, p. 56) assegura que
apesar de sua reconhecida aceitao, esse conceito deve ser mais divulgado no meio da classe dirigente, que deve associ-lo como filosofia e estilo de operao de gerncia, definio essa acadmica e de muitos conhecida. O termo responsabilidade, nas ponderaes explicitadas, um neologismo equivalente palavra inglesa accountability. Pela importncia que tem e por sua profundidade conceitual, sua divulgao na rea deveria merecer maior ateno.

Em conseqncia, pode-se inferir que o objetivo de um setor de controle operacional trabalhar para a reduo de desperdcios nas operaes, identificar e evitar perdas provveis, estabelecer
C ONTABILI DADE E IN F ORMAO IJ U

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005

52
o que se chama de controle antecipado. O segundo melhor controle detecta os desvios medida que vo ocorrendo.

Objetivos do Controle
O comodismo e a indisciplina so atitudes naturais no elemento humano e isso, quando no h a sombra da ao dos superiores, acompanhando e controlando o desempenho dos agentes executores, bastante comum nas entidades pblicas. Basta que algum perceba uma falha do controle para que se engendre alguma forma de se distorcer a execuo, de forma que lhe seja mais conveniente, mesmo que assim se esteja prejudicando o funcionamento da instituio e a consecuo dos objetivos institucionais. O setor de controle operacional um campo de ao estratgico e importante para os dirigentes de toda organizao e permite verificar as tendncias e os resultados com a necessria antecedncia, possibilitando acautelar os interesses fundamentais, evitando efeitos desastrosos e corrigindo as distores. No existe instituio ou sistema que possa funcionar e sobreviver, especialmente nas organizaes pblicas, sem um eficiente mecanismo de controle. Na gesto pblica o controle pode ter como objetivos principais assegurar a legalidade dos atos dos gestores, verificar a fidelidade funcional dos agentes, acompanhar o cumprimento dos programas de trabalho, analisar os resultados alcanados, corrigir distores operacionais ante os padres estabelecidos e apoiar o controle externo.

envolve os princpios de alcance do controle, de descentralizao e de delegao. Mesmo contrariando os anseios maiores de liberdade dos homens, o controle uma necessidade e a sua inexistncia pode acarretar tantos abusos que a vida em sociedade poderia se tornar insustentvel. Quanto maior for a organizao, melhor deve ser o seu sistema ou rgo de controle, todavia ele deve ser adequado e impessoal, para que suas aes no cercem a capacidade de ao das pessoas, uma vez que o controle demasiado pode criar constrangimentos e podar a prpria inteno de colaborao que as pessoas possam ter. Alm do constrangimento decorrente de um controle excessivo, pode-se tambm ter custos demasiados e chegar facilmente a situaes em que o controle possa custar mais do que os possveis prejuzos que possam ser conseqentes de uma presena mais suave. Nesse sentido, a capacidade do gestor estar tambm sendo comprovada na construo e no dimensionamento do sistema ou setor de controle.

Mecanismo do Controle
O controle pode ser tanto interno como externo, sendo muitas vezes tambm conhecido como auditoria, o que constitui uma impropriedade, pois a auditoria a forma final de controle. O controle em si deve existir muito antes, inserido nas normas, nos procedimentos, nas rotinas e nos formulrios, para que seja preventivo, isto , que possibilite fornecer em tempo hbil as informaes que permitiro ao executivo tomar medidas acauteladoras. A grande caracterstica do controle operacional que ele deve estar presente na interioridade dos atos administrativos e operacionais, ou seja, onde as pessoas desempenham suas atividades, e onde cometem falhas. A melhor forma de desenvolver mecanismos de controle mediante uma aparente ilogicidade, isto , agir contrariando a lgica de expectativa do eventual controlado, que espera uma determinada ao em certo momento e surpreendido ao receber algo completamente diferente. Com isso, evita-se que o controlado possa acionar os seus mecanismos de defesa.

Importncia do Controle
Para que uma instituio, empresa ou Estado possa exigir algo, necessrio que disponha de um sistema de controle, pois imprescindvel a presena do poder central para regulamentar, definir e acompanhar a ao e o procedimento de rgos e de pessoas. Grande parte da teoria administrativa
C ONTABILI DADE E IN F ORMAO IJ U

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005

53
A forma mais comum de se exercer o controle pela anlise de relatrios, que devem ter uma periodicidade bem determinada e devem ser remetidos de forma sistemtica para a direo da organizao, ou seja, o gestor ou o responsvel no precisa pedir as informaes, pois elas devem chegar de alguma forma e com regularidade as suas mos. Nesse sentido, o gestor ou responsvel dever selecionar ou escolher relatrios que sejam teis e representativos e tambm dispor de mecanismos que lhe permitam estruturar um conjunto de relatrios para produzir informaes outras que no as prestadas pelos servidores, mas que, de forma fracionada e por canais diferentes o superior recebe, e utilizando-se de mecanismos e frmulas que s ele controla, possa avaliar e descobrir exatamente o que est ocorrendo na infra-estrutura administrativa. Nas organizaes menores, parte do controle exercida pela Contabilidade por intermdio de relatrios, de balancetes e de balanos cuidadosamente analisados juntamente com a documentao comprobatria, que deve ser encontrada nos arquivos. tambm usada a estatstica para apresentar diagramas e resultados sintetizados, evitando o perigo de se perder na quantidade de informaes. O controle operacional deve permitir aos gestores manter as rdeas da organizao, para que possam descentralizar e delegar poderes, ficando assim com um tempo maior para o desenvolvimento de polticas estratgicas para o atendimento das necessidades sociais.

Fases do Controle
A finalidade do controle operacional assegurar que os resultados das operaes se ajustem tanto quanto possvel aos objetivos estabelecidos. O controle algo universal: as atividades humanas sempre fizeram uso de controle, seja consciente ou inconscientemente. Quando se dirige um veculo, quando se dana ou quando se escreve, comparamos continuamente a direo, o ritmo ou o significado, e se as operaes de dirigir um automvel, danar ou escrever a carta no estiverem de acordo com nossos planos, fazemos as devidas correes. O controle operacional consiste fundamentalmente em um processo que guia as atividades exercidas para um fim previamente determinado. A essncia do conceito de controle reside na determinao de verificar se a atividade controlada est ou no alcanando os resultados desejados. Chiavenato (1994, p. 665) afirma que o controle visa especificamente atender a duas finalidades:
a) Correo de falhas ou erros existentes: o controle serve para detectar falhas ou erros seja no planejamento ou na sua execuo para apontar as medidas corretivas adequadas para san-los; b) Preveno de futuras falhas ou erros: ao corrigir as falhas ou erros existentes, o controle aponta os meios necessrios para evit-los no futuro. Quando se fala em resultados desejados, pressupe-se que estes resultados sejam previstos e conhecidos. Em outras palavras, o controle operacional no pode existir sem o planejamento estar bem definido.

Problemas de Controle
A forma de desempenho de um setor de controle operacional pode ser uma medida de sucesso ou fracasso no processo administrativo de uma organizao. Para o seu sucesso deve estar baseado em um sistema de controle interno que coleta, tabula e estrutura os registros representativos e apresenta aos responsveis informaes j estruturadas. Um setor de controle deve possuir as seguintes caractersticas: deve ser preventivo, tentando evitar erros futuros, em vez de procurar descobrir erros passados; deve ser comparativo, tomando sempre como ponto de referncia um padro de desempenho desejado; precisa ser mltiplo, pois perigoso confiar numa nica fonte. Deve ainda ser cuidadosamente planejado, simples em suas operaes e interferir o menos possvel no fluxo normal de trabalho. Com o surgimento dos grandes sistemas computacionais possvel dispor de muitas formas de tabulaes e de estruturao de dados pela velocidade do computador, mas necessrio muito cuidado para no processar lixo, isto , informaes sem valor, oferecidas gratuitamente pelos servidores muitas vezes para confundir os controladores e seus superiores.
C ONTABILI DADE E IN F ORMAO IJ U

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005

54
Segundo Koontz e ODonnell (1989, p. 454) o processo bsico de controle, no importa onde seja aplicado nem o que visa controlar, envolve quatro etapas: a) Estabelecimento de Padres a primeira etapa do processo, na qual os gestores devem planejar e fixar previamente os padres ou critrios de avaliao ou de comparao das aes a serem desenvolvidas. Os padres representam a base fundamental do controle operacional. Um padro uma norma ou critrio que serve de lastro para a avaliao ou comparao de alguma coisa. Os gestores pblicos, para terem xito na sua gesto, devero estabelecer previamente padres para que possam controlar as coisas. O padro o ponto de referncia para tudo o que ser feito. Nesse sentido tem-se o oramentoprograma, que um instrumento de referncia, desde que tenha sido elaborado com seriedade. Os padres representam o desempenho desejado. Podem ser tangveis ou intangveis, vagos ou especficos, mas sempre relacionados com a compreenso do resultado que almejado. Quando isto no ocorre, a conseqncia a confuso. A idia mais importante do controle determinar quais deveriam ser os resultados, ou, ao menos, o que esperar de uma determinada ao. Os padres ou normas proporcionam um mtodo para estabelecer o que se dever fazer. No que tange escola da administrao cientfica, esta preocupou-se exageradamente em desenvolver tcnicas capazes de proporcionar bons padres. Os padres podem ser expressos em tempo, homens-hora, dinheiro, custos, receitas, investimentos, unidades fsicas, pela representao de quantidades fsicas, unidades de servios, ou mediante outros ndices que meam o desempenho. O estudo de tempos e movimentos , por exemplo, uma tcnica desenvolvida pela administrao cientfica, por meio da qual a organizao determina o tempo padro em que um operrio dever executar um determinado trabalho. O custo padro outro exemplo de tcnica que fixa parmetros para analisar e controlar os custos de uma determinada atividade.
C ONTABILI DADE E IN F ORMAO IJ U

Os padres nem sempre so expressos em unidades especficas. Uma entidade pblica pode, por exemplo, ter como meta o alcance da satisfao de seus contribuintes em ambos os sentidos, de lealdade e de moralidade por parte de seus servidores, ou poder desenvolver um programa de relaes pblicas para ser aceita como uma entidade construtiva da sociedade ou comunidade. Tais metas raramente podero ser expressas em termos numricos, mas existem mecanismos verificveis para determinar se uma ao se afasta ou se aproxima das metas ou objetivos traados, por meio de tcnicas que meam fatores intangveis, tais como contribuintes, servidores, opinio pblica e aceitabilidade. Dessa forma, na medida em que se estuda e se pensa o assunto, torna-se perfeitamente possvel elaborar metas verificveis para toda e qualquer operao, seja ela quantitativa ou qualitativa, buscando-se assim padres que se tornam perfeitamente teis e atingveis. b) Controle do Desempenho Considerado como a segunda etapa do processo de controle, o de desempenho consiste em avaliar o que est sendo feito mediante o acompanhamento e monitorizao daquilo que est sendo executado. Para que se possa ter o controle de desempenho de qualquer processo, deve-se pelo menos conhecer algo a respeito desse desempenho no passado e se ter bases como referncia para o futuro, com a finalidade de detectar possveis irregularidades antes que elas realmente ocorram e corrigi-las com as medidas apropriadas. Isso pode parecer uma ao simples, porm se a base de medio ou mensurao no for bem definida, o processo poder tambm cair em erros e numa confuso muito grande. A eficcia de um setor de controle operacional depende muito da informao imediata a respeito dos resultados passados, que transmitida s pessoas que tm poder para impor mudanas. A unidade de medida dever estar de acordo com o critrio predeterminado e dever ser expressa de forma que facilite uma comparao simples. Assim, se um padro for estabelecido adequadamente e se existirem meios disponveis para se determinar exatamente o que os servidores esto fazendo, a avaliao, do desempenho real ou esperado, realmente fcil.
ano 8 N 23 J UL. /D EZ . 2005

ED ITORA U N IJ U

55
Apesar disso, existem muitas atividades do setor pblico para as quais extremamente difcil desenvolver padres adequados, como no caso dos trabalhos menos tcnicos. No desempenho dos secretrios, por exemplo, muitas vezes recorre-se a padres vagos, tais como: estabilidade das finanas, atitudes de sindicatos, ausncia de manifestaes, satisfao dos servidores, sucesso administrativo da secretaria. Suas avaliaes so no geral inexatas. O controle nestes casos fundamental, pois medida que os trabalhos desenvolvidos nestas reas se afastam do planejado e esperado, torna-se necessria a adoo de mecanismos de ajustes e controles mais complexos. Quando, porm, o sistema de controle elabora objetivos verificveis, expressos em termos quantitativos ou qualitativos, estes se tornam os padres segundo os quais o desempenho de todos os cargos da hierarquia organizacional poder ser medido. Nas palavras de Koontz e ODonell (1989, p. 455),
na medida em que novas tcnicas forem sendo desenvolvidas para medir, com um razovel grau de objetividade a qualidade da administrao em si, tanto nos escales mais altos como nos mais baixos, iro surgindo critrios proveitosos de desempenho. Cabe tambm neste caso, para as aes subjetivas, para as quais no h uma medida exata de mensurao, a incluso de certos controles de qualidade, do tipo: controle da qualidade do material referente a licitaes, controle da qualidade do ensino, etc.

bra muito o princpio da exceo proposto por Taylor. Para que se possa concentrar nas excees, o setor de controle deve dispor de tcnicas que indiquem rapidamente onde se encontra o problema. Na comparao dos resultados atuais com os padres estabelecidos, a avaliao deve sempre ser relatada pessoa ou setor responsvel. A comparao da situao atual com o que foi planejado no tem em vista apenas localizar os erros ou desvios, mas tambm tornar possvel a predio de outros resultados futuros. Um bom setor de controle, alm de proporcionar rpidas comparaes, permite localizar possveis dificuldades ou mostrar tendncias significativas para o futuro. No possvel modificar o passado, mas a comparao pode propiciar auxlio para, a partir do presente, criar condies para que as atividades futuras obtenham melhores resultados. A comparao dos resultados atuais com aqueles previamente planejados geralmente feita com a utilizao e apresentao de grficos, relatrios, ndices, porcentagens, medidas estatsticas, etc. Esses meios de apresentao supem tcnicas disposio do setor de controle operacional para que este tenha maior informao sobre aquilo que deve ser controlado. d) Ao Corretiva a ltima etapa do processo e consiste em corrigir o desempenho para adequ-lo s metas estabelecidas. Se o desempenho atendeu s metas estabelecidas no h ao corretiva a aplicar. O objetivo do controle indicar quando, onde e quanto corrigir para manter o processo de acordo com o que foi previamente estabelecido.
Na verdade, o controle operacional um processo cclico e repetitivo. cclico por envolver um ciclo composto de quatro fases que acabamos de enumerar. E repetitivo porque repete indefinidamente. E a medida que se repete, o controle tende a fazer com que as coisas controladas se aperfeioem e reduzem seus desvios em relao aos padres estabelecidos. Isto , quanto mais se repete, maior a tendncia de corrigir gradativamente os erros ou desvios, graas a um processo de aprendizagem (Chiavenato, 1994, p. 666).

c) Comparao do Desempenho Atual com o Esperado Esta considerada a terceira etapa da avaliao do desempenho e consiste em comparar a atuao com aquilo que foi previamente planejado ou estabelecido como padro. Toda atividade ocasiona algum tipo de variao. importante determinar os limites dentro dos quais essa variao pode ser aceita como normal. Nem toda variao exige correes, mas apenas aquelas que ultrapassam os limites dos critrios de especificaes. O controle separa o que normal e o que excepcional, para que a correo se concentre nas excees ou atrasos. Este aspecto lemC ONTABILI DADE E IN F ORMAO IJ U

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005

56
Figura 1 O Processo de Controle
Estabelecimento de Padres Avaliao do Desempenho Comparao do Desempenho com os Padres. Ao Corretiva

Retroinformao

Fonte: Chiavenato, 1994, p. 666. Fonte: Chiavenato, 1994, p. 666.

Com o entendimento do processo do controle em nvel operacional, nota-se que este se caracteriza como um fluxo voltado para uma abordagem sistmica e que apresentado na figura 1.

Indicadores de Desempenho
Pelo que foi at aqui exposto, constata-se que a avaliao consiste num processo de mensurao e comparao. Assim, para medir algo preciso conhecer exatamente o que se quer medir: a escala ou parmetro a ser empregado, a margem de erro que pode ser admitida (confiabilidade), quem far a medio e quem est interessado em conhecer o resultado da mensurao e o que se far com ela (usurio). Toda avaliao de desempenho deve considerar aspectos quantitativos e qualitativos. Ao se determinar os objetivos de qualquer atividade, servio ou funo deve-se primeiramente decidir quais os critrios que sero usados para medir o xito dessa atuao. A partir da pode-se criar os indicadores que iro demonstrar o bom ou o mau desempenho. Um setor de controle operacional nas organizaes pblicas fundamental para a existncia de um sistema de mensurao de desempenho, e para isto, inicialmente, conveniente verificar se na administrao j existe um sistema para avaliar o desempenho e se este suficientemente confivel. Caso contrrio o setor dever elaborar mecanismos
C ONTABILI DADE E IN F ORMAO IJ U

que permitam a criao de um sistema de controle, e este sistema pode variar, de uma estrutura elaborada para coleta de dados e estabelecimento de normas de desempenho, ou adotar um processo informal de coleta de dados a fim de medir periodicamente o desempenho. Dessa forma, para que um setor de controle se justifique e possa funcionar seja qual for o tipo de estrutura, este deve ser o ponto de partida de sua atuao. Pesquisas realizadas evidenciam que grande parte das entidades pblicas, especialmente as municipais, carece de um eficiente sistema de controle, e muito menos de mecanismos que permitam a coleta de dados para avaliao de desempenho. Isso justifica a necessidade da organizao e adoo de um setor de controle operacional, com a finalidade de coleta de dados especficos s circunstncias da situao, definindo os indicadores necessrios para mensurar, planejar e controlar as aes pertinentes gesto. De acordo com Haller (1993, p. 151), os indicadores de desempenho
so fatores qualitativos e quantitativos que fornecem administrao e auditoria indcios do grau de eficincia e eficcia com que so conduzidas as operaes. Assim como os padres de desempenho podem ser expressos em termos financeiros, fsicos ou fsico-financeiros, os indicadores de desempenho so teis para finalidades estratgicas, permitindo a comparao do desempenho da organizao com as organizaes similares, para finalidades tticas, permitindo administrao controlar o desempenho dos seus setores individuais e para finalidades de planejamento, permitindo a comparao dos benefcios e retornos do uso de diferentes tipos de volume de recursos.

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005

57
O mesmo autor estabelece uma tipologia de indicadores de desempenho que envolve: indicadores de carga de trabalho: medem a quantidade de servio prestado ou trabalho realizado. Por exemplo: nmero de itens produzidos, de dados processados, de clientes atendidos, etc. Essas medidas funcionam como base para outros tipos de indicadores, uma vez que fornecem a descrio de uma atividade, mas tm pouco valor informativo quanto ao grau com que a organizao ou atividade est contribuindo na consecuo dos objetivos e metas em relao aos recursos empregados. indicadores de economia e eficincia: estes fazem a associao das cargas de trabalho com os recursos empregados. Como exemplo tem-se: utilizao de energia por metro quadrado de instalao, nmero mdio de pedidos de compra por empregado, etc. Por estabelecer a relao dos recursos consumidos e as cargas de trabalho, este tipo de indicador de maior utilidade, dado que permite o desencadeamento de aes no sentido de se ter os mesmos servios por custos inferiores ou maior quantidade de produtos pelo mesmo custo. Produtos comparao com Eficincia = um padro ou objetivo . Insumos Atendimento real de 26 pessoas por hora. Padro de atendimento 25 por hora. Taxa de Eficincia = 26/25 x 100 = 104%. Neste caso obteve-se uma eficincia de 4%. Assim tambm poderemos ter: Eficincia de um programa = Atividades Realizadas Recursos Consumidos Eficincia na realizao de uma tarefa = Tempo Previsto Tempo Gasto indicadores de eficcia: estes tipos de indicadores visam permitir avaliar se a atividade ou servio est atingindo seu objetivo ou meta. So voltados para resultados e no para os custos. Este tipo de indicador de difcil estabelecimento, pois est relacionado, em grande parte, a fatores quaC ONTABILI DADE E IN F ORMAO IJ U

litativos de difcil quantificao, e portanto muito subjetivo. Mesmo assim conseguem-se algumas medidas para avaliao, tais como: Eficcia no uso dos recursos = Recursos consumidos Recursos planejados Eficcia das atividades = Atividades desempenhadas Atividades planejadas Percebe-se que qualquer mecanismo de mensurao a ser institudo na organizao deve permitir a coleta de dados, em bases apropriadas, de modo que sejam apurados indicadores que guardem total relacionamento com os padres estabelecidos. Os padres so fixados, via de regra, na fase de planejamento e iro se traduzir em planos, sendo o principal deles o oramento.

Requisitos para um Controle Adequado


Todo gestor, especialmente o de uma entidade pblica, necessita de formas eficazes de controle para ajud-lo a assegurar que as atividades sejam executadas conforme seus planos. Assim sendo, boa parte do tempo e do esforo do setor de Contabilidade, do controle interno e de outros setores similares utilizado em providenciar informaes. Assim, entende-se que para toda e qualquer tarefa a ser executada h a necessidade de ser idealizada uma forma de controle. Embora os princpios de controle sejam universais, cada atividade requer de certa forma um controle especial. Para Koontz e ODonell (1989, p. 457) o administrador ou gestor dever ter em mente: a) Os controles devem refletir a natureza e as necessidades da atividade: os controles, sejam eles de qualquer atividade, devem ser repensados na medida em que so executadas novas tarefas, a fim de que possam ser reelaborados de tal forma que produzam informaes teis aos gestores. Desse modo, pode-se dizer que cada servio, setor ou secretaria numa organizao necessita de controles diferentes, assim como as organizaes pequenas no necessitam dos mesmos controles utiliano 8 N 23 J UL. /D EZ . 2005

ED ITORA U N IJ U

58
zados nas grandes. Este requisito simplesmente um reflexo dos planos: quanto mais os controles forem idealizados para tratarem e refletirem a natureza e a estrutura especfica dos planos, maior ser sua eficcia em servir aos interesses da organizao e de seus prprios gestores. b) Os controles devem acusar prontamente os desvios: o sistema ou setor de controle ideal aquele que constata os desvios potenciais antes que eles ocorram. Seja qual for o caso, a informao necessita chegar em tempo hbil para evitar falhas. A Contabilidade, como rgo natural de controle, muitas vezes no consegue detectar os possveis desvios a priori, pois sua finalidade original e bsica manter o registro das transaes, por isso, as informaes podem chegar aos gestores responsveis pelos rgos ou secretarias somente aps o acontecimento. Os meios eletrnicos de processamento de dados atualmente esto acelerando bastante o fluxo dos dados contbeis, mesmo assim at acontecer a entrada do fato no sistema pode ser tarde, especialmente quando se trata da gesto pblica. Com a institucionalizao do Sistema de Controle Interno nas Prefeituras Municipais essa tarefa passa a ter nova dinmica, pois uma justificativa para sua criao foi a de que o controle realizado pelos servios de contabilidade no atendia s necessidades de informaes dos diferentes agentes e gestores pblicos. c) Os controles devem voltar-se para o futuro: entende-se que o controle ideal aquele realizado concomitantemente com a execuo, como o caso de certos controles eletrnicos, nos quais mesmo assim existe um intervalo de tempo entre o desvio e a medida corretiva. Segundo Koontz e ODonell (1989, p. 458), talvez o primeiro princpio para assegurar a consecuo dos objetivos seja a propriedade da funo do controle de detectar desvios reais ou virtuais dos planos com antecipao suficiente para permitir uma ao corretiva pontual. Assim, o gestor que tiver claro este princpio ir, com certeza, preferir um prognstico para o futuro, mesmo contendo uma margem de erro. Este tipo de controle voltado para o futuro ocorre, por exemplo, no controle de caixa, no qual so feitas projees quanto a pagamentos e receitas futuras. Essa abordagem do controle poder ser estendida a outras modalidades. d) Os controles devem apontar as excees em pontos crticos: neste caso o gestor dever buscar o controle de todos os itens que apresentarem desvios maiores com relao aos padres preestabelecidos, e no s daqueles que tm maior significncia. Assim, um controle eficaz exige ateno aos pontos crticos para avaliar o desempenho comparado com um plano especfico. O princpio de execuo pode ser expresso da seguinte forma: quanto mais concentrado o desejo de controle de um administrador, mais eficientes sero os resultados de seu controle. e) Os controles devem ser objetivos e compreensveis: os controles devem ser bem definidos e determinados de maneira clara e objetiva, pois o estabelecimento de padres resulta em um controle eficaz, e para isso se requer tambm padres objetivos, precisos e adequados, que podem ser quantitativos, como custos ou homens-hora por atividade ou perodo de trmino de servios, ou qualitativos, como programas de treinamento para um tipo de atividade especial. Por isso, tanto em um caso como em outro, os padres devem ser determinados e verificveis. f) Os controles devem ser flexveis: todo controle deve ser idealizado tendo em vista circunstncias imprevistas que podero surgir, em decorrncia de falhas e modificaes adversas vontade do executor. Por outro lado, no podero impedir a criatividade dos executores quanto melhoria de um processo. Logicamente para isso so necessrios parmetros de limites. g) Os controles devem refletir o modelo organizacional: cada organizao deve determinar os controles em conformidade com sua estrutura organizacional, em que se localiza a responsabilidade pela ao, assim estes iro refletir a correo dos desvios dos planos. h) Os controles devem ser econmicos: os controles devem compensar os seus custos. Conforme o princpio da eficincia dos controles, as tcano 8 N 23 J UL. /D EZ . 2005

C ONTABILI DADE E IN F ORMAO

IJ U

ED ITORA U N IJ U

59
nicas e as abordagens de controle so eficientes quando detectam e trazem tona as causas dos desvios reais e/ou virtuais dos planos com o mnimo de custos e conseqncias fortuitas. com o padro. Estas fases so executadas por um sensor, um discriminador e um tomador de deciso, que se diferenciem entre si porque em cada uma delas o controle assume posturas distintas. O controle, segundo este autor, pode ser:

Processo do Controle Operacional


Nas relaes de trabalho de qualquer natureza o controle tem recebido enorme importncia por parte de especialistas de diferentes reas de atividades, sendo considerado fundamental para as administraes pblicas. O gestor pblico tem como misso manter os servios essenciais com custos compatveis com a arrecadao e com uma boa qualidade dentro de uma situao de recursos escassos e perante demandas sociais em crescimento. Litterer (1970, p. 271-294) prope um modelo de controle vlido para qualquer situao. Para ele, os passos bsicos no processo de controle so a coleta de dados sobre o desempenho e comparao

Sensor: quando representa o ponto de coleta de dados sobre o desempenho. No sistema de informaes econmico-financeiras corresponde identificao e mensurao dos eventos econmicos. Discriminador: quando o trabalho desenvolvido na fase de comparao dos dados coletados com um padro estabelecido. No sistema de informaes econmico-financeiras, corresponde a emisso dos relatrios de desempenho e comunicao aos gestores das principais variaes entre o orado e o realizado e entre o padro e o realizado. Tomador de deciso: corresponde s medidas escolhidas pelo gestor para corrigir as variaes detectadas pelo sistema de informaes econmico-financeiras.
Esse processo pode ser visualizado na figura 2, proposta por Litterer, representando o ciclo bsico do controle.

Figura 2 Ciclo Bsico do Controle.


Determina
Determinador De Metas

os Padres

Tomada de Decises

Compara Ao Corretiva os dados


Discriminador

Padro

com os padres
Sensor

Corrige dados sobre desempenho


Atividade

Trabalho

Fonte: Litterer, 1970, p. 275

C ONTABILI DADE E IN F ORMAO

IJ U

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005

60
Assim, os componentes no processo de controle podem estar distribudos de maneiras diferentes. Por exemplo, em uma situao em que os servidores recebem do chefe uma ordem para desenvolver uma tarefa obedecendo a um determinado padro de qualidade, e essa ordem refere-se somente informao do padro, toda a operao de controle, coleta de dados sobre o que esto desempenhando e a qualidade ficam por conta dos servidores. Nas organizaes pblicas, na grande maioria dos casos, os responsveis (chefes) pelas secretarias ou rgos no esto presentes, e os servidores no podem ser meros executores de tarefas, supervisionados a todo instante pelo responsvel ou chefe, mas tm de dar conta dos padres estabelecidos pelo rgo de controle. O chefe dever procurar manter a atividade sob controle, de acordo com os padres estabelecidos, a menos que algo extraordinrio acontea. A sim, deve buscar apoio de setor qualificado e/ou se dirigir ao superior. Assim pode-se constatar que formao e conhecimento so requisitos essenciais para a execuo das atividades. Desta forma, cada rea deve determinar suas metas em conformidade com os planos estratgico e operacional da instituio, em um processo participativo, sob a coordenao de seu respectivo responsvel. Os padres so estabelecidos da mesma forma. A execuo da atividade aciona o sensor, que a transmite ao discriminador para comparao com as metas e os padres, e comunicao das divergncias significativas ao tomador de decises para adoo de medidas corretivas. As medidas corretivas sero acompanhadas no decorrer das atividades, reiniciando-se o ciclo. que se h de medir e quando se far tal medio, pois nas atividades de servios isso um tanto subjetivo, por isso a dificuldade na fixao de padres, que serviro de critrios ou pontos de referncia para medidas de controle para cada tarefa ou operao. Os controles fornecem o elemento de ligao entre os planos e as decises subseqentes. Os controles medem o desempenho e os resultados conseguidos e fornecem ainda os dados e as informaes que subsidiam o executivo na tomada de deciso. De posse destes dados ainda se poder comparar os dados levantados com o que foi planejado. Assim, qualquer forma de controle operacional dever levar em conta, previamente, o qu, como e quando medir. Neste caso, quando se fixam os padres operacionais que vo servir de ponto de referncia ou como critrios de medida, deve-se ter o cuidado para que estes no inviabilizem certas aes, principalmente quando se trata de organizaes pblicas, devendo ser flexveis. Como so fixados de antemo, passam a sofrer alteraes e ajustamentos medida que o processo de controle vai funcionando e fornecendo a realimentao suficiente para dizer se os padres podem ser ampliados ou diminudos. Quando nos referimos a controles operacionais na gesto pblica, estes devem abranger todas as reas de atividades da prefeitura: recursos humanos, finanas, servios, secretarias, rea administrativa, contratos, licitaes, etc. Em todas as reas o controle, segundo Chiavenato (1994 p. 670), envolve quatro tipos bsicos de padres, que so apresentados na figura 3. Na rea de prestao de servios, que a situao das organizaes pblicas, os padres de quantidade normalmente so expressos no oramento, que so aqueles itens quantitativos. O controle de qualidade, geralmente expresso qualitativamente, determinando o padro que se espera atingir. J quanto aos padres de tempo e de custos, so eles itens j bem objetivos e tambm expressos previamente, tal como a quantidade e qualidade no planejamento.
ano 8 N 23 J UL. /D EZ . 2005

Padres do Controle Operacional


Se olharmos ao nosso redor, perceberemos que tudo o que realizamos de certa forma est acompanhado de controle. Um dos problemas que se enfrenta no processo de controle, porm, saber o
C ONTABILI DADE E IN F ORMAO IJ U

ED ITORA U N IJ U

61
Figura 3 Padres de Controle Operacional
De Quantidade

- Volume de recursos - Nveis de atendimento - Nmero de horas trabalhadas

Padres de Controle

De Qualidade

- Controle de qualidade do atendimento - Controle de qualidade dos servios - Especificao do produto ou servio - Tempo padro de atendimento - Tempo mdio de execuo - Padres de rendimento - Custo dos servios - Custo do material - Custo padro

De Tempo

De Custo

Fonte: Chiavenato, 1994.

Consideraes Finais
No contexto atual, em funo das mudanas estruturais do mercado e pelos avanos tecnolgicos seguidos de uma maior exigncia pela sociedade, por uma qualidade de vida melhor, passou-se tambm a exigir das gestes pblicas transparncia, eficincia e eficcia no tocante aplicao dos recursos pblicos. Para enfrentar estes novos paradigmas impostos pela sociedade, executivos pblicos passaram a buscar novas formas e tcnicas de gesto, com o intuito de atender, e assim, retribuir de forma eficiente aos anseios da sociedade. O controle dos atos administrativos, nas vrias esferas, deve ser orientado para a concretizao vitalizante dos princpios fundamentais da administrao. Se certo, entretanto, que todo ato h de ser controlvel, dever s-lo diante das exigncias dos sistemas objetivos. Claro est que a tarefa de efetuar o controle no a de emperrar ou de usurpar competncias. Consiste, antes e sobretudo, em colaborar, de modo decisivo e de preferncia concomitantemente, para fazer desaparecer a imensa distncia entre os princpios regentes das relaes de administrao e a dura realidade, emprestando
C ONTABILI DADE E IN F ORMAO IJ U

vida, por exemplo, proporcionalidade, economicidade, confiana, probidade administrativa. O controle tambm nunca poder ser exitoso se se restringir legalidade estrita. O que se precisa subordinar nobre e paradigmaticamente a administrao pblica aos princpios legais, vistos como totalidade de princpios, normas e valores, entre os quais avulta a dignidade da pessoa. Atualmente formas de controle operacional tornam-se imprescindveis, principalmente em relao ao que foi planejado e est sendo executado. O oramento-programa um instrumento nato de controle, pois constitudo por metas fsico-financeiras, cujo controle, que abrange ambos os aspectos, deve ser considerado quando da sua aplicabilidade por todos os ordenadores de despesa da gesto pblica, os quais devem conhec-lo para poder controlar, o que no se sucede atualmente em muitas organizaes pblicas municipais, uma vez que atribudo somente ao servio de Contabilidade o controle do oramento. Na despesa, como se sabe, onde se aplicam os recursos financeiros, portanto de suma importncia que haja um eficiente controle dos gastos, de forma que estejam revestidos dos princpios da leano 8 N 23 J UL. /D EZ . 2005

ED ITORA U N IJ U

62
galidade, da legitimidade e da economicidade. Dessa forma o controle da despesa necessariamente ter de ser prvio, concomitante e subseqente, abrangendo todas as fases, desde a ordenao, o processo licitatrio e o respectivo contrato, o empenho, a liquidao, encerrando com o pagamento. Quanto ao controle da despesa deve ser verificado se sua realizao est ocorrendo de acordo com as leis gerais ou especiais, os decretos do poder Executivo, com os regulamentos e demais normas legais. importante tambm a avaliao quanto eficincia e eficcia na aplicao dos recursos pblicos, verificando se eles esto sendo desperdiados ou se esto sendo aplicados em servios de interesse da coletividade. Trata-se de um exame subjetivo, o que dificulta o estabelecimento de critrios de mensurao. Indiscutivelmente, o controle da despesa possui abrangncia ampla, tendo em vista a facilidade de perdas ou desvios de recursos. No menos importante o controle da receita, em que tambm ocorre evaso de recursos financeiros. Para a despesa o controle ter de ser criterioso e necessrio o cuidado no sentido de se assegurar que os materiais ou bens foram entregues, que os servios foram prestados e que as obras foram realizadas, e ainda se foram recebidas por servidor ou comisso designada pela autoridade competente. Assim, no basta a documentao nem o mero registro da despesa e da dvida no passivo: necessria a comprovao fsica do destino do material e do servio prestado ou da obra executada, dando cumprimento ao disposto no controle fsico-financeiro do oramento-programa. Esta funo tornase possvel, em nosso entendimento, por meio de um setor de controle operacional, legalmente constitudo para este fim e vinculado ao Sistema de Controle Interno, caso contrrio fica-se limitado subjetividade. Outro fator muito importante do controle referese eficcia dos gastos pblicos, que poder ser demonstrada mediante a relao dos custos com os benefcios, e que est merecendo uma ateno maior
C ONTABILI DADE E IN F ORMAO IJ U

diante da Lei de Responsabilidade Fiscal. Isso porque imprescindvel que o administrador, na qualidade de gestor pblico, aplique os recursos seguindo os critrios de eficincia e eficcia, ou seja, que com menos recursos atenda a uma demanda maior de servios pblicos e com qualidade. Sabe-se que ainda h desperdcios. H casos em que os gestores no sabem quanto, como, onde e porque esto gastando, porque no h interesse e preparo para acompanhar o processamento das aes, e tambm porque no existe um sistema de informaes. Com a edio da Lei de Responsabilidade Fiscal, no entanto, os gestores viram-se coagidos a otimizar os recursos pblicos disponveis e melhor atender s demandas sociais.

Referncias
CARVALHO, Joo Baptista da Costa. Custos nos servios pblicos e o seu tratamento contabilsti-co em Portugal. I Seminrio Latino Americano de cultura contbil. Salvador, 19 a 24 de abril de 1998. CHIAVENATO, Idalberto. Administrao de empresas: uma abordagem contingencial. 3. ed. So Paulo: Makron Books, 1994. CRUZ, Flvio da et al. Controle interno nos Municpios. So Paulo: Atlas 2003. FIGUEIREDO, Sandra. Controladoria: teoria e prtica. So Paulo: Atlas, 1997. GOMES, Josir Simeone; SALAS, Joan M. Controle de gesto. 2. ed. So Paulo: Atlas, 1997. GUILAMELON, Antonio Celso Diercrx. O controle interno no setor pblico: a contadoria e auditoria geral do Estado do Rio Grande do Sul. Revista do Conselho Regional de Contabilidade do Rio Grande do Sul, v. 16, n. 45, p. 24-31, 1991. HALLER, Edward J. et al. Avaliao do desempenho operacional: estabelecimento e administrao de uma auditoria operacional. So Paulo: Price Waterhouse apud SILVA, R. C. A auditoria operacional como instrumento de gerncia no
ano 8 N 23 J UL. /D EZ . 2005

ED ITORA U N IJ U

63
setor pblico. So Paulo: 1993. (Dissertao de mestrado da Faculdade de Economia, Administrao e Contabilidade USP).
KOONTZ, Harold. ODONELL, Cyril. Fundamentos de Administrao. 2. ed. So Paulo: Pioneira, 1989. LITTERER, Joseph. Anlise das organizaes. So Paulo: Atlas. 1970. MACHADO JR. Jos Teixeira. A Lei 4.320 comentada. Rio de Janeiro: Ibam; Atlas, 1991 MEIRELES, Hely Lopes de. Direito administrativo brasileiro. 20. ed. So Paulo: Malheiros Editores, 1995. NAKAGAWA, Masayuki. Introduo controladoria: conceitos, sistemas, implantao. So Paulo: Atlas, 1993. NASCIMENTO, Jos Olavo do. Os Controles formal e substancial. Revista do Conselho Regional de Contabilidade do Rio Grande do Sul, v. 14, n. 43, p. 26-27, jan./mar., 1996. OLIVEIRA, Jos Flvio de. Controle Interno no setor governamental. Revista do Conselho Regional de Contabilidade do Rio Grande do Sul, v. 22, n. 73, p. 19-26, abr./jun. 1993. OLIVEIRA, Telma Almeida de. O controle da eficcia da administrao pblica no Brasil. Universidade Federal da Bahia: Salvador: EGBA, 1995. (Dissertao de Mestrado). PEIXE, Blnio Csar Severo. Oramento e contabilidade: uma contribuio relevante ao redesenho do controle interno na administrao pblica. Revista do Conselho Regional de Contabilidade do Rio Grande do Sul. Porto Alegre, v. 26, n. 91, out./ dez., 1997. REIS, Heraldo da Costa. reas e centros de responsabilidades no controle interno das entidades governamentais. Revista de Administrao Municipal. Rio de Janeiro, v. 39, n. 205, out./dez., 1992, p. 19-35. SANTOS, Willians Almeida. Auditoria interna: sinnimo de controle de gastos no setor pblico. Revista do Conselho Regional de Contabilidade do Rio Grande do Sul, v. 25, n. 87, p. 55-56, out./dez. 1996. SILVA, Lino Martins da. Contribuio ao estudo do sistema de custeamento na administrao pblica. Revista Brasileira de Contabilidade, Braslia, DF, v. XXVIII, n. 119, set./out. 1999. SILVA, Ado Cravem da et al. Controle Governamental: um modelo terico para a avaliao do sistema de controle interno no setor pblico. VII Conveno de Contabilidade do Rio Grande do Sul. Canela (RS), 1999. SILVA, Roberto Carvalho da. A auditoria Operacional como instrumento de gerncia no setor pblico. So Paulo: Universidade de So Paulo, 1993. (Dissertao de Mestrado em Contabilidade da Faculdade de Economia, Administrao e Contabilidade).

C ONTABILI DADE E IN F ORMAO

IJ U

ED ITORA U N IJ U

ano 8

N 23

J UL. /D EZ . 2005