Você está na página 1de 51

Administração Pública p/ TCU - 2015

Teoria e exercícios comentados


Prof. Rodrigo Rennó - Aula 08

Aula 8: Controle, Avaliação e Indicadores

Olá pessoal, tudo bem?


Nessa aula, iremos cobrir o seguinte tópico :
)- Avaliação de programas e projetos. Tipos e modelos de
avaliação de políticas públicas. Anál ise custo-benefício e análise
custo-efetividade. Indicadores de políticas públicas. Coleta,
análise e interpretação de informações quantitativas e
qualitativas para avaliação de programas governamentais.
Indicadores de desempenho. Tipos de indicadores. Variáveis
componentes dos indicadores.

Irei trabalhar com muitas questões do Cespe, ok? Espero que gostem
da aula!

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 1 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Sumário
Modelos de avaliação de programas governamentais ............................................ 3
Controle ......................................................................................... 3
Momento do Controle ........................................................................ 5
Tipos de avaliação. Análise custo-benefício e análise custo-efetividade ................ 10
O Modelo do Quadro Lógico e o Método ZOPP. ........................................ 11
Métodos Quantitativos e Qualitativos ..................................................... 16
Sistema de medição de desempenho organizacional ..................................... 21
Coleta, análise e interpretação de informações quantitativas e qualitativas para avaliação de
programas governamentais ................................................................... 23
Métodos Quantitativos e Qualitativos ..................................................... 23
Métodos de Coleta de Dados ................................................................. 24
Técnicas de Coleta dos Dados ................................................................ 25
Método de Análise dos Dados ................................................................ 28
Indicadores Estratégicos ......................................................................... 31
Tipos de indicadores. ......................................................................... 31
Indicadores de Desempenho ............................................................... 32
Tipologia de Indicadores de Graças Rua .................................................... 36
Público-alvo ................................................................................... 37
Variáveis dos Indicadores .................................................................... 38
Qualidade dos Indicadores ................................................................... 39
Lista de Questões Trabalhadas na Aula. ........................................................ 44
Gabaritos. ........................................................................................ 49
Bibliografia ...................................................................................... 49

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 2 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Modelos de avaliação de programas governamentais

A avaliação é o último estágio do processo de gerenciamento de


programas e projetos. É nesse momento que avaliamos o resultado dos
esforços da organização, e dos gestores e funcionários, na obtenção dos
diversos objetivos.
De acordo com Aguilar1, a avaliação não é exatamente uma medição:
“A medição é o ato ou processo de “determinar a
extensão e/ou quantificação de alguma
coisa”...quando se trata de julgar algo
sistematicamente ou aplicando os conhecimentos e
regras do método científico, nos encontramos face
à uma avaliação. ”
Ultimamente, tem existido uma preocupação com a avaliação muito
maior, pois se acredita que compreendendo melhor o funcionamento das
políticas e projetos, estes terão maior chance de sucesso.
Já Cohen diferencia a avaliação do monitoramento. Para o autor:
“Enquanto o monitoramento ou acompanhamento é
uma atividade gerencial interna que se realiza
durante o período de execução e operação, a
avaliação pode ser realizada tanto antes ou durante
a implementação como ao concluir a mesma ou
mesmo tempo depois, para quando se prevê que o
projeto provocou todo o seu impacto. ”
Assim, a avaliação deve ser um instrumento de aprendizado
organizacional, em que a instituição possa se conhecer melhor a aos seus
processos de forma a ser mais eficiente, eficaz e efetiva.
De acordo com Secchi2, a avaliação de uma política pública
compreende a definição de critérios, indicadores e padrões (performance
standards). Isto ocorre porque não podemos avaliar uma política pública
sem medirmos seus resultados.

Controle

O controle é o processo administrativo que busca avaliar se os


objetivos estão ou não sendo atingidos pela empresa. Através do

1
(Aguilar & Ander-Egg, 1994)
2
(Secchi, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 3 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
monitoramento dos resultados e sua comparação com os resultados
esperados ou planejados, podemos propor ações corretivas ou aprender
com o que funcionou.
O processo de controle, de acordo com Maximiano, pode ser definido
assim3:
“O processo de controle consiste em fazer a
comparação e em tomar a decisão de confirmar ou
modificar os objetivos e os recursos empregados
em sua realização”.
Sem um sistema eficaz de controle, o gestor não tem condições de
tomar as decisões necessárias. Como decidir se não temos dados sobre o
que está ocorrendo?
Imagine se você tivesse que dirigir um carro com uma venda nos
olhos. O resultado provavelmente não seria muito positivo para você, não
é verdade?
De nada valeria um excelente planejamento estratégico, por
exemplo, se o controle não existir ou funcionar de modo frágil. Além disso,
o controle permite que a instituição aprenda com seus erros e acertos.
O sistema de controle lhe fornece, assim, um modo de monitorar os
efeitos das decisões e ações tomadas e comparar com o que fora planejado
anteriormente4.
Quase todas as atividades, naturalmente, terão algum tipo de desvio
(sejam desvios positivos ou negativos). Entretanto, uma avaliação dos
motivos que levaram ao desvio também é importante para que a
organização esteja sempre melhorando seus processos de trabalho.
O processo de controle é formado por quatro etapas: o
estabelecimento dos padrões (qual é o resultado esperado), o
monitoramento do desempenho (coleta dos dados), a comparação com o
planejado, e tomar ações corretivas (quando necessário).
Abaixo, podemos ver cada etapa deste processo5:

3
(Maximiniano, 1995)
4
(Rennó, 2013)
5
(Sobral & Peci, 2008)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 4 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

Estabelecimento dos padrões


• Definição dos resu ltados esperados da t arefa ou atividade.

Monitoramento do desempenho
• Basicamente é um t rabalho de coleta de informações.
Determinamos o quê vai ser medido, como iremos medir
(fontes de informação) e quando iremos medir e com que
frequência.

Comparação do resultado com o padrão


• análise dos resultados rea is em comparação com o objetivo
previamente estabeleci do.

Medidas corretivas
• Aprender com os erros e corrigí-los ou entender o que deu
certo e padronizar.

_/

Figura 1- Etapas do Processo de Controle

Momento do Controle

Uma das classificações que mais são cobradas em provas de concurso


está relacionada com o tempo em que o controle ocorre. O processo de
controle pode acontecer antes do que a atividade, de modo simultâneo e
após a atividade ter sido encerrada.
Assim sendo, seriam três os tipos de controle de acordo com o seu
" momento" : o controle preventivo (prévio ou " ex-ante"), o controle
simultâneo e o contro le posterior ou "ex- post".
O prim eiro tipo é o co ntrole prévio . Este controle preventivo tem
como obj etivo a identificação e a prevenção dos problemas antes que eles

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 5 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08
efetivamente ocorreram 6 • Funciona, portanto, como um t ipo de contro le
proativo, pois busca evitar que os problemas aconteçam.
Como a atividade ainda nem começou, este tipo de controle visa
verificar se os recursos e máquinas de uma empresa, por exemplo, estão
em bom estado para que a ativ idade possa iniciar.
Quando um avião está sendo vistoriado antes de levantar voo em um
aeroporto, este tipo de contro le está sendo efetuado. Se algo aparentar
estar errado, o avião não poderá decolar.
Já o controle simultâneo ocorre ao mesmo tempo em que a
atividade está acontecendo. Como exemplo, teríamos o trabalho de
supervisão de uma equipe.
Com a evolução das tecnologias de informação, hoje é possível o
controle em tempo real de diversas atividades. O traba lho de rastreamento
de uma carga, como ocorre com os trens e navios modernos, não deixa de
ser um processo de controle deste transporte.
Este t ipo de controle já seria um tipo controle reativo 7 . Outro
controle que não consegue mais evitar o resultado negativo seria o controle
"ex-post" ou posterior. Alguns autores ainda o chamam de controle por
feedback.
Esse controle posterior busca avaliar qual foi o desempenho de
uma atividade após esta ter acontecido. Com estes dados, podemos propor
correções no processo ou atividade, de modo que os erros sejam sanados.

Controle "ex-
ante" ou Controle "ex-post"
preventivo ou posterior

o o o
Controle
simultâneo

Figura 2 • Tipos de Controle de acordo com o momento

Outra classificação muito semelhante a esta é a de Leonardo Secchi 8 •


Para ele, a ava liação de Políticas Públicas pode ser distinguir entre a

6 (Daft, 2005)
7 {Sobral & Peci, 2008)
8 {Secch i, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 6 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
avaliação ex-ante (anterior a implementação), a avaliação ex-post
(posterior a avaliação) e a avaliação in itinere, também conhecida como
avaliação formativa ou monitoramento, que ocorre durante o processo
de implementação para fins de ajustes imediatos9.
Vamos ver como isto já caiu em provas?
1 – (CESPE – TCU – ACE – 2013) A avaliação de uma política pública
compreende a definição de critérios, indicadores e padrões.

Perfeito. De acordo com Secchi10,


“A avaliação de uma política pública compreende a
definição de critérios, indicadores e padrões”.
Para ele, os principais critérios seriam os seguintes: economicidade,
eficiência econômica, eficiência administrativa, eficácia e equidade. Esses
critérios, por sua vez, seriam medidos (operacionalizados) por indicadores
balizados por padrões estabelecidos. O gabarito é questão certa.

2 – (CESPE – MPU – TÉCNICO – 2013) O controle consiste em


ferramenta administrativa para a reunião e a coordenação dos
recursos humanos, financeiros, físicos, de informação e outros
necessários ao atendimento dos objetivos organizacionais
estabelecidos.

Esta não é a definição de controle, mas do processo de organização.


O controle é o processo administrativo que busca avaliar se os objetivos
estão ou não sendo atingidos pela instituição.
Ele é feito através do monitoramento dos resultados e sua
comparação com os resultados esperados ou planejados. Com os
resultados identificados, podemos propor ações corretivas ou aprender com
o que funcionou. Desta maneira, o gabarito é questão errada.

3 – (CESPE – TRT-10 – ANALISTA – 2013) Para assegurar maior


controle sobre as operações da instituição, é essencial concentrar
esforços para desconstruir os grupos informais presentes em sua
estrutura.

9
(Costa e Castanhar, 2003) apud (Secchi, 2010)
10
(Secchi, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 7 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Negativo. Não faz nenhum sentido esta desconstrução. Os grupos
informais são aqueles compostos de pessoas que têm afinidade, que não
depende dos cargos ocupados e das responsabilidades inerentes ao
trabalho.
São aqueles grupos formados de acordo com as amizades e
relacionamentos informais no ambiente de trabalho. Se um gestor buscar
desconstruir estes grupos, terá não maior controle, mas sim uma grande
insatisfação dos funcionários, sem impactar positivamente no controle e no
desempenho das atividades. O gabarito é questão errada.

4 - (CESPE – TJ-AC – ANALISTA – 2012) Os tipos de controle são o


preliminar, que ocorre antes das operações iniciarem; o
simultâneo, que ocorre enquanto os planos estão sendo
implementados; e o de feedback, que enfoca o uso da informação
sobre os resultados, no intuito de corrigir desvios em relação aos
parâmetros aceitáveis.

Exato. Existem alguns autores que chamam o controle posterior de


controle por feedback. Não gosto muito desta definição, pois feedback quer
dizer retroalimentação, que ocorre em todos os processos de controle.
Entretanto, a definição está correta e o gabarito é questão certa.

5 - (CESPE – ABIN / OFICIAL TÉCNICO – 2010) O êxito de uma


organização depende, em grande parte, do poder de controle
exercido sobre os seus colaboradores. Como a maioria deles
interioriza suas obrigações e cumpre voluntariamente seus
compromissos, o controle é facilmente mantido nas organizações
em geral.

Questão bem fácil, não é mesmo? Claro que o processo de controle


não é tão fácil assim, pois muitos empregados não são tão “voluntários”
assim e resistem ao controle de suas tarefas. O gabarito é, portanto,
questão errada.

6 - (CESPE – ABIN / OFICIAL TÉCNICO – 2010) Uma das finalidades


do processo de controle é gerar elementos para dar retorno aos
integrantes da equipe. Esse retorno pode ser considerado o
processo de avaliar, informar ou corrigir o desempenho humano.

Perfeito. Sem sabermos como está nosso desempenho, não temos


como corrigir nossos erros e entraremos em uma “zona de conforto”

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 8 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
perigosa. Através do processo de controle, teremos dados sobre o nosso
desempenho e poderemos comparar estes dados com nosso desempenho
passado ou o de outro colega. O gabarito é questão certa.

7 - (CESPE – FINEP / ADM. DE MATERIAIS – 2009) O administrador


que monitora o desempenho exerce a função administrativa de
planejamento.

Quando um administrador está monitorando o desempenho ele está


controlando, e não planejando! Portanto está exercendo a função de
Controle! Este controle pode ser prévio, simultâneo (o caso do
monitoramento) e posterior. O gabarito é questão errada.

8 - (CESPE – MS/ADMINISTRADOR – 2010) A organização não


governamental (ONG) Viver com Saúde possui programas de
incentivo à prática desportiva, de monitoramento da saúde bucal,
de divulgação sobre a prevenção de doenças sexualmente
transmissíveis, entre outros. A referida ONG atua exclusivamente
no Distrito Federal (DF), mas pretende ampliar sua área de atuação
para o estado de Goiás em face da realidade precária dos
fornecedores de serviços de saúde das pequenas cidades do
entorno do DF. Tal ampliação implicará um aumento de 70% nos
custos da organização. Para tanto, a ONG terá de tomar decisões
acerca do seu processo organizacional.
A partir da situação hipotética acima, julgue o item a seguir com
relação ao processo organizacional.

Considere a seguinte situação hipotética. A ONG Viver com Saúde


está divulgando na mídia do DF e de Goiás uma nova campanha
alertando a população para a importância do aleitamento materno.
Para gerir os resultados alcançados, decidiu-se analisar a
quantidade média de doações para os bancos de leite antes e após
a divulgação da campanha. Nessa situação, a análise comparativa
é ação inerente ao processo de planejamento da organização.

O processo relacionado com o monitoramento dos resultados em


comparação com o objetivo planejado é o de controle. Assim, o gabarito da
banca é questão incorreta.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 9 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Tipos de avaliação. Análise custo-benefício e análise custo-efetividade

Existem dois tipos de análises: a análise custo-benefício e a análise


custo-efetividade. A primeira é bastante simples de se compreender e, de
certa forma, todos a fazemos em nossas vidas particulares.
A análise custo-benefício (ACB) busca comparar, como o próprio
nome diz, os benefícios que recebemos contra os custos que tivemos.
Assim, todo projeto ou política que possa ser analisado de forma econômica
monetária (dinheiro), podemos utilizar este tipo de análise.
Assim sendo, se um projeto tem um benefício maior do que
estimamos será seu custo, consideramos este projeto como viável 11. Se o
projeto A tem um custo-benefício mais baixo do que o estimado para o
projeto B, este será o escolhido.
Entretanto, a maior parte dos projetos no setor público não podem
ser medidos por meio de indicadores monetários. Quando o governo está
lançando um novo plano de segurança pública, por exemplo, não terá como
avaliar as alternativas de ação baseado apenas em retornos econômicos.
Para isso, existe a análise custo-efetividade. De acordo com
Cohen:
“Sua particularidade radica em comparar os custos
com a potencialidade de alcançar mais eficaz e
eficientemente os objetivos não expressáveis em
moeda. ”
Na análise custo-efetividade (ACE), os custos continuam sendo
medidos em moeda, mas os objetivos são: menor criminalidade, maior
expectativa de vida, melhor acesso ao Judiciário etc.
De certo modo, a análise faz o caminho contrário da ACB. Em vez de
analisar qual é o projeto que me dá o maior benefício com o custo estimado,
a ACE analisa qual, das alternativas, me dá o benefício esperado (menor
criminalidade, por exemplo) com o menor custo. De acordo com Quade12:
“A análise pode fornecer não só a informação dos
menores custos para alcançar certo objetivo dado,
mas também pode proporcionar dados sobre os
custos ou preços de alcançar diferentes
objetivos, ou conjunto de objetivos, mediante
diferentes sistemas alternativos, para que
aquele que toma as decisões esteja melhor
preparado para escolher entre as distintas

11
(Cohen & Franco, 1993)
12
(Quade, 1982) apud (Cohen & Franco, 1993)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 10 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
possibilidades sobre a base de seu sistema de
preferências. ”
Desta maneira, ambas as análises são utilizadas para que um gestor
possa escolher entre projetos e políticas públicas alternativas.

O Modelo do Quadro Lógico e o Método ZOPP.

Na formulação de programas e projetos, utilizamos duas principais


ferramentas. A primeira é chamada de Quadro Lógico (QL). Esse
instrumento foi desenvolvido por solicitação da Agência Americana para o
Desenvolvimento Internacional (United States Agency for International
Development – USAID)13.
Essa instituição estava tendo dificuldades no gerenciamento de
projetos, principalmente no aspecto da efetividade, ou seja, na mudança
da realidade econômica e social.
Dessa maneira, a agência solicitou à alguns consultores (Rosenberg,
Lawrence e Posner) uma nova metodologia. Esses consultores, baseados
em ferramentas de gerenciamento por objetivos criaram então a Logical
Framework Approach – LFA ou Enfoque do Quadro Lógico.
A partir desse momento, diversas agências passaram a utilizar esse
instrumento em seus projetos. Uma das agências internacionais a adaptar
o QL a suas necessidades foi a Agência Alemã de Cooperação Técnica
(GTZ).
Essa agência acabou contratando um dos consultores originais do QL
para que adaptasse a ferramenta aos seus desafios. De acordo com
Pfeiffer14,
“O desafio era o de integrar dois enfoques
diferentes: a preocupação com as funções de
controle do ministério15 e a criação de um espaço
maior para o trabalho em equipes e para a
participação dos diversos interessados num projeto
da GTZ. O resultado foi o método ZOPP
(Zielorientiere Projektplanung – Planejamento de
Projeto Orientado para Objetivos). ”

13
(Pfeiffer, 2007)
14
(Pfeiffer, 2007)
15
O Ministério Federal da Alemanha, responsável pela cooperação com os países em
desenvolvimento.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 11 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Dessa maneira o método ZOPP é uma adaptação do Quadro Lógico.
No ZOPP, a principal diferença é uma maior participação social. O
objetivo é que, com a participação de muitos dos envolvidos no projeto,
existirá um maior entendimento das razões e objetivos do projeto e, por
consequência, um maior envolvimento e comprometimento desses atores.
Vamos ver então o que é o Quadro Lógico?
O QL é basicamente uma matriz que resume o plano de intervenção
em um determinado problema. A ferramenta busca responder as seguintes
perguntas16:

 Por que o projeto deve ser realizado?


 Qual é o seu propósito e quais as mudanças a serem
alcançadas?
 Como se pretende produzir melhorias?
 Quais as condições externas que influenciam o alcance dos
resultados e dos seus efeitos?
 Como é possível identificar o alcance das melhorias e
mudanças?
Assim sendo, o QL tem o objetivo de “deixar claro” a todos os
envolvidos quais são os objetivos do projeto e o que ele pode e deve alterar.
O QL tem um enfoque nos resultados e não nas atividades do projeto.
Além disso, nos permite checar se o projeto está corretamente estruturado
e facilita o seu acompanhamento e avaliação.
Dentro da estrutura do Quadro Lógico, existem duas “lógicas”. A
primeira é a lógica vertical. Essa explicita os motivos que levaram o
projeto a ser desenvolvido e como ele está estruturado (atividades,
resultados, objetivos).
Outra lógica é a horizontal, que apresenta quais serão os resultados
e objetivos e como esses serão acompanhados e monitorados (indicadores,
fontes de comprovação e suposições).
O QL poderá, também, ser utilizado durante todas as fases do ciclo
de um projeto. Abaixo podemos ver como se distribui um QL.

16
(Pfeiffer, 2007)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 12 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

Indicadores
Lógica da Fontes de Suposições
Objetivamente
Intervenção Comprovação Importantes
Comprováveis

Fontes que
Indicadores de
Objetivo Superior comprovem os Fatores Externos
Ef eito
ef eitos indiretos

Fontes que
Objetivo do Indicadores de
comprovem os Fatores Externos
Projeto Efeito
efeitos indiretos

Fontes que
Resultados Indicadores de
comprovem o Fatores Externos
Esperados Acompanhamento
desempenho

Fontes que
Indicadores de
Atividades comprovem o Fatores Externos
Acompanhamento
desempenho

Figura 3 - Quadro Lógico· Adaptado de (Píeiffer, 2007)

Vamos ver melhor quais são os elementos da lógica de intervenção? 17

);;>- Objetivo Superior - Um projeto deve buscar resolver um


problema (alta taxa de analfabetismo, por exemplo), mesmo
que em algum ponto no futuro. Assim, o objetivo superior deve
indicar a solução desse problema. Um exemplo de objetivo
superior poderia ser: nível educacional na reg ião acima da
média brasileira.
);;>- Objetivo do Projeto - Mostra o objetivo mais imediato do
projeto, de modo que o sucesso nesse objetivo facilite o alcance
do objetivo superior. De acordo com o exemplo citado acima,
um exemplo de objetivo do projeto poderia ser: todas as
crianças matriculadas nas escolas.
);;>- Resultados - são os bens e serviços produzidos pelo projeto e
que devem ser gerenciados (muitos confundem esses
resultados como o rea l objetivo de um projeto!). Um exemplo
poderia ser: Escolas construídas, Professores contratados e
treinados etc.
);;>- Atividades Principais - Para cada resultado desejado,
diversas atividades são necessárias (além dos insumos

17 (Pfeiffer, 2007)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 13 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
utilizados nessas atividades). A descrição e a definição dessas
atividades facilitam a mensuração do escopo do projeto e o
cálculo dos recursos necessários ao projeto.
Já os indicadores devem fornecer uma base para o controle e
acompanhamento dos projetos. No QL, esses indicadores deverão medir
desde a eficiência, bem como a eficácia e a efetividade (efeitos ou impactos
do projeto).
Isto ocorre, pois alguns dos objetivos do projeto não são controláveis
pelo gerente. No caso acima, a melhoria no ensino também depende de
diversos outros fatores que não podem ser “gerenciados” diretamente,
como a participação dos pais, a melhoria econômica da região, a política
salarial do município ou estado etc.
Já no caso dos resultados e das atividades, os indicadores irão facilitar
o controle das atividades diretamente gerenciadas no projeto (eficiência e
eficácia).
Para que esses indicadores sejam úteis ao acompanhamento do
sucesso do projeto, deveremos poder comprovar sua validade. A fonte de
comprovação indica em qual base (estatísticas oficiais, pesquisas de
opinião pública, etc.) esses indicadores foram construídos.
Finalmente, os pressupostos são fatores externos. Assim, são
condicionantes e riscos que podem afetar o projeto. Esses pressupostos
não são controláveis pelo gerente de projeto (como uma política
governamental, guerras, câmbio etc.).
Entretanto, o gerente de projeto deve mesmo assim acompanhar
todos os riscos ao projeto, efetuando análises de riscos externos.
Vamos ver agora algumas questões?
9 – (CESPE – SERPRO – ANALISTA – 2013) A multiplicidade de
atores facilita o processo de avaliação, visto que um estudo de
avaliação implica proporcionar informação suficiente para emitir
pareceres.

Negativo. A multiplicidade de atores não facilita o processo de avaliação,


muito pelo contrário. Ele se torna mais difícil em situações com muitas
variáveis, como o quadro em que diversos “atores” ou instituições estão
envolvidos no programa governamental.
Como avaliar o impacto de cada um destes atores? Isto se faz cada vez
mais difícil com diversos atores diferentes envolvidos. Além disso, o processo
de avaliação não serve só para “emitir pareceres”. O gabarito é questão
errada.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 14 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
10 – (CESPE – SERPRO – ANALISTA – 2013) A avaliação, por ser um
conjunto de procedimentos para o acompanhamento das ações
governamentais, não deve ser formulada com base em critérios de
valor ou julgamento.

A avaliação não é feita somente através de dados quantitativos,


objetivos. Os métodos qualitativos, dependentes da visão de mundo e
percepção de cada pessoa, devem também ser utilizados.
De acordo com Cunha18,
A bjetiva de resultados, a
avaliação possui também aspectos qualitativos, constituindo-
se em um julgamento sobre o valor das intervenções
governamentais por parte dos avaliadores internos ou
externos, bem como por parte dos usuários ou beneficiários. A
decisão de aplicar recursos públicos em uma ação pressupõe a
atribuição de valor e legitimidade aos seus objetivos, e a
avaliação deve verificar o cumprimento das metas

Desta forma, tanto os métodos quantitativos como os métodos


qualitativos devem ser utilizados pelo gestor público. O gabarito da banca
é mesmo questão errada.

11 - (CESPE – PREF. VITÓRIA / ASSISTENTE – 2007) Na elaboração


de um projeto com base no método ZOOP (planejamento de projeto
orientado por objetivos), o assistente social deve,
sistematicamente, listar com os dirigentes da instituição todos os
aspectos e fatores que fazem parte da situação-problema, em vez
de identificar os principais problemas existentes e analisar suas
relações causais juntamente com os demais envolvidos.

A questão está incorreta, pois uma das principais características do


método ZOPP (e não ZOOP!...rs) é a participação social. Ou seja, o
assistente social não deveria somente se reunir com os dirigentes da
instituição, mas também com os demais envolvidos no projeto e na
comunidade (stakeholders).
Desse modo, o gabarito é questão errada.

12 - (CESPE – PREF. VITÓRIA / ASSISTENTE – 2007) Pressupostos


ou condicionantes são fatores internos importantes para o alcance

18
(Cunha, 2006)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 15 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
dos objetivos estabelecidos, cujo controle é de responsabilidade
dos gerentes do projeto, e sua identificação representa um desafio
para a equipe de planejamento.

A questão tem logo uma “pegadinha”. Os pressupostos são fatores


externos (e não internos). Como esses pressupostos são fatores externos,
“escapam” ao controle do gerente de projeto (um pressuposto poderia ser,
por exemplo, o valor do dólar americano).
O gerente de projeto deve acompanhar todos os riscos ao projeto,
mas alguns não estão sob seu controle (como os pressupostos). Dessa
forma, a identificação destes pressupostos é uma análise de riscos externa.
Portanto, o gabarito é questão errada.

Métodos Quantitativos e Qualitativos

Para analisar uma política pública podemos utilizar dois métodos: A


análise quantitativa e a análise qualitativa. A análise quantitativa mede
resultados objetivos, que podem ser mais facilmente mensurados.
Assim, podemos fazer uma avaliação da mortalidade infantil, por
exemplo, somando o número de crianças que não sobrevivem até certa
idade. Este será sempre um número x de crianças, um percentual.
Entretanto, esse tipo de avaliação não é tão fácil quando devemos
avaliar a mudança em aspectos mais subjetivos (como a confiança, o medo
etc.). Ou seja, não temos como fazer uma medição objetiva da percepção
da população quanto a criminalidade em sua cidade, por exemplo.
Para isso, necessitamos de avaliações qualitativas. Essas buscam
exatamente medir e acompanhar as mudanças em fatores subjetivos.
Antigamente, essas análises eram desacreditadas e evitadas.
Apesar disso, atualmente é desejável que equilibremos os métodos
quantitativos e qualitativos para que tenhamos uma visão mais balanceada
e mais ampla da política pública (muitas vezes, mais importante do que o
“fato concreto” é a percepção da população sobre esse “fato”).
Finalmente, podemos combinar métodos quantitativos e qualitativos.
Assim, poderíamos utilizar informações quantitativas, qualitativas ou uma
combinação destes dois tipos (método misto).
Vamos ver agora algumas questões?
13 – (CESPE – SERPRO – ANALISTA – 2013) A atividade de
avaliação é uma atividade isolada e autossuficiente, que orienta as

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 16 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
decisões quanto à continuidade, necessidade de correções ou,
ainda, suspensão de uma determinada política ou programa.

A atividade de avaliação ou controle não é feita de modo isolado ou


autossuficiente. De acordo com Cunha19,
“A atividade de avaliação não é uma atividade
isolada e autossuficiente. Ela é uma das etapas do
processo de planejamento das políticas e programas
governamentais: gera informações que possibilitam
novas escolhas; analisa resultados que podem sugerir
a necessidade de reorientação das ações para o
alcance dos objetivos traçados”.
Através dos resultados recebidos do processo de avaliação, podemos
tomar decisões sobre correções de rumo em uma política ou ação
governamental, além de aprendermos com os erros e acertos ocorridos. O
gabarito é, portanto, questão errada.

14 – (CESPE – SERPRO – ANALISTA – 2013) Na avaliação, as


dimensões relevantes de um programa devem ser comparadas
antes e depois da intervenção, a fim de se comprovar a efetivação
das mudanças esperadas.

Quando queremos medir qual foi o efeito de uma ação governamental,


devemos conhecer a situação anterior ao programa e qual foram os resultados
apresentados após o programa ter sido implementado. Assim, teremos como
avaliar corretamente qual foi o impacto destes programas na realidade. O
gabarito é questão certa.

15 - (CESPE – ANAC – ESPECIALISTA - 2012) Os indicadores de


desempenho podem ser desenvolvidos e medidos exclusivamente
por meio de informações quantitativas ou qualitativas, em virtude
de as informações mistas reduzirem a especificidade desses
indicadores.

Nem pensar! Os indicadores podem utilizar informações


quantitativas, qualitativas ou uma combinação destes dois tipos (formando
um indicador misto). O gabarito é questão errada.

19
(Cunha, 2006)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 17 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
16 - (CESPE – IPAJAM / ASSISTENTE SOCIAL - 2010) A avaliação
ex-ante não permite a análise custo-benefício, e a ex-post não
distingue projetos concluídos de projetos em andamento.

A análise custo-benefício pode sim ser feita antes do início do projeto


ou programa. Assim, pode ser feita na avaliação ex-ante (preliminar).
Além disso, A avaliação ex-post (posterior) consegue distinguir entre
os projetos concluídos e os em andamento. Portanto, o gabarito é questão
errada.

17 - (CESPE – MS / GESTÃO - 2008) A análise de custo-benefício


difere da análise de custo-efetividade em sua aplicação, uma vez
que a primeira é utilizada quando os resultados são dificilmente
monetizáveis e a segunda destina-se a valorizar tanto os custos
como os resultados em termos monetários.

A questão está incorreta, pois inverteu os conceitos. É a análise


custo-benefício (ACB) que é utilizada quando os custos e resultados podem
ser mensurados e acompanhados monetariamente.
Já a análise custo efetividade (ACE) é mais adequada a situações em
que essa mensuração monetária não é possível ou não é adequada.
Portanto, o gabarito é questão errada.

18 - (CESPE – CEF / ENGENHEIRO – 2006) O controle tem caráter


de acompanhamento e uma visão punitiva para erros cometidos no
processo administrativo.

Um sistema de controle busca garantir que os objetivos estão sendo


alcançados. Ele também é importante porque até os melhores planos
podem dar errado, não é mesmo? Desta forma, precisamos saber os
motivos dos acertos e dos erros decorrentes dos nossos planos. Assim,
aprendemos com nossos erros e aumentamos a chance de sucesso.
A questão está errada, pois o objetivo do controle não é só de
acompanhamento (monitoramento), mas também de correção de desvios.
Além disso, não deve ter uma visão punitiva, mas de aprendizado. O
gabarito é questão incorreta.

19 - (CESPE – SERPRO / GESTÃO EMPRESARIAL – 2008) O controle


preliminar ou prévio é o controle que tem como foco o desempenho
durante a execução dos processos.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 18 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Questão bem fácil, não é mesmo? Naturalmente, o controle que tem


o foco no desempenho durante as atividades e processos é o concomitante
(também conhecido por avaliação formativa). Assim, o gabarito é questão
errada.

20 - (CESPE - SGA-AC / GESTOR - 2006) Na avaliação de uma


política pública não se pode utilizar métodos qualitativos, uma vez
que eles não permitem a mensuração de impactos.

Essa questão está incorreta, pois atualmente o ideal é o equilíbrio


entre os métodos quantitativos e qualitativos na análise de uma política ou
projeto público. Assim, o gabarito é mesmo questão errada.

21 - (CESPE – TJPA / ANALISTA - 2006) A avaliação de resultados,


de natureza ex-ante, visa aferir a efetividade do programa ou
projeto avaliado.

Naturalmente, não podemos saber se um programa foi efetivo (se


produziu os impactos desejados) antes dele ter sido executado, não é
mesmo? A avaliação ex-ante ocorre antes do programa ou projeto ser
executado e busca verificar sua viabilidade. Assim, o gabarito é questão
errada.

22 - (CESPE – POLÍCIA FEDERAL / ASSISTENTE - 2004) Na


avaliação de políticas e programas sociais, a partir da década
passada, procurou-se superar o uso de métodos econométricos,
originários de estudos econômicos.

Perfeito. Atualmente, a avaliação de políticas públicas e programas


sociais não deve se ater somente aos dados objetivos, mas associar
também dados subjetivos – método qualitativo.
Antigamente, as pesquisas se baseavam somente em dados
objetivos, como os trabalhados em métodos econométricos. Desse modo,
o gabarito é questão certa.

23 - (CESPE – POLÍCIA FEDERAL / ASSISTENTE - 2004) A avaliação


de políticas e programas sociais preocupa-se com modelos
alternativos que superem o uso de enfoques puramente
quantitativos, baseados na mensuração de objetivos previamente

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 19 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
definidos. Essa avaliação não considera a complexidade da questão
social.

Essa questão tem uma redação um pouco confusa, mas está correta.
A avaliação das políticas públicas, atualmente, deve superar (deixar de
fazer) o costume de somente se basear em avaliações objetivas (métodos
quantitativos), pois nem sempre captam a complexidade da realidade
social. Assim, o gabarito é mesmo questão certa.

24 - (CESPE – POLÍCIA FEDERAL / ASSISTENTE - 2004) Como a


realidade social é um sistema complexo, que exige o controle de
todas as variáveis possíveis, cada efeito (impacto) decorre
exatamente da implementação de um determinado programa.

Nem pensar! Um dos problemas de se medir a efetividade de alguma


política e/ou programa é exatamente isolar os efeitos dessa política na
realidade econômica e social.
Vamos imaginar que exista um programa de irrigação em uma região
rural. Esse programa financiou a construção de pivôs de irrigação para
diversos agricultores na região. Após alguns anos, verificamos que a renda
média desses produtores aumentou.
Entretanto, quanto desse aumento foi causado pelo programa? Difícil
saber, pois existem diversos outros fatores que causam uma variação na
renda, não é mesmo? Podemos citar alguns, como: o crescimento da
economia, o preço dos produtos agrícolas, a taxa de juros dos empréstimos
etc.
Portanto, o gabarito é questão errada.

25 - (CESPE - AUGE-MG / AUDITOR - 2008) A avaliação ex-ante


busca aferir os eventos já ocorridos e tomar decisões baseadas
nestas informações, enquanto a avaliação ex-post visa orientar o
planejamento do programa ou projeto objeto da avaliação, de
forma a antecipar restrições e respectivas providências a serem
tomadas.

A questão já começa errada, pois a avaliação é feita antes do projeto,


e não após sua execução. Na verdade, a banca apenas inverteu os conceitos
de avaliação ex-ante e ex-post.
Na descrição da avaliação ex-post, a banca inseriu a definição da
avaliação ex-ante. Assim, o gabarito é questão errada.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 20 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
26 - (CESPE - SGA-AC / GESTOR - 2006) A avaliação ex ante é um
tipo de avaliação de implementação, utilizado para aferir o grau de
satisfação dos usuários da política pública.

Essa questão está equivocada, pois a avaliação ex-ante não ocorre


no momento da implementação, e sim antes de sua implementação.
Portanto, o gabarito é questão errada.

Sistema de medição de desempenho organizacional

A existência de um sistema de medição do desempenho


organizacional é fundamental para que a mesma possa ser gerenciada.
Estamos falando de um sistema porque esses são um conjunto de práticas
e indicadores que possibilitam uma visão mais global dos resultados da
empresa.
Antigamente, os sistemas de controle só englobavam índices
financeiros e contábeis. De certa maneira, estavam voltados somente para
o “passado”, ou seja, os dados da performance anterior da organização.
Atualmente, os sistemas de medição de desempenho devem ser mais
abrangentes, abrangendo desde os dados financeiros até as informações
relativas a: participação de mercado, satisfação dos usuários, investimento
em novos produtos e serviços, etc.
Assim, os sistemas de medição de desempenho devem mostrar como
a organização está se saindo. As medidas do desempenho seriam, de
acordo com Hronec20, uma medida dos “sinais vitais” da organização, pois
informam às pessoas o que estão fazendo, como estão se saindo e o se
estão agindo como parte do todo.
Portanto, dentro de uma visão estratégica, o controle deve ser feito
de modo a incluir indicadores de todos os aspectos importantes para que a
organização atinja seus objetivos estratégicos, sua missão e sua visão.
De acordo com Anthony e Govindarajan21,
“Os sistemas de avaliação de desempenho são
criados a partir da seleção de parâmetros
adequados a estratégias e devem permitir um
adequado equilíbrio dos parâmetros de avaliação
em todos os níveis da empresa”

20
(Hronec, 1994) apud (Porto & Estrada, 2004)
21
(Anthony e Govindarajan, 2002) apud (Porto & Estrada, 2004)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 21 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08
Deste modo, para que possamos executar de modo eficiente o
planejamento estratégico, dev emos uti lizar sistema s de indicadores de
desempenho. Assim, poderemos acom panhar, corrigir e melhorar o
desempenho da organ iza ção.
De acordo com Miranda et al22, alguns dos modelos de sistemas de
medição do desempenho foram os a seguir resumidos:

SMART: baseado na
Balanced Scorecard:
estratégia empresa e
objetivo é traduzir a visão e
orientado para o cliente.
a estratégia da empresa.
Seus focos: financeiro,
Seu foco são as
mercado, satisfação do
perspectivas: financeira,
consumidor, flexibilidade,
cliente, processos internos
produtividade, qualidade,
do negócio e aprendizado e
entrega, tempo de processo
crecimento;
e custo.

Sistema de Mensuração
baseado no Modelo de
Modelo proposto por Input-Processam ento-
Schiemann e Lingle: Seus Output: objetivo é
focos: mercado, financeiro, identificar os mais
pessoas, operações, importantes fluxos de
ambiente e parceiros e trabalho da organização.
fornecedores; Seus focos são: inputs,
processos, outputs e
satisfação do consumidor.

Sistem a de Mensuração
Modelo de Relacionamento
Baseado em Benchmarks: O
Qualidade-Lucro: Seus focos
seu foco não é definido. Seu
são: Qualidade interna,
objetivo é ter um painel
satisfação do consumidor,
amplo de medidas que
lealdade do consumidor e
inclua medidas financeiras e
lucro
não-financeiras

Figura 4 • Modelos de Sistemas de Medição. Adaptado de: (Miranda et AL, 2002) apud {Oliveira, 2006)

22 (Miranda et AL, 2002) apud (Olivei ra, 2006 )

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 22 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Coleta, análise e interpretação de informações quantitativas e qualitativas
para avaliação de programas governamentais

Métodos Quantitativos e Qualitativos

Para analisar uma política pública podemos utilizar dois métodos: A


análise quantitativa e a análise qualitativa. A análise quantitativa mede
resultados objetivos, que podem ser mais facilmente mensurados.
Assim, podemos fazer uma avaliação da mortalidade infantil, por
exemplo, somando o número de crianças que não sobrevivem até certa
idade. Este será sempre um número x de crianças, um percentual.
Entretanto, esse tipo de avaliação não é tão fácil quando devemos
avaliar a mudança em aspectos mais subjetivos (como a confiança, o medo
etc.). Ou seja, não temos como fazer uma medição objetiva da percepção
da população quanto a criminalidade em sua cidade, por exemplo.
Para isso, necessitamos de avaliações qualitativas. Essas buscam
exatamente medir e acompanhar as mudanças em fatores subjetivos.
Antigamente, essas análises eram desacreditadas e evitadas.
Apesar disso, atualmente, é desejável que equilibremos os
métodos quantitativos e qualitativos para que tenhamos uma visão
mais balanceada e mais ampla da política pública (muitas vezes, mais
importante do que o “fato concreto” é a percepção da população sobre esse
“fato”).
De acordo com Serapioni23,
“De fato, os métodos quantitativos são débeis
em termos de validade interna (nem sempre
sabemos se medem o que pretendem medir),
entretanto são fortes em termos de validade
externa: os resultados adquiridos são
generalizáveis para o conjunto da comunidade. Ao
contrário, os métodos qualitativos têm muita
validade interna (focalizam as particularidades e as
especificidades dos grupos sociais estudados), mas
são débeis em termos de sua possibilidade de
generalizar os resultados para toda a comunidade”.
Portanto, o ideal é que sejam utilizados métodos qualitativos
somados a métodos qualitativos – atingindo uma boa validade interna e
externa.

23
(Serapioni, 2000)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 23 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Métodos de Coleta de Dados

De acordo com o Manual de Auditoria Operacional do TCU24, os


principais métodos de coleta de dados são: a pesquisa documental, o
estudo de caso, a pesquisa (survey), a pesquisa experimental, a pesquisa
quase-experimental e a pesquisa não-experimental. Abaixo, veremos cada
uma delas:

Pesquisa Documental

Relaciona-se com toda a análise de documentos já disponíveis para


análise, como relatórios, balanços, estudos publicados, normas, livros,
revistas, artigos, etc. Engloba toda a literatura do tema tornada disponível
publicamente sobre o objeto de estudo.

Estudo de Caso

É um método que deve ser utilizado sempre que for necessário


entender uma situação complexa. Normalmente, não são utilizados
isoladamente, mas somados a outros métodos.
São muito úteis quando os casos em questão podem trazer muita
informação em uma pequena amostra da população e permita ao
pesquisador ou analista compreender melhor o tema.

Pesquisa

Serve tanto para que possamos obter dados qualitativos e


quantitativos. Normalmente, é utilizada em conjunto com outros métodos,
como o estudo de caso para contrabalancear o aspecto qualitativo deste
último.
A pesquisa pode ser por amostragem ou ser censitária (quando
aborda todos os elementos de uma população). Normalmente, são
utilizadas técnicas estatísticas para fazer a pesquisa.

24
(Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 24 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Pesquisa Experimental, Quase Experimental e Não Experimental

A pesquisa experimental tem o objetivo de compreender melhor a


relação de causa e efeito de um programa. Assim, são escolhidos dois
grupos: um que receberá o estímulo do programa e outro que não receberá
(o grupo de controle).
Os grupos devem ser escolhidos de forma aleatória, de modo que o
avaliador não consiga influir na escolha e possa “contaminar” a pesquisa.
Naturalmente, se forem observadas diferenças entre os resultados
dos grupos, poderemos inferir que isto foi causado pela política ou
programa governamental.
Entretanto, nem sempre conseguimos efetuar uma pesquisa
experimental, por diversos motivos. Assim, poderemos escolher uma
pesquisa quase-experimental para esses casos mais difíceis.
Neste método, como não teremos como escolher os grupos de modo
randômico, tentaríamos escolher os grupos de modo que estes não tenham
muitas diferenças iniciais. Assim, teríamos como diferenciar o resultado dos
grupos como efeito da política.
Finalmente, uma pesquisa não-experimental ocorre quando não
conseguimos executar nem mesmo as pesquisas quase-experimentais.
Estas pesquisas não-experimentais não conseguem explicar tão bem se os
efeitos foram gerados ou não pelo programa, mas podem servir para
conhecer alguns aspectos do programa se utilizados em conjunto com
outros métodos.

Técnicas de Coleta dos Dados

As principais técnicas de coleta de dados são25: os questionários, as


entrevistas, a observação direta e a utilização de dados já existentes.

25
(Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 25 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Questionários

Os questionários são formulários com perguntas estruturadas e


padronizadas que têm o objetivo de comparar respostas, montar análises
estatísticas e gerar certas conclusões sobre uma situação específica 26.
Dentre os dados que podem ser coletados, temos: renda familiar,
comportamentos, opiniões, escolaridade, etc. A grande vantagem desta
técnica é a facilidade de disseminação, podendo ser enviada por correio,
pela internet, dentro outros meios.
Sua grande desvantagem é que a montagem das perguntas deve ser
feita por um profissional experiente e o rigor das informações nem sempre
é o ideal.

Entrevistas

Esse é o método mais intuitivo de se compreender. Basicamente,


trata-se de uma série de perguntas efetuadas por um entrevistador para
um entrevistado presente fisicamente (normalmente).
Estas perguntas podem ser feitas de modo individual (apenas o
entrevistador e o entrevistado) ou pode ser feita de modo coletivo (vários
entrevistados ou entrevistadores ao mesmo tempo).
Além disso, as perguntas podem já estar estruturadas (questões
fechadas estabelecidas anteriormente, em um ritmo fixo e ordenado), não
estruturada (questões abertas, em um “clima” mais descontraído – como
uma conversa informal) ou semiestruturadas (duas modalidades de
questões – abertas e fechadas)27.
A entrevista é uma maneira de o avaliador coletar dados não
facilmente evidenciados explicitamente ou ainda não claros. Como o
contato é direto, podemos perceber melhor as opiniões, o comportamento
dos atores, detalhes obscuros das operações, etc.
Além disso, é uma técnica interessante para utilizar em conjunto com
outras técnicas (é uma técnica custosa e que leva mais tempo), quando
devemos ter uma informação mais profunda sobre o problema analisado.

26
(Tribunal de Contas da União, 2010)
27
(Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 26 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Observação Direta

Como o próprio nome diz, a observação direta consiste da análise


presencial de um avaliador do problema ou programa governamental a ser
avaliado.
Assim sendo, o avaliador utilizará sua capacidade de ver, ouvir e
perceber para avaliar o funcionamento de algum aspecto a ser avaliado. De
acordo com Patton28, as principais vantagens da observação direta são:
“- permite ao observador compreender o contexto
no qual se desenvolvem as atividades;
- permite ao observador testemunhar os fatos, sem
depender de informações de terceiros;
- permite que um observador treinado perceba
aspectos que escapam aos participantes,
rotineiramente envolvidos com o programa;
- pode captar aspectos do programa sobre os quais
os participantes não desejam falar numa entrevista,
por ser um tema delicado ou embaraçoso;
- traz para a análise as percepções do próprio
observador, que, ao serem confrontadas com as
percepções dos entrevistados, fornecem uma visão
mais completa do programa estudado;
- permite que o observador forme impressões que
extrapolem o que é possível registrar, mesmo nas
mais detalhadas anotações de campo, e que podem
auxiliar na compreensão do programa e dos seus
participantes.”

Utilização de Dados Existentes

Algumas vezes, é interessante aproveitar dados já existentes no


processo de avaliação. Naturalmente, deve ser avaliado se estes dados são
confiáveis, se estão adequados ao objetivo da análise, se estão disponíveis
facilmente, se estão armazenados corretamente, dentro outros aspectos.

28
(Patton, 1987) apud (Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 27 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Deste modo, podemos utilizar dados coletados para outros fins de
modo que nos ajudem em outro processo de análise, poupando tempo e
esforço.

Método de Análise dos Dados

Após termos os dados coletados, teremos de analisa-los


corretamente. Para isso, existem diversos métodos. Os principais são29:

Tabulação de Frequências

Após coletarmos os dados dos questionários, por exemplo, devemos


tabular os dados. Ou seja, devemos checar a consistência e as relações
entre estes dados coletados (por exemplo, o custo dos remédios comprados
por prefeituras).
Através da tabulação (que normalmente é feita em programas de
computador), podemos testar hipóteses e fazer gráficos que facilitem a
visualização dos dados.

Análise Gráfica

Tendo os dados já sido coletados e tabulados, podemos montar


diversos tipos de gráficos (histogramas, gráfico de “pizza”, gráficos de
dispersão, dentre outros).
Estes gráficos revelam tendências e possibilitam uma melhor análise
de dados complexos e em grande número. Além disso, possibilitam ao
avaliador observar diferenças grandes entre os resultados esperados,
possíveis aspectos a serem observados de mais perto, dentre outras
análises.

Análise Qualitativa

Um dos métodos mais importantes é a análise qualitativa, que ocorre


através da experiência dos avaliadores em comparar diversos dados de

29
(Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 28 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
fontes diferentes. Através do contraste entre experiências anteriores e de
setores diferentes, é possível montar uma análise mais completa. De
acordo com Patton30, pode-se ainda adotar,
a) Análise de conteúdo: técnica de análise
sistemática de informação textual, organizada de
forma padronizada, que permite realizar inferência
sobre seu conteúdo. Pode ser usada para analisar
transcrições de entrevistas grupos focais e
documentos, como relatórios, descrição de política
pública. Recomenda-se usar software adequado em
caso de grande quantidade de material a ser
analisado.
b) Triangulação: uso de diferentes métodos de
pesquisa e/ou de coleta de dados para estudar a
mesma questão, com o objetivo de fortalecer as
conclusões finais, podendo assumir as formas a
seguir indicadas:
• coletar dados de diferentes fontes sobre a mesma
questão;
• empregar diferentes entrevistadores e
pesquisadores de campo para evitar vieses na
coleta de dados;
• usar múltiplos métodos de pesquisa para estudar
a mesma questão;
• usar teorias diferentes para interpretar os dados
coletados.
c) Interpretações alternativas: uma vez
formulada uma interpretação a partir das principais
relações identificadas na análise, devem-se buscar
interpretações alternativas; caso não sejam
encontradas evidências substantivas que
sustentem essas interpretações, reforça-se a
confiança na interpretação originalmente
formulada. Em uma auditoria operacional de
qualidade, os argumentos sustentados pela equipe
devem ser confrontados com os melhores contra-
argumentos possíveis (ISSAI 3000/4.5, 2004).
d) Caso negativo: relacionado ao item anterior,
trata-se de identificar as situações que não seguem
a interpretação principal ou corrente em razão de

30
(Patton, 1987) apud (Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 29 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
circunstâncias específicas e que, por isso mesmo,
funcionam como “exceções (casos negativos) que
confirmam a regra” e que ajudam a esclarecer os
limites e as características da interpretação
principal. ”

Análise Envoltória de Dados

A Análise Envoltória de Dados ou DEA (de Data Envelopment Analysis


em inglês) é um método de análise da eficiência relativa de unidades
comparáveis (países, empresas, órgãos públicos, etc.), de modo a buscar
uma melhora na performance das unidades. É um método matemático não
paramétrico de programação linear.
Uma unidade seria eficiente, de acordo com Charnes31, se nenhuma
outra unidade (dentro de um grupo homogêneo de unidades, ou seja,
comparando-se órgãos semelhantes) produz um maior output (produtos
e/ou serviços) com o mesmo input (insumos ou recursos).
Estas unidades foram denominadas pelo autor como unidades
tomadoras de decisão, ou decision making units (DMUs)32. De acordo com
Vilela33,
“Dentre as características dessa forma de
avaliação, merece destaque o fato de que as
medidas obtidas são comparativas, baseando-
se na identificação das melhores práticas
dentre a base de dados analisada; para cada
caso, podem ser decompostas em medidas de
ajuste em relação a valores de fronteira de
eficiência para cada variável de entrada e saída.
Essa informação é muito importante para
avaliadores e gestores, pois revela a consistência
do desempenho de unidades e do sistema como um
todo.”
Assim sendo, o método DEA tem como característica uma facilidade
na avaliação de unidades eficientes e ineficientes do sistema (como a
comparação de escolas públicas entre si, por exemplo).
Vamos ver como estes temas já foram cobrados?

31
(Charnes et al., 1978) apud (Vilela, Nagano, & Merlo, 2007)
32
(Vilela, Nagano, & Merlo, 2007)
33
(Vilela, Nagano, & Merlo, 2007)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 30 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
27 – (CESPE – TRT-10 – ANALISTA – 2013) As medidas objetivas,
tais como índices de produtividade, questionários de percepção e
indicadores referentes a resultados quantitativos, constituem as
principais métricas de avaliação de desempenho nas organizações,
pois eliminam a subjetividade.

Pegadinha! Não utilizamos somente medidas objetivas, mas também


subjetivas. A avaliação quantitativa deve ser utilizada em conjunto com a
avaliação qualitativa. Deste modo, nunca eliminamos totalmente a
subjetividade de um processo de avaliação. O gabarito é questão errada.

Indicadores Estratégicos
Tipos de indicadores.

O controle é um dos processos mais importantes no trabalho de um


administrador. Para que este controle possa ser feito, utilizamos diversos
tipos de indicadores de gestão.
Os indicadores são medidas que facilitam o trabalho de compreensão
do funcionamento e o do desempenho de uma atividade ou processo, de
um produto ou serviço da instituição. Para Graças Rua34:
“De uma maneira simplificada, os indicadores são
medidas que representam ou quantificam um
insumo, um resultado, uma característica ou o
desempenho de um processo, de um serviço, de um
produto ou da organização como um todo.”
Os indicadores são utilizados para que possamos planejar e controlar
o funcionamento de uma organização. Estes instrumentos nos ajudam no
alcance dos resultados e na melhoria dos processos das empresas e dos
órgãos públicos.

34
(Rua)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 31 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08
Indicadores de Desempenho

De acordo com muitos autores, o desempenho seria o somatório de


esforços e resultados 35 • Existem ind icadores para medir tanto os esforços
quanto os resultados . Segundo Rummler e Brache36,
"um indicador de desempenho é a quantificação de
quão bem um negócio (suas atividades e processos)
atinge uma meta específica."
Sem indicadores de desempenho, não conseguimos saber se uma
atividade está tendo sucesso e atingindo os resultados esperados. Sem esta
medição, não é possível o gerenciamento de uma instituição 37 •

Esforços Resultados Desempenho

Figura 5 • Desempenho

O Governo Federal descreve um modelo que apresenta como cada


indicador pode afetar a cadeia de valor ao cl iente. Este modelo engloba seis
dimensões do desempenho38 •
A cadeia de va lor seria "toda a ação ou processo necessário para
gerar ou entregar produtos ou serviços a um beneficiário 1139 •
Abaixo temos uma representação gráfica deste processo:

35 (Palvarini, 2010)
36 (Rum m ler e Brache) apud (Souza, Said, Kock, Malach ias, & Lapa, 2009)
37 (Souza, Sa id, Kock, Malachias, & Lapa, 2009)
38 (Palvarini, 2010)
39 (Bennett, 1976; Wholey, 1979) apud (Palvarini, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 32 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

Dimen sões
do R esultado
__~
___ ., . ,---
. --
......... __
.-. --------- ~----,...--....... ---- ----.. . . ---.. . . . _--.. . .-.. . .-.--.. . . .i
lns.u mos ÉtiGA
Produtos Impactos
(Inputs} Poder
(outputs} (outcomes}
Cultura
A9ões/,!l,.tividades
p

Economlcldad• .,J Exc.,lência ,)


Dimens õ es
de Esforço

Figura 6 • Fonte: (Martins e Marini) apud (Ministério do Planejamento, 2009)

De acordo com o programa GESPÚBLICA, as seis categorias


básicas de indicadores de desempenho são40 : eficiência, eficácia,
efetividade, economicidade, excelência e execução .
A eficiência está relacionada com a gestão correta dos recursos
disponíveis, como o tempo, as pessoas, os recursos materiais etc. Por
exemplo: uma campanha de construção de moradias é mais eficiente
quanto menor for o custo por casa .
Já a eficácia se relaciona com os objetivos imediatos de uma ação
governamental. É, basicamente, fazer o que deve ser feito, a coisa certa.
Se, por exemplo, na mesma campanha citada, a meta de construção seria
fazer 10.000 casas populares e este número foi alcançado, a campanha foi
eficaz.
Finalmente, a efetividade está ligada ao efeito ou impacto da ação
governamental. Por exemplo, se esta campanha reduzir os índices de
moradores de rua em uma cidade, a campanha foi efetiva.
Abaixo, teríamos os três indicadores de resultado:

40
(M inistério do Planejamento, 2009)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 33 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

Eficiência Eficácia Efetividade

• é a relação entre • é a quantidade e • São os impactos


os qualidade de gerados pelos
produtos/serviços produtos e produtos/serviços.
gerados (outputs) serviços entregues Est á vincu lada ao
com os insumos ao usuário grau de sati sfação
utilizados, (beneficiário direto ou ainda à
relacionando o que dos produtos e transformação
foi entregue e o serviços da produzida no
que foi consumido organização). contexto.
de recursos,
usualmente sob a
forma de custos ou
produtividade.

Figura 7 • Indicado res de Resultado

Já os indicadores de esforço são os seguintes: excelência, execução


e economicidade.
Os indicadores de execução buscam acompanhar a execução física
dos projetos e programas. Medem, por exemplo, quantos quilômetros de
estradas já foram construídos e relação ao projetado, dentre outros
aspectos.
Já os indicadores de excelência se referem ao nível de qualidade
requeridos pelos clientes e usuários dos bens e serviços. Sempre devemos
medir se os resu ltados de nossos programas estão dentro do desejado.
Podemos medir, por exemplo, o tempo que está sendo levado para
que um usuário tenha seu problema resolvido. Finalmente, os indicadores
de economicidade buscam monitorar o custo dos programas, o quanto
está sendo gasto.
Abaixo, podemos ver os três indicadores de esforço:

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 34 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

Execução Excelência Economicidade

• Se refere à realização • é a conformidade a • está alinhada ao


dos processos, critérios e padrões conceito de obtenção
projetos e planos de de e ao uso de recursos
ação conforme qualidade/excelência com o menor ônus
estabelecidos. para a rea lização dos possível, dentro dos
processos, atividades requisitos e da
e projetos quantidade exigidas

Figura 8 • Indicadores de Esforço

Abaixo, temos o diagrama insumo-produto41 , que indica estes


indicadores e onde eles são mais utilizados:
Efetivtdade

l
Compromisso
Economiddade


Insumos Acão/Producão
' . Produto
l
Resultados
obíetívos -+ recursos -+ ações -+ bens e servíços -+ objetivos
definidos alocados desenvolvidas providos atingidos

t Eficáda
f~~~~_E_fi_ci_ê n_c1_
·a~~__.t j
Figura 9 • Diagrama insumo-produto. Fonte: Manual de Auditoria Operacional do TCU.

Vamos ver como isto já foi cobrado?


28 - (CESPE - ANAC - ESPECIALISTA - 2012) Os indicadores de
desempenho organizacional são ferramentas utilizadas para o
diagnóstico da situação, o monitoramento da execução e a
avaliação de alcance de metas.

Beleza. Os indicadores de desempenho são mesmo utilizados para


aferir se a organização está executando suas ações e programas dentro do
esperado e, com isso, está atingindo suas metas. O gabarito é questão
certa.

29 - (CESPE - ANATEL - ANALISTA - 2012) O modelo do


GESPUBLICA pressupõe seis categorias básicas de indicadores de

41
(Tribunal de Contas da União, 2010)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 35 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
desempenho: eficiência, eficácia, efetividade, economicidade,
excelência e execução. Essas categorias são divididas em duas
dimensões: a de resultado e a de esforço.

Perfeito. A banca apresentou as dimensões apresentadas pelo


GESPÙBLICA. De acordo com o programa, a dimensão resultado inclui a
eficiência, a eficácia e a efetividade. Já a dimensão de esforço inclui a
economicidade, a excelência e a execução. O gabarito é questão certa.

Tipologia de Indicadores de Graças Rua

Uma classificação dos tipos de indicadores que é muito cobrado é o


de Maria das Graças Rua. De acordo com a professora, existem os seguintes
tipos de indicadores42:
a) Indicadores Estratégicos
b) Indicadores de Processo:
• Indicadores de Produtividade (eficiência)
• Indicadores de Qualidade (eficácia)
• Indicadores de Efetividade (impacto)
• Indicadores de Capacidade
c) Indicadores de Projetos
Para Graças Rua, os indicadores estratégicos seriam relacionados
aos objetivos estratégicos descritos no planejamento estratégico da
instituição. Assim, eles informam o “quanto” a organização se encontra na
consecução da sua visão de futuro.
Os indicadores de projeto seriam relacionados com a aferição de
como o projeto, um esforço temporário e que visa gerar um produto
exclusivo (único), está sendo desenvolvido. Ou seja, são criados para
acompanhar o desempenho da execução dos projetos.
Já os indicadores de processos seriam a representação objetiva de
características do processo que devem ser acompanhadas ao longo do
tempo para avaliar e melhorar o seu desempenho. Eles mediriam a
eficiência e a eficácia dos processos.

42
(Rua)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 36 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Dentre estes indicadores de processos, Graças Rua trabalha os
seguintes: os indicadores da qualidade, os indicadores de produtividade e
os indicadores de capacidade.
De acordo com ela, os indicadores de qualidade medem como o
produto ou serviço é percebido pelo cliente e a capacidade do processo em
atender os requisitos dos clientes. Podem ser aplicados para a organização
como um todo, para um processo ou para uma área. Devem ser baseados
em pesquisa de opinião.
Ela dividiu os indicadores da qualidade em dois tipos: Indicadores da
Não-Qualidade e Indicadores da Qualidade.
Já os indicadores de produtividade seriam ligados à eficiência, e
estariam dentro dos processos e tratariam da utilização dos recursos para
a geração de produtos e serviços.
Para Rua, os indicadores de produtividade são muito importantes,
uma vez que permitem uma avaliação precisa do esforço empregado para
gerar os produtos e serviços. Além disso, devem andar lado a lado com os
de Qualidade, formando, assim, o equilíbrio necessário ao desempenho
global da organização43.
Esses indicadores irão mostrar, portanto, a eficiência da organização
em gerir seus recursos (tempo, dinheiro, profissionais, etc.). Medem a
relação entre os insumos utilizados e os produtos finalizados.
Finalmente, os indicadores da capacidade medem a capacidade de
resposta de um processo por meio da relação entre as saídas produzidas
por unidade de tempo.
O que isso quer dizer? Que estes indicadores mostram o quanto
aquele processo consegue produzir em termos absolutos (por exemplo: a
produção da fábrica X é de 1500 carros por dia).

Público-alvo

Toda, ou quase toda, ação governamental tem como objetivo atingir


um grupo de pessoas. Quando o governo está lançando um programa de
combate aos efeitos da seca no Nordeste, tem em mente ajudar aos
moradores dos municípios atingidos.
Assim, se o programa buscar melhorar o nível educacional de crianças
frequentadoras de escolas públicas com idade entre 7 e 12 anos, este é o
público-alvo do programa.

43
(Rua)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 37 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Naturalmente, a definição do público-alvo é importante tanto no
processo de planejamento quanto no de controle das ações
governamentais.
Uma avaliação deve buscar medir como os beneficiários diretos (o
público-alvo) foram atendidos, bem como avaliar o efeito nos beneficiários
indiretos (aqueles que, apesar de não pertencerem ao público-alvo, foram
impactados positivamente).
Um exemplo de beneficiário indireto do programa Bolsa Família,
por exemplo, seriam os donos de supermercados em cidades do interior do
Nordeste. Como estas cidades contêm muitos beneficiários diretos do
programa, as receitas desses empreendimentos acabaram sendo
aumentadas, pois seus clientes passaram a receber uma renda maior.
Outro aspecto a ser analisado é o da cobertura do programa. Nem
sempre a política pública ou o programa governamental tem como objetivo,
ou consegue, atender a 100% do público-alvo (seja por limitações
financeiras, logísticas, etc.).
Assim, a cobertura refere-se ao percentual do público-alvo
efetivamente atendido pelo programa.

Variáveis dos Indicadores

De acordo com a definição do Tribunal de Contas da União44, os


indicadores de desempenho podem ser compostos pelas seguintes
variáveis:

 Custo – quanto está custando a ação? Qual é o custo unitário? Qual


o custo global?
 Tempo – O programa ou ação está dentro do prazo estimado? Cada
tarefa está sendo executada em quanto tempo?
 Quantidade – A produção total atingiu os números esperados? A
demanda dos usuários está sendo atendida?
 Qualidade – Os clientes estão satisfeitos? Os requisitos de qualidade
estão sendo observados?

44
(Tribunal de Contas da União, 2000)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 38 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

......

Custo: Tempo:
- custo unitário - prazos estabelecidos
- custo total programado - tempo por tarefa

Qualidade: Quantidade:
- satisfação do cliente - produção tot al
- padrões de qualidade - demanda atendida

Figura 10 - Adaptado de: {Tribuna l de Contas da União, 2000)

Vamos ver como isto já foi cobrado?


30 - (CESPE - TCU - ACE - 2013) Custo, tempo, quantidade e
qualidade são variáveis empregadas na construção de indicadores
de desempenho.

Perfeito. Vejam que a banca trouxe neste enunciado exatamente as


variávei s mencionadas no documento do TCU. O gabarito é questão certa.

Qualidade dos Indicadores

De acordo com o TCU 45 , os principais atributos ou qua lidades de um


indicador devem ser:

45
(Tribunal de Contas da União, 2009)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 39 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
 Confiabilidade: a fonte de dados utilizada pelo indicador deve
ser confiável, fidedigna;
 Adaptabilidade: capacidade de resposta às mudanças de
comportamento e exigências dos clientes. Os indicadores
podem tornar-se desnecessários ao longo do tempo e devem
ser eliminados ou substituídos por outros de maior utilidade;
 Atualização periódica: o indicador deve permitir atualização
de forma a representar a situação mais atual possível;
 Representatividade: deve expressar bem a realidade que
representa ou mede;
 Disponibilidade: facilidade de acesso para coleta, estando
disponível a tempo, para as pessoas certas sem distorções,
servindo de base para que decisões sejam tomadas;
 Simplicidade: o indicador deve ser de fácil entendimento,
qualquer pessoa deve ser capaz de tirar conclusões a partir da
análise do indicador;
 Acessibilidade: o indicador deve apresentar facilidade e
possibilidade de acesso às informações primárias para sua
medição;
 Economicidade: o indicador deve mostrar-se
economicamente viável, não deve ser gasto tempo demais
procurando dados, muito menos pesquisando ou aguardando
novos métodos de coleta;
 Estabilidade: o indicador deve permanecer estável ao longo
de um determinado período, permitindo a formação de uma
série histórica;
 Rastreabilidade: facilidade de identificação da origem dos
dados, seu registro e manutenção;
 Praticidade: o indicador deve realmente funcionar na prática
e permitir a tomada de decisões gerenciais.
Vamos ver algumas questões sobre estes conceitos?
31 – (CESPE - IBAMA – ANALISTA – 2013) Em administração,
eficiência é a comparação entre o que se pretendia fazer e o que
efetivamente foi feito, ou seja, quanto mais alto for o grau de
realização dos objetivos, mais eficiente será a organização, ao
passo que eficácia é a relação entre os resultados alcançados e os
recursos que foram empregados, ou seja, quanto mais alto for o
grau de produtividade ou economia na utilização dos recursos, mais
eficaz será considerada a organização.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 40 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
A banca claramente trocou os conceitos de eficácia e eficiência. É
exatamente o contrário do que está descrito. É a eficiência que está
relacionada com “a relação entre os resultados alcançados e os recursos
que foram empregados”.
Por outro lado, é a eficácia que está ligada “a comparação entre o
que se pretendia fazer e o que efetivamente foi feito”. O gabarito é questão
errada.

32 – (CESPE – TCU – ACE – 2013) O uso de indicadores de


desempenho permite realizar mensuração direta dos resultados e
gerir o desempenho, o que contribui para a melhoria contínua dos
processos organizacionais.

Esta é uma questão polêmica. A banca considerou a frase como


incorreta, mas esse tema não é “pacífico” na doutrina. A questão foi
retirada de um manual do TCU, que diz:
“Indicadores de desempenho são utilizados
quando não é possível efetuar tais
mensurações de forma direta. São uma
alternativa para a medição do desempenho,
embora não forneçam uma mensuração direta dos
resultados. Exemplo: a utilização do índice de
repetência na 1a série do 1o grau, como um dos
fatores a serem considerados na formação de um
indicador de desempenho para medir a efetividade
do ensino de 1º grau.
O que se deseja ressaltar com essa diferenciação é
que os indicadores de desempenho podem fornecer
uma boa visão acerca do resultado que se deseja
medir, mas são apenas aproximações do que
realmente está ocorrendo, necessitando,
sempre, de interpretação no contexto em que estão
inseridos”.
A própria Maria das Graças Rua considera que os indicadores podem
ser diretos ou indiretos. Muitos candidatos entraram com recursos, mas a
banca não mudou seu entendimento. O gabarito ficou mesmo questão
certa.

33 – (CESPE – SERPRO – ANALISTA – 2013) Na avaliação de


programas e projetos, examinam-se o atendimento aos objetivos
de cada uma das políticas e projetos e a consecução dos objetivos
e finalidades da instituição.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 41 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Perfeito. A avaliação dos programas e projetos governamentais é


efetuada através dos resultados observados nos seus indicadores e no
alcance das metas dos mesmos.
Naturalmente, os indicadores e objetivos devem estar alinhados com
o planejamento estratégico do ente, bem como sua missão e sua finalidade
junto à população. O gabarito é mesmo questão certa.

34 – (CESPE – SERPRO – ANALISTA – 2013) O indicador de


satisfação que acompanha o funcionamento de um sistema de
tecnologia da informação desenvolvido pelo SERPRO deve ser
modificado mensalmente, de forma a acompanhar as dinâmicas de
funcionamento dos processos em cada caso concreto.

Os indicadores não podem ou devem ser alterados todos os meses,


pois não teríamos como comparar a evolução dos aspectos que queremos
controlar. Imagine, por exemplo, um índice de inflação que altere
mensalmente seu modo de cálculo. Não teríamos como comparar a inflação
de um mês com a inflação do outro mês, pois a metodologia seria distinta.
O mesmo ocorre com os demais indicadores. Estes devem ter uma
consistência mínima para facilitar a análise. Entretanto, eles também não
devem ser “imutáveis”. Sempre que a realidade for alterada, o indicador
deve ser adaptado para a nova realidade. O gabarito é questão errada.

35 – (CESPE – SERPRO – ANALISTA – 2013) Para uma organização


que vise à produção comercial de softwares computacionais, os
níveis de satisfação dos seus clientes com respeito à
implementação desses softwares computacionais são considerados
indicadores de eficiência.

Os indicadores de eficiência medem a relação entre os recursos


utilizados e os produtos “entregues” pela organização. Buscam medir,
assim, se a gestão destes recursos da empresa foi bem feita. Um indicador
de eficiência desta empresa poderia ser o custo por atendimento, por
exemplo.
Já um indicador que mensure o nível de satisfação está relacionado
com a efetividade da empresa. O gabarito é questão errada.

36 – (CESPE – SERPRO – ANALISTA – 2013) Em projetos e


programas do governo, o objetivo da avaliação é maximizar a

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 42 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
eficácia dos programas e a eficiência na alocação de recursos
utilizados para sua consecução.

A frase está correta. A avaliação de programas de governo


normalmente está centrada na eficiência (utilização dos recursos
disponíveis da melhor forma possível) e na eficácia (atingimento dos
resultados propostos, como a construção de 200 casas, por exemplo).
De acordo com Cunha46,
“Recentemente o Governo Federal brasileiro tem
realizado a avaliação sistemática de seus
programas. Esta avaliação tem ênfase na eficácia e
eficiência dos programas expressos nos Planos
Plurianuais.”
Cabe ressaltar que existe um movimento mais recente que busca
também avaliar o impacto dos programas e políticas na sociedade
(efetividade). Entretanto, esta avaliação é bem mais complexa e poucos
órgãos conseguem realizá-la. O gabarito é questão correta.

37 - (CESPE – SEGER ES / EPPGG – 2007) Considerando-se que,


conforme critérios correntes de avaliação, a escola pública no Brasil
venha formando grande quantidade de alunos, mas que a qualidade
do ensino seja baixa, pois as pessoas não saem capacitadas para
enfrentar os desafios do mercado de trabalho e as dificuldades de
inserção social, é correto concluir que o sistema de ensino tem
efetividade, mas não é eficaz.

Questão interessante esta do Cespe. Temos de interpretar as


afirmações e analisar o caso específico citado pela banca. Se, de acordo
com o Cespe, a escola pública está formando grande quantidade de alunos,
ela tem eficácia. Ou seja, atinge os objetivos de incluir o máximo de alunos
em sua rede.
Entretanto, este ensino não está conseguindo melhorar a realidade
social que deveria ser modificada. Os alunos saem formados, mas não
aprenderam os conhecimentos e as habilidades necessários para o mercado
de trabalho. Portanto, a escola não teve efetividade.
Assim sendo, a questão inverteu os conceitos. O sistema de ensino é
eficaz, mas não é efetivo. O gabarito é questão incorreta.

46
(Cunha, Giane - 2005)

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 43 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Lista de Questões Trabalhadas na Aula.

1 – (CESPE – TCU – ACE – 2013) A avaliação de uma política pública


compreende a definição de critérios, indicadores e padrões.

2 – (CESPE – MPU – TÉCNICO – 2013) O controle consiste em ferramenta


administrativa para a reunião e a coordenação dos recursos humanos,
financeiros, físicos, de informação e outros necessários ao atendimento dos
objetivos organizacionais estabelecidos.

3 – (CESPE – TRT-10 – ANALISTA – 2013) Para assegurar maior controle


sobre as operações da instituição, é essencial concentrar esforços para
desconstruir os grupos informais presentes em sua estrutura.

4 - (CESPE – TJ-AC – ANALISTA – 2012) Os tipos de controle são o


preliminar, que ocorre antes das operações iniciarem; o simultâneo, que
ocorre enquanto os planos estão sendo implementados; e o
de feedback, que enfoca o uso da informação sobre os resultados, no intuito
de corrigir desvios em relação aos parâmetros aceitáveis.

5 - (CESPE – ABIN / OFICIAL TÉCNICO – 2010) O êxito de uma organização


depende, em grande parte, do poder de controle exercido sobre os seus
colaboradores. Como a maioria deles interioriza suas obrigações e cumpre
voluntariamente seus compromissos, o controle é facilmente mantido nas
organizações em geral.

6 - (CESPE – ABIN / OFICIAL TÉCNICO – 2010) Uma das finalidades do


processo de controle é gerar elementos para dar retorno aos integrantes
da equipe. Esse retorno pode ser considerado o processo de avaliar,
informar ou corrigir o desempenho humano.

7 - (CESPE – FINEP / ADM. DE MATERIAIS – 2009) O administrador que


monitora o desempenho exerce a função administrativa de planejamento.

8 - (CESPE – MS/ADMINISTRADOR – 2010) A organização não


governamental (ONG) Viver com Saúde possui programas de incentivo à
prática desportiva, de monitoramento da saúde bucal, de divulgação sobre
a prevenção de doenças sexualmente transmissíveis, entre outros. A
referida ONG atua exclusivamente no Distrito Federal (DF), mas pretende
ampliar sua área de atuação para o estado de Goiás em face da realidade

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 44 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
precária dos fornecedores de serviços de saúde das pequenas cidades do
entorno do DF. Tal ampliação implicará um aumento de 70% nos custos da
organização. Para tanto, a ONG terá de tomar decisões acerca do seu
processo organizacional.
A partir da situação hipotética acima, julgue o item a seguir com relação
ao processo organizacional.

Considere a seguinte situação hipotética. A ONG Viver com Saúde está


divulgando na mídia do DF e de Goiás uma nova campanha alertando a
população para a importância do aleitamento materno. Para gerir os
resultados alcançados, decidiu-se analisar a quantidade média de doações
para os bancos de leite antes e após a divulgação da campanha. Nessa
situação, a análise comparativa é ação inerente ao processo de
planejamento da organização.

9 – (CESPE – SERPRO – ANALISTA – 2013) A multiplicidade de atores


facilita o processo de avaliação, visto que um estudo de avaliação implica
proporcionar informação suficiente para emitir pareceres.

10 – (CESPE – SERPRO – ANALISTA – 2013) A avaliação, por ser um


conjunto de procedimentos para o acompanhamento das ações
governamentais, não deve ser formulada com base em critérios de valor
ou julgamento.

11 - (CESPE – PREF. VITÓRIA / ASSISTENTE – 2007) Na elaboração de um


projeto com base no método ZOOP (planejamento de projeto orientado por
objetivos), o assistente social deve, sistematicamente, listar com os
dirigentes da instituição todos os aspectos e fatores que fazem parte da
situação-problema, em vez de identificar os principais problemas existentes
e analisar suas relações causais juntamente com os demais envolvidos.

12 - (CESPE – PREF. VITÓRIA / ASSISTENTE – 2007) Pressupostos ou


condicionantes são fatores internos importantes para o alcance dos
objetivos estabelecidos, cujo controle é de responsabilidade dos gerentes
do projeto, e sua identificação representa um desafio para a equipe de
planejamento.

13 – (CESPE – SERPRO – ANALISTA – 2013) A atividade de avaliação é


uma atividade isolada e autossuficiente, que orienta as decisões quanto à
continuidade, necessidade de correções ou, ainda, suspensão de uma
determinada política ou programa.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 45 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

14 – (CESPE – SERPRO – ANALISTA – 2013) Na avaliação, as dimensões


relevantes de um programa devem ser comparadas antes e depois da
intervenção, a fim de se comprovar a efetivação das mudanças esperadas.

15 - (CESPE – ANAC – ESPECIALISTA - 2012) Os indicadores de


desempenho podem ser desenvolvidos e medidos exclusivamente por meio
de informações quantitativas ou qualitativas, em virtude de as informações
mistas reduzirem a especificidade desses indicadores.

16 - (CESPE – IPAJAM / ASSISTENTE SOCIAL - 2010) A avaliação ex-ante


não permite a análise custo-benefício, e a ex-post não distingue projetos
concluídos de projetos em andamento.

17 - (CESPE – MS / GESTÃO - 2008) A análise de custo-benefício difere da


análise de custo-efetividade em sua aplicação, uma vez que a primeira é
utilizada quando os resultados são dificilmente monetizáveis e a segunda
destina-se a valorizar tanto os custos como os resultados em termos
monetários.

18 - (CESPE – CEF / ENGENHEIRO – 2006) O controle tem caráter de


acompanhamento e uma visão punitiva para erros cometidos no processo
administrativo.

19 - (CESPE – SERPRO / GESTÃO EMPRESARIAL – 2008) O controle


preliminar ou prévio é o controle que tem como foco o desempenho durante
a execução dos processos.

20 - (CESPE - SGA-AC / GESTOR - 2006) Na avaliação de uma política


pública não se pode utilizar métodos qualitativos, uma vez que eles não
permitem a mensuração de impactos.

21 - (CESPE – TJPA / ANALISTA - 2006) A avaliação de resultados, de


natureza ex-ante, visa aferir a efetividade do programa ou projeto avaliado.

22 - (CESPE – POLÍCIA FEDERAL / ASSISTENTE - 2004) Na avaliação de


políticas e programas sociais, a partir da década passada, procurou-se
superar o uso de métodos econométricos, originários de estudos
econômicos.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 46 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

23 - (CESPE – POLÍCIA FEDERAL / ASSISTENTE - 2004) A avaliação de


políticas e programas sociais preocupa-se com modelos alternativos que
superem o uso de enfoques puramente quantitativos, baseados na
mensuração de objetivos previamente definidos. Essa avaliação não
considera a complexidade da questão social.

24 - (CESPE – POLÍCIA FEDERAL / ASSISTENTE - 2004) Como a realidade


social é um sistema complexo, que exige o controle de todas as variáveis
possíveis, cada efeito (impacto) decorre exatamente da implementação de
um determinado programa.

25 - (CESPE - AUGE-MG / AUDITOR - 2008) A avaliação ex-ante busca


aferir os eventos já ocorridos e tomar decisões baseadas nestas
informações, enquanto a avaliação ex-post visa orientar o planejamento do
programa ou projeto objeto da avaliação, de forma a antecipar restrições e
respectivas providências a serem tomadas.

26 - (CESPE - SGA-AC / GESTOR - 2006) A avaliação ex ante é um tipo de


avaliação de implementação, utilizado para aferir o grau de satisfação dos
usuários da política pública.

27 – (CESPE – TRT-10 – ANALISTA – 2013) As medidas objetivas, tais como


índices de produtividade, questionários de percepção e indicadores
referentes a resultados quantitativos, constituem as principais métricas de
avaliação de desempenho nas organizações, pois eliminam a subjetividade.

28 - (CESPE – ANAC – ESPECIALISTA - 2012) Os indicadores de


desempenho organizacional são ferramentas utilizadas para o diagnóstico
da situação, o monitoramento da execução e a avaliação de alcance de
metas.

29 - (CESPE – ANATEL – ANALISTA - 2012) O modelo do GESPUBLICA


pressupõe seis categorias básicas de indicadores de desempenho:
eficiência, eficácia, efetividade, economicidade, excelência e execução.
Essas categorias são divididas em duas dimensões: a de resultado e a de
esforço.

30 – (CESPE – TCU – ACE – 2013) Custo, tempo, quantidade e qualidade


são variáveis empregadas na construção de indicadores de desempenho.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 47 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

31 – (CESPE - IBAMA – ANALISTA – 2013) Em administração, eficiência é


a comparação entre o que se pretendia fazer e o que efetivamente foi feito,
ou seja, quanto mais alto for o grau de realização dos objetivos, mais
eficiente será a organização, ao passo que eficácia é a relação entre os
resultados alcançados e os recursos que foram empregados, ou seja,
quanto mais alto for o grau de produtividade ou economia na utilização dos
recursos, mais eficaz será considerada a organização.

32 – (CESPE – TCU – ACE – 2013) O uso de indicadores de desempenho


permite realizar mensuração direta dos resultados e gerir o desempenho,
o que contribui para a melhoria contínua dos processos organizacionais.

33 – (CESPE – SERPRO – ANALISTA – 2013) Na avaliação de programas e


projetos, examinam-se o atendimento aos objetivos de cada uma das
políticas e projetos e a consecução dos objetivos e finalidades da
instituição.

35 – (CESPE – SERPRO – ANALISTA – 2013) Para uma organização que


vise à produção comercial de softwares computacionais, os níveis de
satisfação dos seus clientes com respeito à implementação desses
softwares computacionais são considerados indicadores de eficiência.

36 – (CESPE – SERPRO – ANALISTA – 2013) Em projetos e programas do


governo, o objetivo da avaliação é maximizar a eficácia dos programas e a
eficiência na alocação de recursos utilizados para sua consecução.

37 - (CESPE – SEGER ES / EPPGG – 2007) Considerando-se que, conforme


critérios correntes de avaliação, a escola pública no Brasil venha formando
grande quantidade de alunos, mas que a qualidade do ensino seja baixa,
pois as pessoas não saem capacitadas para enfrentar os desafios do
mercado de trabalho e as dificuldades de inserção social, é correto concluir
que o sistema de ensino tem efetividade, mas não é eficaz.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 48 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08

Gabaritos.
1. C 14. C 27. E
2. E 15. E 28. C
3. E 16. E 29. C
4. C 17. E 30. C
5. E 18. E 31. E
6. C 19. E 32. C
7. E 20. E 33. C
8. E 21. E 34. E
9. E 22. C 35. E
10. E 23. C 36. C
11. E 24. E 37. E
12. E 25. E
13. E 26. E

Bibliografia
Aguilar, M., & Ander-Egg, E. (1994). Avaliação de serviços e programas
sociais. Petrópolis: Vozes.
Cohen, E., & Franco, R. (1993). Avaliação de projetos sociais. Petrópolis:
Vozes.
Daft, R. L. (2005). Management. Mason: Thomson.
Maximiniano, A. C. (1995). Introdução à Administração (4° ed.). São Paulo:
Atlas.
Ministério do Planejamento, O. e. (2009). Guia Referencial para medição
de desempenho e manual para construção de indicadores. Brasília.
Oliveira, C. R. (2006). Um estudo sobre a medição de desempenho
organizacional nas concessionárias de veículos automotores
localizadas na região metropolitana do Recife. Dissertação
(mestrado)— Universidade de Brasília. Recife: UNB.
Palvarini, B. (2010). Guia Referencial de Mensuração do Desempenho na
Administração Pública . III Congresso Consad de Gestão Pública.
Brasilia.
Pfeiffer, P. (2007). O Quadro Lógico: um método para planejar e gerenciar
mudanças. In: J. Giacomoni, & J. L. Pagnussat, Planejamento e

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 49 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó – Aula 08
Orçamento Governamental - Coletânea V.1 (pp. 145-190). Brasília:
ENAP.
Porto, A., & Estrada, R. J. (2004). O uso de indicadores de desempenho
como suporte à gestão estratégica de uma indústria moveleira – Um
estudo de caso. XXIV Encontro Nac. de Eng. de Produção.
Florianópolis.
Rennó, R. (2013). Administração Geral para Concursos. Rio de Janeiro:
Campus Elsevier.
Rua, M. d. (s.d.). Desmistificando o problema: uma rápida introdução ao
estudo dos indicadores. Acesso em 02 de Abril de 2011, disponível
em http://www.enap.gov.br/downloads/ec43ea4fUFAM-
MariadasGraEstudoIndicadores-novo.pdf
Serapioni, M. (2000). Métodos qualitativos e quantitativos na pesquisa
social em saúde: algumas estratégias para a integração. Ciência &
Saúde Coletiva, V.5(N. 1), 187-192.
Sobral, F., & Peci, A. (2008). Administração: teoria e prática no contexto
brasileiro. São Paulo: Pearson Prentice Hall.
Souza, D. L., Said, M. L., Kock, M. B., Malachias, R. A., & Lapa, L. R. (2009).
Indicadores de Desempenho. Tribunal de Contas da União. Brasília.
Tribunal de Contas da União. (2010). Manual de auditoria operacional (3°
ed.). Brasilia: Secretaria de Fiscalização e Avaliação de Programas de
Governo.
Tribunal de Contas da União, S. d. (2009). Indicadores de Desempenho.
Brasília: TCU.
Vilela, D., Nagano, M., & Merlo, E. (2007). Aplicaç o da Análise Envoltória
de Dados em Cooperativas de Crédito Rural. Revista de
Administração Contemporânea(2° Edição Especial), 99-120.

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 50 de 51
Administração Pública p/ TCU - 2015
Teoria e exercícios comentados
Prof. Rodrigo Rennó - Aula 08

Por hoje é só pessoa l! Estarei disponível no e-mail abaixo para qualquer


dúvida.
Bons estudos e sucesso !

Rodrigo Rennó
rodrigorenno@estrategiaconcursos.com.br
http://www.facebook.com/rodrigorenno99
http://twitter.com/rren no99

Conheça meus outros cursos atualmente no site!

Acesse http://estrategiaconcursos.eom.br/cursos-professor/2800/rodriqo-renno

Prof. Rodrigo Rennó


www.estrategiaconcursos.com.br 51 de 51

Você também pode gostar