Você está na página 1de 39

CONHECIMENTOS

ESPECÍFICOS
Conceitos e Estratégia de Avaliações
em Saúde

Livro Eletrônico
 

CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Sumário
Apresentação......................................................................................................................................................................3
Conceitos e Estratégia de Avaliações em Saúde: Conceitos, Tipos Instrumentos e
Técnicas..................................................................................................................................................................................4
Avaliação em Saúde........................................................................................................................................................4
Conceitos de Avaliação.................................................................................................................................................4
Diferenças entre Avaliação e Monitoramento. ................................................................................................5
O que Podemos Avaliar?...............................................................................................................................................6
Tipos de Avaliação...........................................................................................................................................................6
Critérios de Avaliação.. ..................................................................................................................................................8
Abordagens, Técnicas e Instrumentos Aplicados na Avaliação........................................................ 10
Avaliação de Tecnologias, Programas ou Serviços de Saúde. ...............................................................11
Conceitos Fundamentais no Contexto da Avaliação..................................................................................12
Surgimento da Avaliação e do Monitoramento no Campo da Saúde.................................................14
Monitoramento e Avaliação de Indicadores de Saúde. .............................................................................15
Propriedades Essenciais dos Indicadores.......................................................................................................16
Metodologia para Monitorar e Avaliar Indicadores...................................................................................18
Avaliando Resultados..................................................................................................................................................19
Etapas da Avaliação dos Resultados da Iniciativa (Programa/Projeto/Política). ...................20
Conceitos de Efetividade, Eficiência e Eficácia nos Gastos em Saúde............................................21
Avaliação e Monitoramento na Legislação do SUS................................................................................... 22
Portaria n. 3.201, de 27 de Novembro de 2020............................................................................................ 22
Resumo................................................................................................................................................................................26
Exercícios............................................................................................................................................................................ 28
Gabarito................................................................................................................................................................................31
Gabarito Comentado....................................................................................................................................................32
Referências........................................................................................................................................................................38

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 2 de 39
 

CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Apresentação
Sou a professora Natale Souza, enfermeira, graduada pela Universidade Estadual de Feira
de Santana (UEFS) em 1999, pós-graduada em Saúde Coletiva pela Universidade Estadual de
Santa Cruz (UESC) em 2001, em Direito Sanitário pela Fundação Oswaldo Cruz (FIOCRUZ) em
2004 e mestre em Saúde Coletiva.
Atualmente sou funcionária pública da Prefeitura Municipal de Salvador e atuo como
Educadora/Pesquisadora pela FIOCRUZ no Projeto Caminhos do Cuidado e há 16 anos na
docência em cursos de pós-graduação e preparatórios de concursos, ministrando as discipli-
nas: Legislação do Sistema Único de Saúde (SUS), Políticas de Saúde, Programas de Saúde
Pública e Específicas de Enfermagem.
Autora dos livros: Legislação do SUS para concursos – pela editora Concursos Psicologia,
Legislação do SUS – comentada e esquematizada / Políticas de Saúde; Legislação do SUS
e Saúde Coletiva 500 questões pela editora Sanar. De capítulos nos seguintes livros: 1.000
Questões Comentadas de Enfermagem – editora Sanar; 1.000 Questões Residências em En-
fermagem – Editora Sanar e fase de finalização de mais três obras.
Iniciei a minha trajetória em concursos públicos desde que saí da graduação, tanto como
“concurseira” quanto como docente, sendo aprovada em 12 concursos e seleções públicas.
Apaixonei-me pela docência e hoje dedico o meu tempo ao estudo dos conhecimentos espe-
cíficos de enfermagem, da legislação específica do SUS e aos milhares de profissionais que
desejam ingressar em uma carreira pública.
Visando a melhoria contínua desta aula, solicitamos sempre que após a leitura deste
material, avalie-o.

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 3 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

CONCEITOS E ESTRATÉGIA DE AVALIAÇÕES EM SAÚDE:


CONCEITOS, TIPOS INSTRUMENTOS E TÉCNICAS

Avaliação em Saúde
De a acordo com a Universidade Federal do Maranhão (2016), atualmente é vasta a lite-
ratura na saúde que trata de monitoramento e avaliação, mas ainda assim os conceitos são
muitas vezes utilizados de maneira equivocada.
Conforme o referencial acima, é comum, inclusive, que as secretarias de saúde tenham
áreas ou setores de monitoramento e avaliação. Porém, nem sempre as equipes e comunida-
des estão esclarecidas dos conceitos e processos que representam o que ali é desenvolvido,
e de que forma estão voltados para a melhoria da qualidade da atenção à saúde. Em geral,
ao se falar em monitoramento e avaliação, a concepção ainda é burocrática e de julgamento
focado em punição.
A atuação do gestor do SUS, nas três esferas de governo, consubstancia-se pelo exercício
das funções gestoras na saúde, cujas atribuições e subfunções compreendem:

As funções de monitoramento e avaliação são ferramentas fundamentais para melhor orien-


tar a tomada de decisão, o que possibilita o aprimoramento da qualidade da gestão em saúde.

Conceitos de Avaliação
Para Portela (2000) a Avaliação em Saúde produz informações quanto à adequação, aos
efeitos e custos associados ao uso de tecnologias, programas de saúde ou serviços de tec-
nologias. E, assim, pode subsidiar a tomada de decisão em relação às práticas ou serviços
de saúde e ao estabelecimento de políticas concernentes ao setor.
Segundo Tanaka (2001), avaliar é medir, comparar e emitir juízo de valor. A avaliação é
uma ação que, após um ciclo, possibilita aferir o resultado alcançado. O monitoramento é o
acompanhamento continuado de compromissos (objetivos, metas e ações), de modo a veri-
ficar se esses estão sendo executados conforme o programado. Esta ação deve ser rotineira,
pois possibilita a correção dos problemas identificados.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 4 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Contrandiopoulos et. al (2006) afirmam que a avaliação é uma atividade tão velha quanto
o mundo, banal e inerente ao próprio processo de aprendizagem. Hoje, ela é também um con-
ceito que está na moda, com contornos vagos e que agrupa realidades múltiplas e diversas.
Para os autores, a avaliação surge após a Segunda Guerra Mundial, sendo importante aliada
para que o Estado, substituindo o mercado na oferta de da educação, do social, do emprego e
da saúde, encontrasse meios para que a atribuição de recursos fosse a mais eficaz possível.
Conforme Brasil (2010), a avaliação é entendida como um processo que implica julgar,
emitir um julgamento de valor, tendo por base uma análise do que foi realizado (intervenção,
ação, serviço, procedimento etc.), ou uma análise do resultado obtido, sempre em comparação
com um referencial e um ideal a ser alcançado.
De acordo com a Universidade Federal do Maranhão (2016), a avaliação expande as me-
didas e a verificação do monitoramento para determinar valores e méritos de programas e
políticas. O monitoramento verifica e a avaliação amplia a compreensão sobre o avaliado.
Ambos se diferenciam pela complexidade das análises que realizam. A avaliação requer maior
rigor no uso de procedimentos metodológicos, na busca de evidências com credibilidade para
se fazer um julgamento da intervenção.
Para o CONASS (2016), a avaliação que se inscreve para além de um julgamento, considera
os sujeitos sociais envolvidos em uma determinada situação e seus interesses, assim como
o objeto avaliado: sua especificidade, particularidade, generalidade e seu grau de maturação
ou desenvolvimento. Avaliar, nesse sentido, é uma constante descoberta e deve compreen-
der um diálogo permanente entre os sujeitos envolvidos ou entre quem avalia (a equipe de
avaliação), o objeto da avaliação (o avaliado) e a realidade em que ambos se inscrevem (o
contexto). Essa perspectiva traz a necessidade de diversificar os instrumentos de avaliação.

Diferenças entre Avaliação e Monitoramento


De acordo com Macêdo (2015), há diferenças entre os conceitos de avaliação e monitoramento/
acompanhamento, pois, enquanto o monitoramento/acompanhamento é uma atividade gerencial
interna, realizada durante o período de execução e operação, a avaliação pode ser realizada antes,
durante a implementação ou mesmo algum tempo depois que o programa provocar todo o seu
impacto, e com a preocupação centrada no modo, medida e razão dos benefícios advindos.

PRINCIPAIS DIFERENÇAS ENTRE AVALIAÇÃO E MONITORAMENTO

AVALIAÇÃO MONITORAMENTO
Consiste fundamentalmente em emitir um juízo de valor
sobre uma intervenção, implementando um dispositivo
capaz de fornecer informações cientificamente válidas e
socialmente legítimas sobre a intervenção ou qualquer um
Compreende a coleta e análise regular dos dados e ampla
dos seus componentes. O objetivo é que os diferentes
disseminação aos que necessitem (WALDMAN, 1998).
atores envolvidos estejam aptos a se posicionarem sobre
a intervenção para que construam de forma individual
ou coletiva um julgamento e que possam traduzir em
ações (CHAMPAGNE et al., 2011).

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 5 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

PRINCIPAIS DIFERENÇAS ENTRE AVALIAÇÃO E MONITORAMENTO

AVALIAÇÃO MONITORAMENTO
É um processo sistemático de coleta de informações
sobre as atividades, as características e os efeitos de
um programa, respondendo a uma pergunta avaliativa. Consiste em acompanhar rotineiramente informações
Determina o mérito ou valor do programa e explica a prioritárias sobre programas e efeitos esperados; além
relação entre ele e seus efeitos, considerando os contextos dos custos e funcionamento.
(político, econômico, cultural, sociodemográfico,
organizacional, etc.).
É usado para melhorar e subsidiar decisões de forma
rápida e oportuna.
Em geral, busca responder perguntas como: Os achados
indicam possibilidade de alcançar produtos e resultados
planejados? Que estratégias/medidas devem ser adotadas
para sustentabilidade a achados promissores ou para
redirecionar atividades até a próxima verificação?

O que Podemos Avaliar?


Conforme Macêdo (2015), os objetos da avaliação em saúde são diversos, desde um
procedimento específico até um sistema de saúde, cada um com diferentes características,
objetivos e estratégias.
Ao avaliar uma ação específica de saúde, a característica técnica é prioritária, devendo
considerar o processo de execução da ação e se os padrões de excelência são obedecidos.
Além disso, a cobertura da ação e seu impacto sobre a saúde da população podem ser ava-
liados. Esses aspectos são contemplados por Donabedian (1980), que propôs a tríade estru-
tura-processo-resultado para avaliar procedimentos em saúde.
Para avaliar um sistema de saúde, que agrega vários serviços e programas, apenas a
abordagem técnica não é suficiente, devem ser incorporados aspectos políticos e econômi-
cos e todos os atores, incluindo usuários e trabalhadores que constituirão fonte primordial
de informações para a avaliação da relevância e da efetividade do sistema.
Exemplos de objetos de avaliação em saúde:
• SISTEMA DE SAÚDE - Aspectos econômicos, técnicos, sociais e culturais
• PROGRAMAS E SERVIÇOS - Recursos, meios, produtos, resultados
• PROCEDIMENTOS E AÇÕES - Estrutura, processo e resultado

Tipos de Avaliação
Há diferentes maneiras de realizar uma avaliação. Este julgamento pode ser resultado da
aplicação de critérios e normas (avaliação normativa) ou elaborado a partir de um procedi-
mento científico (pesquisa avaliativa) (CONTANDRIOPOULOS et al., 1997 apud UNASUS, 2016).
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 6 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Na década de 80, a avaliação na perspectiva da qualidade foi desenvolvida a partir dos


estudos de Avedis Donabedian, que desenvolveu um quadro conceitual embasado na abor-
dagem normativa da Administração Clássica, com enfoque na tríade eficiência-efetividade-
-eficácia para a definição de estratégias, critérios e padrões de avaliação da qualidade em
serviços de saúde.
Para UNASUS (2016), o modelo de Donabedian (1980) é o mais empregado para avaliação
em saúde e é orientado por três componentes de avaliação: estrutura, processo e resultado.

Segundo os avaliadores Cohen e Franco (2004) apud UNASUS (2016), há quatro tipos de avaliação.

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 7 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Avaliação Externa
• Realizada por pessoas de fora da instituição responsável pelo programa, em geral com
experiência neste tipo de atividade. Entre as vantagens, destacamos a isenção e objeti-
vidade dos avaliadores externos, que não estão diretamente implicados com o processo,
além da possibilidade de comparação dos resultados obtidos com os de outros progra-
mas similares já analisados. Por outro lado, o acesso aos dados necessários torna-se
mais difícil e as pessoas que terão seu trabalho avaliado podem se colocar em posição
defensiva, fornecendo informações parciais e minimizando o efeito de melhoria dos pro-
gramas. Alega-se, também, que o conhecimento da metodologia de avaliação pode não
substituir o conhecimento sobre as especificidades do programa, e que não existe uma
única metodologia aplicável a todos os casos.

Avaliação Interna
• Realizada dentro da instituição responsável, com maior colaboração das pessoas que
participam do programa. As vantagens são a eliminação da resistência natural a um
avaliador externo, a possibilidade de reflexão, a aprendizagem e a compreensão sobre
a atividade realizada dentro da instituição. Mas, pode-se perder muito em objetividade,
visto que as pessoas que julgam também estão envolvidas na formulação e execução
programa. Se a avaliação for realizada internamente à instituição, mas, por pessoas que
não participam do programa, na tentativa de diminuir a subjetividade, a situação torna-se
análoga à do avaliador externo.

Avaliação Mista
• Combina os tipos de avaliação anteriores, fazendo com que os avaliadores externos
tenham contato maior com os participantes do programa a ser avaliado, na tentativa de
manter as vantagens e superar as desvantagens das avaliações externa e interna.

Avaliação Participativa
• Pode ser usada principalmente para pequenos projetos, prevê a participação dos bene-
ficiários das ações no planejamento, na programação, na execução e na avaliação dos
mesmos (CUNHA, 2006).

Critérios de Avaliação
Segundo Serapioni, Lopes e Silva (2013) apud UNASUS (2016), da mesma forma que
existe uma variedade de desenhos avaliativos, também há diversos critérios para avaliação
destacando os seguintes:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 8 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

• Relevância
− É uma questão particularmente importante na avaliação, pois focaliza a estraté-
gia escolhida pelo programa e sua real capacidade de melhorar a situação que
originou a intervenção.
• Efetividade
− Com esse critério, pretende-se verificar o grau de alcance dos objetivos da intervenção,
em termos de realizações, resultados e impacto. A avaliação da efetividade responde
à seguinte pergunta: “seria possível obter maiores efeitos organizando diferentemente
a implementação do programa?”
• Eficiência
− Esse critério se preocupa com os resultados obtidos e recursos investidos (financeiros,
humanos e tempo). A avaliação da eficiência permite responder à seguinte pergunta:
“seria possível obter maiores efeitos com o mesmo orçamento?
• Acessibilidade
− É um critério que possibilita medir a relação entre as necessidades de saúde da co-
munidade e a oferta de recursos para satisfazê-las; também avalia a capacidade dos
serviços de garantir um cuidado de saúde apropriado a todos que necessitam.
• Aceitabilidade
− Este critério torna possível verificar o grau de congruência entre os serviços de saúde
ofertados, os valores e as expectativas dos usuários e da comunidade.
• Humanização
− É um tipo de avaliação que foi adquirindo muita importância no SUS nos últimos 10
anos. Possibilita a aferição do nível de respeito da cultura e das necessidades indi-
viduais e coletivas dos usuários, incluindo informações, nível de responsabilização e
continuidade de tratamento, bem como qualidade das relações clínicas e interpessoais.
• Qualidade
− Trata-se de um critério muito utilizado na avaliação de serviços. Adota uma perspectiva
multidimensional, envolvendo diversos atores como usuários, profissionais de saúde,
gestores e gerentes.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 9 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Abordagens, Técnicas e Instrumentos Aplicados na Avaliação


Sobre as possíveis abordagem para a avaliação em Saúde, Macêdo (2015) ao citar a UFSC
(2013), destaca que esta pode ser qualitativa, quantitativa ou ambas, dependendo do objeto
a ser avaliado. Ainda de acordo com a autora, existem diversas técnicas e instrumentos para
avaliação, todos comuns aos processos da pesquisa científica e do planejamento dos serviços.
Macêdo (2015), destaca que o primeiro elemento necessário para o desenvolvimento do
processo avaliativo é a tradução do fenômeno que vamos avaliar. Essa tradução é realizada
com os dados do fenômeno.

DICA
Os dados são valores, números, palavras, frases, que precisam
ser analisados para oferecerem informação.

Comparativo entre as 04 abordagens de avaliação em Saúde:

Métodos qualitativos Métodos quantitativos Métodos mistos


Permitir descrições detalhadas Permitir mensuração de Combinam-se métodos qualitativos
sobre como os atores do programa oportunidades perdidas ao longo dos e quantitativos em informações de
se relacionam entre si; diferentes processos do programa; alta qualidade;
Capturar as diferenças de Os dados são colhidos em diferentes
experiências e representações dos Medir o grau de implantação das fontes (triangulação) ou diferentes
gestores, profissionais e usuários atividades do programa; técnicas para caracterizar diferentes
sobre os programas; faces do fenômeno;
Auxiliam a verificar
Permitir de maneira mais flexível Permitir testar hipóteses explicativas
continuamente a confiabilidade,
captar os processos dinâmicos do para os diferentes graus de
a validade e a interpretação da
programa. implementação observados.
informação coletada.

Adaptado (FIOCRUZ, 2015)

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 10 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

De acordo com Macêdo (2015), as principais fontes de dados (local de onde saem os
dados) são os levantamentos contínuos, registrados na medida em que os fatos ocorrem.
Ainda de acordo com a autora, os registros civis dão origem a dois bancos de dados muito
utilizados em saúde:

Macêdo (2015), destaca que tais dados estão organizados em dois importantes Subsis-
temas de Informação em Saúde:

A cada atendimento, são feitas anotações nos prontuários, registrados procedimen-


tos ou internações, efetivados ou encaminhados para outros serviços. Da mesma forma,
a cada visita domiciliar os ACS preenchem fichas que irão alimentar o SISAB (E-SUS).
Esses dados são registrados por necessidade administrativa e do exercício da profissão
sempre que os fatos acontecem, e fornecem dados úteis para processos de avaliação
dos serviços.
Todas as informações necessárias para a avaliação em saúde estão organizadas em dife-
rentes Subsistemas de Informação: Sistema de Informações Ambulatoriais (SIA), Sistema de
Informações Hospitalares (SIH), Sistema de Informações de Agravos de Notificação (SINAN),
Sistema de Informação do Programa Nacional de Imunização (SI-PNI), entre outros (UFSC,
2013 apud MACÊDO, 2015).
Segundo Macêdo (2015), no âmbito da atenção básica, de forma mais recente, o Minis-
tério da Saúde vem reestruturando o Sistema de Informação da Atenção Básica (SIAB) com
a implementação da Estratégia e-SUS AB, que conta com dois sistemas de software para a
captação de dados, sendo eles: o sistema com Coleta de Dados Simplificada (CDS-AB) e o
sistema com Prontuário Eletrônico do Cidadão (PEC-AB).

Avaliação de Tecnologias, Programas ou Serviços de Saúde


De acordo com Portela (2000), a Avaliação em Saúde pressupõe:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 11 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Conceitos Fundamentais no Contexto da Avaliação


A Avaliação em Saúde envolve a seleção de critérios para julgar e comparar adequação,
benefícios, efeitos adversos e custos de tecnologias, serviços ou programas de saúde;
esses critérios constituem-se em indicadores de qualidade em saúde (DONABEDIAN,
1980b; REIS, 1995 apud PORTELA, 2000).
Em outras palavras, indicadores de qualidade em saúde correspondem a critérios para a
avaliação da qualidade da assistência à saúde a uma população, seja em termos de procedi-
mentos específicos ou de uma rede de serviços.
De acordo com Portela (2000), são exemplos de indicadores de qualidade em saúde:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 12 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Um conceito de grande importância na Avaliação em Saúde é o de padrão. Ele refere-se a um


valor especificado para distinguir a qualidade de práticas, ou de serviços de saúde, em aceitável
ou não, à luz de um certo indicador (DONABEDIAN, 1980b; REIS, 1995 apud PORTELA, 2000).
Segundo Portela (2000), se o indicador é um critério e o padrão é um valor representativo
de qualidade para o indicador, os significados de ambos dependem de características do
problema e da população-alvo das práticas, ou dos serviços de saúde, sob avaliação; assim,
chega-se ao conceito de referente.
A definição do referente, em um processo de Avaliação em Saúde, garante a construção
de categorias homogêneas e replicáveis, com base nas quais tecnologias, ou serviços de
saúde, podem ser comparados, em locais e momentos diversos (DONABEDIAN, 1980b; REIS,
1995 apud PORTELA, 2000).
Os conceitos de indicador, padrão e referente são aplicados na avaliação dos três com-
ponentes, segundo Donabedian, da produção de serviços de saúde:

• Indicador
Indicadores são medidas-síntese que contêm informações relevantes sobre determinados
atributos e dimensões do estado de saúde, bem como do desempenho do sistema de saúde.
Vistos em conjunto, devem refletir a situação sanitária de uma população e servir para a
vigilância das condições de saúde. Se forem gerados regularmente e manejados em um sis-
tema dinâmico, os indicadores de saúde criam uma ferramenta fundamental para a gestão e
avaliação da situação de saúde, em todos os níveis, (RIO GRANDE DO SUL, 2007).

Além de prover matéria-prima essencial para a análise de saúde, a disponibilidade de um conjunto


básico de indicadores tende a facilitar o monitoramento de objetivos e metas em saúde, estimular
o fortalecimento da capacidade analítica das equipes de saúde e promover o desenvolvimento de
sistemas de informação de saúde intercomunicados (RIO GRANDE DO SUL, 2007).
• Monitoramento
O monitoramento é um processo sistemático e contínuo que, por meio da observação e
análise de informações substanciais e em tempo adequado, permite a rápida avaliação situa-
cional e a intervenção oportuna que confirme ou corrija as ações em saúde.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 13 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

• Avaliação

A avaliação é uma função da gestão destinada a auxiliar o processo de decisão, visando


torná-lo mais racional e efetivo. Na atual conjuntura, o alto custo da atenção à saúde, seja
por sua cobertura ou complexidade, tem exigido dos gestores decisões que beneficiem um
número maior de usuários e que consigam resultados mais equitativos com os mesmos re-
cursos disponíveis.
• Meta

As metas, neste contexto, são resultados numéricos onde se quer chegar. Cada indica-
dor deve ser acompanhado de uma meta, e do valor que se planeja alcançar com as ações/
programas de saúde.
• Parâmetro

Os parâmetros são valores numéricos encontrados na literatura e que traduzem a situação


ideal, o resultado ideal.

Surgimento da Avaliação e do Monitoramento no Campo da Saúde


No campo da saúde, a avaliação surge vinculada aos avanços da epidemiologia e da esta-
tística, a partir de testes de utilidade de diversas intervenções, particularmente direcionadas
ao controle das doenças infecciosas e ao desenvolvimento dos primeiros sistemas de infor-
mação que orientassem as políticas sanitárias nos países desenvolvidos (Estados Unidos,
Alemanha, Inglaterra, França, Grã-Bretanha, Suíça, entre outros).
No Brasil, a preocupação com a avaliação em saúde tem como marco a criação do SUS.
Desde então diversas iniciativas de institucionalização da avaliação vem sendo implementa-
das. Institucionalizar refere-se ao efeito de tornar institucional, incluir a avaliação na rotina
das instituições de modo que ela consiga influenciar os comportamentos (CRUZ; REIS, 2011;
FELISBERTO et al., 2008 apud UNIVERSIDADE FEDERAL DO MARANHÃO).
Segundo a Universidade Federal do Maranhão (2016), no ano 2000, um processo de
organização interna do Ministério da Saúde resultou na criação da Coordenação de Acom-
panhamento e Avaliação da Atenção Básica (CAA/DAB) vinculada ao Departamento de Aten-
ção Básica da Secretaria de Políticas de Saúde. Inicialmente denominada de Coordenação
de Investigação, a CAA/DAB nasceu com o propósito de formular e conduzir os processos
avaliativos relacionados a esse nível de atenção, compreendendo-se seu papel estratégico
para o redirecionamento da organização do sistema de saúde no país (BRASIL, 2005 apud
UNIVERSIDADE FEDERAL DO MARANHÃO, 2016).
Atualmente essa coordenação, assim como todo o Ministério da Saúde, prioriza a execução de
ações de monitoramento e avaliação de processos e resultados e de iniciativas que reconheçam
a qualidade dos serviços de saúde ofertados à sociedade brasileira, estimulando a ampliação do
acesso com qualidade, nos diversos contextos existentes no país (PORTAL DA SAÚDE, 2012).
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 14 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

De acordo com a Universidade Federal do Maranhão (2016), outras estratégias importan-


tes foram adotadas pelo Ministério da Saúde para fortalecer a avaliação em saúde, desde o
Programa Nacional de Avaliação dos Serviços de Saúde (PNASS) — reformulado em janeiro
de 2015 pela Portaria GM/MS n.. 28/2015, até sua estratégia mais recente, o Programa de
Melhoria do Acesso e da Qualidade na Atenção Básica (PMAQ) que, lançado em 2011, iniciou
no ano de 2015 o seu 3º ciclo, com a participação de todas as equipes de saúde da Atenção
Básica e suas vertentes.
A despeito da institucionalização da avaliação no SUS, ainda temos um processo incipiente.
A inserção da avaliação na rotina dos serviços somente se dará por meio da implantação de
uma cultura avaliativa. É necessário explicitar a perspectiva útil da avaliação, que possibilite
a inclusão/interferência dos diferentes grupos envolvidos (os prestadores, os profissionais,
os usuários, os gestores), potencializando e renovando a avaliação no cotidiano (FELISBERTO
et al., 2010 apud UNIVERSIDADE FEDERAL DO MARANHÃO, 2016).

Monitoramento e Avaliação de Indicadores de Saúde


Para um processo de gestão eficiente, é fundamental acompanhar e avaliar periodica-
mente objetivos, metas, ações, programas etc., e os resultados alcançados até o momento.
Entretanto, na gestão voltada para a qualidade, isso não basta. Faz-se necessário saber como
fazer, quanto fazer, quando fazer, com o que fazer e fazer acontecer.
Considerando a importância, magnitude e custos das ações de saúde para o país, são
fundamentais a construção e a ampla utilização de medidas de desempenho que expressem
o grau de alcance das metas e objetivos estabelecidos. Assim, os indicadores de saúde foram
desenvolvidos para facilitar a quantificação e a avaliação das informações produzidas com
tal finalidade e podemos afirmar que representam uma das principais ferramentas para os
processos de monitoramento e avaliação (BRASIL, 2010).
A definição de indicadores e seus respectivos parâmetros, permite às equipes gerenciais,
dirigentes, políticos e cidadãos a conhecer, opinar e decidir acerca dos múltiplos e complexos
arranjos da saúde com enfoque no gerenciamento da qualidade. Portanto, podemos afirmar
que os indicadores de saúde representam uma das principais ferramentas para os processos
de monitoramento e avaliação (UNIVERSIDADE FEDERAL DO MARANHÃO, 2016).
Funções básicas e uso dos indicadores:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 15 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

EXEMPLO
Um exemplo da função descritiva é a quantidade de internações hospitalares.

EXEMPLO
Número de internações hospitalares por complicações da hipertensão arterial em relação ao
número total de internações (BRASIL, 2010).

Segundo a Universidade Federal do Maranhão (2016), pensando no ciclo de gestão, com-


posto por planejamento, monitoramento, avaliação, os indicadores podem ser utilizados nos
seguintes momentos:

Um indicador precisa ser analisado nos diversos estágios do ciclo de gestão para de fato
refletir a realidade que se deseja medir. Assim, se pensarmos no processo e implementação
dos instrumentos de planejamento do SUS, temos o uso de indicadores no momento ex-ante
que corresponderia à elaboração do PS; no momento in-curso, referente à execução da PAS;
e no momento ex-post referente à elaboração e análise do RAG.

Propriedades Essenciais dos Indicadores


De acordo com a Universidade Federal do Maranhão (2016), existem características que
qualquer indicador deve apresentar e sempre devem ser consideradas critérios de escolha,
independente da fase do ciclo de gestão.
Características essenciais dos indicadores:
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 16 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

É possível ainda classificar os indicadores de saúde conforme o que se deseja verificar:


Para verificar o estado de saúde da população, utilizamos:

Já para os serviços de saúde, utilizamos:

Quando se faz necessário verificar o ambiente, utilizamos:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 17 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Metodologia para Monitorar e Avaliar Indicadores


Definidos os processos e mecanismos de gerenciamento, é importante pontuar o método
que será utilizado para acompanhar os indicadores. Para tanto, é fundamental considerar as
áreas ou programas na sua totalidade, considerando o território e participação dos atores
envolvidos. Não há modelo pronto e exequível em qualquer cenário. Os gestores precisam
analisar a realidade em que se inserem e discutir com as equipes o formato que se adequa
ao contexto local (UNIVERSIDADE FEDERAL DO MARANHÃO, 2016)
O ciclo medir – comparar – emitir juízo de valor – tomar decisão é uma constante em
qualquer processo de gestão. Cabe à equipe gestora definir se utilizará um painel de acom-
panhamento, uma matriz de indicadores, as etapas e instrumentos relacionados ou quaisquer
outras formas de operacionalizar o monitoramento (MINAS GERAIS, 2010 apud UNIVERSIDADE
FEDERAL DO MARANHÃO, 2016).
A definição dos indicadores, sem uma clareza sobre a teoria da intervenção a ser avaliada
e o contexto político-institucional onde essa se realiza, pode se traduzir numa não correspon-
dência entre o que se quer avaliar e o conjunto de evidências levantado (CRUZ; REIS, 2011
apud UNIVERSIDADE FEDERAL DO MARANHÃO, 2016).
Observemos a experiência de metodologia de acompanhamento de indicadores que foi
implementada pelo Núcleo de Monitoramento e Avaliação da Secretaria de Estado da Saúde
do Rio Grande do Sul, em seis etapas subsequentes (RIO GRANDE DO SUL, 2007).

EXEMPLO
1-Observar os resultados do indicador para o território proposto (o estado, uma regional, um município,
um bairro etc.) Esse resultado está adequado? Era o esperado? Está abaixo ou acima do esperado?
Para responder estas perguntas, é necessário comparar com metas e/ou parâmetros. As metas
são os resultados esperados estabelecidos segundo um determinado propósito e contexto.
2-Observar a evolução dos resultados ao longo de um período (série histórica). Qual é a ten-
dência? Os resultados tendem a melhorar, piorar ou se mantêm estáveis? Esperava-se alguma
modificação nesta tendência? Como se explicaria o resultado?
A busca destas respostas sempre nos leva a examinar a estrutura e os processos.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 18 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

3-Comparar os resultados: com os outros estados, outras regionais, outros municípios e com o Brasil.
Estado: os resultados em seu estado estão diferentes ou parecidos dos resultados de outros
estados? Existe similitude de resultados por região do Brasil? E como está a média brasileira?
Como se poderiam explicar as similitudes ou diferenças?
Regionais: podem comparar-se com outras regionais.
Municípios: podem comparar-se com outros municípios de mesmo por te ou de
semelhantes características.
4-Desagregar os resultados, por territórios menores.
Ao final destas etapas, temos um julgamento de valor (o programa/ projeto/área está indo bem
ou não, está indo conforme o esperado ou não) e algumas pistas das razões deste resultado.
5-A ampla divulgação dos resultados observados no monitoramento.
Nesta etapa, busca-se comunicar os resultados obtidos e envolver o conjunto de atores na
identificação das razões do alcance ou não de metas.
6-Construção de um plano de intervenção para o alcance das metas propostas
Tendo-se identificado razões para o(s) resultado(s) alcançados, faz-se o planejamento de inter-
venções (quando necessárias).

Avaliando Resultados
O ato de avaliar está intrínseco ao processo de monitoramento também. Entretanto, a
avaliação em saúde, enquanto função, pressupõe a emissão de juízo de valor de maior com-
plexidade sobre o programa, projeto ou política que esteja sendo implementado. Assim, além
de estabelecer os mecanismos de acompanhamento, como forma de obter um monitoramento
efetivo, é importante definir como os resultados serão avaliados.
É possível classificar a avaliação em relação ao que será avaliado, a partir dos critérios
de eficiência, eficácia e efetividade.

EFEITOS OBTIDOS X CUSTOS EXECUTADOS

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 19 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Critérios de avaliação de resultados:

Etapas da Avaliação dos Resultados da Iniciativa (Programa/Projeto/


Política)

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 20 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Conforme a Universidade Federal do Maranhão (2016), trazendo esse processo de avaliação


para a perspectiva dos instrumentos de gestão, é importante ratificar que o monitoramento
como rotina é necessário para garantir a implementação estratégica do PS e do PAS.
Monitorar continuamente permite ajustar as medidas a fim de nos aproximar do alcance
dos objetivos. Porém, a avaliação em saúde, enquanto ampliação da compreensão obtida
pelo monitoramento, é a cartada de mestre dos gestores e equipes para o alcance da gestão
focada na qualidade e nas necessidades de saúde da população.

Conceitos de Efetividade, Eficiência e Eficácia nos Gastos em Saúde


Segundo Jannuzzi (2001) apud Ribeiro (2006), é comum encontrarmos na literatura espe-
cializada de avaliação referências a dimensões desejáveis de desempenho de organizações e
programas avaliados. São utilizados como indicadores de programas os termos: efetividade,
eficiência e eficácia.
Para Marinho & Façanha (2001) apud Ribeiro (2006), no uso corrente, a efetividade diz
respeito à capacidade de se promover resultados pretendidos. Tratando-se de programas
sociais, diria respeito à implementação e ao aprimoramento de objetivos, independentemente
das insuficiências de orientação e das falhas de especificação rigorosa dos objetivos iniciais
declarados do programa.
Já com respeito à eficiência, nas palavras do autor, esta denotaria a competência para se
produzir resultados com dispêndio mínimo de recursos e esforços, dados que, por sua vez,
remetem à avaliação para considerações de benefício e custo dos programas sociais, ou seja,
os investimentos que foram mobilizados devem produzir os efeitos desejados.
A eficácia, por sua vez, remete às condições controladas e aos resultados desejados de
experimentos, critérios estes que, é necessário reconhecer, não se aplicam automaticamente
às características e realidade dos programas sociais. Programas sociais regem-se, também,
por objetivos de eficácia, uma vez que, se espera que os investimentos que mobilizam devem
produzir os efeitos desejados.
É fundamental salientar que que os programas sociais serão eficazes somente se forem
antes efetivos e eficientes, pois os objetivos pretendidos destes também são estruturados
pela condução e objetivos efetivos dos programas.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 21 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Avaliação e Monitoramento na Legislação do SUS


Os artigos 15 e 17 da Lei n. 8.080/90 estabelecem que a União, os estados, o Distrito Fe-
deral e os municípios exercerão, em seu âmbito administrativo, as atribuições de avaliação e
controle de serviços de saúde, além da avaliação e divulgação das condições ambientais e da
saúde da população; e que é responsabilidade dos estados e dos municípios participar das
ações de controle e avaliação das condições e dos ambientes de trabalho (CONASS, 2016).
O Capítulo IV da Lei Complementar n. 141/12, que trata da transparência, visibilidade, fis-
calização, avaliação e controle menciona que os resultados do monitoramento e avaliação de
cada ente, serão apresentados objetivamente, inclusive por meio de indicadores, e integrarão
o Relatório de Gestão de cada ente federado.
O Decreto n. 7.508/11 estabelece entre as disposições essenciais do Contrato Organiza-
tivo de Ações e Serviços de Saúde — COAP — a necessidade de que sejam definidos critérios
de avaliação dos resultados e forma de monitoramento permanente e o estabelecimento de
estratégias que incorporem a avaliação do usuário das ações e dos serviços, como ferramenta
de sua melhoria.

Portaria n. 3.201, de 27 de Novembro de 2020


Institui o Comitê Consultivo de Monitoramento e Avaliação do Sistema Único da Saúde
(CCMA-SUS) no âmbito do Ministério da Saúde.
Art. 1º - Fica instituído o Comitê Consultivo de Monitoramento e Avaliação do Sistema
Único da Saúde (CCMA-SUS) no âmbito do Ministério da Saúde

Art. 2º - Compete ao CCMA-SUS:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 22 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Parágrafo único. O regimento interno do CCMA-SUS será disponibilizado no sítio eletrô-


nico do Ministério da Saúde.
Art. 3º - O CCMA-SUS será composto por 1 (um) representante de cada uma das
seguintes unidades:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 23 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Art. 4º - A Coordenação-Geral de Monitoramento e Avaliação do Departamento de Moni-


toramento e Avaliação do Sistema Único de Saúde
• exercerá a função de Secretaria-Executiva e prestará o apoio técnico, logístico e adminis-
trativo necessários ao desenvolvimento dos trabalhos do CCMA-SUS.

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 24 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Art. 8º - A participação do CCMA-SUS será considerada prestação de serviço público


relevante, não remunerada.
Art. 9º O CCMA-SUS elaborará relatório final sobre suas atividades, anualmente, que será
encaminhado ao Ministro de Estado de Saúde.

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 25 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

RESUMO
A atuação do gestor do SUS, nas três esferas de governo, consubstancia-se pelo exercício
das funções gestoras na saúde, cujas atribuições e subfunções compreendem:

As funções de monitoramento e avaliação são ferramentas fundamentais para melhor orien-


tar a tomada de decisão, o que possibilita o aprimoramento da qualidade da gestão em saúde.
Para Portela (2000), a Avaliação em Saúde produz informações quanto à adequação, efeitos
e custos associados ao uso de tecnologias, programas de saúde ou serviços de tecnologias.
E, assim, pode subsidiar a tomada de decisão em relação às práticas ou serviços de saúde e
ao estabelecimento de políticas concernentes ao setor.
De acordo com Portela (2000), a Avaliação em Saúde pressupõe:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 26 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

A qualidade em saúde é um dos objetivos da avaliação em saúde, sendo aferida por meio
de indicadores:
Exemplos de indicadores de qualidade em saúde:

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 27 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

EXERCÍCIOS
001. (INÉDITA/2023/2023) Sobre a avaliação em Saúde, analise os itens a seguir:
I – Avaliar é medir, comparar e emitir juízo de valor
II – A avaliação é entendida como um processo que implica julgar, emitir um julgamento de valor
III – A avaliação compreende a coleta e análise regular dos dados e ampla disseminação aos
que necessitem
Está (ão) correto (s):
a) Apenas I
b) Apenas II
c) I, II e III
d) Apenas I e II
e) Apenas III
002. (INÉDITA/2023) Sobre a avaliação em Saúde, aponte a alternativa incorreta.
a) O objeto da avaliação em saúde é único, sendo circunscrito ao sistema de Saúde.
b) Para avaliar um sistema de saúde, que agrega vários serviços e programas, apenas a abor-
dagem técnica não é suficiente.
c) Um dos exemplos de objeto da avaliação em saúde é Sistema de Saúde, no qual devem ser
avaliados os aspectos econômicos, técnicos, sociais e culturais.
d) Nas avaliações de programas e serviços, devem ser considerados os recursos, meios, pro-
dutos, resultados
e) Para avaliar procedimentos e ações, devemos considerar estrutura, processo e resultado.
003. (OBJETIVA /PREFEITURA DE TRAMANDAÍ – RS/2019) Numerar a 2ª coluna de acordo
com a 1ª e, após, assinalar a alternativa que apresenta a sequência CORRETA: (1) Eficiência.
(2) Eficácia. (3) Efetividade.

 (  ) Utilização dos recursos disponíveis da melhor maneira possível, no menor tempo pos-
sível e com menor custo, evitando “desperdícios”.
(  ) Por meio das ações produzidas, alcançar os melhores resultados possíveis, principal-
mente em relação à cobertura (número de pessoas atendidas) e à concentração (núme-
ro de ações oferecidas a cada pessoa).
(  ) Obter transformações concretas na situação de saúde, coerentes com os objetivos pro-
postos pela gestão.

a) 2 - 3 - 1.
b) 3 - 2 - 1.
c) 1 - 2 - 3.
d) 2 - 1 – 3
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 28 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

004. (UNIRIO/CESGRANRIO/2016) Quais são os três elementos que compõem a Tríade Do-
nabedian, que reúne as medidas da qualidade nos serviços de saúde?
a) Custos, tecnologia e efetividade
b) Estrutura, processo e desfechos
c) Investimento, racionalidade, empirismo
d) Adaptações, oportunismo e equidade
e) Improvisações, eficiência e segurança
005. (FCC/TRT - 9ª REGIÃO –PR/2010) Quando se aborda a temática avaliação de serviços
de saúde, Donabedian é referendado pelos estudiosos em gestão da qualidade assistencial.
Um dos sete pilares da qualidade proposto, e respectiva definição, é:
a) eficácia: empregar a relação custo-benefício na assistência à saúde.
b) eficiência: medida do custo com o qual uma dada melhoria na saúde é alcançada.
c) efetividade: capacidade de se produzirem melhorias no setor saúde.
d) otimização: grau em que o cuidado, cuja qualidade está sendo avaliada, alça o nível de me-
lhoria da saúde.
e) legitimidade: princípio pelo qual se determina o que é justo ou razoável na distribuição do
cuidado e de seus benefícios entre os membros de uma população.
006. (FCC/TRF - 4ª REGIÃO/2010) Para realizar a avaliação de qualidade da assistência,
baseada no modelo de Donabedian, utilizam-se os atributos
a) eficácia, certificação e acreditação.
b) certificação, acreditação e resultado.
c) estrutura, processo e resultado.
d) efetividade, acreditação e estrutura.
e) eficiência, certificação e processo.
007. (IDECAN/SES-DF/AGENTE DE VIGILÂNCIA AMBIENTAL EM SAÚDE/2014) Como
especificado por Ribeiro et al (2006) acerca da avaliação das atividades em saúde coletiva,
analise os seguintes conceitos:
1. “(...) refere-se à implementação e ao aprimoramento de objetivos, independentemente das
insuficiências de orientação e das falhas de especificação rigorosa dos objetivos iniciais de-
clarados do programa.”
2. “(...) denotaria a competência para se produzir resultados com dispêndio mínimo de recursos
e esforços, dados que, por sua vez, remetem à avaliação para considerações de benefício e
custo dos programas sociais, ou seja, os investimentos que foram mobilizados devem produzir
os efeitos desejados.”
3. “(...) remete às condições controladas e aos resultados desejados de experimentos, critérios
estes que, é necessário reconhecer, não se aplicam automaticamente às características e rea-
lidade dos programas sociais.”
Os termos de avaliação de saúde coletiva nos conceitos 1, 2 e 3, classificam-se correta e res-
pectivamente em
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 29 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

a) eficiência, eficácia e efetividade.


b) efetividade, eficiência e eficácia.
c) eficácia, efetividade e eficiência.
d) efetividade, eficácia e eficiência.
e) eficiência, efetividade e eficácia.
008. (INÉDITA/2023) A atuação do gestor do SUS, nas três esferas de governo, consubstan-
cia-se pelo exercício das funções gestoras na saúde.
As funções de monitoramento e avaliação são ferramentas que auxiliam os gestores na tomada
de decisões em relação à saúde.

(  ) Certo
(  ) Errado

009. (INÉDITA/2023) Sobre a avaliação em Saúde, julgue o item que segue:


Avaliação em Saúde produz informações quanto à adequação, efeitos e custos associados
exclusivamente ao uso de tecnologias em saúde.

(  ) Certo
(  ) Errado

010. (INÉDITA/2023) A avaliação que se inscreve para além de um julgamento, leva em conta
os sujeitos sociais envolvidos em uma determinada situação e seus interesses, assim como
o objeto avaliado.
A avaliação e o monitoramento, devem ser dissociados, com intuito de garantir a confiabilidade
das informações.

(  ) Certo
(  ) Errado

011. (INÉDITA/2023) A avaliação em Saúde pressupõe, exceto:


a) A seleção de problemas relevantes, e sensíveis, a medidas de ação viáveis nos níveis técnico,
político e económico;
b) A medição de atributos pertinentes a tecnologias, programas ou serviços de saúde, que se
constituem em alternativas para a solução, ou a minimização, de problemas, em uma população;
c) O julgamento e a comparação do comportamento desses atributos, como critérios de
apreciação da adequação, dos benefícios, dos efeitos adversos e dos custos associados às
alternativas, levando-se em conta a população de referência e o conhecimento, ou o arsenal
tecnológico existente/disponível;
d) A alimentação dos processos de análise e de formulação de condutas, ou recomendações,
para ação gerencial ou governamental.
e) A priorização de alocação dos recursos oriundos do orçamento da Seguridade Social em
cidades com baixo índice de desenvolvimento humano.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 30 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

GABARITO

1. d
2. a
3. c
4. b
5. b
6. c
7. b
8. C
9. E
10. E
11. d

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 31 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

GABARITO COMENTADO
001. (INÉDITA/2023) Sobre a avaliação em Saúde, analise os itens a seguir:
I – Avaliar é medir, comparar e emitir juízo de valor
II – A avaliação é entendida como um processo que implica julgar, emitir um julgamento de valor
III – A avaliação compreende a coleta e análise regular dos dados e ampla disseminação aos
que necessitem
Está (ão) correto (s):
a) Apenas I
b) Apenas II
c) I, II e III
d) Apenas I e II
e) Apenas III

I – Certa. Segundo Tanaka (2001), avaliar é medir, comparar e emitir juízo de valor.
II – Certa. Conforme Brasil (2010), a avaliação é entendida como um processo que implica julgar,
emitir um julgamento de valor, tendo por base uma análise do que foi realizado (intervenção,
ação, serviço, procedimento etc.), ou uma análise do resultado obtido, sempre em comparação
com um referencial e um ideal a ser alcançado.
III – Errada. O conceito apresentado corresponde ao de monitoramento.
Letra d.

002. (INÉDITA/2023) Sobre a avaliação em Saúde, aponte a alternativa incorreta.


a) O objeto da avaliação em saúde é único, sendo circunscrito ao sistema de Saúde.
b) Para avaliar um sistema de saúde, que agrega vários serviços e programas, apenas a abor-
dagem técnica não é suficiente.
c) Um dos exemplos de objeto da avaliação em saúde é Sistema de Saúde, no qual devem ser
avaliados os aspectos econômicos, técnicos, sociais e culturais.
d) Nas avaliações de programas e serviços, devem ser considerados os recursos, meios, pro-
dutos, resultados
e) Para avaliar procedimentos e ações, devemos considerar estrutura, processo e resultado.

a) Errada. Conforme Macêdo (2015), os objetos da avaliação em saúde são diversos, desde
um procedimento específico até um sistema de saúde, cada um com diferentes características,
objetivos e estratégias
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 32 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

b) Certa. Para avaliar um sistema de saúde, que agrega vários serviços e programas, apenas a
abordagem técnica não é suficiente, devem ser incorporados aspectos políticos e econômicos
e todos os atores, incluindo usuários e trabalhadores que constituirão fonte primordial de infor-
mações para a avaliação da relevância e da efetividade do sistema.
Alternativas “c”, “d” e “e”. Corretas. Exemplos de objetos de avaliação em saúde:
• SISTEMA DE SAÚDE - Aspectos econômicos, técnicos, sociais e culturais
• PROGRAMAS E SERVIÇOS - Recursos, meios, produtos, resultados
• PROCEDIMENTOS E AÇÕES - Estrutura, processo e resultado
Letra a.

003. (OBJETIVA /PREFEITURA DE TRAMANDAÍ – RS/2019) Numerar a 2ª coluna de acordo


com a 1ª e, após, assinalar a alternativa que apresenta a sequência CORRETA: (1) Eficiência.
(2) Eficácia. (3) Efetividade.

 (  ) Utilização dos recursos disponíveis da melhor maneira possível, no menor tempo pos-
sível e com menor custo, evitando “desperdícios”.
(  ) Por meio das ações produzidas, alcançar os melhores resultados possíveis, principal-
mente em relação à cobertura (número de pessoas atendidas) e à concentração (núme-
ro de ações oferecidas a cada pessoa).
(  ) Obter transformações concretas na situação de saúde, coerentes com os objetivos pro-
postos pela gestão.

a) 2 - 3 - 1.
b) 3 - 2 - 1.
c) 1 - 2 - 3.
d) 2 - 1 – 3

Note que a eficiência está sempre ligada ao menor custo, a eficácia está coerente com resulta-
dos e a efetividade ligada às transformações realizadas.
Letra c.

004. (UNIRIO/CESGRANRIO/2016) Quais são os três elementos que compõem a Tríade Do-
nabedian, que reúne as medidas da qualidade nos serviços de saúde?
a) Custos, tecnologia e efetividade
b) Estrutura, processo e desfechos
c) Investimento, racionalidade, empirismo
d) Adaptações, oportunismo e equidade
e) Improvisações, eficiência e segurança
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 33 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Como vimos acima a tríade Donabedian refere-se a estrutura, processo e resultados ou desfecho.
Letra b.

005. (FCC/TRT - 9ª REGIÃO –PR/2010) Quando se aborda a temática avaliação de serviços


de saúde, Donabedian é referendado pelos estudiosos em gestão da qualidade assistencial.
Um dos sete pilares da qualidade proposto, e respectiva definição, é:
a) eficácia: empregar a relação custo-benefício na assistência à saúde.
b) eficiência: medida do custo com o qual uma dada melhoria na saúde é alcançada.
c) efetividade: capacidade de se produzirem melhorias no setor saúde.
d) otimização: grau em que o cuidado, cuja qualidade está sendo avaliada, alça o nível de me-
lhoria da saúde.
e) legitimidade: princípio pelo qual se determina o que é justo ou razoável na distribuição do
cuidado e de seus benefícios entre os membros de uma população.

Uma dica essencial para essa questão é que eficiência sempre estará ligada a custos. Nosso
gabarito, portanto, letra B.
Letra b.

006. (FCC/TRF - 4ª REGIÃO/2010) Para realizar a avaliação de qualidade da assistência,


baseada no modelo de Donabedian, utilizam-se os atributos
a) eficácia, certificação e acreditação.
b) certificação, acreditação e resultado.
c) estrutura, processo e resultado.
d) efetividade, acreditação e estrutura.
e) eficiência, certificação e processo.

Donabedian desenvolveu a chamada tríade da qualidade (estrutura, processo e resultado).


Letra c.

007. (IDECAN/SES-DF/AGENTE DE VIGILÂNCIA AMBIENTAL EM SAÚDE/2014) Como


especificado por Ribeiro et al (2006) acerca da avaliação das atividades em saúde coletiva,
analise os seguintes conceitos:
1. “(...) refere-se à implementação e ao aprimoramento de objetivos, independentemente das
insuficiências de orientação e das falhas de especificação rigorosa dos objetivos iniciais de-
clarados do programa.”

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 34 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

2. “(...) denotaria a competência para se produzir resultados com dispêndio mínimo de recursos
e esforços, dados que, por sua vez, remetem à avaliação para considerações de benefício e
custo dos programas sociais, ou seja, os investimentos que foram mobilizados devem produzir
os efeitos desejados.”
3. “(...) remete às condições controladas e aos resultados desejados de experimentos, critérios
estes que, é necessário reconhecer, não se aplicam automaticamente às características e rea-
lidade dos programas sociais.”
Os termos de avaliação de saúde coletiva nos conceitos 1, 2 e 3, classificam-se correta e res-
pectivamente em
a) eficiência, eficácia e efetividade.
b) efetividade, eficiência e eficácia.
c) eficácia, efetividade e eficiência.
d) efetividade, eficácia e eficiência.
e) eficiência, efetividade e eficácia.

Item 1. Refere-se ao conceito de efetividade, cunhado por Marinho & Façanha (2001) apud
Ribeiro (2006).
Itens 2 e 3, correspondem, respectivamente, aos conceitos de eficiência e eficácia.
Letra b.

008. (INÉDITA/2023) A atuação do gestor do SUS, nas três esferas de governo, consubstan-
cia-se pelo exercício das funções gestoras na saúde.
As funções de monitoramento e avaliação são ferramentas que auxiliam os gestores na tomada
de decisões em relação à saúde.

(  ) Certo
(  ) Errado

As funções de monitoramento e avaliação são ferramentas fundamentais para melhor orientar a to-
mada de decisão, o que, por sua vez, possibilita o aprimoramento da qualidade da gestão em saúde.
Certo.

009. (INÉDITA/2023) Sobre a avaliação em Saúde, julgue o item que segue:


Avaliação em Saúde produz informações quanto à adequação, efeitos e custos associados
exclusivamente ao uso de tecnologias em saúde.

(  ) Certo
(  ) Errado
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 35 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

Para Portela (2000), a Avaliação em Saúde produz informações quanto à adequação, efeitos e
custos associados ao uso de tecnologias, programas ou serviços de tecnologias, programas
saúde. E, assim, pode subsidiar a tomada de decisão em relação às práticas ou serviços de
saúde ticas de saúde e ao estabelecimento de políticas concernentes ao setor.
Errado.

010. (INÉDITA/2023) A avaliação que se inscreve para além de um julgamento, leva em conta
os sujeitos sociais envolvidos em uma determinada situação e seus interesses, assim como
o objeto avaliado.
A avaliação e o monitoramento, devem ser dissociados, com intuito de garantir a confiabilidade
das informações.

 (  ) Certo
 (  ) Errado

Pode-se afirmar que o monitoramento e avaliação são faces, complementares entre si, de um
mesmo processo. O monitoramento acompanha no tempo o desenvolvimento de determinadas
atividades e formula hipóteses a respeito.
Errado.

011. (INÉDITA/2023) A avaliação em Saúde pressupõe, exceto:


a) A seleção de problemas relevantes, e sensíveis, a medidas de ação viáveis nos níveis técnico,
político e económico;
b) A medição de atributos pertinentes a tecnologias, programas ou serviços de saúde, que se
constituem em alternativas para a solução, ou a minimização, de problemas, em uma população;
c) O julgamento e a comparação do comportamento desses atributos, como critérios de
apreciação da adequação, dos benefícios, dos efeitos adversos e dos custos associados às
alternativas, levando-se em conta a população de referência e o conhecimento, ou o arsenal
tecnológico existente/disponível;
d) A alimentação dos processos de análise e de formulação de condutas, ou recomendações,
para ação gerencial ou governamental.
e) A priorização de alocação dos recursos oriundos do orçamento da Seguridade Social em
cidades com baixo índice de desenvolvimento humano.
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 36 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

De acordo com Portela (2000), a Avaliação em Saúde pressupõe:


• A seleção de problemas relevantes, e sensíveis, a medidas de ação viáveis nos níveis
técnico, político e económico;
• A medição de atributos pertinentes a tecnologias, programas ou serviços de saúde, que se
constituem em alternativas para a solução, ou a minimização, de problemas, em uma população;
• O julgamento e a comparação do comportamento desses atributos, como critérios de
apreciação da adequação, dos benefícios, dos efeitos adversos e dos custos associados
às alternativas, levando-se em conta a população de referência e o conhecimento, ou o
arsenal tecnológico existente/disponível; e
• A alimentação dos processos de análise e de formulação de condutas, ou recomendações,
para ação gerencial ou governamental.
Letra e.

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 37 de 39
CONHECIMENTOS ESPECÍFICOS
Conceitos e Estratégia de Avaliações em Saúde
Natale Souza

REFERÊNCIAS
ANVISA. Ministério da Saúde. PNASS - Programa Nacional de Avaliação de Serviços de Saúde:
resultado do processo avaliativo 2004-2006. Brasília: Ministério da Saúde, 2007. 84f. Disponível
em: <http://www. anvisa.gov.br/servicosaude/manuais/pnass.pdf>. Acesso em: 31 de Jan. 2023

BRASIL. Conselho Nacional de Secretários de Saúde. A Gestão do SUS. Brasília: CONASS, 2015.
133 p. (Para Entender a Gestão do SUS - 2015). Disponível em: < https://www.conass.org.br/
biblioteca/pdf/A-GESTAO-DO-SUS.pdf>. Acesso em: 31 de Jan. 2023

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Inves-


timentos Estratégicos. Indicadores de programas: guia metodológico. Brasília: MP, 2010. 128p.
Disponível em: < https://bibliotecadigital.economia.gov.br/bitstream/777/84/1/Indicadores_pro-
gramas-guia_metodologico.pdf. Acesso em: 31 de Jan. 2023

CONASS. Guia de apoio à gestão estadual do SUS: monitoramento e avaliação. 2016. Disponível
em: < https://www.conass.org.br/guiainformacao/monitoramento-e-avaliacao/. Acesso em: 31
de Jan. 2023

CONTANDRIOPOULOS, A. et al. A avaliação na área da saúde: conceitos e métodos. In: HARTZ,


Z. M. A. (Org.) Avaliação em saúde: dos modelos conceituais à prática na análise da implantação
de programas. Rio de Janeiro: Fiocruz, 1997. 132p. Disponível em: < https://static.scielo.org/
scielobooks/3zcft/pdf/hartz-9788575414033.pdf. >. Acesso em: 31 de Jan. 2023

CRUZ, M.M. Avaliação de políticas e programas de saúde: contribuições para o debate. 2012.
Disponível em: https://edisciplinas.usp.br/pluginfile.php/4447979/mod_resource/content/1/
ANALISE%20POLITICAS%201%20E%202_LIVRO%20IMS.pdf. Acesso em: 31 de Jan. 2023

Ribeiro, Eduardo Augusto Werneck. Eficiência, efetividade e eficácia do planejamento dos gastos
em saúde. HYGEIA, Revista Brasileira de Geografia Médica e da Saúde. Hygeia, 2(2):27-46, jun 2006.

Universidade Federal do Maranhão. UNA-SUS/UFMA. Gestão pública em saúde: monitoramen-


to e avaliação no planejamento do SUS/Ana Emilia Figueiredo de Oliveira; Regimarina Soares
Reis. - São Luís, 2016.

Natale Souza
Enfermeira, graduada pela UEFS – Universidade Estadual de Feira de Santana – em 1999; pós-graduada
em Saúde Coletiva pela UESC – Universidade Estadual de Santa Cruz – em 2001, em Direito Sanitário pela
FIOCRUZ em 2004; e mestre em Saúde Coletiva.
Atualmente, é servidora pública da Prefeitura Municipal de Salvador e atua como Educadora/Pesquisadora
pela Fundação Osvaldo Cruz – FIOCRUZ – no Projeto Caminhos do Cuidado. Além disso, é docente em
cursos de pós-graduação e preparatórios para concursos há 16 anos, ministrando as disciplinas: Legislação
do SUS, Políticas de Saúde, Programas de Saúde Pública e específicas de Enfermagem.

O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

www.grancursosonline.com.br 38 de 39
O conteúdo deste livro eletrônico é licenciado para Charlene soares serafim serafim - 02646543158, vedada, por quaisquer meios e a qualquer título,
a sua reprodução, cópia, divulgação ou distribuição, sujeitando-se aos infratores à responsabilização civil e criminal.

Você também pode gostar