Você está na página 1de 46

DIAGNÓSTICO

DA QUALIDADE
Mariana Bonome de Souza

E-book 2
Neste E-Book:
Introdução���������������������������������������������������� 3
Modelos de avaliação para
diagnosticar qualidade���������������������������� 4
Malcolm Baldrige National Quality Award
(MBNQA)������������������������������������������������������������������4
Modelo de excelência da European
Foundation for Quality Management (EFQM)��������8
Prêmio Deming������������������������������������������������������ 13
Modelo de Excelência da Gestão (MEG)������������� 16
Comparativo entre os modelos de avaliação������ 20
Ferramentas e técnicas para
diagnosticar a qualidade���������������������� 23
Ciclo PDCA������������������������������������������������������������ 23
Método de Análise e Solução de Problemas
(Masp)������������������������������������������������������������������� 26
Checklist (Folha de verificação)��������������������������� 27
Estratificação�������������������������������������������������������� 28
Diagrama ou Gráfico de Pareto���������������������������� 29
Histograma������������������������������������������������������������ 32
Fluxograma������������������������������������������������������������ 34
Diagrama ou Gráfico de Dispersão���������������������� 37
Diagrama de causa e efeito ou diagrama de
Ishikawa����������������������������������������������������������������� 39
Conclusão���������������������������������������������������42
Síntese���������������������������������������������������������43

2
INTRODUÇÃO
Olá, estudante!

Agora que você está familiarizado com os principais


conceitos sobre qualidade, a importância deles e sua
relação com a estratégia, a tática e as operações de
uma organização, assuntos do módulo anterior, é
possível nos aprofundarmos na escolha de ferramen-
tas e técnicas para avaliar e diagnosticar a qualidade
de uma organização.

Vimos brevemente que existem modelos prontos


para produzir diagnósticos sobre qualidade. Contudo,
como eles funcionam? E se os modelos não forem
aderentes à realidade da organização a ser diag-
nosticada, será possível construir um modelo pró-
prio? Neste caso, que ferramentas e técnicas seriam
aplicáveis?

As bases para formular respostas para estas e outras


questões relativas às ferramentas utilizadas nos diag-
nósticos da qualidade são discutidas neste módulo.
Vamos começar?

3
MODELOS DE AVALIAÇÃO
PARA DIAGNOSTICAR
QUALIDADE
Dentre os diversos modelos que reconhecem a
qualidade e a excelência de processos, produtos e
serviços nas organizações, quatro deles merecem
destaque: o Malcolm Baldrige National Quality Award;
o Modelo de Excelência da European Foundation for
Quality Management; o Prêmio Deming; e o Modelo
de Excelência da Gestão da Fundação Nacional da
Qualidade.

Os tópicos a seguir relatam o histórico de cada prê-


mio, bem como fornecem condições para estabelecer
uma comparação entre os critérios que norteiam as
pontuações e, consequentemente, os vencedores
destes reconhecimentos.

Malcolm Baldrige National


Quality Award (MBNQA)
Em meados da década de 1980, nos Estados Unidos,
os assuntos relativos à qualidade na prática das or-
ganizações recebiam grande atenção não somente
de executivos, mas também do governo. A qualidade
já era percebida, segundo Carpinetti (2016), como
característica fundamental para que os produtos

4
americanos fossem percebidos como competitivos
pelo público nacional e de outros países.

Em 1987, o congresso americano aprovou o Quality


Improvement Act (ato em prol da melhoria da qua-
lidade), com significativo apoio do então secretário
do comércio, Howard Malcolm “Mac” Baldrige Jr,
também empresário e estudioso da área da quali-
dade. Com seu falecimento naquele mesmo ano,
seu nome foi atribuído à premiação estabelecida
no Quality Improvement Act, voltada a reconhecer e
promover a qualidade como base para competitivi-
dade industrial (ASQ, 2019).

Assim como o Brasil conta com a Associação


Brasileira de Normas Técnicas (ABNT) e o Instituto
Nacional de Metrologia, Qualidade e Tecnologia
(Inmetro) para emissão de padrões nacionais para
diversos temas, os Estados Unidos mantêm um ór-
gão governamental com finalidade semelhante, co-
nhecido como National Institute of Standards and
Technology (Nist). Ao Nist foi atribuída a respon-
sabilidade por manter o prêmio Malcolm Baldrige
National Quality Award (MBNQA), o qual reconhece
esforços de organizações privadas e públicas em
seis categorias distintas: pequenas empresas, ma-
nufatura, prestação de serviços, serviços de saúde,
educação e organizações sem fins lucrativos.

As organizações que se candidatam ao prêmio


MBNQA são avaliadas a partir de um questionário
que mede critérios de excelência em gestão. Tais
critérios observam a estruturação dos processos

5
organizacionais e a relação destes com clientes, equi-
pes, lideranças e os resultados que a organização
obtém. O compromisso com melhoria contínua tam-
bém é mensurado por estes critérios (NIST, 2018). A
Figura 1 apresenta os critérios avaliados e a relação
esperada entre cada um deles.

Perfil
Organizacional

Estratégia Pessoas

Liderança Integração Resultados

Clientes Operações

Medição, análise e
gestão de conhecimento

Conceitos e valores

Figura 1: Critérios do prêmio MBNQA. Fonte: Adaptada de Carpinetti


(2016) e Nist (2018).

A cada critério é atribuído um total máximo de pon-


tos. Tanto os critérios como as pontuações máxi-
mas são atualizados periodicamente pelo Nist. A
pontuação vigente entre 2019 e 2020 é observada
na Tabela 1:

6
Critério Pontuação
Parcial Total
Liderança
Alta direção 70 120
Governança e responsabilidade social 50

Estratégia - 85

Clientes
Voz do cliente 40 85
Engajamento do cliente 45
Pessoas
Ambiente de trabalho 40 85
Engajamento do pessoal 45

Operações - 85

Resultados
Resultados de produto e de processo 120
Resultados focados no cliente 80
450
Resultados focados no pessoal 80
Resultados da liderança e da governança 80
Resultados financeiros e de mercado 90

Medição, análise e gestão do conhecimento - 90

Total 1000

Tabela 1: Pontuação do prêmio Malcolm Baldrige. Fonte: Adaptada


de Carpinetti (2016) e Nist (2018).

Todas as organizações que se submetem ao ques-


tionário do prêmio MBNQA recebem um relatório do
Nist por escrito, fruto da comparação entre as me-
lhores práticas dos critérios avaliados e as respostas
dadas pela organização em questão. O relatório é
abrangente e aponta os pontos positivos e a desen-

7
volver relativos à qualidade e excelência em gestão
da organização avaliada (ASQ, 2019).
Após o recolhimento de taxas de participação, veri-
ficação documental e in loco, e o encerramento das
comparações de desempenho entre os concorrentes,
o prêmio MBNQA é anual e entregue aos vencedo-
res de cada categoria pelo presidente dos Estados
Unidos (NIST, 2018).

SAIBA MAIS
A jornada até a conquista do prêmio MBNQA pode
ser longa e requerer muitas mudanças das orga-
nizações que buscam atender plenamente seus
critérios de avaliação. Confira algumas destas his-
tórias consultando o site do Nist e da American
Society for Quality nos links a seguir (em inglês):

https://www.nist.gov/baldrige/publications/
baldrige-case-study

https://asq.org/quality-resources/case-studies

Modelo de excelência da
European Foundation for
Quality Management (EFQM)
A EFQM foi estabelecida em 1989 com vistas a fo-
mentar a cultura da qualidade entre organizações de
países europeus a partir de uma premiação periódi-
ca, fundamentada em um Modelo de Excelência em
gestão da qualidade (CARPINETTI, 2016).

8
De acordo com a EFQM (2012), seu Modelo de
Excelência é baseado em direitos humanos básicos, ex-
pressos na Convenção Europeia dos Direitos Humanos,
ocorrida em 1953, na Carta Social Europeia de 1996 e
no Pacto Global de 2000, o qual contém dez princípios
para a prática da sustentabilidade e da responsabilidade
social. Além disso, o conteúdo do Modelo é ratificado
por todos os países integrantes da União Europeia.
A primeira edição da premiação ocorreu em 1992 e,
desde então, o Modelo de Excelência EFQM passou
por algumas revisões. Sua versão mais recente, pu-
blicada em 2012 e em vigor desde 2013, promove
uma abordagem holística e não prescritiva sobre o
exercício da qualidade e da excelência em gestão em
uma organização. Ela segue moldes semelhantes aos
do prêmio Malcolm Baldrige (CARPINETTI, 2016).
O Modelo da EFQM tem como norte para estabele-
cimento de critérios os chamados “conceitos fun-
damentais da excelência”, elaborados pela própria
fundação e expostos na Figura 2:
Acrescentar Valor para
os Clientes

Sustentar Resultados
Construir um futuro
Notáveis
Sustentável

EFQM
Ter êxito através do Desenvolver a
Talento das Pessoas capacidade organizacional

Gerir com Agilidade Aproveitar a Criatividade e a


Inovação
Liderar com Visão,
Inspiração e Integridade

Figura 2: Conceitos Fundamentais da Excelência para a EFQM. Fonte:


EFQM (2012, p. 4).

9
Cinco critérios viabilizadores, ou critérios “meio”, e
quatro critérios “de resultado” integram o modelo de
excelência da EFQM, cuja dinâmica é simbolizada
pelas setas e linhas que os interligam, representadas
na Figura 3:

Meios Resultados

Resultados
Pessoas Pessoas

Processos,
Resultados Resultados
Liderança Estratégia Produtos e Clientes do Negócio
Serviços

Parcerias e Resultados
Recursos Sociedades

Aprendizagem, Criatividade e Inovação

Figura 3: Relações entre os critérios do Modelo de Excelência da


EFQM. Fonte: EFQM (2012, p. 9).

Os cinco critérios viabilizadores ou “meio” avaliam


como a organização se estrutura em prol da qua-
lidade, abrangendo a alta direção e o exercício da
liderança por todos os cargos de gestão; o papel da
estratégia, das pessoas, das parcerias e dos recursos
materiais e financeiros na organização; o alinhamen-
to de processos, produtos e serviços fornecidos com
boas práticas de qualidade e excelência. Em seguida,
os quatro critérios “de resultado” permitem avaliar
o sucesso das iniciativas norteadas pelos critérios
“meio”. Por fim, o Modelo de Excelência EFQM per-
mite observar o quanto a organização foi capaz de
aprender com suas ações, bem como atesta de que

10
formas se manifestaram a criatividade e a inovação
em prol da qualidade e da excelência (EFQM, 2012).

Todos os nove critérios contêm subdivisões denomi-


nadas “partes de critério”, capazes de detalhar cada
assunto avaliado pelo Modelo de Excelência EFQM.
As descrições dos critérios e a pontuação máxima
que uma organização pode alcançar são detalhadas
na Tabela 2.
Critério Partes do Critério Pontuação

1a. Os líderes desenvolvem a missão, visão,


valores e ética, e atuam como modelos a
seguir.
1b. Os líderes definem, monitorizam, reveem e
conduzem a melhoria do sistema de gestão e
1. do desempenho da organização.
Liderança 1c. Os líderes envolvem-se com os stakehol-
100
ders externos.
1d. Os líderes reforçam uma cultura de exce-
lência perante as pessoas da organização.
1e. Os líderes asseguram que a organização é
flexível e gerem eficazmente a mudança.

2a. A estratégia é baseada na compreensão


das necessidades e expetativas tanto dos
stakeholders como do contexto externo.
2b. A estratégia é baseada na compreensão do
2. desempenho e capacidades internas.
Estratégia 2c. A estratégia e as políticas que a suportam
80
são desenvolvidas, revistas e atualizadas.
2d. A estratégia e as políticas que a supor-
tam são comunicadas, implementadas e
monitoradas.

3a. Os planos para os recursos humanos


apoiam a estratégia da organização.
3b. Os conhecimentos e as capacidades das
pessoas são desenvolvidos.
3. 3c. As pessoas são alinhadas, envolvidas e
Pessoas responsabilizadas.
90
3d. As pessoas comunicam de uma forma
eficaz por toda a organização.
3e. As pessoas são reconhecidas, recompen-
sadas e assistidas.

11
Critério Partes do Critério Pontuação

4a. As parcerias e os fornecedores são


geridos com vista à obtenção de benefícios
sustentáveis.
4b. A gestão financeira é efetuada com vista a
assegurar o sucesso sustentado.
4c. As instalações, equipamentos, materiais
4.
e recursos naturais são geridos de forma
Parcerias e
sustentável.
90
recursos
4d. A tecnologia é gerida de forma a apoiar a
execução da estratégia.
4e. A informação e o conhecimento são
geridos de forma a apoiarem a tomada de
decisões eficazes e a construir a capacidade
organizacional.

5a. Os processos são concebidos e geridos de


forma a otimizar o valor para os stakeholders.
5b. Os produtos e serviços são desenvolvi-
dos de forma a criar um valor ótimo para os
5. clientes.
Processos,
produtos e
5c. Os produtos e serviços são promovidos e 140
serviços comercializados de uma forma eficaz.
5d. Os produtos e serviços são produzidos,
entregues e geridos.
5e. As relações com os clientes são geridas e
valorizadas.

6.
6a. Percepções
Resultados
6b. Indicadores do desempenho
200
clientes

7.
7a. Percepções
Resultados
7b. Indicadores do desempenho
90
pessoas

8.
8a. Percepções
Resultados
8b. Indicadores do desempenho
60
sociedade

9.
9a. Percepções
Resultados
9b. Indicadores do desempenho
150
negócio

Total 1000

Tabela 2: Descrição dos critérios e da pontuação do Modelo de


Excelência da EFQM. Fonte: Adaptada de EFQM (2012).

12
Segundo a EFQM (2012), podem se submeter à con-
corrência de seu prêmio anual organizações públicas
e privadas de quaisquer finalidades, em categorias
que distinguem organizações públicas e privadas, or-
ganizações de pequeno porte (até 999 funcionários)
e de grande porte (com mil ou mais funcionários).

A premiação realizada pela EFQM requer pagamento


de taxas para participação e, assim como o MBNQA,
conta com verificações da documentação submetida
pelos interessados em participar, com análise in loco
das práticas de qualidade e com as devidas análi-
ses comparativas dos resultados alcançados pelos
participantes, para a devida atribuição do prêmio.

Prêmio Deming
Uma das primeiras formas de reconhecimento
das melhores práticas de gerenciamento total da
qualidade (Total Quality Management – TQM), o
Prêmio Deming é concedido pela Japanese Union
of Scientists and Engineers (Juse) desde 1951. Esta
premiação homenageia William Edwards Deming
devido às diversas e valiosas contribuições que este
estudioso trouxe às empresas japonesas em sua
recuperação após a Segunda Guerra Mundial, bem
como à literatura e pesquisa sobre qualidade nas
organizações (CARPINETTI, 2016).

Ainda que esta premiação se assemelhe aos critérios


do MBNQA e da EFQM, o Prêmio Deming é o único
destacado neste módulo que possui uma categoria

13
destinada a reconhecer profissionais por suas atua-
ções na área de qualidade (CARPINETTI, 2016). Os
nomes e as categorias das premiações concedidas
pela Juse (2019) são esclarecidos no Quadro 1.

Periodi-
Nome Categoria A quem se destina
cidade
Às pessoas ou grupos
Deming Indivíduos
que fizeram contribuições
Prize for ou grupos Anual
excelentes para o estudo
Individuals japoneses
ou disseminação do TQM.

Deming
Distinguished
Service Às pessoas ou grupos
Indivíduos Entre três
Award for que fizeram contribuições
ou grupos de e cinco
Dissemination excelentes para o estudo
outros países anos
and ou disseminação do TQM.
Promotion
(Overseas)

Às organizações que
implantaram TQM de
Organizações forma condizente com
de todas as sua filosofia de gerencia-
Deming Prize Anual
origens e mento; com seu escopo,
finalidades tipo e escala de negócio;
e com seu ambiente de
negócio.

Organizações
Às organizações
de todas as
que mantiveram e
origens e
Deming aprimoraram o nível de
finalidades Anual
Grand Prize TQM por mais de três
que tenham
anos após receberem o
recebido o
Prêmio Deming.
Deming Prize

Quadro 1: Tipos de prêmios concedidos pela Juse. Fonte: Adaptado


de Juse (2019).

O comitê de consulta sobre gestão da qualidade


(Committee Quality Management Consultation) da
Juse é dividido em comitês menores e direcionados

14
a cada uma das premiações. Ele revisa anualmente
os critérios de elegibilidade e avaliação dos interes-
sados em concorrer aos prêmios.

Os critérios e pontuações em vigor para 2019 es-


tão expostos na Figura 4, sendo que um candidato
pode considerado elegível às premiações se pa-
gar as devidas taxas para participação e, ao longo
das avaliações, obtiver um mínimo de 70 pontos
(JUSE, 2019).

Figura 4: Critérios de avaliação e pontuações para o Prêmio Deming.


Fonte: Juse (2019, p. 34).

15
Modelo de Excelência da Gestão
(MEG)
O Modelo de Excelência da Gestão (MEG) é mantido
pela Fundação Nacional da Qualidade (FNQ), entida-
de cuja missão é “estimular e apoiar as organizações
brasileiras no desenvolvimento e na evolução de sua
gestão para que se tornem sustentáveis, cooperati-
vas e gerem valor para a sociedade e outras partes
interessadas” (FNQ, 2016, p. 5).

O propósito do MEG é fornecer uma referência para


organizações de todos os portes e finalidades, in-
teressadas em melhorar suas práticas de gestão,
ou ainda, organizações que desejam saber o grau
de maturidade de seu sistema de gestão. A edição
vigente do MEG, 21ª, foi publicada em 2016 e é com-
posta por oito fundamentos inter-relacionados de
forma sistêmica e não prescritiva (FNQ, 2016). Eles
se desdobram em temas e processos, demonstrados
pela Figura 5.

16
APRENDIZADO ORGANIZACIONAL E
INOVAÇÃO

GERAÇÃO DE
ADAPTABILIDADE VALOR

PENSAMENTO
SISTÊMICO

AD A
RM Ç

A
O N
SF A
AN E
R
TR D
LI

O OR
SS P
R
FE ÃO
O AÇ
DESENVOLVIMENTO

PR ENT
SUSTENTÁVEL

RI
O

COMPROMISSO
COM AS PARTES
INTERESSADAS

Figura 5: Oito fundamentos de excelência do MEG. Fonte: FNQ (2019).

Para a FNQ (2016, p. 7), “uma organização é conside-


rada excelente quando atende de forma equilibrada a
todos os Fundamentos da Excelência, com um grau
de maturidade elevado de seu sistema de gestão”.

O MEG fornece bases para diagnosticar a qualidade e a


excelência em gestão, além de ser a referência utilizada
pela FNQ para reconhecer anualmente as organizações
que se destacam pela excelência de seus sistemas de
gestão, através do Prêmio Nacional da Qualidade (PNQ).

Assim como as demais premiações, o PNQ conta com


avaliações in loco e documentais, fundamentadas no
O que seria isso?
17
detalhamento dos critérios anteriormente descritos e na
atribuição de pontuações, como apresentado na Tabela 3.
LIMITE
MÁXIMO
FUNDAMENTO
POSSÍVEL DE
ESCOLHA

1. PENSAMENTO SISTÊMICO 65

Alinhamento 30

Tomada de Decisão 35

2. COMPROMISSO COM AS PARTES INTERESSADAS 185

Requisitos das Partes Interessadas 30

Relacionamento com as Partes Interessadas 30

Clientes 45

Fornecedores 35

Força de Trabalho 45

3. APRENDIZADO ORGANIZACIONAL E INOVAÇÃO 125

Aperfeiçoamento 30

Competências Essenciais 30

Gestão do Conhecimento 35

Inovação 30

4. ADAPTABILIDADE 65

Capacidade de Mudar 35

Flexibilidade 30

5. LIDERANÇA TRANSFORMADORA 170

Valores e Princípios 30

Governança 35

Cultura Organizacional 30

Olhar para o Futuro 45

Sucessão 30

6. DESENVOLVIMENTO SUSTENTÁVEL 105

Econômico-financeiro 35

Ambiental 35

Social 35

7. ORIENTAÇÃO POR PROCESSOS 105

18
Informações Organizacionais 35

Gestão por Processos 40

Produtos 30

TOTAL - PROCESSOS 550

8. GERAÇÃO DE VALOR

Geração de resultados econômico-financeiros 110

Geração de resultados ambientais 70

Geração de resultados sociais 70

Geração de resultados relativos aos clientes 110

Geração de resultados relativos à força de trabalho 90

Geração de resultados relativos aos fornecedores 60

Geração de resultados dos produtos e processos 80

TOTAL - RESULTADOS 450

TOTAL - GERAL 1000

Tabela 3: undamentos e pontuações máximas possíveis no PNQ.


Fonte: Adaptada de FNQ (2019).

SAIBA MAIS
Reforce sua compreensão sobre os oito funda-
mentos de excelência do MEG acessando o se-
guinte vídeo, desenvolvido pela FNQ:

https://www.youtube.com/watch?v=Zu0IvPU3_xc.
Além disso, o canal da FNQ no YouTube e a video-
teca de seu site oferecem diversas palestras, aná-
lises e webinars sobre excelência em gestão, apli-
cações do MEG e casos de sucesso. Visite o canal
clicando em https://www.youtube.com/user/fnq-
gestao/featured. A videoteca está disponível em:
http://fnq.org.br/aprenda/videoteca/inicio.

19
Comparativo entre os modelos
de avaliação
Identificar as diferenças entre os modelos de avalia-
ção pode ajudar a escolher qual deles melhor aten-
de às necessidades da organização que se deseja
diagnosticar a qualidade.

FIQUE ATENTO
Não é preciso que uma organização esteja ne-
cessariamente sediada no país de origem do mo-
delo de avaliação para que seja possível seguir
os critérios de tal modelo e realizar seu diagnósti-
co da qualidade, tampouco é necessário pagar as
taxas mencionadas nos tópicos anteriores para
implantar tais modelos – elas apenas são reque-
ridas das organizações que desejam participar
das premiações.

Para adotar um dos modelos de avaliação, a or-


ganização como um todo, especialmente os in-
tegrantes de sua Alta Direção, deve direcionar os
objetivos, as metas e as ações inerentes à sua
estratégia, tática e operações para atender aos
requisitos do modelo eleito.

É responsabilidade da Alta Direção: assegurar re-


cursos materiais e financeiros; preparar e acom-
panhar o desempenho de todos os integrantes da
organização; e comunicar adequada e frequente-
mente todos os níveis organizacionais sobre a

20
evolução e os resultados advindos da adoção do
modelo escolhido.

Além disso, todas as ações de medição e acom-


panhamento de resultados também devem seguir
as premissas e orientações do modelo avaliativo
escolhido para diagnosticar a qualidade (CARPI-
NETTI, 2016; PALADINI, 2011).

Observando atentamente os modelos avaliativos apre-


sentados, nota-se que eles têm finalidades, critérios e
pontuações semelhantes, especialmente os modelos
MBNQA e EFQM. Por este motivo, Carpinetti (2016)
desenvolveu a comparação exibida na Tabela 4, a qual
foi atualizada com as informações vigentes até 2019.

EFQM MBNQA
Critério Pontuação Critério Pontuação

Liderança 100 Liderança 120

Estratégia 80 Estratégia 85

Pessoas 90 Pessoas 85

Parcerias e recursos 90 - -

Processos, produtos e
140 Operações 85
serviços

Resultados clientes 200

Resultados pessoas 90
Resultados 450
Resultados sociedade 60

Resultados negócio 150

Medição, análise e ges-


- - 90
tão do conhecimento

Total 1000 Total 1000

Tabela 4: Comparativo entre prêmios EFQM e MBNQA. Adaptada de


Carpinetti (2016), EFQM (2012) e Nist (2018).

21
A comparação de Carpinetti (2016) permite notar
que as diferenças entre EFQM e MBNQA são sutis.
Contudo, com a 21ª edição do MEG, o PNQ passou a
ter características diferentes, dificultando uma com-
paração direta entre seus critérios e os critérios dos
prêmios europeu e americano. Já o Prêmio Deming
se distingue dos três anteriores não apenas por sua
pontuação máxima, 300 pontos, mas também por
seguir critérios voltados à aplicação prática do TQM.

Outra possibilidade para decidir qual modelo de ava-


liação adotar é observar casos de organizações simi-
lares e analisar os resultados que elas alcançaram a
partir ao aplicar um dos prêmios mencionados neste
módulo. Isto pode ser equiparado a uma ação de
benchmarking, ou seja, as organizações observadas
podem ser um marco ou referência a ser seguida
para nortear a adoção de um modelo de avaliação
para diagnosticar a qualidade (CARPINETTI, 2016).

Ainda assim, pode-se chegar à conclusão que a me-


lhor solução é desenvolver um modelo próprio para
diagnosticar a qualidade. Independente da adoção
de um modelo consagrado ou adaptado às carac-
terísticas da organização a ser avaliada, diversas
ferramentas e técnicas precisam ser utilizadas para
viabilizar o diagnóstico. Elas são o assunto do pró-
ximo tópico.

22
FERRAMENTAS E TÉCNICAS
PARA DIAGNOSTICAR A
QUALIDADE
Neste tópico, são apresentadas algumas das ferra-
mentas e técnicas mais utilizadas na composição de
um diagnóstico da qualidade, seja ele pautado por
modelos de avaliação prontos, ou por métodos de-
senvolvidos para uso exclusivo em uma organização.

Ciclo PDCA
Também conhecido como Ciclo de Shewhart ou
Ciclo de Deming-Shewhart, o Ciclo PDCA é um dos
processos mais conhecidos e amplamente aplica-
dos em prol da solução de problemas e também da
melhoria contínua nas organizações (BOND, BUSSE,
PUSTILNICK, 2014; CARPINETTI, 2016). Ele consiste
na aplicação cíclica e sequencial de quatro etapas,
ilustradas na Figura 6.

23
Act Plan
(agir) (planejar)

Definir
metas
Agir em função Determinar
dos resultados métodos para
verificados atingir as metas

Verificar efeitos/ Educar e


resultados da treinar
tarefa excecutada
e suas causas
Excecutar
as tarefas

Do
Check (fazer)
(verificar)

Figura 6: Etapas do Ciclo PDCA. Fonte: Adaptada de Bond, Busse e


Pustilnick (2014), Carpinetti (2016) e Oliveira (2017).

Carpinetti (2016) e Oliveira (2017) esclarecem as


etapas do Ciclo PDCA:
• A primeira etapa, “planejar”, consiste na identifica-
ção do problema, seus efeitos e suas causas, culmi-
nando na elaboração de metas e planos de ação dire-
cionados à solução das causas-raízes identificadas.
• Tais metas e planos são colocados em prática
na etapa “fazer”, a qual também abrange todas as
ações de treinamento e desenvolvimento da equipe
responsável por executar o plano de ação anterior-
mente elaborado.
• Na terceira etapa, “verificar”, os resultados alcança-
dos são comparados com as metas e planos propos-

24
tos na etapa “planejar”. Todos os possíveis desvios e
sucessos devem ser identificados para que, na etapa
final, “agir”, sejam tratados da seguinte forma: des-
vios e/ ou metas devem ser corrigidos, assim como
sucessos devem ser padronizados e disseminados
pela organização.
• Como a etapa “verificar” pode resultar na identifica-
ção de problemas ou oportunidades de melhoria não
percebidas na etapa “planejar”, a etapa “agir” pode
implicar na realização de um ou mais Ciclos PDCA.
• As iterações do Ciclo devem acontecer até que os
resultados desejados sejam atingidos.

O uso do Ciclo PDCA incrementa as chances de diagnos-


ticar a qualidade com sucesso, porque permite identifi-
car falhas e oportunidades de melhoria (BOND, BUSSE,
PUSTILNICK, 2014; CARPINETTI, 2016; OLIVEIRA, 2017).
Confira um exemplo de como aplicá-lo ouvindo PDCA
como aliado do diagnóstico da qualidade.

Podcast 1

SAIBA MAIS
Quando o Ciclo PDCA é utilizado sem interrup-
ções, a melhoria contínua da qualidade de produ-
tos, serviços e processos tem grandes chances
de ser atingida. Este processo é chamado pelos
japoneses de kaizen, cujo significado pode ser
compreendido como “mudar para melhor” (CAR-
PINETTI, 2016; OLIVEIRA; 2017).

25
Método de Análise e Solução de
Problemas (Masp)
O Masp, ou Quality Control Story, ou ainda QC Story,
pode ser considerado um aprimoramento do Ciclo
PDCA. Ele divide as quatro etapas do PDCA em nove
objetivos específicos, para aprimorar o direciona-
mento de esforços em prol da melhoria contínua
(CARPINETTI, 2016). Suas características podem
ser observadas na Figura 7.
Fase do
Etapa MASP Objetivo da Etapa
PDCA

Definir claramente o
Identificação
1 do problema
problema e a necessidade
de melhoria

Investigar as características
Plan 2 Observação
específicas do problema

Descobrir as causas
3 Análise
fundamentais do problema

Conceber um plano para


Plano de
4 ação
bloquear as causas
fundamentais

Bloquear as causas
Do 5 Ação
fundamentais

Verificar se o bloqueio
6 Verificação
foi efetivo

Check
7 (Bloqueio foi efetivo?)

Prevenir contra o
8 Padronização reaparecimento do
problema
Act
Documentar todo o
9 Conclusão processo para
recuperação futura

Figura 7: Etapas do Método de Análise e Solução de Problemas. Fonte:


Adaptado de Carpinetti (2016).

26
REFLITA
As terminologias do Ciclo PDCA e do Masp apre-
sentam várias semelhanças, ainda que o Masp
seja mais detalhado que o PDCA. Perceber tais
sutilezas pode lhe ajudar no processo decisório
necessário para escolher qual seria mais aplicá-
vel, compreensível ou aceito na organização em
que você atua. Portanto, analise todas as ferra-
mentas e técnicas a seguir com esta mesma pos-
tura crítica.

A aplicação do Masp ou do Ciclo PDCA é mais bem-


-sucedida quando complementada pelo uso das ferra-
mentas e técnicas abordadas nos próximos tópicos.

Checklist (Folha de verificação)


Checklists são ferramentas simples, porém frequen-
temente aplicadas para conferir, coletar ou apresen-
tar dados de um diagnóstico da qualidade. Podem
envolver números ou marcações simples de con-
ferência. Além disso, podem complementar outras
ferramentas apresentadas neste módulo (CUSTÓDIO,
2015). Exemplos podem ser conferidos na Figura 8
e na tabela 5.

27
Tipo Rejeitados Subtotal

Marcas 32

Trincas 23

Incompleto 48

Distorção 4

Outros 8

Total Geral 115

Total
rejeitados 86

Figura 8: Exemplos de checklists. Fonte: Carpinetti (2016, p. 78) e


Custódio (2015, p. 24).

Fornecedores
Critérios de avaliação A B C D
Peças recebidas 200 300 4000 150
Peças com defeito 2 15 300 50
Porcentagem de defeito 1% 5% 8% 33%

Tabela 5: Exemplos de checklists. Fonte: Carpinetti (2016, p. 78) e


Custódio (2015, p. 24).

Estratificação
Estratificar é uma técnica útil para o diagnóstico da
qualidade, porque permite agrupar e/ou dividir dados
em grupos ou subgrupos de acordo com caracterís-

28
ticas que os distingam uns dos outros, denominadas
“fatores”. Esta organização possibilita a percepção
dos motivos pelos quais os dados variam. Carpinetti
(2016) e Paladini (2011) sugerem alguns fatores de
estratificação: equipes ou funcionários, turnos, ma-
quinário ou local de produção/prestação do serviço
e matéria-prima.

Para estratificar, deve-se perguntar: há alguma di-


ferença nos dados quando ocorre certo “fator de
estratificação”? Exemplos:
• Há alguma diferença nos resultados de equipes
diferentes?
• Há alguma diferença nos lotes produzidos pelos
diferentes turnos?
• Há alguma diferença na qualidade dos produtos
finais conforme a matéria-prima utilizada?

Diagrama ou Gráfico de Pareto


Criado por Vilfredo Pareto em estudo realizado no
final do século 19, no qual se observou que 80% das
riquezas estavam em posse de apenas 20% da popu-
lação, o princípio de Pareto foi amplamente divulga-
do pela obra de Joseph Moses Juran (CARPINETTI,
2016; CUSTÓDIO, 2015). Sob a ótica organizacional,
este princípio assumiu uma forma gráfica capaz de
revelar que cerca de 80% dos problemas encontrados
em um processo têm origem em aproximadamente
20% das causas geradoras de tais problemas.

29
A construção de um diagrama de Pareto geralmente
se inicia com a coleta de dados, organizados por che-
cklists ou tabelas, e sua posterior estratificação. Em
seguida, deve-se “ordená-los de forma decrescente
quanto às suas quantidades, calcular o percentual
de participação individual de cada item e, posterior-
mente, calcular o percentual acumulado” (CUSTÓDIO,
2015, p. 25), como demonstrado na Figura 9.

70 100% 100,0%
98,6%
95,9%
91,2%
90,0%
60 60
40,5% 84,5%
80,0%
74,3%
50 70,0%

60,8%
60,0%
40
50,0%
40,5%
30 30
20,3% 40,0%

20 20 30,0%
13,5%

15 20,0%
10,1%

10 10
6,8%
7 10,0%
4,7% 4
2,7% 2
0 2,7%
0,0%
Falhas na Atraso na Falha na Itens Itens Caixa Falta de Itens
quantidade entrega nota fiscal vencidos trocados danificada nota fiscal danificados
entregue

Figura 9: Exemplo de diagrama de Pareto. Fonte: Adaptada de


Carpinetti (2016) e Custódio (2015).

Dentre as aplicações possíveis para o diagrama de


Pareto, Custódio (2015) e Oliveira (2017) destacam:
• Priorização de tratativas de não conformidades,
segundo a incidência;

30
• Identificação das causas mais frequentes de des-
vios ou não conformidades;
• Fornecimento de bases para aplicar ferramentas
de análise de causa de desvios, como Cinco Porquês
e Diagrama de Causa e Efeito;
• Priorização de projetos de melhoria conforme o
retorno previsto.

FIQUE ATENTO
O exemplo da Figura 9 permite entender que os
principais desvios a tratar são: falhas na quanti-
dade entregue, atraso na entrega, falha na nota
fiscal e itens vencidos. Contudo, o percentual
acumulado destes desvios excede os 80% esta-
belecidos pelo princípio de Pareto. Como proce-
der em casos assim?

• Se houver recursos suficientes e disponíveis


(tempo, mão de obra, orçamento, materiais
etc.), sugere-se priorizar as análises de causa
e tratativas dos quatro desvios supracitados.

• Caso não haja recursos disponíveis ou sufi-


cientes, sugere-se priorizar os três primeiros
desvios identificados, a começar por falhas
na quantidade entregue.

Não entendi, pesquisar

31
Histograma
Oliveira (2017) e Custódio (2015) esclarecem que
não apenas as quantidades de dados são relevantes
para se produzir um diagnóstico da qualidade, mas
também importam as formas pelas quais estes da-
dos se distribuem. “Distribuições de frequência têm
o poder de mostrar, de forma resumida, o número de
vezes (frequência) em que o valor da variável que
está sendo medida ocorre em intervalos especifica-
dos (classe)” (OLIVEIRA, 2017, p. 65).

Nestes casos, é necessário recorrer ao gráfico de


barras denominado histograma, para retratar distri-
buições de frequências de dados e oferecer condi-
ções de diagnosticar os motivos que ocasionaram
tais distribuições.

Histogramas podem ser criados com apenas cinco


passos (OLIVEIRA, 2017, p. 66):

1. Coletar dados e ordená-los sequencialmente.

2. Escolher o número de classes e determinar o


tamanho da classe.

3. Determinar os valores extremos para cada classe.

4. Contar e registrar o número de elementos em


cada classe.

5. Construir o diagrama de barras.

Contudo, alguns cuidados em seu preparo devem ser


observados, como decidir qual a unidade de medida a

32
utilizar em toda a coleta de dados e assegurar que ao
menos 100 verificações sejam feitas (CUSTÓDIO, 2015).

A Figura 10 traz um exemplo de histograma relativo


à distribuição de frequência de larguras de certo lote
de peças. A largura mínima aceitável da peça em
questão é 9,7 cm e a máxima é 10,3 cm.

35

30

25
Frequências

20

15

10

0
9,00 - 9,19

9,20 - 9,39

9,40 - 9,59

9,60 - 9,79

9,80 - 9,99

10,00 - 10,19

10,40 - 10,59

10,60 - 10,79

10,80 - 10,99
10,20 - 10,39

Larguras (em cm)

Figura 10: Exemplo de histograma. Fonte: Custódio (2015, p. 28).

Note que os resultados do histograma da Figura 10


indicam que peças foram produzidas com larguras
acima e abaixo dos limites especificados, represen-
tando desvios no processo produtivo, os quais pre-
cisam ter suas causas diagnosticadas.

33
Fluxograma
Trata-se de uma representação gráfica que ilustra
a sequência em que o processo, a atividade ou a
tarefa deve ocorrer, tanto em ambientes industriais
como de prestação de serviços. Fluxogramas per-
mitem comparar diferenças entre as orientações
dadas para a execução de um processo e sua efetiva
prática no cotidiano da organização. Tais diferenças
representam uma fonte valiosa de informações para
a composição de diagnósticos da qualidade. São
encontrados em documentos impressos ou eletrô-
nicos e podem ser acompanhados por orientações
por escrito (CUSTÓDIO, 2015; LOBO, 2010).

Há diversos tipos de fluxograma e simbologia para


representar ações e decisões inerentes a um proces-
so. A Figura 11 traz um fluxograma elaborado a partir
da notação American National Standards Institute
(Ansi); a Figura 12, um fluxograma vertical.

34
Início

Setor de
expedição
detecta defeito

Expedição envia
produto para
recuperação

Setor de
recuperação
analisa produto

Sim Não
Reprovado?

Setor de
recuperação
retrabalha o
1 produto

Setor engenharia
da qualidade
Setor de analisa o produto
expedição
detecta defeito

Não

1 Aprovado?

Sim

Setor engenharia
da qualidade libera
o produto

FIM

Figura 11: Exemplo de fluxograma conforme notação Ansi. Fonte:


Adaptada de Lobo (2010).

35
Símbolos Tipos de rotina

Rotina Atual X
Análise ou
operação
Proposta
Transporte

Execucão ou Setor:
inspeção

Arquivo Efetuado por:


provisório

Arquivo
Data:
efinitivo
Ordem

Setor
Descrição dos
Símbolos passos

Reunião de planeja-
1 mento do produto

Criação da demanda
3

Enviar plano para


4 realização do
programa
Conferir o pla-
5 no com o Dpt�
Marketing

6 publicidade

Realização da pro-
7 moção de vendas

Criação da
8 embalagem

9 de vendas

Assitência ao cliente
10

Arquivar documen-
11 tos de garantia

Figura 12: Exemplo de fluxograma vertical. Fonte: Custódio (2015, p. 19).

36
SAIBA MAIS
Atualmente, a notação mais utilizada para ela-
borar fluxogramas é a Business Process Model
and Notation (BPMN), dada a variedade de sim-
bologias que possui alta aderência com o de-
senvolvimento de aplicativos. Esta notação e as
orientações para aplicá-la estão disponíveis gra-
tuitamente em: www.bpmn.org.

Diagrama ou Gráfico de
Dispersão
Ao diagnosticar a qualidade, pode ser necessário
comparar a relação de causa e efeito entre duas va-
riáveis. Em outras palavras, será necessário entender
como e quanto um assunto X influencia um assunto
Y. Nestes casos, diagramas ou gráficos de dispersão
são indicados, porque ilustram objetivamente as res-
postas para tais dúvidas.

FIQUE ATENTO
Efeitos são sinônimos de sintomas, resultados,
consequências. Causas representam os fatos
geradores dos sintomas, que são os motivos,
os porquês de algo acontecer. Bons diagnósti-
cos da qualidade distinguem efeitos e causas
adequadamente.

37
Na Figura 13, são ilustradas algumas possibilidades
de gráficos de dispersão. Quando a presença de uma
variável X faz com que uma variável Y também esteja
mais presente, a correlação é considerada positiva,
como mostra o gráfico (a). O contrário também é válido,
demonstrado no gráfico (b): quando uma variável X se
torna mais presente e, por conta disso, a variável Y tor-
na-se menos frequente, tem-se uma correlação negativa
entre as variáveis. Outra possibilidade é a inexistência
de relação entre as variáveis, caso do gráfico (c).

y y y

x x x
Correlação Correlação Correlação
positiva negativa negativa
(a) (b) (c)

Figura 13: Gráfico de dispersão: correlação positiva (a), negativa (b)


e inexistente (c). Fonte: Carpinetti (2016, p. 90).

Oliveira (2017, p. 69) recomenda estes passos para


criar gráficos de dispersão: “seleção das variáveis;
coleta dos dados em pares; construção do sistema
de eixos cartesianos; plotagem dos pares”. Sugere-se
também recorrer ao apoio de aplicativos geradores
de planilhas e suportados por recursos estatísticos
para o melhor proveito da ferramenta.

38
Diagrama de causa e efeito ou
diagrama de Ishikawa
Para analisar os motivos pelos quais um efeito
acontece, uma das ferramentas mais presentes nos
diagnósticos da qualidade é o diagrama de causa e
efeito, também conhecido por diagrama de Ishikawa,
sobrenome de seu criador, ou ainda por diagrama
“espinha de peixe”, devido ao seu formato. Sua apli-
cação mais comum acontece após a identificação de
efeito indesejado em um processo, ou seja, ele escla-
rece a relação entre o problema (efeito) identificado
e os motivos (causas) geradores deste problema
(CARPINETTI, 2016; LOBO, 2010).

Os eixos do diagrama de Ishikawa, chamados de


“seis M”, estão ilustrados na Figura 14, com explica-
ções em letras azuis. Estes eixos agrupam as pos-
síveis de causas de um problema, as quais variam
caso a caso. Todos os eixos devem ser investigados,
porém são preenchidos apenas quando causas forem
identificadas.

39
Mão de obra
Qualificação ou preparo
do executanteda tarefa
Meio Ambiente
Layout, espaço
disponível, mobilia,
etc. Funcionários não treinados

Método
Regras para executar
tarefa, procedimentos,
intruções de trabalho,
normas, etc.

- Falhas na aplicação do
Medição procedimento de treinamento
Presença ou não se
indicadores, sua forma - Falhas no cumprimento da
de cálculos e fontes, política de entrega em 24h
uso de seus
resultados

- Falhas na previsão de Máquina


demanda
- Analistas desconsideravam
Maquinário, sistemas,
a sazonalidade computadores e
aplicativos.

Matéria-prima
Insumos físicos,
informações, bancos de
dados

Problema
falha nas quantidades
entregues

Figura 14: Exemplo de diagrama de Ishikawa. Fonte: Adaptada de


Carpinetti (2016), Custódio (2015) e Lobo (2010).

40
O desdobramento verificado no eixo Medição aconte-
ce apenas quando se questiona o motivo pelo qual as
“falhas na previsão de demanda” ocorreram. Durante
o preparo de um diagrama de Ishikawa, é vital se
questionar e buscar evidências dos motivos pelos
quais um efeito acontece, preferencialmente até al-
cançar as causas raízes de cada efeito.

Por isso, a elaboração do diagrama se beneficia do


uso simultâneo de outra técnica, denominada “Cinco
Porquês”. Ela consiste em questionar sucessivamen-
te o motivo de certa situação ocorrer e, normalmente,
até a quinta vez que se utiliza o “porquê”, descobre-
-se a causa geradora do efeito (CUSTÓDIO, 2015;
OLIVEIRA, 2017).

Dificilmente as ferramentas e técnicas menciona-


das neste módulo são utilizadas de modo isolado.
Conheça um exemplo sobre como utilizar ao mes-
mo tempo diferentes recursos ouvindo Aplicando
simultaneamente ferramentas e técnicas distintas
na composição de um diagnóstico da qualidade.

Podcast 2

41
CONCLUSÃO
Neste módulo, você foi apresentado a uma série de
modelos de avaliações oriundos de diferentes paí-
ses, voltados a guiar o diagnóstico da qualidade em
qualquer tipo de organização.

A adoção destes modelos é voluntária e, usualmente,


são aplicados por organizações que já praticam a
gestão da qualidade com sucesso há algum tem-
po. Por esta razão, e também porque os modelos
podem não ser plenamente aderentes à cultura da
organização interessada em diagnosticar e promo-
ver a qualidade, é possível desenvolver modelos de
avaliação próprios, adaptados às características de
tal organização.
Em todos os casos, o uso de ferramentas e técnicas
será fundamental para o sucesso do diagnóstico que
você deseja fazer sobre a qualidade efetivamente
praticada. Diversas ferramentas foram apresentadas
a você, bem como foi enaltecida a importância de
aplicá-las simultaneamente.

Contudo, o uso de tais ferramentas e técnicas pode


ser ainda mais sucedido se for complementado por
indicadores de desempenho adequados e pela apli-
cação de diversos recursos oferecidos pelo Controle
Estatístico de Processos (CEP), assuntos dos próxi-
mos Módulos 3 e 4. Até lá!

42
Síntese

DIAGNÓSTICO DA QUALIDADE

Um dos passos mais significativos em direção ao


uso real da qualidade no cotidiano organizacional
é determinar como o diagnóstico da qualidade
acontece na prática.
Há uma série de fatores que o estudante precisa
considerar, como a cultura da organização, os
produtos e/ou serviços por ela ofertados, o
mercado em que atua, os requisitos legais e
concorrenciais a que ela precisa obedecer, sua
relação com clientes, fornecedores e demais
stakeholders.

As opções para atender o propósito de


diagnosticar a qualidade são variadas.
Inicialmente, há que se considerar a aplicação de
modelos de avaliação consagrados, desenvolvidos
e mantidos por entidades de diversas
nacionalidades, dedicada a promover a qualidade
nas organizações. Merecem especial atenção os
seguintes modelos de avaliação da qualidade: o
Malcolm Baldrige National Quality Award, do
National Institute of Standards and Technology
(Nist); o Modelo de Excelência da European
Foundation for Quality Management (EFQM); o
Prêmio Deming, da Japanese Union of Scientists
and Engineers (Juse); e o Modelo de Excelência
da Gestão, da Fundação Nacional da Qualidade
(FNQ).

Ainda que sejam muito consistentes e relevantes,


tais modelos podem deixar de oferecer aderência
plena às características de determinadas
organizações, especialmente aquelas que estão
iniciando sua jornada nos assuntos da qualidade.
Nestes casos, as melhores soluções consistem em
desenvolver modelos próprios de diagnóstico da
qualidade.

Seja com aplicação de modelos de avaliação


externos ou customizados, o estudante precisará
contar com ferramentas e técnicas amplamente
conhecidas, capazes de facilitar a análise dos
dados necessários na composição de um
diagnóstico.

Diagramas de dispersão, gráficos de Pareto e


diagramas de Ishikawa são exemplos de recursos
fundamentais para que um diagnóstico forneça
informações precisas e relevantes sobre a
qualidade efetivamente praticada em uma
organização.

Neste módulo, o estudante é apresentado a


características, critérios, pontos positivos e
cuidados ao praticar, escolher e aplicar modelos
de avaliação, ferramentas e técnicas para
diagnosticar a qualidade.
Referências
ASQ. What is the Malcolm Baldrige National Quality
Award? Disponível em: https://asq.org/quality-resour-
ces/malcolm-baldrige-national-quality-award. Acesso
em: 12 fev. 2019.

BOND, M. T.; BUSSE, A.; PUSTILNICK, R. Qualidade to-


tal: o que é e como alcançar. São Paulo: InterSaberes,
2014.

CARPINETTI, L. C. R. Gestão da qualidade: conceitos


e técnicas. 3. ed. São Paulo: Atlas, 2016.

CUSTÓDIO, M. F. (Org.). Gestão da qualidade e pro-


dutividade. São Paulo: Pearson Education do Brasil,
2015.

EFQM − EUROPEAN FOUNDATION FOR QUALITY


MANAGEMENT. O modelo de excelência da EFQM
2013. Brussels: EFQM, 2012.

FNQ − FUNDAÇÃO NACIONAL DA QUALIDADE.


Modelo de excelência da gestão (MEG) − Guia de
Referência de Excelência da Gestão. 2016. Disponível
em: http://www.fnq.org.br/guia_referencia_MEG_21_
abril_16.pdf. Acesso em: 10 fev. 2019.
FNQ − FUNDAÇÃO NACIONAL DA QUALIDADE.
Modelo de Excelência da Gestão. 2019. Disponível
em: http://fnq.org.br/aprenda/metodologia-meg/mo-
delo-de-excelencia-da-gestao. Acesso em: 10 fev.
2019.

JUSE − Union of Japanese Scientists and Engineers.


The Application Guide for The Deming Prize and The
Deming Grand Prize. 2019. Disponível em: https://
www.juse.or.jp/upload/files/DP_en_oubo2019.pdf.
Acesso em: 10 fev. 2019.

LOBO, R. N. Gestão da qualidade. São Paulo: Érica,


2010.

NIST – NATIONAL INSTITUTE OF STANDARDS AND


TECHNOLOGY. 2019-2020 Baldrige Excellence
Framework: Leadership and Management Practices
for High Performance. Gaithersburg: Nist, 2018.

OLIVEIRA, O. J. Curso básico de gestão da qualidade.


São Paulo: Cengage Learning, 2017.

PALADINI, E. P. Avaliação estratégica da qualidade.


2. ed. São Paulo: Atlas, 2011.

Você também pode gostar