Como sistemas complexos falham

(Sendo um pequeno tratado sobre a natureza do fracasso; Como a falha é avaliada; Como a falha
é atribuída à causa imediata; e o novo entendimento resultante da segurança do paciente)
Richard I. Cook, MD Cognitive technologies Laboratory
University of Chicago

1) Sistemas complexos são sistemas intrinsecamente perigosos.

Todos os sistemas interessantes (por exemplo, transporte, saúde, geração de energia) são
inerentemente e inevitavelmente perigosos por sua própria natureza. Às vezes, a frequência da
exposição ao perigo pode ser alterada, mas os processos envolvidos no sistema são intrinsecamente
e irredutivelmente perigosos. É a presença desses perigos que impulsiona a criação de defesas
contra perigos que caracterizam esses sistemas.

2) Os sistemas complexos são fortemente defendidos com sucesso contra falhas.

As altas consequências da falha levam ao longo do tempo à construção de múltiplas camadas de
defesa contra a falha. Essas defesas incluem componentes técnicos óbvios (por exemplo, sistemas
de backup, recursos de “segurança’’do equipamento) e componentes humanos (por exemplo,
treinamento, conhecimento), mas também uma variedade de defesas organizacionais, institucionais
e regulatórias (por exemplo, políticas e procedimentos, certificação, regras de trabalho, treinamento
da equipe). O efeito dessas medidas é fornecer uma série de escudos que normalmente desviam as
operações de acidentes.

3) Catástrofe requer falhas múltiplas – falhas pontuais não são suficientes.

O conjunto de defesas funciona. As operações do sistema geralmente são bem-sucedidas. A falha
catastrófica evidente ocorre quando falhas pequenas e aparentemente inócuas se juntam para criar
oportunidade para um acidente sistêmico. Cada uma dessas pequenas falhas é necessária para
causar uma catástrofe, mas apenas a combinação é suficiente para permitir a falha. Dito de outra
forma, há muito mais oportunidades de falha do que acidentes explícitos do sistema. A maioria das
trajetórias iniciais de falha são bloqueadas por componentes de segurança dos sistemas projetados.
Trajetórias que chegam ao nível operacional são em sua maioria bloqueadas, geralmente por
especialistas.

4) Sistemas complexos contêm misturas variáveis de falhas latentes dentro deles.

A complexidade desses sistemas impossibilita que eles sejam executados sem a presença de várias
falhas. Como estes são individualmente insuficientes para causar falha, eles são considerados
mínimos ou fatores durante as operações. A erradicação de todas as falhas latentes é limitada
principalmente pelo custo econômico, mas também porque é difícil, antes do fato, ver como tais
falhas podem contribuir para um acidente. As falhas mudam constantemente devido à mudança de
tecnologia, organização do trabalho e esforços para erradicar as falhas.

5) Sistemas complexos são executados em modo degradado.

Um corolário do ponto anterior é que sistemas complexos funcionam como sistemas quebrados. O
sistema continua a funcionar porque contém muitas redundâncias e porque as pessoas podem fazê-
lo funcionar, apesar da presença de muitas falhas. Após revisões de acidentes quase sempre
observam que o sistema tem um histórico de “quase acidentes/falhas” anteriores que quase geraram
uma catástrofe. Argumentos de que essas condições degradadas deveriam ter sido reconhecidas
antes do acidente evidente são geralmente baseados em noções ingênuas de desempenho do
sistema. As operações do sistema são dinâmicas, com componentes (organizacionais, humanos,
técnicos) falhando e sendo substituídos continuamente.
 6) A catástrofe está sempre ao virar da esquina.
Sistemas complexos possuem potencial para falhas catastróficas. Os profissionais estão quase
sempre em proximidade física e temporal com essas falhas potenciais – o desastre pode ocorrer a
qualquer momento e em quase qualquer lugar. O potencial para resultados catastróficos é uma
característica dos sistemas complexos. É impossível eliminar o potencial para tal falha catastrófica;
o potencial para tal falha está sempre presente pela própria natureza do sistema.

7) Pós-acidente, um acidente de atribuição a uma “causa raiz” é fundamentalmente

errado.
Como a falha evidente requer falhas múltiplas, não há uma “causa” isolada para um acidente.
Existem vários contribuintes para os acidentes. Cada um deles é necessário insuficiente em si
mesmo para criar um acidente. Somente conjuntamente essas causas são suficientes para criar um
acidente. Com efeito, é a ligação destas causas que cria as circunstâncias necessárias para o
acidente. Assim, não é possível isolar a “causa raiz” de um acidente. As avaliações baseadas em tal
raciocínio como “causa raiz” não refletem uma compreensão técnica da natureza da falha, mas sim
a necessidade social e cultural de culpar forças ou eventos específicos e localizados pelos
resultados.1

8) A retrospectiva distorce as avaliações pós-acidente do desempenho humano.

O conhecimento do resultado faz parecer que os eventos que levaram ao resultado deveriam ter
parecido mais salientes para os profissionais na época do que realmente era o caso. Isso significa
que a análise de acidente a posteriori do desempenho humano é imprecisa. O conhecimento do
resultado envenena a capacidade dos observadores pós-acidente de recriar a visão dos profissionais
antes do acidente desses mesmos fatores. Parece que os profissionais “deveriam saber” que os
fatores “inevitavelmente” levariam a um acidente. 2 O viés retrospectivo continua sendo o principal
obstáculo para a investigação de acidentes, especialmente quando está envolvida a atuação humana
especializada.

9) Os profissionais têm papéis duplos: como produtores e como defensores contra o

fracasso.
Os profissionais do sistema operam o sistema para produzir o produto desejado e também
trabalham para evitar acidentes. Essa qualidade dinâmica da operação do sistema, o balanceamento
das demandas de produção contra a possibilidade de falha incipiente é inevitável. Pessoas de fora
certamente reconhecem a dualidade desse papel. Em tempos não acidentados, o papel da produção
é enfatizado. Após os acidentes, o papel da defesa contra falhas é enfatizado. Em ambos os
momentos, a visão de quem está de fora interpreta mal o envolvimento constante e simultâneo do
operador com ambas as funções.

10) Todas as ações dos profissionais são apostas.

Após os acidentes, a falha evidente muitas vezes parece ter sido inevitável e as ações dos
profissionais como erros ou desconsideração deliberada de certa falha iminente. Mas todas as ações
dos profissionais são, na verdade, apostas, ou seja, atos que ocorrem diante de resultados incertos.
O grau de incerteza pode mudar de momento a momento. Que as ações dos profissionais são
apostas fica claro após os acidentes; em geral, a análise após o evento considera essas apostas ruins.
Mas o inverso: os resultados bem-sucedidos também são resultados de apostas; não é amplamente
apreciado.

1 A pesquisa de campo antropológica fornece a demonstração mais clara da construção social da noção de “causa” (cf.
Goldman L (1993), The Culture of Coincidence: acidental and absolute responsabilidade em Huli, Nova York: Clarendon
Press; e também Tasca L (1990), The Social Construction of Human Error, dissertação de doutorado não publicada,
Departamento de Sociologia, State University of New York em Stonybrook.
2 Esta não é uma característica dos julgamentos médicos ou técnicos, mas sim de toda a cognição humana sobre eventos
passados e suas causas.
 11) Ações na extremidade afiada resolvem toda a ambiguidade.
As organizações são ambíguas, muitas vezes intencionalmente, sobre a relação entre metas de
produção, uso eficiente de recursos, economia e custos de operações e riscos aceitáveis de acidentes
de baixa e alta consequência. Toda ambiguidade é resolvida por ações de profissionais na ponta do
sistema. Após um acidente, as ações do profissional podem ser consideradas como “erros” ou
“violações”, mas essas avaliações são fortemente influenciadas pela retrospectiva e ignoram as
outras forças motrizes, especialmente a pressão de produção.

12) Os profissionais são o elemento adaptável de sistemas complexos.

Os profissionais e a gerência de primeira linha adaptam ativamente o sistema para maximizar a
produção e minimizar os acidentes. Essas adaptações geralmente ocorrem momento a momento.
Algumas dessas adaptações incluem: (1) Reestruturar o sistema para reduzir a exposição de partes
vulneráveis a falhas. (2) Concentrar recursos críticos em áreas de alta demanda esperada. (3)
Fornecer caminhos para retirada ou recuperação de falhas esperadas e inesperadas. (4)
Estabelecimento de meios para detecção precoce de alterações no desempenho do sistema, a fim de
permitir reduções graciosas na produção ou outros meios de aumentar a resiliência.

13) A experiência humana em sistemas complexos está em constante mudança

Sistemas complexos requerem experiência humana substancial em sua operação e gerenciamento.
Essa experiência muda de caráter conforme a tecnologia muda, mas também muda devido à
necessidade de substituir os especialistas que saem. Em todos os casos, o treinamento e o
refinamento de habilidades e conhecimentos são parte da função do próprio sistema. A qualquer
momento, portanto, um determinado sistema complexo conterá especialistas e estagiários com
graus variados de especialização. Questões críticas relacionadas à expertise surgem de (1) a
necessidade de usar expertise escassa como um recurso para as necessidades de produção mais
difíceis ou exigentes e (2) a necessidade de desenvolver expertise para uso futuro.

14) A mudança introduz novas formas de fracasso.

A baixa taxa de acidentes evidentes em sistemas confiáveis pode encorajar mudanças,
especialmente o uso de novas tecnologias, para diminuir o número de falhas de baixa consequência,
mas de alta frequência. Essas mudanças podem realmente criar oportunidades para novas falhas de
baixa frequência, mas de alta consequência. Quando novas tecnologias são usadas para eliminar
falhas de sistema bem compreendidas ou para obter desempenho de alta precisão, elas geralmente
introduzem novos caminhos para falhas catastróficas em grande escala. Não raro, essas novas e
raras catástrofes têm um impacto ainda maior do que aquelas eliminadas pela nova tecnologia.
Essas novas formas de fracasso são difíceis de ver antes do fato; atenção é dada principalmente às
supostas características benéficas das mudanças. Como esses novos acidentes de alta consequência
ocorrem em uma taxa baixa, várias mudanças no sistema podem ocorrer antes de um acidente,
tornando difícil ver a contribuição da tecnologia para a falha.

15) Visões de “causa” limitam a eficácia das defesas contra eventos futuros.
Remédios pós-acidente para “erro humano” geralmente são baseados na obstrução de atividades
que podem “causar” acidentes. Essas medidas de fim de cadeia pouco contribuem para reduzir a
probabilidade de novos acidentes. Na verdade, essa probabilidade de um acidente idêntico já é
extraordinariamente baixa porque o padrão de falhas latentes muda constantemente. Em vez de
aumentar a segurança, as soluções pós-acidente costumam aumentar o acoplamento e a
complexidade do sistema. Isso aumenta o número potencial de falhas latentes e também dificulta a
detecção e o bloqueio de trajetórias de acidentes.
 16) A segurança é uma característica dos sistemas e não de seus componentes
A segurança é uma propriedade emergente dos sistemas; não reside em uma pessoa, dispositivo ou
departamento de uma organização ou sistema. A segurança não pode ser comprada ou fabricada;
não é um recurso separado dos outros componentes do sistema. Isso significa que a segurança não
pode ser manipulada como insumos ou matéria-prima. O estado de segurança em qualquer sistema
é sempre dinâmico; a mudança sistêmica contínua garante que o perigo e seu gerenciamento
estejam mudando constantemente.

17) As pessoas continuamente criam segurança.

Operações sem falhas são o resultado de atividades de pessoas que trabalham para manter o sistema
dentro dos limites de desempenho tolerável. Essas atividades são, em sua maioria, parte das
operações normais e superficialmente diretas. Mas como as operações do sistema nunca são isentas
de problemas, as adaptações dos profissionais às condições mutáveis realmente criam segurança a
cada momento. Essas adaptações muitas vezes equivalem apenas à seleção de uma rotina bem
ensaiada a partir de um estoque de respostas disponíveis; às vezes, porém, as adaptações são novas
combinações ou criações de novas abordagens.

18) Operações sem falhas requerem experiência com falhas.

Reconhecer o perigo e manipular com sucesso as operações do sistema para permanecer dentro dos
limites toleráveis de desempenho requer contato íntimo com a falha. É provável que o desempenho
do sistema mais robusto surja em sistemas onde os operadores podem discernir a “borda do
envelope”. É aqui que o desempenho do sistema começa a se deteriorar, torna-se difícil de prever
ou não pode ser prontamente recuperado. Em sistemas intrinsecamente perigosos, espera-se que os
operadores encontrem e apreciem os perigos de maneiras que levem ao desempenho geral
desejável. A segurança aprimorada depende de fornecer aos operadores uma visão calibrada dos
perigos. Também depende de fornecer calibração sobre como suas ações movem o desempenho do
sistema para perto ou para longe da borda do envelope.

Outros materiais:
Cook, Render, Woods (2000). Gaps in the continuity of sare and progress on patient safety. British
Medical Journal 320: 791-4.

Cook (1999). A Brief Look at the New Look in error, safety, and failure of complex systems.
(Chicago: CtL).

Woods & Cook (1999). Perspectives on Human Error: Hindsight Biases and Local Rationality. In
Durso, Nickerson, et al., eds., Handbook of Applied Cognition. (New York: Wiley) pp. 141-171.

Woods & Cook (1998). Characteristics of Patient Safety: Five Principles that Underlie Productive
Work. (Chicago: CtL)

Cook & Woods (1994), “Ope rating at the Sharp End: The Complexity of Human Error,” in MS
Bogner, ed., Human Error in Medicine, Hillsdale, NJ; pp. 255-310.

Woods, Johannesen, Cook, & Sarter (1994), Behind Human Error: Cognition, Computers and
Hindsight, Wright Patterson AFB: CSERIAC.

Cook, Woods, & Miller (1998), A Tale of Two Stories: Contrasting Views of Patient Safety,
Chicago, IL: NPSF, (available as PDF file on the NPSF web site at www.npsf.org).