SEO DE BIOESTATSTICA

ANLISE DE CONCORDNCIA ENTRE MTODOS DE BLAND-ALTMAN

BLAND-ALTMAN ANALYSIS OF AGREEMENT BETWEEN METHODS
1

Vnia Naomi Hirakata , Suzi Alves Camey

RESUMO
Quando se pretende avaliar a concordncia entre dois mtodos que deveriam medir a mesma quantidade, so utilizadas
anlises que nem sempre esto corretas. importante que seja evitado o uso da correlao nestas situaes e que a metodologia seja utilizada de forma adequada, incluindo os limites de concordncia e seus intervalos de confiana, alm de
comentar se os limites encontrados so diferenas aceitveis do ponto de vista clnico. A proposta do presente artigo
apresentar um mtodo bastante simples que j utilizado h bastante tempo, que a anlise de concordncia entre mtodos de Bland-Altman, salientando alguns problemas detectados na sua utilizao. Para isto, foi feita uma simulao de trs
diferentes situaes, com comentrios e solues. O programa R, por ser livre e ter incorporado comandos para a anlise
de Bland-Altman, foi utilizado para a anlise dos resultados.
Palavras-chave: Bland-Altman; metodologia; concordncia
ABSTRACT
When the intention is to evaluate the agreement between two methods that would measure the same quantity, the analyses
used are not always correct. It is important to avoid the use of correlation in these situations and to properly use the metho
dology, including the analysis of limits of agreement and confidence intervals, and to comment on whether the limits are
acceptable differences from a clinical point of view. The purpose of this paper is to present a simple method which has been
already in use for some time, the Bland-Altman analysis of agreement between methods, pointing out some problems encountered with its use. For this, a simulation of three different situations was performed, with comments and solutions. The R
program was used to analyze the results, because its free and has available commands of the Bland-Altman analysis.
Keywords: Bland-Altman; methodology; agreement
Rev HCPA 2009;29(3):261-268
Um tipo de problema bastante comum que
motiva pesquisas na rea biomdica o estudo
de diferentes formas de avaliar alguma medida
clnica que se apresenta de forma quantitativa,
como por exemplo, a presso arterial, a taxa de
filtrao glomerular ou a idade gestacional. O
que se busca so mtodos menos invasivos,
com menos efeitos adversos, mais simples ou
mais baratos do que os considerados "ideais". O
objetivo descobrir se as duas medidas so
equivalentes e se uma poderia substituir a outra,
ou seja, se existe ou no concordncia. O problema que no existe um nico teste estatstico que avalie a variabilidade das diferenas
entre os valores obtidos pelos dois mtodos
(erro) e a prpria diferena entre os valores
(vis) ao mesmo tempo (1). Os dois mtodos
deveriam apresentar um vis aproximadamente
igual a zero e um erro que no tivesse um impacto clnico significativo para que fossem substituveis.
Bland e Altman (1) publicaram em 1983 o
primeiro artigo com uma metodologia alternativa
ao clculo do coeficiente de correlao, metodologia empregada at ento. O coeficiente de
correlao no avalia concordncia e sim associao, coisas bem diferentes. Por exemplo, se
um aparelho fornecesse os valores 80, 95, 96 e
100 mmHg para as medidas de presso arterial
sistlica de quatro indivduos e outro aparelho
fornecesse (para os mesmos indivduos) 90,

105, 106 e 110 mmHg , respectivamente, a correlao seria igual a 1 (r=1, perfeita!), enquanto
a discordncia entre os valores bvia. A metodologia proposta inicialmente por Bland e
Altman para avaliar a concordncia entre duas
variveis (X e Y) parte de uma visualizao grfica a partir de um grfico de disperso entre a
diferena das duas variveis (X - Y) e a mdia
das duas (X + Y)/2. Neste grfico possvel
visualizar o vis (o quanto as diferenas se afastam do valor zero), o erro (a disperso dos pontos das diferenas ao redor da mdia), alm de
outliers e tendncias. Logo em seguida, por
sugesto de colegas da rea clnica, escreveram um artigo em uma linguagem mais apropriada para leitores no estatsticos (2). Em 1995,
por perceberem que, mesmo aps uma publicao voltada ao pblico de interesse (clnicos),
em uma revista vista por eles e utilizando uma
linguagem simples, o coeficiente de correlao
continuava a ser utilizado, e apesar de terem
alcanado um bom impacto, tentaram uma abordagem em uma revista voltada a epidemiologistas (3). Finalmente, em 1999, publicaram o
mais completo e longo artigo explicando detalhadamente o mtodo, enfatizando que a repetibilidade de cada medida tambm deve ser avaliada e detalhando uma forma de clculo dos
limites de concordncia quando existirem replicaes de cada mtodo (4). Atualmente, o mtodo encontra-se bem divulgado, exemplo disso

1. Unidade de Bioestatstica, Grupo de Pesquisa e Ps-Graduao, Hospital de Clnicas de Porto Alegre.

2. Departamento de Estatstica, Instituto de Matemtica, Programa de Ps-Graduao em Epidemiologia, UFRGS.
Contato: Vnia Hirakata. E-mail: vania.hirakata@gmail.com (Porto Alegre, RS, Brasil).

Hirakata VN, Camey AS

que numa busca simples no Pubmed com o

termo "Bland-Altman" no ttulo, foram encontrados 10 artigos em 2008 e 2009, em revistas de
diversas reas. Alm disso, a metodologia j
encontra-se implementada em diversos pacotes
estatsticos. No R, um software livre especfico
de anlise estatstica, existem rotinas prontas
desenvolvidas por usurios que fornecem os
valores e o grfico com os limites de concordncia. No Medcalc e Analyse-it, softwares comerciais, tambm so possveis a visualizao grfica com o vis e os intervalos de concordncia
com apenas um comando.
A proposta do presente artigo mostrar a
utilizao do mtodo num exemplo aplicado,
simulando trs diferentes situaes, bem como
apresentar formas de se realizar estas anlises
no pacote R.

to aplicar o mtodo. Outras, talvez mais simples, so de utilizar a razo entre X e Y (X/Y) no
lugar das diferenas (4) ou o percentual das
diferenas (5) e avaliar a relao entre estes
valores e as mdias.
Quanto preciso dos valores de vis e
dos limites de concordncia, podemos calcular o
erro-padro e os intervalos de confiana, uma
vez que o vis apresente distribuio normal.

MTODOS

tanto o limite inferior teria seu intervalo de confiana calculado por (d 1,96 sd ) t 1,71 EPd e o

Inicialmente, a sugesto que se faa um

grfico de disperso entre as duas medidas,
sem a reta dos mnimos quadrados, mas sim
com a reta da diagonal de concordncia. O prximo passo seria fazer o grfico de
Bland-Altman, um grfico de disperso relacionando as mdias dos dois mtodos (X + Y)/2, no
eixo do X, com o vis (diferena entre eles),
X Y, no eixo do Y. Este grfico permite avaliar
a relao das discordncias com as medidas
avaliadas.
Deve ser avaliado se as diferenas entre
as variveis dependem ou no do tamanho da
medida. Isto pode ser feito atravs de uma correlao entre as diferenas e as mdias, que
deve ser nula. A hiptese do vis ser ou no
igual a zero pode ser testada por um teste t para
amostras emparelhadas. A partir do clculo do
vis ( d ) e do seu desvio-padro (sd) possvel
chegar aos limites de concordncia: d 1,96sd,
que devem ser calculados e includos no grfico.
Se o vis apresenta distribuio normal, estes
limites representam a regio em que se encontram 95% das diferenas nos casos estudados.
Nas situaes em que o vis no apresenta
distribuio normal, recomendada uma abordagem no-paramtrica (4).
No caso de haver relao entre os valores
das diferenas e das mdias, existem diversas
sugestes de tratamento, todas para tentar homogeneizar a variao das diferenas em relao aos tamanhos das medidas. Uma sugesto
aplicar o logaritmo nos valores originais e em

262

Para o vis ( d ), o erro padro ( EPd ) igual

a sd
n , onde n o tamanho da amostra, portanto o intervalo de confiana pode ser calculado assim: d t EPd , com t sendo o valor tabelado da distribuio t para n-1 graus de liberdade.
O erro padro para os limites de concordncia
( d 1,96 sd ) pode ser obtido por 1,71 EPd , por-

limite superior por (d +1,96 sd ) t 1,71 EPd (4).

No clculo do tamanho da amostra para
empregar-se a anlise de concordncia, Bland,
em sua pgina pessoal (6), sugere que seja
calculado considerando a preciso do vis e dos
limites de concordncia, pois, como a deciso
clnica deve ser baseada nos limites de concordncia, importante que os mesmos sejam
precisos. De uma forma geral, ele mostra que,
com uma amostra de 100 possvel estimar os
valores (vis e limites) com um intervalo de confiana de 95% aproximado de 0,34sd e, com
200, um intervalo de 0,24sd.
Bland-Altman no R
O R (7) um programa livre que pode ser
obtido em http://www.r-project.org/. Para informaes sobre como instalar o R e suas bibliotecas veja os seguintes materiais:
Curso sobre R aplicado a Epidemiologia:
Curso R Epi2008
Excelente tutorial sobre R: R tutorial
Aps instalar e executar o R clique em
>Arquivo>Novo Script. Isso far abrir uma janela
em branco onde devero ser escritos os comandos (sintaxe) a serem executados pelo
R (Imagem 1).

Rev HCPA 2009;29(3)

Concordncia Bland-Altman

Imagem 1 - Console do R aps inici-lo e janela de sintaxe.

Na hora de escrever a sintaxe temos que

lembrar que o R diferencia letras maisculas de
minsculas.No mesmo diretrio onde est
armazenado o conjunto de dados deve ser colocado o arquivo bland_altman.r (clique no link
para acess-lo). Na janela da sintaxe colar os
comandos que esto no Quadro 1. As linhas que
comeam com o smbolo # so apenas comen-

trios sobre o comando que est na linha abaixo. Para executar os comandos basta colocar o
cursor na linha que se deseja executar, ou selecionar um bloco de comandos, e digitar
CTRL+R. Os grficos gerados na anlise podem
ser copiados e colados em documentos do Word
ou PowerPoint.

Quadro 1 - Comandos necessrios para fazer as anlises e os grficos.

#comando para carregar a biblioteca que permite ao R ler um arquivo do SPSS

library(foreign)
#comando para especificar o caminho onde se encontra o arquivo do SPSS. No exemplo a seguir o
arquivo encontra-se na pasta Meus Documentos
setwd("C:\\Meus Documentos")
# comando para ler o arquivo do SPSS, considerando os missings. Neste exemplo o nome do arquivo nome_do_arquivo.sav
dados<-read.spss("nome_do_arquivo.sav",to.data.frame = T, use.missings = T)
# comando para exibir os nomes das variveis do SPSS
names(dados)
# comando para carregar o banco de dados
attach(dados)
# carrega a funo para fazer o grfico do Bland-Altman
source("bland_altman.r")
# os nomes das variveis utilizadas nesses comandos so explicadas no exemplo a seguir.
# define n como tamanho da amostra, no nosso exemplo 50
n
<- 50
# comando para realizar o teste t para amostras pareadas entre as variveis dum e eco_1
t.test(dum, eco_1, paired = T)
# comando para calcular o coeficiente de correlao entre as variveis dum e eco_1
correl <- cor.test(dum, eco_1)
correl
# as 3 linhas a seguir servem para fazer o diagrama de disperso, com o coeficiente de correlao
plot(dum,eco_1,xlim=c(min(eco_1,dum),max(eco_1,dum)),ylim=c(min(eco_1,dum),max(eco_1,dum)))
abline(coef=c(0,1))
text(max(eco_1,dum),min(eco_1,dum),pos=2,paste("r=",round(correl$estimate[[1]],2),",
IC95%=[",round(correl$conf.int[[1]],2),";",round(correl$conf.int[[2]],2),"]",sep=""))
# comando para abrir uma nova janela de grfico
windows()
#comando para fazer o grfico de Bland-Altman das variveis dum e eco_1
B_A("dum", "eco_1")

Rev HCPA 2009;29(3)

263

Hirakata VN, Camey AS

Exemplo

Medidas correlacionadas e no-concordantes

com vis correlacionado com mdia das medidas.

Para ilustrar o mtodo vamos utilizar um

exemplo hipottico onde o tempo de gestao
de 50 mulheres foi estimado atravs da data da
ltima menstruao (DUM) e pelo ultrassom.
A pergunta natural : Os mtodos concordam?
Aqui como em muitos casos no adianta
termos uma boa correlao entre as medidas,
necessrio que haja concordncia entre elas.
Com objetivo de mostrar as diferentes concluses que podem ser obtidas atravs da metodologia de Bland-Altman, foram simuladas 3
situaes diferentes:

A Tabela 1 apresenta o banco de dados

com as seguintes variveis:
sujeito: nmero de identificao da mulher;
dum: nmero de semanas de gestao calculado a partir da DUM;
eco_1: nmero de semanas de gestao calculado a partir do ultrassom obtido aps a
20 semana de gestao;
eco_2: nmero de semanas de gestao calculado a partir do ultrassom obtido antes da
20 semana de gestao;
eco_3: as primeiras 25 mulheres tiveram o nmero de semanas de gestao calculado a partir
do ultrassom obtido aps a 20 semana de gestao e as restantes antes da 20 semana de
gestao.

Medidas correlacionadas e concordantes;

Medidas correlacionadas e no-concordantes
com vis constante;
Tabela 1 - Banco de dados.
sujeito
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

264

dum
36,7
37,6
39,1
39,8
38,3
37,0
39,0
39,1
38,6
37,5
39,3
38,2
36,3
38,8
38,1
38,0
38,0
37,8
36,6
36,4
37,9
39,4
37,3
37,0
38,1
36,4
38,0
38,8
37,2
37,9
37,7
38,2
36,1
39,0
37,6
38,1
38,9
38,1
38,0
38,2
38,6
38,9
37,8
38,4
37,2
37,6
38,1
36,7
37,8
38,2

eco_1
37,0
37,8
39,5
39,4
38,4
36,6
38,7
39,3
38,6
37,5
39,4
37,8
36,1
38,5
38,5
38,0
38,1
37,6
36,4
36,8
37,6
39,2
37,5
36,7
38,2
36,5
38,3
38,6
37,1
38,3
37,4
38,0
36,4
39,3
37,9
38,0
39,1
38,3
37,8
37,9
38,7
39,1
37,7
38,3
36,9
37,3
38,1
36,5
37,6
38,4

Rev HCPA 2009;29(3)

eco_2
37,8
38,6
40,9
41,1
40,3
37,5
39,5
40,2
39,2
38,7
41,1
39,7
38,1
39,1
39,5
39,6
38,1
38,9
37,6
36,7
38,0
40,4
38,8
37,7
38,5
37,9
38,4
39,9
37,7
39,7
38,9
38,4
37,4
40,9
38,4
39,5
40,7
39,0
38,0
38,5
39,7
40,1
38,0
38,8
37,5
38,0
38,2
36,9
39,5
39,2

eco_3
37,0
37,8
39,5
39,4
38,4
36,6
38,7
39,3
38,6
37,5
39,4
37,8
36,1
38,5
38,5
38,0
38,1
37,6
36,4
36,8
37,6
39,2
37,5
36,7
38,2
37,9
38,4
39,9
37,7
39,7
38,9
38,4
37,4
40,9
38,4
39,5
40,7
39,0
38,0
38,5
39,7
40,1
38,0
38,8
37,5
38,0
38,2
36,9
39,5
39,2

Concordncia Bland-Altman

A seguir vamos interpretar os resultados

das comparaes em cada uma das situaes
colocadas anteriormente.
Medidas correlacionadas e concordantes
Quando comparamos o nmero de semanas de gestao calculado a partir da DUM com
o nmero de semanas de gestao calculado a
partir do ultrassom obtido aps a 20 semana de

(a)

gestao (eco_1) verificamos que as medidas

tm uma forte correlao, pois o coeficiente de
correlao 0,96 (Figura 1a). Elas tambm
apresentam uma boa concordncia, uma vez
que
pelo grfico
da
metodologia
de
Bland-Altman (Figura 1b) podemos perceber
que o vis prximo de zero e no estatisticamente significativo. Os limites de concordncia
apontam que as diferenas entre as duas medidas parecem ser menores do que 4 dias
(0,52 x 7dias).

(b)

Figura 1 - Grfico de disperso para as variveis dum e eco_1 (a) e para a diferena e mdia entre dum e eco_1 (b).
LSC: limite superior de concordncia; LIC: limite inferior de concordncia.

Medidas correlacionadas e no-concordantes

com vis constante
Na comparao do nmero de semanas de
gestao calculado a partir da DUM com o nmero de semanas de gestao calculado a partir
do ultrassom obtido antes da 20 semana de
gestao (eco_2) notamos novamente que as
medidas tambm so fortemente correlacionadas (r=0,86; Figura 2a). Entretanto, a Figura 2b
aponta que existe um vis estatisticamente significativo. Com a distribuio espacial dos pon-

tos da Figura 2b homognea, no sentido de

no indicar uma relao entre as diferenas e as
mdias das medidas, podemos concluir que
esse vis sistemtico. Portanto, apesar das
medidas no serem concordantes poderamos
usar o nmero de semanas de gestao calculado a partir da DUM mais o vis (0,96 semana,
aproximadamente 1 semana) como uma estimativa do nmero de semanas de gestao calculado a partir do ultrassom obtido antes da
20 semana de gestao.

Rev HCPA 2009;29(3)

265

Hirakata VN, Camey AS

(a)

(b)

Figura 2 - Grfico de disperso para as variveis dum e eco_2 (a) e para a diferena e mdia entre dum e eco_2 (b).
LSC:limite superior de concordncia, LIC: limite inferior de concordncia.

Medidas correlacionadas e no-concordantes

com vis correlacionado com mdia das
medidas
Na Figura 3, temos um exemplo no qual
novamente as medidas tm uma forte correla-

(a)

o, mas alm das medidas no concordarem,

existe uma relao entre o vis (diferena entre
as medidas) e a mdia da DUM e da eco_3.
Percebemos neste caso que a o vis parece ser
maior para valores de mdias maiores que 38
semanas de gestao.

(b)

Figura 3 - Grfico de disperso para as variveis dum e eco_3 (a) e para a diferena e mdia entre dum e eco_3 (b).
LSC: limite superior de concordncia; LIC: limite inferior de concordncia.

Quando selecionamos no banco de dados

as primeiras 25 mulheres, ou seja, aquelas nas
quais o nmero de semanas de gestao foi
calculado a partir do ultrassom obtido aps a
20 semana de gestao percebemos que o vis
266

no estatisticamente significativo e praticamente igual a zero (Figura 4b). Tambm no h

mais evidncias de que o vis esteja relacionado com as mdias.

Rev HCPA 2009;29(3)

Concordncia Bland-Altman

(a)

(b)

Figura 4 - Grfico de disperso para as variveis dum e eco_3 (a) e para a diferena e mdia entre dum e eco_3 (b) apenas
das primeiras 25 mulheres (ultrassom obtido aps a 20 semana de gestao). LSC: limite superior de concordncia; LIC: limite
inferior de concordncia.

Na Figura 5, temos a situao em que as medidas no concordam, pois o vis estatisticamente significativo, e que o vis aumenta medida que a mdia entre dum e eco_3 aumenta. Isso impossibilita o uso do vis como um fator de correo entre as medidas.

(a)

(b)

Figura 5 - Grfico de disperso para as variveis dum e eco_3 (a) e para a diferena e mdia entre dum e eco_3 (b) apenas
das ltimas 25 mulheres.

CONSIDERAES FINAIS
Apesar de amplamente divulgado, o mtodo ainda no devidamente utilizado. Segundo
alguns autores que fizeram pesquisas em revistas de diferentes reas (8, 9), ainda comum a
utilizao do mtodo de forma incompleta, por
exemplo, sem incluir os limites de concordncia

ou ainda sem calcular os limites de confiana

dos limites de concordncia. Outro erro bastante
citado o de se utilizar os valores de algum dos
mtodos no lugar da mdia, artifcio este que
acaba forando uma correlao que, na realidade, pode no ser verdadeira (9).
Os limites de concordncia devem ser avaliados do ponto de vista clnico, ou seja, se

Rev HCPA 2009;29(3)

267

Hirakata VN, Camey AS

aquelas diferenas dadas pelos limites podem

ser consideradas aceitveis do ponto de vista
clnico (4). Alguns autores, inclusive, apontam
que esta diferena aceitvel deve ser estabelecida a priori, antes do estudo ser realizado (8).
O coeficiente de correlao uma medida
de associao, no sendo apropriado para avaliar concordncia entre mtodos (1,2). Portanto,
quando o objetivo do trabalho for avaliar a concordncia entre dois mtodos, a metodologia de
Bland-Altman deve ser utilizada de forma completa, incluindo os limites de concordncia, e
seus intervalos de confiana. Uma possvel associao entre o vis e a magnitude das medidas tambm deve ser avaliada e, quando necessrio, fazer alguma correo nos dados para
uma correta concluso.
REFERNCIAS
1. Altman DG, Bland JM. Measurement in Medicine:
The analysis of method comparison studies. Journal of the Royal Statistical Society. Series D (The
Statistician). 1983;32(3):307-17.

4. Bland JM, Altman DG. Measuring agreement in

method comparison studies. Statistical Methods in
Medical Research. 1999;8(2):135-60.
5. Linnet K, Bruunshuus I. HPLC with enzymatic
detection as a candidate reference method for serum creatinine. Clin Chem. 1991;37(10):1669-75.
6. Sample size for a study of agreement between two
methods of measurement [Internet]. [citado 2010
Jan
7];Available
from:
http://wwwusers.york.ac.uk/~mb55/meas/sizemeth.htm
7. R Development Core Team. R: A language and
environment for statistical computing [Internet].
Vienna, Austria: R Foundation for Statistical Computing; Available from: http://www.R-project.org
8. Mantha S, Roizen MF, Fleisher LA, Thisted R,
Foss J. Comparing methods of clinical measurement: reporting standards for Bland and Altman
analysis. Anesth Analg. 2000;90(3):593-602.
9. Dewitte K, Fierens C, Stockl D, Thienpont LM.
Application of the Bland-Altman plot for interpretation of method-comparison studies: a critical Investigation of its practice. Clin Chem. 2002;48(5):799801.

2. Bland JM, Altman D. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1986;327(8476):307-10.
3. Bland JM, Altman D. Comparing two methods of
clinical measurement: a personal history. Int J
Epidemiol. 1995;24(suppl_1):S7-14.

268

Rev HCPA 2009;29(3)

Recebido: 07/10/09
Aceito: 09/11/09