Calibrao

Multivariada
 Calibrao Univariada
Em i

Absorbncia (y)
Absorbncia

Ai
Ad

i Cd
Comprimento de onda Concentrao dos padres(x)

y = bo + b1x + Calibrao

^x = (y b ) /b
o 1 Previso
 Matematicamente:

x11 x12 L x1 p
x x 22 L x2 p
X= 21
= xij
M M O M

x n 1 xn 2 L x n p

MATRIZ: n objetos (linhas) e p variveis (colunas)

Dimenso np

x ij Linha i, coluna j
 y1 1 x1 b0 1
y2 1 x2 b1 2
y3 1 x3 3
= +
. . .
. . .
. . .
yn 1 xn n

Notao matricial y=Xb+

b = (XX)-1Xy
^y = X b
x
= y - y^
Absorbncia Calibrao Multivariada
Regresso Linear Mltipla
(MLR)
y=Xb+ b = (XX)-1Xy

y^ = X b = y - y^
Comprimento de onda
y1 x11 x12 x13 . . . x1p b1 1
y2 x21 x22 x23 . . . x2p b2 2
y3 x31 x32 x33 . . . x3p b3 3
y4 x41 x42 x43 . . . x4p . 4
= + .
. . .
. . . .
. . bp .
yn xn1 xn2 xn3 . . . xnp n
 Modelagem

Resduos
Modelo
Dados

Modelo: Parte relevante/sistemtica (Sinal)

Resduos: Parte irrelevante/aleatria (Rudo)
 O que calibrao?

Desenvolver, validar e usar um modelo para

fazer previses de determinados dados (em
geral valiosos, demorados e difceis de medir
(Y) a partir de outros dados, em geral de fcil
obteno (X)

Por exemplo:
Usar espectros NIR (X) para prever
caractersticas de um produto ou processo (Y)
 Matematicamente:

X Modelo y

Equao

Matriz Vetor
Modelos deixam resduos:

X Modelo y

E= XX Resduos f = y y
 Modelos tm limites

Um modelo no pode ser melhor que

os dados usados para constru-lo

Um modelo s pode tentar explicar

aquilo que pode ser explicado

Sobreajuste (Overfitting) O modelo

tenta explicar mais do pode

Subajuste (Underfitting) O modelo no

consegue explicar tudo o que poderia
 Etapas de uma calibrao

1 Definio do problema:

Quais as medidas?

Qual a populao?

Otimizao das medidas

2 Seleo das amostras p/coleta dos dados

3 Realizao das determinaes

 Etapas de uma calibrao

4 Anlise exploratria dos dados

5 Desenvolvimento do modelo

6 Validao do modelo

7 Implantao na rotina

8 Monitoramento/Atualizao
 Etapas de uma calibrao

4 Anlise exploratria dos dados

Estatsticas bsicas

Grficos de linha

Diagramas de disperso

Histogramas

Grficos normais

Grficos matriciais

Projeo em variveis latentes

 Etapas de uma calibrao

5 Desenvolvimento do modelo

Seleo do conjunto de calibrao

Escolha do mtodo

Construo do modelo
Matematicamente:

Conjunto de calibrao

X Modelo y

X Conjunto de teste y
 Calibrao exploratria
Coletar 30-50 amostras representativas, cobrindo toda a
faixa de interesse

A relao entre a amplitude da propriedade de interesse e

a reprodutibilidade dos valores de referncia deve ser pelo
menos 5 (na pior das hipteses, 3)

Alternativa: fazer determinaes repetidas, para reduzir o

desvio padro dos valores de referncia

Ajustar e avaliar os modelos de calibrao

O conjunto de calibrao ideal

Contm amostras...

... Representativas de todos os componentes qumicos

esperados nas amostras desconhecidas

... Com faixas de variao dos ys excedendo a variao

esperada nas amostras desconhecidas

...Com valores de y uniformemente distribudos em toda a

amplitude de variao

...Em nmero suficiente para dar confiabilidade ao modelo

de calibrao
 Quantas amostras?

Depende da complexidade das amostras e do

modelo de calibrao

ASTM E1655 0, excluindo anomalias:

K3 n 24

Variveis X Amostras de calibrao

 Quantas amostras?

K>3 n 6(K+1)

Portanto: S poderemos determinar se um

certo conjunto de calibrao adequado
depois de desenvolver um modelo
baseado nele
 Escolha do mtodo

Regresso linear mltipla (MLR)

Regresso em componentes principais (PCR)

Regresso por mnimos quadrados parciais (PLS)

Regresso linear simples

X x Modelo y

= b0 +bo
yEqua 1
x

Vetor Vetor
Ajuste por mnimos quadrados
95

85

y75i
ei {{
y

y i
65

55

45
38 42
x ii46 50 54 58 62

x
Regresso linear mltipla

y = b0 + b1 x1 + b2 x2 + ... + bK xK

Combinao linear dos valores das variveis

xi, com pesos dados por bi
 Qualidade do ajuste

Erro mdio quadrtico de calibrao

(root mean square error of calibration)

nC

i,cal i ,cal
(
y
i =1
y ) 2

RMSEC =
nC K 1
nC

( y
i =1
i yi )
Tendncia BiasC =
nC K 1
 Qualidade do ajuste

Erro padro de desempenho

(standard error of performance)

nC

i i
(
y
i =1
y Bias ) 2

SEC =
nC K 1

R MS E C 2 = S E C 2 + B ias 2
 Dois problemas:

Falta de seletividade:
Nenhuma das variveis xi isoladamente
tem informao suficiente para prever o
valor de y

Colinearidade:
Variveis xi altamente correlacionadas
Regresso instvel
 Soluo:

Regresso em componentes principais (PCR)

Regresso por mnimos quadrados parciais (PLS)

Relao entre duas variveis
0.16

xi x

0.12
yi y
Volume

0.08

0.10 0.15 0.20 0.25

Peso
Relao entre duas variveis

Coeficiente de correlao
Covarincia

1 yi y
r ( x ,( xy,) y=) = N 1 ( xi x)( yi y )
Cov 1 x i x
N 1 s s
x y

1 r ( x , y) +1
Relao entre duas variveis

r = +1
0.12
y

0.09

0.06

0.10 0.15 0.20 0.25

x
Relao entre duas variveis

A varincia de uma varivel uma medida de

sua informao

A covarincia entre duas variveis uma

medida da redundncia da informao
 Por exemplo:

r = 0,92
V = 5,19

V = 0,0756
x2

x1
x2

x1
 Anlise por Componentes
Principais
x2 CP 2
i CP 1

Pesos (loadings) Co-senos

dos ngulos que as
componentes principais fazem
com os eixos das variveis

Escores Coordenadas dos

objetos no sistema de eixos
definido pelas componentes
principais
x1
x2
Loading = cos 2 0.45
2 60o

1 30o

Loading = cos 1 0.65

x1
Anlise de Componentes
Principais

x3
CP2 CP1

x2

x1
Anlise de componentes principais

Decomposio de uma matriz de dados em

eixos ortogonais de mxima varincia

Projeo do mximo de informao no

mnimo de dimenses no correlacionadas
 Quem so as PCs

PC1: Eixo de mxima varincia

PC2: De mxima varincia, ortogonal a PC1

PC3: De mxima varincia, ortogonal a PC1 e PC2

PCk: De mxima varincia, ortogonal ao espao das

k-1 primeiras componentes
 Para cada PC:

k Varincia explicada pela componente k

vk Pesos (loadings): co-senos dos ngulos

que o eixo PCk faz com os eixos originais

tk Escores: coordenadas dos objetos

no eixo PCk
Para que serve uma PCA?

Reduo da dimensionalidade

Reconhecimento de padres

Deteco de anomalias

Separao sinal-rudo

Seleo de variveis

Classificao
Regresso em Componentes
Principais (PCR)

1. PCA na matriz X

2. Regresso das variveis y

nos escores obtidos na PCA
 Regresso por Mnimos
Quadrados Parciais (PLS)

Semelhante PCR, mas os escores

so escolhidos de modo a
maximizar a covarincia entre X e y
 Quantas componentes
devemos manter?
%de varincia descrita (ex. 90%)

Inspeo dos grficos dos escores e loadings

aletrios, depois de toda a informao relevante ser includa no modelo

Validao cruzada (cross validation)

Parte dos dados usada para modelar e a parte restante para validar
N0 de componentes que minimiza o erro de previso de CV

Menor
RMSECV

Modelo Previso
 Conjunto de teste
Conjunto de treinamento e conjunto de teste
N0 de componentes que minimiza o erro de previso do conjunto de teste

 Varincia residual versus nmero de CP

RMSEP

CP n0 CP n0
 Leverage e resduo em X altos

Alto resduo em X

Leverage alto

PC1
Outliers