Você está na página 1de 38

Algebra Linear

1. Ortonormalização
2. Sistema de Equações Lineares

pag.1 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à Um vetor x é dito estar normalizado se sua norma Euclidiana é igual a 1, ie,


x0 x = hx, xi = 1

Dois vetores x1 e x2 são ortogonais se x01 x2 = x02 x1 = 0

Um conjunto de vetores {x1 , x2 , . . . , xn } é ortonormal se


 0 se i 6= j
x0i xj =
 1 se i = j

pag.2 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à Dado um conjunto de vetores LI {e1 , e2 , . . . , en }, pode-se obter um


conjunto de vetores ortonormais usando o procedimento de ortonormalização de
Schmidt:

u1 , e1 q1 , u1 /ku1 k
u2 , e2 − (q10 e2 )q1 q2 , u2 /ku2 k
.. ..
. .
n−1
X
un , xn − (qk0 en )qk qn , un /kun k
k=1

# A primeira equação apenas normaliza o vetor e1 , tal que e01 e1 = 1

pag.3 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

# Na segunda equação, (q10 e2 )q1 é a projeção do vetor e2 ao longo de q1 , e


e2 − (q10 e2 )q1 é ortogonal ao vetor q1

u2
e2

q2

q1 e1 = u1

pag.4 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização
à Se um conjunto de vetores u1 , u2 , . . . , un é ortonormal então
h i
U , u1 u2 · · · un ; U 0 U = In

n
X n
X
Propriedade: Se y = U x, então yi2 = x2i , ou
i=1 i=1

kyk2 = kU xk2 = (U x)0 (U x) = x0 U 0 U x = x0 x = kxk2

O mapeamento, y = U x é uma isometria (não altera a norma)

Propriedade: Se y = U x e ỹ = U x̃ então hy, ỹi = hx, x̃i (a multiplicação


por U não altera o produto interno) pois

hy, ỹi = hU x, U x̃i = (U x)0 (U x̃) = x0 U 0 U x = hx, x̃i

e também não altera o ângulo ∠ hy, ỹi = ∠ hx, x̃i


pag.5 Teoria de Sistemas Lineares – Aula 6
c Reinaldo M. Palhares
°
Ortonormalização

Exemplos: Transformações de rotação ou reflexão de vetores via matriz ortogonal

à A transformação que rotaciona um vetor no sentido anti-horário de θ no R2 é:


 
cos θ − sin θ
y = Uθ x ; Uθ =  
sin θ cos θ

x2
y2 y1
θ
x1

pag.6 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à O procedimento de ortonormalização pode ser descrito como uma


transformação linear. Considere a matriz
h X formada por n ivetores LI,
{x1 , x2 , . . . , xn }, da forma: X = x1 x2 ··· xn

Deseja-se determinar uma matriz F tal que


h i
XF = Q , q1 q2 ··· qn

A condição de que os vetores {q1 , q2 , . . . , qn } sejam ortonormais pode ser


escrita na forma

Q0 Q = I =⇒ F 0 RF = I ; R , X 0X

Sistema com n(n + 1)/2 restrições e n2 incógnitas (n(n − 1)/2 elementos de


F são arbitrários). Solução ? ...

pag.7 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à Uma solução particular pode ser obtida pela fatorização de Cholesky da


matriz R, que produz uma matriz triangular superior L tal que R = L0 L:

F 0 RF = I = F 0 L0 LF = (LF )0 (LF )

e por inspeção uma solução é dada por F = L−1

à A fatorização de Schur aplicada à matriz R produz uma matriz unitária V e


uma matriz diagonal Ω composta pelos autovalores de R tal que R = V ΩV 0 ,
sugerindo como solução
0 0 0 0.5 0 0
¡ 0.5 0
¢
F RF = I = F V ΩV F = (V Ω V F ) V Ω V F

∴ F = V Ω−0.5 V 0 , R−0.5

pag.8 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à A escolha da transformação F que ortonormaliza X pode ser orientada por


algum critério especı́fico, descrito por problemas de otimização restritos. Por
exemplo, considere encontrar Q solução para:


 min Tr (X − Q)0 (X − Q)
Q
 sujeito a Q0 Q = I

ie, minimiza a norma ao quadrado de xi − qi , i = 1, . . . , n. Esta transformação


procura preservar o máximo possı́vel os vetores originais. Note que Tr(XQ) é
uma função linear dos elementos da matriz Q...

Re-escrevendo em termos de F ...

pag.9 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

Re-escrevendo em termos de F

 min Tr (X − XF )0 (X − XF )
F
 sujeito a F 0 X 0 XF = I

m

 min Tr(X 0 X + F 0 X 0 XF − F 0 X 0 X − X 0 XF )
F
 sujeito a F 0 X 0 XF = I

Substituindo a restrição e lembrando que os termos constantes na função objetivo


(X 0 X + I) não influenciam na solução F :

 min Tr (−F 0 X 0 X−X 0 XF ) = max Tr (2X 0 XF )
F
 sujeito a F 0 X 0 XF = I ... e, solução?

pag.10 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Derivadas

à Considere X , [xij ], X ∈ Cm×n e F (X) uma função escalar (real ou


complexa) de X. Então
· ¸
∂ ∂
F (X) , F (X)
∂X ∂xij

à Considere A e B matrizes complexas:



Tr(AXB) = A0 B 0
∂X

Tr(AX 0 B) = BA
∂X

Tr(AXBX) = A0 X 0 B 0 + B 0 X 0 A0
∂X

Tr(AXBX 0 ) = A0 XB 0 + AXB
∂X

pag.11 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Derivadas


Tr(AX −1 B) = −(X −1 BAX −1 )0
∂X

log det(X) = (X 0 )−1
∂X

· ¸
d daij
à A(α) ∈ Cm×n e α ∈ C, A, . Então
dα dα
d dA dB
AB = B+A
dα dα dα
d −1 −1 dA
A = −A A−1
dα dα

pag.12 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à Para obter uma solução, escreva o Lagrangeano L (F , Λ) (Λ é a variável


dual simétrica associada à restrição original do problema: F 0 X 0 XF = I):

L (F , Λ) = Tr [2X 0 XF + Λ (F 0 X 0 XF − I)]

As condições necessárias de otimalidade são dadas por:


∂L
= 2(X 0 X + X 0 XF Λ) = 2X 0 X(I + F Λ) = 0
∂F
∂L
= (F 0 X 0 XF − I) = 0
∂Λ

pag.13 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

à Note que X é não singular... Portanto resolvendo em termos de F e de Λ em


2X 0 X (I + F Λ) = 0, 2X 0 X 6= 0 e:

F = −Λ−1 (−Λ−1 )X 0 X (−Λ−1 ) = I =⇒ X 0 X = Λ2


=⇒
8 8
< +(X 0 X )0.5 < −(X 0 X )−0.5
Λ= =⇒ F =
: −(X 0 X )0.5 : +(X 0 X )−0.5

Veja que o custo inicial é dado por:

min Tr (−2X 0 X F ) = max Tr (2X 0 X F )

e a solução ótima é obtida para F = (X 0 X )−0.5


à Note que a solução F = −(X 0 X )−0.5 fornece a mesma base ortonormalizada Q
(apenas trocando o sinal dos vetores) e pode ser interpretada como a transformação F
que maximiza a diferença entre as normas (ao quadrado) dos vetores de cada base

pag.14 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

h i
Exemplo Considere X , x1 x2 x3 , formada pelos vetores LI
h i0 h i0 h i0
x1 = 1 1 1 , x2 = 1 2 3 , x3 = 0 1 −1

2 3 2 3
1 0.5774
u1 1 6 7 6 7
Algoritmo: u1 = x1 ; q1 = = √ 4 1 5 = 4 0.5774 7
6 7 6
ku1 k 3 5
1 0.5774

u2 h i0
u2 = x2 − (q 10 x2 )q1 ; q2 = = −0.7071 0 0.7071
ku2 k

u3 h i0
u3 = x3 − (q 20 x3 )q2 − (q 10 x3 )q1 ; q3 = = −0.4082 0.8165 −0.4082
ku3 k

pag.15 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

c
à Aplicando Cholesky na matriz R = X 0 X (MATLAB° ):

2 3
1.7321 3.4641 0
6 7
L = chol(R) = 6
4 0 1.4142 −0.7071 7
5 ⇒ L0 L = R
0 0 1.2247

8
>
>
< [Q, L] = qr(X )
h i
Q = X L−1 = u1 u2 u3 , Q0 Q = I (decomposição triangular
| {z } >
>
:
U ortonormal)

pag.16 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

Veja:
2 3
0.5774 −0.7071 −0.4082
6 7
Q = X ∗ inv(L) = 4 0.5774 −0.0000
6 0.8165 75
0.5774 0.7071 −0.4082
2 3
1.0002 0 0.0001
0
6 7
Q ∗Q = 4 6 0 1.0000 0 7
5
0.0001 0 0.9999

[Q1, L1] = qr(X ) ⇒ observe o sinal...

2 3 2 3
−0.5774 0.7071 0.4082 −1.7321 −3.4641 0
6 7 6 7
Q1 = 6
4 −0.5774 0.0000 −0.8165 5 ; L1 = 6
7
4 0 −1.4142 0.7071 7
5
−0.5774 −0.7071 0.4082 0 0 −1.2247

pag.17 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

Usando Schur: [V, Omega] = schur(R)

2 3 2 3
0.8850 0.2376 −0.4005 0.2643 0 0
6 7 6 7
V =6
4 −0.4035 −0.0381 −0.9142 5
7 ; Omega = 6
4 0 2.0392 0 7
5
−0.2325 0.9706 0.0622 0 0 16.6965

à R −0.5 = V Ω−0.5 V 0 ⇒ RR = V ∗ sqrt(inv(Omega)) ∗ V 0

2 3
0.9908 −0.0890 −0.1021
−0.5
6 7
Q2 = X R = X ∗ RR = 6 7 , Q02 Q2 = I
4 0.1348 0.5758 0.8064 5
0.0130 0.8127 −0.5825

pag.18 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

Exemplo Considere dois vetores LI no plano R2 :


 
h i 1 2
X = x1 x2 =  
3 0.5

 
h i 0.32 0.95
Schmidt: Q = q1 q2 = 
0.95 −0.32

 
h i 0.1 1
Schur: U = u1 u2 = 
1 −0.1

pag.19 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Ortonormalização

x1

u1
q1
x2
−u2

u2

q2

−u1

pag.20 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

    
a11 a12 ··· a1n x1 y1
    
 a21
 a22 ··· a2n   x2



 y2



 . .. .. ..  . = . 
 .. . . .   ..   .. 
    
am1 am2 · · · amn xn ym
| {z } | {z } | {z }
A x y

à aij , yi ∈ R : dados do sistema; xi ∈ R : incógnitas


à Solução para Ax = y quando m > n, m = n ou m < n

à Problema: dados A e y
1. ∃x : Ax = y?
2. Se existe solução, qual o número de soluções LI?

pag.21 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Definição O espaço Range da matriz A é o espaço gerado pelas colunas de A,


ie:

n o
n
R(A) , y = Ax : x ∈ R ⊆ Rm
h iT
Exemplo y= 1 −1 está no R(A), com

 
1 −1 −3
A=   ?
0 10 0

Em outras palavras, y = Ax, para algum x? Resposta positiva, pois as colunas


de A geram todo o espaço 2-dimensional

pag.22 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Rank (ou posto) da matriz A ∈ Rm×n é definido como a dimensão do range de


A (ou, equivalentemente, como o número de colunas LI em A) e denotado ρ(A)

• posto de colunas de A é a dimensão do R(A)

• posto de linhas de A é a dimensão do R(A∗ )

• dimR(A) = dimR(A∗ ) = r = posto(A) ou rank(A)

pag.23 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Definição O espaço nulo de A é o espaço gerado por todos os vetores x satisfazendo


Ax = 0, ie:
N (A) , {x ∈ Rn : Ax = 0}
2 3
h iT 1 −1 −3
Exemplo x= 1 10 0 está no espaço N (A) com A = 4 5 ?
0 10 0
Em outras palavras, Ax = 0? Como
2 3
2 3 1 22 33
1 −1 −3 6 7 −9 0
4 5 6107 = 4
4 5 6
5= 4 5
0 10 0 100 0
0

portanto, a resposta é negativa

• A dimensão do espaço nulo é chamada de nulidade da matriz A e denotada ν(A)

pag.24 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Note que y = Ax pode ser escrito como y = x1 a1 + x2 a2 + · · · + xn an e


portanto xi ∈ R, i = 1, . . . , n são as ponderações das colunas de A

Propriedades

à Para A ∈ Rm×n
ν(A) = n − ρ(A)

rank A = número de colunas LI de A


= número de linhas LI de A
≤ min (n, m)

pag.25 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

à N (A) e R(A) são espaços lineares; (N (A) é um subespaço do Rn e


R(A) é um subespaço do Rm )

à Se ν(A) = 0, N (A) = {0}, as seguintes afirmações são equivalentes:

· x pode ser determinado de maneira única de y = Ax

· colunas de A são LI

· det(A0 A) 6= 0

à Se ν(A) = k, Ax = 0 possui k soluções LI

pag.26 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Exemplo: Considere a matriz A ∈ R3×5 dada por


2 3
0 1 1 2 −1
6 7 h i
A=6 4 1 2 3 4 −1 7 5 = a1 a2 a3 a4 a5
2 0 2 0 2
2 3 2 3 2 3 2 3 2 3
0 1 1 2 −1
6 7 6 7 6 7 6 7 6 7
Ax = x1 4 1 5 + x2 4 2 5 + x3 4 3 5 + x4 4 4 5 + x5 4 −1 7
6 7 6 7 6 7 6 7 6
5
2 0 2 0 2
a3 = a1 + a2 ; a4 = 2a2 ; a5 = a3 − a 4 = a1 + a2 − 2a 2 = a1 − a 2
Ax = (x1 + x3 + x5 )a1 + (x2 + x3 + 2x4 − x 5 )a2

Como a1 e a2 são LI ⇒ ρ(A) = 2

pag.27 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares
8
< x1 + x3 + x5 = 0
Ax = 0 ⇐⇒
: x2 + x3 + 2x4 − x 5 = 0

Número de Equações = ρ(A) = 2


Número de Incógnitas = 5
Número de Graus de Liberdade = 3
Possı́veis soluções LI:
2 3 2 3 2 3
−1 0 −1
6 7 6 7 6 7
6 −1 7 6 −2 7 6 1 7
6 7 6 7 6 7
6 7 6 7 6 7
v1 = 6 1 7 ; v2 = 6 0 7 , v3 = 6 0 7
6 7 6 7 6
7
6 7 6 7 6 7
6 0 7 6 1 7 6 0 7
4 5 4 5 4 5
0 0 1

{v1 , v2 , v3 } formam uma base de N (A) ; ν(A) = 3

pag.28 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Teorema

1. Dada uma matriz A ∈ Rm×n e um vetor y ∈ Rm×1 , existe uma solução


x ∈ Rn×1 da equação y = Ax se e somente se y ∈ R(A) ou,
equivalentemente,

³h i´
ρ(A) = ρ A y

2. Dada uma matriz A, uma solução x de y = Ax existe para todo y se e


somente se ρ(A) = m (rank completo de linhas)

pag.29 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

Teorema (Parametrização de todas as soluções)

à Dada uma matriz A ∈ Rm×n e um vetor y ∈ Rm×1 , seja xp uma solução


x ∈ Rn×1 da equação y = Ax e seja k = n − ρ(A) = ν(A) a nulidade de
A. Se ρ(A) = n (rank completo de colunas) a solução xp é única. Se k > 0,
então para todo αi ∈ R, i = 1, . . . , k o vetor

x = xp + α1 n1 + α2 n2 + · · · + αk nk

é uma solução de Ax = y, sendo {n1 , . . . , nk } uma base de N (A)

De fato,
k
X
Axp + αi Ani = Axp + 0 = y
i=1

pag.30 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

à Seja A ∈ Rm×n . Então ρ(AC) = ρ(A) e ρ(DA) = ρ(A), para


quaisquer matrizes C ∈ Rn×n e D ∈ Rm×m não singulares
I O rank de uma matriz não se altera ao ser pré ou pós-multiplicada por uma
matriz não singular...

à Seja A ∈ Cm×n e A∗ sua conjugada transposta. Então,


I ρ(A) = n ⇐⇒ ρ(A∗ A) = n ; det(A∗ A) 6= 0
I ρ(A) = m ⇐⇒ ρ(AA∗ ) = m ; det(AA∗ ) 6= 0

à Observe que ρ(A) = n implica:


I n≤m
I Aα = 0 ⇒ α=0

pag.31 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Inversa

à Para uma matriz quadrada A ∈ Rn×n , A é invertı́vel ou não-singular se


det(A) 6= 0 ou equivalentemente:

I as colunas de A formam uma base para o Rn


I as linhas de A formam uma base para o Rn
I a equação y = Ax tem uma solução única x = A−1 y para todo y ∈ Rn .
Em particular, a única solução de Ax = 0 é x = 0
I AA−1 = A−1 A = I
I N (A) = {0}
I R(A) = Rn
I det(A0 A) = det(AA0 ) 6= 0

pag.32 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Inversa

−1 1
A = Adj (A)
det(A)

Adj (A): matriz adjunta da matriz A

Adj (A) = [Co (A)]0

Co (A): matriz cofatora de A, composta pelos cofatores Cij da matriz A

pag.33 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

à Considere o sistema y = Ax com A ∈ Rm×n e m > n, ie, há mais


equações do que incógnitas (pode não ter solução)...

Aproximação – define-se um erro e = Ax − y (ótimo se e → 0...) e busca-se


x∗ que minimiza kek. A solução x∗ gera o ponto no R(A) que está mais
próximo de y, ou seja, Axa é a projeção de y no R(A)

f (x) = min kek2 = min e0 e = min (Ax − y)0 (Ax − y)


x x x

Condição de Otimalidade – derivando em relação a x: 2x0 A0 A − 2y 0 A = 0


I Assumindo que A tem posto completo (e portanto A0 A é invertı́vel)

x∗ = (A0 A)−1 A0 y

I Note que x∗ é uma função linear de y, e x∗ = A−1 y se A é quadrada

pag.34 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Sistema de Equações Lineares

I x∗ é a solução exata de y = Ax se y ∈ R(A)

à A† , (A0 A)−1 A0 é chamada de pseudo-inversa de A

à A projeção de y no R(A) é linear, dada por Ax∗ = A(A0 A)−1 A0 y e


A(A0 A)−1 A0 é chamada matriz de projeção

h i
à O erro: e = Ax − y = A(A A)
∗ 0 −1 0
A − I y é ortogonal ao R(A), ie,

0
£ 0 −1 0
¤0
he, Axi = y A(A A) A − I Ax = 0

pag.35 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Estimador Mı́nimos Quadrados

à Vários problemas em engenharia envolvendo reconstrução de informação,


inversão ou estimação podem ser colocados na forma y = Ax + ∆, sendo x o
vetor a ser estimado ou reconstruı́do; y o vetor de informações ou medidas e ∆ o
vetor de ruı́dos, erros de medida ou incerteza não modelada

Problema – Obter a estimativa x̂ que minimiza a diferença entre os valores


medidos y e o que deveria ser obtido se ∆ = 0

Solução: x̂ = (A0 A)−1 A0 y

pag.36 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
Estimador Mı́nimos Quadrados
O mesmo resultado poderia ser obtido com multiplicadores de Lagrange

 min x0 x
 sujeito a Ax = y

Introduzindo o multiplicador de Lagrange λ e escrevendo o Lagrangeano

L (x, λ) = x0 x + λ0 (Ax − y)

As condições de otimalidade são:


∂L
= 2x0 + λ0 A = 0
∂x
∂L
= (Ax − y)0 = 0
∂λ
⇒ x = −A0 λ/2 ; λ = −2(AA0 )−1 y ⇒ x = A0 (AA0 )−1 y

pag.37 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°
MATLAB

à trace(A) – traço de uma matriz quadrada A


à rank(A) – posto de uma matriz A
à chol(A) – fatoração de Cholesky de uma matriz A
à qr(A) – fatoração QR de uma matriz A
à null(A) – retorna uma base ortonormal para o espaço nulo de A
à orth(A) – retorna uma base ortonormal para o range de A
à pinv(A) – retorna uma matriz X com mesma dimensões de A’ tal que

A∗ X ∗ A = A ; X ∗ A∗ X = X

e A∗ X e X ∗ A são matrizes Hermitianas

pag.38 Teoria de Sistemas Lineares – Aula 6


c Reinaldo M. Palhares
°

Você também pode gostar