CarvalhoGratton2012AvancosKrylov Eltronico 42

Notas em Matemtica Aplicada e-ISSN 2236-5915
Volume 42, 2012

Editores
Cassio Machiaveli Oishi
Universidade Estadual Paulista - UNESP
Presidente Prudente, SP, Brasil
Fernando Rodrigo Rafaeli
So Jos do Rio Preto, SP, Brasil
Rosana Sueli da Motta Jafelice (Editor Chefe)
Universidade Federal de Uberlndia - UFU
Uberlndia, MG, Brasil
Rubens de Figueiredo Camargo
Bauru, SP, Brasil
Sezimria de Ftima P. Saramago
Universidade Federal de Uberlndia - UFU
Uberlndia, MG, Brasil
Vanessa Avansini Botta Pirani (Editor Adjunto)
Presidente Prudente, SP, Brasil
Sociedade Brasileira de Matemtica Aplicada e Computacional
2012
A Sociedade Brasileira de Matemtica Aplicada e Computacional
- SBMAC publica, desde as primeiras edies do evento, monograas
dos cursos que so ministrados nos CNMAC.
Para a comemorao dos 25 anos da SBMAC, que ocorreu durante
o XXVI CNMAC em 2003, foi criada a srie Notas em Matemtica
Aplicada para publicar as monograas dos minicursos ministrados
nos CNMAC, o que permaneceu at o XXXIII CNMAC em 2010.
A partir de 2011, a srie passa a publicar, tambm, livros nas reas
de interesse da SBMAC. Os autores que submeterem textos srie
Notas em Matemtica Aplicada devem estar cientes de que podero
ser convidados a ministrarem minicursos nos eventos patrocinados pela
SBMAC, em especial nos CNMAC, sobre assunto a que se refere o
texto.
O livro deve ser preparado em Latex (compatvel com o Mik-
tex verso 2.7), as guras em eps e deve ter entre 80 e 150
pginas. O texto deve ser redigido de forma clara, acompanhado de
uma excelente reviso bibliogrca e de exerccios de vericao
de aprendizagem ao nal de cada captulo.
Veja todos os ttulos publicados nesta srie na pgina
http://www.sbmac.org.br/notas.php
2012
AVANOS EM MTODOS DE KRYLOV PARA
SOLUO DE SISTEMAS LINEARES DE
GRANDE PORTE
2
a
edio
Luiz Mariano Carvalho
luizmc@ime.uerj.br
Departamento de Matemtica Aplicada
Instituto de Matemtica e Estatstica
Universidade do Estado do Rio de Janeiro
Rio de Janeiro, Brasil
Serge Gratton
serge.gratton@enseeiht.fr
Institut National Polytechnique de Toulouse
European Centre for Research and Advanced Training in Scientic Computation
- CERFACS
Toulouse, Frana
So Carlos - SP, Brasil
2012
Coordenao Editorial: Elbert Einstein Nehrer Macau
Coordenao Editorial da Srie: Rosana Sueli da Motta Jafelice
Editora: SBMAC
Capa: Matheus Botossi Trindade
Patrocnio: SBMAC
Copyright c 2012 by Luiz Mariano Carvalho e Serge Gratton.
Direitos reservados, 2012 pela SBMAC. A publicao nesta srie no
impede o autor de publicar parte ou a totalidade da obra por outra
editora, em qualquer meio, desde que faa citao edio original.
Catalogao elaborada pela Biblioteca do IBILCE/UNESP
Bibliotecria: Maria Luiza Fernandes Jardim Froner
Carvalho, Luiz M.
Avanos em Mtodos de Krylov para Soluo de Sistemas
Lineares de Grande Porte - So Carlos, SP : SBMAC, 2012,
159 p., 20.5 cm - (Notas em Matemtica Aplicada; v. 42) -
2
a
edio
e-ISBN 978-85-86883-68-2
1. Subespaos de Krylov 2. Precondicionadores
3. Mtodos com Recomeo 4. Deao
5. Precondicionadores Flexveis 6. GMRES
I. Carvalho, Luiz M. II. Gratton, Serge. III. Ttulo. IV. Srie
CDD - 51
Contedo
Prefcio 11
1 Espaos de Krylov e Mtodos de Projeo 15
1.1 Espaos de Krylov . . . . . . . . . . . . . . . . . . . . 16
1.2 Base para Subespao de Krylov . . . . . . . . . . . . . 19
1.3 Mtodos de Projeo . . . . . . . . . . . . . . . . . . . 21
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Mtodos de Krylov Baseados em Arnoldi 27
2.1 Mtodo de Arnoldi . . . . . . . . . . . . . . . . . . . . 28
2.2 Ortogonalizao Completa - FOM . . . . . . . . . . . . 32
2.3 Resduo Minimal Generalizado - GMRES . . . . . . . . 35
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 40
3 Erros, Precondicionadores e Critrios de Parada 43
3.1 Erros e Qualidade de uma Soluo . . . . . . . . . . . 43
3.2 Precondicionadores . . . . . . . . . . . . . . . . . . . . 49
3.2.1 Parties Clssicas . . . . . . . . . . . . . . . . 51
3.2.2 Fatoraes Incompletas . . . . . . . . . . . . . . 51
3.2.3 Inversa Aproximada . . . . . . . . . . . . . . . 52
3.2.4 Decomposio de Domnio . . . . . . . . . . . . 53
3.2.5 Multigrid . . . . . . . . . . . . . . . . . . . . . 54
3.3 Critrios de Parada . . . . . . . . . . . . . . . . . . . . 55
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 58
5
6
4 Tpicos de lgebra Linear 59
4.1 Pares de Ritz e Pares Harmnicos de Ritz . . . . . . . 60
4.2 Quadrados Mnimos . . . . . . . . . . . . . . . . . . . . 69
4.2.1 Equaes Normais . . . . . . . . . . . . . . . . 70
4.2.2 Soluo por Fatorao QR . . . . . . . . . . . . 71
4.2.3 Custo e Estabilidade . . . . . . . . . . . . . . . 78
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 78
5 Novos desenvolvimentos 81
5.1 Recomeo Deacionado . . . . . . . . . . . . . . . . . . 82
5.1.1 GMRES-DR . . . . . . . . . . . . . . . . . . . . 83
5.2 Truncamento Otimal . . . . . . . . . . . . . . . . . . . 85
5.3 Precondicionadores Flexveis . . . . . . . . . . . . . . . 87
5.4 Inexatos . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 96
6 Estudo de Caso: FGMRES-DR 99
6.1 Apresentao do Mtodo . . . . . . . . . . . . . . . . . 101
6.2 Implementao Computacional . . . . . . . . . . . . . 107
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 108
A Reviso de lgebra Linear 111
A.1 Operaes . . . . . . . . . . . . . . . . . . . . . . . . . 111
A.1.1 Multiplicao: produtos linha por coluna . . . . 112
A.1.2 Multiplicao: produtos externos . . . . . . . . 112
A.1.3 Multiplicao: matrizes em blocos . . . . . . . . 113
A.2 Algumas Matrizes . . . . . . . . . . . . . . . . . . . . . 113
A.3 Espaos Relevantes . . . . . . . . . . . . . . . . . . . . 115
A.4 Posto . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
A.5 Teorema Fundamental da lgebra Linear . . . . . . . 117
A.6 Projees . . . . . . . . . . . . . . . . . . . . . . . . . 118
A.7 Autovalores e Autoespaos . . . . . . . . . . . . . . . . 121
A.8 Decomposies . . . . . . . . . . . . . . . . . . . . . . 123
A.8.1 Decomposio de Schur . . . . . . . . . . . . . . 123
A.8.2 Forma Cannica de Jordan . . . . . . . . . . . . 126
A.8.3 Decomposio em Valores Singulares . . . . . . 129
7
A.9 Normas de Vetores . . . . . . . . . . . . . . . . . . . . 130
A.9.1 Exemplos de Normas Vetoriais . . . . . . . . . . 132
A.10 Normas de Matrizes . . . . . . . . . . . . . . . . . . . . 134
A.11 Norma Induzida e Raio Espectral . . . . . . . . . . . . 134
Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . 136
Many of the scientic treatises of today are formulated in a
half-mystical language, as though to impress the reader
with the uncomfortable feeling that he is in the permanent
presence of a superman. The present book is conceived in a
humble spirit and is written for humble people. The author
knows from past experience that one outstanding weakness
of our present system of college education is the custom of
classing certain fundamental and apparently simple
concepts as elementary, and of relegating them to an
age-level at which the students mind is not mature enough
to grasp their true meaning. The fruits of this error can be
observed daily. (Cornelius Lanczos, pgina ix no Prefcio
de [75], de 1948).
Prefcio
O principal objetivo desse trabalho apresentar alguns dos avanos
recentes nos mtodos de clculo de solues aproximadas de siste-
mas lineares de grande porte atravs de projees em subespaos de
Krylov. Os ltimos 60 anos tm testemunhado um desenvolvimento
constante desses mtodos e, no por acaso, tambm dos computadores
[103].
No pode restar a menor dvida de que, atualmente, o melhor
e mais utilizado mtodo para resolver sistemas lineares a eli-
minao gaussiana com pivoteamento parcial. Mas a ordem
das matrizes a serem resolvidas em problemas atuais alcanam cifras
enormes. No caso de matrizes esparsas, sem uma estrutura conhecida,
o procedimento padro de eliminao gaussiana no indicado, pois
rapidamente chega-se exausto de memria e, em muitos casos, o
tempo necessrio para a soluo invivel. Nesse momento, os mto-
dos iterativos so chamados cena, e dentre eles, os mais utilizados,
em aplicaes acadmicas e industriais, so os mtodos de Krylov, por
suas boas propriedades numricas e computacionais.
No captulo 1, apresentamos as denies e vrios resultados essen-
ciais para a os desenvolvimentos ulteriores. Sempre podemos interpre-
tar os mtodos de Krylov como de projeo, discutidos na seo 1.3.
Entre as vrias classicaes existentes para os mtodos de Krylov,
uma delas os divide em duas grandes classes: a dos baseados no pro-
cedimento de Arnoldi e a dos mtodos originrios no procedimento de
11
12
Lanczos no-simtrico [101]. De acordo com ela, os mtodos analisa-
dos nesse livro devem ser considerados como de Arnoldi. No captulo
2, discutimos o procedimento de Arnoldi e dois representantes dessa
classe: o FOM e o GMRES. Para permitir uma melhor compre-
enso desses mtodos e da soluo que eles fornecem, no captulo 3,
analisamos a qualidade dos erros da soluo de sistemas lineares, pre-
condicionadores e critrios de parada. A seguir, no captulo 4,
sistematizamos conceitos teis compreenso dos mtodos de Krylov:
os pares harmnicos de Ritz, os mtodos de ortogonalizao
mais utilizados. Essas ferramentas tericas ajudam a entender os m-
todos descritos no captulo 5. Finalmente, no captulo 6, fazemos o
estudo de um novo mtodo de Krylov que baseado em algumas das
ideias apresentadas nos captulos anteriores.
Adotaremos em todo esse trabalho as convenes do programa
Matlab
para fazer referncia a vetores e matrizes, ou s suas par-

tes. Alm disso, usaremos letras maisculas em itlico para matrizes,
A, letras maisculas cursivas para espaos vetoriais, V, e letras mi-
nsculas em itlico para vetores, x. Sendo assim A(:, j) refere-se a
jsima coluna da matriz A, A(i, :) refere-se a sua isima linha e
A(i, j) ao elemento da isima linha e jsima coluna, podemos usar
a
ij
para representar a mesma informao. A no ser em casos espe-
ciais, nos referiremos sem distino a uma transformao linear ou
matriz que a representa na base subjacente.
Os 95 exerccios so destinados ao aprofundamento e xao das
ideias, podendo ser demonstraes, desenvolvimento de programas ou
ponteiros com referncias para novos estudos.
Realizamos algumas modicaes nessa segunda edio. Introduzi-
mos uma reviso sistemtica dos principais conceitos de lgebra linear
necessrios para a compreenso dos mtodos; eles sero tratados no
Apndice A. Uma outra alterao a seo 4.2, ela dedicada ao es-
tudo dos principais mtodos para ortogonalizao de bases de espaos
vetoriais. Por m, retiramos o estudo de mtodos de Krylov em bloco
por avaliarmos que o tratamento desse tpico precisa de mais espao
e de um maior detalhamento do que o disponvel nessa obra. Um ou-
tro enfoque dos mtodos de Krylov, a partir de conceitos geomtricos,
Prefcio 13
pode ser visto em [31].
Por m, ambos os autores gostariam de agradecer SBMAC pela
oportunidade de viabilizar a produo desse trabalho e, tambm, ao
professor Nelson Maculan (UFRJ) pelo apoio decisivo a essa reali-
zao. O primeiro autor gostaria de agradecer fraterna acolhida que
recebeu no CERFACS por parte de Xavier Vasseur e de Iain S.
Du do Parallel Algorithms Project do CERFACS, Toulouse,
Frana, aonde uma parte desse trabalho foi desenvolvida.
Rio de Janeiro, 27 de novembro de 2011
Luiz Mariano Carvalho
Toulouse, 27 de novembro de 2011
Serge Gratton
14
Captulo 1
Espaos de Krylov e Mtodos
de Projeo
Apresentaremos e discutiremos propriedades dos espaos de Krylov
1
,
nas sees 1.1 e 1.2. Esses espaos apareceram originalmente em uma
tcnica proposta por A.N. Krylov para construo de polinmios ca-
ractersticos de matrizes. Sem entrar em detalhes (que podem ser vis-
tos em [81, seo 7.11]), o resultado do mtodo a construo de ma-
trizes K, regular
2
, e H, Hessenberg, tal que o produto K
1
AK = H
seja vlido. Trata-se de uma relao de similaridade e, portanto, A e
H tm o mesmo polinmio caracterstico. As colunas da matriz K,
em uma primeira fase do mtodo, so construdas pela multiplicao
de um vetor b por A, a saber, a jsima coluna de K(:, j) dada por
A
j1
b, ou seja
K =
(
b Ab A
2
b . . . A
k1
b.
)
1
Aleksei Nikolaevich Krylov (1863-1945) mostrou em 1931 [74] como usar sequncias da forma
{b, Ab, A
2
b, . . .} para construir o polinmio caracterstico de uma matriz. Krylov foi um mate-
mtico aplicado russo (engenheiro martimo de formao [nota dos tradutores]) cujos interesses
cientcos ultrapassavam em muito as reas de seu treinamento inicial em cincia naval, que
envolviam utuao, estabilidade, etc. Krylov foi diretor do Instituto de Fsica-Matemtica da
Academia de Cincias da Unio Sovitica de 1927 a 1932, e em 1943 ganhou um prmio estatal
por suas teorias sobre bssolas. Foi condecorado como heri do trabalho socialista e um dos
poucos matemticos que tem um acidente geogrco lunar associado a seu nome, trata-se da
cratera Krylov. (traduzido pelos autores de [81])
2
Matriz regular quando for no singular, ou seja, inversvel.
16 Krylov e Projeo
A tcnica desenvolvida nesse mtodo est na gnese de todos os, assim
chamados, mtodos de Krylov.
Na seo 1.3, trataremos das propriedades de mtodos de projeo
genricos. E por m, sintetizaremos, com a combinao de mtodos
de projeo em subespaos de Krylov.
1.1 Espaos de Krylov
Chamaremos de espao de Krylov o conjunto formado por todas
combinaes lineares dos vetores K(A, b) := b, Ab, A
2
b, . . .
3
, chama-
remos de subespao de Krylov o conjunto formado pelas combina-
es lineares dos k vetores
K(A, b, k) = K
k
(A, b) := b, Ab, A
2
b, . . . , A
k1
b.
Uma matriz de Krylov a matriz cujas colunas so os vetores que
originam um subespao de Krylov, e ser denotada
K
k
:=
(
b Ab A
2
b . . . A
k1
b.
)
Uma sequncia de Krylov uma sequncia de vetores
(
x
k
)
C
m
tal
que x
k
= A
k1
b. Uma sequncia de Krylov pode, ou no, ser formada
por vetores linearmente independentes, para tratar dessa propriedade,
denimos um divisor particular do polinmio mnimo da matriz A.
Sejam A C
mm
e b C
m
. O polinmio mnimo de um vetor
b em relao matriz A [68, pg. 18, seo 1.5] o polinmio mnico
de grau mnimo tal que
p(A)b = 0.
Se A
k
b o primeiro vetor que se torna uma combinao linear dos
vetores anteriores de uma sequncia de Krylov, ou seja,
A
k
b =
k1
i=0
i
A
i
b,
3
Usamos a notao u
1
, u
2
, . . . , u
k
para representar o subespao gerado por todas das
combinaes lineares dos vetores u
i
, i = 1 : k. E a notao := para dizer que a parte direita
desse smbolo a denio do que se encontra esquerda dele.
Krylov 17
ento, p(x) = x
k
k1
i=0

i
x
i
(ou p(x) = 1, quando b = 0) o polin-
mio mnimo de b em relao a A.
Observao 1.1. O polinmio mnimo de uma matriz A o polin-
mio de menor grau que o polinmio mnimo para todos os vetores do
espao vetorial considerado em relao matriz A [68, pg. 18, seo
1.5].
Tornando mais precisa a observao anterior, o resultado a seguir
compara o polinmio mnimo de um vetor relativo a uma matriz, com
o polinmio mnimo dessa matriz.
Teorema 1.1 ([81, pg. 647, seo 7.11]). Sejam A C
mm
e V =
(v
1
, v
2
, . . . , v
m
) uma base ordenada para C
m
. Se p
i
(t) o polinmio
mnimo de v
i
em relao a A, ento o polinmio mnimo de A, q
A
(t),
divisvel por cada p
i
(t) e, dado um outro polinmio p(t), caso cada
p
i
(t) divida p(t) ento q
A
(t) tambm divide p(t), ou seja, o polinmio
mnimo de A o mnimo mltiplo comum de todos os polinmios
mnimos dos vetores de C
m
em relao a A.
Demonstrao: Exerccio 1.
Uma das principais motivaes para os mtodos iterativos de pro-
jeo em subespaos de Krylov o seguinte teorema.
Teorema 1.2 ([70, Teorema 1]). Sejam A C
mm
, matriz regular, e
b C
m
. Seja x
a soluo exata do sistema linear Ax = b. Seja x

0
um
valor inicial para x
e r
0
= b Ax
0
, o resduo inicial. Se o polinmio
mnimo do vetor r
0
relativo A tem grau k1, ento x
x
0
pertence
ao espao de Krylov K
(k1)
(A, r
0
).
Demonstrao: Seja p
r
0
(t) o polinmio mnimo de r
0
em relao a A,
logo
p
r
0
(A)r
0
=
0
r
0
+
1
Ar
0
+
2
A
2
r
0
+ . . . +
k1
A
k1
r
0
= 0.
Como A regular ento existe A
1
e temos
0
A
1
r
0
+
1
r
0
+
2
Ar
0
+ . . . +
k1
A
k2
r
0
= 0.
18 Krylov e Projeo
Pelo teorema 1.1, p
r
0
(t) divide o polinmio mnimo de A; sendo A re-
gular, no possui o autovalor 0 e j que
0
o produto dos autovalores
de A ento,
0
= 0. Podemos escrever:
A
1
(b Ax
0
) = x
x
0
=
0
r
0
0
Ar
0
. . .

k1
0
A
k2
r
0
.
Logo (x
x
0
) K
(k1)
(A, r
0
).
Observao 1.2. Se estamos em busca de uma soluo para Ax = b,
o espao natural de busca o subespao de Krylov gerado por A e r
0
.
Segundo observam Ilpsen & Meyer em [70], o polinmio mnimo de
um vetor em relao a uma matriz pode ter um grau bem menor do
que o polinmio mnimo da mesma matriz. E por isso, dependendo de
r
0
, que por sua vez depende de x
0
e do lado direito b, um mtodo de
Krylov pode convergir em um nmero de passos notadamente inferior
ao grau do polinmio mnimo da matriz em questo.
Observao 1.3. A verso do teorema 1.2 aqui apresentada um
pouco diferente em [70], pois estamos usando o polinmio mnimo de
r
0
em relao a A e um valor inicial x
0
, mas em essncia o mesmo
resultado.
Veremos, a seguir, algumas propriedades dos subespaos de Krylov.
Teorema 1.3 (Propriedades dos Subespaos de Krylov [120, pg.
267]). Sejam A C
mm
e b C
m
. Ento
1. Uma sequncia de subespaos de Krylov satisfaz
K
k
(A, b) K
k+1
(A, b)
e
AK
k
(A, b) K
k+1
(A, b).
2. Se
i
C, e
i
= 0, i = 1, 2,
K
k
(A, b) = K
k
(
1
A,
2
b).
Base de Krylov 19
3. Se C,
K
k
(A, b) = K
k
(A I, b).
4. Se W regular, ento
K
k
(W
1
AW, W
1
b) = W
1
K
k
(A, b).
Demonstrao: Exerccio 3
Observao 1.4. Em relao ao teorema 1.3, o item 1 informa que
os subespaos de Krylov so encaixados. O item 2 fala sobre a inva-
rincia por multiplicao por escalar e o item 3 sobre a invarincia
por translao. Finalmente, o item 4 mostra que uma transformao
por similaridade na matriz, pode ser controlada, apesar de no gerar
o mesmo espao de Krylov.
Uma outra caracterizao de um subespao de Krylov, K
k
(A, b),
pode ser feita se observamos que todo v K
k
(A, b) pode ser escrito
da forma
v =
0
b +
1
Ab + . . . +
k1
A
k1
b.
Se denimos o polinmio p(A) como
p(A) =
0
I +
1
A + . . . +
k1
A
k1
,
ento, temos v = p(A)b. Por outro lado, qualquer vetor da forma
v = q(A)b onde q() um polinmio de grau menor do que k pertence
a K
k
(A, b) com isso podemos fazer uma caracterizao polinomial dos
subespaos de Krylov:
K
k
(A, b) = {p(A)b; grau(p) < k}.
1.2 Base para Subespao de Krylov
Uma pergunta natural sobre a convenincia do uso, em aritmtica
nita, de uma sequncia de Krylov de vetores linearmente independen-
tes, como base para o subespao de Krylov gerado por eles. A seguinte
20 Krylov e Projeo
observao apresentada em [120, pg. 298], aqui faremos uma pe-
quena modicao (em itlico) para ser coerente com o restante do
texto.
Uma matriz que contm uma base para o espao de Krylov
da seguinte forma
K
k
=
(
b Ab . . . A
k1
b
)
no adequada para uma implementao numrica. A ra-
zo que com o aumento de k, as colunas de K
k
passam a
ser cada vez mais linearmente dependentes, j que elas ten-
dem gradativamente a se aproximar do espao gerado pelos
autovetores associados ao autovalor dominante
4
.
E completa, analisando o exemplo [120, pg. 266] a seguir:
Exemplo 1.1. Um matriz diagonal A, de ordem 100, gerada com
autovalores
1; 0, 95; 0, 95
2
; 0, 95
3
; ...; 0, 95
99
.
Comeando com um vetor qualquer u
1
, geram-se os vetores u
k+1
=
A
k
u
1
.
O autor discute que apesar da convergncia para o autovalor do-
minante ser lenta, a diminuio do ngulo
5
entre o subespao gerado
pelos vetores u
k
e o autoespao vinculado ao autovalor dominante
bem mais rpida (veja exerccio 4 desse captulo), e completa mos-
trando uma tabela da evoluo do nmero de condicionamento da
matriz cujas colunas so os vetores u
k
:
k condicionamento
5 5,8e+02
10 3,4e+06
15 2,7e+10
20 3,1e+14
4
Autovalor dominante aquele de maior mdulo.
5
Para denio de ngulo entre subespaos, consultar [44, pg. 256] ou [119, pg. 73].
Mtodos de Projeo 21
Ou seja, as colunas so cada vez mais prximas da dependncia li-
near
6
. E no basta tentar ortogonalizar a base do subespao, pois
como os vetores so quase linearmente dependentes o processo de or-
togonalizao seria numericamente instvel. Uma soluo para esse
problema ser discutida no captulo 2, onde apresentaremos o mtodo
de Arnoldi.
Se, numericamente, ortogonalizar a matriz de Krylov m ideia,
em matemtica exata no h maiores problemas, caso as colunas da
matriz sejam linearmente independentes, e isso graas ao teorema a
seguir.
Teorema 1.4 (Fatorao QR). Seja A C
mp
, onde posto de A
igual a p. Ento A pode se escrito de forma nica
A = QR,
onde Q C
mp
tem suas colunas ortonormais e R C
pp
regular,
triangular superior com elementos da diagonal principal positivos.
Esse resultado visto nos cursos bsicos de lgebra linear e o m-
todo apresentado para se construir essa fatorao , em geral, o pro-
cesso de Gram-Schmidt. No entanto, h outros, por exemplo: mtodo
de reexes de Householder e mtodo de rotaes de Givens (ver 4.2.2
ou [54, cp. 5]).
1.3 Mtodos de Projeo
Sejam K
k
e L
k
7
dois subespaos de C
m
, ambos com dimenso k. Um
mtodo de projeo consiste
8
em, dado um valor inicial x
0
, construir
uma sequncia
(
x
k
)
de vetores de C
m
, que atendam as seguintes pro-
6
Para uma anlise detalhada desse fato para matrizes hermitianas ver [120, pg. 269].
7
Neste seo, os espaos K
k
e L
k
no so necessariamente espaos de Krylov.
8
Essa parte baseada, principalmente, em [24, pgs. 131-132] e em [101, cp. 5].
22 Krylov e Projeo
priedades:
x
k
x
0
K
k
, (1.3.1)
r
k
= b Ax
k
L
k
. (1.3.2)
Como no se sabe a priori o valor exato da soluo e a cada novo
passo do mtodo tem-se uma nova aproximao x
k
, primeira vista,
o melhor que se pode fazer calcular a diferena, b Ax
k
, chamada
de resduo. Como esses mtodos tm origem em mtodos de aproxi-
mao de funes (ver, por exemplo, [73, cp. 4]), a condio (1.3.2)
usualmente denominada condio de Petrov-Galerkin.
As duas condies anteriores podem denir de forma nica cada x
k
,
vejamos as condies necessrias para tanto. Sejam U
k
e V
k
matrizes
em C
mk
, cujas colunas so bases para, respectivamente, K
k
e L
k
. A
condio (1.3.1) pode ser escrita como
x
k
x
0
= U
k
a
k
, a
k
C
k
,
logo, o resduo da segunda condio torna-se
r
k
= b Ax
k
= b Ax
0
AU
k
a
k
= r
0
AU
k
a
k
.
Como o resduo ortogonal a L
k
, ele ortogonal a todos os vetores
desse subespao, e temos
V
H
k
r
k
= 0 V
H
k
r
0
V
H
k
AU
k
a
k
= 0 a
k
= (V
H
k
AU
k
)
1
V
H
k
r
0
,
caso V
H
k
AU
k
seja uma matriz regular. O teorema a seguir descreve
duas condies sucientes para essa matriz ser regular.
Teorema 1.5. Sejam U
k
e V
k
matrizes em C
mk
, cujas colunas so
bases para, respectivamente, K
k
e L
k
, ento qualquer uma das duas
condies a seguir garante a regularidade da matriz V
H
k
AU
k
:
A positivo-denida e K
k
= L
k
, ou
A regular e L
k
= AK
k
.
Mtodos de Projeo 23
Caso a matriz V
H
k
AU
k
seja regular, podemos escrever
x
k
= x
0
+ U
k
(V
H
k
AU
k
)
1
V
H
k
r
0
(1.3.3)
e
r
k
= r
0
AU
k
a
k
r
k
= r
0
AU
k
(V
H
k
AU
k
)
1
V
H
k
r
0
.
Ora, P
k
:= AU
k
(V
H
k
AU
k
)
1
V
H
k
uma matriz de projeo em
9
AK
k
cujo ncleo L
k
, assim como (I P
k
) uma projeo em L
k
cujo
ncleo AK
k
. E a frmula anterior pode ser escrita
r
k
= (I P
k
)r
0
.
Ilustrando, de forma matricial, a condio de ortogonalidade de r
k
em
relao ao subespao L
k
.
Observao 1.5. Na construo anterior, caso K
k
= L
k
, a condio
de ortogonalidade (1.3.2) denomina-se condio de Galerkin ou de
Ritz-Galerkin.
Observao 1.6. Explorando a equao (1.3.3), temos
Ax
k
= Ax
0
+ P
k
r
0
P
k
Ax
k
= P
k
Ax
0
+ (P
k
)
2
r
0

P
k
Ax
k
= P
k
Ax
0
+ P
k
r
0
P
k
Ax
k
= P
k
b.
Ou seja, x
k
d uma soluo exata do problema Ax = b quando res-
tringimos o espao de busca e o lado direito ao subespao AK
k
.
Observao 1.7. Com isso, pode-se ver que os mtodos de projeo
chegam soluo no mximo em m passos, sendo um mtodo direto de
soluo, sem ser, no entanto, competitivo com o mtodo de eliminao
gaussiana. O fato que se a projeo for feita em espaos adequados,
os mtodos de projeo podem ser utilizados como mtodos iterativos
interessantes.
Os teoremas abaixo renem informaes sobre algumas decorrn-
cias das condies sucientes de existncia da matriz de projeo,
enunciadas no teorema 1.5.
9
Veja a seo A.6 do Apndice A.
24
Teorema 1.6. Se x a soluo de Ax = b. Se A simtrica e
positivo-denida e se K
k
= L
k
, ento x
k
minimiza o produto interno
abaixo, o qual dene uma norma vetorial,
(A(x y), (x y))
10
no espao am x
0
+K
k
= {y; y = x
0
+ z, z K
k
}.
Teorema 1.7. Se A regular e AK
k
= L
k
, ento x
k
minimiza a
norma euclidiana
b Ay
2
no espao am x
0
+K
k
= {y; y = x
0
+ z, z K
k
}.
Teorema 1.8. Supondo que V
H
k
AU
k
seja regular. Se existe um k tal
que AK
k
= K
k
e se b e r
0
pertencem a K
k
, ento r
k
= 0 e x
k
= x, ou
seja, chega-se soluo exata.
Demonstrao: Exerccios 8, 9 e 10.
Com os resultados apresentados at agora, estamos prontos para
uma denio geral sobre mtodos de projeo em subespaos de Kry-
lov (MPSK). Como base usaremos a mesma notao, K
k
e L
k
, para os
espaos de projeo. Queremos resolver Ax = b. Partindo de um valor
inicial x
0
e calculando o resduo inicial, r
0
= b Ax
0
, K
k
ser o subes-
pao de Krylov K
k
(A, r
0
). Ao variarmos L
k
e ao usarmos diferentes
tipos de projeo daremos origem a distintos MPSK.
Em particular apresentaremos no prximo captulo o mtodo da
ortogonalizao completa (FOM) e o de resduo minimal generalizado
(GMRES); no primeiro L
k
= K
k
(A, r
0
) e no segundo L
k
= AK
k
(A, r
0
).
Exerccios
1. Demonstre o teorema 1.1.
10
Usamos a notao (u, v) para representar o produto interno entre os vetores u e v, a no
ser que seja explicitamente dito, ser sempre o produto interno cannico

m
i=1
u
i
v
i
.
Exerccios 25
2. Detalhe a armao feita na demonstrao do teorema 1.2 de que
o coeciente independente da varivel,
0
, do polinmio mnimo
de um vetor em relao a uma matriz regular diferente de zero.
Por que necessria a hiptese de diviso dos polinmios?
3. Demonstre as propriedades enunciadas no teorema 1.3.
4. Em relao ao subespaos de Krylov do exemplo 1.1, faa um
programa em Matlab, ou equivalente, para calcular a convergn-
cia dos vetores u
k
em relao ao autovalor dominante da matriz,
e faa um outro para calcular o ngulo entre o autovalor domi-
nante e o subespao gerado pelos vetores u
k
. Trace os grcos e
observe a diferena entre esses processos de convergncia.
6. Em relao ao teorema 1.4, prove que Im(A(:, 1 : l)) = Im(Q(:
, 1 : l)) para p = 1 : l, ou seja, que as primeiras l colunas de A
geram o mesmo subespao vetorial que as primeiras l colunas de
Q. Prove que Im(A) = Im(Q).
7. Demonstre o teorema 1.5
11. Em relao segunda parte do teorema 1.5, podemos armar que
cada base de L
k
pode ser construda pela multiplicao dos veto-
res de uma base de K
k
pela matriz A? E quanto a ortogonalidade
dessas bases, o que podemos armar?
26
Captulo 2
Mtodos de Krylov Baseados
no Procedimento de Arnoldi
H uma unanimidade entre os pesquisadores da rea de mtodos ite-
rativos para soluo de sistemas lineares: no existe o melhor mtodo
para a soluo de problemas com matrizes no-simtricas [86]. Outro
ponto de vista comum o de que, para matrizes no-normais, h muito
ainda o que se trabalhar na compreenso dos fatores que inuenciam
na convergncia dos mtodos. Ainda outro consenso, o da necessi-
dade de precondicionadores para acelerar os mtodos de Krylov, que
estudaremos no captulo 3. Na seo 2.1, o mtodo de Arnoldi, um dos
procedimentos seminais dos mtodos de Krylov ao lado do mtodo de
Lanczos, discutido a partir de uma motivao para a sua construo
e vrias de suas propriedades so relacionadas. Nas demais sees,
discutimos dois mtodos paradigmticos: o FOM e o GMRES. A li-
teratura sobre esses mtodos bastante vasta, estando consolidada,
por exemplo, nos livros [24], [59], [101], [131]. Ao m deste captulo,
tocamos levemente na questo de estabilidade do GMRES quando do
uso do procedimento de Arnoldi baseado no mtodo de reexes de
Householder ou no mtodo de ortogonalizao de Gram-Schmidt mo-
dicado, apresentando a bibliograa necessria ao estudo desse tema.
Deixaremos para o captulo 5, a apresentao de algumas das variantes
do GMRES surgidas nos ltimos 20 anos.
28 Arnoldi
2.1 Mtodo de Arnoldi
O nome de Arnoldi
1
aparece tanto ligado soluo de problemas de
autovalores quanto soluo de sistemas lineares. Nesta seo, mos-
traremos o mtodo de Arnoldi [5] para ortogonalizar uma base de um
subespao Krylov. Visando facilitar o desenvolvimento, vamos supor
que o grau do polinmio mnimo de r
0
em relao a A maior do que
k.
Uma motivao interessante para o mtodo de Arnoldi apre-
sentada em [80, pg. 337] e foi formulada originalmente por Kees
Vuik. Queremos construir uma base ortonormal para K
k
(A, r
0
) =
r
0
, Ar
0
, . . . , A
k1
r
0
, tal que K
k
(A, r
0
) = v
1
, v
2
, . . . , v
k1
, v
k
. Seja
V =
(
v
1
v
2
. . . v
k
)
, logo V
H
V = I. Vale, tambm, observar que a
matriz de Krylov associada a K
k
(A, r
0
), K
k
=
(
r
0
Ar
0
. . . A
k1
r
0
)
,
goza da seguinte propriedade:
AK
k
=
(
Ar
0
A
2
r
0
. . . A
k
r
0
)
=
=
(
Ar
0
A
2
r
0
. . . A
k1
r
0
0
)
+
(
0 0 . . . A
k
r
0
)
=
= K
k
0 0 . . . 0 0
1 0 . . . 0 0
0 1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0
0 . . . . . . 1 0
+ A
k
r
0
e
H
k
. (2.1.1)
onde e
k
o k-simo vetor da base cannica. Como buscamos uma
base ortonormal, o mtodo usual o da fatorao K
k
= QR, onde
Q uma matriz m k, cujas colunas so vetores ortonormais, e R
uma matriz regular e triangular superior. Chamando de H
1
a matriz
1
Walter Edwin Arnoldi (1917-1995) foi um engenheiro americano que publicou sua tcnica
em 1951, no muito distante do aparecimento do algoritmo de Lanczos. Arnoldi graduou-se
em engenharia mecnica no Stevens Institute of Technology, Hoboken, New Jersey, em 1937
e o seu mestrado foi obtido na Harvard University em 1939. Durante sua carreira, trabalhou
como engenheiro na Hamilton Standard Division da United Aircraft Corporation, aonde, com o
passar do tempo, tornou-se pesquisador chefe da diviso. Aposentou-se em 1977. Apesar de sua
pesquisa ter versado sobre propriedades mecnicas e aerodinmicas de aeronaves e estruturas
aeroespaciais, o nome de Arnoldi mantido vivo graas ao seu procedimento de ortogonalizao
(traduzido pelos autores de [81]).
Arnoldi 29
de Hessenberg que aparece em (2.1.1), teremos
AQR = QRH
1
+ A
k
r
0
e
H
k
.
Mais algumas contas:
AQ = (QRH
1
+A
k
r
0
e
H
k
)R
1
Q
H
AQ = (RH
1
+Q
H
A
k
r
0
e
H
k
)R
1
Q
H
AQ = R(H
1
+ R
1
Q
H
A
k
r
0
e
H
k
)R
1
,
ora
H
2
:= H
1
+ R
1
Q
H
A
k
r
0
e
H
k
=
0 0 . . . 0
.
.
.
1 0 . . . 0
.
.
.
0 1
.
.
.
.
.
. R
1
Q
H
A
k
r
0
.
.
.
.
.
.
.
.
.
0
.
.
.
0 . . . . . . 1
.
.
.
,
uma matriz de Hessenberg e RH
2
R
1
tambm o ser (ver exerccio
1). E assim, vemos que a decomposio Q
H
AQ uma matriz de
Hessenberg superior. E, podemos tomar para V as colunas de Q.
Continuemos o raciocnio de Vuik, agora por nossa conta e risco.
Vamos desenvolver a ltima coluna de RH
2
R
1
. Ela ser igual a
Q
H
A
k
r
0
R
1
(k, k), para isso bastando interpretar a multiplicao de
matrizes como um produto externo. R
1
(k, k) igual a 1/
Q(:, k)
2
,
onde

Q(:, k) o vetor Q(:, k) antes da normalizao, ou seja, Q(:, k) =
Q(:, k)/
Q(:, k)
2
. E assim, comparando as ltimas colunas das ma-
trizes Q
H
AQ e RH
2
R
1
, temos
Q
H
AQ(:, k) = Q
H
A
k
r
0
/
Q(:, k)
2
,
ou ainda
QQ
H
A
Q(:, k) = QQ
H
A
k
r
0
.
Ou seja, as projees ortogonais de A
Q(:, k) e de A
k
r
0
no subespao
de Krylov K
k
(A, r
0
) so as mesmas. No temos ainda a resposta -
nal, mas uma boa pista, de como gerar os subespao de Krylov sem
30 Arnoldi
utilizar A
k
r
0
. Ser que no processo de ortogonalizao, ao substituir-
mos o vetor A
k
r
0
pelo vetor A
Q(:, k), estaremos gerando bases para

o mesmo subespao de Krylov K
k
(A, r
0
)? Quais as condies sobre
os vetores A
k
r
0
e A
Q(:, k) para que os subespaos gerados sejam os

mesmos? A resposta positiva o mtodo de Arnoldi, algoritmos 1 e
2, e a justicativa est no exerccio 2. O algoritmo 1 usa o processo
Algoritmo 1 Mtodo de Arnoldi (A, r
0
, k) - alternativa com Gram-Schmidt
clssico
1: V (:, 1) = r
0
/r
0
2: para j = 1 : k
3: w = AV (:, j)
4: H(1 : j, j) = V (:, 1 : j)
H
w
5: w = (I V (:, 1 : j)V (:, 1 : j)
H
)w
6: H(j + 1, j) = w
2
7: V (:, j + 1) = w/H(j + 1, j)
8: m-para
de ortogonalizao de Gram-Schmidt, onde todos os escalares, que se-
ro utilizados para multiplicar os elementos da base j existente, so
calculados usando o mesmo valor de w = AV (:, j). Esse procedimento
numericamente instvel, e por razes de estabilidade uma verso
modicada utilizada [118]
2
, ver algoritmo 2.
Observao 2.1. Em ambas as verses do algoritmo de Arnoldi ainda
no h um teste sobre H(j + 1, j) ser numericamente zero (ou seja,
menor que uma constante arbitrada). Esse fato, denominado de rup-
tura do algoritmo, ocorre quando o novo vetor pertence ao mesmo
subespao dos vetores gerados at aquele momento. Ou seja, quando
K
k
(A, r
0
) AK
k
(A, r
0
) ou, ainda, K
k
(A, r
0
) = K
k+1
(A, r
0
). Em uma
real implementao computacional necessria a incluso de um teste
de ruptura.
2
Para ver exemplo de instabilidade consultar, entre outros, [81, exemplo 5.5.5, pg. 316].
Arnoldi 31
Algoritmo 2 Mtodo de Arnoldi (A, r
0
, k) - alternativa com Gram-Schmidt
modicado
1: V (:, 1) = r
0
/r
0
2
2: para j = 1 : k
3: w = AV (:, j)
4: para i = 1 : j
5: H(i, j) = (V (:, i), w)
6: w = w H(i, j)V (:, i)
7: m-para
8: H(j + 1, j) = w
2
9: V (:, j + 1) = w/H(j + 1, j)
10: m-para
Observao 2.2. Em [119, pg. 279], o autor bastante enftico
quanto a inadequao do nome Gram-Schmidt modicado, uma vez
que ele considera ser outro mtodo com outras propriedades apesar
da semelhana entre os algoritmos, para maiores detalhes ver a obra
citada.
Sejam V
k
C
mk
, a matriz cujas colunas so os vetores V (:, j), e
H
k
C
kk
, a matriz Hessenberg superior, formadas no procedimento
de Arnoldi at a k-sima iterao do algoritmo 2 antes de executarmos
os passos 8: e 9:. O algoritmo completo, contadas as k iteraes, ter
uma representao matricial, at esse momento, dada por
AV
k
V
k
H
k
= we
H
k
,
onde e
k
o k-simo vetor da base cannica. Ao incorporarmos os
passos 8: e 9:, passamos a ter:
AV
k
V
k
H
k
= H(k + 1, k)V (:, k + 1)e
H
k

AV
k
= V
k
H
k
+ H(k + 1, k)V (:, k + 1)e
H
k
. (2.1.2)
32 Arnoldi
Temos aqui uma multiplicao entre matrizes representada por um
produto externo e podemos escrev-la de forma mais compacta como:
AV
k
= V
k+1
H
k
, (2.1.3)
onde V
k+1
C
m(k+1)
e H
k
C
(k+1)k
. H, ainda, uma relao
simples a ser extrada:
V
H
k
AV
k
= H
k
. (2.1.4)
As frmulas (2.1.2), (2.1.3) e (2.1.4) resumem algumas das propri-
edades do mtodo de Arnoldi que usaremos adiante.
Observao 2.3. Vale observar que a frmula (2.1.4) nos lembra a
decomposio de Schur (s que na decomposio de Schur, V
k
, ne-
cessariamente, quadrada). E, motivados por essa observao, nos pr-
ximos captulos (ver seo 4.1 do 4 e 5.1 do captulo 5) vamos utilizar
autovalores relacionados matriz H
k
visando aumentar a velocidade
de convergncia dos mtodos de Krylov baseados no procedimento de
Arnoldi.
2.2 Ortogonalizao Completa - FOM
Para resolver Ax = b, o mtodo da ortogonalizao completa [98],
[101] um MPSK com as seguintes caractersticas: partindo de um
valor inicial x
0
, tem-se o resduo inicial, r
0
= b Ax
0
. K
k
ser o
subespao de Krylov K
k
(A, r
0
). A cada nova iterao, calcula-se x
k
impondo as condies: (x
k
x
0
) K
k
(A, r
0
) e o resduo r
k
= b Ax
k
deve ser ortogonal L
k
= K
k
(A, r
0
). Nesse caso, o espao de restries
ser L
k
= K
k
e r
k
K
k
(A, r
0
). Uma representao grca simplicada
desse fato pode ser vista na gura 2.1.
Uma representao resumida da estrutura de uma iterao do FOM
apresentada no algoritmo 3. O primeiro passo do algoritmo 3 ser
feito pelo mtodo de Arnoldi. No segundo passo, as condies dadas
nos permitem detalhar as operaes matriciais necessrias. Seja V
j
uma base ortonormal para K
j
(A, r
0
), ento temos que para algum
y
j
C
j
, x
j
x
0
= V
j
y
j
, o que atende primeira condio. Quanto ao
Ortogonalizao Completa - FOM 33
A(x
k
x
0
)
AK
k
(A, r
0
)
K
k
(A, r
0
)
r
k
r
0
:= b Ax
0
(x
k
x
0
) K
k
(A, r
0
)
r
k
K
k
(A, r
0
)
Figura 2.1: Representao esquemtica da condio de ortogonalidade do resduo
do FOM.
Algoritmo 3 Ortogonalizao completa (A, x
0
) - resumo de uma iterao
1: adicionar um vetor a uma base ortonormal para o subespao de Krylov
K
j
(A, r
0
),
2: calcular x
j
tal que x
j
x
0
K
j
(A, r
0
) e que r
j
K
j
(A, r
0
).
resduo, ele tem que ser ortogonal ao mesmo espao, ou seja r
H
j
V
j
= 0
ou V
H
j
r
j
= 0, mas
r
j
= bAx
j
= bA(x
0
+V
j
y
j
) = r
0
AV
j
y
j
V
H
j
(r
0
AV
j
y
j
) = 0
V
H
j
AV
j
y
j
= V
H
j
r
0
H
j
y
j
= V
H
j
r
0
.
Como essa base ortonormal e o primeiro vetor da base , exatamente,
r
0
/r
0
2
, ento V
H
j
r
0
=
(
(r
0
/r
0
2
)
H
r
0
, 0, . . . , 0
)
. Logo, temos que
resolver o sistema
H
j
y
j
= r
0
2
e
1
,
onde e
1
o primeiro vetor da base cannica de C
j
. Para que esse
sistema tenha soluo nica necessrio e suciente que H
j
seja uma
matriz regular. Essa condio no ser sempre garantida e a singula-
34 Arnoldi
ridade de H
j
pode ocorrer em duas situaes distintas. No primeiro
caso, ser uma ruptura benca do algoritmo:
H
j
y
j
= 0 V
H
j
AV
j
y
j
= 0 V
H
j
A
j
i=1
i
v
i
= 0,
como as colunas de V
j
geram uma base para K
j
(A, r
0
) temos ainda
que
V
H
j
A
j
i=1
i
v
i
= 0 V
H
j
A
j
i=1
i
(
j
k=1
k
A
k1
r
0
)
= 0,
nesse caso, vamos considerar que AV
j
y
j
= 0
A
j
i=1
i
(
j
k=1
k
A
k1
r
0
)
= 0
j
i=1
i
A
i
r
0
= 0,
ou seja chegamos ao polinmio mnimo de r
0
em relao a A e temos
a soluo exata.
Mas outra situao tambm pode ocorrer, nesse caso z
j
:= AV
j
y
j
=
0 e V
H
j
z
j
= 0, ou seja, existe um vetor no-nulo em AK
j
(A, r
0
) que
ortogonal a K
j
(A, r
0
), tambm nesse caso a matriz H
j
ser singular e
haver uma ruptura do FOM, sem ser benca (ver exerccio 6).
O prximo resultado mostra como o clculo do resduo simples
para o FOM.
Teorema 2.1. O resduo da j-sima iterao do FOM dado por
r
j
= H
j
(j + 1, j)V
j+1
(:, (j + 1))e
T
j
y
j
e r
j
2
= H
j
(j + 1, j)|e
T
j
y
j
|.
Resduo Minimal Generalizado - GMRES 35
Demonstrao:
r
j
= b Ax
j
= b Ax
0
AV
j
y
j
= r
0
V
j+1
H
j
y
j
=
= r
0
(V
j
H
j
+ H
j
(j + 1, j)V
j+1
(:, (j + 1))e
T
j
)y
j
=
= V
j
e
1
(V
j
H
j
+ H
j
(j + 1, j)V
j+1
(:, (j + 1))e
T
j
)y
j
=
= V
j
(e
1
H
j
y
j
) H
j
(j + 1, j)V
j+1
(:, (j + 1))e
T
j
y
j
=
= H
j
(j + 1, j)V
j+1
(:, (j + 1))e
T
j
y
j
.
Como H
j
(j + 1, j)e
T
j
y
j
um escalar e V
j+1
(:, (j + 1))
2
= 1, temos
os resultados.
2.3 Resduo Minimal Generalizado - GMRES
O mtodo de resduo minimal generalizado (GMRES) [102] um
MPSK com as seguintes caractersticas. Para resolvermos Ax = b, par-
timos de um valor inicial x
0
e calculamos o resduo inicial, r
0
= bAx
0
.
K
k
ser o subespao de Krylov K
k
(A, r
0
), ou seja, (x
k
x
0
) K
k
(A, r
0
),
e o espao de restries ser L
k
= AK
k
(A, r
0
) e, assim, o resduo r
k
ortogonal a AK
k
(A, r
0
), r
k
AK
k
(A, r
0
). Com isso, o GMRES as-
segura que o resduo, a cada iterao, no aumentar, no pior caso o
resduo das novas iteraes ser igual ao(s) da(s) anterior(es). Como
a cada passo o espao de busca est aumentando, mesmo depois de
alguma estagnao, o mtodo encontrar um ponto melhor. Uma
representao grca simplicada desse fato pode ser vista na gura
2.2.
Algoritmo 4 GMRES (A, x
0
) - resumo de uma iterao
1: adicionar um vetor a uma base ortonormal para o subespao de Krylov
K
j
(A, r
0
),
2: calcular x
j
tal que x
j
x
0
K
j
(A, r
0
) e que r
j
AK
j
(A, r
0
).
36 Arnoldi
A(x
k
x
0
)
AK
k
(A, r
0
)
K
k
(A, r
0
)
r
k
r
0
:= b Ax
0
(x
k
x
0
) K
k
(A, r
0
)
r
k
AK
k
(A, r
0
)
Figura 2.2: Representao esquemtica da condio de ortogonalidade do resduo
do GMRES.
Uma representao resumida da estrutura de uma iterao do GM-
RES apresentada no algoritmo 4, aonde o passo 1: ser realizado
atravs do mtodo de Arnoldi e no passo 2: haver a soluo de um
problema de quadrados mnimos atravs de uma fatorao QR ade-
quada. Vejamos alguns dos detalhes desse processo:
r
k
= b Ax
k
= b A(x
0
+ c
k
) = r
0
Ac
k
, c
k
K
k
(A, r
0
);
sejam V
k+1
uma matriz cujas colunas formam uma base ortonormal
para K
k+1
(A, r
0
) e V
k
uma matriz cujas colunas formam uma base
ortonormal para K
k
(A, r
0
), ento c
k
= V
k
y
k
, y
k
C
k
, e podemos con-
tinuar o desenvolvimento acima, lembrando-nos de uma das relaes
de Arnoldi, AV
k
= V
k+1
H
k
:
r
k
= r
0
Ac
k
= r
0
AV
k
y
k
= r
0
V
k+1
H
k
y
k
.
Na construo da base ortonormal consideramos v
1
= r
0
/r
0
2
, logo
r
0
V
k+1
H
k
y
k
= r
0
2
v
1
V
k+1
H
k
y
k
= r
0
2
V
k+1
e
1
V
k+1
H
k
y
k
temos, ento
r
k
= V
k+1
(r
0
2
e
1
H
k
y
k
),
mas V
k+1
2
= 1, uma vez que as suas colunas so vetores ortonormais,
logo o problema de quadrados mnimos que temos que resolver
r
k
2
= min
y
k
C
k
r
0
2
e
1
H
k
y
k
2
. (2.3.5)
Desenvolvendo (2.3.5). Podemos construir o produto matricial
(
H
k
r
0
2
e
1
)
(
y
k
1
)
2
. (2.3.6)
Fazendo a fatorao QR de
(
H
k
r
0
2
e
1
)
= Q
k+1
R
k+1
= Q
k+1
(
R
k

0 s
)
.
E (2.3.6) pode ser escrita como:
Q
k+1
(
R
k

0 s
)(
y
k
1
)
2
=
(
R
k

0 s
)(
y
k
1
)
2
. (2.3.7)
Logo a expresso (2.3.5), transforma-se em
r
k
2
= min
y
k
C
k
(
R
k
y
k

s
)
2
= |s|. (2.3.8)
O que fornece uma forma simples de se calcular a norma do resduo,
pelo menos em aritmtica exata (ou innita). Essa informao ser
til tanto para detectar a convergncia do mtodo como para observar
algum processo de estagnao
3
.
Relembrando a observao 2.1, haver um momento em que H(k +
1, k) = 0, isso signica que o novo vetor calculado pertence ao espao
de Krylov anterior ou seja w K
k
(A, r
0
), conra o algoritmo 2. Ficar
como o exerccio 11 provar que essa ruptura do mtodo benca,
pois chegou-se a soluo do sistema linear.
A implementao do GMRES baseia-se na utilizao de rotaes
de Givens para resolver o problema de quadrados mnimos (ver 4.2.2).
3
No entanto um alerta deve ser feito aqui, pois esse clculo, quando feito em aritmtica nita,
pode levar a erro, uma vez que a igualdade pode no estar garantida, para maiores esclarecimentos
desse fenmeno consultar [32, pg. 90].
38 Arnoldi
Como H
k
uma matriz de Hessenberg superior, as rotaes so utiliza-
das para anular todos os valores que se encontram exatamente abaixo
da diagonal principal. As rotaes atuam apenas em uma entrada por
vez, o trabalho feito anteriormente aproveitado, sendo uma alterna-
tiva atraente por sua economia e estabilidade.
No artigo inicial sobre o GMRES [102] foram apresentados resul-
tados de convergncia do mtodo para matrizes normais. No entanto,
segundo [131], o principal resultado sobre a convergncia do GMRES
para uma matriz qualquer , no mnimo, intrigante e foi apresentado
em [60], em 1996.
Teorema 2.2 (Convergncia do GMRES). Dada uma sequncia no
crescente de reais positivos f
0
f
1
. . . f
m+1
e um conjunto de
complexos no nulos
1
,
1
, . . . ,
m
, ento existe uma matriz A com
autovalores
j
e com lado direito b = f
0
e
1
tal que os resduos r
k
do
GMRES calculados na soluo de Ax = b, com x
0
= 0, satisfazem
r
k
2
= f
k
, para k = 0 : (n 1).
Observao 2.4. O teorema 2.2 nos informa que para uma matriz
qualquer apenas os autovalores no so sucientes para caracterizar
o comportamento da convergncia do GMRES, ver exerccio 12. No
entanto, para matrizes normais, os autovalores so sucientes. Tam-
bm para matrizes bem condicionadas, mesmo que no normais, os
autovalores do informao sobre o a convergncia do mtodo.
Observao 2.5. O outro lado da moeda do teorema 2.2 que, na
prtica, ele no inuencia o uso ou no do GMRES, apenas d uma in-
formao sobre casos possveis e no sobre casos que sempre ocorrero.
Um outro aspecto que o GMRES tem, em muitos casos importantes,
uma convergncia lenta, necessitando de precondicionadores para fun-
cionar em um nmero de iteraes aceitvel, nesse caso a informao
fornecida pelo teorema no tem grande aplicao.
A discusso sobre as ferramentas matemticas para caracterizao
da convergncia do GMRES, e dos demais mtodos de Krylov para
matrizes no-normais, uma rea de estudo importante e que contm
vrios problemas em aberto, ver por exemplo [46], [90], [114], [141].
Um comentrio necessrio sobre a estabilidade do mtodo GM-
RES. H dois resultados em [91] e [96] onde so caracterizadas a es-
tabilidade em relao ao erro inverso das implementaes do GMRES
usando as reexes de Householder e o mtodo modicado de Gram-
Schmidt no processo de Arnoldi. Esses resultados asseguram que pe-
quenas modicaes nos dados tratados no iro acarretar grande pro-
blemas soluo do problema, uma vez que se estar resolvendo exa-
tamente um problema prximo. Ou seja a diculdade ser intrnseca
ao prprio sistema que est sendo resolvido e no devida ao algoritmo
utilizado. Trata-se de uma leitura tcnica e importante para os pes-
quisadores da rea.
A verso utilizada na prtica para o GMRES a com recomeo,
ver por exemplo os cdigos que esto disponveis nas principais bi-
bliotecas que implementam o GMRES ( PETSc [10], Templates [11],
MKL [69], Trilinos [105], Matlab [124], entre outras). Com o avano
do nmero de iteraes do GMRES, o armazenamento dos vetores ne-
cessrios e o tamanho dos problemas de quadrados mnimos a serem
resolvidos comeam a inviabilizar a aplicao do mtodo. H vrias
alternativas: a escolha de um subconjunto reduzido dos vetores j cal-
culados (ver verses truncadas e com deao no capitulo 5) e o reco-
meo aps de um nmero xado de iteraes (verses com recomeo).
A verso com recomeo padro simplesmente testa a convergncia de-
pois de um nmero xo de iteraes e, caso no se tenha atingido a
cota desejada, mantm-se apenas a ltima aproximao, descartando-
se todos os demais vetores, e usa-se esse aproximao como valor inicial
para calcular um novo resduo inicial e comear uma nova aplicao
do GMRES
4
, ver anlises em [83], [110] e [126]. A vantagem dessa al-
ternativa que como cada iterao garante o no aumento da norma
euclidiana do resduo, com o uso dessa soluo, garante-se que estare-
mos partindo de um ponto, possivelmente melhor do que a primeira
aproximao x
0
, ver exerccio 12. Apesar de drstica, essa alternativa
das mais usadas na prtica. A bem da verdade, a alternativa com
recomeo um mtodo de Krylov apenas durante cada ciclo do GM-
RES, uma vez que a cada recomeo um novo subespao de Krylov
4
Cada ciclo completo de recomeo denominado ciclo do GMRES.
40
construdo, ou seja o mtodo completo no ca dentro de um mesmo
subespao de Krylov que aumenta a cada ciclo completo.
H dezenas de variantes do GMRES que foram desenvolvidas nos
ltimos 20 anos, num emaranhado de letras difcil de ser acompanhado
mesmo pelos especialistas, ver por exemplo [103] e [114].
Como derradeiro comentrio, sugerimos a leitura atenta do livro
[101] de Y. Saad, um dos criadores do GMRES, nos diversos captulos
referentes ao GMRES, desde a sua formulao, passando pela conver-
gncia, discutindo implementaes e precondicionadores, entre outros
tpicos.
Exerccios
1. Prove que o produto de matrizes R
1
HR
2
, onde R
1
e R
2
so matri-
zes triangulares superiores e H uma matriz Hessenberg superior,
tem como resultado uma matriz Hessenberg superior.
2. Prove que caso v
1
= b/b
2
e
v
1
, v
2
, . . . , v
j1
, v
j
= v
1
, v
2
, . . . , v
j1
, Av
j1
,
para todo j > 1, ento v
1
, v
2
, . . . , v
j
= b, Ab, . . . , A
j1
b.
3. D exemplo de vetores que tem projees ortogonais iguais em um
subespao qualquer, mas com projees ortogonais no colineares
no complemento ortogonal ao espao dado.
4. Demonstre que os algoritmos Gram-Schmidt e Gram-Schmidt
modicado geram os mesmos resultados.
5. Mostre que cada lao do processo de Arnoldi pode ser escrito
como uma projeo ortogonal de um dado vetor em um dado
espao. Exibir os espaos, os vetores e as matrizes de projeo
envolvidas nesse processo.
6. D exemplo de matriz e vetores que causem ruptura no-benca
do FOM.
Exerccios 41
7. Recupere o cdigo em Matlab do GMRES e o transforme no
FOM. Procure a coleo Templates em http://www.netlib.org/-
templates/index.html. Escreva um cdigo que implemente ao
mesmo tempo o FOM e o GMRES (a exceo de algumas linhas
de teste).
8. Em matemtica exata, o GMRES apresenta apenas rupturas be-
ncas, o que no verdade para o FOM, dada a proximidade
dos algoritmos, ser possvel continuar o mtodo FOM aps uma
ruptura no-benca? Proponha uma alternativa.
9. Justique a passagem da equao (2.3.7) para a equao (2.3.8).
10. Faa os detalhes do clculo da equao (2.3.8).
11. Prove que no GMRES quando H(k + 1, k) = 0, durante o proce-
dimento de Arnoldi, signica que se encontrou a soluo exata.
12. [131, exerc 6.11, pg 77] Sejam e
i
os vetores da base cannica
em R
m
. Seja A a matriz cujas as colunas so sucessivamente
e
2
, e
3
, . . . , e
m
, e
1
. Seja b = e
1
e comece o GMRES com x
0
=
0. Mostre que as matrizes de Hessenberg superiores associadas
s bases ortonormais calculadas no processo de Arnoldi para os
subespaos de Krylov com dimenso menores ou igual a m tem
a parte triangular superior igual a 0. Use esse fato para mostrar
que r
j
2
= r
0
2
para todo j m. O que ocorre na msima
iterao? Quais so os autovalores da matriz A? Quais so os
autovalores da matrizes de Hessenberg (valores de Ritz)?
42
Captulo 3
Erros, Precondicionadores e
Critrios de Parada
Dado um mtodo iterativo devemos responder a, pelo menos, trs
perguntas. Qual a qualidade da soluo conseguida? O mtodo pode
ser mais rpido? O mtodo parou no momento correto, poderia ter
parado antes, teria que parar depois? Esse captulo tratar dessas
questes. Na seo 3.1, vamos introduzir o conceito de erro inverso,
usado tanto para a teoria sobre os mtodos, quanto em aplicaes
prticas, na discusso sobre critrios de parada. Talvez um das reas
mais ativas nos mtodos iterativos seja a da construo de precondi-
cionadores para diminuir o custo total do mtodo, assim como para
garantir a conabilidade do resultado. Apresentaremos um resumo
sobre algumas alternativas na seo 3.2. Sobre os critrios de parada
para os MPSK, apresentamos, na seo 3.3, uma discusso baseada no
conhecimento atual da rea, assim como um exemplo prtico, a partir
de um programa usado em aplicaes industriais.
3.1 Erros e Qualidade de uma Soluo
A principal referncia dessa seo so as notas de curso de Serge Grat-
ton [58], de 2008. Tambm foram consultadas as seguintes obras: [1],
[32], [65], [121].
44 Erros, Precondicionadores e Parada
A anlise de erro inverso foi introduzida por Givens e Wilkinson
[138] e um conceito poderoso para analisar a qualidade de solues
aproximadas:
1. independente dos detalhes da propagao de erros de arredon-
damento. Os erros introduzidos durante os clculos so interpre-
tados como perturbaes dos dados iniciais, e a soluo calculada
considerada exata para o problema perturbado
2. j que os erros de arredondamento so vistos como perturbaes
nos dados, eles podem ser comparados a erros provenientes de
aproximaes numricas ou medidas fsicas.
Na realidade o erro inverso mede a distncia entre os dados do
problema inicial e os do problema perturbado, ento ele depende dos
dados que so permitidos variar e das normas utilizadas para medi-
los. Para sistemas lineares h dois tipos de anlise: uma baseada nas
normas das matrizes e vetores envolvidos, e outra, baseada na medida
de variao dos componentes individuais das matrizes e vetores, ver
[32], [65]. Essas escolhas levam a frmulas explcitas para o erro inverso
que pode ser facilmente calculado. Para mtodos iterativos, aconselha-
se o uso do modelo de perturbao baseado nas normas das matrizes
e vetores [3].
Iniciaremos por resultados sobre o erro direto relativo. Na soluo
de Ax = b, com A regular, mm, supomos que os dados do sistema,
A e b, so submetidos a perturbaes A e b. A perturbao x
resultante satisfaz a equao
(A + A)(x + x) = b + b. (3.1.1)
Usando a norma euclidiana
2
, tanto vetorial quanto matricial,
temos o seguinte resultado para o erro direto relativo:
Teorema 3.1. Considerando a frmula apresentada em (3.1.1), em
primeira ordem, temos a seguinte desigualdade:
x
2
x
2
A
2
A
1
2
(
A
2
A
2
+
b
2
b
2
)
. (3.1.2)
Erro e Qualidade de uma Soluo 45
Demonstrao: Desenvolvendo (3.1.1)
Ax + Ax + Ax + Ax = b + b.
Descartando o termo de segunda ordem, Ax, camos com Ax =
b Ax, como consequncia x = A
1
(b Ax). Como, por
hiptese, A regular, logo se b = 0 x = 0, podemos ento escrever
x
2
x
2
A
1
2
(
A
2
+
b
2
x
2
)
. (3.1.3)
Como b = Ax ento b
2
A
2
x
2
, ou seja
1
x
2
A
2
b
2
, e
podemos escrever
x
2
x
2
A
2
A
1
2
(
A
2
A
2
+
b
2
b
2
)
,
uma vez que AA
1
= I AA
1
1.
Um segundo resultado sobre erro direto relativo na soluo de pro-
blemas perturbados dado pelo teorema 3.2, a seguir. Nesse caso,
as hipteses so modicadas e no se considera que h um desen-
volvimento em primeira ordem, mas se impe uma condio sobre o
produto A
2
A
1
2
.
Teorema 3.2. Considerando a frmula apresentada em (3.1.1), caso
A
2
A
1
2
1/2,
temos a seguinte desigualdade:
x
2
x
2
2A
2
A
1
2
(
A
2
A
2
+
b
2
b
2
)
. (3.1.4)
Demonstrao: Temos novamente
Ax + Ax + Ax + Ax = b + b.
Ficamos com Ax = b Ax Ax, multiplicando por A
1
, te-
mos x = A
1
bA
1
AxA
1
Ax, utilizando as desigualdades
entre normas e usando a hiptese fornecida, teremos
x
2
x
2
A
1
2
(
A
2
+
b
2
x
2
)
+
1
2
x
2
x
2
. (3.1.5)
Considerando b
2
A
2
x
2
, chegamos na equao desejada.
O coeciente
2
(A) := A
2
A
1
2
chama-se nmero de condici-
onamento da matriz A, e o fator de amplicao das perturbaes
A e b sobre os dados A e b, em norma relativa.
Suponhamos agora que temos uma aproximao x de x, obtida por
exemplo (mas no necessariamente) por um clculo em um computa-
dor. Chamamos de erro inverso em relao a A associado x, a
quantidade
(A)
( x) = min
(
> 0, A
2
A
2
, (A + A) x = b
)
. (3.1.6)
Por analogia, o erro relativo x
2
/x
2
= x x
2
/x
2
, tambm
pode ser chamado de erro direto relativo.
O erro inverso
(A)
( x) mede, em norma induzida, a distncia do
problema exato A ao problema perturbado A + A o qual x resolve
exatamente. Esse erro inverso determina a medida relativa
A
2
A
2
da
perturbao de A que ocorre no clculo da soluo x. Se x o resultado
de um clculo em computador, o clculo de x ser convel se o erro
inverso associado da ordem da preciso de mquina , ou seja
(A)
( x) C,
onde C uma constante que pode depender dos dados do problema
- aqui, A, b e m. Se, por acaso, a matrix A e/ou o lado direito b
tambm carregam erros de clculo, ento o clculo de x convel se
o seu erro inverso associado,
(A)
( x), da ordem dos erros em A e/ou
b.
Erro e Qualidade de uma Soluo 47
Teorema 3.3. Seja r = b A x o vetor resduo associado a x. Ento
o erro inverso em relao A determinado pela frmula
(A)
( x) =
r
2
A
2
x
2
Demonstrao: Temos que
(A + A) x = b r = A x r
2
A
2
x
2
,
e assim
:=
r
2
A
2
x
2
A
2
A
2
, A.
Com isso temos que
(A)
( x). Vamos mostrar que essa cota inferior
atingida, e, com isso, se transformar em um mnimo que atender
a denio de erro inverso. Escolhamos uma perturbao particular
A de A da seguinte forma
A =
r x
T
x
2
2
.
Primeiro vericamos que (A+A) x = b, ora a igualdade A x
r x
T
x
2
2
x =
b verdadeira. Continuamos
r x
T
2
= max
y
2
=1
r( x
T
y) = max
y
2
=1
| x
T
y|r
2
= x
2
r
2
, (3.1.7)
a ltima igualdade vlida graas desigualdade de Cauchy-Schwarz.
Com isso
=
r
2
x
2
A
2
x
2
2
=
rA
2
A
2
.
Agora vamos realizar perturbaes tanto em A quanto em b e denir
um outro erro inverso. Suponhamos que temos uma aproximao x
de x. Chamamos de erro inverso associado x, a quantidade
( x) = min
(
> 0, A
2
A
2
, b
2
b
2
,
(A + A) x = (b + b)
)
. (3.1.8)
Com essa outra denio possvel demonstrar um teorema um pouco
mais geral do que o teorema 3.3.
Teorema 3.4 (Teorema de Rigal e Gaches). Seja r = A x b o ve-
tor resduo associado a x. Ento o erro inverso determinado pela
frmula
( x) =
r
2
A
2
x
2
+b
2
Demonstrao: Fazer exerccio 5.
Observao 3.1. A formulao do teorema 3.4 aqui apresentada est
menos genrica do que a apresentada na obra original e do que em [48]
ou [65]. Nesses trabalhos, no denominador da expresso usa-se uma
matriz geral E no lugar de A e um vetor geral f no lugar de b. No
entanto, achamos que essa formulao, no quadro de nosso trabalho,
permite uma melhor compreenso da informao que o teorema con-
tm.
Como concluso desta seo, e de uma maneira bem genrica, po-
demos armar que o erro dentro de um clculo de x se exprime por:
erro direto em x condicionamento erro inverso em x.
(3.1.9)
Ou seja, se o erro direto grande, isso pode ser tanto devido ao
problema a ser resolvido (nmero de condicionamento grande) e/ou
quanto ao algoritmo usado (erro inverso grande). O papel do erro in-
verso permitir a distino, dentro do erro direto, entre a parcela que
devida ao problema em si e a parcela que devida ao mtodo utili-
zado (algoritmo) para resolver o problema. Essa armao tem uma
srie de decorrncias matemticas e para um maior aprofundamento
desses tpicos recomendamos as seguintes leituras: [1, pgs. 79-84],
[32, pgs. 71-75], [65, pgs. 120-133] e [121].
Precondicionadores 49
3.2 Precondicionadores
As principais referncias dessa seo sero [2, cp. 10], [13] e [80, cp.
8]. Utilizaremos, tambm, material extrado de [36], [78], [81], [117],
[125], [127] e [128].
Michele Benzi, em [13], constata que nos ltimos anos a classicao
dos mtodos de soluo de sistemas lineares em diretos e iterativos
uma simplicao que no descreve com delidade o atual estgio
de desenvolvimento da rea. Observa que vrias tcnicas usadas na
soluo de problemas com matrizes esparsas por mtodos diretos so
correntemente usadas como precondicionadores em mtodos iterativos,
buscando tornar os mtodos iterativos mais conveis. A segunda
observao que, enquanto os mtodos diretos so principalmente
baseados, ao menos para matrizes quadradas, em alguma verso da
eliminao gaussiana, os mtodos iterativos tem uma gama de opes
vasta e diferenciada. Sendo assim, a classicao desses ltimos como
sendo pertencentes a uma s classe, pode causar mais confuso do que
esclarecimento; apesar se no ser incorreta incompleta.
Hoje em dia reconhecido que o problema mais crtico no desen-
volvimento de solvers ecientes a construo de precondicionadores,
e essa centralidade dever se tornar cada vez mais evidente. Em apoio
a essa armao vejamos o que pensam Trefethen e Bau [127, pg.
319]:
Nada ser mais central para a cincia da computao no
prximo sculo
1
do que a arte de transformar um problema
aparentemente intratvel em outro cuja a soluo pode ser
aproximada rapidamente. Para mtodos em subespaos de
Krylov, isto signica precondicionamento.
Um bom precondicionador tem que acelerar a convergncia do m-
todo, no mnimo, para compensar o custo de sua construo, mas o
objetivo sempre mais ambicioso. O difcil problema de se encontrar
um precondicionador eciente que se deve identicar um operador
M, linear ou no, que atenda a pelos menos, necessria mas no ex-
clusivamente, s seguintes propriedades:
1
Este livro de 1997.
1. De alguma forma M
1
uma boa aproximao para A
1
. Em-
bora no haja uma teoria geral, pode-se dizer que M deve ser
de tal forma que M
1
A, ou AM
1
, deve ser prxima da matriz
identidade e que seus autovalores sejam aglomerados em uma pe-
quena regio do plano complexo, longe de 0;
2. M seja eciente. De forma que o mtodo precondicionado con-
virja muito mais rapidamente do que a no precondicionado, com-
pensando largamente o custo de construo e armazenamento de
M;
3. M ou M
1
sejam construdas em paralelo. Para explorar as v-
rias arquiteturas atuais, que cada vez mais utilizam o processa-
mento paralelo.
Algebricamente, precondicionar um sistema linear Ax = b seria
aplicar uma das trs transformaes:
Pela esquerda:
M
1
Ax = M
1
b. (3.2.10)
Como o lado direito alterado, necessrio se ter ateno no
critrio de parada utilizado, pois ele deve reetir o novo problema
tratado.
Pela direita:
AM
1
y = b, com M
1
y = x. (3.2.11)
Nesse caso o lado direito no alterado.
Ambos os lados: Caso o problema tratado seja simtrico e positivo-
denido, torna-se importante preservar essas propriedades, nesse
caso ao se aplicar um precondicionador simtrico em ambos os
lados garantem-se ambas as caractersticas
2
:
M
1/2
AM
1/2
y = M
1/2
b, com M
1/2
y = x. (3.2.12)
2
Para o mtodo de Gradientes Conjugados precondicionado essa aplicao implcita caso se
faa um implantao correta, ver [108].
Para o GMRES, cabe lembrar, o precondicionador usado durante
o procedimento de Arnoldi quando da preparao do novo vetor, no
passo 3: do algoritmo 2, pg. 31, ou seja, w = Av
i
passa a ser
AM
1
v
i
= w, para um precondicionamento pela direita, e M
1
Av
i
=
M
1
w para um pela esquerda. Pela direita, teremos que resolver o
novo sistema Mz
i
= v
i
para depois realizar a multiplicao w = Az
i
.
De forma semelhante temos o procedimento pela esquerda. Vale lem-
brar, que apesar de usarmos a notao matricial, o operador M, pode
inclusive ser no-linear, como veremos no captulo 5, onde apresen-
taremos precondicionadores exveis na seo 5.3. Vamos descrever
sucintamente algumas classes de precondicionadores.
3.2.1 Parties Clssicas
H vrias formas interessantes de se particionar uma matriz A = M
N. Uma boa escolha pode ser usada para acelerar uma iterao de
ponto xo do tipo
x
n+1
= M
1
Nx
n
+ M
1
b, (3.2.13)
que pode ser escrita
x
n+1
= Gx
n
+
b (3.2.14)
onde
G := M
1
N = (I M
1
A),

b := M
1
b. (3.2.15)
(3.2.13) a iterao de ponto xo para o sistema Ax = b, utilizando
o precondicionador M
1
. As diferentes escolhas de M, levam a vrios
mtodos, ver [101, pgs. 284-287]. A condio para convergncia dessa
iterao que o raio espectral da matriz precondicionada seja menor
do que 1. Esta condio garante que o sistema precondicionado seja
regular.
3.2.2 Fatoraes Incompletas
A eliminao gaussiana o algoritmo mais usado para resolver siste-
mas lineares densos. Mesmo para sistemas esparsos de grande porte
com alguma estrutura, esse o mtodo mais usado e mais indicado.
No entanto, para matrizes muito grandes, muito esparsas e sem estru-
tura aparente que possa ser aproveitada, a fatorao LU pode levar
a um preenchimento tal do fator U que a fatorao torna-se invivel.
Para tentar aproveitar a fora da fatorao LU, para sistemas que so
necessariamente resolvidos por mtodos iterativos, propuseram-se as
fatoraes incompletas como precondicionadores. A ideia que a fa-
torao aproximada

L
U, seja o mais prxima de A, o que nem sempre

factvel. H algumas classes em que possvel provar a existncia de
uma fatorao incompleta, mas no h resultado geral de existncia,
mesmo quando da existncia da fatorao LU completa.
Apresentaremos trs alternativas, mas h outras, e para maiores
detalhes as referncias [33] e [101] devem ser consultadas.
A ideia bsica realizar a fatorao incompleta baseada em algum
critrio que pare a fatorao antes que os fatores completos tenham
sido calculados. Alguns dos critrios usados so:
1. Sem preenchimento: nesse caso os fatores aproximados

L e

U
tero estrutura tal que

L
U tenha a mesma esparsidade do que A.

Tambm denominada preenchimento 0.
2. Preenchimento controlado por posio: permite-se que al-
gumas posies anteriormente nulas em A venham a ser no nulas
no produto

L
U. Esse controle se d atravs da anlise de um grafo

de dependncias da matriz A, ver [51].
3. Preenchimento controlado por valor: permite-se algum pre-
enchimento, baseado em que o novo elemento do fator esteja
acima de um teto pr-estabelecido.
3.2.3 Inversa Aproximada
Nesse caso, ao invs de se construir uma aproximao de A, se constri
uma aproximao da inversa de A, da o nome do precondicionador.
Uma forma de se construir essa aproximao minimizar, aproxima-
damente, a norma de Frobenius da matriz I AM
F
, onde M
a inversa aproximada e precisa ter uma certa estrutura, atravs da
frmula
AM I
2
F
=
n
j=1
(AM I)e
j
2
2
(3.2.16)
cuja soluo do problema de minimizao pode ser feita separando em
n problemas independentes de quadrados mnimos, a serem resolvidos
de maneira aproximada,
min
m
k
Am
k
e
k
, k = 1 : n. (3.2.17)
Esta alternativa proposta em [61] para ser implantada em paralelo,
e permite a construo de uma inversa aproximada. Para outras abor-
dagens ver [14, 15, 16, 17, 37, 38, 57, 142].
3.2.4 Decomposio de Domnio
Esse classe de precondicionadores bem adaptada computao pa-
ralela. baseada na ideia simples de dividir o domnio de denio do
problema em vrios subdomnios, e resolver em cada subdomnio um
subproblema e reunir a informao completa aps. Essa ideia simples
tem uma grande variedade de decorrncias, e est fortemente ligada
soluo de equaes diferencias parciais em domnios com geometria
complexas ou quando equaes diferentes so utilizadas em regies di-
ferentes do domnio de um mesmo problema. Grosso modo, podem-se
dividir as abordagens de decomposio de domnio em duas famlias:
O primeiro grupo recebe o nome de mtodos de Schwarz. O do-
mnio dividido em subdomnios com recobrimento e subproble-
mas locais so resolvidos em cada subdomnio. A soluo de um
subdomnio se transforma em uma condio de fronteira para os
subdomnios vizinhos, pois o recobrimento permite essa possibili-
dade. Esse mtodo foi proposto por H.-A. Schwarz em 1870 [106]
para provar a existncia de solues de problemas de equaes di-
ferenciais denidas em domnios com geometrias complexas, que
separados em regies mais simples, onde se conheam as solues,
permite a prova de existncia de soluo para a regio completa.
O segundo grupo usa subdomnios sem recobrimento. possvel,
nesse caso, dividir as incgnitas do problema em dois grupos: as
que esto na interface dos subdomnios e as que se encontram nos
diversos interiores de cada subdomnio. De forma completamente
algbrica pode-se calcular a matriz do complemento de Schur
das incgnitas da interface em relao s demais incgnitas. O
problema resolvido para a interface e a soluo serve de condio
de fronteira para os problemas internos que podem ser resolvidos
de forma independente [28], [29] e [30]. Esse mtodos recebem
vrias denominaes, entre elas mtodos de subestruturao ou
mtodos do complemento de Schur.
A quantidade e diversidade de mtodos que surgiram nos ltimos 20
anos notvel. Para um viso atual dos mtodos de decomposio de
domnio, recomenda-se a leitura dos livros [78], [117] e [125].
3.2.5 Multigrid
Em vrios problemas de computao cientca, quando do uso de m-
todos iterativos, se identica o seguinte fenmeno. Aps algumas ite-
raes, o erro se torna suave, mas no necessariamente menor. Um
dos princpios bsicos do mtodo de multigrid (multimalhas) [128]
exatamente o de buscar a suavizao do erro, essa parte do mtodo faz
uso de suavizadores. O outro princpio bsico do mtodo o seguinte:
a quantidade que suave em uma determinada malha pode ser, sem
grande perda, ou mesmo perda alguma, aproximada em uma malha
mais grossa, com, por exemplo, o dobro de tamanho em cada clula. E
assim, caso se tenha certeza que o erro tornou-se suave, aps algumas
iteraes, pode-se aproximar o erro por um procedimento adequado
em uma malha mais grossa, e assim, nesse segundo momento, a itera-
o torna-se bem mais barata.
Essa abordagem cria uma sequncia de problemas auxiliares e pode
ser construda atravs de procedimentos geomtricos ou algbricos. Se
o problema original denido em uma malha que foi obtida atravs
de vrios passos de renamento, pode-se usar uma hierarquia entre as
malhas para se denir operadores de transferncia entre malhas mais
Critrios de Parada 55
nas e mais grossas, nesse caso estaremos tratando do denominado M-
todo Multigrid Geomtrico [137]. Se, no entanto, uma hierarquia no
denida, os operadores de transferncia podem ser construdos alge-
bricamente, a partir da matriz do sistema, essa abordagem chama-se
Mtodo Multigrid Algbrico [97]. Sobre esses esquemas, suas implan-
taes e demais aspectos do mtodo consultar [23], [64] , [97], [128] e
[136].
3.3 Critrios de Parada
As principais referncias dessa seo so [11, pg. 57-61, seo 4.2],
[48, pgs. 5-6], tambm faremos uso de: [32], [58] e [65].
importante saber parar um MPSK. A primeira constatao ne-
cessria que um critrio de parada dependente do problema que
est sendo resolvido: da qualidade dos dados de entrada, da possibi-
lidade de se calcular alguma norma da matriz, dos mtodos em uso,
etc. Esses so alguns dos fatores que iro denir qual o critrio de
parada para um dado problema com um dado algoritmo. O fato
que o erro relativo (ou direto), em geral, caro para se calcular ou
no est, simplesmente, disponvel. A alternativa mais comum se
basear no resduo e em algumas normas disponveis, e calcular o erro
inverso, que, como vimos na equao (3.1.9), um dos fatores limitan-
tes do erro direto relativo. Da teoria de erros de algoritmos sabido
que o melhor que se pode exigir de um mtodo em preciso nita
que seu erro inverso seja da ordem da preciso de mquina, logo essa
alternativa, quando disponvel, utilizada.
Em [11, pg. 57-61, seo 4.2] so apresentados cinco critrios de
parada. Seja tol a tolerncia denida pelo usurio:
1. O primeiro baseado no erro inverso
r
i
A x
i
+b
tol.
Esse critrio d origem seguinte cota para o erro direto
e
i
A
1
r
i
tolA
1
(
A x
i
+b
)
(3.3.18)
2. O segundo no faz uso da norma da matriz
r
i
b
tol.
Uma limitao desse mtodo que se A x b, o que s
ocorrer se A for muito mal condicionada (ou seja, que tenha um
nmero de condicionamento elevado) e x estiver muito prximo
do espao nulo de A, ento ser difcil para qualquer mtodo
atender esse critrio. A seguinte cota superior para o erro direto
tem origem nesse critrio:
e
i
A
1
r
i
tolA
1
b (3.3.19)
3. O prximo critrio faz uso da norma da inversa de A, mas no
utiliza b
r
i
A
1
x
i
tol.
Esse critrio de parada garante que
e
i
x
i

A
1
r
i
x
i
tol. (3.3.20)
4. O quarto critrio usa o erro inverso baseado nos valores absolutos
das coordenadas das matrizes e vetores envolvidos
3
|r
i
|
j
(
E| x
i
| + f
)
j
tol.
Aqui E uma matriz denida pelo usurio com entradas no-
negativas, f um vetor denido pelo usurio com entradas no-
negativas, e |z| dene o vetor cujas entradas so os valores ab-
solutos do vetor z. Esse critrio tem vrias aplicaes, e pode
ser utilizado em vrios problemas distintos, dada a liberdade de
escolha dos parmetros E e f.
3
Para maiores explicaes sobre esse tipo de erro inverso consultar [32] [65], mas essencial-
mente, neste caso no se trabalha com as normas dos vetores e matrizes mas sim com o tamanho
dos elementos individualmente, sendo possvel denir relaes entre a anlise do erro inverso
baseado em normas e a baseada nos componentes individuais, ver [65, tab. 7.2, pg 130].
Critrios de Parada 57
5. O quinto critrio apresentado bastante utilizado, mas desa-
conselhado pelos autores, e se trata de
r
i
r
0
tol.
A desvantagem desse critrio a sua forte dependncia na soluo
inicial x
0
. Caso x
0
= 0, esse critrio equivalente ao critrio 2
e apresenta os inconvenientes j assinalados, caso x
0
seja muito
grande e muito inacurado ento r
0
ser grande e a iterao
pode parar antes do que deve.
Apresentamos um exemplo prtico de critrios de parada implan-
tados em um cdigo que implementa o GMRES e tem sido usado em
aplicaes cientcas [48].
Vamos mostrar apenas os parmetros padronizados do pacote, nesse
caso, para um problema sem precondicionamento utilizada uma com-
binao de dois critrios, ambos baseados na razo
r
i
b
tol. No pri-
meiro, a norma do resduo que se encontra no denominador, baseia-se
no clculo que est implcito no GMRES, como vimos na pgina 37, no
entanto devido a observao apresentada em nota de rodap na pgina
37, utilizar apenas esse critrio temerrio. Sendo assim, aps o GM-
RES ter convergido usando essa aproximao do resduo, calcula-se o
resduo usando a frmula usual, b Ax
i
, a norma desse resduo passa
a fazer parte do denominador e executam-se iteraes com esse novo
critrio. O objetivo dessa escolha diminuir o nmero de produtos
matriz-vetor, que so um dos ncleos de clculos mais caros de um
MPSK (o outro a aplicao do precondicionador).
No caso de mtodos precondicionados, o primeiro critrio ser
aproximao do resduo
M
1
1
b
tol. (3.3.21)
e o segundo
M
1
1
AM
1
2
z
j
M
1
1
b
2
M
1
1
b
tol, (3.3.22)
58
onde x
j
= M
1
2
z
j
. o mesmo procedimento que o anterior, primeiro
uma convergncia com o resduo aproximado e depois com o calculado
pela frmula usual.
Exerccios
1. Faa os detalhes da equao (3.1.3).
2. Faa os detalhes da equao (3.1.5).
3. Faa os detalhes da demonstrao em (3.1.7).
4. Mostre, assumindo a notao da seo 3.1 , que caso
(A)
( x)A
2
A
1
2
1/2
ento
x
2
x
2
2A
2
A
1
(A)
( x).
6. Uma outra denio para erro inverso apresentada em [11, pg.
59]. Onde pode se ler:
o erro inverso relativo norma denido como o menor
valor possvel de
max
{
A
2
A
2
,
b
2
b
2
}
.
Discuta a equivalncia dessa denio com a apresentada na seo
3.1.
7. Demonstre a desigualdade 3.3.18.
Captulo 4
Tpicos de lgebra Linear
Sero apresentados nesse captulo alguns dos conceitos necessrios
compreenso de novos, mas tambm dos antigos, mtodos de Krylov.
As partes so independentes e devem ser estudadas, pelo menos, em
duas situaes: no caso de diculdades na compreenso dos mtodos
discutidos nos prximos captulos, ou por pura e saudvel curiosidade
matemtica.
O primeiro tpico trata de aproximaes de autovalores e autove-
tores que vm surgindo na literatura da rea nos ltimos vinte anos.
Registre-se que alguns desses conceitos fazem parte do arsenal de fer-
ramentas dos matemticos h muitas dcadas. A seo 4.1 tratar
desses tpicos. Sero demonstrados resultados que devero ser teis
nos captulos posteriores
Os mtodos de soluo para problemas de quadrados mnimos tem
cerca de 200 anos de prolca histria, mas conturbada em seu incio
por disputas sobe a prioridade de seu descobrimento [50]. Apesar de
ser objeto de vasta literatura, achamos conveniente t-lo disposio
quando do estudo do GMRES, j que um dos passos fundamentais
desse mtodo. Aproveitamos para apresentar, na seo 4.2, algumas
ideias intuitivas sobre os mtodos de soluo desse problema e forne-
cemos sugestes de leituras complementares.
60 lgebra Linear
4.1 Pares de Ritz e Pares Harmnicos de Ritz
Discutiremos aproximaes para autovalores das matrizes que apare-
cem durante a aplicao dos mtodos iterativos para a soluo dos
sistemas lineares que estamos resolvendo. H uma vasta literatura
sobre o tema, por exemplo [12, 56, 84, 90, 116].
Vamos apresentar, inicialmente, uma abordagem feita em [115],
onde os autores consideram que o melhor mtodo para se ter uma boa
aproximao de um autovalor de uma matriz simtrica e real em um
dado subespao o mtodo de Rayleigh-Ritz. Baseando-se em [93,
seo 11.4], os autores dizem que esse mtodo comporta-se bem para
o clculo de autovalores exteriores e seus autovetores associados, mas
que no entanto, o mesmo no ocorre para autovalores interiores ao es-
pectro da matriz [71], [82], [107]. H estudos para se tentar ultrapassar
os problemas com o clculo dos autopares interiores e os autores citam
os esforos feitos em [107] e, em particular, em [82], aonde a inverso
do operador (no nosso caso da matriz) pode ser tratada implicita-
mente (veremos como, no teorema 4.4). O mtodo proposto recebeu o
nome de Rayleigh-Ritz harmnico em [90]. As aproximaes, valores
harmnicos de Ritz, correspondentes a esse mtodo, e que veremos
ainda nessa seo, tm recebido considervel ateno dada a sua li-
gao com polinmios de mtodos iterativos para sistemas lineares
baseados no resduo minimal.
Antes de comearmos os conceitos propriamente ditos, vamos in-
troduzir trs resultados clssicos que discutem autovalores pelo vis
de problemas de otimizao. Segundo C. Meyer em [81, pg. 651],
se V uma matriz m k, com k < m, com colunas ortonormais
(por exemplo, no processo de Arnoldi surge uma matriz como essa,
ver (2.1.4)) ento V
H
AV = H no uma transformao de similari-
dade, logo seria errado concluir que os autovalores de A so iguais aos
autovalores de H. Apesar disso, comum que os autovalores de H
sejam uma boa aproximao para os autovalores extremos de A, em
particular quando A hermitiana. Veremos uma boa motivao dessa
possibilidade, no teorema seguinte, quando da caracterizao dos au-
tovalores extremos de matrizes hermitianas. Lembremo-nos que, por
serem reais, os autovalores de uma matriz hermitiana so ordenveis,
Pares de Ritz 61
1

2
. . .
m
.
Teorema 4.1 (Teorema de Rayleigh-Ritz). Sejam
1
o maior auto-
valor de A C
mm
, matriz hermitiana, e
m
o menor. Ento
max
=
1
= max
x
2
=1
x
H
Ax = max
x=0
x
H
Ax
x
H
x
(4.1.1)
min
=
m
= min
x
2
=1
x
H
Ax = min
x=0
x
H
Ax
x
H
x
. (4.1.2)
A demonstrao dever ser feita no exerccio 1.
Observao 4.1. Essa forma de denir autovalores denominada
formulao variacional e os quocientes que aparecem no teorema
4.1 recebem o nome de quocientes de Rayleigh-Ritz .
Vamos apresentar um resultado que estende essa caracterizao
para todos os demais autovalores de uma matriz hermitiana.
Teorema 4.2 (Teorema de Courant-Fischer). Os autovalores
1

2
. . .
m
de uma matriz hermitiana A C
mm
so
i
= max
dimV=i
min
xV
x
2
=1
x
H
Ax e
i
= min
dimV=mi+1
max
xV
x
2
=1
x
H
Ax.
A demonstrao desse teorema clssico, que baseada, assim como
a do teorema de Rayleigh-Ritz, na decomposio espectral de uma
matriz hermitiana, pode ser vista em [67, pg. 179] ou [81, pg. 550].
Observao 4.2. No caso em que i = m a formulao max min reduz-
se apresentada em (4.1.2), quando i = 1 a formulao min max
torna-se igual a (4.1.1).
O prximo teorema uma aplicao do teorema de Courant-Fischer
e fornece informaes sobre autovalores de matrizes relacionadas por
transformaes unitrias ou ortogonais.
Teorema 4.3 (Teorema de Entrelaamento [120, pg. 42]). Sejam
A C
mm
, hermitiana, com autovalores
max
=
1

2
. . .
62 lgebra Linear
m
=
min
e U C
mn
com colunas ortonormais. Temos U
H
AU e
seus autovalores
max
=
1

2
. . .
n
=
min
. Ento
i

i

mn+1
, i = 1 : n.
Esse resultado recebe o nome de teorema de entrelaamento porque
caso n = m1 ento
1

1

2

2
. . .
m1

m1

m
,
ou seja, os autovalores da matrizes so entrelaados pelos autovalores
aproximados. Caso U seja uma matriz identidade de ordem menor do
que m ento U
H
AU uma submatriz principal de A, e esse resultado
vlido tambm para submatrizes principais.
A seguir vamos caracterizar aproximaes de autovalores e autove-
tores da matriz A, associada a um sistema linear. As caracterizaes
seguintes servem para matrizes quaisquer e no apenas para matrizes
hermitianas, como os teoremas anteriores.
Denio 4.1 (Par de Ritz). Para qualquer subespao S C
m
, um
vetor x S, com x = 0, um vetor de Ritz da matriz A C
mm
associado ao valor de Ritz C, se
w
H
(Ax x) = 0, w S ou Ax x S (4.1.3)
(x, ) S C chamado par de Ritz.
Uma representao grca de um par de Ritz pode ser vista na
gura 4.1. Ao examinar essa gura, e as prximas referentes a auto-
valores aproximados, devemos ter o cuidado de v-las apenas como re-
presentaes esquemticas, uma vez que os valores de Ritz, da mesma
forma que os autovalores, podem ser nmeros complexos e, nesse caso,
essa representao no vlida.
Observao 4.3. Usando a notao da denio 4.1, sejam V
C
mn
uma matriz cujas colunas so ortonormais (V
H
V = I C
nn
)
e S := Im(V ). Sejam C
n
, z C
n
, x = V e w = V z. A
equao (4.1.3) pode ser escrita:
z
H
(V
H
AV ) = 0, z C
n
, (4.1.4)
Pares de Ritz 63
S
W := AS
x
x
Ax
x S
Ax x S
Figura 4.1: Representao esquemtica de um par de Ritz.
que se torna um problema padro de clculo de autovalores
V
H
AV = , (4.1.5)
onde x = V , com C
n
e x C
m
, ou seja, a representao do
vetor de Ritz x na base {v
1
, v
2
, . . . , v
n
}.
A observao 4.3 nos permite fazer uma conexo entre a formulao
variacional de Rayleigh-Ritz e o clculo de um par de Ritz. Da equao
(4.1.5) temos que
H
V
H
AV =
H
=
x
H
Ax
x
H
x
.
Vale insistir que o teorema 4.1 tem como hiptese a matriz ser her-
mitiana e essa hiptese no necessria denio dos valores de
Ritz.
Vamos a uma nova denio que ser bsica no desenvolvimento
de algumas variantes do GMRES.
64 lgebra Linear
Denio 4.2 (Valor Harmnico de Ritz [90]). Seja S C
m
. O
escalar C um valor harmnico de Ritz de A em relao um
dado espao W C
m
, caso
1
seja um valor de Ritz de A
1
com
relao W := AS.
Uma representao grca para essa denio pode ser vista na
gura 4.2. No entanto, usaremos uma outra formulao equivalente,
S
W := AS
x = A
1
y
1
y
y := Ax
x S
A
1
y
1
y W
Figura 4.2: Representao esquemtica de um par harmnico de Ritz usando a
representao proposta na denio 4.2.
proposta em [116], para os valores harmnicos de Ritz.
Teorema 4.4 (Caracterizao dos Pares Harmnicos de Ritz [116,
Teorema 5.1, pg. 279]). Sejam S C
m
e W = {y C
m
; x
S tal que y = Ax}, ou seja, W := AS, ento C um valor
harmnico de Ritz de A em relao a W, se e somente se,
w
H
(Ax x) = 0, w W, para algum x S, x = 0. (4.1.6)
Denominaremos x S de vetor harmnico de Ritz associado a ,
e (x, ) S C de par harmnico de Ritz. Uma representao
grca para essa caracterizao pode ser vista na gura 4.3.
Pares de Ritz 65
Demonstrao: Pelas denies em 4.1 e 4.2, para ser um valor
harmnico de Ritz de A em relao W, existem y = 0 W e C
tais que
w
H
(A
1
y
1
y) = 0, w W, y W, y = 0.
Basta apenas desenvolver para y = Ax, uma vez que W := AS
w
H
(A
1
Ax
1
Ax) = 0
1
w
H
(xAx) = 0 w
H
(xAx) = 0.
interessante observar que, no caso real, a equivalncia entre as
duas formulaes de pares harmnicos de Ritz so simples relaes
de semelhana de tringulos retngulos, onde as hipotenusas so x =
A
1
y, com y W, y = 0, quando usamos a denio 4.2, e x, quando
lanamos mo da caracterizao proveniente do teorema 4.4.
S
W := AS
x x
Ax
x S
Ax x W
Figura 4.3: Representao esquemtica de um par harmnico de Ritz usando a
representao proposta no teorema 4.4.
66 lgebra Linear
Observao 4.4. Usando a notao do teorema 4.4, sejam V C
mn
uma matriz cujas as colunas so ortonormais, V
H
V = I C
nn
e
S := Im(V ). Sejam C
n
, z C
n
, x = V e w = AV z. A
equao (4.1.6) pode ser escrita como:
z
H
(V
H
A
H
AV V
H
A
H
V ) = 0, z C
n
, (4.1.7)
levando a um problema generalizado de autovalores:
V
H
A
H
AV = V
H
A
H
V . (4.1.8)
Caso V
H
A
H
V seja uma matriz regular, esse problema torna-se um
problema de autovalores:
(
V
H
A
H
V
)
1
V
H
A
H
AV = . (4.1.9)
A observao 4.4 nos permite fazer a conexo entre uma variante
da formulao variacional de Rayleigh-Ritz e o clculo de um par
harmnico de Ritz. Seno vejamos: da equao (4.1.8) temos que
H
V
H
A
H
AV =
H
V
H
A
H
V =
(Ax)
H
Ax
(Ax)
H
x
.
Aqui, novamente, vale o esclarecimento de que o teorema 4.1 tem como
hiptese a matriz ser hermitiana; hiptese desnecessria denio
dos valores harmnicos de Ritz.
Os pares Ritz e os pares harmnicos Ritz, e algumas de suas vari-
aes [12], so bastante utilizados nos mtodos iterativos para clculo
de autovalores, ver [8]. Para matrizes hermitianas e para matrizes que
no estejam muito longe de serem normais, o comportamento dos au-
tovalores e de suas aproximaes ajudam a compreender o histrico
da convergncia de alguns mtodos de Krylov [39], [60]. Com isso, os
mtodos de Krylov, quando aplicados soluo de um sistema linear,
podem fazer uso de aproximaes de autovalores, que esto implci-
tas, como veremos a seguir. A princpio, o GMRES com recomeo
desconsidera a maior parte da informao guardada durante a itera-
o anterior, na seo 5.1, do captulo 5, discutiremos como se pode
Pares de Ritz 67
aproveitar a iterao anterior. Os prximos resultados fundamentam
por que faz-lo.
O teorema a seguir mostra a transformao do problema de clculo
de pares harmnicos de Ritz apresentado em (4.1.8) em um bem mais
simples e demonstra uma propriedade relevante de ortogonalidade dos
pares harmnicos de Ritz.
Teorema 4.5. Seja V uma matriz cujas as colunas formam uma base
ortonormal para K
k+1
(A, r
0
). Suponhamos que o polinmio mnimo
de r
0
em relao a A tem grau maior que k +1. Usando a notao do
mtodo de Arnoldi, apresentado no algoritmo 2, na pg. 31, a equao
para pares harmnicos de Ritz em (4.1.8) pode ser escrita como
(H
k
+ h
2
(k+1),k
H
H
k
e
k
e
T
k
) = . (4.1.10)
Seja (x, ) um par harmnico de Ritz de A em relao a AK
k
(A, r
0
),
tal que x = V
k
, com C
k
. Ento vale a seguinte relao de
ortogonalidade:
H
H
k
(H
k

(
0
)
) = 0. (4.1.11)
Demonstrao:
V
H
k
A
H
AV
k
= V
H
k
A
H
V
k
usando uma das relaes provenientes do mtodo de Arnoldi, AV

k
=
V
k+1
H
k
, temos
H
H
k
V
H
k+1
V
k+1
H
k
= H
H
k
V
H
k+1
V
k
como V
k+1
ortogonal, podemos simplicar para
H
H
k
H
k
= H
H
k
(
I
kk
0
)
H
H
k
H
k
= H
H
k
(4.1.12)
escrevendo a matriz H
k
em blocos, chegamos a
H
H
k
0
.
.
.
0
h
(k+1),k
(
H
k
0 . . . 0 h
(k+1),k
)
= H
H
k

68 lgebra Linear
que pode ser simplicado para
(H
H
k
H
k
+ h
2
(k+1),k
e
k
e
T
k
) = H
H
k

como podemos assumir que H
k
regular, graas hiptese sobre o
grau do polinmio mnimo de r
0
em relao A, ento
(H
k
+ h
2
(k+1),k
H
H
k
e
k
e
T
k
) = .
Provando a relao (4.1.10).
Partindo da equao (4.1.12)
H
H
k
H
k
= H
H
k
(
I
kk
0
)
com uma simples reorganizao, temos

H
H
k
(H
k

(
0
)
) = 0.
Cabe observar que o teorema anterior est fortemente ancorado no
uso do mtodo de Arnoldi para ortogonalizao da matriz de Krylov.
O prximo teorema relaciona os resduos dos clculos dos valores
harmnicos de Ritz com o resduo de uma dada iterao do GMRES,
ver [84].
Teorema 4.6. Sejam H
k
e (e
1
H
k
y
k
) provenientes do algoritmo
do GMRES e sejam (x
i
,
i
) pares harmnicos de Ritz de A em relao
a AK
k
(A, r
0
), tal que x
i
= V
k
i
, com
i
C
k
. Suponhamos que o
polinmio mnimo de r
0
em relao a A tem grau maior que k + 1.
Ento
H
k
i
(
i
0
)
=
i
(e
1
H
k
y
k
), (4.1.13)
com
i
escalares.
Quadrados Mnimos 69
Demonstrao: Pelo resultado encontrado em [101, corolrio 1.39 do
teorema 1.38, pg. 36], temos que e
1
H
k
y
k
ortogonal a H
k
y, y
C
k
, onde
y
k
= arg min
yC
k
e
1
H
k
y
2
.
Ento
(e
1
H
k
y
k
) Im(H
k
).
Usando (4.1.11), podemos escrever que
(H
k
i
(
i
0
)
) Im(H
k
).
Logo ambos os vetores pertencem ao Nuc(H
k
), mas pela hiptese sobre
o grau do polinmio mnimo de r
0
em relao a A, H
k
tem posto
completo, Nuc(H
k
) tem dimenso 1, e
(e
1
H
k
y
k
) paralelo a (H
k
i
(
i
0
)
).
Vamos utilizar o teorema anterior quando do estudo de variantes do
GMRES nos captulos 5 e 6.
4.2 Quadrados Mnimos
No GMRES um dos passos centrais a soluo de um problema de
quadrados mnimos. Esse tipo de problema aparece em numerosas
aplicaes quando o resultado atingvel uma aproximao x, tal que
A x seja o mais prximo possvel
1
de b. Em geral, essa abordagem
ocorre quando o nmero de resultados experimentais superior ao
nmero de equaes, levando a sistemas com matrizes retangulares.
No caso de matrizes m n onde m > n pode ou no haver soluo
nica. A formulao matemtica
2
desse problema
A x b
2
= min
xR
m
Ax b
2
.
1
Em relao a alguma medida aceitvel, por exemplo a norma euclidiana do resduo.
2
Nessa parte da seo estamos tratando de problemas em R
m
.
70 lgebra Linear
Dizemos que x a soluo de um problema de minimizao
P : min
xR
m
Ax b
2
. (4.2.14)
4.2.1 Equaes Normais
Vamos mostrar uma soluo possvel para o problema de minimizao
P, (4.2.14). Trata-se de uma soluo bastante usada em estatstica.
Em lgebra linear computacional, em geral, usa-se outra abordagem
que veremos nas prximas sees
Teorema 4.7. O problema P sempre admite ao menos uma soluo.
Uma condio necessria e suciente para que x seja soluo de P
que x seja soluo da equao normal
A
T
Ax = A
T
b. (4.2.15)
A soluo x nica se e somente se A tem posto completo; neste caso
A
T
A positivo-denida.
Vamos agora apresentar uma das aplicaes da decomposio de
uma matriz em valores singulares. Seja A R
mn
, onde m e n so
quaisquer. A pseudo-inversa de A a matriz denida por A
=
V
U
T
, aonde UV
T
a decomposio em valores singulares de A
e
a matriz transposta de , com os coecientes

i
, os valores
singulares de A, substitudos por seus inversos multiplicativos
3
, 1/
i
.
Teorema 4.8. Seja x a soluo do problema de minimizao P de-
nido em (4.2.14). Se A tem posto completo ento
A
= (A
T
A)
1
A
T
e x = A
b.
Caso m = n, ento A
= A
1
.
3
Estamos considerando apenas o valores singulares positivos.
Quadrados Mnimos 71
A descrio das equaes normais sobre o corpo dos complexo po-
der ser feita em separado para as partes real e imaginria, sem mai-
ores diculdades tcnicas.
4.2.2 Soluo por Fatorao QR
Vale observar que, na soluo de sistemas lineares, as matrizes triangu-
lares tm um papel destacado dada a facilidade de soluo de sistemas
triangulares. Se A = QR, com Q ortogonal ou unitria e R triangular
superior, ento Ax = b QRx = b Rx = Q
H
b x = R
1
Q
H
b
4
.
Esse o mtodo utilizado correntemente nos programas de soluo
de sistemas lineares por mtodos de Krylov para resolver problemas
de quadrados mnimos. Na verdade, trata-se de um outro mtodo de
soluo direta de um sistema linear, s que computacionalmente mais
caro do que a eliminao gaussiana, apesar de numericamente mais
estvel. Vamos apresentar trs algoritmos que realizam a fatorao
QR de uma dada matriz.
Reexes de Householder
As reexes de Householder
5
repousam sobre a ideia simples de ir
transformando paulatinamente a matriz para a qual buscamos a fa-
torao QR, em uma matriz triangular superior R. Esse efeito ser
conseguido atravs de introduo de zeros na parte inferior de uma
coluna por vez, um exemplo esquemtico para uma matriz 4 3.
Q
1

0
0
0
Q
2

0
0 0
0 0
Q
3

0
0 0
0 0 0
Por sinal, a mesma aparncia da eliminao gaussiana, s que nesse

caso as matrizes utilizadas para introduzir zeros nas colunas so matri-
zes ortogonais, ou seja: Q
3
Q
2
Q
1
A = R, ou ento A = Q
H
1
Q
H
2
Q
H
3
R =
QR. As matrizes ortogonais Q
i
, i = 1 : 3 so denominadas reexes
4
A soluo, na prtica, no se d pela inverso de R mas pela soluo do sistema triangular.
5
Nessa parte estamos em C.
72 lgebra Linear
ou reetores de Householder
6
. Alguns autores apresentam denies
diferentes, apesar de equivalentes, para essa matrizes mas em todas
elas a ideia subjacente a mesma, atravs da soma ou subtrao de
duas projees ortogonais construir uma reexo, como veremos mais
a frente. Seja o vetor u
1
C
k
, queremos anular todas as suas en-
tradas, menos a primeira, preservando sua norma, logo, o novo vetor
dever ser r
1
= (u
1
, 0, . . . , 0) ou r
1
= (u
1
, 0, . . . , 0) ambos em
C
k
. No caso de vetores com coordenadas reais podemos observar a
seguinte ocorrncia: um fato da geometria plana bsica a perpen-
dicularidade das diagonais de um losango, eis que esse fato aparece
aqui. As direes das duas diagonais sero as direes em relao as
quais se construiro as duas reexes possveis e os vetores u
1
e r
1
so os lados do losango. Esses fatos podem ser observados nas guras
de 4.4 a 4.7, onde mostramos a construo do fator R da fatorao
QR da matriz
(
2 2
1 3
)
nesse caso estamos mostrando as duas reexes
possveis, observa-se que os vetores da matriz ortogonal Q no esto
representados.
A construo da matriz de reexo de Householder pode ser vista
como a subtrao de duas projees ortogonais. Seja w, o vetor uni-
trio que servir construo da reexo ento estamos subtraindo
duas projees ortogonais (I ww
h
)u
1
e (ww
h
)u
1
e construindo (I
2ww
h
)u
1
ou seu inverso aditivo, como apresentado nas guras dessa
seo. Outro fato representado nas guras, so as retas denidas
pela condio de ortogonalidade ao vetor w Em dimenses maiores,
os objetos sero hiperplanos tambm ortogonais a w. Tendo apre-
sentado essa motivao grca e geomtrica passamos aos resultados
tericos.
6
Alston Scott Householder (1904-1993) foi uma das primeiras pessoas a apreciar e promover o
uso de reetores elementares para aplicaes numricas. Embora a sua dissertao de doutorado
de 1937 na Universidade de Chicago ter sido sobre clculo das variaes, sua paixo era a biologia
matemtica, e essa foi a principal atividade de sua carreira at o momento em que esta foi
interrompida pelo esforo de guerra, em 1944. Em 1946, Householder ingressou na Diviso de
Matemtica do Oak Ridge National Laboratory e se tornou seu diretor em 1948. Ele cou em Oak
Ridge durante o resto de sua carreira, e se tornou uma liderana mundial em anlise numrica
e no clculo com matrizes. Como Givens (ver pg. 74), seu homlogo no Argonne National
Laboratory, Householder foi um dos primeiros presidentes da SIAM.(traduzido pelos autores de
[81])
Quadrados Mnimos 73
u
2
=
2
3
u
1
=
2
1
r
1
=
5
0
w
1
Figura 4.4: Clculo do vetor unitrio,

w
1
com que se far a reexo.
u
2
=
2
3
u
1
=
2
1
r
1
=
5
0
r
2
=
1
7
4
w
1
Figura 4.5: Os dois vetores j esto

reetidos, formando as colunas de R,
nesse caso 2 2.
Seja w = 0, w
2
= 1, a matriz H(w) = I 2ww
H
denominada
de matriz de reexo de Householder .
Teorema 4.9. Seja H = H(w) uma matriz de Householder com
w
2
= 1. Seja x C
m
, tal que sua primeira componente, x(1), seja
real e maior que 0. Ento H(w) uma matriz hermitiana e unitria,
e o vetor
w =
x +x
2
e
1
x +x
2
e
1
(4.2.16)
dene uma matriz de Householder H := H(w) tal que Hx = x
2
e
1
.
Demonstrao: Faa o exerccio 7.
Observao 4.5. Se o vetor enunciado no teorema 4.9 no satiszer
a condio de ter sua primeira componente real e maior que 0, ento,
ainda assim, podemos denir matrizes de Householder:
1. caso x(1) seja um complexo no nulo, ento o vetor w dever ser
dado por
w =
x +x
2
e
arg(x(1))
e
1
x +x
2
e
arg(x(1))
e
1
(4.2.17)
74 lgebra Linear
u
2
=
2
3
u
1
=
2
1
r
1
=
5
0
w
1
Figura 4.6: A outra reexo possvel,

usando a outra diagonal do losango.
u
2
=
2
3
u
1
=
2
1
r
1
=
5
0
r
2
=
1
7
4
w
1
Figura 4.7: Os dois vetores j esto

reetidos, usando a segunda reexo
possvel, formando as colunas de R.
2. caso x(1) real e negativo, ento
w =
x x
2
e
1
x x
2
e
1
(4.2.18)
Rotaes de Givens
A prxima maneira de estabelecer uma fatorao QR conhecida como
mtodo de rotaes de Givens
7
.
A ideia bsica tambm construir R atravs da transformao de
todos os elementos abaixo da diagonal principal de A em elementos
nulos. Nesse caso, cada elemento anulado por vez. Assim como no
caso de Householder, pode-se interpretar como a multiplicao pela
7
James Wallace Givens, Jr. (1910-1993) foi um pioneiro no uso de rotaes planas nos pri-
mrdios do clculo automtico de matrizes. Givens graduou-se no Lynchburg College, em 1928,
e concluiu seu doutorado na Universidade de Princeton, em 1936. Depois de passar trs anos no
Instituto de Estudos Avanados, em Princeton, como assistente de O. Veblen, Givens aceitou sua
nomeao na Cornell University, mais tarde transferiu-se para a Northwestern University. Alm
de sua carreira acadmica, Givens foi Diretor da Diviso de Matemtica Aplicada do Argonne
National Laboratory, e, como Householder (ver pg. 72), seu homlogo no Oak Ridge National
Laboratory, Givens foi um dos primeiros presidentes da SIAM (traduzido pelos autores de [81]).
Quadrados Mnimos 75
esquerda por matrizes ortogonais. Seja a seguinte matriz
J(i, k, ) =
1 0
0 1
.
.
.
.
.
.
.
.
.
0 0
0
c s
.
.
.
.
.
.
.
.
.
s c
0
0 0
.
.
.
.
.
.
.
.
.
1 0
0 1
,
onde c = cos() e s = sen(). Ou seja, trata-se de uma matriz iden-
tidade onde quatro entradas so substitudas por senos e cossenos. O
teorema a seguir ordena as ideias sobre as rotaes de Givens.
Teorema 4.10. Seja A R
mn
. Seja k = i, tal que A(k, j) = 0.
Denindo tal que
cos() =
A(i, j)
(A(i, j))
2
+ (A(k, j))
2
e
sen() =
A(k, j)
(A(i, j))
2
+ (A(k, j))
2
ento o elemento de ndice (k, j) do resultado do produto matricial
J(i, k, )
T
A nulo.
Demonstrao: Faa exerccio 8.
Processo de Gram-Schmidt
Para a construo da fatorao QR de uma matriz A, o processo
mais conhecido nos cursos bsicos de lgebra linear o mtodo de
Gram-Schmidt. Nesse caso podemos interpret-lo como sendo a
aplicao de transformaes triangulares pela direita da matriz A, ver
76 lgebra Linear
[127]. Dado o amplo conhecimento desse mtodo nos limitaremos a
mostrar uma representao grca dele para uma matriz 2 2, ver
guras 4.8 a 4.11. Para o algoritmo dos mtodos de Gram-Schmidt e
o de Gram-Schmidt modicado ver a seo 2.1, aonde os mtodos so
apresentados para efetuar o procedimento de Arnoldi.
u
2
=
2
3
u
1
=
2
1
Figura 4.8: Vetores iniciais.

u
2
=
2
3
v
1
=
1
2
1
u
1
=
2
1
Figura 4.9: Normalizao do primeiro

vetor: v
1
= u
1
/u
1
2
.
u
2
=
2
3
v
2
=
1 0
0 1
1
5
4 2
2 1
2
3
v
1
=
1
2
1
u
1
=
2
1
Figura 4.10: Projeo do segundo ve-

tor: v
2
= (I v
1
v
T
1
)u
2
.
u
2
=
2
3
v
2
=
1 0
0 1
1
5
4 2
2 1
2
3
v
1
=
1
2
1
u
1
=
2
1
v
2
=
1
1
2
Figura 4.11: Normalizao do segundo

vetor: v
2
= v
2
/ v
2
2
.
Cabe observar que o processo de Gram-Schmidt modicado, no
altera a construo do exemplo grco ora apresentado.
Comparao entre as fatoraes QR
Para aclarar algumas das diferenas entre as quatro fatoraes apre-
sentadas, vamos apresentar um exemplo onde duas comparaes sero
Quadrados Mnimos 77
realizadas.
Seja A R
2515
, a matriz de Vandermonde formada a partir dos
escalares j
1
15
, onde j o ndice da coluna. O condicionamento dessa
matriz vale
2
(A) = 3, 9 10
9
. Sejam

Q
R os fatores obtidos pelas

quatro fatoraes em um computador. Os erros residuais associados
as fatoraes QR so calculados usando a frmula
=
A

Q
R
2
A
2
,
e seus valores podem ser vistos na tabela 4.1. Por esse critrio, os
procedimentos so equivalentes. Um outro valor relevante a perda
Tabela 4.1: Comparao entre os erros das diversas fatoraes QR.
Mtodo
Gram-Schmidt 2 10
16
Gram-Schmidt modicado 2 10
16
Householder 10
15
Givens 10
16
da ortonormalidade, que pode ser medida por
=
Q
H
QI
2
.
Os diversos valores para podem ser vistos na tabela 4.2. E nesse
Tabela 4.2: Comparao da perda de ortogonalidade entre diversas fatoraes QR.
Mtodo
Gram-Schmidt 6, 02
Gram-Schmidt modicado 10
7
Householder 2 10
15
Givens 3 10
16
caso os problemas e solues aparecem, uma vez que Gram-Schmidt
78
no consegue construir uma base ortonormal, enquanto que a ver-
so modicada consegue melhorar bastante; alguns autores chegam
a armar que o nome Gram-Schmidt modicado no apropriado,
uma vez que se trata de outro mtodo com outros resultados, ape-
sar da semelhana entre os algoritmos. Os mtodos de Householder e
Givens fazem um bom trabalho segundo esse critrio. Esses resulta-
dos podem ser consolidados teoricamente, e prova-se que as perdas de
ortonormalidade desse mtodos so proporcionais a c
mn
2
(A)
2
, para
Gram-Schmidt, c
mn
2
(A), para Gram-Schmidt modicado, e de ape-
nas c
mn
para Householder e Givens, onde a preciso utilizada para
executar as operaes e c
mn
uma constante que cresce ligeiramente
com o aumento da dimenso das matrizes.
4.2.3 Custo e Estabilidade
Quando da soluo de problemas de quadrados mnimos, outro fator
importante o total de operaes de ponto (na verdade, vrgula) u-
tuante (ops). possvel demonstrar que a soluo usando equaes
normais custa mn
2
+ n
3
/2 ops, enquanto que as fatoraes de Hou-
seholder e Givens realizam 2mn
2
2n
3
/3. Ou seja, h uma diferena
signicativa entre as implementaes, sendo a alternativa QR prefer-
vel apenas quando a estabilidade do mtodo essencial, ou no se tem
informao suciente sobre o nmero de condicionamento da matriz.
Outro aspecto importante quanto estabilidade dos vrios m-
todos e nesse caso as alternativas de Householder e Givens so mais
estveis que o mtodo das equaes normais. H uma extensa litera-
tura sobre esse tema e os interessados podem consultar, por exemplo,
[65] e [119].
Exerccios
1. Provar que o maior,
1
, e menor,
m
, autovalores de uma matriz
hermitiana mm podem ser ser descritos por
1
= max
x
2
=1
x
H
Ax e
m
= min
x
2
=1
x
H
Ax
Exerccios 79
2. Estabelea uma relao entre os autovalores da matriz H
k
que
aparece no mtodo de Arnoldi e os autovalores da matriz original
A. Determine as restries necessrias para as matrizes am que
as propriedades sejam vlidas.
3. Faa a demonstrao do teorema 4.7.
4. Faa um esboo grco da uma soluo nica para um problema
de quadrados mnimos, relacionando Im(A) e b A x.
5. Seja A
mn
com m e n quaisquer. Prove que a pseudo-inversa A
de A a nica soluo X das equaes de Moore-Penrose

8
:
(a) XAX = X,
(b) AXA = A,
(c) (AX)
T
= AX,
(d) (XA)
T
= XA.
7. Faa a demonstrao do teorema 4.9
9. Faa as implementaes computacionais da fatorao QR:
(a) usando reexes de Householder.
(b) usando rotaes de Givens.
10. Faa uma implementao computacional dos algoritmos Gram-
Schmidt e Gram-Schmidt modicado. Construa exemplos em que
a instabilidade aparea (Sugesto: use trs vetores quase linear-
mente dependentes, construdos com a constante eps do Matlab).
Estude aonde exatamente surge a instabilidade .
11. Faa uma implementao computacional do procedimento de Ar-
noldi usando as reexes de Householder para construo da base
ortogonal.
8
Ver denio de A
, tambm conhecida com inversa de Moore-Penrose, em [81, pg. 423].

80
12. Faa uma implementao computacional do procedimento de Ar-
noldi usando as rotaes de Givens para construo da base or-
togonal.
13. Provar que
(x, y)
F
:= trao x
H
y, x
F
:=
trao x
H
x
so, respectivamente, um produto interno e uma norma bem de-
nidos.
Captulo 5
Novos desenvolvimentos dos
Mtodos de Krylov
O mtodo GMRES completo
1
, na maioria dos casos prticos, caro e
apresenta uma convergncia lenta. No captulo 3, vimos que os precon-
dicionadores so essenciais para aumentar a taxa de convergncia do
GMRES. Uma abordagem complementar ao desenvolvimento de no-
vos precondicionadores realizar modicaes no prprio mtodo. E
assim, nos ltimos 20 anos foram propostas vrias alternativas de mo-
dicao do GMRES (assim como para os outros MPSK) para torn-lo
mais adequado aos diferentes problemas das diversas reas do conhe-
cimento que fazem uso desse MPSK. Em [114], apresentada uma
exaustiva reviso sobre a evoluo dos mtodos de Krylov nas duas
ltimas dcadas, e por isso trata-se de leitura obrigatria para qual-
quer interessado na rea.
Neste captulo, apresentamos alguns dos avanos ocorridos nesse
perodo. Na seo 5.1, falaremos sobre mtodos com recomeo basea-
dos na recuperao de informao do subespao de Krylov construdo
no ciclo anterior. Em particular, atravs da busca de aproximaes de
autovalores facilmente calculveis usando a matriz de Hessenberg do
ciclo anterior ([83], [84], [85]). Outro proposta, apresentada na seo
1
Chamamos de GMRES completo aquele que s termina quando ocorre uma ruptura benca,
ou quando se atinge uma reduo do resduo pr-estabelecida, guardando-se todos os vetores
construdos.
82 Novos Desenvolvimentos
5.2, a preservao de subespaos do ciclo anterior mais relevantes
para a garantia da ortogonalidade do mtodo ([42], [45], [113]). Uma
das propostas mais antigas de melhoria dos MPSK apresentada na
seo 5.3, tratam-se de mtodos com precondicionadores que variam a
cada iterao
2
. Em especial, precondicionadores que so eles prprios
mtodos de Krylov ([41], [99], [111], [112], [114], [132]). Um avano
mais recente que ser apresentado na seo 5.4, est relacionado a
se permitir que o produto matriz-vetor seja calculado de forma ine-
xata, necessidade sentida em reas aonde a matriz no disponvel
ou muito cara para ser calculada exatamente ([19], [20], [52], [112],
[114], [129]). Apresentamos, a seguir, uma bibliograa onde as vrias
propostas aqui discutidas, e outras que no trataremos, podem ser
estudadas: [9], [22], [25], [26], [34], [37], [49], [62], [63], [77], [89], [95],
[100], [109] e [140].
5.1 Recomeo Deacionado
Os artigos que fundamentam essa seo so os de Ronald B. Morgan
[83, 84, 85] de 1995, 2000 e 2002, respectivamente, e o artigo de Luc
Giraud e outros [53] de 2010.
Apesar do resultado terico apresentado no teorema 2.2 (ver [60] e
[86]), em um grande nmero de problemas importantes, a convergn-
cia dos MPSK depende em larga escala da distribuio dos autova-
lores. Quando da ocorrncia de pequenos autovalores, a sua deao
(remoo), e dos autoespaos correspondentes, pode melhorar a taxa
de convergncia desses mtodos [85]. Em [12], discutem-se algumas
aproximaes para os autopares de uma matriz e provado um teo-
rema sobre o entrelaamento dessas aproximaes com os autovetores
de matrizes hermitianas [12, pg. 20]. Vamos discutir, nesta seo,
as ideias relacionadas deao de autovalores aproximados, e seus
autoespaos, quando do recomeo do GMRES. Para outros mtodos
de Krylov, para soluo de sistemas lineares, tambm se pode utili-
zar tcnica equivalente, ver [35, 104]. Essas alternativas tambm so
2
Usaremos o termo iterao do GMRES para caracterizar a aplicao de um procedimento
de Arnoldi e a soluo de um problema de quadrados mnimos.
Recomeo Deacionado 83
conhecidas como mtodos de aumento por deao [45].
5.1.1 GMRES-DR
A ideia central o aumento dos subespaos de busca da soluo apro-
ximada com vetores harmnicos de Ritz herdados do ciclo anterior do
GMRES
3
. Os principais trabalhos nessa direo so apresentados em
[83, 84, 85] onde so propostos os mtodos GMRES-E, GMRES-IR e
GMRES-DR, respectivamente. Vamos resumir algumas das propostas
e resultados formulados nesses artigos. As principais diculdades de se
utilizar a deao em mtodos com recomeo est ligada a dois fatos:
como os espaos construdos so pequenos at a interrupo do ciclo,
a deao natural que poderia ocorrer para mtodos sem recomeo
(ver [87] e [133]) em geral, no acontece, em segundo lugar, guarda-se
apenas um vetor em cada reincio, pelo menos nas verses tradicionais.
Vamos mostrar como construir espaos de busca com autovetores
aproximados que ainda assim so subespaos de Krylov. Seja n a
dimenso do subespao construdo at o momento de parada e seja k
o nmero de autovetores aproximados utilizados em cada recomeo.
Seja (y
i
,
i
) um par harmnico de Ritz. Temos a relao de Arnoldi
surgida durante o processo de ortogonalizao
AV
n
= V
n+1
H
n
, (5.1.1)
onde V
H
n+1
V
n+1
= I, H
n
C
(n+1)n
uma matriz de Hessenberg e
H
n
C
nn
construda a partir de H
n
, com a excluso de sua ltima
linha.
O mtodo usado pelo GMRES-E como espao de busca para a
soluo aproximada gerado por
r
0
, Ar
0
, A
2
r
0
, . . . , A
nk1
r
0
, y
1
, y
2
, . . . , y
k
, (5.1.2)
colocando ao nal dos geradores, os vetores harmnicos de Ritz.
Pode parecer que colocando-se os vetores harmnicos de Ritz no
incio dos geradores, levaria a construo de um subespao que no seja
3
Usaremos o termo ciclo do GMRES para caracterizar o conjunto de iteraes que ocorre ate
convergncia ou at se atingir um nmero determinado de iteraes, como ocorre na alternativa
com recomeo. Em geral, um ciclo ser formado por vrias iteraes.
de Krylov. No entanto, como provado em [84], os valores harmnicos
de Ritz podem vir frente. demonstrado nesse artigo que o espao
gerado em (5.1.2) equivalente a
y
1
, y
2
, . . . , y
k
, Ay
i
, A
2
y
i
, . . . , A
nk
y
i
, , (5.1.3)
para 1 i k, logo, ele contm todos os subespaos de Krylov que
possuem vetores harmnicos de Ritz como vetores iniciais, ou seja,
GMRES-E e GMRES-IR so equivalentes.
Em [139], os autores propuseram, tratando de clculo de autovalo-
res para problemas simtricos atravs de um mtodo de Lanczos, uma
forma particular de incorporao de valores de Ritz. Em [85], Mor-
gan prope a extenso dessa ideia para problemas no simtricos que
usem o mtodo de Arnoldi. A proposta desenvolvida nesse artigo a
seguinte: o primeiro ciclo do mtodo um GMRES com recomeo que
produz um resduo r
0
. Seja V a matriz cujas colunas geram o espao
de busca em cada ciclo do mtodo. Ento, no comeo do segundo
ciclo, k valores harmnicos de Ritz so calculados e ortogonalizados
atravs de um mtodo QR. Esses vetores so colocados no incio de V
e r
0
ortogonalizado em relao a V (:, 1 : k). Os prximos passos do
mtodo so o procedimento de Arnoldi para clculo de n k vetores
que formaro V
n+1
, ver algoritmo 5. Pode ser provado que GMRES-E,
GMRES-IR e GMRES-DR so matematicamente equivalentes.
Algoritmo 5 GMRES-DR - ciclos completos
1: Realizar um ciclo com n iteraes de GMRES
2: faa at convergncia
3: Calcular k valores harmnicos de Ritz, ortogonaliz-los e coloc-los
em V (:, 1 : k) (ver exerccio 1).
4: Ortogonalizar r
0
em relao a V (:, 1 : k).
5: Realizar o procedimento de Arnoldi para completar o subespao e
produzir V
n+1
e H
n
.
6: Resolver o problema de quadrados mnimos, calcular a soluo apro-
ximada e o novo resduo r
0
.
7: m-de-faa
Truncamento Otimal 85
Em [85], so demonstrados dois teoremas que provam que o subes-
pao gerado pelo mtodo GMRES-DR um subespao de Krylov (uma
demonstrao simplicada desses resultados encontra-se em [45]). O
primeiro resultado mostra que subespao gerado pelos vetores harm-
nicos de Ritz e r
0
de Krylov.
Teorema 5.1. Seja o subespao S = y
1
, y
2
, . . . , y
k
, v tal que
Ay
i
i
y
i
=
i
v
para
1
, . . . ,
k
distintos e para
i
no nulos. Ento S um subespao
de Krylov.
Demonstrao: Ver exerccio 2.
O prximo teorema mostra que o subespao completo de Krylov.
Teorema 5.2. O subespao gerado por GMRES-DR o subespao
(5.1.2) e um subespao de Krylov.
Demonstrao: Ver exerccio 3.
Em [85], h algumas aluses sobre quais os tipos de valores harm-
nicos de Ritz - menores, maiores, randmicos - devem ser utilizados,
mas nenhuma concluso estabelecida. No exerccio 5, sugerido o
estudo dessa comparao.
5.2 Truncamento Otimal
Os artigos bsicos desta seo so o de Eric de Sturler [42] de 1999, o
de Michael Eierman e outros [45], de 2000, e o de Valeria Simoncini e
Daniel B. Szyld [114], de 2007.
Os mtodos da seo 5.1 baseiam-se na ideia de recomear um ciclo
de um mtodo de resduo minimal, depois que o espao de correo
tenha chegado a uma dimenso n pr-estabelecida, compensando a
perda de informao com o aumento do subespao de busca atravs
da deao de autoespaos aproximados. Entretanto, como apontado
no teorema 2.2, e, em particular, para matrizes no normais e forte-
mente no simtricas, os autovalores aproximados podem dizer muito
pouco sobre a convergncia real do mtodo. Alm disso, a convergn-
cia lenta no causada necessariamente por autovalores pequenos. Por
exemplo, em [133] os autores mostram que quando alguns autovalores
so equidistantes da origem, ou seja quando pertencem a um crculo
cujo centro a origem, o GMRES car estagnado por um nmero de
passos igual ao nmero de autovalores que esto nesse crculo, inde-
pendente do mdulo dos autovalores. E mais, se os autovalores esto
em um crculo de raio muito pequeno em torno da origem, pode at
mesmo se tornar impossvel o clculo desses autovalores com acurcia
aceitvel.
No entanto, os mtodos discutidos aqui esto relacionados aos da se-
o 5.1 pela tentativa de se reter alguma informao contida no espao
de busca do ciclo que terminou. S que nesse caso, se tenta guardar a
informao sobre ortogonalidade entre alguns subespaos especcos,
considerados mais importantes para a convergncia do mtodo.
Ao invs de recomear apenas com um vetor, esses mtodos trun-
cam de alguma forma o espao de busca. E, ento, um subconjunto dos
vetores da base construda at esse determinado momento guardado.
Em [42], De Sturler propes um esquema para descartar subespaos
inteiros e no apenas vetores da base como em alguns outros mtodos
de truncamento (ver [101, pgs. 172-177], QGMRES e DQGMRES).
Esta seleo, proposta em [42], no se baseia nem em informaes
espectrais, nem na invarincia de subespaos, mas em ngulos entre
subespaos
4
.
Vamos tratar de duas perguntas:
Dada uma iterao s < n, onde n a dimenso mxima permitida
para o subespao de busca. Se o mtodo tivesse sido recomeado
aps s iteraes, como isso inuenciaria a convergncia? Ou seja,
recomea-se, fazem-se mais (n s) iteraes, usando como valor
inicial x
s
e dispensando-se todos os demais vetores e matrizes j
calculados.
4
Para denio de ngulo entre subespaos, consultar [44, pg. 256] ou [119, pg. 73].
Precondicionadores Flexveis 87
Quais os subespaos das primeiras s iteraes que deveriam ser
preservados, am de que nas prximas (ns) iteraes se conse-
guisse uma convergncia o mais prxima possvel da convergncia
do GMRES completo, com n iteraes?
A ideia do mtodo calcular os valores singulares de alguns dos su-
bespaos em questo e descartar os que forem associados a peque-
nos valores singulares, uma vez que os vetores singulares associados
no teriam maior contribuio para a convergncia. O mesmo fato
pode ser interpretado da seguinte forma. Dado o subespao de Kry-
lov K
s
(A, r
0
), com s < n, quais so as direes importantes para a
convergncia, no sentido de ao se manter a ortogonalidade em relao
a essas direes, havendo o recomeo aps s iteraes, se conseguir a
maior reduo possvel no resduo. Os subespaos a serem comparados
so AK
s
(A, r
0
) e AK
(ns)
(A, r
s
). A comparao entre os subespaos
nesse caso barata uma vez que ambos esto em K
n
(A, r
0
). Logo os
clculos dos ngulos podem ser feitos em relao base desse espao
e envolvem apenas matrizes pequenas.
A seleo de subespaos acima pode ser usada para melhorar o
mtodo GCRO
5
[41] de iteraes internas-externas (ver seo 5.3 ).
O mtodo resultante se chama GCROT e transfere essa seleo de
subespaos da iterao interna para a externa. Segundo [113], a verso
atual do mtodo precisa da seleo de seis parmetros, que podem
ser difceis de serem ajustados, no entanto, ainda segundo [42], com
alguma experincia, alguns dos parmetros podem ser determinados
facilmente.
5.3 Precondicionadores Flexveis
O artigo base dessa seo o de Valeria Simoncini e Daniel B. Szyld
[111] de 2002, ao qual foram adicionadas algumas referncias atualiza-
das e comentrios dos seguintes artigos: [41], [53], [99], [132] e [134].
5
O mtodo GCRO matematicamente equivalente ao GMRES pois constri os mesmos espa-
os, tem as mesmas solues intermedirias e resduos parciais iguais, apesar de ser mais caro,
apresenta maior exibilidade na construo dos subespaos de Krylov.
A rea de precondicionadores variveis ou exveis vem apresen-
tando um desenvolvimento constante nos ltimos anos, ver as refern-
cias: [4], [6], [41], [53], [55], [88], [99], [111], [123], [132], [134], alm
das obras citadas nesses trabalhos. A ideia central o uso de diferen-
tes operadores em cada iterao (at mesmo operadores no lineares)
como precondicionadores de um MPSK. Mesmo outros mtodos de
Krylov podem ser usados como precondicionadores, ver [41], [53], [99]
e [132].
Dado o sistema linear Ax = b, aplicar um precondicionador padro
pela direita, como j vimos, consiste em substituir o sistema linear por
AM
1
y = b, com Mx = y ou M
1
y = x, (5.3.4)
para um precondicionador adequado M. Uma das motivaes para
mtodos com precondicionadores variveis se encontrar casos rele-
vantes aonde se necessita resolver apenas aproximadamente
Mz = v,
considerando-se que M , j, uma aproximao de A. Com isso poder
haver um M diferente para cada passo k do mtodo de Krylov, pelo
menos implicitamente. Uma outra possibilidade a de se utilizar
informaes das iteraes anteriores para melhorar a qualidade dos
precondicionadores, ver [7], [47], [72].
Vamos analisar, nesta seo, mtodos de Krylov cujos os precon-
dicionadores so eles prprios mtodos de Krylov, podendo at ser o
mesmo. Esses mtodos tambm so conhecidos como mtodos com
iteraes aninhadas ou com iteraes internas-externas . A fora des-
sas alternativas reside no aumento contnuo do subespao de Krylov.
Atravs da combinao criteriosa do subespao da iterao interna
com o da iterao externa, consegue-se a convergncia do mtodo em
um nmero nito de iteraes. Essa propriedade no garantida, por
exemplo pelos mtodos com recomeo que destroem os subespaos a
cada recomeo. Ou seja, restringindo-se os precondicionadores vari-
veis a mtodos de Krylov, garante-se que a iterao global permanea
dentro de um subespao de Krylov maior e, graas ao teorema 1.2
da pg. 17, temos a convergncia. S que devido ao grau do polin-
mio mnimo do lado direito b em relao A, essa convergncia pode
ser lenta, sendo necessrios precondicionadores, tambm, para esses
mtodos.
A relao de Arnoldi (2.1.3), quando do uso de um precondicionador
constante pela direita, torna-se
AM
1
V
n
= V
n+1
H
n
.
Quando o precondicionamento exvel utilizado, a cada iterao re-
solvemos o problema M
i
z
i
= v
i
, ou seja z
i
= M
1
i
v
i
6
. Seja
Z
n
=
(
M
1
1
v
1
M
1
n
v
n
)
ento a relao de Arnoldi escreve-se como
AZ
n
= V
n+1
H
n
, (5.3.5)
e se torna necessrio estocar ambas as matrizes, Z
n
e V
n+1
, ou seja,
aumenta-se o espao necessrio. Nesse caso, a soluo aproximada, cal-
culada no k-simo passo externo do mtodo, ser tal que x
k
x
0
Z
k
,
ou, x
k
= x
0
+Z
k
u
k
, com u
k
R
k
. Seguindo a sugesto apresentada em
[111], vamos alterar a notao para diferenciar as matrizes envolvidas
nas iteraes internas e externas, assim (5.3.5) passa a
AZ
k
= W
k+1
T
k
, (5.3.6)
para nos referirmos as matrizes construdas at k-sima iterao ex-
terna, nesse caso
W
k
=
(
w
1
w
k
)
contm a base ortonormal para o espao externo e T
k
, no caso do uso
do mtodo de Arnoldi para ortogonalizar a matriz, contm, em cada
coluna i, as coordenadas dos produtos Az
i
escritos na base
W
i+1
=
(
w
1
w
i
w
i+1
)
e uma matrix de Hessenberg superior.
Para evitar confuses, vamos chamar de ciclo interno o conjunto
de iteraes completas do mtodo interno, at convergncia ou at a
6
Entender essa operao como a soluo do problema e no, necessariamente, como a inverso
da matriz M, pois M pode ser um operador qualquer.
sua parada, e de ciclo externo o conjunto de iteraes completas
do mtodo externo, at convergncia ou at a sua parada. Com isso
queremos frisar, mais uma vez, a diferena entre uma iterao e um
ciclo. Em geral um ciclo ser composto de vrias iteraes, excludo
o caso de convergncia na primeira iterao dos mtodos interno ou
externo.
Vamos reescrever o mtodo externo usando a notao proposta em
(5.3.6). Dada a aproximao inicial x
0
, ento temos
r
0
= b Ax
0
w
1
= r
0
/ = r
0
, (5.3.7)
para cada iterao externa k, um vetor z
k
, que aproxima a soluo de
Az = w
k
, (5.3.8)
calculado usando um ciclo de um mtodo de Krylov como precondi-
cionador. Em seguida, o vetor Az
k
calculado e ortogonalizado, por
um mtodo de Arnoldi, em relao aos vetores anteriores w
i
, i k e
obtm-se o novo vetor w
k+1
, com isso o resduo da k-sima iterao
externa vale
r
k
= b Ax
k
= r
0
AZ
k
u
k
= r
0
W
k+1
T
k
u
k
= W
k+1
(e
1
T
k
u
k
).
(5.3.9)
Como estamos usando um mtodo de Arnoldi em cada iterao ex-
terna, ento, W
k
W
T
k
e I W
k
W
T
k
sero projetores ortogonais em
Im(W
k
) e Im(W
k
)
, respectivamente. Com isso, ortogonalizar Az

k
em relao aos vetores ortonormais w
i
, i k, equivalente a deaci-
onar o vetor resduo interno w
k
Az
k
em relao ao espao Im(W
k
);
vejamos a comprovao dessa armao
t
k+1,k
w
k+1
= (I W
k
W
T
k
)Az
k
(5.3.10)
= w
k
(w
k
Az
k
) w
k
+ W
k
W
T
k
(w
k
Az
k
)
= (I W
k
W
T
k
)(w
k
Az
k
). (5.3.11)
Na k-sima iterao do mtodo externo um novo vetor z
k
, que apro-
xima (5.3.8), calculado usando um ciclo interno de Krylov. O su-
bespao de Krylov construdo para estabelecer essa aproximao
K
n
(A, w
k
), com n = n
k
, e a base desse subespao pode ser denotada
{v
(k)
1
, . . . , v
(k)
n
}, a qual tambm atende uma relao do tipo (5.3.5)
7
AV
(k)
n
= V
(k)
n+1
H
(k)
n
, (5.3.12)
e, assim, temos
z
k
= V
(k)
n
y
k
, para y
k
R
k
, n = n
k
(5.3.13)
Outro fato relevante, que se o mtodo interno for precondicio-
nado pela direita, essa alternativa pode ser vista como uma estratgia
de precondicionamento global. Vejamos os detalhes. Suponhamos
que se use, no ciclo interno, como precondicionador pela direita xo
uma matriz P, com isso o sistema interno a ser resolvido passa a ser
AP
1
z = w
k
, com z = P
1
z. O novo espao de Krylov interno ser
K
n
(AP
1
, w
k
). Temos que z
k
= V
(k)
n
y
k
, aonde V
(k)
n
uma base para
K
n
(AP
1
, w
k
). Como P xo podemos escrever
Z
k
= P
1

Z
k
=
(
P
1
z
1
P
1
z
k
)
.
E a relao de Arnoldi externa (5.3.6) passa a ser
AP
1

Z
k
= W
k+1
T
k
.
Da podemos concluir que o precondicionamento interno equivale ao
precondicionamento externo com a mesma matriz, ainda, pela direita.
E assim, usar um precondicionador constante e pela direita no ciclo
interno equivale a us-lo no ciclo externo. Temos ento que o m-
todo exvel, neste caso, passa a resolver o problema AP
1
x = b, com
x = Px. Podemos considerar, dessa forma, que a matriz A repre-
senta a matriz AP
1
, no havendo necessidade de sempre explicitar o
precondicionador interno.
A seguir, apresentamos o resumo de alguns dos resultados mais
relevantes demonstrados em [111]:
7
Em geral, os mtodos de Krylov internos e externos no precisam usar necessariamente o
procedimento de Arnoldi, mas nessa seo sempre estaremos considerando que as construes das
bases interna e externa se do atravs desse procedimento, pois estamos tratando de variantes
do GMRES.
1. Relembrando a relao 5.3.6, AZ
k
= W
k+1
T
k
, apesar de Z
k
e
W
k+1
no serem subespaos de Krylov, assumindo que eles te-
nham posto completo, eles pertencem a um espao de Krylov de
dimenso mais elevada, os detalhes e demonstrao desse resul-
tado esto no lema 2.2, na pg. 2223.
2. Outro resultado arma que o subespao aonde as aproximaes
so escolhidas continuam crescendo, dadas algumas hipteses ra-
zoveis, levando convergncia dos mtodos com iteraes internas-
externas em at, no mximo, a ordem da matriz A. Esse resultado
apresentado no teorema 5.2, na pgina 2228
3. Quanto estagnao e a ruptura dos mtodos, no teorema 6.1
da pgina 2230, so apresentados resultados sobre as condies e
como evitar ruptura e estagnao dos mtodos.
5.4 Inexatos
As referncias bsicas para essa seo so o relatrio tcnico de Amina
Bouras e Valrie Frayss [19], de 2000, o artigo de Luc Giraud e outros
[52], de 2007, os de Valeria Simoncini e Daniel B. Szyld [112] e [114],
e o de Jasper van den Eshof e Gerard L. G. Sleijpen [129], de 2004.
Em [19], as autoras prope a seguinte questo
8
: para mtodos de
Krylov, qual a melhor estratgia de parada das iteraes internas vi-
sando assegurar a convergncia da iteraes externas ao mesmo tempo
que o custo computacional global minimizado? Essa questo foi
tratada nos anos 1980 e 1990, no contexto dos mtodos de Newton,
e a concluso era de que as iteraes internas precisariam de uma
maior acurcia quando o processo externo chegasse proximo con-
vergncia. Baseadas em extensa experimentao numrica, as auto-
ras indicam que para mtodos de Krylov combinados, com iteraes
internas-externas, tanto de Arnoldi quanto de Lanczos, a acurcia dos
primeiros vetores seria necessria, mas que essa condio poderia ser
8
Esse trabalho foi publicado, como artigo, em [20].
Inexatos 93
relaxada com o avano da convergncia do mtodo externo. Esse com-
portamento, que vai contra a intuio, baseada nas experincias com
os mtodos de Newton, causou interesse e vrios trabalho seguiram
a esse primeiro [52], [112], [114], [129], fornecendo a teoria necessria
para a compreenso desse fato para diversos mtodos de Krylov.
Por exemplo, uma aplicao natural dessa ideia ocorre em eletro-
magnetismo computacional, aonde o mtodo multipolos rpido fornece
aproximaes do produto matriz-vetor de acordo com a acurcia de-
nida pelo usurio, quanto menos acurado, mais rpido o clculo.
O ponto chave conceber um critrio para controlar a acurcia do
produto matriz-vetor visando uma convergncia satisfatria da itera-
o. Outro exemplo, vem da rea de decomposio de domnio sem
recobrimento, aonde o produto matriz-vetor envolvendo a matriz do
complemento de Schur (por exemplo, DA
1
G, originria da ma-
triz
(
A G
D
)
) pode ser aproximada ao invs de calculada exatamente,
uma vez que o clculo exato de A
1
pode ser muito caro, tornado-o
desaconselhvel.
O critrio proposto em [19] baseia-se em algumas consideraes heu-
rsticas e o procedimento recebeu o nome de estratgia de relaxao
porque o tamanho da perturbao cresce inversamente proporcional
norma do resduo. Denomina-se GMRES com relaxao, o mtodo
GMRES inexato que implementa uma estratgia de relaxao. A es-
tratgia de relaxao proposta em [19] busca assegurar a convergncia
da iterao do GMRES, x
k
, controlado atravs de cotas para o erro
inverso:
(x
k
) = min
A, b
{
> 0 : A A, b b
e (A + A)x
k
= b + b
}
=
Ax b
Ax
k
+b
< , para > 0. (5.4.14)
Baseados em [19], estratgias semelhantes foram aplicadas com su-
cesso na soluo de problemas de difuso heterognea usando decom-
posio de domnio [21], como precondicionadores de problemas de
difuso de radiao [135], em problemas de eletromagnetismo [79], em
cromodinmica quntica [40] e em modelos de circulao ocenica de
uxos barotrpicos estveis [130]. Passos signicativos, em direo
a uma explicao terica do comportamento observado acima, foram
propostos em [112], [129], e, mais recentemente, em [52]. Nesses tra-
balhos, so apresentadas justicativas relevantes para o fato de que,
garantidas algumas hipteses razoveis, o GMRES inexato converge
em relao norma do resduo.
A convergncia de mtodos iterativos usualmente baseada em
critrios de erro inverso em relao norma, ver [11], [43] e [59]. Em
[52], so propostos critrios para o controle da acurcia do produtos
matriz-vetor e prova-se que eles garantem a convergncia do GMRES
tanto em relao (x
k
), denido em (5.4.14), quanto a
b
(x
k
) = min
b
{
> 0 : b b e Ax
k
= b + b
}
=
Ax b
b
. (5.4.15)
Tanto (x
k
) quanto
b
(x
k
) so recomendados em [11] quando se discu-
tem critrios de parada. O critrio
b
(x
k
) < mais simples do que o
critrio (x
k
) < , no entanto os dois tem sua relevncia. Sabendo-se
que critrios de parada so totalmente dependentes do problema a ser
resolvido e da aplicao utilizada, caso as incertezas venham principal-
mente do lado direito b, ento
b
(x
k
) tem que ser usado, caso venham
da matriz e do lado direito ento a opo correta (x
k
).
Vamos assumir que seja possvel monitorar a acurcia do produto
matriz-vetor Av no procedimento de Arnoldi. De um ponto vista
matemtico, a inacurcia pode ser modelada pela introduo de uma
matriz de perturbao E, dependendo possivelmente de v, tal que
(A + E)v passe a ser a quantidade realmente calculada. No passo
k do algoritmo de Arnoldi perturbado, o vetor w = (A + E
k
)v
k

ortogonalizado em relao aos vetores v
j
, j = 1 : k, com isso temos a
seguinte relao:
(
(A + E
1
)v
1
(A + E
k
)v
k
)
=
(
v
1
v
k
v
k+1
)
H
k
, (5.4.16)
onde V
k+1
:=
(
v
1
v
k
v
k+1
)
uma matriz com colunas orto-
Inexatos 95
normais e H
k
uma matriz Hessenberg superior. Vamos assumir
que (assim como em [52], [112] e [129]) o produto matriz-vetor que
ocorre no clculo do resduo inicial exato, ou seja r
0
= b Ax
0
e = b Ax
0
. Denamos a k-sima iterao do mtodo inexato
como sendo x
k
= x
0
+ x
k
, onde x
k
= V
k
y
k
e y
k
a soluo do pro-
blema de quadrados mnimos linear min
y
e
1
H
k
y. Introduzindo
a matriz de perturbao G
k
=
(
E
1
v
1
E
k
v
k
)
, o problema inexato
de Arnoldi pode ser escrito como um problema exato de Arnoldi para
um problema aproximado:
A
k
V
k
= (A + G
k
V
T
k
)V
k
= V
k+1
H
k
, onde

A
k
= A + G
k
V
T
k
.
A ltima igualdade mostra que as quantidades x
i
, H
i
e v
i
para i k
geradas pelo GMRES inexato de Ax = r
0
at ao passo k so as mes-
mas que as geradas pelos primeiros k passos do GMRES exato aplicado
ao sistema linear

A
k
x = r
0
. Usando alguns resultados clssicos sobre
o GMRES exato [101], o resultado anterior implica, por induo, que
a norma do resduo r
0

A
k
x
i
monotonamente decrescente com o
crescimento de i, com i k. E mais,

A
k
x
i
=

A
i
x
i
pois
A
k
x
i
= (A + G
k
V
T
k
)V
i
y
i
= (A + G
i
V
T
i
)V
i
y
i
=

A
i
x
i
.
Logo, a norma do resduo calculado, r
k
= r
0

A
k
x
k
, diminui com
k. Vamos chamar de r
k
o resduo r
0
Ax
k
e seja r
0
= r
0
. Ento, a
iterao inexata de Arnoldi tambm pode ser escrita
A
k
V
k
= V
k
H
k
+ h
k+1,k
v
k+1
e
T
k
.
Baseando-nos na terminologia usada para o GMRES exato, diremos
que uma ruptura ocorre no passo n se h
n+1,n
= 0. Por causa da
ortogonalidade de V
k
, assim como para o GMRES exato, a ruptura
ir ocorrer para n m, onde m a ordem de A. A cada passo,
a separao residual denida como r
k
r
k
= (A

A
k
)x
k
=
G
k
y
k
=
k
i=1
y
k,i
E
i
v
i
, onde y
k
=
(
y
k,1
y
k,k
)
T
R
k
. Em [52] so
demonstradas desigualdades para se estimar as separaes residuais
de cada passo.
96
A partir dessa nomenclatura possvel discutir critrios para a
convergncia dos GMRES inexato. Em [52], so apresentados quatro
resultados:
1. Dadas algumas condies de controle das perturbaes permiti-
das, a ruptura do GMRES inexato sempre benca, teorema 1,
pg. 714,
2. Apresenta condies para
b
(x
k
) ser menor do que qualquer tole-
rncia prescrita no teorema 2, pg. 715,
3. Apresenta condies para (x
k
) ser menor do que qualquer tole-
rncia prescrita no teorema 3, pg. 716,
4. Apresenta condies para convergncia, em relao (x
k
), no
caso em que mesmo o primeiro produto matriz-vetor inexato,
pg. 717, o que ocorre em situaes em que a matriz neces-
sariamente aproximada, como para matrizes do complemento de
Schur de grande ordem.
Todos os resultados e anlises feitos at agora dizem respeito ao
GMRES inexato sem a alternativa de recomeo, o que diculta o uso
prtico do mtodo, uma vez que o recomeo essencial. No entanto,
em [52], os autores apresentam um resultado de estimativa do erro
direto em relao ao erro inverso e ao condicionamento da matriz A
para o GMRES inexato com recomeo.
Cabe enfatizar que os resultados aqui comentados, assim como os
dos outros artigos referenciados, baseiam-se no conhecimento do me-
nor valor singular da matriz A, que pode ser um clculo difcil e caro.
Sendo assim necessrio o estabelecimento de resultados de conver-
gncia utilizando parmetros mais simples e econmicos, sendo essa
uma questo em aberto.
Vale tambm o alerta apresentado em [112, pg. 455], onde os
autores mostram que mesmo ocorrendo convergncia do GMRES ine-
xato, a taxa de convergncia pode piorar em relao do GMRES
exato e apresentam exemplo, na pgina 465 do referido artigo, para
caracterizar uma situao com a convergncia degradada.
Exerccios 97
Exerccios
1. No passo 3: do algoritmo 5, deve-se calcular k vetores harmnicos
de Ritz. Esse vetores devem ser calculados em relao a que
espaos? Qual frmula deve ser usada?
2. Estude e faa os detalhes do teorema 3.2 em [85, pg. 25].
3. Estude e faa os detalhes do teorema 3.3 em [85, pg. 26].
4. Faa a implementao em Matlab, ou equivalente, do GMRES-
DR.
5. Para o GMRES-DR, faa comparaes entre vrias escolhas dos
k valores harmnicos de Ritz: menores, maiores, randmicos.
6. Na pgina 86 podemos ler a armao que quando uma matriz
tem autovalores equidistantes da origem, ou seja pertencem a
um crculo cuja o centro a origem, o GMRES car estagnado
por um nmero de passos igual ao nmero de autovalores que
esto nesse crculo, independente do tamanho dos autovalores.
Usando um cdigo de GMRES qualquer (de preferncia o que o
leitor j implantou) teste essa armao. Faa para autovalores
com diferentes mdulos.
7. Na pgina 86 encontra-se a armao de que: para uma ma-
triz se os autovalores esto agregados em torno da origem, pode
se tornar impossvel at mesmo calcular esse autovalores, e suas
aproximaes, com acurcia suciente. Usando um cdigo de
GMRES qualquer (de preferncia o que o leitor j implantou)
teste essa armao, para matrizes com autovalores pequenos,
ou seja, bem prximos do zero da mquina.
8. Implemente a alternativa de GMRES inexato apresentada em
[18].
9. Teste o exemplo sugerido em [112, pg. 465] para o GMRES
inexato.
98
Captulo 6
Estudo de Caso: GMRES
Flexvel com Recomeo
Deacionado
A soluo de sistemas lineares de grande porte um dos ncleos essen-
ciais de simulaes industriais e cientcas de larga escala e os MPSK
precondicionados esto entre os solvers mais populares. Como fala-
mos anteriormente, para matrizes no simtricas o GMRES [102]
frequentemente escolhido devido a sua robustez. Como apontamos na
seo 2.3, h trabalhos sobre o tema em [91] e [96] onde so caracteri-
zadas a estabilidade em relao ao erro inverso das implementaes do
GMRES, usando as reexes de Householder e o mtodo modicado
de Gram-Schmidt no processo de Arnoldi. Uma outra razo da po-
pularidade do mtodo que a norma euclidiana do resduo no cresce
(em geral decresce) durante o avano das iteraes. No entanto, para
fazer do GMRES uma alternativa factvel duas propriedades devem ser
combinadas: o uso parcimonioso da memria disponvel e o nmero
de operaes realizadas deve ser pequeno. Para tanto, algum processo
de recomeo do GMRES necessrio, uma vez que, com o avanar das
iteraes, as duas propriedades so perdidas. Na abordagem clssica
de recomeo, apenas um vetor guardado, de forma a garantir que o
resduo continue sua diminuio (ou, pelo menos, seu no aumento).
100
Como vimos no captulo 5, tem sido observado que a reutilizao de
alguns vetores do espao de Krylov calculado anteriormente, e no
apenas da melhor soluo aproximada, para a construo dos espa-
os necessrios proxima iterao pode ter um impacto positivo na
convergncia do mtodo. Em vrias abordagens, alguma estimativa
dos espaos invariantes recuperada no subespao de Krylov em uso
e reutilizada para o novo recomeo:
1. aumentando o subespao [27], [83], [100],
2. fazendo uma a ortogonalidade em relao a uma parte relevante
do subespao anterior [92].
Como discutimos na seo 5.1, foi apresentada uma verso do GM-
RES com deao GMRES-DR em [85]. Essa alternativa reduz-se ao
prprio GMRES quando nenhuma deao utilizada, mas pode pro-
porcionar uma convergncia bem mais rpida do que o GMRES para
exemplos acadmicos, caso haja uma escolha criteriosa dos espaos de
deao, ver [85].
Uma caracterstica comum a todos os mtodos citados anterior-
mente que eles se baseiam em um precondicionador xo M, que ser
usado reiteradamente durante todo o processo. H, no entanto, situa-
es aonde essa condio no pode ser atendida. Um exemplo ocorre
no uso de tcnicas de decomposio de domnio, quando solvers apro-
ximados so necessrios para a soluo dos problemas interiores, ver
[117, sec. 4.4], [125, sec. 4.3]. Esse procedimento se faz necessrio
quando os problemas locais tornam-se muito grandes para serem re-
solvidos por mtodos diretos e algum solver iterativo chamado. Se o
precondicionador baseado em decomposio de domnio faz uso de sol-
vers aproximativos, mtodos como o GMRES exvel so adequados,
ver seo 5.3.
Esse captulo discutir um novo mtodo proposto em [53] e est
baseado, principalmente, nesse trabalho. Esse mtodo combina as
iteraes exveis com uma estratgia de recomeo que recupera infor-
mao sobre autoespaos aproximados que esto disponveis ao m do
ciclo anterior. O sistema a ser resolvido, Ax = b, est denido sobre
o corpo dos nmeros complexos. A C
mm
regular, b e x esto em
Apresentao 101
C
m
. Em resumo, o mtodo comea com um vetor inicial x
0
C
m
e
busca solues aproximadas x
k
tal que x
k
x
0
K
k
. Seja V
k
C
mk
uma matriz cujas colunas formam uma base ortonormal para K
k
. Essa
matriz ser construda por um mtodo de Arnoldi e gozar da seguinte
relao
AV
k
= V
k+1
H
k
,
com a condio que r
0
:= b Ax
0
K
k
. Como antes, H
k
C
(k+1)k
.
Esse novo mtodo, buscar a cada iterao minimizar a norma eucli-
diana do resduo, ou seja r
k
L
k
, como faz o GMRES.
6.1 Apresentao do Mtodo
Mtodos exveis implementam um esquema tal que, aps um nmero
xo de iteraes (denotado n nesse captulo), o subespao de Krylov
truncado e o mtodo recomeado para garantir o controle sobre
o uso da memria e diminuir o custo do processo de ortogonalizao.
No FGMRES, o mtodo suspenso e reiniciado, tomando-se como
novo valor inicial o vetor que permitiu a menor norma euclidiana do
resduo, semelhante ao GMRES com recomeo, a diferena aqui que
os precondicionadores mudam de uma iterao a outra. No caso do
GMRES-DR, um esquema mais sosticado utilizado: um subespao
especial de dimenso k < n guardado de uma iterao a outra, alm
do melhor valor inicial tambm. Vrios exemplos de sucesso desse
segundo mtodo, para problemas acadmicos, foram apresentados em
[83]. Mostraremos como estender GMRES-DR de forma a permitir
que precondicionadores variveis sejam incorporados ao mtodo. Va-
mos denotar por M
i
a operao que representa o precondicionamento
no passo i do mtodo. No algoritmo 6, na pgina 102, o algoritmo
do mtodo FGMRES-DR apresentado. Assim como o algoritmo
do mtodo FGMRES, comeando de uma estimativa inicial x
0
, ele
gera, a cada recomeo, as matrizes Z
n
C
mn
, V
n+1
C
m(n+1)
e
H
n
C
(n+1)n
tais que AZ
n
= V
n+1
H
n
. Uma soluo aproximada
x
n
encontrada atravs da minimizao da norma euclidiana do do
resduo b A(x
0
+ V
n
y)
2
tal que x
n
x
0
Im(V
n
), e o vetor re-
sduo correspondente r
n
= b Ax
n
C
m
, com r
n
Im(V
n+1
) e
102 FGMRES-DR
Algoritmo 6 FGMRES com recomeo deacionado
1: Inicializao: Escolha n > 0, k > 0, tol > 0, x
0
C
m
. Sejam r
0
= b Ax
0
, = r
0
2
,
c = e
1
, v
1
= r
0
/.
2: Primeiro recomeo: Aplique o processo de Arnoldi com precondicionador exvel e cons-
trua V
n+1
, Z
n
e H
n
, tal que:
AZ
n
= V
n+1
H
n
.
3: Soluo de norma mnima: Calcule a aproximao x
n
tal que x
n
x
0
Im(Z
n
), ou seja
x
n
x
0
= Z
n
y
n
, onde y
n
= arg min
yC
k c H
n
y
2
. Coloque x
0
= x
n
e r
0
= b Ax
0
.
4: Teste de convergncia: Se c H
n
y
n
2
tol. Fim.
5: Procedimento de recomeo: Faa fatorao QR de {u
1
, . . . , u
k
} e coloque o fator Q em
V
nova
k
, onde u
i
C
n
, i = 1 : k, so os vetores harmnicos de Ritz de AZ
m
V
H
m
em relao
Im(V
m
) (veja algoritmo 7, pg.103). Use Gram-Schmidt modicado para obter v
nova
k+1
,
tal que r
0
Im(V
nova
k+1
), onde V
nova
k+1
=
(
V
nova
k
v
nova
k+1
)
ortonormal. Calcule Z
nova
k
e
H
nova
k
de modo que
AZ
nova
k
= V
nova
k+1
H
nova
k
. (6.1.1)
6: Lao interno: Aplique (m k) passos adicionais do mtodo de Arnoldi usando um pre-
condicionamento exvel em (6.1.1), para chegar a:
AZ
nova
n
= V
nova
n+1
H
nova
n
. (6.1.2)
7: Procedimentos para recomeo: c =
(
V
nova
n+1
)
H
r
0
, Z
n
= Z
nova
n
, V
n+1
= V
nova
n+1
, H
n
=
H
nova
n
. Recomece em 3.
r
n
Im(AV
n
). O nico passo que se mantm sem especicao o
procedimento de recomeo, onde Z
nova
k
, V
nova
k+1
e H
nova
k
so calculados
de tal forma que a equao (6.1.1) seja vlida. O teorema 6.1 e o
algoritmo 7 mostram como essas alternativas podem ser implantadas
com ecincia. O fundamento dessa abordagem o uso de certos ve-
tores harmnicos de Ritz. Relembrando. Seja um espao C C
m
e
seja C uma matriz cujas colunas contm uma base para esse espao.
Relembrando o conceito da seo 4.1. Seja B C
mm
uma matriz. O
par (y, ) C C um par harmnico de Ritz de B em relao a BC
se e somente se (ver teorema 4.4, na pg. 64):
C
H
B
H
(By y) = 0, (6.1.3)
onde y um vetor harmnico de Ritz associado ao valor harmnico de
Ritz .
Antes de demonstrarmos algumas das propriedades do mtodo, fa-
remos dois comentrios.
Apresentao 103
Algoritmo 7 Clculos de Z
nova
k
, V
nova
k+1
e H
nova
k
1: Entradas: A, Z
n
, V
n+1
e H
n
, tais que AZ
n
= V
n+1
H
n
.
2: Calculo de k vetores harmnicos de Ritz: Calcule k autovetores independentes g
i
da
matriz H
n
+ h
2
(n+1),n
H
H
n
e
n
e
H
n
com e
H
n
= (0
n1
, 1), onde 0
n1
o vetor-linha nulo
1 (n 1) e H
n
so a primeiras n linhas de H
n
. Coloque G
k
=
(
g
1
g
k
)
C
nk
.
3: Aumento de G
k
: Coloque
((
G
k
0
T
k
)
c H
n
y
m
)
onde 0
T
k
e o vetor-linha nulo 1 k.
4: Ortonormalizao das colunas de G
k+1
: Faa a fatorao QR de G
k+1
= P
k+1
k+1
e
armazene P
k+1
, P
k
= P
k+1
(1 : k, 1 : k).
5: Coloque V
nova
k+1
= V
n+1
P
k+1
, Z
nova
k
= Z
n
P
k
e H
nova
k
= P
H
k+1
H
n
P
k
.
Observao 6.1 (Ruptura do algoritmo). O passos 2: e 6: do algo-
ritmo 6 implementam o algoritmo FGMRES sem recomeo, mas com
um nmero mximo de iteraes, o qual pode sofrer uma ruptura no
benca antes que a soluo do sistema linear tenha sido encontrada,
veja [99]. Uma ruptura ocorre no passo j quando AM
j
v
j
pertence a
Im(V
j
); essa situao corresponde a uma propriedade particular de M
j
com relao a A e V
j
, que, de nosso ponto de vista, no dever ocorrer
quando M
j
signica a utilizao de um mtodo iterativo precondicio-
nado. Devemos lembrar, usando a teoria desenvolvida no captulo 2,
que para o GMRES essa situao no ocorrer, uma vez que para
esse mtodo apenas ocorrem rupturas bencas, caso o precondicio-
nador M
j
seja constante. Um outro ponto a ser observado, que o
FGMRES-DR se baseia no clculo de k autopares distintos de uma
matriz no passo 2: do algoritmo 7. Isso pode no ser possvel caso
a matriz no seja diagonalizvel, mas como vimos no teorema 7, na
pg. 103, esse fato raro em preciso nita, pois uma leve perturba-
o transforma uma matriz qualquer em uma matriz diagonalizvel.
Podemos estimar, ento, que ser pouco provvel que um mtodo de
clculos de autopares como a fatorao QR no consiga encontrar k
autovetores linearmente independentes da matriz dada. Ou seja, o
mtodo proposto FGMRES-DR, assim como seu precursor FGMRES,
pode sofrer uma ruptura no benca, mas podemos considerar essa
possibilidade remota em aplicaes prticas.
104 FGMRES-DR
Observao 6.2 (Uso de valores harmnicos de Ritz). No passo 5: do
algoritmo 6 calculamos pares harmnicos de Ritz associados matriz
AZ
n
V
H
n
. A verso precondicionada do mtodo GMRES-DR calcula,
no seu procedimento de recomeo, os vetores harmnicos de Ritz de
AM em relao V
n
. Da equao (6.1.3) podemos concluir que esses
vetores so os vetores harmnicos de Ritz de AMV
n
V
H
n
= AZ
n
V
H
n
em
relao V
n
que o resultado que usamos no FGMRES-DR. Pode-
mos ento considerar que o procedimento de recomeo do algoritmo 6
pode ser visto como uma generalizao da operao correspondente no
mtodo FGMRES-DR, quando do uso de precondicionadores exveis.
Passamos demonstrao do teorema que mostra que uma relao
do tipo Arnoldi garantida pelo mtodo.
Teorema 6.1. Seja P
k
a matriz denida no algoritmo 7. A cada
recomeo do FGMRES-DR a seguinte relao de Arnoldi valida
AZ
nova
k
= V
nova
k+1
H
nova
k
, (6.1.4)
com
Z
nova
k
= Z
n
P
k
, (6.1.5)
V
nova
k+1
= V
n+1
P
k+1
(6.1.6)
e
H
nova
k
= P
H
k+1
H
n
P
k
(6.1.7)
Demonstrao: Para a matriz de Hessenberg H
n
, vamos calcular seus
pares harmnicos de Ritz. Usando o teorema 4.6 da pg. 68, que
relaciona os pares harmnicos com o resduo de uma iterao, podemos
armar que existem
i
C,
H
n
g
i
i
(
g
i
0
)
=
i
(c H
n
y
n
) =
i
n
, i = 1 : k,
com
n
:= c H
n
y
n
. Multiplicando esquerda por V
n+1
temos
V
n+1
H
n
g
i
i
V
n+1
(
g
i
0
)
= V
n+1
n
, i = 1 : k,
Apresentao 105
e por sua vez, usando a relao de Arnoldi AZ
n
= V
n+1
H
n
,
AZ
n
g
i
= V
n+1
(
i
(
g
i
0
)
+
i
n
)
, i = 1 : k. (6.1.8)
Colocando G
k
=
(
g
1
g
k
)
C
nk
e =
(
1

k
)

C
1k
, a equao (6.1.8) passa a ser
AZ
n
G
k
= V
n+1
((
G
k
0
T
k
)

n
)(
diag(
1
, . . . ,
k
)
)
. (6.1.9)
Faamos a fatorao QR de G
k
= P
k
k
e ortogonalizemos
n
em
relao s colunas de
(
G
k
0
T
k
)
para obtermos p
k+1
. Temos que
ap
k+1
=
n
(
P
k
0
T
k
)
H
u,
onde a =
n
(
P
k
0
T
k
)
u e u
i
=
(
p
i
0
)
n
. A matriz ortogonal P
k+1
pode ser escrita como
P
k+1
=
((
P
k
0
T
k
)
p
k+1
)
.
Em relao ao fator
k+1
, temos que
((
G
k
0
T
k
)

n
)
=
((
G
k
0
T
k
)
ap
k+1
+
(
P
k
0
T
k
)
u
)
=
((
P
k
0
T
k
)
p
k+1
)(
k
u
0
T
k
a
)
,
logo
k+1
=
(
k
u
0
T
k
a
)
.
Como consequncia, a equao (6.1.9) torna-se
AZ
n
G
k
= V
n+1
P
k+1
k+1
(
diag(
1
, . . . ,
k
)
1
k
.
106 FGMRES-DR
Devemos notar que
k
regular se dim(Im(G
k
)) = k, mas este fato
est sendo assumido, ver observao 6.1 sobre as possveis causas de
ruptura do algoritmo.
Denotemos Z
nova
k
= Z
n
P
k
, V
nova
k+1
= V
n+1
P
k+1
e
H
nova
k
=
k+1
(
diag(
1
, . . . ,
k
)
1
k
,
dessa forma podemos escreve a relao de Arnoldi
AZ
nova
k
= V
nova
k+1
H
nova
k
.
Agora vamos escrever H
nova
k
como um produto de matrizes com
ordens pequenas (basicamente k e n). A relao de paralelismo
H
n
g
i
i
(
g
i
0
)
=
i
n
, i = 1 : k,
pode ser colocada em forma matricial como
H
n
G
k

(
G
k
0
T
k
)
diag(
1
, . . . ,
k
) =
n
.
Como G
k
= P
k
k
, podemos ter
H
n
P
k
k
= P
k
k
(
diag(
1
, . . . ,
k
)
)
,
P
H
k
H
n
P
k
=
k
(
diag(
1
, . . . ,
k
)
1
k
.
E assim H
nova
k
= P
H
k
H
n
P
k
como est colocado no algoritmo 7.
Vamos agora discutir sobre c, o lado direito do problema de qua-
drados mnimos que deve ser resolvido em cada iterao:
y
n
= arg min
yC
k
c H
n
y
2
.
No mtodo GMRES-DR, o lado direito do problema de quadrados
mnimos calculado atravs de c = V
H
n+1
r
0
. Esse clculo requer a
Implementao 107
realizao de (n+1) produtos internos, com vetores de tamanho m. A
primeira observao que r
0
Im(V
k+1
), que por sua vez ortogonal a
V
k
(:, k+2 : n), logo, podemos garantir que haver (nk) valores nulos
na multiplicao para o clculo de c, logo no precisamos faz-las, o
que reduz o clculo a c = V
H
k+1
r
0
. Explorando um pouco mais essa
observao em relao a r
0
, o clculo de c pode ser ainda simplicado,
como veremos no prximo teorema.
Teorema 6.2. A cada recomeo de ciclo, o novo resduo r
0
V
nova
k+1
tem suas coordenadas dadas pela ltima coluna do fator R da decom-
posio QR da matriz
((
G
k
0
T
k
)
c H
n
y
n
)
.
Demonstrao: Seja P
k+1
k+1
a fatorao QR de
((
G
k
0
T
k
)
c H
n
y
n
)
com
(
u
a
)
sendo a ltima coluna de
k+1
. Temos que c H
n
y
n
=
P
k+1
(
u
a
)
, logo
r
0
= V
n+1
(c H
n
y
n
) = V
n+1
P
k+1
(
u
a
)
= V
nova
k+1
(
u
a
)
.
6.2 Implementao Computacional
Os resultados apresentados nos teoremas 6.1 e 6.2 nos permitem a
formatao simples e efetiva para o mtodo FGMRES-DR, que apre-
sentamos no algoritmo 8. Apesar do mtodo ter sido descrito sobre
o corpo dos complexos, ele pode ser usado para reais, apenas sepa-
rando as partes real e imaginria dos vetores harmnicos de Ritz no
108
passo 6: do algoritmo 8, como j havia sido sugerido em [85] para o
GMRES-DR.
O passo 10: do algoritmo 8 oferece duas possibilidades de clculo
de c, que nada mais do que o resduo descrito na base ortonormal
formada pelas colunas de V
n+1
. Como foi sugerido no teorema 6.2, o
uso da expresso envolvendo
k+1
atraente pois evita o clculo do
produto matriz vetor V
nova
k+1
r
0
. Ainda cabe um estudo para entender
o comportamento dessas duas alternativas na presena de erros de
arredondamento.
Quanto ao consumo de memria, como o objetivo desses mtodos
a soluo de problemas de grande porte, onde m muito maior do
que k e n, para analisar o consumo de memria podemos desconsi-
derar todos os vetores e matrizes que envolvem apenas as dimenses
n e k, mas somos obrigados a tomar cuidado com qualquer operao
que envolva a dimenso m. Usando essa conveno, FGMRES duas
vezes mais caro em memria do que GMRES, o mesmo valendo para
FGMRES-DR. Na alternativa exvel as bases para os espaos tm que
ser armazenadas, tanto V quanto Z (a parte precondicionada). Pode-
mos diminuir o consumo de memria sobrescrevendo Z
nova
e V
nova
em
Z e V . Isso pode ser conseguido no passo 8: do algoritmo 8, atravs
de multiplicaes usando o mesmo espao de memria. Podemos re-
alizar, tambm, uma fatorao LU de P
k+1
, com pivoteamento total
para garantir estabilidade, e fazer multiplicaes com os fatores trian-
gulares de P
k+1
. Esse procedimento pode salvar bastante memria e
pode ser monitorado graas ao quociente
P
k
LU
P
k
. (6.2.10)
Exerccios
1. Construa exemplos de situaes de ruptura para os mtodos FGM-
RES e por conseguinte do FGMRES-DR.
2. Faa a implantao em Matlab, ou equivalente, do algoritmo 8.
Exerccios 109
3. A partir da implantao do item 2 faa as implantaes do GMRES-
DR e do FGMRES.
4. Implemente a ideia de fazer as multiplicaes do passo 8: do
algoritmo 8, atravs de multiplicaes usando o mesmo espao de
memria, atravs da fatorao LU de P
k+1
, com pivoteamento
total. Qual o ganho em termos de armazenamento? Caso seja
usado pivoteamento parcial, qual ser a diferena? Faa medidas
da perda de informao.
5. Na equao (6.2.10) no foi especicada nenhuma norma. Como
continuao do exerccio anterior, mea a perda de informao
com algumas normas diferentes e tente estimar qual seria a me-
lhor.
110
Algoritmo 8 Implementao do FGMRES-DR: FGMRES-DR(m, k)
1: Inicializao: Escolha de:
m : a maior dimenso do subespao para busca de soluo,
k : o nmero de autovetores aproximados,
tol : o limite para a convergncia,
x
0
: a aproximao inicial.
Dena r
0
= b Ax
0
, = r
0
2
, c = e
1
, v
1
= r
0
/.
2: Primeira iterao: Aplique o FGMRES e gere V
n+1
, Z
n
e H
n
.
3: Soluo com norma mnima: Resolva y
n
= arg min
yC
k c H
n
y
2
. Calcule x
n
tal que
x
n
x
0
= Z
n
y
n
. Calcule o resduo r
n
= V
H
n+1
(
c H
n
y
n
)
. Atribua x
0
= x
n
e r
0
= r
n
.
4: Teste de convergncia: Se r
0
2
/b
2
= c H
n
y
n
2
/b
2
tol. Fim.
5: Clculo dos pares harmnicos de Ritz: Calcule k autovetores independentes g
i
da matriz
H
n
+ h
2
(n+1),n
H
H
n
e
n
e
H
n
. Armazene g
i
, i = 1 : k em G
k
.
6: Agregao dos quase-resduos e
1
H
n
y
n
a G
k
:
A complexa: agregue um vetor-linha de zeros a G
k
e coloque c H
n
y
n
na ultima
coluna.
A real: se algum g
i
complexo, separe as partes real e imaginria, caso haja mais
do que k vetores, dispense um vetor real. Agregue um vetor-linha de zeros a G
k
e
coloque c H
n
y
n
na ultima coluna.
Nos dois casos, a nova matriz G
k+1
tem dimenses (n + 1) (k + 1).
7: Ortonormalizao das colunas de G
k+1
: Faa a fatorao QR de G
k+1
= P
k+1
k+1
,
armazene P
k+1
e a ltima coluna de
k+1
,
k+1
.
8: Novas matrizes: V
nova
k+1
= V
n+1
P
k+1
, Z
nova
k
= Z
n
P
k
e H
nova
k
= P
H
k+1
H
n
P
k
.
9: Lao interno: Aplique (nk) passos adicionais do mtodo de Arnoldi exvel em AZ
nova
k
=
V
nova
k+1
H
nova
k
tal que ao m se tenha AZ
nova
n
= V
nova
n+1
H
nova
n
.
10: Recomeo: Coloque c =
(
V
nova
k+1
)
H
r
0
e complete com zeros ou c =
(
k+1
0
nk
)
, Z
n
= Z
nova
n
,
V
n+1
= V
nova
n+1
, H
n
= H
nova
n
. Recomece em 3. Nesse expresso 0
nk
um vetor nulo de
n k posies.
Apndice A
Reviso de lgebra Linear
Os prerrequisitos desse livro so, como informado anteriormente, um
curso bsico de lgebra linear e a capacidade/disposio de realizar
demonstraes matemticas simples, dedutivas ou indutivas. No en-
tanto, objetivando criar linguagem e base comuns, vamos apresen-
tar alguns dos resultados fundamentais que usaremos no transcorrer
dessa obra. Esse apndice no se prope completo, logo, algumas de-
nies e demonstraes so assumidas conhecidas, muitas deixadas
como exerccios ao nal do apndice, e outras tantas, simplesmente,
omitidas. Como obras de referncia, que complementam e ultrapas-
sam, de muito, esse resumo, podemos citar [67], [76], [81] e [122].
A.1 Operaes
Dado o carter peculiar e a onipresena da operao de multiplicao
de matrizes nesse trabalho, sendo a multiplicao de matriz por vetor
um caso particular, vamos trat-la observando algumas interpretaes
teis para as demonstraes. Nessa seo, consideraremos A C
mp
,
B C
pn
e C C
mn
.
112 Reviso
A.1.1 Multiplicao: produtos linha por coluna
o algoritmo bsico de multiplicao ensinado nos cursos de gradua-
o:
C(i, j) =
p
k=1
A(i, k) B(k, j) = A(i, :) B(:, j).
Cada elemento de C produto de uma linha de A por uma coluna de
B. Para matrizes reais, esses produtos podem ser considerados como
produtos internos. Uma outra leitura relevante que cada coluna de
C se origina na coluna equivalente de B, C(:, j) = A B(:, j) e que
cada uma de suas linhas equivalente em A, C(i, :) = A(i, :) B.
A.1.2 Multiplicao: produtos externos
Nesse caso a operao completa representada por apenas uma fr-
mula
C =
p
k=1
A(:, k) B(k, :).
Cada parcela desse somatrio , ela prpria, uma matriz m n; so
todas matrizes de posto 1 (ver denio de posto na pgina 117). Em
particular, a multiplicao de matriz por vetor ganha uma interpreta-
o bastante til:
Ax =
p
k=1
A(:, k) x(k) = x(1)A(:, 1) + . . . + x(p)A(:, p).
Aqui o resultado deve ser entendido como uma combinao linear das
colunas da matriz A.
A multiplicao de um vetor esquerda da matriz:
x
T
A =
p
k=1
A(k, :) x(k) = x(1)A(1, :) + . . . + x(p)A(p, :).
Nesse caso, o produto vetor por matriz representa uma combinao
linear das linhas de A ou, ainda, das colunas de A
T
.
Algumas Matrizes 113
A.1.3 Multiplicao: matrizes em blocos
Exemplicaremos algumas decomposies de A e B em blocos que
permitam as operaes de multiplicao serem efetuadas. Represen-
tamos um bloco de uma matriz A por A
ij
, compreendido como um
bloco na linha i e coluna j, em relao a uma estrutura de blocos. As
operaes em blocos so vlidas, desde que as dimenses dos blocos
sejam consistentes. No primeiro exemplo, uma matriz em blocos 12
multiplica uma outra com blocos 2 1:
(
A
11
A
12
)

(
B
11
B
21
)
=
(
A
11
B
11
+ A
12
B
21
)
= C.
Em outro exemplo, uma matriz em blocos 2 1 multiplica uma outra
em blocos 1 2:
(
A
11
A
21
)
(
B
11
B
21
)
=
(
A
11
B
11
A
11
B
21
A
21
B
11
A
21
B
21
)
=
=
(
C
11
C
12
C
21
C
22
)
= C
A.2 Algumas Matrizes
Seja A C
mp
.
A transposta de A, denotada por A
T
tal que A
T
C
pm
e
A
T
(i, j) = A(j, i) para 1 i p e 1 j m, ou seja trocamos
as linhas pelas colunas de A.
A transposta conjugada de A, denotada por A
H
tal que
A
H
C
pm
e A
H
(i, j) = A(j, i) para 1 i p e 1 j m,
ou seja trocamos as linhas pelas colunas de A e substitumos
cada valor complexo de A pelo seu conjugado. Usa-se tambm a
notao A
.
Se A real ento A
T
= A
H
. Utilizaremos constantemente as seguintes
matrizes quadradas
1
, ou seja, A C
mm
.
1
O conceito que se encontra ao lado esquerdo do smbolo := denido pela sentena em seu
lado direito.
114 Reviso
1. A hermitiana := A
H
= A.
2. A simtrica := A
T
= A.
3. A positivo-denida := x = 0 x
H
Ax > 0.
4. A positivo-semidenida := x = 0 x
H
Ax 0.
5. A unitria := A
H
A = AA
H
= I, onde I a matriz identidade
de ordem m.
6. A ortogonal := A
T
A = AA
T
= I.
7. A normal := A
H
A = AA
H
.
8. A triangular superior := se i > j A(i, j) = 0, ou seja, a
matriz necessariamente nula abaixo da diagonal principal.
9. A estritamente triangular superior := se i j A(i, j) =
0, ou seja, a matriz necessariamente nula abaixo da primeira
sobrediagonal.
10. A triangular inferior := se i < j A(i, j) = 0, ou seja, a
matriz necessariamente nula acima da diagonal principal.
11. A estritamente triangular inferior := se i j A(i, j) =
0, ou seja, a matriz necessariamente nula acima da primeira
subdiagonal.
12. A diagonal := A triangular superior e triangular inferior con-
comitantemente. usual a notao diag(A(1, 1), A(2, 2), . . . A(m, m)).
13. A Hessenberg superior := se i > j + 1 A(i, j) = 0, ou
seja, todas as entradas abaixo da primeira subdiagonal so nulas.
A(1, 1) A(1, 2) A(1, m)

A(2, 1) A(2, 2) A(2, m)
0 A(3, 2)
.
.
.
.
.
.
.
.
.
.
.
.
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 A(m, m1) A(m, m)
Espaos Relevantes 115

14. A Hessenberg inferior := se i < j +1 A(i, j) = 0, ou seja,
todas as entradas acima da primeira sobrediagonal so nulas, ou
ainda, A
T
Hessenberg superior
15. A tridiagonal := A Hessenberg superior e A Hessenberg
inferior, concomitantemente.
16. A regular := A tem inversa.
17. A singular := A no tem inversa.
18. A diagonal por blocos := A da forma
A
11
0 . . . 0
0 A
22
. . . 0
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . A
kk
onde cada bloco A

ii
C
m
i
m
i
, i = 1 : k, uma matriz quadrada
e todos os elementos fora desses blocos so nulos.
Matrizes retangulares herdam algumas dessas mesmas denies, desde
que garantida a coerncia das sentenas.
A.3 Espaos Relevantes
Seja A C
mp
. Utilizaremos a seguinte nomenclatura para nos refe-
rirmos a espaos vetoriais e a propriedades ligados a A.
1. O ncleo de A: Nuc(A) := {x C
p
; Ax = 0}.
2. A imagem de A: Im(A) := {y C
m
; existe x C
p
; Ax = y}.
Como esse espao formado por combinaes lineares de colunas
de A, utilizaremos, tambm, o nome espao coluna para nos
referirmos a ele.
3. A imagem de A
T
ser denominada espao linha de A, uma
vez que formada por combinaes lineares das linhas de A. A
imagem de A
H
ser denominada espao conjugado linha de A,
116 Reviso
uma vez que formada por combinaes lineares dos conjugados
das linhas de A.
4. O posto coluna a dimenso do espao coluna.
5. O posto linha a dimenso do espao linha ou do espao con-
jugado linha.
A.4 Posto
Teorema A.1 (Teorema do Ncleo e da Imagem). Sejam V e W
espaos vetoriais e L : V W uma transformao linear. Sejam
dim(V) = n, dim(Nuc(L)) = r, dim(Im(L)) = s. Ento n = r +s, ou
seja
dim(V) = dim(Nuc(L)) + dim(Im(L)).
Esse teorema ser complementado, na seo A.5, com o teorema
fundamental da lgebra linear.
Teorema A.2 (Teorema do Complemento Ortogonal). Seja V um es-
pao vetorial com dim(V) = n onde est denido um produto interno.
Seja W um subespao de V com dim(W) = r. Seja W
um subes-
pao de V formado por todos os vetores ortogonais a W, denominado
complemento ortogonal de W. Ento V a soma direta de W e
W
V = W W
e
dim(V) = dim(W) + dim(W
).
Demonstrao: Exerccio 3
Teorema A.3 (Teorema do Posto [76, Teorema 3.1, pg. 166]). Seja
A uma matriz mn. Ento o posto linha e o posto coluna de A so
iguais a um nmero r. Alm disso dim(Nuc(A)) = n r.
Teorema Fundamental 117
Demonstrao: O ncleo da matriz A formado pelas solues do
sistema homogneo
Ax = 0. (A.4.1)
Podemos escrever esse sistema como
n
i=1
x(i)A(:, i) = 0,
ou seja o espao de solues desse sistema o ncleo de A e, logo,
ambos tm a mesma dimenso. Como o posto coluna de A igual a
dimenso da imagem da transformao linear a qual A est associada,
podemos reescrever o teorema do ncleo e da imagem, A.1, como
posto coluna + dimenso do espao de solues do sistema A.4.1 = n.
Uma outra interpretao do sistema homogneo (A.4.1) que as solu-
es pertencem ao complemento ortogonal do espao linha de A, uma
vez que cada soluo ortogonal a todas as linhas de A, logo, usando
o teorema do complemento ortogonal, A.2, temos que
posto linha + dimenso do espao de solues do sistema A.4.1 = n.
Com as duas igualdades anteriores, as armaes do enunciado do
teorema cam provadas.
O nmero r calculado no teorema do posto A.3 chamado posto da
matriz A, sendo igual ao posto linha e ao posto coluna de A.
A.5 Teorema Fundamental da lgebra Linear
Teorema A.4 (Teorema Fundamental da lgebra Linear
2
[122, sees
2.4 e 3.1]). Sejam A C
mn
e r o posto de A.
1. dim(Im(A)) = postocoluna(A) = r.
2. dim(Im(A
H
)) = postolinha(A) = r.
2
Estamos usando a nomenclatura proposta por G. Strang em [122], no entanto com uma
adaptao para o corpo dos complexos.
118 Reviso
3. dim(Nuc(A)) = n r.
4. dim(Nuc(A
H
)) = mr.
5. Im(A) = (Nuc(A
H
))
C
m
= Im(A) Nuc(A
H
).
6. Im(A
H
) = (Nuc(A))
C
n
= Im(A
H
) Nuc(A).
A demonstrao do, assim chamado, teorema fundamental da l-
gebra linear utiliza reiteradamente os teoremas A.1, A.2, A.3, e car
como o exerccio 4, no m desse apndice.
A.6 Projees
Seja V um espao vetorial. Uma transformao linear P de V em
V uma projeo quando P
2
= P. Caso P = P
H
, ento P uma
projeo ortogonal, as demais projees so denominadas oblquas. A
representao matricial dessa transformao linear ser discutida no
teorema A.6 na pgina 119.
Propriedade A.1 (Projees [24, adaptado da seo 4.8.2]). Sejam V
um espao vetorial e P uma projeo de V em V. Valem as seguintes
propriedades:
1. (I P) uma projeo,
2. P
H
uma projeo,
3. Im(P) = Nuc(I P),
4. Im(I P) = Nuc(P),
5. V = Im(I P) Im(P
H
) e Im(I P) Im(P
H
),
6. V = Im(I P
H
) Im(P) e Im(I P
H
) Im(P),
7. se U uma matriz cujas colunas so ortonormais ento UU
H
uma matriz que representa uma projeo ortogonal em Im(U).

Projees 119
Uma projeo oblqua P , no entanto, ortogonal a um dado su-
bespao vetorial. Pelas propriedades enunciadas em A.1, Im(I P) =
Nuc(P) e Im(I P) Im(P
H
) como a projeo paralela ao subes-
pao Im(I P), ela se dar ortogonalmente ao subespao Im(P
H
) e
nos podemos enunciar o teorema seguinte.
Teorema A.5 ([24, teorema 4.10, pg. 130]). Sejam V um espao
vetorial e P uma projeo de V em V.
Py = 0 y (Im(P
H
))
.
Teorema A.6 ([24, teorema 4.11, pg. 131]). Sejam P uma proje-
o, U uma matriz cujas colunas formam uma base ortonormal para
Im(P) e V uma matriz cujas colunas formam uma base ortonormal
para Im(P
H
). Ento
(V
H
U)
regular e uma matriz que representa a projeo P dada por
U(V
H
U)
1
V
H
.
A que representa P
H
, por sua transposta conjugada.
Demonstrao: Provando a regularidade de (V
H
U). Pelo teorema
A.4, Im(P) e Im(P
H
) tm a mesma dimenso, logo V
H
U uma matriz
quadrada de ordem, digamos n, menor ou igual dimenso do espao
vetorial onde P est denida. Caso V
H
U no tenha posto completo,
existe uma combinao linear de suas linhas cujo resultado o vetor
nulo,
n
i=1
i
V
H
U(i, :) = 0, (A.6.2)
onde nem todos os escalares
i
so nulos. Seja j o ndice de um dos
escalares diferentes de zero. Seja E
j
uma matriz onde, a exceo da
120 Reviso
jsima, todas as linhas so iguais s da identidade de ordem n, e
a jsima seja composta pelos n escalares da combinao linear em
(A.6.2), tal que o elemento
i
que na coluna i de E
j
. Ora, temos
que a matriz resultante da multiplicao E
j
(V
H
U) tem a sua jsima
linha nula. Consideremos agora a matriz (E
j
V
H
); a sua jsima linha
, por hiptese, diferente de zero, pois a linhas de V
H
so linearmente
independentes, ou seja, essa jsima linha um vetor pertencente ao
subespao Im(P
H
) e , como vimos, diferente de zero. Por outro lado,
esse vetor ortogonal ao espao Im(P), pois ortogonal a todos vetores
de uma de suas bases. No entanto, pelo teorema A.4, Im(P
H
)
Nuc(P), logo o nico vetor de Im(P
H
) ortogonal a Im(P) o vetor
nulo, levando a uma contradio. Logo V
H
U tem posto completo e,
sendo quadrada, tem inversa. Quanto construo da matriz, temos:
y = y Py + Py = (I P)y + Py.
Sejam V V
H
uma projeo ortogonal em Im(P
H
), UU
H
uma projeo
ortogonal em Im(P) e x = Py, ento
V V
H
y = V V
H
((I P)y + x),
como, pelo teorema A.5, Im(IP) = Nuc(P
H
), logo V V
H
(IP)y = 0
e teremos
V V
H
y = V V
H
x,
como x Im(P) ento x = UU
H
x, e
V V
H
y = V V
H
UU
H
x V
H
y = V
H
UU
H
x
(V
H
U)
1
V
H
y = U
H
x U(V
H
U)
1
V
H
y = x.
A demonstrao para a matriz P
H
deixada como exerccio.
Autoelementos 121
A.7 Autovalores e Autoespaos
Se A C
mm
, x C
m
e C, consideramos
3
a equao
Ax = x, x = 0. (A.7.3)
Se um escalar e um vetor no-nulo x so solues dessa equao,
ento um autovalor de A e x um autovetor de A associado a
. O conjunto de todos os escalares complexos que so autovalores de
A denominado espectro de A, (A). O raio espectral de A o
nmero real no-negativo (A) = max{||; (A)}.
Lembremo-nos que um polinmio da forma
p(t) = a
k
t
k
+ a
k1
t
k1
+ . . . + a
1
t + a
0
= a
0
+
k
i=1
a
i
t
i
.
No caso de matrizes quadradas e expoentes positivos, h sentido em
denir um polinmio matricial
p(A) := a
k
A
k
+ a
k1
A
k1
+ . . . + a
1
A + a
0
I = a
0
I +
k
i=1
a
i
A
i
.
O prximo teorema estabelece relaes entre os autovalores e autove-
tores de A e de p(A)
Teorema A.7. Se p() um dado polinmio, um autovalor de
A C
mm
e x um autovetor associado a . Ento p() um autovalor
da matriz p(A) e x um autovetor de p(A) associado a p().
O resultado seguinte apresenta uma condio necessria e suciente
para a singularidade de uma matriz.
Teorema A.8. A C
mm
singular 0 (A).
3
Esta parte do texto , essencialmente, um resumo do captulo 1 de [67].
122 Reviso
A equao (A.7.3) pode ser reescrita como
(I A)x = 0, x = 0.
Logo, (A) se e somente se (I A) uma matriz singular ou
seja
det(I A) = 0.
Entendido como um polinmio formal em t, o polinmio caracte-
rstico de A C
mm
denido por
p
A
(t) := det(tI A).
Um teorema fundamental, ligado ao polinmio caracterstico, esta-
belecido a seguir.
Teorema A.9. Seja A C
mm
, o polinmio caracterstico p
A
() tem
grau m e o conjunto de suas razes coincide com (A).
Observao A.1. Cada matriz A C
mm
, quando denida sobre
o corpo dos complexos, tem exatamente m autovalores, contando as
multiplicidades.
Uma denio til a de similaridade entre matrizes. Diremos
que duas matrizes A e B, ambas em C
mm
, so similares se existe
S C
mm
, S regular, tal que
B = S
1
AS.
Podemos observar que a relao de similaridade uma relao de
equivalncia. Uma matriz A C
mm
denominada diagonalizvel
caso seja similar a uma matriz diagonal.
Teorema A.10. A C
mm
diagonalizvel existe uma conjunto
de m vetores linearmente independentes que so autovetores de A.
Decomposies 123
Uma outra caracterizao de matrizes diagonalizveis dada pelo
prximo teorema.
Teorema A.11. Se A C
mm
tem m autovalores distintos ento A
diagonalizvel.
Seja A C
mm
. Para um dado (A), o conjunto de todos
os vetores x C
m
, incluindo o vetor nulo, que satisfaam a equao
Ax = x chamado de autoespao de A em relao ao autovalor
. Observe que todos os vetores de um autoespao, a exceo do ve-
tor nulo, so tambm autovetores de A em relao ao autovalor .
A dimenso de um autoespao de A em relao a um autovalor
chamada de multiplicidade geomtrica do autovalor . A multi-
plicidade de um autovalor enquanto raiz do polinmio caracterstico
chamada de multiplicidade algbrica.
A.8 Decomposies
A.8.1 Decomposio de Schur
Uma matriz B C
mm
tem a propriedade de ser equivalente uni-
tariamente a uma matriz A C
mm
, se existe uma matriz unitria
U C
mm
tal que B = U
H
AU. Caso U seja real, ento B goza da
propriedade de equivalncia ortogonal real em relao a A.
No teorema a seguir apresentamos uma das decomposies funda-
mentais da lgebra linear.
Teorema A.12 (Teorema de Schur). Seja A C
mm
com m auto-
valores
1
,
2
, . . . ,
m
, distintos ou no, e em qualquer ordem dada,
ento existe uma matriz unitria U C
mm
tal que
U
H
AU = T
124 Reviso
triangular superior, e cujas entradas diagonais T(i, i) =
i
, i = 1 :
m. Ou seja, toda matriz quadrada equivalente unitariamente a uma
matriz triangular superior (ou triangular inferior)
Observao A.2. A decomposio dada no teorema A.12 no nica,
mas representa a forma mais simples que se pode colocar uma matriz
atravs de uma equivalncia unitria.
A verso do teorema de Schur, A.12, para matrizes denidas sobre
o corpo dos reais dada pelo teorema abaixo.
Teorema A.13 (Teorema de Schur (verso para reais)). Seja A
R
mm
, ento existe uma matriz real ortogonal Q R
mm
tal que
Q
T
AQ =
A
11
. . .
0 A
22
. . .
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . A
kk
Hessenberg superior, e cujos blocos diagonais so matrizes reais 11

ou matrizes reais 2 2, cujos dois autovalores complexos so pares de
nmeros complexos conjugados.
Observao A.3. A decomposio dada no teorema A.13 representa
a forma mais simples que se pode colocar uma matriz atravs de uma
equivalncia ortogonal real, pois uma matriz real pode ter autovalores
complexos. Observamos ser possvel denir um isomorsmo entre o
conjunto das matrizes
(
a b
b a
)
e o corpo dos nmeros complexos,
onde a soma e a multiplicao entre dois complexos substituda pela
soma e multiplicao entre duas matrizes, essas matrizes tem dois
autovalores complexos conjugados a + b e a b.
Decomposies 125
O teorema de Schur permite uma demonstrao simples do pr-
ximo teorema que arma ser a matriz A uma raiz de seu polinmio
caracterstico.
Teorema A.14 (Teorema de Cayley-Hamilton). Seja A C
mm
e
p
A
(t) seu polinmio caracterstico ento
p
A
(A) = 0.
Uma outra aplicao do teorema de Schur mostrar que toda ma-
triz quase diagonalizvel, no seguinte sentido:
mm
. Para todo > 0, existe uma matriz
A
C
mm
que possui m autovalores distintos, logo diagonalizvel,
e tal que
m
i,j=1
|A(i, j) A
(i, j)|
2
< .
O resultado seguinte prepara as condies tcnicas para a demons-
trao do teorema da forma cannica Jordan.
Teorema A.16. Suponha que A C
mm
possua k autovalores dis-
tintos
i
, com multiplicidades m
i
, i = 1 : k. Ento A similar a uma
matriz diagonal por blocos
T =
T
11
0 . . . 0
0 T
22
. . . 0
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . T
kk
onde T
ii
=
i
. . .
0
i
. . .
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . .
i
ou seja, cada T
ii
C
m
i
m
i
, i = 1 : k, uma matriz triangular superior
onde todas as entradas na diagonal principal so iguais ao autovalor
i
.
126 Reviso
A.8.2 Forma Cannica de Jordan
Comeamos essa seo com citaes que informam um pouco sobre as
vantagens e limitaes da forma cannica de Jordan.
Many authors have made this theorem the climax of their
linear algebra course. Frankly, I think that is a mistake. It
is certainly true that not all matrices are diagonalizable, and
that the Jordan form is the most general case: but for that
very reason its construction is both technical and extremely
unstable. (A slight change in A can put back all the missing
eigenvectors, and remove the o-diagonal ls.)[122, pg. 312]
Since the Jordan form of a matrix need not be a continuous
function of the entries of the matrix, it is possible that small
variations in the entries of a matrix will result in large va-
riations in the entries of the Jordan form. There is no hope
of computing such an object in a stable way, so the Jordan
canonical form is little used in numerical applications.
Despite this limitation, the Jordan canonical form is well
worth knowing and is a rich source of insights. As a matter
of general technique, if one has something to prove about
matrices it is well to consider rst if it can be proved for di-
agonal matrices and, if this is successful, then to see if some
limiting argument may establish the result in general (using
the fact that any complex matrix can be approximated arbi-
trarily closely by a diagonalizable matrix). If this does not
work, or if one prefers to avoid an analytical argument, one
might next try to prove the result for upper triangular or
Jordan matrices. It is sometimes useful to know that every
matrix is similar to a matrix of the form (3.1.12)
4
in which
all the "+ 1"terms in the Jordan blocks are replaced by > 0
and can be taken to be arbitrarily small. [67, pg. 128]
However, as a mathematical probe the Jordan canonical
4
Trata-se do teorema A.15 no presente texto.
Decomposies 127
form is still useful, and reports of its death are greatly exag-
gerated. [120, pg. 22]
As citaes encontram respaldo no exerccio 26. Advertncias fei-
tas, passamos apresentao dessa decomposio, comeando por al-
gumas denies. Um bloco de Jordan J
k
() uma matriz quadrada
de ordem k, triangular superior, da forma
J
k
() =
1 0 . . . 0
0 1 . . . 0
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
0 0 0 . . .
H k 1 termos +1 que aparecem na primeira sobrediagonal e o

escalar encontra-se nas k posies da diagonal principal do bloco;
todas as demais entradas so nulas. Uma matriz de Jordan J
C
mm
a soma direta de blocos de Jordan
J =
J
m
1
(
1
) 0 0 . . . 0
0 J
m
2
(
2
) 0 . . . 0
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
0 0 0 . . . J
m
k
(
k
)
, m =
k
i=1
m
i
,
onde nem as ordens m
i
nem os escalares
i
precisam ser distintos.
Uma das possveis demonstraes para o teorema da forma cannica
de Jordan segue os seguintes passos:
1. Usar o teorema da triangulao de Schur A.12 para transformar
a matriz qualquer dada, em uma matriz similar com uma outra
na forma triangular superior.
2. Usar o teorema A.16 para transformar a matriz triangular supe-
rior em uma matriz diagonal por blocos, onde cada bloco uma
matriz triangular superior.
128 Reviso
3. Mostrar que uma matriz triangular superior, cujas entradas da
diagonal principal so iguais, similar a uma soma direta de
blocos de Jordan.
Teorema A.17 (Teorema da Forma Cannica de Jordan). Seja A
C
mm
ento existe uma matriz regular S C
mm
, tal que
A = S
J
m
1
(
1
) 0 0 . . . 0
0 J
m
2
(
2
) 0 . . . 0
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
0 0 0 . . . J
m
k
(
k
)
S
1
= SJS
1
,
com m =
k
i=1
m
i
.
Demonstrao: Estude as obras de referncia.
Observao A.4. Qualquer bloco de Jordan J
k
() pode ser descrito
como J
k
() = I + N
k
onde (N
k
)
k
= 0, ou seja, tem ndice de nilpo-
tncia k. Generalizando esse fato, qualquer matriz de Jordan pode ser
escrita como J = D +N, onde D uma matriz diagonal, cuja diago-
nal principal igual a de J e N = J D. A matriz N nilpotente e
seu ndice de nilpotncia k igual a ordem do maior bloco de Jordan
de J.
Observao A.5. Seja A C
mm
ento, pelo teorema da forma
cannica de Jordan, A = SJS
1
ento A = SDS
1
+ SNS
1
, onde
a primeira parcela diagonalizvel e a segunda nilpotente. Conclu-
mos que toda matriz pode ser escrita como a soma de uma matriz
diagonalizvel e uma outra nilpotente.
Observao A.6. A multiplicidade geomtrica de um autovalor de
uma dada matriz A C
mm
igual ao nmero de blocos de Jordan
associados a esse autovalor. Esse nmero menor ou igual a soma
de todas as ordens dos blocos associados a esse autovalor. Essa ltima
soma a multiplicidade algbrica desse autovalor.
Decomposies 129
Vamos precisar da prxima denio para o enunciado do teorema a
seguir. Um polinmio mnico tem o coeciente associado ao termo
de mais alta ordem igual a +1.
Teorema A.18 (Teorema do Polinmio Mnimo). Seja A C
mm
,
ento existe um nico polinmio mnico, q
A
(t), de grau mnimo que
anula A. O grau desse polinmio no mximo igual a m. Se p(t)
um polinmio qualquer para o qual p(A) = 0 ento q
A
(t) divide p(t).
Esse polinmio chamado de polinmio mnimo de A.
mm
cujos autovalores distintos so
1
,
2
, . . . ,
n
. O polinmio mnimo de A
q
A
(t) =
n
i=1
(t
i
)
r
i
onde cada r
i
a ordem do maior bloco de Jordan de A associado ao
autovalor
i
.
Esse resultado utilizado na discusso da convenincia do mtodos
de Krylov.
A.8.3 Decomposio em Valores Singulares
Essa considerada uma das decomposies centrais da lgebra linear.
Teorema A.20 (Decomposio em Valores Singulares). Seja A
C
mn
de posto k , ento ela pode ser decomposta da seguinte forma.
A = V W
H
onde V C
mm
, C
mn
e W C
nn
tm as seguintes proprieda-
des:
1. V e W so matrizes unitrias,
130 Reviso
2. (i, j) = 0 para todo i = j,
3. (1, 1) (2, 2) . . . (k, k) > (k + 1, k + 1) = . . . =
(q, q) = 0, aonde q = min(m, n). usual a notao:
i
:=
(i, i),
4. Os escalares
i
so as razes quadradas, portanto no-negativos,
dos autovalores de AA
H
, e, por isso, unicamente determinados,
5. As colunas de V so os autovetores de AA
H
e as colunas de W
os autovetores de A
H
A.
Demonstrao: Estude as obras de referncia.
Observao A.7. Os elementos
i
, i = 1 : q = min(m, n) da diago-
nal de so denominados valores singulares de A C
mn
. Alguns
autores consideram como valores singulares apenas o elementos posi-
tivos, ou seja, somente os
i
, i = 1 : k.
Observao A.8. As colunas de V so os vetores singulares
esquerda de A e as colunas de W so os vetores singulares
direita de A.
mm
e A = V W
H
uma decomposio
em valores singulares, caso A seja regular, ento:
A =
m
j=1
j
v
j
w
H
j
e A
1
=
m
j=1
1
j
w
j
v
H
j
A.9 Normas de Vetores
Ao analisarmos os mtodos de Krylov nos deparamos com a neces-
sidade de medirmos a distncia entre uma soluo aproximada e a
soluo exata, ou o comprimento de um vetor resduo, ou, ainda, o
Normas de Vetores 131
tamanho de uma matriz; para tanto precisamos saber medir vetores
e matrizes. At o nal desse apndice trataremos desses temas.
Seja V um espao vetorial denido sobre um corpo F (R ou C). A
funo : V R uma norma vetorial para todo x, y V e
para todo F, se atende as seguintes propriedades:
1. x 0 - no-negatividade,
2. x = 0 x = 0 - positividade,
3. x = ||x - homogeneidade,
4. x + y x +y - desigualdade triangular.
Uma funo que atende s propriedades 1, 3 e 4, mas no atende a 2
chamada de seminorma vetorial.
Outra noo necessria a de ngulo entre vetores (ver exerccio
30), para tanto introduzimos o conceito de produto interno, ou produto
escalar. Seja V um espao vetorial denido sobre um corpo F (R ou
C). A funo (, ) : V V F um produto interno para todo
x, y, z V e para todo F, se atende as seguintes propriedades:
1. (x, x) 0 - no-negatividade,
2. (x, x) = 0 x = 0 - positividade,
3. (x + y, z) = (x, z) + (y, z) - aditividade,
4. (x, y) = (x, y) - homogeneidade,
5. (x, y) = (y, x) - propriedade hermitiana.
Um resultado bsico o seguinte.
Teorema A.22 (Desigualdade de Cauchy-Schwarz). Se (, ) um
produto interno denido no espao vetorial V sobre um corpo F (R ou
C) ento
|(x, y)|
2
(x, x)(y, y).
A igualdade ocorre apenas quando os vetores so linearmente depen-
dentes.
132 Reviso
Corolrio A.1. Se (, ) um produto interno denido no espao
vetorial V, ento x = (x, x)
1/2
uma norma vetorial em V. Nesse
caso diremos que a norma vetorial derivada de um produto interno.
A.9.1 Exemplos de Normas Vetoriais
Apresentamos alguns exemplos usuais de normas vetoriais:
1. A norma euclidiana ou norma l
2
, denida em C
m
, dada por
x
2
:= (|x
1
|
2
+|x
2
|
2
+ . . . +|x
m
|
2
)
1/2
.
Esta norma derivada do produto interno euclidiano, ou seja,
x
2
2
= (x, x) = x
H
x.
2. A norma da soma ou norma l
1
, denida em C
m
, dada por
x
1
:= |x
1
| +|x
2
| + . . . +|x
m
|.
Essa norma no derivada de um produto interno.
3. A norma do mximo ou norma innito, denida em C
m
,
dada por
x
:= max{|x
1
|, |x
2
|, . . . , |x
m
|}.
4. A norma l
p
, denida em C
m
, dada por
x
p
=
(
m
i=1
|x
i
|
p
)
1/p
para p 1.
Um resultado que ser muito utilizado na discusso dos mtodos de
Krylov, relaciona a norma euclidiana com os operadores de projeo
ortogonal.
Normas de Matrizes 133
Teorema A.23. Let V C
m
um subespao e z C
m
. Ento a
soluo do problema
arg min
xV
z x
2
a projeo ortogonal de z em V e esse mnimo
min
xV
z x
2
vale P
z
2
, onde P
a projeo ortogonal no complemento ortogo-

nal de V.
Demonstrao: Essa demonstrao tem vrias verses, vamos apre-
sentar os detalhes de uma delas. Seja V uma matriz cujas colunas
so formada por uma base ortogonal de V. Logo P := V V
H
uma
projeo ortogonal em V e P
:= (I V V
H
) uma projeo ortogonal
no complemento ortogonal de V. Temos que
zx = zx+P(zx)P(zx) = P(zx)+P
(zx) = Pzx+P
z,
logo, podemos resolver o problema equivalente
min
xV
Pz x + P
z
2
desenvolvendo a norma como um produto interno, temos
Pz x + P
z
2
=
(
Pz x + P
z , Pz x + P
z
)
1/2
=
=
(
(Pz, Pz) (x, Pz) (Pz, x) + (x, x) + (P
z, P
z)
)
1/2
=
=
(
(Pz x
2
2
+P
z
2
2
)
1/2
.
Dado um z qualquer, a nica forma de diminuir o valor dessa frmula
em Pz x
2
, como uma norma, o mnimo igual a zero, o que
s ocorre quando x = Pz, o que implica em
min
xV
z x
2
= P
z
2
.
134 Reviso
A.10 Normas de Matrizes
O conjunto de todas as matrizes A C
mm
, ele prprio um, espao
vetorial de dimenso m
2
, logo, poder-se-ia medir matrizes usando as
normas vetoriais em C
m
2
. Inclusive uma norma utilizada constante-
mente em lgebra linear computacional a norma de Frobenius:
A
F
=
(
m
j=1
m
i=1
(A(i, j))
2
)
1/2
. No entanto, a existncia da multi-
plicao entre matrizes e suas diversas interpretaes em vrios reas
da matemtica induzem a criao de uma medida para essa operao
e para as matrizes.
Sejam M
m
o espao vetorial formado por todas as matrizes A
C
mm
, A, B M
m
e C. A funo : M
m
R uma norma
de matriz
5
caso atenda as seguintes propriedades
6
:
1. A 0 - no-negatividade,
2. A = 0 A = 0 - positividade,
3. A = || A - homogeneidade,
4. A + B A +B - desigualdade triangular,
5. AB A B - submultiplicatividade.
A.11 Norma Induzida e Raio Espectral
As normas mais usuais em lgebra linear computacional so normas
que so denidas a partir de normas vetoriais e, por isso, so denomi-
nadas normas induzidas. Chama-se norma de matriz induzida pela
norma vetorial a seguinte funo : M
m
R:
A := max
x=1
Ax.
5
Alguns autores, incluindo [67], usam a notao ||| ||| para denotar uma norma de matriz.
6
H autores, por exemplo [94], que usam um verso reduzida de axiomas para a caracterizao
de normas matriciais. Nesse trabalho estamos apresentando esse conceito apenas para matrizes
quadradas, mas ele pode ser estendido sem maiores problemas para matrizes retangulares.
Normas Induzida 135
Teorema A.24. Sejam as seguintes normas induzidas A
1
, A
2
e A
, relativas s seguintes normas vetoriais x

1
, x
2
e x
,
respectivamente. Ento
1. A
1
= max
1jm
m
i=1
|A(i, j)|, ou seja, o mximo da soma dos
valores absolutos dos elementos das colunas de A.
2. A
2
= max{
; (A
H
A)}=
1
(A), o maior valor singular
de A. Se A hermitiana ento A
2
= (A).
3. A
= max
1im
m
j=1
|A(i, j)|, ou seja, o mximo da soma
dos valores absolutos dos elementos das linhas de A.
A seguir enunciamos algumas propriedades que relacionam normas
matriciais e o raio espectral de uma matriz.
Teorema A.25. Sejam A C
mm
e (A) seu raio espectral, ento
temos as seguintes propriedades:
1. Para toda norma, induzida ou no
(A) A.
2. Se A diagonalizvel, existe uma norma induzida (dependente de
A) tal que
(A) = A.
3. (Householder-Ostrowski) Para toda A e para todo > 0, existe
ao menos uma norma induzida (dependente de A e de ), tal que
A (A) + .
4. As condies seguintes so equivalentes:
(a) lim
k
A
k
= 0,
(b) lim
k
A
k
x = 0, para todo x C
m
,
(c) (A) < 1,
136
(d) A < 1 para ao menos uma norma induzida .
5. Uma condio suciente para que uma matriz IA seja inversvel
que (A) < 1, nesse caso
(I A)
1
=
j=1
A
j
.
6. Para toda A e toda a norma matricial, induzida ou no, temos
que
lim
j
A
j
1/j
= (A).
O prximo conceito ferramenta essencial na anlise de mtodos
de soluo de sistemas lineares e ser utilizado no teorema a seguir.
Chama-se condicionamento da matriz regular A o nmero
7
p
(A) = A
p
A
1
p
.
mm
, matriz regular,
1
e
m
o maior
e menor valores singulares de A, respectivamente, ento valem as se-
guintes propriedades:
1. A
2
=
1
,
2. A
1
2
=
1
m
,
3.
2
(A) =

1
m
,
4.
m

Ax
2
x
2

1
, x = 0.
7
Esse conceito pode ser estendido para matrizes retangulares usando-se a inversa generalizada,
ver [65, pg. 382].
Exerccios 137
Exerccios
1. Demonstre o teorema A.1.
2. Dada uma base U para um subespao vetorial U C
m
sobre
o corpo dos nmeros complexos. Seja um conjunto, U, formado
pelos conjugados dos vetores que formam a base U. U forma uma
base para algum subespao vetorial de C
m
? Se formar, os dois
conjuntos so base para um mesmo subespao? Discuta condi-
es, se for o caso, em que essas armaes so verdadeiras.
5. Demonstre as propriedades apresentadas em A.1.
7. (Baseado em [66, pg. 311]) Sejam R e N subespaos de V, tais
que V = RN, ento existe uma e apenas uma projeo P tal
que Im(P) = R e Nuc(P) = N.
8. Refaa a parte da demonstrao do teorema A.6 referente re-
gularidade da matriz V
H
U, utilizando uma matriz E
j
que multi-
plique direita de V
H
U.
9. Construa a matriz para a projeo P
H
, como descrita no teorema
A.6.
12. ([67, pg. 37]) Considere a matriz diagonal por blocos
A =
(
A
11
0
0 A
22
)
, A
ii
C
m
i
m
i
.
Mostre que (A) = (A
11
) (A
22
).
138
13. ([67, pg. 37]) A C
mm
chamada idempotente caso A
2
= A.
Mostre que cada autovalor de uma matriz idempotente 0 ou 1.
14. ([67, pg. 37]) A C
mm
chamada nilpotente caso A
q
= 0,
para algum inteiro positivo q. O menor q denominado ndice
de nilpotncia. Mostre que todo autovalor de uma matriz nil-
potente 0.
15. Mostre que todos os autovalores de uma matriz hermitiana so
reais.
18. [67, pg. 47]) Mostre que a matriz A =
(
0 1
0 0
)
no diagonali-
zvel.
23. [67, pg. 87]) Qual o erro no seguinte argumento para justicar a
sentena p
A
(A) = 0? Como p
A
() = 0 para todos os autovalores
de A C
mm
e como os autovalores de q(A), onde q um
polinmio, so os escalares q() segue que todos os autovalores
de p
A
(A) so nulos, logo p
A
(A) = 0. D um contra-exemplo para
a armao.
26. (baseado em [67, pg. 127]) Calcule, utilizando a funo jordan
do Matlab, a forma cannica de Jordan da matriz
(
eps 0
1 0
)
,
onde eps uma constante do Matlab. Observe o resultado e faa
Bibliograa 139
os clculos por sua prpria conta. Reita sobre a estabilidade do
clculo da forma cannica de Jordan quando eps 0.
28. [67, pg. 421]) Seja A C
mm
com sua decomposio em valores
singulares dada por A = V W
H
e dena A
= W
V
H
, onde
a transposta de com os valores singulares de A sendo

substitudos por seus inversos multiplicativos. Mostre que:
(a) AA
e A
A so hermitianas,
(b) AA
A = A e
(c) A
AA
= A
.
30. [67, pg. 262]) Mostre que se denirmos ngulo entre dois vetores
no-nulos como sendo o valor de
cos
1
(
|(x,y)|
((x,x)(y,y))
1/2
)
que se encontra entre 0 e /2, ento o conceito de ngulo bem
denido para qualquer produto interno.
32. Verique que a norma vetorial euclidiana invariante unitaria-
mente, ou seja, se U uma matriz unitria, ento Ux
2
= x
2
.
As norma l
1
e l
tambm o so?
33. [67, pg. 265]) A norma vetorial do mximo proveniente de um
produto interno?
35. Demonstre as vrias propriedades enunciadas no teorema A.25.
140
Bibliograa
[1] G. Allaire and S. M. Kaber. Numerical Linear Algebra. Springer,
2008.
[2] P. Arbenz, O. Chinellato, M. Sala, P. Arbenz, and M. H. Gutk-
necht. Software for numerical linear algebra. ETH, 2006.
[3] M. Arioli, I. Du, and D. Ruiz. Stopping criteria for iterative
solvers. SIAM J. Matrix Anal. Appl., 13(1):138144, January
1992.
[4] M. Arioli, I. S. Du, S. Gratton, and S. Pralet. A note on
GMRES preconditioned by a perturbed LDL
T
decomposition
with static pivoting. SIAM Journal on Scientic Computing,
29(5):20242044, 2007.
[5] W. E. Arnoldi. The principle of minimized iterations in the so-
lution of the matrix eigenvalue problem. Quart. of Appl. Math.,
9(1):1729, 1951.
[6] O. Axelsson and P. S. Vassilevski. A black box generalized conju-
gate gradient solver with inner iterations and variable-step pre-
conditioning. SIAM Journal on Matrix Analysis and Applicati-
ons, 12(4):625644, 1991.
[7] J. Baglama, D. Calvetti, G. H. Golub, and L. Reichel. Adaptively
preconditioned GMRES algorithms. SIAM Journal on Scientic
Computing, 20(1):243269, 1998.
141
142
[8] Z. Bai, J. Demmel, J. Dongarra, A. Ruhe, and H. van der Vorst,
editors. Templates for the solution of Algebraic Eigenvalue Pro-
blems: A Practical Guide. SIAM, Philadelphia, 2000.
[9] A. H. Baker, J. M. Dennis, and E. R. Jessup. On improving
linear solver performance: A block variant of GMRES. SIAM
Journal on Scientic Computing, 27(5):16081626, 2006.
[10] S. Balay, K. Buschelman, V. Eijkhout, W. Gropp, D. Kaushik,
M. Knepley, L. C. McInnes, B. Smith, and H. Zhang. PETSc
users manual. Technical Report ANL-95/11, Argonne National
Laboratory, 2005. Revision 2.3.0.
[11] R. Barrett, M. Berry, T. F. Chan, J. Demmel, J. Donato, J. Don-
garra, V. Eijkhout, R. Pozo, C. Romine, and H. van der Vorst.
Templates for the Solution of Linear Systems: Building Blocks
for Iterative Methods. SIAM press, Philadelphia, 1994.
[12] C. Beattie. Harmonic Ritz and Lehman bounds. ETNA, 7:1839,
1998.
[13] M. Benzi. Preconditioning techniques for large linear systems:
a survey. Journal of Computational Physics, 182(2):418477,
November 2002.
[14] M. Benzi, J. K. Cullum, and M. Tuma. Robust approximate in-
verse preconditioning for the conjugate gradient method. SIAM
Journal on Scientic Computing, 22:13181332, 2000.
[15] M. Benzi, R. Kouhia, and M. Tuma. Stabilized and block appro-
ximate inverse preconditioners for problems in solid and struc-
tural mechanics. Computer methods in applied mechanics and
engineering, 190:65336554, 2001.
[16] M. Benzi, C. D. Meyer, and M. Tuma. A sparse approximate
inverse preconditioner for the conjugate gradient method. SIAM
Journal on Scientic Computing, 17:11351149., 1996.
Bibliograa 143
[17] M. Benzi and M. Tuma. A comparative study of sparse approxi-
mate inverse preconditioners. Applied Numerical Mathematics,
30:305340, 1999.
[18] A. Bouras and V. Frayss. A relaxation strategy for inexact
matrix-vector products for Krylov methods. Technical Report
TR/PA/00/15, CERFACS, Toulouse, France, 2000. Submitted
to SIAM Journal in Matrix Analysis and Applications.
[19] A. Bouras and V. Frayss. A relaxation strategy for the Arnoldi
method in eigenproblems. Technical Report TR/PA/00/16,
CERFACS, Toulouse, France, 2000.
[20] A. Bouras and V. Frayss. Inexact matrix-vector products in
Krylov methods for solving linear systems: a relaxation strategy.
SIAM Journal on Matrix Analysis and Applications, 26(3):660
678, 2005.
[21] A. Bouras, V. Frayss, and L. Giraud. A relaxation strategy
for inner-outer linear solvers in domain decomposition methods.
Technical Report TR/PA/00/17, CERFACS, Toulouse, France,
2000.
[22] R. Bouyouli, K. Jbilou, R. Sadaka, and H. Sadok. Convergence
properties of some block Krylov subspace methods for multiple
linear systems. J. Comput. Appl. Math., 196(2):498511, 2006.
[23] M. Brezina, A. J. Cleary, R. D. Falgout, V. E. Henson, J. E.
Jones, T. A. Manteuel, S. F. McCormick, and J. W. Ruge. Al-
gebraic multigrid based on element interpolation (AMGe). SIAM
[24] C. Brezinski. Outils danalyse numrique pour lautomatique,
chapter Rsolution des systmes linaires, pages 109144. Her-
mes Science Publications, 2002.
[25] C. Brezinski and M. Redivo-Zaglia. Block projection methods
for linear systems. Numerical Algorithms, 29(1-3):3343, March
2002.
144
[26] C. Broyden. Look-ahead block-CG algorithm. In G. W. Althaus
and E. Spedicato, editors, Algorithms for Large Scale Linear
Algebraic Systems. Kluwer Academic 1998.
[27] C. L. Calvez and B. Molina. Implicitly restarted and deated
GMRES. Numerical Algorithms, 21:261285, 1999.
[28] L. M. Carvalho. Preconditioned Schur complement
methods in distributed memory environments. PhD the-
sis, INPT/CERFACS, France, Oct. 1997. TH/PA/97/41,
CERFACS.
[29] L. M. Carvalho, L. Giraud, and P. Le Tallec. Algebraic two-
level preconditioners for the Schur complement method. SIAM
J. Scientic Computing, 22(6):19872005, 2001.
[30] L. M. Carvalho, L. Giraud, and G. Meurant. Local precon-
ditioners for two-level nonoverlapping domain decomposition
methods. Numerical Linear Algebra with Applications, 8(4):207
227, 2001.
[31] L. M. Carvalho, S. Gratton, R. Lago, and N, Maculan. lgebra
Linear Numrica e Computacional: Mtodos de Krylov para a
Soluo de Sistemas Lineares. Livraria Cincia Moderna, 2010.
[32] F. Chaitin-Chatelin and V. Frayss. Lectures on Finite Precision
Computations. SIAM, Philadelphia, 1996.
[33] T. Chan and H. van der Vorst. Parallel Numerical Algorithms,
ICASE/LaRC Interdisciplinary Series in Science and Enginee-
ring, chapter Approximate and incomplete factorizations, pages
167202. Kluwer, Dordrecht, 1997.
[34] T. Chan and W. Wan. Analysis of projection methods for sol-
ving linear systems with several right-hand sides. SIAM J. Sci.
Comput., 18(6):16981721, 1997.
[35] A. Chapman and Y. Saad. Deated and augmented Krylov
subspace techniques. Numer. Linear Algebra Appli., 4(1):4366,
1997.
Bibliograa 145
[36] K. Chen. Matrix Preconditioning Techniques and Applications.
Cambridge University Press, 2005.
[37] E. Chow and Y. Saad. Approximate inverse techniques for block-
partitioned matrices. SIAM Journal on Scientic Computing,
18(6):16571675, 1997.
[38] E. Chow and Y. Saad. Approximate inverse preconditioners via
sparse-sparse iterations. SIAM Journal on Scientic Computing,
19(3):9951023, 1998.
[39] J. K. Cullum. Iterative methods for solving Ax = b GMRES-
FOM versus QMR/BiCG. Technical Report TR-96-2, Institute
for Advances Studies, University of Maryland, 1996.
[40] N. Cundy, J. van den Eshof, A. Frommer, S. Krieg, T. Lippert,
and K. Schafer. Numerical methods for the QCD overlap opera-
tor iii: Nested iterations. Comput. Phys. Comm., 165:221242,
2005.
[41] E. de Sturler. Nested Krylov methods based on GCR. J. Com-
put. Appl. Math., 67(1):1541, 1996.
[42] E. de Sturler. Truncation strategies for optimal Krylov subspace
methods. SIAM Journal on Numerical Analysis, 36(3):864889,
1999.
[43] J. Drkoov, M. Rozlonk, Z. Strako, and A. Greenbaum. Nu-
merical stability of the GMRES method. BIT, 35:309330, 1995.
[44] M. Eiermann and O. G. Ernst. Geometric aspects of the theory
of Krylov subspace methods. Acta Numerica, 10:251312, 2001.
[45] M. Eiermann, O. G. Ernst, and O. Schneider. Analysis of accele-
ration strategies for restarted minimal residual methods. Journal
of Computational and Applied Mathematics, 123:261292, 2000.
[46] M. Embree. How descriptive are GMRES convergence bounds?
Technical report, Oxford University Computing Laboratory,
1999.
146
[47] J. Erhel, K. Burrage, and B. Pohl. Restarted GMRES precon-
ditioned by deation. Journal of Computational and Applied
Mathematics, 69(2,):303318, May 1996.
[48] V. Frayss, L. Giraud, S. Gratton, and J. Langou. A set of
GMRES routines for real and complex arithmetics on high per-
formance computers. ACM Trans. Math. Softw., 31(2):228238,
2005.
[49] R. Freund and M. Malhotra. A block QMR algorithm for non-
Hermitian linear systems with multiple right-hand sides. Linear
Algebra and its Applications, 254(13):119157, 1997.
[50] K. F. Gauss. Theory of the Combination of Observations Least
Subject to Errors, Part One, Part Two, Supplement. (Translated
by G. W. Stewart) SIAM, 1995.
[51] A. George and J. Liu. Computer solution of large sparse po-
sitive denite systems. Computational Mathematics. Prentice-
Hall, Englewood Clis, 1981.
[52] L. Giraud, S. Gratton, and J. Langou. Convergence in backward
error of relaxed GMRES. SIAM Journal on Scientic Compu-
ting, 29(2):710728, 2007.
[53] L. Giraud, S. Gratton, X. Pinel, and X. Vasseur. Flexi-
ble GMRES with deated restarting. SIAM J. Sci. Comput.,
32(4):18581878, 2008.
[54] G. H. Golub and C. F. van Loan. Matrix Computations. Johns
Hopkins University Press, 3rd edition, 1996.
[55] G. H. Golub and Q. Ye. Inexact preconditioned conjugate gra-
dient method with inner-outer iteration. SIAM J. Sci. Comput.,
21:13051320, 1999.
[56] S. Goossens and D. Roose. Ritz and harmonic Ritz values and
the convergence of FOM and GMRES. Numerical linear algebra
with applications, 6(4):281293, 1999.
Bibliograa 147
[57] N. Gould and J. Scott. On approximate-inverse preconditioners.
Technical Report RAL-95-026, Rutherford Appleton Laboratory,
Chilton, 1995.
[58] S. Gratton. Notes de cours. Unpublished lecture notes, 2008.
[59] A. Greenbaum. Iterative Methods for Solving Linear Systems.
SIAM, Philadelphia, 1997.
[60] A. Greenbaum, V. Ptk, and Z. Strakos. Any nonincreasing
convergence curve is possible for GMRES. SIAM Journal on
Matrix Analysis and Applications, 17(3):465469, July 1996.
[61] M. J. Grote and T. Huckle. Parallel preconditioning with sparse
approximate inverses. SIAM Journal on Scientic Computing,
18(3):838853, 1997.
[62] G.-D. Gu and H.-B. Wu. A block EN algorithm for nonsymme-
tric linear systems with multiple righ-hand sides. Linear Algebra
and its Applications, 299:120, 1999.
[63] A. E. Guennouni, K. Jbilou, and H. Sadok. A block version of
BICGSTAB for linear systems with multiple right-hand sides.
Electronic Transactions on Numerical Analysis, 16(1):129142,
2003.
[64] W. Hackbusch. Iterative Solution of Large Sparse Linear Systems
of Equations. Springer, 1994.
[65] N. J. Higham. Accuracy and Stability of Numerical Algorithms.
SIAM, 2nd edition, 2002.
[66] K. Homan and R. Kunze. Linear Algebra. Prentice-Hall, New
Jersey, 2nd edition, 1971.
[67] R. A. Horn and C. R. Johnson. Matrix Analysis. Cambridge
University Press, 1987.
[68] A. S. Householder. Theory of Matrices in Numerical Analysis.
Dover, 1964.
148
[69] Intel. www.intel.com. visitado em 30 de maro de 2008.
[70] I. Ipsen and C. Meyer. The idea behind Krylov methods. Amer.
Math. Monthly, 105(10):889899, 1998.
[71] Z. Jia and G. W. Stewart. An analysis of the Rayleigh-Ritz
method for approximating eigenspaces. Mathematics of Compu-
tation, 70(234):637647, 2001.
[72] W. Joubert. A robust GMRES-based adaptive polynomial pre-
conditioning algorithm for nonsymmetric linear systems. SIAM
[73] L. V. Kantorovich and V. I. Krylov. Approximate methods of
higher analysis. John Wiley & Sons, Inc., 1958.
[74] A. N. Krylov. On the numerical solution of the equation by
which in technical questions frequencies of small oscillations of
material systems are determined. News of Academy of Sciences
of the USSR, VII(4):491539, 1931. (in Russian).
[75] C. Lanczos. The Variational Principles of Mechanics. Num-
ber 4 in Mathematical Expositions. University of Toronto Press,
Toronto, 1948.
[76] S. Lang. lgebra Linear. Editora Ciencia Moderna, 2003.
[77] J. Langou. Iterative methods for solving linear systems with mul-
tiple right hand sides. Ph.D. dissertation, INSA Toulouse, June
2003. CERFACS-TH/PA/03/24.
[78] T. P. A. Mathew. Domain Decomposition Methods for the Nume-
rical Solution of Partial Dierential Equations. Springer, 2008.
[79] K. Mer-Nkonga and F. Collino. The fast multipole method ap-
plied to a mixed integral system for time-harmonic Maxwells
equations. In B. Michielsen and F. Decavle, editors, Proceedings
of the European Symposium on Numerical Methods in Electro-
magnetics, pages 121126, Toulouse, France, 2002. ONERA.
Bibliograa 149
[80] G. Meurant. Computer solution of large linear systems. North-
Holland, 1999.
[81] C. D. Meyer. Matrix analysis and applied liner algebra. SIAM,
2000.
[82] R. B. Morgan. Computing interior eigenvalues of large matrices.
Lin. Alg. and Its Applic., 154/156:289309, 1991.
[83] R. B. Morgan. A restarted GMRES method augmented with ei-
genvectors. SIAM Journal on Matrix Analysis and Applications,
16(4):11541171, 1995.
[84] R. B. Morgan. Implicitly restarted GMRES and Arnoldi
methods for nonsymmetric systems of equations. SIAM Journal
on Matrix Analysis and Applications, 21(4):11121135, 2000.
[85] R. B. Morgan. GMRES with deated restarting. SIAM Journal
on Scientic Computing, 24(1):2037, 2002.
[86] N. M. Nachtigal, S. C. Reddy, and L. N. Trefethen. How fast
are nonsymmetric matrix iterations? SIAM Journal on Matrix
Analysis and Applications, 13(3):778795, 1992.
[87] R. A. Nicolaides. Deation of conjugate gradients with applica-
tions to boundary value problems. SIAM Journal on Numerical
Analysis, 24(2):355365, 1987.
[88] Y. Notay. Flexible conjugate gradients. SIAM Journal on Sci-
entic Computing, 22(4):14441460, 2000.
[89] D. OLeary. The block conjugate gradient algorithm and related
methods. Linear Algebra and Its Applications, 29:293322, 1980.
[90] C. C. Paige, B. N. Parlett, and H. A. van der Vorst. Approximate
solutions and eigenvalue bounds from Krylov subspaces. Nume-
rical Linear Algebra with Applications, 2(2):115 133, 1995.
[91] C. C. Paige, M. Rozloznk, and Z. Strakos. Modied Gram-
Schmidt (MGS), least squares, and backward stability of MGS-
GMRES. SIAM Journal on Matrix Analysis and Applications,
28(1):264284, 2006.
150
[92] M. L. Parks, E. de Sturler, G. Mackey, D. D. Johnson, and
S. Maiti. Recycling Krylov subspaces for sequences of linear
systems. SIAM Journal on Scientic Computing, 28(5):1651
1674, 2006.
[93] B. N. Parlett. The symmetric eigenvalue problem. SIAM, Phi-
ladelphia, 1998. Corrected reprint of the 1980 original.
[94] A. Quarteroni, R. Sacco, and F. Saleri. Numerical Mathematics.
Springer-Verlag, 2nd edition, 2007.
[95] M. Robb and M. Sadkane. Exact and inexact breakdowns in
the block GMRES method. Linear Algebra and its Applications,
419:265285, 2006.
[96] M. Rozloznk. Numerical Stability of the GMRES Method. PhD
thesis, Institute of Computer Science, Academy of Sciences of
the Czech Republic, Prague, April 1997.
[97] J. W. Ruge and K. Stben. Multigrid Methods, volume 3 of
Frontiers in Applied Mathematics, chapter Algebraic multigrid
(AMG), pages 73130. SIAM, Philadelphia, PA, 1987.
[98] Y. Saad. Krylov subspace methods for solving large unsymmetric
linear systems. Math. Comp., 37(155):105126, July 1981.
[99] Y. Saad. A exible inner-outer preconditioned GMRES algo-
rithm. SIAM Journal on Scientic Computing, 14(2):461469,
1993.
[100] Y. Saad. Analysis of augmented Krylov subspace methods.
SIAM Journal on Matrix Analysis and Applications, 18(2):435
449, 1997.
[101] Y. Saad. Iterative Methods for Sparse Linear Systems. SIAM,
2nd edition, 2003.
[102] Y. Saad and M. H. Schultz. GMRES: a generalized minimal re-
sidual algorithm for solving nonsymmetric linear systems. SIAM
J. Sci. Stat. Comput., 7(3):856869, 1986.
Bibliograa 151
[103] Y. Saad and H. A. van der Vorst. Iterative solution of linear sys-
tems in the 20th century. Journal of Computational and Applied
Mathematics, 123(1-2):123, 2000.
[104] Y. Saad, M. Yeung, J. Erhel, and F. Guyomarch. A deated
version of the conjugate gradient algorithm. SIAM Journal on
Scientic Computing, 21(5):19091926, 2000.
[105] M. Sala, M. A. Heroux, and D. M. Day. Trilinos Tutorial. Te-
chnical Report SAND2004-2189, Sandia National Laboratories,
2004.
[106] H. Schwarz. ber eine grenzbergang durch alternirendes ver-
fahren. Gesammelete Mathematische Abhandlungen, Springer-
Verlag, 2:133143, 1890. First published in Vierteljahrsschrift
der Naturforschenden Gesellschaft in Zrich, vol.15, pp. 272-286,
1870.
[107] D. S. Scott. The advantages of inverted operators in Rayleigh
Ritz approximations. SIAM Journal on Scientic and Statistical
Computing, 3(1):6875, 1982.
[108] J. R. Shewchuk. An introduction to the conjugate gradient
method without the agonizing pain edition 1
1
4
. Technical re-
port, School of Computer Science, Carnegie Mellon University,
August 1994.
[109] V. Simoncini. A stabilized QMR version of block BiCG. SIAM
Journal on Matrix Analysis and Applications, 18(2):419434,
1997.
[110] V. Simoncini. On the convergence of restarted Krylov subspace
methods. SIAM Journal on Matrix Analysis and Applications,
22(2):430452, 2000.
[111] V. Simoncini and D. B. Szyld. Flexible inner-outer Kry-
lov subspace methods. SIAM Journal on Numerical Analysis,
40(6):22192239, 2002.
152
[112] V. Simoncini and D. B. Szyld. Theory of inexact Krylov subspace
methods and applications to scientic computing. SIAM Journal
on Scientic Computing, 25(2):454477, 2003.
[113] V. Simoncini and D. B. Szyld. The eect of non-optimal bases
on the convergence of Krylov subspace methods. Numerische
Mathematik, 100(4):711733, June 2005.
[114] V. Simoncini and D. B. Szyld. Recent computational develop-
ments in Krylov subspace methods for linear systems. Numerical
Linear Algebra with Applications, 14:1 59, 2007.
[115] G. L. G. Sleijpen and J. van den Eshof. On the use of harmonic
Ritz pairs in approximating internal eigenpairs. Linear Algebra
and its Applications, 358(1-3):115137, January 2003.
[116] G. L. G. Sleijpen and H. A. van der Vorst. A JacobiDavidson
iteration method for linear eigenvalue problems. SIAM Review,
42(2):267293, 2000. This paper originally appeared in SIAM
Journal on Matrix Analysis and Applications, Volume 17, Num-
ber 2, 1996, pages 401-425.
[117] B. Smith, P. Bjrstad, and W. Gropp. Domain Decomposi-
tion, Parallel Multilevel Methods for Elliptic Partial Dierential
Equations. Cambridge University Press, New York, 1st edition,
1996.
[118] G. W. Stewart. Introduction to Matrix Computations. Academic
Press, New York, 1973.
[119] G. W. Stewart. Matrix Algorithms. Volume I: Basic Algorithms.
SIAM, Philadelphia, PA, USA, 1998.
[120] G. W. Stewart. Matrix Algorithms. Volume II: Eigensystems.
SIAM, 2001.
[121] G. W. Stewart and J. Sun. Matrix Perturbation Theory. Acade-
mic Press, 1990.
[122] G. Strang. Linear Algebra and Its Applications. Harcourt Brace
Jovanovich, Publishers, San Diego, 1988.
Bibliograa 153
[123] D. B. Szyld and J. A. Vogel. FQMR: A exible quasi-minimal
residual method with inexact preconditioning. SIAM Journal on
Scientic Computing, 23(2):363380, 2001.
[124] The Mathworks, Inc. Matlab 7.0, 2004.
[125] A. Toselli and O. Widlund. Domain Decomposition methods -
Algorithms and Theory, volume 34 of Computational Mathema-
tics. Springer, 2004.
[126] L. N. Trefethen. Algorithms for Approximation II, chapter Ap-
proximation theory and numerical linear algebra, pages 336360.
Chapman and Hall, London, 1990.
[127] L. N. Trefethen and D. Bau, III. Numerical linear algebra. SIAM,
1997.
[128] U. Trottenberg, C. Oosterlee, and A. Schuller. Multigrid. Aca-
demic Press, 2001.
[129] J. van den Eshof and G. L. G. Sleijpen. Inexact Krylov subspace
methods for linear systems. SIAM Journal on Matrix Analysis
and Applications, 26(1):125153, 2004.
[130] J. van den Eshof, G. L. G. Sleijpen, and M. B. van Gijzen.
Relaxation strategies for nested Krylov methods. J. Comput.
Appl. Math., 177:347365, 2005.
[131] H. van der Vorst. Iterative Krylov Methods for Large Linear
systems. Cambridge University Press, Cambridge, April 2003.
[132] H. van der Vorst and C. Vuik. GMRESR: a family of nested
GMRES methods. Numerical Linear Algebra with Applications,
4(1):369386, 1994.
[133] H. A. van der Vorst and C. Vuik. The superlinear convergence
behaviour of GMRES. J. Comput. Appl. Math., 48:327341,
1993.
[134] C. Vuik. New insights in GMRES-like methods with variable
preconditioners. J. Comput. Appl. Math., 61:189204, 1995.
154
[135] J. S. Warsa, M. Benzi, T. A. Warein, and J. E. Morel. Precondi-
tioning a mixed continuous nite element method for radiation
diusion. Numerical Lin. Alg. and Its Applic., 11:795811, 2004.
[136] P. Wesseling. An Introduction to Multigrid Methods. Wiley, New
York, 1992.
[137] P. Wesseling and C. Oosterlee. Geometric multigrid with appli-
cations to computational uid dynamics. Journal of Computa-
tional and Applied Mathematics, 128(1-2):311334, 2001.
[138] J. H. Wilkinson. Rounding Errors in Algebraic Processes. Notes
on Applied Science No. 32, Her Majestys Stationery Oce, Lon-
don, 1963. Also published by Prentice-Hall, Englewood Clis,
NJ, USA. Reprinted by Dover, New York, 1994.
[139] K. Wu and H. Simon. Thick-restart Lanczos method for large
symmetric eigenvalue problems. SIAM Journal on Matrix Analy-
sis and Applications, 22(2):602616, 2000.
[140] R. Yu, E. de Sturler, and D. D. Johnson. A block iterative
solver for complex non-Hermitian systems applied to large-scale,
electronic-structure calculations. 1999.
[141] J.-P. M. Zemke. Krylov Subspace Methods in Finite Preci-
sion: A Unied Approach. PhD thesis, Technischen Universitt
Hamburg-Harburg, 2003.
[142] J. Zhang. Sparse approximate inverse and multilevel block ILU
preconditioning techniques for general sparse matrices. Applied
Numerical Mathematics, 35(1):6786, Sept. 2000.
ndice
(., .)
produto
interno, 24
(, )
produto interno, 131
:=
denio, 16, 113
< . . . >
subespao
gerado, 16
p
, 136

norma matricial, 134
norma vetorial, 131
ngulo
entre subespaos, 20, 86
entre dois vetores, 139
Arnoldi
mtodo de, 28, 30
Walter Edwin, 28
autoespao, 123
autovalor, 121
dominante, 20
exterior, 60
formulao variacional, 61
interior, 60
autovetor, 121
Benzi
Michele, 49
bloco de Jordan, 127, 128
clculo convel, 46
ciclo
externo, 90
do GMRES, 39
interno, 89
complemento ortogonal, 116
condicionamento
nmero de, 20, 46, 136
decomposio de domnio, 53
denio, 113
smbolo de, 16
deao
de autovalores, 82
equao normal, 70
equivalncia ortogonal real, 123
equivalncia unitria, 123
erro
direto relativo, 44, 46
inverso, 48, 55, 93
inverso em relao A, 46
espao coluna, 115
espao conjugado linha, 115
espectro, 121
155
156
fatoraes incompletas, 51
FGMRES-DR, 99
algoritmo, 102
implementao prtica, 110
ruptura, 103
FOM, 32
Galerkin
condio de, 23
GCRO, 87
GCROT, 87
Givens
James Wallace, Jr., 74
rotao(es) de, 74
GMRES, 35
ciclo do, 39, 83
completo, 81
inexato, 93
iterao, 82
com recomeo, 39
com relaxao, 93
Gram-Schmidt
mtodo de, 30, 75
Gram-Schmidt modicado
mtodo, 31
Householder
Alston Scott, 72
matriz de reexo de, 73
reexo(es) de, 72
idempotente, 138
imagem, 115
ndice de nilpotncia, 138
inversa aproximada, 52
iteraes aninhadas
mtodo com, 88
iteraes internas-externas
mtodo com, 88
Krylov
Aleksei Nikolaevich, 15
espao de, 16
matriz de, 16
sequncia de, 16
subespao de, 16
caracterizao polinomial, 19
matriz
diagonal, 20, 114
diagonal por blocos, 115
diagonalizvel, 122, 128
estritamente triangular inferior,
114
estritamente triangular supe-
rior, 114
hermitiana, 114
Hessenberg inferior, 115
Hessenberg superior, 114
de Householder, 73
idempotente, 138
de Jordan, 127
de Jordan, 128
nilpotente, 128, 138
normal, 114
ortogonal, 114
positivo-denida, 114
positivo-semidenida, 114
projeo, 119
projeo ortogonal, 118
regular, 15, 115
simtrica, 114
157
similar, 122
singular, 115
transposta, 113
transposta conjugada, 113
triangular inferior, 114
triangular superior, 114
tridiagonal, 115
unitria, 114
matriz de
Vandermonde, 77
mtodo
Arnoldi, 30
FOM, 32
GCRO, 87
GCROT, 87
GMRES, 35
GMRES-DR, 83
GMRES-E, 83
GMRES-IR, 83
Gram-Schmidt, 30
Gram-Schmidt modicado, 31
com iteraes aninhadas, 88
com iteraes internas-externas,
88
ortogonalizao completa, 32
Rayleigh-Ritz, 60
resduo minimal generalizado,
35
Moore-Penrose
equaes de, 79
inversa, 79
MPSK
mtodos de projeo em su-
bespaos de Krylov, 24
multigrid, 54
algbrico, 55
geomtrico, 55
multiplicao de matrizes
em blocos, 113
produtos externos, 112
produtos linha por coluna, 112
multiplicidade, 122
algbrica, 123, 128
geomtrica, 123, 128
nilpotente, 138
norma
euclidiana, 132
de Frobenius, 134
l
1
, 132
l
2
, 132
l
, 132
de matriz, 134
A
1
, 135
A
2
, 135
A
, 135
induzida, 134
do mximo, 132
l
p
, 132
da soma, 132
vetorial, 131
derivada de um produto in-
terno, 132
ncleo, 115
nmero de
condicionamento, 46
par de Ritz, 62
par harmnico de Ritz, 64
parties clssicas, 51
Petrov-Galerkin
158
condio de, 22
polinmio
caracterstico, 15, 122
mnimo, 17, 129
mnimo mltiplo comum, 17
de um vetor, 16, 28
mnico, 129
posto, 117
posto coluna, 116
posto linha, 116
precondicionador
decomposio de domnio, 53
complemento de Schur, 54
mtodos de Schwarz, 53
mtodos de subestruturao,
54
fatoraes incompletas, 51
exvel, 88
inversa aproximada, 52
multigrid, 54
parties clssicas, 51
pela direita, 50
pela esquerda, 50
pela esquerda e pela direita,
50
varivel, 88
produto
escalar, 131
interno, 24, 131
euclidiano, 132
projeo, 118
matriz de, 119
oblqua, 118
ortogonal, 118
matriz, 118
propriedades, 118
pseudo-inversa, 70, 79
quadrados mnimos, 69
raio espectral, 121, 135
Rayleigh-Ritz
mtodo, 60
quocientes de, 61
resduo, 22
Ritz
par de, 62
par harmnico de, 64
valor de, 62
valor harmnico de, 60, 64
vetor de, 62
vetor harmnico de, 64
Ritz-Galerkin
condio de, 23
ruptura, 30, 95, 103
benca, 34, 37
seminorma vetorial, 131
separao residual, 95
SIAM
Society for Industrial and Ap-
plied Mathematics, 72, 74
similaridade, 15, 122
subespao gerado, 16
Teorema
de Cayley-Hamilton, 125
do Complemento Ortogonal, 116
de Courant-Fischer, 61
Desigualdade de Cauchy-Schwarz,
131
159
da Forma Cannica de Jordan,
128
Fundamental da lgebra Li-
near, 117
sobre a convergncia do GM-
RES, 38
do Ncleo e da Imagem, 116
do Polinmio Mnimo, 129
do Posto, 116
de Rayleigh-Ritz, 61
de Rigal e Gaches, 48
de Schur, 123
de Schur para Reais, 124
valor singular, 130
decomposio em, 70, 129
valor de Ritz, 62
valor harmnico de Ritz, 60, 64
Vandermonde
matriz de, 77
vetor harmnico de Ritz, 64
vetor de Ritz, 62
vetor singular
direita, 130
esquerda, 130
Vuik
Kess, 28

CarvalhoGratton2012AvancosKrylov Eltronico 42

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

CarvalhoGratton2012AvancosKrylov Eltronico 42

Enviado por

Direitos autorais:

Formatos disponíveis

Notas em Matemtica Aplicada e-ISSN 2236-5915

Volume 42, 2012

para fazer referncia a vetores e matrizes, ou s suas par-

a soluo exata do sistema linear Ax = b. Seja x

Q(:, k), estaremos gerando bases para

Q(:, k) para que os subespaos gerados sejam os

U, seja o mais prxima de A, o que nem sempre

U tenha a mesma esparsidade do que A.

U. Esse controle se d atravs da anlise de um grafo

usando uma das relaes provenientes do mtodo de Arnoldi, AV

com uma simples reorganizao, temos

a matriz transposta de , com os coecientes

Por sinal, a mesma aparncia da eliminao gaussiana, s que nesse

Figura 4.4: Clculo do vetor unitrio,

Figura 4.5: Os dois vetores j esto

Figura 4.6: A outra reexo possvel,

Figura 4.7: Os dois vetores j esto

Figura 4.8: Vetores iniciais.

Figura 4.9: Normalizao do primeiro

Figura 4.10: Projeo do segundo ve-

Figura 4.11: Normalizao do segundo

R os fatores obtidos pelas

de A a nica soluo X das equaes de Moore-Penrose

, tambm conhecida com inversa de Moore-Penrose, em [81, pg. 423].

, respectivamente. Com isso, ortogonalizar Az

A(1, 1) A(1, 2) A(1, m)

Espaos Relevantes 115

onde cada bloco A

uma matriz que representa uma projeo ortogonal em Im(U).

Hessenberg superior, e cujos blocos diagonais so matrizes reais 11

H k 1 termos +1 que aparecem na primeira sobrediagonal e o

a projeo ortogonal no complemento ortogo-

, relativas s seguintes normas vetoriais x

a transposta de com os valores singulares de A sendo

Você também pode gostar