Sistemas Lineares

Parte 2
Métodos Iterativos
Introdução
 Métodos diretos: eliminação por Gauss,
fatoração LU, fatoração de Cholesky, ...
Fornecem solução de qualquer sistema.
Para minimizar problemas de
arredondamento, adota-se o pivoteamento.
 Métodos iterativos: podem ser mais rápidos e
necessitar de menos memória do
computador. Fornecem seqüências que
convergem para a solução sob certas
condições.
Introdução
 Seja A x  b um sistema linear de ordem
n .
A idéia é generalizar o método do ponto fixo,
escrevendo o sistema linear na forma
xC x g
onde C é uma matriz de ordem n e g é um
vetor coluna n  1 .
( 0)
 Dado um vetor aproximação inicial x , cons-
truímos iterativamente: x C x  g
(1) ( 0)

x ( 2)  C x (1)  g
Introdução
( 0) (1) (k )
Se a seqüência x , x , ....., x convergir

Lim x ( k )  C x ( k 1)  g  
k grande

Então  é a solução do sistema linear

A x  b com x  
Teste de Parada
(k )
Se a seqüência x estiver suficientemente
( k 1)
próximo de x paramos o processo.
 Dada um precisão  , quando
k 1
d (k )
 MAX k
xi  xi 
1i  n
(k )
então x é a solução do sistema linear.
 Computacionalmente, um número máximo de
iterações também é critério de parada.
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-JACOBI
Seja o sistema linear
a11 x1  a12 x 2  a13 x3  ......  a1n x n  b1
a 21 x1  a 22 x 2  a 23 x3  ......  a 2 n x n  b2
.........................................................
a n1 x1  a n 2 x 2  a n3 x3  ......  a nn x n  bn

Se aii  0 para i  1...n podemos isolar

x  C x  g por separação da diagonal.
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-JACOBI
Iterativamente, o sistema reescreve-se como:

x1
( k 1)

1
a11

b1  a12 x 2  a13 x3  ......  a1n x n
(k ) (k ) (k )

x2
( k 1)

1
a 22

b2  a 21 x1  a 23 x3  ......  a 2 n x n
(k ) (k ) (k )

.........................................................

xn
( k 1)

1
a nn

bn  a n1 x1  a n 2 x 2  ......  a n,n 1 x n 1
(k ) (k ) (k )

MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-JACOBI
Desta forma temos x  C x  g , onde
  a12 / a11 ......  a1n / a11   b1 / a11 

0
  
  a 21 / a 22 .......  a 2 n / a 22   b2 / a 22 
0 e g 
C 
.........  ....... 

........ ......... .......
  
 a / a  b / a 
 n1 nn  a n 2 / a nn ....... 0   n nn 

( 0)
Do método de Gauss-Jacobi, dado x ,
Obtemos x , ....., x ( k 1) através da relação
(1)

recursiva ( k 1)
x C x  g
(k )
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-JACOBI
Exemplo:Seja o sistema linear 10 x1  2 x 2  x3  7
1 x1  5 x 2  x3  8
2 x1  3 x 2  10 x3  6
 0.7 
 
Seja x (0)    1.6  com   0.05 . Portanto,
 0.6 
 

 0  2 / 10  1 / 10   7 / 10   0.7 
     
C    1/ 5 0  1/ 5  g    8 / 5     1.6 
  1 / 5  3 / 10  6 / 10   0.6 
 0     
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-JACOBI
Substituindo
 0.2 x 2  0.1 x3  0.7  0.2 (1.6)  0.1 (0.6)  0.7  0.96
(1) (0) (0)
x1
 0.2 x1  0.2 x3  1.6  0.2 (0.7)  0.2 (0.6)  1.6  1.86
(1) (0) (0)
x2
 0.2 x1  0.3 x 2  0.6  0.2 (0.7)  0.3 (1.6)  0.6  0.94
(1) (0) (0)
x3

 0.96  d1(1)  x1(1)  x1( 0)  0.26  0.05

 
Segue x (1)    1.86  . Calculando d (1)  x (1)  x ( 0)  0.26  0.05
 0.94 
2 2 2
 
d 3(1)  x3(1)  x3( 0)  0.34  0.05
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-JACOBI
 0.978 
 
Continuando x ( 2)    1.98  com
 0.966 
 
d ( 2)  MAX xi2   xi1  0.12  
1i  n

 0.999 
 
Segue x
( 3)
   1.999  é a solução, pois
 0.998 
 

d (3)  MAX xi(3)  xi( 2)  0.032   critério de parada

1i  n
Critérios de Convergência
 Nos métodos iterativos são necessários
critérios que garantam a convergência.

 Um critério para a convergência do Método

de Gauss-Jacobi é dado pelo:

1) Critério das linhas.

Método de Gauss-Jacobi
Convergência: Critério das linhas
 Teorema – Critério das linhas
n

Dado o sistema A x  b, seja  k  ( | a kj |) / | a kk |

j 1
jk

Se   max  k  1 , então o método de Gauss-

1 k  n
Jacobi gera uma série convergente para a
solução do sistema independentemente da
( 0)
escolha de x .
Método de Gauss-Jacobi
Convergência: Critério das linhas
 Exemplo:Considere o sistema já estudado
10 x1  2 x 2  x3  7 10 2 1 
 
1 x1  5 x 2  x3  8 A 1 5 1 
 2 3 10 
2 x1  3 x 2  10 x3  6  

Critério das linhas:

11 23
2 1 2   0.4  1 3   0.5  1
1   0.3  1 10
10 5

Logo,   max  k  0.5  1 convergência OK!

1 k  n
Método de Gauss-Jacobi
Convergência: Critério das linhas
x1  x 2  3
 Obs1: O sistema converge pelo método de Gauss-
x1  3 x 2  3
Jacobi. No entanto,   max  k  1 . Isto mostra que o Teorema das
1 k  n
linhas é apenas suficiente para convergência.

1 x1  3 x 2  x3  2
 Obs2: O sistema
5 x1  2 x 2  2 x3  3   max  k  4
1 k  n
0 x1  6 x 2  8 x3  6

 Contudo, o sistema 5 x1  2 x 2  2 x3  3
Equivalente converge 1 x1  3 x 2  x3  2   max  k  0.8  1
1 k  n
pelo critério das linhas 0 x1  6 x 2  8 x3  6
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Seja o sistema linear
a11 x1  a12 x 2  a13 x3  ......  a1n x n  b1
a 21 x1  a 22 x 2  a 23 x3  ......  a 2 n x n  b2
.........................................................
a n1 x1  a n 2 x 2  a n3 x3  ......  a nn x n  bn

Se aii  0 para i  1...n podemos isolar

x  C x  g por separação da diagonal.
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Iterativamente, o sistema reescreve-se como:

x1
( k 1)

1
a11

b1  a12 x 2  a13 x3  ......  a1n x n
(k ) (k ) (k )

x2
( k 1)

1
a 22

b2  a 21 x1
( k 1)
 a 23 x3  ......  a 2 n x n
(k ) (k )

.........................................................

xn
( k 1)

1
a nn

bn  a n1 x1
( k 1)
 an2 x2
( k 1)
 ......  a n,n 1 x n 1
( k 1)

MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Comentário: Gauss-Jacobi X Gauss-Seidel
 O Método de Gauss-Seidel é uma variação
do Método de Gauss-Jacobi, pois para
( k 1)
calcular x j utilizamos os valores
( k 1) ( k 1) ( k 1) ( k 1)
x1 , x2 , x3 , ....., x j 1

já calculados e os valores restantes

( k 1) ( k 1) ( k 1)
x j 1 , x j 2 , ..... , xn
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Exemplo:Seja o sistema linear 5 x1  1 x 2  1 x3  5
3 x1  4 x 2  1 x3  6
3 x1  3 x 2  6 x3  0
0
 
Seja x (0)  0 com   0.05 . Portanto,
0
 

x1
( k 1)

 1  0.2 x 2  0.2 x 
(k )
3
(k )

  1.5  0.75 x  0.25 x 

( k 1) ( k 1) (k )
x2 1 3

  0  0.5 x 
( k 1) ( k 1) ( k 1)
x3 1  0.5 x 2
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Logo, a primeira iteração fornece

x1
(1)

 1  0.2 x 2  0.2 x   1  0  0  1
(0)
3
( 0)

  1.5  0.75 x  0.25 x   1.5  0.75  1  0.25  0  0.75

(1) (1) (0)
x2 1 3

  0  0.5 x  0.5 x   0.5  1  0.5  0.75  0.88

(1) (1) (1)
x3 1 2

 x1  1 0 1 
(1) ( 0)
x1
 1 
 
x (1)   0.75  x2
(1)
 x2
( 0)
 0.75  0  0.75  
  0.88 
 
 x3   0.88  0  0.88  
(1) ( 0)
x3
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Logo, a segunda iteração fornece

x1
( 2)

 1  0.2 x 2  0.2 x   1.03
(1)
3
(1)

 1.5  0.75 x  0.25 x   0.95

( 2) ( 2) (1)
x2 1 3

 0  0.5 x  0.5 x   0.99

( 2) ( 2) ( 2)
x3 1 2

 x1  0.03  
( 2) (1)
x1
 1.03 
 
x ( 2)   0.95  x2
( 2)
 x2
(1)
 0.2  
  0.99 
 
 x3  0.11  
( 2) (1)
x3
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Logo, a terceira iteração fornece

x1
( 3)

 1  0.2 x 2  0.2 x   1.01
( 2)
3
( 2)

 1.5  0.75 x  0.25 x   0.99

( 3) ( 3) ( 2)
x2 1 3

 0  0.5 x  0.5 x   1.00

( 3) ( 3) ( 3)
x3 1 2

 x1  0.02  
( 3) ( 2)
x1
 1.01 
 
x ( 3)   0.99  x2
( 3)
 x2
( 2)
 0.04  
  1.00 
 
 x3  0.01  
( 3) ( 2)
x3
MÉTODOS ITERATIVOS
MÉTODO DE GAUSS-SEIDEL
Logo, após a terceira iteração
 1.01 
 
x  x ( 3)   0.99 
  1.00 
 

é solução do sistema considerado com erro

menor do que   0.05 .
Critérios de Convergência
 Nos métodos iterativos são necessários
critérios que garantam a convergência.

 Convergência para o Método de Gauss-Seidel:

1) Critério das linhas (já visto)
2) Critério de Sassenfeld

 Os critérios acima estabelecem condições

suficientes para a convergência.
Método de Gauss-Seidel
Convergência - Critério de Sassenfeld

 Sejam
| a12 |  | a13 |    | a1n | n | a1 j |
1 
| a11 |
 |a
j 2 11 |
e
| ai1 | 1  | ai 2 |  2    | aii1 |  i 1  | aii1 |   | ain |
i 
| aii |
i 1 n
[ | a
j 1
ij | j  | a
j i 1
ij |] / | aii | i  2,3,  n
Critério de Sassenfeld
 Seja
  max{ i }
1i  n

Se  < 1, o método de Gauss-Seidel gera

uma sequência convergente para qualquer
x (0). Quanto menor , mais rápida a
convergência.
Exemplos
 x1  0.5 x 2  0.1x3  0.1x 4  0.2

0.2 x1  x 2  0.2 x3  0.1x 4  2.6
Seja o sistema: 
 0.1x1  0.2 x 2  x3  0.2 x 4  1.0
0.1x1  0.3x 2  0.2 x3  x 4  2.5

4
1  [ | a
j 2
1j |] / | a11 | [| a12 |  | a13 |  | a14 |] / | a11 | [0.5  0.1  0.1] / 1  0.7

2 1 4
2  [ | a
j 1
2j | j  | a
j  2 1
2j |] / | a 22 | [| a 21 | 1  | a 23 |  | a 24 |] / | a 22 |

 [0.2  0.7  0.2  0.1] / 1  0.44

31 4
3  [ | a
j 1
3j | j  | a
j 31
3j |] / | a 33 | [| a 31 | 1  | a 32 |  2  | a 34 |] / | a 33 |

 [0.1  0.7  0.2  0.44  0.2] / 1  0.358

4 1 4
4  [ | a
j 1
4j | j  | a
j  4 1
4j |] / | a 44 | [| a 41 | 1  | a 42 |  2  | a 43 |  3 ] / | a 44 |

 [0.1  0.7  0.2  0.44  0.2  0.358 ] / 1  0.274

Exemplos
 Então,
  max{ i }  0.7  1
1i  n

de modo que o método de Gauss-Seidel

converge.
Exemplos
2 x1  x 2  3 x3  9

2. Seja o sistema:   x 2  x3  1
x  3x3  3
 1

Neste caso, 1  [1  3] / 2  2  1
Trocando a 1ª equação pela terceira,
 x1  3x3  3

  x 2  x3  1
2 x  x  3 x  9
 1 2 3

Nesta disposição: 1  [0  3] / 1  3  1
Exemplos
2. Agora se trocarmos a 1ª coluna pela
terceira, 3 x 3  x1  3

 x3  x 2  1
3 x  x  2 x  9
 3 2 1

Nesta disposição:
1  [1  1] / 3  1 / 3
 2  [1  (1 / 3)  0] / 1  1 / 3
 3  [3  (1 / 3)  1  (1 / 3) // 2  2 / 3
  max{ i }  2 / 3  1 Garantia de
1i  n convergência
Exemplos
 x1  x2  3
3. Seja o sistema: 
 x1  3x2  3
 O método de Gauss-Seidel gera uma seqüência
convergente, apesar do crit´rio das linhas não ser
satisfeito.
 Pelo critério de Sassenfeld

1  1 / 1  1 O critério de Sassenfeld
não é satisfeito.
2  11/ 3  1/ 3

O critério de Sassenfeld também é

suficiente, mas não necessário.
Metodos Iterativos - Comparação
 x1  x2  3
Seja o sistema:  x  3x  3
 1 2

x1( k 1)  3  x 2( k )

 
Método de Gauss-Jacobi: 1
x 2( k 1)  3  x1( k )
3

Temos a seqüência:

 0  3  2  1   4 / 3
x (0)
   , x (1)
   , x ( 2)
   , x ( 3)
   , x ( 4)
  
 0 1  2  5 / 3  4 / 3
Metodos Iterativos - Comparação
 x1  x2  3
Seja o sistema: 
 x1  3x2  3
x1( k 1)  3  x 2( k )

 
Método de Gauss-Seidel: 1
x 2( k 1)  3  x1( k 1)
3

Temos a seqüência:

 0  3  1   5/3 
x ( 0)
   , x (1)
   , x ( 2)
   , x ( 3)
  
 0  2  4 / 3 14 / 9 
Metodos Iterativos - Comparação

 Comentário1: As duas seqüências convergem para a

solução exata do sistema x  1.5 1.5 . Vejamos,
a) Gauss-Jacobi : GJ  1.33 1.33
( 4)
x

b) Gauss-Seidel: xGS (3)  1.67 1.56

 Comentário 2: A convergência do Método de Gauss-
Seidel é mais rápida, por construção do método.
 Comentário 3: Embora a ordem das equações num
sistema linear não mude a solução exata, as seqüências
geradas pelos Métodos de Gauss-Jacobi e Gauss-Seidel
dependem fundamentalmente da disposição das equações
 Métodos Direto e Iterativos
Comparação
1) Convergência:

 Os Métodos Diretos são processos finitos

portanto fornecem solução para qualquer
sistema linear não-singular.

 Os Métodos Iterativos têm convergência

assegurada sob certas condições.
 Métodos Direto e Iterativos
Comparação
2) Esparsidade da Matriz A :
Em problemas reais, como a discretização de EDO’s pelo
Método de Elementos Finitos ou Diferenças Finitas, as
matrizes dos coeficientes tornam-se esparsas. A forma de
armazenamento destes dados tira proveito da esparsidade.
 Métodos diretos em sistemas esparsos provocam o
preenchimento da matriz e no processo de Eliminação
(escalonamento) geram elementos não-nulos, onde originalmente
tínhamos elementos nulos. Técnicas especiais de pivoteamento
reduzem este preenchimento. Fatoramento LU dão bons
resultados. Algumas situações estes métodos não são possíveis.
 Métodos iterativos não alteram a estrutura da matriz dos
coeficientes. Vantagem.
 Métodos Direto e Iterativos
Comparação
A
3) Erros de Arredondamento

 Métodos Diretos têm problemas de

arredondamento. Técnicas de Pivoteamento
amenizam tais erros.
 Métodos iterativos têm menos erros de
arredondamento, quando a convergência
estiver assegurada.
 Lista de Métodos para
Sistemas Lineares

 Fazer exercícios 3, 5, 9,14, 22, 29 do

livro texto.