Você está na página 1de 30

Introducao aos Processos Estocasticos -

Teoremas
Eduardo M. A. M. Mendes
DELT - UFMG
Programa de Pos-Graduacao em Engenharia Eletrica
Universidade Federal de Minas Gerais
emmendes@cpdee.ufmg.br
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 1 / 30
Motivacao
1) Lei dos Grandes N umeros - Justica a interpretacao de frequencia
relativarelativa da probabilidade.
Exemplo: Lanca-se uma moeda 1.000.000 vezes e conta-se o n umero
de caras.
n umero de caras
1.000.000
= 0, 4999
Logo
P[caras] = 0, 5
frequencia relativa
= frequencia relativa quando N
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 2 / 30
Motivacao (cont.)
2) Teorema do Limite Central - justica a suposi cao de distribuicao
gaussiana dos resultados.
Exemplo: Uma pessoa escolhida aleatoreamente medida do peso.
P = Peso Genetico + Stress no Trabalho + Dieta + Educa cao +. . .
ou seja, uma variedade de fatores que podem inuenciar.
Em princpio temos a necessidade de ter a modelagem das varias VAs.
O TLC diz
X
1
+ X
2
+ + X
N
Gaussiana quando N
para X
i
IID.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 3 / 30
Leis dos Grandes N umeros
Deni cao: Se um evento de probabilidade p e observado repetidamente em
ocasioes independentes, a propor cao da freq uencia observada deste evento
em rela cao ao n umero total de repeticoes converge em dire cao a p `a
medida que o n umero de repeticoes se torna arbitrariamente grande.
Lei Fraca dos Grandes N umeros - Dada uma variavel aleatoria X, a
sua media amostral converge em probabilidade para o seu valor
esperado.
Lei Forte dos Grandes N umeros - Dada uma variavel aleatoria X, a sua
media amostral converge quase certamente para o seu valor esperado.
Obs.: Se a variavel aleatoria nao tem media, a Lei dos Grandes N umeros
nao se aplica.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 4 / 30
Leis dos Grandes N umeros (cont.)
Considere o lan camento de uma moeda nao viciada varias vezes. Os
resultados sao
X
1
, X
2
, X
3
, . . . , X
N
, . . .
X
i
= 1 se cara
= 0 se coroa
Assuma que X
i
e IID, ou seja:
1) Independentes - o lancamento de uma moeda naodependedo
lan camento anterior, ou seja, P(X
i
|X
i 1
) =
P(X
i
X
i 1
)
P(X
i 1
)
= P(X
i
).
2) Identicamente Distribudos - A mesma moeda e usada e lancada de
uma mesma maneira toda vez. A lei de distribuicao e mantida.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 5 / 30
Leis dos Grandes N umeros (cont.)
O resultado aleatorio do experimento pode ser modelado por
X =
_
X
1
X
2
X
N

T
e a PMF
p
X
i
[k] = p
X
[k] =
_
1
2
k = 0
1
2
k = 1
Seja

X =
1
N
N

i =1
X
i
para N = 2

X =
1
2
(X
1
+ X
2
).

X = 0,
1
2
, 1, . . . possui uma PMF.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 6 / 30
Leis dos Grandes N umeros (cont.)
Calculando o valor esperado da nova variavel aleatoria (N qualquer),
temos:
E
X
[

X] = E
X
_
1
N
N

i =1
X
i
_
=
1
N
N

i =1
E
X
X
i
=
1
N
N

i =1
E
X
i
X
i
=
1
N
N

i =1
_
0
1
2
+ 1
1
2
_
=
1
N
N

i =1
1
2
=
1
2
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 7 / 30
Leis dos Grandes N umeros (cont.)
Var (

X) = Var
_
1
N
N

i =1
X
i
_
=
1
N
2
N

i =1
Var ( X
i
..
Independentes
)
mas
Var (X
i
) = E
X
i
(X
2
i
) E
2
X
i
(X
i
)
= 0
2

1
2
+ 1
2

1
2

_
1
2
_
2
=
1
2

1
4
=
1
4
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 8 / 30
Leis dos Grandes N umeros (cont.)
logo
Var (

X) =
1
N
2
N

i =1
1
4
=
1
4
N
quando N Var (

X) = 0. Lei dos Grandes N umeros - Veja


probprob15.1.r.
Seja

X
N
=
1
N

N
i =1
X
i

X
N

1
2
= E
X
[X] quando N
Em geral, a Lei dos Grandes N umeros diz que, para VAs IID,
1
N
N

i =1
X
i
E
X
[X] quando N
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 9 / 30
Leis dos Grandes N umeros (cont.)
e

E(g(X)) =
1
N
N

i =1
g(X
i
)
Teorema: Se X
1
, X
2
, . . . , X
N
sao IID com media E
X
(x) e variancia
2
entao
lim
N

X
N
= E
X
(x)
ou
lim
N
P
_
|

X
N
E
X
(x)| >

= 0
para qualquer > 0 pequeno, ou seja, convergencia em probabilidade
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 10 / 30
Leis dos Grandes N umeros (cont.)
Prova 1: Considere
P
_
|

X
N
E
X
(x)| >

= P
_

_
|

X
N
..
Y
E

X
(

X
N
)
. .
E(Y)
| >
_

_
Usando a desigualdade de Chebyshev
P [|Y E(Y)| > ]
Var (Y)

2
mas Var (Y) = Var (

X
N
) =

2
N
.
Logo
P
_
|

X
N
E
X
(x)| >

2
N

2
=

2
N
2
lim
N0
P
_
|

X
N
E
X
(x)| >

lim
N

2
N
2
= 0
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 11 / 30
Leis dos Grandes N umeros (cont.)
Prova 2: Usando a expansao de series de Taylor para funcoes complexas,
sabemos que a fun cao caracterstica de uma variavel aleatoria X com
media nita pode ser escrita como

X
() = 1 + i E(X) + o(), t 0
Repare que todas as variaveis X
1
, X
2
, X
3
, . . . tem a mesma funcao
caracterstica. Usando propriedades da funcao caracterstica podemos
escrever
1
N
X
() =
X
_

N
_
e
X+Y
() =
X
()
Y
(),
se X e Y independentes, temos

X
() =
_

X
_

N
__
N
=
_
1 + iE(X)

N
+ o
_

N
__
N
e
i E(X)
,
quando N .
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 12 / 30
Leis dos Grandes N umeros (cont.)
Repare que o limite e
i E(X)
e a funcao caracterstica de uma variavel
aleatoria constante E(X) e assim

X
D
E(X) para n
Mas como a variavel e constante, a convergencia em distribuicao e
equivalente `a convergencia em probabilidade, logo

X
P
E(X)
Exemplo: Determinar se um sinal S = A (constante) esta presente em
meio `a contaminacao por rudo.
X
i
= s + w
i
= A + w
i
i = 1, 2, . . .
para W sendo IID com E
w
(w) = 0 e Var (W) =
2
< .

X
N
E
X
(x) = A quando N
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 13 / 30
Leis dos Grandes N umeros (cont.)
Quando nao ha sinal

X
N
E
X
(x) = E
W
(w) = 0
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 14 / 30
Teorema do Limite Central
A Lei dos Grandes N umeros da informacao sobre a largura e localizacao da
PDF/PMF de

X
N
.
largura 0
localizacao E
X
(x)
E sobre a PDF quando N ?
Exemplo:
X
i
e IID e X
i
U
_

1
2
,
1
2
_
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 15 / 30
Teorema do Limite Central (cont.)
com E(x) =
a+b
2
e Var (x) =
(ba)
2
12
. A PDF de X
1
e X
2
e obtida pela
convolucao da PDF de X
1
com a PDF de X
2
p
S
2
= p
X
(x) p
X
(x)
p
S
3
= p
X
(x) p
X
(x) p
X
(x)
Podemos, entao, calcular
E(S
3
) = E
_
3

i =1
X
i
_
= 0 X
i
U
_

1
2
,
1
2
_
Var (S
3
) = Var
_
3

i =1
X
i
_
= 3Var (X
i
) = 3
1
12
que e uma boa aproximacao para a Gaussiana (repare que a media e zero).
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 16 / 30
Teorema do Limite Central (cont.)
Exemplo: Quando E(X) = 0. Considere
S
N
=
N

i =1
X
i
U(0, 1)
logo
E(X) =
a + b
2
=
1
2
= 0
Var (X) =
(b a)
2
12
=
1
12
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 17 / 30
Teorema do Limite Central (cont.)
O valor esperado e
E(S
N
) = E
_
N

i =1
X
i
_
=
N

i =1
E(X
i
) = NE(X)
= N
1
2
=
N
2
anda com o valor de N.
Var (S
N
) = NVar (X) =
N
12
Repare que
N E(S
N
) e Var (S
N
)

E necessario normalizar, ou seja, E() = 0 e Var () = 1


Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 18 / 30
Teorema do Limite Central (cont.)
Z
n
=
S
N
E(S
N
)
_
Var (S
N
)
=
S
N
NE
X
(X)
_
NVar (X)
A PDF da soma normalizada de um grande n umero de VAs contnuas IID
convergira para uma PDF Gaussiana.
N Z
n
N(0, 1)
Teorema: Se X
1
, X
2
, . . . , X
N
sao VAs contnuas IID com media E
X
(X) e
variancia Var (X) entao para N .

N
i =1
X
i
NE
X
(X)
_
NVar (X)
N(0, 1)
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 19 / 30
Teorema do Limite Central (cont.)
Exemplo: Dado X
i
N(0, 1), examine PDF de Y =

N
i =1
X
2
i
quando
N . A verdadeira PDF e Y
2
N
.
Para aplicar TLC precisamos vericar
a) Independencia - X
1
, X
2
, . . . , X
N
sao independentes logo X
2
1
, X
2
2
, . . . , X
2
N
sao independentes.
b) Identicamente distribuidos - X
1
, X
2
, . . . , X
N
tem a mesma PDF logo
X
2
1
, X
2
2
, . . . , X
2
N
tem a mesma PDF.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 20 / 30
Teorema do Limite Central (cont.)

N
i =1
X
2
i
NE(X
2
)
_
NVar (X
2
)
=?
com
X
2

2
1

_
E
X
(X
2
) = 1
Var (X
2
) = 2
Normalizando temos
Z
n
=

N
i =1
X
2
i
N

2N
N(0, 1)
e
Z
n
..
N(0,1)

2N + N =
N

i =1
X
2
i
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 21 / 30
Teorema do Limite Central (cont.)
Logo
N

i =1
X
2
i
N(N, 2N)
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 22 / 30
Esboco da Prova do TLC
Seja Z
n
=
S
N
NE
X
(X)

NVar (X)
. Para Z
n
N(0, 1), vamos usar a fun cao
caracterstica

Z
N
()
Z
() = e

1
2

2
Portanto

Z
N
() = E
Z
N
_
e
Z
N

= E
X
_
e

N
i =1
X
i
NE
X
(X
i
)

NVar (X
i
)
_
=
N

i =1
E
X
i
_
e

X
i
E
X
(X
i
)

NVar (X
i
)
_
=
_
E
X
_
e

XE
X
(X)

NVar (X)
__
N
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 23 / 30
Esboco da Prova do TLC (cont.)
Olhando para E
X
_
e

XE
X
(X)

NVar (X)
_
, temos
E
X
_
e

XE
X
(X)

NVar (X)
_
=
..
series
E
X
_
_

k=0
()
k
k!
_
X E(X)
_
NVar (X)
_
k
_
_
=

k=0
()
k
k!
E
X
_
_
_
X E(X)
_
NVar (X)
_
k
_
_
= 1 +E
X
_
X E(X)
_
NVar (X)
_
+
1
2
()
2
E
X
_
_
_
X E(X)
_
NVar (X)
_
2
_
_
+. . .
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 24 / 30
Esboco da Prova do TLC (cont.)
Mas
E
X
_
X E(X)
_
NVar (X)
_
= 0
E
X
_
_
_
X E(X)
_
NVar (X)
_
2
_
_
=
E
X
_
(X E(X))
2

NVar (X)
=
1
N
Desconsiderando os termos de alta-ordem

Z
N
() =
_
1 +
1
2
()
2
1
N
_
N
=
_
1
1
2

2
N
_
N
e

1
2

2
quando N
=
Z
(), Z N(0, 1).
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 25 / 30
Observa coes sobre o TLC
O resultado do TLC pode ser escrito como
lim
N
P
_
u
1

x NE(X)
_
NVar (X)
u
2
_
=
_
u
2
u
1
1

2
e
x
2
dx,
para todo u
1
e u
2
nitos.
Note que, para N nito, a distribui cao da soma
X = X
1
+ X
2
+. . . + X
N
pode ser bem diferente da Gaussiana no que
se refere `as caudas. Entretanto o peso dessas regioes nao-gaussianas
tendem a zero quando N tende a innito.
O TLC se preocupa mais com a regiao central que tem um peso nito
para N grande.
As principais hipoteses que asseguram a validade do TLC Gaussiano sao:
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 26 / 30
Observa coes sobre o TLC (cont.)
Os X
i
tem que ser variaveis aleatorias independentes, ou pelo menos
nao muito correlacionadas (a funcao de correla cao deve ter um
decaimento suciente rapido quando |i j | se torna grande).
As variaveis aleatorias X
i
nao precisam ser necessariamente
identicamente distribudas. O que deve acontecer e que a variancia de
todas essas distribuicoes nao sejam muito diferentes tal que nao haja
dominancia de uma destas variancias sobre as outras.
X = a
1
X
1
+ a
2
X
2
+. . . + a
N
X
N
onde a
i
sao coeentes arbitrarios.
Formalmente o TLC so e aplicado quando N tende a innito. Na
pratica N e nito e deve ser grande suciente para que a parte central
da distribui cao seja parecida com a Gaussiana. O valor mnimo de N
para que isso aconte ca depende da distribuicao de X
i
, sua distancia
para a Gaussiana e de quanto a Gaussiana pode aproximar as caudas.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 27 / 30
Observa coes sobre o TLC (cont.)
o TLC nao diz nada sobre as caudas da distribui cao de X mas
somente que a regiao central da distribuicao poder ser bem descrita
por uma Gaussiana. A regiao central e uma regiao com pelo menos

N em torno da media de X. A largura da regiao que pode ser bem


aproximada pela Gaussiana depende da distribuicao de X.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 28 / 30
TLC e Teoria da Informacao
A quantidade I denominada Entropia (quantidade de informacao faltante
ou perdida) associada `a funcao de distribuicao de probabilidade P e
denida como
I(P) =
_
P(x)log(P(x))dx
A distribuicao que maximiza I(P) para um dado valor de variancia e
obtida tomando a derivada funcional com respeito a P(x)

P(x)
_
I(P)
_
x
2
P(x

)dx

_
P(x

)dx

_
= 0
onde e xado pela condi cao
_
x
2
p(x)dx =
2
e

pela normaliza cao de


P(x). A solu cao da igualdade acima e a Gaussiana.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 29 / 30
TLC e Teoria da Informacao (cont.)
O valor n umerico da Entropia para a Gaussiana e:
I
G
=
1
2
+
1
2
log(2) + log() 1, 419 + log()
O valor n umerico da Entropia para a Exponencial e:
I
E
= 1 +
log 2
2
+ log() 1, 346 + log()
Observe que a operacao de convolucao (soma de variaveis) e uma
opera cao de queima de informacao, pois todos os detalhes da distribuicao
elementar vao sendo perdidos ate que a Gaussiana surja.
A Gaussiana e a lei da maxima entropia ou mnima informacao.
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 30 / 30