Teoremas Estocasticos

Introducao aos Processos Estocasticos -
Teoremas
Eduardo M. A. M. Mendes
DELT - UFMG
Programa de Pos-Graduacao em Engenharia Eletrica
Universidade Federal de Minas Gerais
emmendes@cpdee.ufmg.br
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 1 / 30
Motivacao
1) Lei dos Grandes N umeros - Justica a interpretacao de frequencia
relativarelativa da probabilidade.
Exemplo: Lanca-se uma moeda 1.000.000 vezes e conta-se o n umero
de caras.
n umero de caras
1.000.000
= 0, 4999
Logo
P[caras] = 0, 5
frequencia relativa
= frequencia relativa quando N
Motivacao (cont.)
2) Teorema do Limite Central - justica a suposi cao de distribuicao
gaussiana dos resultados.
Exemplo: Uma pessoa escolhida aleatoreamente medida do peso.
P = Peso Genetico + Stress no Trabalho + Dieta + Educa cao +. . .
ou seja, uma variedade de fatores que podem inuenciar.
Em princpio temos a necessidade de ter a modelagem das varias VAs.
O TLC diz
X
1
+ X
2
+ + X
N
Gaussiana quando N
para X
i
IID.
Leis dos Grandes N umeros
Deni cao: Se um evento de probabilidade p e observado repetidamente em
ocasioes independentes, a propor cao da freq uencia observada deste evento
em rela cao ao n umero total de repeticoes converge em dire cao a p à
medida que o n umero de repeticoes se torna arbitrariamente grande.
Lei Fraca dos Grandes N umeros - Dada uma variavel aleatoria X, a
sua media amostral converge em probabilidade para o seu valor
esperado.
Lei Forte dos Grandes N umeros - Dada uma variavel aleatoria X, a sua
media amostral converge quase certamente para o seu valor esperado.
Obs.: Se a variavel aleatoria nao tem media, a Lei dos Grandes N umeros
nao se aplica.
Leis dos Grandes N umeros (cont.)
Considere o lan camento de uma moeda nao viciada varias vezes. Os
resultados sao
X
1
, X
2
, X
3
, . . . , X
N
, . . .
X
i
= 1 se cara
= 0 se coroa
Assuma que X
i
e IID, ou seja:
1) Independentes - o lancamento de uma moeda naodependedo
lan camento anterior, ou seja, P(X
i
|X
i 1
) =
P(X
i
X
i 1
)
P(X
i 1
)
= P(X
i
).
2) Identicamente Distribudos - A mesma moeda e usada e lancada de
uma mesma maneira toda vez. A lei de distribuicao e mantida.
O resultado aleatorio do experimento pode ser modelado por
X =
_
X
1
X
2
X
N
T
e a PMF
p
X
i
[k] = p
X
[k] =
_
1
2
k = 0
1
2
k = 1
Seja
X =
1
N
N
i =1
X
i
para N = 2

X =
1
2
(X
1
+ X
2
).

X = 0,
1
2
, 1, . . . possui uma PMF.
Calculando o valor esperado da nova variavel aleatoria (N qualquer),
temos:
E
X
[
X] = E
X
_
1
N
N
i =1
X
i
_
=
1
N
N
i =1
E
X
X
i
=
1
N
N
i =1
E
X
i
X
i
=
1
N
N
i =1
_
0
1
2
+ 1
1
2
_
=
1
N
N
i =1
1
2
=
1
2
Var (
X) = Var
_
1
N
N
i =1
X
i
_
=
1
N
2
N
i =1
Var ( X
i
..
Independentes
)
mas
Var (X
i
) = E
X
i
(X
2
i
) E
2
X
i
(X
i
)
= 0
2
1
2
+ 1
2
1
2

_
1
2
_
2
=
1
2

1
4
=
1
4
logo
Var (
X) =
1
N
2
N
i =1
1
4
=
1
4
N
quando N Var (
X) = 0. Lei dos Grandes N umeros - Veja

probprob15.1.r.
Seja

X
N
=
1
N
N
i =1
X
i
X
N

1
2
= E
X
[X] quando N
Em geral, a Lei dos Grandes N umeros diz que, para VAs IID,
1
N
N
i =1
X
i
E
X
[X] quando N
e
E(g(X)) =
1
N
N
i =1
g(X
i
)
Teorema: Se X
1
, X
2
, . . . , X
N
sao IID com media E
X
(x) e variancia
2
entao
lim
N
X
N
= E
X
(x)
ou
lim
N
P
_
|
X
N
E
X
(x)| >
= 0
para qualquer > 0 pequeno, ou seja, convergencia em probabilidade
Prova 1: Considere
P
_
|
X
N
E
X
(x)| >
= P
_
_
|

X
N
..
Y
E
X
(
X
N
)
. .
E(Y)
| >
_
_
Usando a desigualdade de Chebyshev
P [|Y E(Y)| > ]
Var (Y)
2
mas Var (Y) = Var (
X
N
) =

2
N
.
Logo
P
_
|
X
N
E
X
(x)| >
2
N
2
=

2
N
2
lim
N0
P
_
|
X
N
E
X
(x)| >
lim
N
2
N
2
= 0
Prova 2: Usando a expansao de series de Taylor para funcoes complexas,
sabemos que a fun cao caracterstica de uma variavel aleatoria X com
media nita pode ser escrita como
X
() = 1 + i E(X) + o(), t 0
Repare que todas as variaveis X
1
, X
2
, X
3
, . . . tem a mesma funcao
caracterstica. Usando propriedades da funcao caracterstica podemos
escrever
1
N
X
() =
X
_
N
_
e
X+Y
() =
X
()
Y
(),
se X e Y independentes, temos
X
() =
_
X
_
N
__
N
=
_
1 + iE(X)
N
+ o
_
N
__
N
e
i E(X)
,
quando N .
Repare que o limite e
i E(X)
e a funcao caracterstica de uma variavel
aleatoria constante E(X) e assim
X
D
E(X) para n
Mas como a variavel e constante, a convergencia em distribuicao e
equivalente à convergencia em probabilidade, logo
X
P
E(X)
Exemplo: Determinar se um sinal S = A (constante) esta presente em
meio à contaminacao por rudo.
X
i
= s + w
i
= A + w
i
i = 1, 2, . . .
para W sendo IID com E
w
(w) = 0 e Var (W) =
2
< .
X
N
E
X
(x) = A quando N
Quando nao ha sinal
X
N
E
X
(x) = E
W
(w) = 0
Teorema do Limite Central
A Lei dos Grandes N umeros da informacao sobre a largura e localizacao da
PDF/PMF de

X
N
.
largura 0
localizacao E
X
(x)
E sobre a PDF quando N ?
Exemplo:
X
i
e IID e X
i
U
_
1
2
,
1
2
_
Teorema do Limite Central (cont.)
com E(x) =
a+b
2
e Var (x) =
(ba)
2
12
. A PDF de X
1
e X
2
e obtida pela
convolucao da PDF de X
1
com a PDF de X
2
p
S
2
= p
X
(x) p
X
(x)
p
S
3
= p
X
(x) p
X
(x) p
X
(x)
Podemos, entao, calcular
E(S
3
) = E
_
3
i =1
X
i
_
= 0 X
i
U
_
1
2
,
1
2
_
Var (S
3
) = Var
_
3
i =1
X
i
_
= 3Var (X
i
) = 3
1
12
que e uma boa aproximacao para a Gaussiana (repare que a media e zero).
Exemplo: Quando E(X) = 0. Considere
S
N
=
N
i =1
X
i
U(0, 1)
logo
E(X) =
a + b
2
=
1
2
= 0
Var (X) =
(b a)
2
12
=
1
12
O valor esperado e
E(S
N
) = E
_
N
i =1
X
i
_
=
N
i =1
E(X
i
) = NE(X)
= N
1
2
=
N
2
anda com o valor de N.
Var (S
N
) = NVar (X) =
N
12
Repare que
N E(S
N
) e Var (S
N
)
E necessario normalizar, ou seja, E() = 0 e Var () = 1

Z
n
=
S
N
E(S
N
)
_
Var (S
N
)
=
S
N
NE
X
(X)
_
NVar (X)
A PDF da soma normalizada de um grande n umero de VAs contnuas IID
convergira para uma PDF Gaussiana.
N Z
n
N(0, 1)
Teorema: Se X
1
, X
2
, . . . , X
N
sao VAs contnuas IID com media E
X
(X) e
variancia Var (X) entao para N .
N
i =1
X
i
NE
X
(X)
_
NVar (X)
N(0, 1)
Exemplo: Dado X
i
N(0, 1), examine PDF de Y =
N
i =1
X
2
i
quando
N . A verdadeira PDF e Y
2
N
.
Para aplicar TLC precisamos vericar
a) Independencia - X
1
, X
2
, . . . , X
N
sao independentes logo X
2
1
, X
2
2
, . . . , X
2
N
sao independentes.
b) Identicamente distribuidos - X
1
, X
2
, . . . , X
N
tem a mesma PDF logo
X
2
1
, X
2
2
, . . . , X
2
N
tem a mesma PDF.
N
i =1
X
2
i
NE(X
2
)
_
NVar (X
2
)
=?
com
X
2

2
1

_
E
X
(X
2
) = 1
Var (X
2
) = 2
Normalizando temos
Z
n
=
N
i =1
X
2
i
N
2N
N(0, 1)
e
Z
n
..
N(0,1)
2N + N =
N
i =1
X
2
i
Logo
N
i =1
X
2
i
N(N, 2N)
Esboco da Prova do TLC
Seja Z
n
=
S
N
NE
X
(X)
NVar (X)
. Para Z
n
N(0, 1), vamos usar a fun cao
caracterstica
Z
N
()
Z
() = e
1
2
2
Portanto
Z
N
() = E
Z
N
_
e
Z
N
= E
X
_
e
N
i =1
X
i
NE
X
(X
i
)
NVar (X
i
)
_
=
N
i =1
E
X
i
_
e
X
i
E
X
(X
i
)
NVar (X
i
)
_
=
_
E
X
_
e
XE
X
(X)
NVar (X)
__
N
Esboco da Prova do TLC (cont.)
Olhando para E
X
_
e
XE
X
(X)
NVar (X)
_
, temos
E
X
_
e
XE
X
(X)
NVar (X)
_
=
..
series
E
X
_
_
k=0
()
k
k!
_
X E(X)
_
NVar (X)
_
k
_
_
=
k=0
()
k
k!
E
X
_
_
_
X E(X)
_
NVar (X)
_
k
_
_
= 1 +E
X
_
X E(X)
_
NVar (X)
_
+
1
2
()
2
E
X
_
_
_
X E(X)
_
NVar (X)
_
2
_
_
+. . .
Esboco da Prova do TLC (cont.)
Mas
E
X
_
X E(X)
_
NVar (X)
_
= 0
E
X
_
_
_
X E(X)
_
NVar (X)
_
2
_
_
=
E
X
_
(X E(X))
2
NVar (X)
=
1
N
Desconsiderando os termos de alta-ordem
Z
N
() =
_
1 +
1
2
()
2
1
N
_
N
=
_
1
1
2
2
N
_
N
e
1
2
2
quando N
=
Z
(), Z N(0, 1).
Observa coes sobre o TLC
O resultado do TLC pode ser escrito como
lim
N
P
_
u
1

x NE(X)
_
NVar (X)
u
2
_
=
_
u
2
u
1
1
2
e
x
2
dx,
para todo u
1
e u
2
nitos.
Note que, para N nito, a distribui cao da soma
X = X
1
+ X
2
+. . . + X
N
pode ser bem diferente da Gaussiana no que
se refere às caudas. Entretanto o peso dessas regioes nao-gaussianas
tendem a zero quando N tende a innito.
O TLC se preocupa mais com a regiao central que tem um peso nito
para N grande.
As principais hipoteses que asseguram a validade do TLC Gaussiano sao:
Observa coes sobre o TLC (cont.)
Os X
i
tem que ser variaveis aleatorias independentes, ou pelo menos
nao muito correlacionadas (a funcao de correla cao deve ter um
decaimento suciente rapido quando |i j | se torna grande).
As variaveis aleatorias X
i
nao precisam ser necessariamente
identicamente distribudas. O que deve acontecer e que a variancia de
todas essas distribuicoes nao sejam muito diferentes tal que nao haja
dominancia de uma destas variancias sobre as outras.
X = a
1
X
1
+ a
2
X
2
+. . . + a
N
X
N
onde a
i
sao coeentes arbitrarios.
Formalmente o TLC so e aplicado quando N tende a innito. Na
pratica N e nito e deve ser grande suciente para que a parte central
da distribui cao seja parecida com a Gaussiana. O valor mnimo de N
para que isso aconte ca depende da distribuicao de X
i
, sua distancia
para a Gaussiana e de quanto a Gaussiana pode aproximar as caudas.
Observa coes sobre o TLC (cont.)
o TLC nao diz nada sobre as caudas da distribui cao de X mas
somente que a regiao central da distribuicao poder ser bem descrita
por uma Gaussiana. A regiao central e uma regiao com pelo menos
N em torno da media de X. A largura da regiao que pode ser bem

aproximada pela Gaussiana depende da distribuicao de X.
TLC e Teoria da Informacao
A quantidade I denominada Entropia (quantidade de informacao faltante
ou perdida) associada à funcao de distribuicao de probabilidade P e
denida como
I(P) =
_
P(x)log(P(x))dx
A distribuicao que maximiza I(P) para um dado valor de variancia e
obtida tomando a derivada funcional com respeito a P(x)
P(x)
_
I(P)
_
x
2
P(x
)dx
_
P(x
)dx
_
= 0
onde e xado pela condi cao
_
x
2
p(x)dx =
2
e
pela normaliza cao de

P(x). A solu cao da igualdade acima e a Gaussiana.
TLC e Teoria da Informacao (cont.)
O valor n umerico da Entropia para a Gaussiana e:
I
G
=
1
2
+
1
2
log(2) + log() 1, 419 + log()
O valor n umerico da Entropia para a Exponencial e:
I
E
= 1 +
log 2
2
+ log() 1, 346 + log()
Observe que a operacao de convolucao (soma de variaveis) e uma
opera cao de queima de informacao, pois todos os detalhes da distribuicao
elementar vao sendo perdidos ate que a Gaussiana surja.
A Gaussiana e a lei da maxima entropia ou mnima informacao.

Teoremas Estocasticos

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Teoremas Estocasticos

Enviado por

Direitos autorais:

Formatos disponíveis

Introducao aos Processos Estocasticos -

X) = 0. Lei dos Grandes N umeros - Veja

E necessario normalizar, ou seja, E() = 0 e Var () = 1

N em torno da media de X. A largura da regiao que pode ser bem

pela normaliza cao de

Você também pode gostar