Desigualdades PDF

Introducao aos Processos Estocasticos -
Desigualdades e Convergencia
Eduardo M. A. M. Mendes
DELT - UFMG
Programa de Pos-Graduacao em Engenharia Eletrica
Universidade Federal de Minas Gerais
emmendes@cpdee.ufmg.br
Eduardo Mendes (DELT - UFMG Programa de P os-Graduacao em Engenharia Eletrica Universidade Federal de Minas Gerais emmendes@cpdee.ufmg.br) MACSIN 1 / 44
Introducao
A seguir serao descritas as varias desigualdades usadas no contexto de
probabilidade e processos estocasticos.
Serao mencionadas tambem as deni coes de convergencia.
Desigualdade de Holder
Se p e q sao n umero reais maiores do que 1 com
1
p
+
1
q
= 1 e se as
variaveis aleatorias X, Y e |X|
p
, |Y|
q
sao integraveis, entao
E(|XY|) (E(|X|
p
))
1
p
(E(|Y|
q
))
1
q
Prova: Seja x um n umero positivo e considere a funcao
(x) =
x
p
p
+
x
q
q
. Suponha que essa fun cao tenha um mnimo em
x = 1 com (1) = 1.
Substituindo x =
b
1
q
a
1
p
= b
1
q
a
1
p
com a, b > 0, entao
(x) = (ap)
1
b
p
q
+ (bq)
1
a
q
p
1
= p
1
b
(p+q)
q
+ q
1
a
(p+q)
p
ab
Desigualdade de Holder (cont.)
Como
1
p
+
1
q
= 1 ou
(p+q)
pq
= 1, temos
(p+q)
q
= p e
(p+q)
p
= q e
ab
b
p
p
+
a
q
q
Substituindo
b =
|X|
(E(|X|
p
))
1
p
e a =
|Y|
(E(|Y|
q
))
1
q
na expressao logo acima, temos:
|X||Y|
(E(|X|
p
))
1
p
(E(|Y|
q
))
1
q
_
|X|
(E(|X|
p
))
1
p
_
p
p
+
_
|Y|
(E(|Y|
q
))
1
q
_
q
q
|X|
p
E(|X|
p
)
p
+
|Y|
q
E(|Y|
q
)
q
Desigualdade de Holder (cont.)
Tomando o valor esperado obtemos
E(XY)
(E(|X|
p
))
1
p
(E(|Y|
q
))
1
q
1
p
+
1
q
= 1
a desigualdade segue direto da rela cao acima.
Desigualdade de Schwartz
Fazendo p = q = 2 na desigualdade de Holder, obtemos
E(|XY|)
_
E(|X|
2
)E(|Y|
2
)
Desigualdade de Minkowski
Se p e um n umero real com p 1 e se as variaveis aleatorias X, Y e
|X|
p
, |Y|
p
sao integraveis, entao
(E(|X + Y|
p
))
1
p
(E(|X|
p
))
1
p
+ (E(|Y|
p
))
1
p
Prova: Se p = 1 o resultado segue da desigualdade referente ao
triangulo.
Para p > 1
E(|X + Y|
p
) = E(|X + Y||X + Y|
p1
)
E(|X||X + Y|
p1
) + E(|Y||X + Y|
p1
)
Usando a desigualdade de Holder e
1
q
= 1
1
p
, temos
E(|X +Y|
p
) (E(|X|
p
)
1
p
(E(|X + Y|)
p
)
1
1
p
+(E(|Y|
p
)
1
p
(E(|X + Y|)
p
)
1
1
p
dividindo por (E(|X + Y|)
p
)
1
1
p
resulta na desigualdade.
Desigualdade de Jensen
Se e uma fun cao convexa e contnua e se ambos X e (X) sao
integraveis, entao
(E(X)) E((X))
Prova: Se e uma fun cao convexa, podemos construir uma corda
a
i
+ b
i
x tal que
a
i
+ b
i
x (x)
e
sup
x
(a
i
+ b
i
x) = (x)
logo
a
i
+ b
i
X (X)
e
a
i
+ b
i
E(X) E((X))
Desigualdade de Jensen (cont.)
ou
sup(a
i
+ b
i
E(X)) = (E(X)) E((X))
Desigualdade de Chebyshev
Objetivo: Achar um limite para a probabilidade a partir da variancia
P(|X E(X)| > )
O que pode ser dito se p
X
(x) nao pode ser integrada ou nao e conhecida?
Podemos estimar E(X) e Var (X), entao
P(|X E(X)| > ) B
onde
B =
Var (X)
2
Desigualdade de Chebyshev (cont.)
Exemplo: X N(0, 1), E(X) = 0, Var (X) = 1. Supondo = 3,
temos
P(|X 0| > 3)
1
3
2
=
1
9
0, 11
Calculando
P(|X| > 3) = 2P(X > 3) 0, 0027 < 0, 11
limite muito conservador!
Exemplo: PDF Laplaciano com
2
= 1 = Var (X)
P(|X 0| > 3)
1
9
0, 11
Conclusao: Mesmo limite para todas as PDFs com Var (X) = 1.
Se Var (X) 0, entao
P(|X E(X)| > ) 0
para qualquer > 0.
Prova:
Var (X) =
(x E(X))
2
p
X
(x)dx
=
{x:|xE(X)|>}
(x E(X))
2
p
X
(x)dx
+
{x:|xE(X)|}
(x E(X))
2
p
X
(x)dx
{x:|xE(X)|>}
(x E(X))
2
p
X
(x)dx
{x:|xE(X)|>}
2
p
X
(x)dx =
2
P(|x E(X)| > )
o que conclui a nossa prova.
Teorema de Markov e Desigualdade de Chebyshev
Teorema: Se X e uma variavel aleatoria e g(X) e uma transformacao de
X tal que g(X) > 0, entao, para qualquer K > 0
P(g(X) K)
E(g(X))
K
Prova: Usando a funcao indicadora, ou seja
I (g(X)) =
_
1 se g(X) K,
0 caso contrario
Se g(X) 0 e I (g(X)) 1, podemos escrever para a primeira condi cao
I (g(X))
g(X)
K
Tomando o valor esperado
Teorema de Markov e Desigualdade de Chebyshev (cont.)
E(I (g(X)))
E(g(X))
K
x
I (g(X)) p(x)
[1 P(I (g(X)) = 1)] + [0 P(I (g(X)) = 0)]
[1 P(g(X) K)] + [0 P(g(X) < K)]
P(g(X) K)
E(g(X))
K
Teorema de Markov e Desigualdade de Chebyshev (cont.)
Repare que se zermos g(X) = (X )
2
e K = k
2
2
, temos
P
_
(X )
2
k
2
2
_
E
_
(X )
2
_
k
2
2
=

2
k
2
2
Podemos usar (X )
2
k
2
2
da seguinte maneira
(X )
2
k
2
_
X
k
2
2
_
ou
_
X
k
2
2
_
_
|X |
k
2
2
_
(|X | k)
Logo
P (|X | k)
1
k
2
que e a desigualdade de Chebyshev para k =

. Lembrando que
2
nada mais e do que Var ().
Limites de Cherno
Fornece um limite menos conservador comparado com Markov e
Chebyshev.
E aplicado quando a variavel aleatoria e a soma de varias variaveis

aleatorias mutuamente independentes.
E o limite na probabilidade de se desviar da media.

Nao se aplica a todas as distribuicoes. So aplicavel a soma de VAs
denidas no intervalo [0, 1].
Nao depende diretamente do n umero de variaveis somadas.
Limites de Cherno (cont.)
Teorema: Seja X
1
, X
2
, . . . , X
N
variaveis aleatorias mutuamente
independentes denidas no intervalo [0, 1]. Seja X =
N
j =1
X
j
, entao para
qualquer c > 1
P (X cE(X)) e
E(X)
onde = cln(c) + 1 c > 0.
Prova: Denindo R
j
= X
j
E(X
j
) para j = 1, 2, . . . , N, temos
E(X
j
) R
j
1 E(X
j
)
e E(R
j
) = 0. Logo
P (X cE(X)) = P (R (c 1)E(X))
= P
_
c
R
c
(c1)E(X)
_
E(c
R
)
c
(c1)E(X)
Usando o Teorema de Markov
Sabemos
E(c
R
) = E
_
c
R
1
+R
2
++R
N
_
= E
_
_
N
j =1
c
R
j
_
_
=
N
j =1
E
_
c
R
j
_
independencia
Precisamos
1) Se m z 1 m, entao
c
z
c
m
(1 + m(c 1)) + z(c
1m
c
m
)
Repare que o lado direito descreve uma equacao de uma reta que corta
a curva c
z
em dois pontos: m e 1 m. Como c
z
e convexa, neste
intervalo, a curva se encontra abaixo da reta.
2) 1 + m(c 1) e
m(c1)
que e consequencia direta da expansao em
series de Taylor (1 + x e
x
).
Podemos continuar com a prova fazendo m = E(X
j
) e z = R
j
E
_
c
R
j
_
E
_
c
m
e
m(c1)
+ (c
1m
c
m
)R
j
_
c
m
e
m(c1)
pois E(R
j
) = 0
e
m(c1ln(c))
Assim
E
_
c
R
j
_

e
E(X
j
)(c1ln(c))
e
(c1ln(c))
E(X
j
)
e
(c1ln(c))E(X)
Finalmente
P (X cE(X))
e
(c1ln(c))E(X)
c
(c1)E(X)
e
E(X)(c1ln(c)cln(c)+ln(c))
e
E(X)(cln(c)1+c)
e
E(X)
onde = cln(c) + 1 c.
Limites de Cherno - Outra Visao
Figura 1: Mostra que I
[a,)
(x) e um limite para e
s(xa)
.
Logo se tomarmos a esperan ca matematica de
I
[a,)
(X) e
s(Xa)
temos
E
_
I
[a,)
(X)
_
E
_
e
s(Xa)
_
= e
sa
E
_
e
sX
_
= e
sa
(s)
Limites de Cherno - Outra Visao (cont.)
onde (s) e fun cao caracterstica.
Usando o fato que toda probabilidade pode ser escrita como uma
esperanca matematica
P(X A) = E
_
I
[a,)
X
_
podemos escrever que
P(X A) e
sa
(s)
que e valida para todo s > 0.
O limite de Cherno e dado por
P(X A) min
s0
_
e
sa
(s)
_
Exemplo
Seja X uma variavel aleatoria contnua com distribuicao exponencial e
= 1. Determine P(X 7) e os limites de Markov, Chebyshev and
Cherno.
Solu cao: Sabemos que E(X) =
1
, E(X
2
) =
2
2
, Var (X) =
1
2
e
(s) =

(s)
. Logo:
Exemplo (cont.)
P(X 7) =
_

7
e
x
dx = e
7
= 0, 00091
E(X)
7
=
1
7
= 0, 144 Markov
Var (X)
7
2
=
1
7
2
= 0, 0204 Chebyshev
min
s0
e
7s
1 s
=
e
7s
1 s
s=6/7
= 7e
6
= 0.017 Cherno
Estimacao da Media e da Variancia
Nas desigualdades propostas, como por exemplo a de Chebyshev, usa-se a
variancia. Logo seria interessante achar uma estimativa para ela quanto
para o valor esperado.
Media
E(X) =
1
M
M
i =1
x
i
Media Amostral
Em geral
E(g(x)) =
1
M
M
i =1
g(x
i
)
Para a variancia, temos:
Var (X) =
1
M
M
i =1
x
2
i

_
1
M
M
i =1
x
i
_
2
Convergencia Pointwise
Deni cao: Uma sequencia {X
n
} converge para um limite X se e
somente se, para qualquer > 0 por menor que seja, podemos
encontrar um inteiro n
o
tal que
|X
n
X| <
para todo n > n
o
.
Considere agora uma sequencia de variaveis aleatorias
{X
1
, X
2
, . . . , X
n
, . . .}
e a denicao de convergencia pointwise para outra variavel X, entao e
necessario ter para todo -ponto em a seguinte sequencia
X
1
(), X
2
(), . . . , X
n
()
convergindo para X(). Este tipo de convergencia e chamada
everywhere convergence - altamente restritiva. Devemos olhar para
sub-conjuntos de .
Convergencia Almost Sure
Deni cao: Um sequencia de variaveis aleatorias {X
n
} converge almost
sure (a.s.) para X se para cada -ponto nao pertencente ao evento
nulo A,
lim
n
|X
n
() X()| = 0
Este tipo de convergencia e tambem conhecida como convergencia
com probabilidade 1 e possui a seguinte nota cao
X
n
()
a.s.
n
X() ou X() = lim
n
X
n
() (a.s.)
Se o limite de X nao e conhecido a priori, podemos denir a
convergencia almost sure mutual. A sequencia X
n
converge
mutualmente almost sure se
sup
mn
|X
m
X
n
|
a.s.
n
0
Convergencia em Probabilidade
Deni cao: A sequencia de variaveis aleatorias {X
n
} converge em
probabilidade para X se para > 0 pequeno
lim
n
P (|X
n
X| ) = 0
ou
lim
n
P (|X
n
X| < ) = 1
A notacao usada e a seguinte
X
n
()
l .i .p
n
X() ou X() = l .i .p
n
X
n
()
A convergencia em probabilidade mutual e denida como
lim
n
sup
mn
P (|X
m
X
n
| ) 0
Convergencia em Probabilidade (cont.)
O conceito de convergencia em probabilidade sera uma importante
ferramenta quando estudarmos a convergencia de estimadores e a lei
Fraca dos Grandes N umeros.
Algums resultados importantes:
Se a sequencia de variaveis aleatorias {X
n
} converge almost sure para
X, entao converge em probabilidade para o mesmo limite. O contrario
nao e verdadeiro.
Se {X
n
} converge em probabilidade para X, entao existe uma
sub-sequencia {X
nk
} de {X
n
} que converge almost sure para o mesmo
limite.
{X
n
} converge em probabilidade se e somente se converge
mutualmente em probabilidade.
Convergencia na Media
Deni cao: Uma sequencia de variaveis aleatorias {X
n
} converge na
p-esima media (p > 0) para X se
lim
n
E(|X
n
X|
p
) 0
que tambem por ser escrito como
X
n
()
l .i .p.m
n
X() ou X() = l .i .p.m
n
X
n
()
Podemos tambem denir a convergencia na p-esima media mutual
lim
n
sup
mn
E(|X
m
X
n
)
p
) 0
Convergencia na Media (cont.)
Um conceito importante e a convergencia na media quadrada no qual
p = 2
lim
n
E(|X
n
X|)
2
0
ou de maneira equivalente, no caso da convergencia em media
quadrada mutual
lim
n
sup
mn
E(|X
m
X
n
)
2
) 0
A notacao usada e
X
n
()
l .i .q.m
n
X() ou X() = l .i .q.m
n
X
n
()
Mesmo a convergencia sendo mais restritiva (forte) do que a
convergencia em probabilidade, nao implica ou nao e implicada pela
convergencia almost sure.
Convergencia na Media (cont.)
Alguns resultados importantes sao:
Se a sequencia de variaveis aleatorias {X
n
} converge na p-esima media,
entao converge em probabilidade para o mesmo limite.
{X
n
|} converge na p-esima media se e somente se converge
mutualmente na p-esima media.
Em probabilidade mas nao quase certamente
Exemplo: Seja X U[0, 1] e os intervalos binarios I
1
= [0, 1], I
2
=
_
0,
1
2
,
I
3
=
_
1
2
, 1
, I
4
=
_
0,
1
4
, . . ., I
7
=
_
3
4
, 1
, I
8
=
_
0,
1
8
e assim por diante tal

que
I
2
m
+i
=
_
i
2
m
,
i + 1
2
m
_
para m = 0, 1, 2, . . . e i = 0, 1, . . . , 2
m
1. Logo, os 2
m
intervalos de
tamanho 2
m
cobrem o intervalo [0, 1].
Seja Y
n
= 1 se X I
n
e Y
n
= 0, caso contrario. A sequencia Y
1
, Y
2
,
. . . converge em probabilidade para Y = 0 pois, para todo 0 < 1,
P(|Y
n
0| ) = P(Y
n
= 1) = P(X I
n
) = tamanho do intervalo
I
n
0, quando n .
Em probabilidade mas nao quase certamente (cont.)
Y
n
nao converge quase certamente para zero pois qualquer X esta
somente em um dos 2
n
intervalos de tamanho 2
n
. Ou seja, para
todo , Y() assume o valor 1 para um n umero innito de ns e
assume o valor 0 para um n umero innito de ns. Logo, para cada
, Y() nao converge.
Quase certamente e em p-media implica em probabilidade
a) Considere a variavel aleatoria X
n
tal que P(X
n
= 0) = 1
1
n
e
P(X
n
= n) =
1
n
. Neste exemplo pode-se ver que X
n
P
0 pois
P(|X
n
| > ) = P(X
n
= n)
=
1
n
0
Entretanto
E(X
n
) = 1
e consequentemente X
n
nao converge em media para zero.
(cont.)
b) Suponha
X
n
() =
_
n,
_
0,
1
n
_
,
0,
_
1
n
, 1
tal que P(X

n
= 0) = 1
1
n
e P(X
n
= n) =
1
n
como antes. Para mostrar
convergencia quase certamente vamos utilizar a seguinte expressao
lim
n
P(sup
mn
|X
m
X
n
| ) = 1 para todo > 0
Temos o seguinte com o limite X = 0
(cont.)
lim
n
P(sup
mn
|X
m
X
n
| ) = lim
n
P(sup
mn
|X
m
| )
= lim
n
P(|X
n
| , |X
n+1
| , . . .)
lim
n
P(X
n
= 0, X
n+1
= 0, . . .)
= lim
n
P
_

1
n
,
1
n + 1
, . . .
_
= lim
n
P
_

1
n
_
= lim
n
_
1
1
n
_
= 1
(cont.)
portanto converge quase certamente.
c) Suponhamos que os elementos de X
n
sejam independentes. Para todos
os valores positivos inteiros de n, temos
(cont.)
P(X
n
= 0, X
n+1
= 0, . . .) =
m=n
_
1
1
m
_
= lim
N
N
m=n
_
1
1
m
_
= lim
N
N
m=n
m 1
m
= lim
N
n 1
n
n
n + 1
. . .
N 2
N 1
N 1
N
= lim
N
n 1
N
= 0
(cont.)
e portanto, para todo > 0
lim
n
P(sup
mn
|X
m
| ) = 0
que viola a condicao, ou seja, a convergencia quase certamente de X
n
para
zero falha, assim como a convergencia na media. Assim mesmo temos a
convergencia em probabilidade.
Convergencia em Distribui cao
Seja X
n
uma sequencia de variaveis aleatorias e seja X uma variavel
aleatoria. Suponha que X
n
tenha distribuicao F
n
e que X tenha
distribuicao F. X
n
converge em distribuicao para a variavel X se
lim
n
F
n
(t) = F(t)
para cada valor de t onde F e contnua. Nota cao: X
n
d
X.
Exemplo: Seja X
n
= 1 +
1
n
uma variavel aleatoria constante. Podemos
facilmente ver que a distribui cao de X
n
e
F
n
(t) =
_
0, se t < 1 +
1
n
1, se t 1 +
1
n
Convergencia em Distribui cao (cont.)
Note que lim
n
F
n
(t) =

F(t) onde
F(t) =
_
0, se t 1
1, se t > 1
que nao e uma distribui cao, pois nao e contnua a direita. Podemos,
entretanto, denir
F(t) =
_
0, se t < 1
1, se t 1
que e uma distribuicao para a variavel X = 1. Logo X
n
d
X, mesmo que
F
n
(1) F(1).

Desigualdades PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Desigualdades PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Introducao aos Processos Estocasticos -

E aplicado quando a variavel aleatoria e a soma de varias variaveis

E o limite na probabilidade de se desviar da media.

e assim por diante tal

tal que P(X

Você também pode gostar