Variaveis Aleatorias

Processos Estocasticos
Probabilidade e Vari
aveis Aleat
orias
Charles Casimiro Cavalcante

charles@gtel.ufc.br
Grupo de Pesquisa em Telecomunicaco

es Sem Fio GTEL
Universidade Federal do Cear
a UFC
http://www.gtel.ufc.br
c C. C. Cavalcante
Processos Estoc
asticos
Parte II
Variaveis Aleatorias: Conceitos e Fundamentos
c C. C. Cavalcante
Processos Estoc
asticos
Variavel aleat
oria pode ser entendida como o resultado numerico
da operacao de um mecanismo n ao-determinstico ou execuc
ao de
um experimento n ao determinstico para gerar um valor aleat orio.
Ao contrario da pratica comum com outras vari aveis matematicas,
uma variavel aleatoria n
ao pode ter um valor associado; uma
vari
avel aleat
oria nao descreve o valor atual de uma realizacao de
um evento particular, mas descreve a possvel, ainda que
indeterminado, resultado em termos de n umeros reais.
c C. C. Cavalcante
Processos Estoc
asticos
Variaveis aleatorias
Definic
ao
Vari
avel aleat
oria (v.a.) e qualquer func
ao definida no espaco
amostral S tal que:
{X : S R, X(w) (, x], w S} F (7)
Exemplo
Moeda:
S = {cara, coroa}
X(cara) = 0
X(coroa) = 1
c C. C. Cavalcante
Processos Estoc
asticos
Func
ao distribuic
ao de probabilidade (func
ao de probabilidade cumulativa)
Definic
ao
FX (x) , Pr{X x} (8)
Exemplo: Distribuic
ao uniforme
FX (x)

0, se x a 1
FX (x) = x, se 0 < x b

1, se x > b
0 a b x
c C. C. Cavalcante
Processos Estoc
asticos
Func
ao distribuic
ao de probabilidade - cont.
Propriedades da fdc
1 FX () = 0
2 FX () = 1
3 Pr{x1 x2 } = FX (x2 ) FX (x1 )
4 Se x1 x2 FX (x1 ) FX (x2 ), ou seja, FX (x) e
monotonico n
ao-decrescente
c C. C. Cavalcante
Processos Estoc
asticos
Func
ao densidade de probabilidade
Definic
ao
d
pX (x) , FX (x) (9)
dx
Exemplo: Distribuic
ao uniforme
FX (x) pX (x)
1
1 ba
0 a b x 0 a b x
c C. C. Cavalcante
Processos Estoc
asticos
Func
ao densidade de probabilidade - cont.
Propriedades
Rx
1 FX (x) = pX () d

2 FX (x) e monot ao-decrescente pX (x) 0
onico n
3 Pr{X > x} = 1 FX (x) = 1 Pr{X x}
Rx2
4 Pr{x1 < X x2 } = FX (x2 ) FX (x1 ) = pX () d
x1
c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
orias discretas
Dificuldade
Neste caso, as vari
aveis admitem valores somente em determinados
instantes de tempo. O que ocorre com as probabilidades?
pX (x) P2
Funcoes () de Dirac (impulsos)
P1
P3 R

f (t)(t t0 ) dt = f (t0 )
(t) R

(t) dt = 1

x1 x2 x3 x
(t) = func
ao impulsiva de Dirac
d
= u(t), em que u(t)e a func
ao degrau unit
ario
dt
c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
orias discretas - cont.
Logo, teremos
N
X
pX (x) = Pr{X = xi } (x xi )
i=1
Zx N
X Zx
FX (x) = pX () d = Pr{X = xi } ( xi ) d
i=1
Mas sabe-se que

Zx
0, se x < xi
( xi ) d =
1, se x xi

c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
pdf
pX (x)
P2
P1
P3
x1 x2 x3 x
c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
fdc
FX (x)
P1 + P2 + P3
P3
P1 + P2
P2
P1
P1
x1 x2 x3 x
c C. C. Cavalcante
Processos Estoc
asticos
Func
ao de densidade de probabilidade gaussiana
Definic
ao
Seja X uma v.a., X e dito ter distribuic
ao de probabilidade
gaussiana, ou normal, se sua densidade de probabilidade pode ser
escrita da seguinte forma
!
1 (x )2
pX (x) = exp (10)
2 2 2
Notac
ao usual:
X N , 2

media
Par
ametros
2 vari
ancia
c C. C. Cavalcante
Processos Estoc
asticos
pdf gaussiana - cont.
Normalizac
ao
Z N (0, 1)
2
1 z
pZ (z) = exp
2 2
Func
ao erro
Func
ao de distribuic
ao cumulativa da func
ao gaussiana
erf(x) = FZ (x) = Pr{Z x}

Zx 2
1 z (11)
= exp dz
2 2

c C. C. Cavalcante
Processos Estoc
asticos
pdf gaussiana - cont.
0.4
0.35
0.3
0.25
pZ (z)
0.2

0.15
0.1
0.05
0
-3 -2 -1 0 1 2 3
68%
95%
c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
orias bidimensionais
Func
ao distribuic
ao de probabilidade
FX,Y (x, y) = Pr {X x, Y y} (12)

| {z }
intersecca
o
{X x, Y y} = { w S|[X(w), Y (w)] D }
| {z }
evento
em que D = { (X, Y )|X (, x], Y (, y] }
Y
y
2
D x X pX,Y (x, y) = FX,Y (x, y) (13)
x y
c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
orias bidimensionais - cont.
Propriedades
1 FX,Y (, y) = 0
2 FX,Y (x, ) = 0
3 FX,Y (, ) = 1

FX,Y (x, ) = FX (x)
4 distribuic
oes marginais
FX,Y (, y) = FY (y)
Rx Ry
5 FX,Y (x, y) = pX,Y (, ) d d

R
pX (x) = pX,Y (x, y) dy
6

R
pY (y) = pX,Y (x, y) dx

c C. C. Cavalcante
Processos Estoc
asticos
Vari
aveis aleat
orias independentes
Definic
ao
Sejam X e Y v.a.s. Elas s
ao independentes se:
FX,Y (x, y) = FX (x) FY (y) (14)
FX,Y (x, y) = Pr{ X x, Y y }

= Pr{X x} Pr{Y y}
Logo:
pX,Y (x, y) = pX (x) pY (y) pois
2
pX,Y (x, y) = FX,Y (x, y)
x y
?
2 z}|{
= (FX (x) FY (y)) = pX (x) pY (y)
x y
c C. C. Cavalcante
Processos Estoc
asticos
Representac
ao de vari
aveis aleat
orias
Uma vez que, como ja discutido, as vari aveias aleatorias n

ao
podem ter um valor associado por se tratarem de representac oes
de experimentos n ao-determinsticos, faz-se necess
ario metodos de
representac
ao das v.a.
1 Func
ao densidade de probabilidade
2 Func
ao de distribuic
ao cumulativa
3 Histograma
c C. C. Cavalcante
Processos Estoc
asticos
Representac
ao de vari
aveis aleat
orias - cont.
Histograma
uma representac
E ao da distribuic
ao das vari
aveis no espaco
amostral em relac
ao ao n
umero de ocorrencias
100
90
80
70
60
50
40
30
20
10
0
-3 -2 -1 0 1 2 3
c C. C. Cavalcante
Processos Estoc
asticos
Representac
ao de vari
aveis aleat
orias - cont.
O histograma serve ent ao para comparar com determinadas

distribuic
oes conhecidas e verificar qu
ao pr
oxima (ou qu ao
diferente) e a distribuic
ao dos dados com uma distribuic
ao
qualquer.
120
100 Gaussiana
80
60
40
20
0
-4 -3 -2 -1 0 1 2 3 4
c C. C. Cavalcante
Processos Estoc
asticos
Medidas estatsticas
Momentos
S
ao estatsticas de uma vari avel aleat
oria capazes de representar
seu comportamento probabilstico. Os infinitos momentos
estatsticos definem a func
ao de densidade de probabilidade.
Media
Tambem chamada de esperanca matem atica, valor esperado,
momento de 1a ordem, e definido como
Z
= E {X} , x pX (x) dx (15)

para X v.a. contnua
c C. C. Cavalcante
Processos Estoc
asticos
Medidas estatsticas - cont.
Media
Para X discreta

X
= xi Pr{X = xi } (16)
i=
OBS: Se pX (x) for simetrico em relac

ao a um valor
x = a E {X} = a
Pergunta: Num jogo de moeda, qual a media? E no caso de uma

distribuic
ao uniforme entre [0, 1]?
c C. C. Cavalcante
Processos Estoc
asticos
Propriedades da media
1 E {X + Y } = E {X} + E {Y }
2 E {X Y } = E {X} E {Y } se X e Y sao v.a.s independentes
R R
3 E {f (X, Y )} = f (x, y)pX,Y (x, y) dxdy

4 Se X e Y s ao independentes
E {f (X) g(Y )} = E {f (X)} E {g(Y )}
c C. C. Cavalcante
Processos Estoc
asticos
Momentos de ordem k
n o Z
k = E X k
= xk pX (x) dx (17)

Os momentos de uma vari avel aleat

oria s
ao uma
representac
ao da pdf da vari
avel
A colet
anea dos infinitos momentos da v.a. definem sua pdf
Algumas distribuic
oes possuem alguns momentos nulos
A estimativa de momentos cresce em complexidade e decresce
em precis
ao com o aumento direto de k
c C. C. Cavalcante
Processos Estoc
asticos
Momentos centrados
Uma importante medida estatstica e avaliar o comportamento da
v.a. em torno da media. Assim, define-se o momento centrado de
ordem k como sendo
n o Z
ck = E (X ) k
= (x )k pX (x) dx (18)

ancia ( 2 = E (X )2 0)
De particular interesse: vari
ao a media ck = 0 para k mpar!

OBS: Se pX (x) e simetrica em relac
c C. C. Cavalcante
Processos Estoc
asticos
E possvel escrever os momentos centrados em func

ao dos
momentos!
Exemplo
2 = E (X )2

= E X 2 2X + 2

= E X 2 2E {X} + 2

= E X 2 E 2 {X}
F
ormula para achar outros momentos?
c C. C. Cavalcante
Processos Estoc
asticos
Exemplo
Conhecendo-se a media
e a vari
a ncia de uma v.a. X
( = E {X}, 2 = E (X )2 ) deseja-se achar E X 3
ao de e 2 .
aproximado em func
Aproximando X 3 em serie de Taylor

X
3 1 dk X 3
X = (X )3
k! dX k X=
k=0
= 3 + 32 (X ) + 3 (X )2 + (X )3
Aplicando-se o operador esperanca
E {X 3} = 3 + 3 E {(X )} + 3 E {(X )2 }
= 3 + 3 2
c C. C. Cavalcante
Processos Estoc
asticos
Resultado importante
2k 2k , k = 1, 2, 3, . . . (19)
n 2 o
Prova: Como E X k 0, , temos
n o n o
E X 2k 2 E X k + E 2 0
2k 2 k + 2 0
2
2 k + 2k 0 (equac
ao de 2a ordem)
discriminante 0
42k 42k 0
2k 2k
c C. C. Cavalcante
Processos Estoc
asticos
Desigualdades
Desigualdade de Markoff
Seja X uma v.a. tal que pX (x) = 0 se x < 0
1
Pr{X } , >0 (20)

c C. C. Cavalcante
Processos Estoc
asticos
Desigualdades - cont.
Prova - Desigualdade de Markoff

Z
Pr{X } = pX (x) dx

Z Z Z
= E {X} = x pX (x) dx = x pX (x) dx x pX (x) dx
0
Z
pX (x) dx

Z
pX (x) dx

| {z }
Pr{X}
1
Pr{X }

c C. C. Cavalcante
Processos Estoc
asticos
Desigualdade de Tchebchev
Seja X uma v.a. com distribuic
ao qualquer, ent
ao
2
Pr {|X | } , >0 (21)
2
c C. C. Cavalcante
Processos Estoc
asticos
Prova - Desigualdade de Tchebchev
Z
2 = (x )2 pX (x) dx

Z +
Z Z
= (x )2 pX (x) dx + (x )2 pX (x) dx + (x )2 pX (x) dx
+

Z Z
2 (x )2 pX (x) dx + (x )2 pX (x) dx
+

Z Z
2 2 pX (x) dx + 2 pX (x) dx
+
c C. C. Cavalcante
Processos Estoc
asticos
Prova - Desigualdade de Tchebchev - cont.

Z
Z
2
pX (x) dx + pX (x) dx
2
+
| {z } | {z }
Pr{X} Pr{X+}
2
Pr{X } + Pr{X }
2
2
Pr{|X | }
2
c C. C. Cavalcante
Processos Estoc
asticos
Func
oes caracterstica
Primeira func
ao caracterstica
Z
C() , pX (x) exp(jx) dx (22)

Importante
R
C() , pX (x) exp(jx) dx

C() = F{pX (x)} (transformada de Fourier de pX (x))
c C. C. Cavalcante
Processos Estoc
asticos
Func
oes caracterstica - cont.
Importante - cont.
Notac
ao
Z
PX () = F{pX (x)} = pX (x) exp(jx) dx

E {exp(jX)}
Assim
Z
1
pX (x) = PX () exp(jx) d
2

c C. C. Cavalcante
Processos Estoc
asticos
Func
Primeira func
ao caracterstica - Vari
aveis discretas

X
PX (w) = Pr{X = xi } exp (jxi )
i=
= E {exp(jX)}
c C. C. Cavalcante
Processos Estoc
asticos
Func
Propriedades PX ()
1 |PX ()| 1
Prova:

Z

|PX ()| =
pX (x) exp(jx) dx

Z Z
|pX (x)| | exp(jx)| dx = pX (x) dx

desigualdade de Schwartz
2 PX (0) = 1
c C. C. Cavalcante
Processos Estoc
asticos
Func
Func
ao geradora de momentos
PX () = E {exp(jX)}

X (jX)k
exp(jx) = (S
erie de Taylor em torno de X = 0)
k!
k=
(
)
X (j)k X k
E {exp(jx)} = E k!
k=

X
(j)k n o
E {exp(jx)} = k!
E Xk
k= | {z }
k

X (j)k
PX () = k
k!
k=
c C. C. Cavalcante
Processos Estoc
asticos
Func
Func
ao geradora de momentos - cont.
Ainda

X dk PX () 1
PX () = k
d k =0 k!
k=0
Logo
X X
dk PX () k k
k
= (j)
dwk =0 k!
k
k!
k=0 k=0

k dk PX ()
k (j) =
dwk =0
c C. C. Cavalcante
Processos Estoc
asticos
Func
Exemplo
Sejam X e Y v.a.s independentes com pX (x) e pY (y) conhecidas.
Se Z = X + Y , pZ (z) =?
Soluc
ao
E E
PZ () = {exp(jZ)} = {exp[j(X + Y )]}
Z Z
exp(jX) exp(jY ) pX,Y (x, y) dx dy

Z Z
exp(jX) pX (x) dx exp(jY ) pY (y) dy

| {z } | {z }
E {exp(jX)} E {exp(jY )}
PZ () = PX () PY ()
pZ (z) = pX (x) pY (y)
c C. C. Cavalcante
Processos Estoc
asticos
Func
Segunda func
ao caracterstica
() = ln[PX ()] (23)
Importante
A segunda func
ao caracterstica e tambem chamada de
func
ao geradora de cumulantes
Os cumulantes sao de extrema import
ancia na caracterizac
ao
estatstica de uma v.a.
c C. C. Cavalcante
Processos Estoc
asticos
Cumulantes
Hist
oria
Os cumulantes foram inicialmente introduzidos pelo astronomo,
contador, matematico e estaticista dinamarques Thorvald N. Thiele
(1838-1910) que os denominou semi-invariantes.
O termo cumulante surgiu pela primeira vez em 1931 no artigo The
Derivation of the Pattern Formul of Two-Way Partitions from Those of
Simpler Patterns, Proceedings of the London Mathematical Society,
Series 2, vol. 33, pp. 195-208, publicado pelo geneticista e estaticista Sir
Ronald Fisher e o estaticista John Wishart, eponimo da distribuicao de
Wishart.
O historiador Stephen Stigler comenta que o termo cumulante foi
sugerido a Fisher numa carta de Harold Hotelling. Em um outro artigo
publicado em 1929, Fisher chamou-os de funcoes de momentos
cumulativos.
c C. C. Cavalcante
Processos Estoc
asticos
Cumulantes - cont.
Definic
ao
O cumulante de ordem k e definido como
k ()
k = (24)
k
c C. C. Cavalcante
Processos Estoc
asticos
Cumulantes - cont.
Propriedades dos cumulantes

1 Invari
ancia e equivari
ancia
1 (Y + ) = 1 (Y ) +
k (Y + ) = k (Y )
para uma constante qualquer.

2 Homogeneidade (ou multilinearidade)
k (Y ) = k k (Y )
3 Aditividade
k (X + Y ) = k (X) + k (Y )
se X e Y s
ao v.a.s independentes
c C. C. Cavalcante
Processos Estoc
asticos
Cumulantes - cont.
Cumulantes e momentos
Os cumulantes s ao relacionados com os momentos atraves da
seguinte recurs
ao:
k1
X
k1
k = k i ki (25)
i1
i=1
c C. C. Cavalcante
Processos Estoc
asticos
Cumulantes - cont.
Cumulantes e momentos - cont.

Desta forma, o kesimo momento e um polin omio de grau k dos
k primeiros cumulantes, dados, para o caso em que k = 6, na
seguinte forma:
1 = 1
2 = 2 + 21
3 = 3 + 32 1 + 31
4 = 4 + 43 1 + 322 + 62 21 + 41
5 = 5 + 54 1 + 103 2 + 103 21 + 1522 1 + 102 31
6 = 6 + 65 1 + 154 2 + 154 21 + 1023 + 603 2 1 +
203 31 + 1532 + 4522 21 + 152 41 + 61 .
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
oes de probabilidade importantes - contnuas
v.a. uniforme
S = [a, b]
1
pX (x) = , axb
ba
2
E {X} = a +2 b X2 = (b 12a)
exp(jb) exp(ja)
PX () =
j(a b)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
v.a. exponencial
S = [a, )
pX (x) = exp(x), x 0, 0
E {X} = 1 X2 = 12

PX () =
+ j
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
v.a. gaussiana
S = (, )

1 (x )2
pX (x) = exp , < x < , > 0
2 2 2
E {X} = X2 = 2

j 2 2
PX () = exp
2
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
v.a. Gamma
S = (0, )
(x)1 exp(x)
pX (x) = , x > 0, > 0, > 0
()
E {X} = X2 = 2

1
PX () = exp
(1 + j/)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
v.a. Rayleigh
S = [0, )

x2
x exp 2 2
pX (x) = 2
, x 0, > 0
p
E {X} = /2 X2 = (2 /2)2
v.a. Cauchy
S = (, )
/
pX (x) = 2 , < x < , > 0
x + 2
Media e vari
ancia n
ao existem
PX () = exp(||)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
v.a. laplaciana
S = (, )
exp(|x|)
pX (x) = , < x < , > 0
2
E {X} = 0 X2 = 22
2
PX () = 2
+ 2
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
oes de probabilidade importantes - discretas
v.a. Bernoulli
S = 0, 1
Pr(0) = q = 1 p, Pr(1) = p, 0p1
E {X} = p 2
X = p(1 p)
v.a. binomial
S = 0, 1, . . . , n

n
Pr(k) = pk (1 p)nk , k = 0, 1, . . . , n
k
E {X} = np 2
X = np(1 p)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
oes de probabilidade importantes - discretas
v.a. binomial negativa

S = r, r + 1, . . ., em que r e um inteiro positivo

k1
Pr(k) = pr (1 p)kr , k = r, r + 1, . . .
r1
E {X} = pr X2 = r(1p2 p)
v.a. de Poisson
S = 0, 1, 2, . . .
k
Pr(k) = exp(), k = 0, 1, 2, . . . , >0
k!
E {X} = 2
X =
c C. C. Cavalcante
Processos Estoc
asticos
Correlac
ao e Covari
ancia
Correlac
ao
R(X, Y ) , E {X Y } (26)
Covari
ancia
cov(X, Y ) , E {[X (X)] [Y (Y )]} (27)
c C. C. Cavalcante
Processos Estoc
asticos
Correlac
ao e Covari
ancia - cont.
Propriedades
1 cov(X, Y ) = E {X Y } (X)(Y )
cov(X, Y ) = E {[X (X)] [Y (Y )]}

= E {XY X(Y ) (X)Y + (X)(Y )}
= E {XY } E {X}(Y ) E {Y }(X) + (X)(Y )
= E {XY } (X)(Y ) (Y )(X) + (X)(Y )
= R(X, Y ) (X)(Y )
2 Se X e Y forem independentes
E {XY } = E {X} E {Y } = (X)(Y )

cov(X, Y ) = 0
c C. C. Cavalcante
Processos Estoc
asticos
Correlac
ao e Covari
ancia - cont.
Propriedades - cont.
3 Dizemos que X e Y s
ao descorrelacionados se e somente se
cov(X, Y ) = 0
4 Quando X = Y
cov(X, X) = E {X X} (X)(X)

= E X 2 E 2 {X} = X
2
5 Se cov(X, Y ) = 0 n
ao implica que X e Y s
ao independentes
c C. C. Cavalcante
Processos Estoc
asticos
Correlac
ao e Covari
ancia - cont.
Exemplo
v.a. uniforme entre [0, 2]

X = sin()
Y = cos()
cov(X, Y ) = E {XY } E {X}E {Y }
E {X} = 0 e E {Y } = 0
Z2
E {XY } = E {sin() cos()} = 1
2
sin() cos() d = 0
0
cov(X, Y ) = 0 n
ao implica X e Y independentes!
c C. C. Cavalcante
Processos Estoc
asticos
Correlac
ao e Covari
ancia - cont.
Coeficiente de correlac
ao
cov(X, Y )
XY , (28)
X Y
Propriedade
|XY | 1
c C. C. Cavalcante
Processos Estoc
asticos
Correlac
ao e Covari
ancia - cont.
Propriedade (prova)

E [(X (X)) (Y (Y ))]2 0,

E 2 (X (X))2 + (Y (Y ))2
2 (X (X))(Y (Y ))} 0,
2 X
2
+ Y2 2cov(X, Y ) 0,
(equac
ao do 2o grau para 0)
2 2
= 4 cov (X, Y ) 4 X Y2 0
cov2 (X, Y ) X
2
Y2
cov2 (X, Y )
2XY = 2 2 1
X Y
|XY | 1(c.q.d)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
oes e densidades condicionais
Meta
Caracterizac
ao da distribuic
ao de probabilidade de uma vari avel
aleat
oria condicionada a ocorrencia de outra variavel aleat
oria ou
evento
Definic
ao distribuic
ao cumulativa condicionada
FX (x|A) , Pr {X x|A}
Pr{X x, A} (29)
=
Pr{A}
d
pX (x|A) , FX (x|A)
dx
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
oes e densidades condicionais - cont.
Analisando...
Seja A = {x a}
FX (x|A) = FX (x|X a)
= Pr{X x|X a}
(a) x < a
Xa
x a
FX (x|x a) = 0
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
(a) x a
PSfrag xa
x a
Xx
Rx
pX () d
Pr{X x, X a}
FX (x|x a) = = aR
Pr{X a}
pX () d
a
FX (x) FX (a)
=
1 FX (a)
d
d FX (x) pX (x)
pX (x|X a) = FX (x|X a) = dx =
dx 1 FX (a) 1 FX (a)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Resumindo
pX (x)
pX (x|X a) = R U (x a)
pX () d
0
pX (x|X a)
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Observac
oes
1

Z Z
pX (x)
pX (x|X a) dx = U (x a) dx
R
pX () d
a
R
pX (x) dx
a
= =1
R
pX () d
a
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Observac
oes - cont.
2 E {X|A} =?
A = {X a}
Z
E {X|X a} = x pX (x|X a) dx

Z
xpX (x)
= U (x a) dx
R
pX () d
a
R
x pX (x) dx
E {X|X a} = a
R
pX () d
a
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Observac
oes - cont.
3 Caso em que A = {X = a}
Pr{X x, X = a}
FX (x|X = a) =
Pr{X = a}
| {z }
v.a. contnuaPr{X=a}=0
Relaxando um pouco X = a para

a X aa, a 0(depois)
Pr{X x, a X aa}
FX (x|A) = FX (x|a X aa) =
Pr{a X aa}
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Observac
oes - cont.
Temos 3 situac
oes
X < a FX (x|A) = 0
Pr{aXx}
a X aa FX (x|A) = Pr{aXa+a}
X > a + a FX (x|A) = 1
FX (x|A)
a a + a
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Observac
oes - cont.
Fazendo 0:
FX (x|A)
FX (x|A) = U (x a)
| {z }
funca
o degrau unit
ario
FX (x|X = a) = U (x a)
d
pX (x|X = a) = FX (x|X = a) = (x a)
dx
c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Func
ao densidade condicional de duas vari
aveis aleat
orias
pY (y|x) =?
Pr{Y y, x X x + }
FY (y|x X x + x) =
Pr{x X x + a
Ainda
Zy Z
x+x
Pr{Y y, x X x + x} = pX,Y (, ) dd
x

= pX,Y (x, )x metodo de Euler
Zy
= pX,Y (x, ) d x

c C. C. Cavalcante
Processos Estoc
asticos
Distribuic
Func
ao densidade condicional de duas vari
aveis aleat
orias - cont.
Z
x+x
Pr{x X x + x} = pX () d
= pX (x) x
x
Ry Ry
pX,Y (x, ) d x pX,Y (x, d

FY (y|x)
= =
pX (x) x pX (x)
dFY (y|x) pX,Y (x, y)
pY (y|x) = =
dy pX (x)
Se X e Y forem independentes
pX,Y (x, y) = pX (x) pY (y)

(30)
pY (y|x) = pY (y)
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
ao de mnimos quadrados
1o. Caso
Yb = a = constante
(Yb e estimador de Y )
minimizar {erro quadr

atico medio (EQM)}
a
n o
EQM = E (Y Yb )2 = E {(Y a)2 }
= E {Y 2 2Y a + a2 a}
= E {Y 2 } 2aE {Y } + a2
minimizar(EQM) =?, derivar EQM em relac
ao a a e igualar a zero,
a
dEQM
ou seja, da =0
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
1o. Caso - cont.
= 2E {Y } + 2a = 0 a = E {Y }
dEQM
da
ao-polarizado, pois: E {Yb } = E {Y }
Estimador n
EQMmnimo = E {(Y |{z}

a )2 } = Y2
o
timo
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
2o. Caso
Yb = aX X e v.a. conhecida

min EQM = min E (Y aX)2
a a | {z }
EQM

EQM = E Y 2 2aXY + a2 X 2
EQM = E {Y 2 } 2aE {XY } + a2 E {X 2 }
dEQM
min EQM : =0
a da
2E {XY } + 2aE {X 2 } = 0
E {XY }
a=
E {X 2 }
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
2o. Caso - cont.

n o
E Yb = E {aX}
E {XY } E {X} 6= E {Y }
=
E {X 2 }
Estimador polarizado!
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
3o. Caso
Yb = aX + b

min E [Y (aX + b)]2
a,b | {z }
EQM

EQM = E Y 2 + a2 X 2 + b2 + 2abX 2aY X 2Y b
EQM = E {Y 2}+a2 E {X 2 }+b2 +2abE {X}2aE {XY }2bE {Y }
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
3o. Caso - cont.
= 2aE {X 2 } + 2bE {X} 2E {XY } = 0

EQM
a
= 2b + 2aE {X} 2E {Y } = 0
EQM
b
(
b = E {Y } aE {X}
a = E {XY }bE {X}
E {X 2 }
Utilizando-se substituic
ao obtem-se:
e b = E {Y } E {X}
cov(X, Y ) cov(X, Y )
a= 2 2
X X
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
3o. Caso - cont.

n o
E Yb = E {aX + b} = aE {X} + E {Y } aE {X}
= E {Y }
Estimador n
ao-polarizado!
Vimos que na estimac

ao
n o
min E (Y Yb )2 em queYb = aX + b, obtemos
a,b
(
b = E {Y } aE {X}
a = E {XY }bE {X}
E {X 2 }
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
3o. Caso - cont.

E {(Y Yb ) X }
| {z } |{z}
erro medida
E {(Y aX b) X} = E {XY } aE {X 2 } bE {X} = 0

Ounseja o
E (Y Yb ) X = 0 o erro e ortogonal a medida
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
3o. Caso - cont.

O valor mnimo da soluc
ao
otima:
EQMmnimo = E {(Y aX b)}

= E Y aX E {Y } + aE {X}

| {z }
b
n o
= E [(Y E {Y }) a(X E {X})]2
E {(Y E {Y })2 2a(Y E {Y })(XE {X})+a2 (XE {X})2 }
=
=E {(Y E {Y })2 } +a2 E {(XE {X})2 } 2a E {(Y E {Y })(XE {X})}

| {z } | {z | } {z }
2 2 cov(X,Y )
Y X
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
3o. Caso - cont.

Logo:
EQMmnimo = Y2 + a2 X
2
2acov(X, Y )
cov(X,Y )
Mas a = 2
X
, ent
ao substituindo
cov(X, Y )
EQMmnimo = Y2 2
X
EQMmnimo = (1 2XY ) Y2
Se XY = 1 EQMmnimo = 0
Se XY = 1 EQMmnimo = Y2
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
4o. Caso

min
f (x)
E
|
[Y f (X)]2
{z }
EQM

EQM = EX EX|Y [Y f (X)]2
Z

EX|Y [Y f (X)]2 = (y f (x))2 pY |X (y|x) dy
| {z } | {z }
0 0
Pode-se reescrever o problema como:
Z

min
f (x)
EX|Y [Y f (X)]2 = (y f (x))2 pY |X (y|x) dy

c C. C. Cavalcante
Processos Estoc
asticos
Estimac
4o. Caso - cont.

Regra de Leibnitz
2R(x) 2R(x)
d d2 (x) d1 (x)
dx
F (x,) d= F (x,) d+ dx
F (x,2 (x)) dx F (x,1 (x))
1 (x) 1 (x)
Ent
ao, temos (z = f (x))
Z Z
d 2
(y z) pY |X (y|x) dy = (2)(y z)pY |X (y|x) dy = 0
dz

Z Z
ypY |X (y|x) dy = f (x)pY |X (y|x) dy

E {Y |X} = f (x)
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
4o. Caso - cont.

Note que:
n o
E Yb = E {f (X)} = EX EX|Y {Y |X}
E {Y }
f (X) e um estimador nao-polarizado!

EQMmnimo = EY |X (Y E {Y |X})2
Z
= (y E {Y |X})2 pY |X (y|x) dy

c C. C. Cavalcante
Processos Estoc
asticos
Estimac
4o. Caso - cont.
Z
E {Y |X} = y pY |X (y|x) dySe X e Y forem independentes:

pY |X (y|x) = pY (y)
E {Y |X} = E {Y }
EQMmnimo = Y2 |X = Y2
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
Caso particular
Yb = a
min
a
E {|Y a|}
Z
E {|Y a|} = |y a| pY (y) dy = EAM
| {z }
Erro absoluto m
edio
Z Za
= (y a) pY (y) dy + (a y) pY (y) dy
a
c C. C. Cavalcante
Processos Estoc
asticos
Estimac
Caso particular - cont.

dEAM
=0
da
Z Za
dEAM
= (1) pY (y) dy + 1 pY (y) dy
da

|a {z } | {z }
[1FY (a)] FY (a)=Pr{Y a}
dEAM
= 1 + 2FY (a) = 0
da
1
FY (a) =
2
otimo tal que FY (a) = 12 - a e chamado de mediana.
a
A mediana coincide com a media quando pY (y) for simetrica
c C. C. Cavalcante
Processos Estoc
asticos
Teorema Central do Limite
Muitos problemas em v.a. envolvem uma composic

ao de
eventos combinados
Tais fen
omenos resultants podem ser reduzidos, de forma
exata ou aproximada, por uma soma de variaveis
independentes
O estudo deste tipo de fenomenos resulta no mais importante
teorema relativo a var
aveis aleat
orias: o Teorema Central do
Limite
O estudo dele no entanto repousa sobre `
a chamada Lei dos
Grande Numeros
c C. C. Cavalcante
Processos Estoc
asticos
Soma de vari aveis aleatorias

Seja X1 , X2 , . . . , Xn uma sequencia de vari
aveis aleat
orias e
Sn = X1 + X2 + . . . + Xn sua soma.
Ent
ao temos:
Xn
E {Sn } = E {Xi } (31)
i=1
Ou seja, a media de uma soma de v.a.s e a soma das medias das

v.a.s
Entretanto, no caso da vari
ancia isso e mais complexo.
c C. C. Cavalcante
Processos Estoc
asticos
Soma de vari aveis aleat

orias - cont.
Para chegar ao resultado da vari ancia da soma de n vari
aveis
aleat
orias, vamos considerar inicialmente duas, ou seja
S2 = X1 + X2 . Ent ao

var(S2 ) = E (S2 E {S2 })2 = E {X1 + X2 E {X1 } E {X2 }}
n o
= E [(X1 E {X1 }) + (X2 E {X2 })]2
Ent
ao, ap
os simplificac
oes chegamos ao seguinte resultado
var(S2 ) = var(X1 ) + var(X2 ) + 2cov(X1 , X2 )
Ou seja, as covari
ancias s
ao levadas em conta no c
alculo da
vari
ancia da soma de v.a.
c C. C. Cavalcante
Processos Estoc
asticos
Soma de vari
aveis aleat
orias - cont.
Ao fazermos as contas para a soma de n v.a.s
(Sn = X1 + X2 + . . . + Xn ) temos
n
X n X
X n
var(Sn ) = var(Xi ) + cov(Xi , Xj )
i=1 j=1 i=1
j6=
Entretanto, para v.a. independentes temos

n
X
var(Sn ) = var(Xi )
i=1
uma vez que cov(Xi , Xj ) = 0i 6= j
c C. C. Cavalcante
Processos Estoc
asticos

orias - cont.
Se as v.a.s Xi forem independentes e todas tiverem media e
ancia 2 teremos ent
vari ao para Sn = X1 + X2 + + Xn :
E {Sn } = n
var(Sn ) = n 2
c C. C. Cavalcante
Processos Estoc
asticos
Soma de variaveis aleat

orias - cont.
Para calcular a pdf de uma soma de n ent ao de vari
aveis aleat orias
independentes, podemos ent ao fazer uso da func
ao caracterstica.
Usando primeiro, o caso para n = 2(S2 = X1 + X2 ):
PS2 () = E {exp(jS2 )}
= E {exp[j(X1 + X2 )]}
= E {exp(jX1 ) exp(jX2 )}
= E {exp(jX1 )} E {exp(jX2 )}
= PX1 ()PX2 ()
Assim, para o caso de duas vari

aveis
pS2 (s) = pX1 (x) pX2 (x)
c C. C. Cavalcante
Processos Estoc
asticos
Soma de variaveis aleat

orias - cont.
Para n vari
aveis (Sn = X1 + X2 + . . . + Xn ):
PSn () = E {exp(jSn )}
= E {exp[j(X1 + X2 + . . . + Xn )]}
= E {exp(jX1 ) exp(jX2 ) exp(jXn )}
= E {exp(jX1 )} E {exp(jX2 )} E {exp(jXn )}
= PX1 ()PX2 () PXn ()
Logo, a densidade de probabilidade ser

a dada por:
pSn (X) = F1 {PX1 ()PX2 () PXn ()}
c C. C. Cavalcante
Processos Estoc
asticos

orias - cont.
Seja Sn = X1 + X2 + . . . + Xn a soma de n v.a. independentes e
gaussianas com medias e vari ancias, 1 , 2 , . . . , mn e
12 , 22 , . . . , n2 . Temos que a funcao caracterstica de Xk e:

2 k2
PXk = exp jk
2
Ent
ao, pelo resultado anterior
PSn () = PX1 ()PX2 () PXn ()

2 (12 + . . . + n2 )
= exp j(1 + . . . + n )
2
que e a func
ao caracterstica de uma vari
avel aleat
oria gaussiana
com media = 1 + . . . + n e vari ancia 2 = 12 + . . . + n2
c C. C. Cavalcante
Processos Estoc
asticos
Soma de variaveis aleatorias - cont.

Se as vari
aveis Xi que comp oem a soma forem independentes e
identicamente distribudas, cada uma com func
ao caracterstica
PXk () = PX ()
ent
ao, a func
ao caracterstica da soma ser
a
PSn () = [PX ()]n
c C. C. Cavalcante
Processos Estoc
asticos
Media das Amostras e Lei dos Grandes N umeros

Seja X uma v.a. cuja media E {X} = e desconhecida. Seja
X1 , . . . , Xn n repetic
oes independentes medidas de X, ou seja, os
Xi s sao vari aveis independentes identicamente distribudas (iid)
com a mesma pdf de X. A media das amostras da seq uencia
usada para estimar E {X} e dada por:
X n
cn = 1
M Xj (32)
n
j=1
Qual a media e a vari dn de tal forma que ele e

ancia do estimador M
um bom estimador de E {X}? E qual a influencia do n no
estimador?
c C. C. Cavalcante
Processos Estoc
asticos
Media das Amostras e Lei dos Grandes N umeros - cont.

A media das amostras e ele mesmo uma v.a. desta maneira ir a
exibir caractersticas de variac
ao aleat
oria. Um bom estimador
deve possuir duas propriedades:
1 Deve ser n
ao-polarizado, ou seja, na media seu valor deve
tender para o valor da vari
avel;
2 N
a
o deve variar
muito em torno do valor correto, ou seja,
2
E M dn deve ser pequeno
c C. C. Cavalcante
Processos Estoc
asticos
Media das Amostras e Lei dos Grandes N

umeros - cont.
Valor esperado do estimador:

n o 1 X n 1X
n
E M dn = E
n
Xj

=
n
E {Xj }
j=1 j=1
1
= n
n
=
Assim, temos um estimador n

ao-polarizado.
c C. C. Cavalcante
Processos Estoc
asticos
Media das Amostras e Lei dos Grandes N

umeros - cont.
J
a a vari
ancia:
2 2
var(Mn ) = E
d d
Mn =E Mn E {Mn }
d d
dn = Sn , ent
Deve-se notar que M ao, como
n
2
var(Sn ) = nvar(Xj ) = n , uma vez que Xi s
ao i.i.d.. Logo
dn ) = 1 n 2 2
var(M var(S n ) = =
n2 n2 n
Assim, a vari
ancia tende a zero quando o n
umero de amostras
aumenta! Isto implica que a probabilidade the a media amostral
seja pr
oxima do valor correto tende a um quando n se assume um
valor grande.
c C. C. Cavalcante
Processos Estoc
asticos

A afirmac
ao anterior pode ser ent
ao formalizada por meio do uso
da desigualdade de Tchebchev:
n n o o var(M
dn )
n E Mn
d d
Pr M
2
Ent
ao, substituindo os valores, temos:
n o 2
d
Pr Mn
n2
Considerando o complemento:
n o 2
d
Pr Mn < 1 (33)
n2
c C. C. Cavalcante
Processos Estoc
asticos

Note que se n ent ao
n o
d
lim Pr M n < =1
n
Este resultado nos remete ent

ao para duas importantes leis em
estatstica
1 Lei fraca dos grandes n
umeros;
2 Lei forte dos grandes n
umeros
c C. C. Cavalcante
Processos Estoc
asticos
Lei Fraca dos Grandes N umeros

Seja X1 , X2 , . . . uma seq
uencia de v.a. i.i.d. com media
E {X} = , entao para > 0
n o
d
lim Pr M n < = 1 (34)
n
A lei fraca dos grandes n

umeros afirma que para um valor fixo n
suficientemente grande , a media amostral usando n valores vai ser
pr
oxima do valor correto com alta probabilidade.
c C. C. Cavalcante
Processos Estoc
asticos
Lei Forte dos Grandes N umeros

Seja X1 , X2 , . . . uma seq
uencia de v.a. i.i.d. com media finita
E {X} = e variancia finita, entao
n o
Pr lim M dn = = 1 (35)
n
Embora semelhante a lei fraca dos grandes n umeros, h

a uma
diferenca crucial. Ela afirma que com probabilidade um, toda
sequencia usada para calculo da media amostral vai eventualmente
se aproximar e permanecer pr oxima a E {X} = . Este e o tipo de
convergencia que se espera em situac oes fsicas nas quais a
regularidade estatstica se mantem.
c C. C. Cavalcante
Processos Estoc
asticos
Teorema
Seja Sn uma soma de n v.a. i.i.d. com media finita E {X} e
ancia finita 2 , e seja Zn uma v.a. de media nula e vari
vari ancia
unit
aria, definida por
Sn n
Zn =
n
ent
ao
Zz
1 x2
lim Pr{Zn z} = exp dx (36)
n 2 2

c C. C. Cavalcante
Processos Estoc
asticos
Prova do Teorema Central do Limite

n
Sn n 1 X
Zn = = (Xk )
n n
k=1
A funcao caracterstica de Zn e dada por

PZn () = E {exp(jZn )}
( n
" #)
= E j X
exp

n k=1
(Xk )
( n )
E j(Xk )
Y
= exp
k=1
n
n
E j(Xk )
Y
= exp
k=1
n
n
= Eexp
j(Xk )

n
c C. C. Cavalcante
Processos Estoc
asticos
Prova do Teorema Central do Limite - cont.

Expandindo a exponencial em serie de Taylor, temos

E exp
j(X )

n

(j)2
= E 1+
j
(X ) +
n 2!2 n
(X )2
+ R()
2
=1+
j

n
E {(X )} + 2!
(j)
2n
E {(X )2 } + E {R()}
Notando que E {(X )} = 0 e E {(X )2 } = 2 , temos

2
E exp j(X )

n
=1
2n
+ E {R()}
O termo E {R()} pode ser desprezado em relacao a 2

2n quando n
torna-se grande.
c C. C. Cavalcante
Processos Estoc
asticos
Prova do Teorema Central do Limite - cont.

Ao substituirmos o resultado anterior na formula da funcao
caracterstica de Zn , tem-se
n
2
PZn () = 1
2n
E sabe-se que

2
PZn () exp , quando n
2
O resultado acima e a func

ao caracterstica de uma v.a. gaussiana
de media zero e vari aria. c.q.d.
ancia unit
c C. C. Cavalcante
Processos Estoc
asticos

Variaveis Aleatorias

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Variaveis Aleatorias

Enviado por

Direitos autorais:

Formatos disponíveis

Processos Estocasticos

Charles Casimiro Cavalcante

Grupo de Pesquisa em Telecomunicaco

Variaveis Aleatorias: Conceitos e Fundamentos

{X : S R, X(w) (, x], w S} F (7)

FX (x) , Pr{X x} (8)

Mas sabe-se que

erf(x) = FZ (x) = Pr{Z x}

FX,Y (x, y) = Pr {X x, Y y} (12)

FX,Y (x, y) = FX (x) FY (y) (14)

FX,Y (x, y) = Pr{ X x, Y y }

Uma vez que, como ja discutido, as vari aveias aleatorias n

O histograma serve ent ao para comparar com determinadas

para X v.a. contnua

OBS: Se pX (x) for simetrico em relac

Pergunta: Num jogo de moeda, qual a media? E no caso de uma

Os momentos de uma vari avel aleat

ao a media ck = 0 para k mpar!

E possvel escrever os momentos centrados em func

Aproximando X 3 em serie de Taylor

Aplicando-se o operador esperanca

Prova - Desigualdade de Markoff

Prova - Desigualdade de Tchebchev

Prova - Desigualdade de Tchebchev - cont.

() = ln[PX ()] (23)

Propriedades dos cumulantes

para uma constante qualquer.

Cumulantes e momentos - cont.

v.a. binomial negativa

cov(X, Y ) = E {[X (X)] [Y (Y )]}

E {XY } = E {X} E {Y } = (X)(Y )

Relaxando um pouco X = a para

pX,Y (x, y) = pX (x) pY (y)

minimizar {erro quadr

1o. Caso - cont.

EQMmnimo = E {(Y |{z}

2o. Caso - cont.

3o. Caso - cont.

= 2aE {X 2 } + 2bE {X} 2E {XY } = 0

3o. Caso - cont.

Vimos que na estimac

3o. Caso - cont.

E {(Y aX b) X} = E {XY } aE {X 2 } bE {X} = 0

3o. Caso - cont.

EQMmnimo = E {(Y aX b)}

=E {(Y E {Y })2 } +a2 E {(XE {X})2 } 2a E {(Y E {Y })(XE {X})}

3o. Caso - cont.

Pode-se reescrever o problema como:

4o. Caso - cont.

4o. Caso - cont.

4o. Caso - cont.

Caso particular - cont.

Muitos problemas em v.a. envolvem uma composic

Soma de vari aveis aleatorias

Ou seja, a media de uma soma de v.a.s e a soma das medias das

Soma de vari aveis aleat

var(S2 ) = var(X1 ) + var(X2 ) + 2cov(X1 , X2 )

Entretanto, para v.a. independentes temos

uma vez que cov(Xi , Xj ) = 0i 6= j

Soma de vari aveis aleat

Soma de variaveis aleat

Assim, para o caso de duas vari

pS2 (s) = pX1 (x) pX2 (x)