Escolar Documentos
Profissional Documentos
Cultura Documentos
Curso 2012-2013
Contenido
Introduccin
Procesos estocsticos
Variables aleatorias
Una variable aleatoria
Dos variables aleatorias
Caracterizacin de procesos estocsticos
Procesos estocsticos estacionarios
Procesos estocsticos ergdicos
Procesos estocsticos Gausianos
Ejemplos de modelos de procesos estocasticos
Proceso estocstico ruido blanco
Procesos MA(q)
Procesos AR(p)
Estimacin de los parmetros de un proceso estocstico
Estimacin de parmetros de procesos estocsticos: Mtodo general
Estimacin de parmetros de procesos estacionarios
Estimacin de parmetros de procesos ergdicos
Estimacin de parmetros de procesos AR(p)
v (m/s)
v (m/s)
5
0
5
v (m/s)
5
0
5
v (m/s)
5
0
5
5
0
5
v (m/s)
5
0
5
v (m/s)
100
200
300
400
500
100
200
300
400
500
100
200
300
400
500
100
200
300
400
500
100
200
300
400
500
100
200
300
Tiempo (seg)
400
500
5
0
5
Tenemos que:
Se ha registrado un dato cada 0.25 segundos durante 10 minutos
Seales discretas.
Podemos organizar los datos en forma matricial
v1 (t)
v1 (t1 ) v1 (t2 ) v1 (t3 ) v1 (t2400 )
v2 (t) v2 (t1 ) v2 (t2 ) v2 (t3 ) v2 (t2400 )
(1)
v4 (t) v4 (t1 ) v4 (t2 ) v4 (t3 ) v4 (t2400 )
Procesos estocsticos
Un proceso estocstico es una secuencia de variables aleatorias.
v1 (t)
v1 (t1 ) v1 (t2 ) v1 (t3 )
v2 (t) v2 (t1 ) v2 (t2 ) v2 (t3 )
vn (t)
v6 (t1 ) vn (t2 ) vn (t3 )
{V (t)} = V (t1 ) V (t2 )
de variables aleatorias:
v1 (t2400 )
v2 (t2400 )
(2)
vn (t2400 )
V (t3 )
V (t2400 )
(3)
Variables aleatorias
Una variable aleatoria es una funcin que asigna un nmero real al
resultado de un experimento aleatorio.
Esperanza
E (x) =
x fX (x)dx
E (ax + b) = aE (x) + b
8
Varianza
2
Var (X ) = E (X E (x))
(x E (x))2 fX (x)dx
Ejemplo
Sea X una variabla aleatoria con funcin de densidad de probabilidad
dada por la figura. Calcular la media y la varianza de X .
Segn la figura
fX (x) =
Como
Z
fX (x)dx = 1
a
x
2
a
a
xdx =
2
2
xdx = 1 a = 1
0
10
Por tanto
fX (x) =
E (x) =
x fX (x)dx =
+
x 2 fX (x)dx =
1
1
x xdx =
2
2
E (x 2 ) =
1
x
2
1
1
x 2 xdx
2
2
x 2 dx =
4
3
x 3 dx = 2
0
(x E (x))2 fX (x)dx
2
4
1
2
x
xdx =
3
2
9
11
Distribuciones conjuntas
Sean dos variables aleatorias continuas X , Y :
fX (x) =
fY (y ) =
Z +
12
Covarianza
Cov (X , Y ) = E ((X E (x))(Y E (y )))
Z + Z +
=
(X E (x))(Y E (y ))fXY (x, y )dxdy
N variables aleatorias
X1
X2
X =
Xn
Se tiene que
E (X1 )
E (X2 )
E (X ) =
E (Xn )
Var (X1 )
Cov (X2 , X1 )
Var (X ) =
Cov (Xn , X1 )
Cov (X1 , X2 )
Var (X2 )
Cov (Xn , X2 )
Cov (X1 , Xn )
Cov (X1 , Xn )
Var (Xn , Xn )
14
Transformaciones lineales
Y = AX + b =
b1
X1
a11 a12 a1n
Y1
Y2 a21 a22 a2n X2 b2
=
+
bn
Xn
an1 an2 ann
Yn
E (Y ) = AE (X ) + b =
b1
E (X1 )
a11 a12 a1n
E (Y1 )
E (Y2 ) a21 a22 a2n E (X2 ) b2
= +
bn
E (Xn )
an1 an2 ann
E (Yn )
15
Transformaciones lineales
Var (Y ) = AVar (X )AT =
Var (Y1 )
Cov (Y , Y )
2
1
Cov (Yn , Y1 )
a11
a
21
=
an1
a12
a22
an2
Cov (Y1 , Y2 )
Var (Y2 )
Cov (Yn , Y2 )
a1n
Var (X1 )
a2n
Cov (X2 , X1 )
ann
Cov (Xn , X1 )
Cov (X1 , X2 )
Var (X2 )
Cov (Xn , X2 )
Cov (Y1 , Yn )
Cov (Y1 , Yn )
Var (Yn , Yn )
Cov (X1 , Xn )
a11
Cov (X1 , Xn )
a12
Var (Xn , Xn )
a1n
a21
a22
a2n
an1
an2
ann
Independencia
Las vaiables aleatorias X1 , X2 , , Xn son independientes si y slo si
fX (X1 , X2 , . . . , Xn ) = f (X1 ) f (X2 ) f (Xn )
16
{X (t)} = X (t1 )
X (t2 ) X (t3 )
x1 (tN )
x2 (tN )
xn (tN )
X (tN )
17
Funcin de medias:
X (tj ) = E (X (tj )) =
(4)
n
1X
X (tj ) = lim
xi (tj )
n n
(5)
i=1
n
1X 2
xi (tj )
n n
X2 (tj ) = lim
i=1
19
n
1X
(xi (tj ) X (tj ))2
n n
X2 (tj ) = lim
i=1
2 = E (x 2 ) (E (x)) = 2 2
Funcin de autocorrelacin:
RXX (tj , tk ) = E (X (tj )X (tk )) =
n
1X
RXX (tj , tk ) = lim
xi (tj )xi (tk )
n n
i=1
20
Funcin de autocovarianza:
XX (tj , tk ) = cov (X (tj ), X (tk )) = E ((X (tj ) X (tj )) (X (tk ) X (tk ))) =
= E (X (tj )X (tk )) X (tj )X (tk ) =
= RXX (tj , tk ) X (tj )X (tk )
21
fX (tj ) = fX (tk )
X (tj ) = X (tk )
X2 (tj ) = X2 (tk )
X (tj )
X2 (tj )
RXX (tj , tk )
1X
xi (tj )
n n
X (tj ) = lim
i=1
N
1 X
xi (tj ) = xi
N N
= lim
j=1
23
1X
(xi (tj ) X (tj ))2
n n
X2 (tj ) = lim
i=1
N
1 X
(xi (tj ) xi )2 = x2i
N N
= lim
j=1
i=1
N
1 X
xi (tj )xi (tj + )
N N
= lim
j=1
24
Para que un proceso sea ergdico primero tiene que ser estacionario.
El recproco no es cierto.
25
26
Ejemplo
Sean Y1 , A2 , ..., A10 variables aleatorias independientes con distribucin
Y1 N(0, 2 = 1), Ai N(0, 2 = 0, 5). Sea el proceso estocstico
definido por Yt = 2Yt1 + At , para t = 2, ..., 10.. Calcular
Solucin
E (Y1 ) = 0;
Y2 = 2Y1 + A2 E (Y2 ) = 2E (Y1 ) + E (A1 ) = 0;
En general, E (Yt ) = 0 t
Y2 = 2Y1 + A2
Var (Y2 ) = 4Var (Y1 ) + Var (A2 ) + 4Cov (Y1 , A2 )
indep.
28
Ejemplo
Sea X una variable aleatoria con distribucin uniforme (1, 1) e
Y1 , ..., Y10 variables aleatorias independientes con distribucin uniforme
(1/10, 1/10). Sea el proceso estocstico definido por Zt = tX + Yt ,
para t = 1, 2, ..., 10. Calcular:
La funcin de medias del proceso E (Zt )
La funcin de momentos de segundo orden E (Z1 Z2 ).
Coeficiente de correlacin del proceso para Z1 y Z2 . Es estacionario
el proceso?
Solucin
Las funciones de densidad de X e Y se pueden representar como
29
Para empezar
R1
E (X ) = 1 x 12 dx = 0;
R1
E (X 2 ) = 1 x 2 12 dx = 1/3;
R 1/10
E (Yt ) = 1/10 y 5dy = 0;
R 1/10
E (Yt2 ) = 1/10 y 2 5dy = 1/300
30
w2 ,
w2
si h = 0
si h =
6 0
t, h
31
50
100
150
200
250
300
350
400
450
500
350
400
450
500
vt=1/3(wt1+wt+wt+1)
4
50
100
150
200
250
300
32
Funcin de medias:
1
vt = E (vt ) = E ( (wt1 + wt + wt+1 ))
3
1
= (E (wt1 ) + E (wt ) + E (wt+1 )) = 0 t
3
Funcin de autocovarianzas
v (s, t) = E ((vs 0)(vt 0))
1
= E ((ws1 + ws + ws+1 )(wt1 + wt + wt+1 )
9
Es conveniente calcularla en funcin de la separacin s t = h,
h = 0, 1, 2
Para h = 0
1
E ((wt1 + wt + wt+1 )(wt1 + wt + wt+1 )
9
1
3
= (E (wt1 wt1 ) + E (wt wt ) + E (wt+1 wt+1 )) =
9
9
v (t, t) =
33
Para h = 1
1
E ((wt + wt+1 + wt+2 )(wt1 + wt + wt+1 )
9
1
2
= (E (wt wt ) + E (wt+1 wt+1 )) =
9
9
v (t + 1, t) =
3/9
2/9
v (s, t) =
1/9
si
si
si
si
s=t
|s t| = 1
|s t| = 2
|s t| 3
w (t, t + h) = v (h) =
t
3/9
2/9
1/9
0
si
si
si
si
h=0
h = 1
h = 2
|h| 3
34
35
Definicin
Un proceso media mvil de orden q, o MA(q), se definide mediante
xt = wt + 1 wt1 + 2 wt2 + + q wtq
dnde hay q retardos en la media mvil y 1 , 2 , , q (q 6= 0) son
parmetros.
Se asume que wt es ruido blanco Gausiano, wt N(0, w2 ).
Un proceso MA(q) siempre es estacionario y ergdico.
36
Definicin
Un proceso autoregresivo de orden p, o AR(p), se definide mediante
xt = 1 xt1 + 2 xt2 + + p xtp + wt
dnde hay p retardos y 1 , 2 , , p (p 6= 0) son parmetros.
Salvo indicacin expresa, wt es ruido blanco Gausiano, wt N(0, w2 ).
Se ha asumido que la media de xt es cero. Si la media es 6= 0 entonces
xt = 1 (xt1 ) + 2 (xt2 ) + + p (xtp ) + wt
xt = + 1 xt1 + 2 xt2 + + p xtp + wt
donde
= (1 1 p )
Recordad que una regresin lineal tiene la forma
xt = 1 zt1 + 2 zt2 + + q ztq + wt
(de ah el nombre de autoregresivo)
37
Definicin
Se define el operador retardo por
Bxt = xt1
2
(B) = (1 1 B 2 B 2 p B p ), B C
Estimacin de parmetros
POBLACIN: , 2 .
MUESTRA ALEATORIA SIMPLE: {X1 , X2 , . . . , Xn }
Media y varianza muestral: x =
n
1X
Xi ,
n
i=1
s2 =
n
1X
(Xi x)2
n
i=1
Mtodo general
Sean M realizaciones de un proceso estocstico, M 20:
Media:
n
n
1X
1X
X (tj ) = xj , xj =
xi (tj ) =
xij
n
n
i=1
i=1
i=1
Varianza:
n
sX2 (tj ) =
1 X
(xi (tj ) xj )2
n1
i=1
Funcin de autocorrelacin:
n
X
XX (tj , tk ) = 1
xi (tj )xi (tk )
R
n
i=1
40
sX2 =
1
N
N
X
sX2 (tj )
j=1
41
Nj
1 X
RXX (tk , tk + j ),
N j
0 tk , j Nt
k=1
donde j = jt, j = 1, 2, . . . , N.
42
N
1 X
xj
N
j=1
sx2 =
N
1 X
(xj x)2
N
j=1
XX (j ) =
R
Nj
1 X
xk xk+j
N j
k=1
xp+1
xp
xp1
xp+2 xp+1
xp
xp+3 xp+2 xp+1
xp+4 = xp+3 xp+2
xN
xN1 xN2
wp+1
wp+2
1
2 wp+3
+
wp+4
p
wN
xNp
x1
x2
x3
x4
X = M + W
donde el vector W ha de ser mnimo mnimos cuadrados
||W ||2 =
N+p
X
wi2 es mnimo
i=p+1
44
Para que ||W ||2 sea mnimo, W tiene que ser perpendicular al espacio
vectorial generado por las columnas de M
MT W = 0
+ W MT X = MT M
+ MT W
X = M
= (M T M)1 M T X
MT X = MT M
45
x1t Tablate
0.5
0.5
10
15
20
25
30
35
40
25
30
35
40
25
30
35
40
M (Ar(4))
0.5
0.5
10
15
20
Wt (Ar(4))
0.5
0.5
10
15
20
t (s)
46