INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Introdução aos Processos

Estocásticos

Professor: André Luiz Arruda Marques

(Eng. Eletricista)

Livro:
Peebles, Peyton Z. Probability, random
variables, and random signal principles. 3ª Ed.
1993 – Mc Graw Hill.

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 1

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Ementa do curso
• Processos aleatórios: Conceitos básicos, descrição de um
processo estocástico, momentos.
• Distribuição gaussiana. Estacionaridade, ergocidade.
• Média, correlação, covariância.
• Transmissão de processos aleatórios por filtros lineares. Função
de autocorrelação. Correlação cruzada.
• Sistemas com entradas estocásticas.
• Processo estocástico no domínio da freqüência.
• Análise espectral. Densidade espectral de potência. Correlações
e espectro. Transformadas de Hilbert. Ruídos. Densidade
espectral cruzada.
• Processos estocásticos e sistemas lineares.
• Integral estocástica. Derivada de processos estocásticos.
• Processos estocásticos usuais.
• Cadeias de Markov.
• Introdução à Teoria das filas.

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 2

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Definição: Processo estocástico

• Processo onde surge um fenômeno aleatório
que evolui ao longo do tempo e que de
alguma forma pode ser controlado por leis de
probabilidade.
• Coleção de variáveis aleatórias {X(t ), t ∈ T} onde
t representa, na maioria das vezes, o tempo, e
X(t) representa o estado do processo no tempo.
• Coleção de variáveis aleatórias indexadas num
conjunto T.

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 3

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Problemas usuais surgem...

• Quando um cientista faz medições em seu

laboratório;

• Quando um meteorologista tenta fazer previsões

sobre o tempo;

• Quando um economista estuda as flutuações de

preços ou ciclos de negócios;

• ...
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 4
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Representação:
Sabendo-se que t também é uma variável,
entende-se que todo Xi é uma variável aleatória
derivada do processo estocástico X(t ) para o
instante de tempo ti.

Xi = X(t i , s ) = X(t i )

Para um determinado valor constante de t e s o

processo estocástico é representado por um mero
número.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 5
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Classificação:

Dados t e X( t ), temos:

• X e t são contínuos Æ Processo aleatório

contínuo.
• X é discreto e t contínuo Æ Processo aleatório
discreto.
• X é contínuo e t discreto Æ Seqüência aleatória
contínua.
• X e t são discretos Æ Seqüência aleatória
discreta.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 6
INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Exemplos:

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 7

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Mais classificações:

• Processo determinístico: Consegue-se prever os

valores futuros da função através dos valores
passados;
Ex: X( t ) = Acos(ωt + φ), onde A, ω e φ podem ser
variáveis aleatórias.

• Processo não-determinístico: Não se consegue

prever os valores futuros da função, dados os
valores passados;

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 8

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Processo estacionário
• As variáveis aleatórias possuem propriedades
estatísticas tais como: valor médio, momentos,
variâncias, etc; todas relacionadas a sua função
densidade.

• Em um processo dito estacionário todas estas

propriedades estatísticas não mudam com os
incrementos de tempo.

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 9

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

OBSERVAÇÃO:

Esta característica não pretende definir a

estacionariedade de um processo, mas sim utilizá-
la, de uma forma geral.
Serão feitas definições mais relevantes durante
as apresentações. De fato, pois existem vários
níveis de estacionariedade, todos dependentes da
função densidade de cada processo estocástico de
variáveis aleatórias.

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 10

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Funções distribuição e densidade:

• O 1º passo para definir estacionariedade é
definir as funções densidade e distribuição
para os processos estocásticos X ( t ).
• Para t = t1, a função de distribuição associada à
VA X1 = X( t1 ), pode ser escrita como:

FX (x1; t1 ) = P{X(t1 ) ≤ x1}, (x1 ∈ R)

Ou seja, a mesma definição usada para as VA’s
estudadas anteriormente, incluindo apenas o
instante de tempo t1.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 11
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Para duas VA’s x1 = X(t1 ) e x 2 = X(t 2 ) a função

de distribuição de 2ª ordem é:
FX (x1, x 2 ; t1, t 2 ) = P{X(t1 ) ≤ x1, X(t 2 ) ≤ x 2 }
Assim, para N VA’s x i = X(t i ), i = 1,2,3,..., N, a
função de distribuição de n-ésima ordem é:
FX (x1,..., xN; t1,..., t N ) = P{X(t1 ) ≤ x1,..., X(t N ) ≤ xN }
As funções densidade são, então:
dFX (x1; t1 ) ∂ FX (x1, x 2 ; t1, t 2 )
2
fX (x1; t1 ) = ; fX (x1, x 2 ; t1t 2 ) =
dx1 ∂x1∂x 2

∂ FX (x1,..., x N; t1,..., t N )
N
f X (x1,..., x N; t1,...,t N ) =
∂x1...∂x N
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 12
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Independência estatística:
Dois processos X(t ) e Y (t ) são estatisticamente
independentes se os grupos de VA’s
X(t1 ), X(t 2 ),..., X(t N ) e Y (t'1 ), Y (t'2 ),..., Y (t'M ) são
independentes para os intervalos t1, t2, ..., tN, t’1, t’2,
..., t’M.
A independência exige que a função densidade
seja fatorável em grupos:

fXY (x1,..., xN, y1,..., y M; t1,..., t N, t1' ,..., t M' ) =

fX (x1,..., xN ; t1,..., tN ).fY (y1,..., yM; t'1 ,..., t'M )
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 13
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Processo estacionário de 1ª ordem

Um processo é dito estacionário de 1ª ordem se a função

densidade de 1ª ordem não sofrer mudanças com um salto em
torno da origem, ou seja: fX (x1; t1 ) = fX (x1; t1 ± Δ ) ∀t1 e Δ ∈ R
Como conseqüência temos que o valor médio do processo passa
a ser uma constante: E[X(t )] = x = constante
Para verificar a identidade anterior usaremos as igualdades
X1 = X(t1 ) e X 2 = X(t 2 ).
+∞
Para X1, temos: E[X1 ] = E[X(t1 )] = ∫ x1f X (x1; t1 ) dx1
−∞
+∞
Para X2, temos: E[X 2 ] = E[X(t 2 )] = ∫ x1f X (x1;t 2 )dx1
−∞
Mas t2 = t1 + Δ, logo:
E[X(t 2 )] = E[X(t1 + Δ )] = E[X(t1 )] = Constante , pois t1 e Δ são valores
arbitrários.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 14
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Processo estacionário de 2ª ordem

Um processo é dito estacionário de 2ª ordem se
a função densidade de 2ª ordem satisfaz a seguinte
condição:

fX (x1, x 2 ; t1, t 2 ) = fX (x1,x 2 ; t1 + Δ, t 2 + Δ )∀t1, t 2 e Δ

Após análise podemos concluir que para um

determinado Δ = − t1 a função passa a ser uma
função da diferença de tempo t2 −t1 e não do tempo
absoluto.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 15
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Correlação

A correlação E[X1X 2 ] = E[X(t1 )X(t 2 )] de um processo

estocástico será, de uma forma geral, uma função de t1 e t2.
Representada por R XX (t1, t 2 ) e chamada de função de auto-
correlação do processo estocástico X(t ), temos que:
R XX (t1, t 2 ) = E[X(t1 )X(t 2 )]
Uma conseqüência da definição de processo estacionário de
2ª ordem é que a função de autocorrelação também passa a
ser uma função da diferença de tempo t2 − t1 e não do tempo
absoluto.
Seja τ = t 2 − t1, temos então:
R XX (t1, t1 + τ ) = E[X(t1 )X(t1 + τ )] = R XX (τ )
A solução de muitos problemas é muito simplificada quando
as funções de autocorrelação e o valor médio dos processos
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 16
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

não dependem do tempo absoluto. A estacionariedade de 2ª

ordem é suficiente para garantir essas características.
A forma mais utilizada de estacionariedade é chamada de
“wide-sense stationary process” (processo estacionário no
sentido amplo) e é definida por duas condições que devem ser
verdadeiras:E[X(t )] = X = constante e E[X(t )X(t + τ)] = R XX (τ)
Um processo estacionário de 2ª ordem é um processo
desse tipo; mas a recíproca não é necessariamente verdadeira.
Quando estamos interessados em dois processos, X( t ) e
Y( t ), nós os classificamos desta forma se eles satisfizerem a
função de correlação cruzada definida geralmente como:
R XY (t1, t 2 ) = E[X(t1 )Y (t 2 )]
Que também é uma função da diferença de tempo entre t1 e
t2, e não do tempo absoluto.
R XY (t, t + τ ) = E[X(t )Y (t + τ )] = R XY (τ )

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 17

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Processo estritamente estacionário

Estendendo os conceitos anteriores para N VA’s
Xi = X(t i ), i = 1, 2, ..., N, nós dizemos que um
processo é estacionário de ordem N ou
estritamente estacionário, se a função
densidade de ordem N é invariante ao acréscimo
de um intervalo Δ na origem:
fX (x1,..., x N; t1,..., t N ) = fX (x1,..., x N; t1 + Δ,..., t N + Δ )
∀t1,..., t N e Δ
A estacionaridade de ordem N implica na
estacionaridade de ordem k (k ≤N).
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 18
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Média temporal e ergodicidade

A média temporal de uma quantidade é definida pelo operador:

T
1
A[]
⋅ = lim ∫ []⋅ dt
T →∞ 2T
−T
Algumas médias temporais têm maior importância, como, por
exemplo x = A[x(t )] e a função de autocorrelação no tempo
ℜ XX (τ ) = A[x(t )x(t + τ )] que são definidas por:
T
1
x = A[x(t )] = lim ∫ x(t )dt
T →∞ 2T
−T
T
1
ℜ XX (τ ) = A[x(t )x(t + τ )] = lim
∫ x(t )x(t + τ )dt
T →∞ 2T
−T
Para um determinado valor do espaço amostral essas
integrais produzem dois valores numéricos. Entretanto, quando
todo o espaço amostral é considerado, x e ℜ XX tornam-se
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 19
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

variáveis aleatórias. Aplicando o valor médio em ambos os lados e

assumindo que o processo é estacionário obtemos: E[x ] = X e
E[ℜ XX (τ )] = R XX (τ )
Supondo agora que x e ℜ XX , devido a algum teorema das
variáveis aleatórias, têm variâncias iguais a zero, estes passam a
obter valores constantes descritos por: x = X e ℜ XX (τ ) = R XX (τ )
Ou seja, os valores temporais x e ℜ XX são respectivamente
iguais aos valores estatísticos X e R XX .
Quando estas igualdades são verdadeiras os processos são
chamados de processos ergódicos.
Provar a ergocidade de um processo é uma tarefa muito difícil,
porém, na prática, teremos muitas vezes que supor sua validade
para simplificar alguns problemas da vida real. Nós somos
forçados a trabalhar com somente uma função amostral de um
processo e, mais ainda, calcular valores médios, funções de
correlação para as formas de onda no tempo.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 20
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Processos juntamente ergódicos

Dois processos são chamados juntamente
ergódicos se eles forem individualmente ergódicos
e ainda tiverem a função de correlação cruzada
no tempo igual à função de correlação cruzada
estatística. A equação abaixo representa esta
característica.

1 T
ℜ XY (τ ) = lim ∫ x(t )y(t + τ)dt = R XY (τ)
T → ∞ 2T − T

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 21

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Funções de correlação
As funções de autocorrelação e de correlação cruzada já foram
introduzidas em nossa teoria. Agora examinaremos algumas de suas
propriedades e alguns outros tipos de funções importantes.

Propriedades da função de autocorrelação: R XX (t, t + τ ) = E[X(t )X(t + τ )]

Se X(t ) é, ao menos, um processo estacionário no sentido
amplo, temos: R XX (t, t + τ) = E[X(t )X(t + τ) = R XX (τ)]
1 ⇒ R XX (τ ) ≤ R XX (0 )
2 ⇒ R XX (− τ ) = R XX (τ)
3 ⇒ R XX (0 ) = E X2 (t ) [ ]
A 1ª mostra que R XX (τ) é limitado pelo valor na origem, enquanto
a 3ª diz que o valor na origem é igual ao valor médio quadrático do
processo, chamado de potência do processo. A 2ª indica a simetria
da autocorrelação.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 22
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Outras propriedades dos processos estacionários

4 ⇒ Se E[X(t )] = X ≠ 0 e X(t )
é um processo ergódico com
2
componentes não periódicos, então: lim R XX (τ ) = X
τ →∞
5 ⇒ Se X(t ) possui componentes periódicos então R XX (τ ) também
possuirá componentes periódicos com o mesmo período.
6 ⇒ Se X(t ) é ergódico, com média zero e tem componentes
periódicos, então: lim R XX (τ ) = 0
τ →∞
7 ⇒ R XX (τ ) não pode ter uma forma arbitrária.
As propriedades de 4 a 6 são auto-explicativas. A propriedade 7
diz que nenhuma função arbitrária pode ser uma função de
autocorrelação. Este fato ficará mais claro quando o espectro de
densidade de potência for introduzido no capítulo 7. Será mostrado
que R XX (τ) está relacionado ao espectro de densidade de potência
através da transformada de Fourier e sua forma não é arbitrária.
CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 23
 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

Função de correlação cruzada

A função de correlação cruzada para dois processos X(t ) e Y (t )

foi definida para t1 = t e t 2 = t1 + τ como R XY (t, t + τ ) = E[X(t )Y (t + τ )].
Se X(t ) e Y (t ) são juntamente estacionários no sentido amplo,
nós sabemos que a função é independe do tempo absoluto:
R XY (τ ) = E[X(t )Y (t + τ )]

Quando R XY (t, t + τ ) = 0 , nós chamamos X(t ) e Y (t ) de processos

ortogonais. Se X(t ) e Y (t ) forem ainda independentes
estatisticamente, sua função de correlação cruzada fica sendo:
R XY (t, t + τ ) = E[X(t )]⋅ E[Y (t + τ )]

Se, além de independentes, X(t ) e Y (t ) forem estacionários no

sentido amplo, nós temos: R XY (τ ) = X Y , assumindo valor constante.

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 24

 INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS – ENGENHARIA DE TELECOMUNICAÇÕES

PROPRIEDADES

1 ⇒ R XY (− τ ) = R XY (τ )
2 ⇒ R XY (τ ) ≤ R XX (0 )R YY (0 )
R XX (0 ) + R YY (0 )
3 ⇒ R XY (τ ) ≤
2
A 1ª propriedade descreve a simetria de R XY (τ ). A 2ª pode ser
[
provada pela expansão da inequação E {Y (t + τ ) + αX(t )}2 ≥ 0 , onde ]
α representa um número real. As propriedades 2 e 3 juntas
constituem um limitador do valor de R XY (τ ). Ambas estão
relacionadas a uma desigualdade conhecida da álgebra:
“ A média geométrica de dois números não pode exceder a média
aritmética. ” Aplicada a função de correlação temos:
R XX (0 ) + R YY (0 )
R XX (0 ) ⋅ R YY (0 ) ≤
2

CESF – FUCAPI −ANDRÉ LUIZ ARRUDA MARQUES – ENGENHEIRO ELETRICISTA 25