48

4 Teoria da Probabilidade
Apresentam-se neste captulo conceitos de probabilidade e de estimao de funes
densidade de probabilidade necessrios ao desenvolvimento e compreenso do modelo
proposto (captulo 5).
A probabilidade uma medida de incerteza associada ao resultado futuro de um
sorteio aleatrio. importante perceber que, uma vez ocorrido o sorteio, do ponto de vista
probabilstico no h mais dvida sobre o resultado e, portanto, o valor da probabilidade
tem um valor preciso [25]. Por exemplo, quando uma moeda lanada, devido ao
conhecimento parcial sobre sua estrutura fsica e suas condies iniciais, no possvel
prever com exatido se o resultado ser cara ou coroa. Porm, uma vez pousada, no h
mais dvida quanto ao resultado: ou cara ou coroa.

4.1. Definio
Seja o universo de todos os possveis eventos elementares; por definio, a
probabilidade P de um evento E, denotada por P(E), deve seguir os 3 axiomas de
Kolmogorov [26]:

i) Para qualquer evento E, tem-se 0 ) ( E P . Isto , a probabilidade de um
evento um nmero real no negativo.
ii) 1 ) ( = P : a probabilidade de todos os eventos possveis um; ou mais
especificamente, no h evento elementar fora do universo .
iii) Todo conjunto de eventos incompatveis enumerveis E1, E2,..., satisfaz a

= ) ( ) (
2 1 i
E P E E P K . Ou seja, a probabilidade de um conjunto de
eventos formado a partir da unio de eventos disjuntos a soma das
probabilidades destes eventos. Este axioma tambm conhecido como a
propriedade da aditividade.
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


49
A partir destes axiomas, so enunciadas as seguintes propriedades:
Para qualquer evento E, tem-se 1 ) ( 0 E P . Ou seja, a probabilidade um nmero
entre 0 e 1.
Para qualquer evento E, define-se o evento contrrio, E , por ) ( 1 ) ( E P E P = .
0 ) ( = P .
Para quaisquer dois eventos A e B, tem-se ) ( ) ( ) ( ) ( B A P B P A P B A P + = .

4.2. Distribuio de probabilidade
Uma funo distribuio de probabilidade uma funo que associa probabilidades a
eventos e pode ser classificada em discreta ou contnua. No primeiro caso, a funo
definida para um conjunto discreto e contvel, tal como um subconjunto dos nmeros
inteiros; no segundo caso, a distribuio possui uma funo definida para um conjunto
contnuo, como, por exemplo, um subconjunto dos nmeros reais.
Uma forma de definir uma funo distribuio de probabilidade, F(x), por meio de
uma funo densidade de probabilidade (pdf), f(x), conforme o exemplo da equao (4.1)
para o caso contnuo:
[ ]

= =
x
dX X f x X x F ) ( Pr ) ( (4.1)
A partir da funo densidade de probabilidade, tambm possvel expressar a
probabilidade de obter um valor no intervalo [c, d]:

=
d
c
dx x f d c P ) ( ] , [ (4.2)
4.2.1. A Distribuio Normal
Entre as diversas distribuies de probabilidade contnuas, a distribuio Normal se
destaca por modelar vrios fenmenos naturais, entre os quais a incerteza de medio [13].
A distribuio Normal definida para + < < x por sua pdf:
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


50

=
2
2
2
) (
exp
2
1
) (

x
x f (4.3)
onde representa a mdia e
2
a varincia.

4.2.2. Intervalo de Confiana
No caso da incerteza de medio, comum que ela seja dada, simplesmente, como
um intervalo em torno do resultado de uma medio, com o qual se espera abranger uma
grande frao da distribuio de valores, que poderiam razoavelmente ser atribudos ao
mensurando [13]. Sendo assim, a incerteza de medio no , necessariamente, dada como
um mltiplo de um desvio padro.
Para uma grandeza z descrita por uma distribuio normal, com mdia
z
e desvio
padro , o fator de abrangncia k
p
fornece o intervalo
p z
k que corresponde ao
intervalo de confiana com um nvel de confiana p. Valores tpicos para nveis de
confiana so 90, 95 e 99 por cento, com fatores de abrangncia 1,64; 1,96 e 2,58;
respectivamente [13]. comum que o nvel de confiana seja expresso pelo valor (1 - )
(onde este valor um nmero fixo, positivo e menor do que 1), correspondente
probabilidade associada com um intervalo de confiana.

4.3. Mtodos de Estimao de Probabilidade
Quando a funo densidade de uma quantidade aleatria x no conhecida, uma
estimativa desta densidade pode ser obtida utilizando-se amostras provenientes de n
observaes } , , {
1 n
x x K de x. Os mtodos de estimao podem ser classificados como
paramtricos ou no-paramtricos: no primeiro caso, um vetor de parmetros de uma
funo estimado, enquanto que, no segundo caso, a funo p(x) estimada sem que
nenhum modelo especfico seja adotado. A Figura 14 apresenta a taxonomia dos mtodos
de estimao de funes de densidade de probabilidade.

A estimao da densidade de probabilidade atravs de mtodos paramtricos supe
que as formas das funes de densidade de probabilidade estudadas so conhecidas.
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


51
Contudo, as frmulas paramtricas usuais nem sempre se ajustam nas densidades
encontradas na prtica. Alm disso, a maioria das densidades paramtricas clssicas
unimodal (tm um nico mximo), enquanto que muitos dos problemas prticos envolvem
densidades multimodais.
Por outro lado, mtodos no-paramtricos podem ser utilizados com distribuies
arbitrrias e sem a suposio que as formas das densidades estudadas sejam conhecidas.

Figura 14 - Classificao dos mtodos de estimao de densidade de probabilidade

4.4. Mtodos de Estimao No-Paramtricos
4.4.1. Definio
As tcnicas no-paramtricas fundamentais se baseiam no fato de que a probabilidade
P de que um vetor x pertena regio R dada pela equao:
n observaes {x
1
,..., x
n
} de x
Estimao paramtrica
Estimao no-paramtrica
Supe um modelo para a pdf e
estima seus parmetros
No supe nenhum modelo
especfico
Discretizao dos dados em
intervalos
Utiliza os dados como esto
nV
k
p = ) ( x

Janela com largura e posio fixas

Histograma
n
n
nV
k
p = ) ( x

Janela fixa
k varivel

Janela de Parzen
Janela varivel
k fixo

k-vizinhos mais prximos
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


52

=
R
d p P x x) ( (4.4)
Conseqentemente P uma verso suavizada da funo de densidade p(x) e assim
possvel estimar este valor suavizado de p atravs da estimao da probabilidade P.

Sejam n amostras } , , {
1 n
D x x K = independentes e identicamente distribudas de
acordo com a distribuio p(x). A probabilidade de que k das n amostras caiam na regio R
dada pela lei binomial:
k n k
k
P P
k
n
P

|
|

\
|
= ) 1 ( (4.5)
cujo valor esperado de k nP k E = ] [ e a melhor estimativa para P
n
k
P =

.
Considerando que p(x) contnua e que a regio R suficientemente pequena de
modo que p(x) no varia muito dentro dela, pode-se escrever:
V p d p
R
) ( ) ( x x x

(4.6)
onde x um ponto dentro de R e V o volume da regio R. Combinando as equaes (4.4),
(4.5) e (4.6), a estimativa para p(x) :
V
n k
p ) (x (4.7)
4.4.2. Histograma
O histograma o estimador de densidade mais antigo e mais utilizado para
representar e observar dados unidimensionais. A construo de um histograma consiste em
dividir um intervalo de referncia ] , [
max min
x x = em K clulas (ou compartimentos) C
k
e
contar o nmero a
k
de observaes pertencentes a cada clula C
k
. O nmero a
k
o
acumulador associado clula C
k
. Seja
k
C
a funo caracterstica de C
k
:
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


53

=
=
n
i
i C k
x a
k
1
) (
Quando todas as clulas do histograma tm a mesma largura, dito que o histograma
uniforme ou regular. A largura de cada clula, , mais comum :
K
x x
min max

=
Uma probabilidade emprica P(C
k
) pode ser associada a cada clula C
k
:
n
a
C P
k
k
= ) (
Tomando-se como hiptese que a probabilidade uniforme em cada clula, uma
estimativa ) ( x p da funo de densidade de probabilidade estudada, p(x), para qualquer
valor real do intervalo , pode ser avaliada por:

= =

=

=
K
k
C k
K
k
C
k
x a
n
x
n
a
x p
k k
1 1
) (
1
) ( ) ( (4.8)
que corresponde equao (4.7), onde representa o volume V e o nmero de amostras em
cada clula

=
=
K
k
C k
x a k
k
1
) ( .
Contudo, esta estimativa possui algumas fraquezas que fazem com que ela seja
raramente utilizada como uma ferramenta estatstica. Primeiramente, a aproximao ) ( x p ,
definida na equao (4.8), uma funo no-contnua cuja estimao limitada pela
dualidade preciso/confiana. Esta dualidade reside no fato de que, quanto menor for a
distncia desejada entre ) ( x p e p(x), menor deve ser a largura ; porm, como n um
nmero finito, tambm menor ser o valor do acumulador de cada clula e
conseqentemente menor ser a convergncia local de ) ( x p em p(x). Por outro lado,
quanto maior for a largura da clula, menor a habilidade da densidade estimada de
responder apropriadamente a variaes de p(x).

P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


54
Alm da dificuldade na escolha apropriada da largura da clula, a escolha do
intervalo de referncia tambm pode influenciar no resultado encontrado. A Figura 15
ilustra o efeito da translao do intervalo de referncia na forma dos histogramas
construdos a partir de 100 amostras obtidas de uma densidade normal N(0, 1).
-3 -2 -1 0 1 2 3
0
5
10
15
20
25

-3 -2 -1 0 1 2 3
0
5
10
15
20
25

Figura 15 - Dependncia da forma do histograma em funo da escolha da origem das clulas.

Outro pronto fraco dos histogramas a necessidade de um alto nmero de
amostras. Esta deficincia fica ainda mais em evidncia em problemas com espaos em
alta dimenso, j que o nmero de clulas aumenta e conseqentemente muitas
observaes so necessrias para evitar que a estimativa seja nula em uma grande regio.

4.4.3. Mtodos de Kernel
Os mtodos de kernel tentam solucionar o problema da escolha da posio inicial
das clulas e ao mesmo tempo obter uma funo contnua. Para isso, diferentemente dos
histogramas que utilizam clulas com volumes fixos (com largura ) e posies pr-
determinadas, o volume V das clulas varia em funo do nmero de amostras e cada
clula centrada em cada amostra.
Re-escrevendo a estimativa dada pelas eqs. (4.6) e (4.7), nota-se que ela tambm
corresponde a uma mdia espacial de p(x):
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


55

=
R
R
d
d p
V
P
x
x x) (
(4.9)
Para obter uma estimativa para p(x), e no de valores mdios, V deve se aproximar
de zero. No entanto, se o nmero n de amostras fixo e V tende a zero, o volume da
regio pode eventualmente ficar pequeno demais e assim pode no conter nenhuma
amostra, levando a estimativa 0 ) ( x p a ser intil.
Do ponto de vista prtico, o nmero de amostras sempre finito e ser necessrio
considerar algum nvel de suavizao na estimativa de p(x) e aceitar alguma varincia na
razo n k .
Do ponto de vista terico, pode-se considerar um nmero infinito de amostras. Para
estimar a densidade p(x) em x, constri-se a seqncia de regies R
1
, R
2
,..., contendo x,
onde a primeira regio contm uma amostra, a segunda duas, e assim adiante. Seja V
n
o
volume da regio R
n
que contm k
n
amostras, e seja ) (x
n
p a n-sima estimativa para p(x)
dada por:

n
n
n
V
n k
p ) (x (4.10)
Pode-se provar que ) (x
n
p converge para p(x), ou seja ) ( ) ( lim x x p p
n
n
=

, se as trs
condies abaixo forem satisfeitas [27]:
i) 0 lim =

n
n
V
ii)
=

n
n
k lim

iii)
0 lim =

n k
n
n


A primeira condio assegura que a mdia espacial V P converge para p(x). A
segunda garante que a razo de freqncia (em probabilidade) converge para a
probabilidade P. A terceira condio afirma que o nmero de amostras caindo na regio
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


56
R
n
sempre uma pequena parcela desprezvel do nmero total de amostras. Ela
necessria para que ) (x
n
p definida pela eq. (4.10) convirja.
Um dos caminhos para se obter seqncias de regies que satisfazem estas
condies , a partir de um volume inicial, encolh-lo medida que n aumenta; por
exemplo: n V
n
1 = . em seguida necessrio mostrar que k
n
e n k
n
tm
comportamento apropriado para que ) ( ) ( x x p p
n
. Este basicamente o mtodo
conhecido como Janela de Parzen [27], que ser examinado a seguir.

4.4.4. Janela de Parzen
Supondo que a regio R
n
um hipercubo d-dimensional com lado igual a h
n
, o seu
volume dado por
d
n n
h V = . Seja a funo que assume 1 para os pontos dentro do
hipercubo unitrio centrado na origem e 0 para os pontos externos; esta funo chamada
de funo de janela e definida por:

=
=
contrrio caso
d j u
j
0
, , 1 1
) (
2
1
K
u (4.11)
Conseqentemente, ) / ) ((
n i
h x x ser igual a 1 se x
i
estiver dentro do hipercubo
de volume V
n
centrado em x, e zero caso contrrio. Portanto, o nmero de amostras
dentro deste hipercubo dado por:

=
|
|

\
|
=
n
i n
i
n
h
k
1
x x
(4.12)
Substituindo na eq. (4.10), obtm-se:

=
|
|

\
|
=
n
i n
i
n n
n
n
h V n V
n k
p
1
1 1
) (
x x
x (4.13)
A estimativa ) (x
n
p definida acima uma mdia de funes (de janela).
Tipicamente a funo de janela tem seu mximo na origem e seus valores caem medida
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


57
que se distanciam da origem. Desta forma, cada amostra est contribuindo com a
estimativa conforme sua distncia de x.
Para que a estimativa ) (x
n
p seja uma funo de densidade legtima, isto , que seja
no-negativa e integre em 1, as trs condies abaixo devem ser atendidas:

i)
0 ) ( u
(4.14)
ii) 1 ) ( =

u u d (4.15)
iii)
d
n n
h V = (4.16)

Uma escolha comum para a funo de janela a Normal de mdia x
i
e varincia h
n
:
] 5 , 0 exp[
) 2 (
1
) (
2
u u u
T
d
=

que produz a estimativa:

=
|
|

\
|

=
n
i
n
i
d
n
n
h h n
p
1
2
2
2 2
2
exp
) 2 (
1 1
) (
x x
x

(4.17)
importante observar que, se h
n
for muito grande, pontos muito afastados da
amostra x
i
sero afetados de maneira importante pela janela. Assim a estimativa ser
composta pela superposio de funes lentas, ficando suave demais e com uma viso
fora de foco da densidade de probabilidade. Por outro lado, se h
n
for muito pequeno,
apenas os pontos muitos prximos a x
i
sero afetados de maneira importante pela janela.
Neste caso a estimativa ser uma superposio de picos agudos centrados nas amostras
e ) (x
n
p ser muito ruidosa.
Na prtica, deve ser procurada uma concesso aceitvel, j que o nmero de
amostras sempre limitado. comum escolher um valor para h
1
e definir n h h
n 1
= .
Infelizmente, a escolha do valor de h
1
pode ser problemtica.
A Figura 16 ilustra 3 estimativas, com janelas de Parzen com diferentes larguras, a
partir de 100 amostras geradas atravs de uma mistura de duas distribuies do tipo
P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A


58
Normal. Percebe-se claramente a influncia da largura da janela na estimao: para h
1
=1,
a janela estreita demais e a estimativa muito ruidosa, apresentando vrios picos; para
h
1
=16, a janela larga demais e praticamente no so notados os dois picos da
distribuio original; e h
1
=4 parece ser um valor adequado, sem grandes rudos nem
suavizado em excesso, sendo a qualidade de sua estimao comprometida pelo baixo
nmero de amostras.

-6
-4 -2 0 2 4 6 8 10 12
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
x
p(x)
h1 = 1
h1 = 4
h1 = 16
dist. original

Figura 16 Influncia da largura da janela na estimativa por Janela de Parzen


P
U
C
-
R
i
o

-

C
e
r
t
i
f
i
c
a

o

D
i
g
i
t
a
l

N

0
2
1
0
4
6
3
/
C
A