Você está na página 1de 17

Inferencia bayesiana sob a otica da teoria da

decisao

Prof. Caio Azevedo

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Motivacao

De uma forma geral, todas as questoes de Inferencia Estatstica


(frequentista ou bayesiana), podem ser estudadas sob a otica da
Teoria da Decisao.
De um modo rudimentar, a Teoria da Decisao consiste em um
conjunto de metodologias que nos levam a escolher uma, entre
varias acoes (decisoes) possveis, de modo a minimizar alguma perda
ou a maximizar algum ganho.
Por exemplo, qual estimador (frequentista) escolher (acao, decisao),
entre aqueles que sao nao viciados?
Podemos escolher aquele que apresenta a menor variancia (perda).
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Elementos basics da Teoria da Decisao (frequentista &
bayesiana )

Os Elementos basicos sao

Funcao de perda.
Perda esperada (risco frequentista).
Risco de Bayes.
Risco de Bayes integrado ou a posteriori.

A inferencia frequentista utiliza os dois primeiros elementos acima.

A inferencia bayesiana utiliza os quatro elementos acima.

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Funcao de perda

Seja (X) um estimador (frequentista ou bayesiano) e (x) a


respectiva estimativa.

Seja o parametro de interesse.

A funcao de perda (as vezes chamada de funcao perda) e definida


por:

L(, ) = L((x), )

(D, ) R+

em que D e o conjunto de todos os estimadores possveis para .


Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Exemplos de funcao de perda

L1 = ( )2 (perda quadratica).

L2 = | | (perda modular).

A, se | | > ,  > 0
L3 = (perda (0,A)).
0, se | | 

L4 = ()| |r , () 0, , r > 0 (perda generalizada).

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Perda esperada (risco frequentista)

Para uma dada funcao de perda, o risco frequentista e definido como


sendo o seu valor esperado em relacao a distribuicao de X|, ou seja

X


L((X), )p(x|), se X for discreto
xX()
R(, ) = EX| [L(, )] = Z
L((X), )p(x|)dx, se X for contnuo



X()

Exemplo [Erro quadratico medio (frequentista)]: EX| [( )2 ].


Em geral, na inferencia frequentista, busca-se o estimador que
minimizar o risco acima definido (restrito a uma determinada
subclasse de estimadores).
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Risco de Bayes

Seja p p() uma priori definida para .

O risco de Bayes e definido como a perda media do risco


frequentista, a priori, em relacao a , ou seja

Z
r (, p) = R(, )p()d

Contudo, em princpio, tal medida considera (explicitamente) apenas


a priori.

Como introduzir a posteriori no risco de Bayes?

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Risco de Bayes (cont.)

Note que
Z
r (, p) = R(, )p()d

Z "Z #
= L((X), )p(x|)dx p()d
X()
Z "Z #
p(x|)p()
= L((X), ) p(x)dx d
X() p(x)
Z Z 
= L((X), )p(|x)d p(x)dx
X()
| {z }
RB (,p)
Z
= RB (, p)p(x)dx
X()
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Risco a posterioiri (ou integrado)

Em geral, RB (, p) e chamado de risco integrado ou a posteriori de


Bayes.

O estimador Bayesiano que minimiza RB (, p) e chamado de


estimador de Bayes.

Encontrar o estimador de Bayes significa minimizar E|X (L(, )).

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Estimadores Bayesianos associados a funcoes de perda
especficas

O estimador EAP e o estimador de Bayes para a funcao de perda


L1 = ( )2 .

O estimador MeAP (mediana a posteriori) e o estimador de Bayes


para a funcao de perda L4 = a| |, em que a e uma constante.

O estimador MAP (modaa posteriori) e o estimador de Bayes para


A, se | | > ,  > 0
a funcao de perda L3 =
0, se | | 

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Demonstracao para a funcao de perda L1 = ( )2
Z
Queremos minimizar g () = ( )2 p(|x)d em relacao a .

Por outro lado, note que:

Z Z Z
g () = 2 p(|x)d 2 p(|x)d + 2 p(|x)d

= 2 2E(|X) + E(2 |X)

Derivando a expressao acima com relacao a , igualando a expressao


resultante a 0 e resolvendo-a em relacao a , temos que

b = bBayes = E(|X)
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Voltando ao Exemplo 9

i.i.d.
Xi | U(0, ), i = 1, ..., n. Considere a funcao de perda
()2
L(, ) = 2 .

Vamos considerar p() = I(0,1) ().

(Exerccio) Pode-se provar que

1 n

I(yn ,1) ()
p(|x) =
[1/(n 1)](ynn+1 1)
Queremos encontrar o estimador Bayesiano que minimiza

1
( )2
Z
p(|x)d
yn 2
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Voltando ao Exemplo 9 (cont.)

Ou seja, buscamos o estimador que minimiza

Z 1
1
( )2 d
yn n+2
Z 1 Z 1 Z 1
2 1 1 1
= n+2
d 2 n+1
d + d
yn yn yn n

Derivando a expressao acima com relacao a , igualando a expressao


resultante a 0 e resolvendo-a em relacao a , temos que

n + 1 1 ynn
bBayes = b = yn
n 1 ynn+1
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Estimador Minimax

Voltando ao risco frequentista, o objetivo e encontrar o estimador


(frequentista), digamos , que minimize o risco uniformemente em
, ou seja:

R( , ) R(, ), , e, D

D a classe de todos os estimadores possveis (sabemos que isso e


praticamente impossvel).

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Estimador Minimax

Uma outra abordagem, consiste em considerar o estimador


Bayesiano que minimize o maximo (supremo) do risco frequentista,
ou seja, encontrar o estimador (Bayesiano), digamos 0 , tal que

sup R( 0 , ) sup R(, ), D.

Pode-se provar que se bBayes e o estimador de Bayes de , tal que


R(, bBayes ) nao dependa de , entao bBayes e o estimador minimax
de .

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao
Voltando ao Exemplo 1

i.i.d.
Xi | Bernoulli(), i = 1, ..., n.

Considere a famlia conjugada de prioris e a funcao de perda


quadratica L1 = ( )2 .

Vamos encontrar o estimador Minimax para sob a perda e a priori


acima definidas.

Sabemos que o estimador de Bayes, neste caso, e a esperanca a


posteriori, ou seja

nX + a
bBayes =
n+a+b
Prof. Caio Azevedo
Inferencia bayesiana sob a otica da teoria da decisao
Voltando ao Exemplo 1 (cont.)

Neste caso, temos que

" 2 #
nX + a
R(, ) = EX|
n+a+b
1  2
A B + a2

=
(n + a + b)2

em que A = ((a + b)2 n) e B = (2a(a + b) n). Assim, bBayes e



n
minimax A = B = 0, ou seja, a = b = 2 . Assim,

1 nX + n/2
R(bBayes , ) = e Bayes =
b
4(1 + n)2 n+ n

Prof. Caio Azevedo


Inferencia bayesiana sob a otica da teoria da decisao