Família Exponencial, estatísticas sucientes

Profa. Jenier J. Duarte Sanchez

Departamento de Estatística e Matemática Aplicada - DEMA
Universidade Federal do CearáUFC
Sumário

1. Introdução

2. Família Exponencial

3. Estatística Suciente

4. Informação de Fisher

1
Introdução
Será apresentada a noção de estimador eciente, como sendo aquele que
atinge o limite inferior da variância dos estimadores não viciados. Estima-
dores ecientes são obtidos apenas para distribuições que são membros de
uma classe especial, que é a família exponencial de distribuições.
De modo informal, estatísticas sucientes para um parâmetro (ou para uma
distribuição) são aquelas que condensam os dados sem perder nenhuma
informação contida nos mesmos. Ou seja, eles são tão informativas para
o parâmetro (ou para a distribuição) quanto a amostra toda.

2
Família Exponencial
Família exponencial k -paramétrica
Seja X = (X1 , . . . , Xp )> um vetor aleatório. A função de densidade de
X pertence à família exponencial de densidades k -paramétricas se
fX (x; θ) puede expressarse como
 
Xk 
fX (x; θ) = a(θ1 , . . . , θk )b(x) exp cj (θ1 , . . . , θk )dj (x)
j=1
 

para todo x , e todo θ ∈ Θ ⊆ Rk , com a, b , cj , dj funções escolhidas de

forma conveniente.

3
Família exponencial uniparamétrica
Seja X = (X1 , . . . , Xp )> um vetor aleatório. A função de densidade de
X pertence à família exponencial de densidades uniparamétricas se
fX (x; θ) puede expressarse como

fX (x; θ) = a(θ)b(x) exp {c(θ)d(x)}

para todo x , θ ∈ Θ ⊆ R, com a, b , c , d funções escolhidas de forma
conveniente.

4
Estatística Suciente
Estatística Suciente
O estimador T = T (X1 , . . . , Xn ) para θ se diz uma estatística suciente
para θ, baseado em uma amostra aleatória X1 , . . . , Xn de uma população
com função de densidade fX (x; θ), se a distribuição condicional das variá-
veis aleatórias X1 , . . . , Xn dado T = t , não depende de θ para todo valor
de t .

5
Teorema: Critério de factorização de Fisher-Neyman
Seja X1 , . . . , Xn uma amostra aleatória de uma população com função de
densidade fX (x; θ). Seja T = T (X1 , . . . , Xn ), T é uma estatística suciene
para θ se, somente se, a função de verossimilhança da amostra pode ser
escrita como

L(θ; x ) = g (T (x1 , . . . , xn ); θ)h(x1 , . . . , xn ),

em que h é uma função não negativa que depende exclusivamente de
x1 , . . . , xn e a função g não negativa, que depende de θ e de x1 , . . . , xn
somente através de T (x1 , . . . , xn ).

6
Exemplo
Seja X1 , . . . , Xn uma amostra aleatória de uma população com distribuição
Pn
de Bernoulli de parâmetro θ. T = i=1 Xi é uma estatística suciente
para θ.

n
L(θ; x ) = θ
Pn Pn Y
i=1 xi
(1 − θ)
n− i=1 xi
I{0,1} (xi )
i=1
 Pni=1 xi n
θ Y
= (1 − θ)n I{0,1} (xi )
1−θ
i=1
" Pni=1 xi #" n #
θ Y
= (1 − θ)n I{0,1} (xi ) ,
1−θ
i=1
| {z }| {z }
g ( ni=1 xi ;θ)
P
h(x1 ,...,xn )
Pn
pelo critério de Fisher-Neyman podese concluir que i=1 Xi é uma esta-
tística suciente para θ.
7
Estatísticas conjuntamente sucientes
Seja X1 , . . . , Xn uma a.a.s. de uma população com função de densidade
fX (x; θ). As estatísticas T1 , . . . , Tm , em que Ti = Ti (X1 , . . . , Xn ), i =
1, 2, . . . , m, são estatísticas conjuntamente sucientes para θ se, e somente
se, a distribuição de X1 , . . . , Xn dado T1 , . . . , Tm não depende de θ.

8
Teorema: Critério de factorização de Fisher-Neyman
Seja X1 , . . . , Xn uma a.a.s. de uma população com função de densi-
dade fX (x; θ). O conjunto de estatísticas T1 = T1 (X1 , . . . , Xn ), . . . Tm =
Tm (X1 , . . . , Xn ) constituye uma coleção de estatísticas conjuntamente su-
cientes para θ se, somente se, a função de verossimilhança da amostra
pode ser escrita como

L(θ; x ) = g (T1 (x1 , . . . , xn ), . . . , Tm (x1 , . . . , xn ); θ)h(x1 , . . . , xn ),

em que h é uma função não negativa que depende exclusivamente de
x1 , . . . , xn e a função g não negativa, que depende de θ e de x1 , . . . , xn
somente através de T1 (x1 , . . . , xn ), . . . , Tm (x1 , . . . , xn ).

9
Exemplo
Seja X1 , . . . , Xn uma a.a.s. de uma população normal, N(µ, σ 2 ), θ =
(µ, σ 2 )> .

n 2 !
1 1 xi

−µ
L(θ; x ) =
Y
√ exp −
2πσ 2 σ
i=1
" n n
!#
1 1 X
2
X
2
= 2
σ −n exp − 2 xi − 2µ xi + nµ ,
(2π) n/ 2σ
i=1 i=1
| {zP }
g(
Pn 2 n
i=1 xi , i=1 xi ;θ)

h(x1 , . . . , xn ) = 1. Logo pelo critério de Fisher-Neyman podese concluir

que i=1 Xi e i=1 Xi2 são conjuntamente sucientes para θ = (µ, σ 2 )> .
Pn Pn

Também são conjuntamente sucientes para θ

n n
!
1X 1 X
Xi ; (Xi − X )2
n n−1
i=1 i=1
10
Os estimadores de máxima verossimilhança tem propriedades que os fazem
interessantes. Um estimador de máxima verossimilhança pode ser uma
estatística suciente considerando os seguintes teoremas.
Teorema
Se T é uma estatística suciente para θ baseado em uma a.a.s. X1 , . . . , Xn
de uma população com função de densidade fX (x; θ) e se T ∗ é um esti-
mador de máxima verossimilhança de θ, e é único, então T ∗ é função de
T.

11
Estatísticas sucientes minimais
Uma coleção de estatísticas conjuntamente sucientes são minimais se,
somente se, são função de qualquer outro conjunto de estatísticas suci-
entes.

12
Teorema
Seja T um estimador de máxima verossimilhança para θ, baseado em uma
a.a.s. X1 , . . . , Xn de uma população com função de densidade fX (x; θ). Se
T é o único estimador de máxima verossimilhança, T é função de uma
coleção minimal de estatísticas conjuntamente sucientes. Se T não é o
único estimador de máxima verossimilhança para θ, então existe um outro
estimador de máxima verossimilhança T 0 que é função de uma estatística
mínimal de estatísticas conjuntamente sucientes.

13
Resultado
Se fX (x; θ) pertence à família exponencial unidimensional de densidades
e se X1 , . . . , Xn é uma a.a.s. de uma população com f.d.p. fX (x; θ), a
estatística

n
X
d(Xi )
i=1

é uma estatística suciente.

14
Demonstração
Seja fX (x; θ) uma f.d.p. que pertence à família exponencial unidimensional,
sua f.d.p. pode ser escrita como

fX (x; θ) = a(θ)b(x) exp{c(θ)d(x)},

sua função de verossimilhança é

n
( n
)
L(θ; x ) = a (θ)
Y X
n
b(xi ) exp c(θ) d(xi ) ,
i=1 i=1
( n
) n
X Y
n
= a (θ) exp c(θ) d(xi ) b(xi ) .
i=1 i=1
| {z } | {z }
g ( ni=1 d(xi );θ ) h(x)
P

Pn
pelo critério de Fisher-Neyman podese concluir que i=1 d(Xi ) é uma
estatística suciente para θ. A estatística i=1 d(Xi ) é chamada de es-
Pn

tatística natural. 15
O vetor θ∗ = (c1 (θ), . . . , ck (θ))> é chamado de parâmetro natural e a
estatística

n n
!>
X X
d1 (Xi ), . . . , dk (Xi ) ,
i=1 i=1

é chamada de estatística natural k -dimensional para θ.

16
Nota
Se fX (x; θ) pertence à família exponencial k paramétrica, pelo teorema de
fatorização de Fisher-Neyman, as estatísticas

n
X n
X
d1 (Xi ), . . . , dk (Xi ),
i=1 i=1

são conjuntamente sucientes para θ. Além de constituirem uma coleção

minimal.

17
Estatística Ancilar
Seja X1 , . . . , Xn uma a.a.s. de uma população com função de densidade
fX (x; θ). A estatística Tn = t(X1 , . . . , Xn ) é uma estatística ancilar para
o parâmeto θ se sua função de densidade não depende de θ.

18
Exemplo

Seja X1 , . . . , Xn uma a.a.s. de X ∼ N(µ, σ 2 ), σ 2 conhecido, considere a

estatística dada por S 2 ,

n
1 X
S2 = (Xi − X )2 ,
n−1
i=1

sabe-se que
(n − 1)S 2
n
(Xi − X )2 = ∼ χ2n−1 .
X
σ2
i=1

como a função de distribuição não depende de parâmetros desconhecidos,

a estatística é uma estatística ancilar.

19
Teorema de Basu
Seja X1 , . . . , Xn uma a.a.s. de uma população com função de densidade
fX (x; θ). Se Tn = t(X1 , . . . , Xn ) é uma estatística ancilar para o parâmetro
θ e a estatística Tn∗ = t ∗ (X1 , . . . , Xn ) é uma estatística suciente para θ,
então Tn e Tn∗ são variáveis aleatórias estatísticamente independentes.

20
Exemplo

Seja X1 , . . . , Xn uma a.a.s. de X ∼ N(µ, σ 2 ), σ 2 conhecido, considere as

estatísticas

n
1 X
X e S2 = (Xi − X )2 ,
n−1
i=1

vimos que S2 é uma estatística ancilar e X é uma estatística suciente,

logo pelo teorema de Bassu, X e S 2 são independentes.

21
Informação de Fisher
Informação de Fisher
Seja X uma v.a. com f.d.p. fX (x; θ) tal que ∂ log(fX (x; θ))/∂θ existe para
todo x , e todo θ ∈ Θ ⊆ R. A informação de Fisher do parâmetro θ na
v.a. X , I (θ) é dada por

( 2 )
∂
I (θ) = Eθ log fX (x; θ) .
∂θ

Nota
Se ∂ 2 log fX (x; θ)/∂θ2 existe para todo x , e todo θ ∈ Θ ⊆ R a informação
de Fisher do parâmetro θ, na v.a. X pode ser denida como

∂2
 
I (θ) = −Eθ log f (x; θ) .
∂θ2
X

22
Exemplo

Seja

1 (x − θ)2
 
fX (x; θ) = √ exp − ,
2πσ 2σ 2
com σ conhecido.

√ 1
log fX (x; θ) = − log σ − log 2π − (x − θ)2 .
2σ 2
 
∂ x −θ
log fX (x; θ) =
∂θ σ2

23
A informação de Fisher é
" 2 #
X −θ
I (θ) = Eθ
σ2
1
= Eθ [(X − θ)2 ]
σ4
Vθ (X )
=
σ4
1
= 2.
σ

24
Denição
A informação de Fisher do parâmetro θ na amostra aleatória X1 , . . . , Xn
de uma população com função de densidade fX (x; θ) é dada por


n
!2 
∂ Y
Eθ  log fX (Xi ; θ) ,
∂θ
i=1

que é equivalente a nI (θ), em que I (θ) é a informação de Fisher do parâ-

metro θ na população com função de densidade fX (x; θ).

25
Desigualdade de Cramer-Rao
Seja X1 , . . . , Xn uma amostra aleatória de uma população com função
de densidade fX (x; θ), r (θ) uma função de θ, T = T (X1 , . . . , Xn ) um
estimador para r (θ) e Bθ (T ) o viés de T . Sob as condições de regularidade

 (r 0 (θ) + Bθ0 (T ))2

Eθ (T − r (θ))2 ≥

nI (θ)
com r 0 (θ) = ∂r (θ)/∂θ e Bθ0 = ∂Bθ (T )/∂θ. Se T é um estimador não
viesado

(r 0 (θ))2
Varθ (T ) ≥ ,
nI (θ)
conhecida como limite inferior de Cramér-Rao.

26
Teorema
Sob condições de regularidade, se T é um estimador de máxima verossi-
milhança para r (θ), T é um estimador tal que

√ 1
 
n(t − r (θ)) ∼ N 0; .
I (θ)

27
Exercício

Considere uma população Bernoulli de parâmetro θ e pb um estimador de

máxima verossimilhança de θ. Mostre que

√
p − θ) ∼ N (0, θ(1 − θ)) .
n(b

28
 Referências

M. C. Bolfarine, H. & Sandoval. Introdução a Inferência Estatística. SBM,

2001.
P. A. Bussab, W. O. & Morettin. Estatística Básica. Saraiva, 2014.
R. Casella, G.; Berger. Statistical Inference. Duxbury/Thomson Learning,
2002.
J. L. Devore. Probabilidade e Estatística para Engenharia e Ciências. Cen-
gage, 2018.
F.; Boes D. Mood, A.; Graybill. Introduction to the Theory of Statistics.
McGraw-Hill, 1974.

29