Introdução à Probabilidade e à Estatı́stica II

Estimação II

Lı́gia Henriques-Rodrigues
MAE0229 – 1º semestre 2018

1 / 11
2.2 Métodos de obtenção de estimadores

Existem vários procedimentos para obtenção de estimadores:

Método dos Momentos (M);

Método da Máxima Verossimilhança (MV);
Método dos Mı́nimos Quadrados (MQ).

2 / 11
Método dos momentos

Seja (X1 , . . . , Xn ) uma amostra aleatória de uma v.a. X com função densidade fθ .

Definição: O k-ésimo momento populacional é definido por

Z +∞
k
µk = E (X ) = x k fθ (x)dx, k = 1, 2, . . . .
−∞

Definição: O k-ésimo momento amostral é definido por

n
1X k
mk = Xi , k = 1, 2, . . . .
n
I =1

O estimador de momentos é a solução da igualdade dos momentos amostrais com

os momentos populacionais.

3 / 11
Definição: Sendo θ = (θ1 , . . . , θr )T , dizemos que θ̂1 , θ̂2 , . . . , θ̂r são estimadores
obtidos pelos método dos momentos, se eles forem soluções das equações,

mk = µk , k = 1, 2, . . . , r .

Exemplo 1: Determine o estimador dos momentos do modelo exponencial,

Exp(β), com f.d.p. 
 1 −x/β
e , x ≥0
f (x; β) = β .
 0, x < 0,
Como só temos um parâmetro, β, o estimador dos momentos é solução da
equação
m1 = µ1 ,
1
Pn
onde m1 = X = n I =1 Xi e µ1 = E (X ) = β. Logo,

β̂M = X .

4 / 11
Exemplo 2: Seja X uma v.a. com média µ e variância σ 2 .

Os dois primeiros momentos populacionais são:

µ1 = E (X ) = µ e µ2 = E (X 2 ) = σ 2 + µ2 .

Os dois primeiros momentos amostrais são:

n n
1X 1X 2
m1 = Xi = X e m2 = Xi .
n n
I =1 I =1

Deste modo, os estimadores dos momentos serão

µ̂M = X

n
2 1X 2 2
σ̂M = m2 − m12 = Xi − X = σ̂ 2 = SX2 .
n
I =1

5 / 11
Método da máxima verossimilhança

O princı́pio da verossimilhança afirma que devemos escolher aquele valor do

parâmetro desconhecido que maximiza a probabilidade de obter a amostra
particular observada, ou seja, o valor que torna aquela amostra a mais provável.

Seja (X1 , . . . , Xn ) uma amostra aleatória de uma v.a. X com função densidade fθ .

Definição: A função de verossimilhança é definida por

n
Y
L(θ) = fθ (x1 ) × . . . × fθ (xn ) = fθ (xi )
i=1

que deve ser encarada como uma função de θ. O estimador de MV de θ é o valor

θ̂MV que maximiza L(θ).

Maximizar L(θ) é equivalente a maximizar `(θ) = log (L(θ)), a log-verossimilhança

de θ.

6 / 11
No caso discreto, seja (X1 , . . . , Xn ) uma amostra aleatória de uma v.a. X com
função de probabilidade Pθ (X = x). A função de verossimilhança é definida por
n
Y
L(θ) = Pθ (X1 = x1 ) × . . . × Pθ (Xn = xn ) = Pθ (Xi = xi ).
i=1

Tal como no caso contı́nuo, o estimador de MV de θ é o valor θ̂MV que maximiza

L(θ).

7 / 11
Exemplo: Considere o modelo Bernoulli com probabilidade de sucesso p, e uma
amostra aleatória de dimensão n. Determine o estimador de MV de p.
Resolução: Neste caso, a função de verossimilhança é dada por,
n
Y Pn Pn
L(p) = p xi (1 − p)1−xi = p i=1 xi
(1 − p)n− i=1 xi
.
i=1

Denotando o logaritmo natural por log, temos

n
X n
X
`(p) = log(L(p)) = xi log p + (n − xi ) log(1 − p),
i=1 i=1
Pn
onde i=1 xi denota o número de sucessos.
Pn
i=1 Xi
Derivando em ordem a p e igualando a zero, obtemos p̂MV = = X.
n

8 / 11
Propriedades dos estimadores de máxima verossimilhança

Os estimadores de MV são assintoticamente centrados, i.e.,

limn→∞ E (θ̂MV ) = θ.

Os estimadores de MV são consistentes.

Em condições gerais de regularidade, o estimador de MV de θ tem

distribuição assintoticamente normal de valor médio θ e variância nI 1(θ) , sendo
 2 
I (θ) = −E ∂ ∂fθ2(X θ
)
.

A propriedade da invariância é válida para qualquer estimador de MV, isto é,

se θ̂MV é um estimador de MV de θ e se β = g (θ) é uma função bijetora de
θ, então o estimador de MV de β é β̂MV = g (θ̂MV ).

9 / 11
Método dos mı́nimos quadrados

Definição Considere-se o seguinte modelo

Y = g (X ; θ) + ε,

onde ε ∼ N(0, σ 2 ) e E (Y |x) = g (x; θ), para todo o valor de x. Defina-se a função
n
X n
X 2
S(θ) = ε2i = (Yi − g (Xi ; θ)) ,
i=1 i=1

para uma amostra (X1 , Y1 ), . . . , (Xn , Yn ) das variáveis X e Y .

O valor de θ que minimiza a função S(θ), θ̂MQ , é designado de estimador de
mı́nimos quadrados (EMQ) de θ.

10 / 11
Exemplo: Considere o modelo Y = θX + ε e determine o EMQ de θ.
n
X 2
S(θ) = (Yi − θXi )
i=1

n
dS(θ) X
= (Yi − θXi ) (−2Xi ) = 0
dθ
i=1

Resolvendo a equação em ordem a θ obtemos,

Pn
Xi Yi
θ̂MQ = Pi=1
n 2
i=1 Xi

Obtidas as amostras: X : 1,2; 1,5; 1,7; 2,0; 2,6, e Y : 3,9; 4,7; 5,6; 5,8; 7,0.
Determine uma estimativa de MQ de θ.
51, 05
θ̂MQ = = 2, 94
17, 34

11 / 11