ACH2053 – Introdução à Estatı́stica

Aula 09b: Estimadores

Valdinei Freire

valdinei.freire@usp.br

http://www.each.usp.br/valdinei

Escola de Artes, Ciências e Humanidades - USP

2023

V. Freire (EACH-USP) ACH2053 2023 1 / 10

Exemplo

Considere uma caixa com 10 dados seguindo a seguinte distribuição:

5 dados com faces (111223), 3 dados com faces (112233), e 2 dados
com faces (122333). Considere o seguinte experimento:
1. um dado foi retirado aleatoriamente da caixa;
2. o dado foi jogado 6 vezes e os seguintes valores foram obtidos: 3,
2, 1, 2, 3, 2.

Responda:
1. Como são as faces do dado retirado?
2. Repita o exercı́cio considerando que na caixa exista apenas um
dado de cada um dos 3 tipos.
3. Repita o exercı́cio considerando que você não tem nenhuma
informação sobre os dados na caixa.

V. Freire (EACH-USP) ACH2053 2023 2 / 10

Estimadores Bayesianos

Considere que o parâmetro θ0 ∈ Ω é uma variável aleatória e é distribuida

de acordo com a p.d.f. (p.m.f.) f (θ) sobre o espaço de parâmetros
Ω ∈ Rd .

Considere que as n variáveis aleatórias X1 , . . . , Xn observadas são

independentes e identicamente distribuidas de acordo com a p.d.f (p.m.f.)
condicional f (x|θ).

Então, seguindo o teorema de Bayes, temos que:

f (x1 |θ) · · · f (xn |θ)f (θ)

Pr(θ0 = θ|X1 = x1 , . . . , Xn = xn ) =
Pr(X1 = x1 , . . . , Xn = xn )
Qn
f (xi |θ)f (θ)
= R Qni=1 0 0 0
θ0 i=1 f (xi |θ )f (θ )dθ

V. Freire (EACH-USP) ACH2053 2023 3 / 10

Estimadores Bayesianos
Considere a p.d.f. (p.m.f.) condicional dada por:

fn (θ|x1 , . . . , xn ) = Pr(θ0 = θ|X1 = x1 , . . . , Xn = xn ).

O estimador bayesiano:

θ̂ = arg max fn (θ|x1 , . . . , xn )

θ∈Ω

é chamado de estimador bayesiano Maximum a Posteriori (MAP).

O estimador bayesiano:
Z
θ̂ = θfn (θ|x1 , . . . , xn )dθ = Eθ0 |X1 ,...,Xn (θ0 )
θ

é chamado de estimador bayesiano Expectation a Posteriori (EAP).

V. Freire (EACH-USP) ACH2053 2023 4 / 10
Estimador de Máxima Verossimilhança

Considere a p.d.f (p.m.f) conjunta fn (x|θ). Se essa função é interpretada

como uma função de θ com parâmetros x = (x1 , . . . , xn ), então ela é
chamada de função de Verossimilhança (likelihood) e é denotada por
L(θ; x).

Suponha que as n variáveis aleatórias X1 , . . . , Xn formam uma amostra

aleatória de uma distribuição para qual a p.d.f. (p.m.f.) condicional é
f (X|θ). Então:
L(θ; x) = f (x1 |θ) · · · f (xn |θ).

Para cada possı́vel vetor de observação x = (x1 , . . . , xn ), defina

θ̂ = arg maxθ∈Ω L(θ; x). A estimativa θ̂ é a estimativa de máxima
verossimilhança (M.L.E. - maximum likelihood estimator).

V. Freire (EACH-USP) ACH2053 2023 5 / 10

Estimador de Máxima Verossimilhança

Definition (Divergência de Kullback-Leibler)

Seja p(x) e q(x) duas p.d.f. sobre R. A divergência (distância) de
Kullback-Leibler, de q(x) com respeito a p(x) é definida como:
Z ∞
p(x)
KL(p||q) = p(x) log dx.
−∞ q(x)

Teorema
Uma estimativa θ̂ baseada nas amostras x = (x1 , . . . , xn ) é um M.L.E. se
e somente se para todo θ ∈ Ω:

KL[fbn (x)||f (x; θ̂)] ≤ KL[fbn (x))||f (x; θ)],

onde fbn (x) é a distribuição discreta com base na amostra.

V. Freire (EACH-USP) ACH2053 2023 6 / 10
Função Log-likelihood

Seja θ̂ o M.L.E. de θ, se g : R → R é uma função estritamente crescente,

então θ̂ = arg maxθ∈Ω g[L(θ; x)].

Para encontrar o M.L.E. usualmente considera-se a transformação

`(θ; x) = log L(θ; x) e resolve-se a seguinte equação:

∇θ log L(θ) = 0.

O estimador M.L.E. não necessariamente é único e também pode não

existir dependendo da classe de distribuição.

Exercı́cio: encontre o estimador M.L.E. para uma amostrada obtida de

uma distribuição de Bernoulli.

V. Freire (EACH-USP) ACH2053 2023 7 / 10

Lei dos Números Grandes

Inequação de Markov
Suponha que X é uma variável aleatória tal que Pr(X ≥ 0) = 1. Então
para todo número real t > 0,

E(X)
Pr(X ≥ t) ≤ .
t
Inequação de Chebyshev
Suponha que X é uma variável aleatória tal que exista Var(X). Então
para todo número real t > 0,

Var(X)
Pr(|X − E(X)| ≥ t) ≤ .
t2

V. Freire (EACH-USP) ACH2053 2023 8 / 10

Lei dos Números Grandes

Teorema
Seja X1 , . . . , Xn amostras aleatórias
P de uma distribuição com média µ e
desvio padrão σ. Seja X n = n1 ni=1 Xi a média das amostras. Então:

σ2
E(X n ) = µ e Var(X n ) = .
n

Teorema (Lei dos Números Grandes)

Suponha que X1 , . . . , Xn forme uma amostra aleatória de uma
distribuição com média µ e variância finita. Seja X n a média das amostras
e g(z) uma função contı́nua em z = µ. Então:
p p
Xn →
− µ e g(X n ) →
− g(µ).

V. Freire (EACH-USP) ACH2053 2023 9 / 10

Método dos Momentos

Seja Fθ um espaço de c.d.f., encontre funções U : R → Rd e V : Ω → Rd

inversı́vel, tal que E[U (X)] = V (θ). Então construa o estimador:
n
!
1 X
θ̂ = V −1 U (xi ) .
n
i=1

Teorema
O Método dos Momentos produz um estimador consistente.

Exercı́cio: considerando o Métodos dos Momentos encontre um esti-

mador para a distribuição uniforme contı́nua entre a e b.

V. Freire (EACH-USP) ACH2053 2023 10 / 10