Estimador de máxima verossimilhança para distribuições i.i.d

Métodos Quantitativos II
Aula 6 - Estimador de Máxima Verossimilhança

[Capítulo 5, Hansen (2019; 2020)]
Flávia Chein
April 19, 2021
Flávia Chein MQ II April 19, 2021 1 / 10

Máxima Verossimilhança
Considere uma amostra aleatória {zi }ni=1 obtida de uma população

com


com
distribuição conjunta F (Z ; θ)


com
densidade f (Z ; θ)


com
caracterizada pelo parâmetro θ ∈ Θ ⊃ Rn
O método da máxima verossimilhança consiste em escolher θ de modo
que a probabilidade de obter a amostra observada é maximizada


com
Note que a densidade é parametrizada


com
Note que a densidade é parametrizada
A função de verossimilhança L(θ) é a distribuição conjunta como
função de valores hipotéticos para o parâmetro θ, dada a amostra
observada {zi }ni=1

Estimador de Máxima Verossimilhança

parameter ✓ 2 ⇥ ⇢ RP .
MáximaTheVerossimilhança
Maximum Likelihood Method consists of choosing ✓ such that
the probability of obtaining the observed sample is maximized.
Note that the density is parameterized.
The likelihood function L(✓) is the joint density function as a
function of the hypothetical values for the parameter ✓ given the
observed sample {zi }ni=1 .
Maximum
Estimador Likelihood
de Máxima Estimator:
Verossimilhança
✓bML = arg max L (✓|z1 , . . . , zn ) .
✓2⇥
Nathalie Gimenes (PUC-Rio) Econometrics - Lecture 6 PUC-Rio 4 / 33

parameter ✓ 2 ⇥ ⇢ RP .
MáximaTheVerossimilhança
Maximum Likelihood Method consists of choosing ✓ such that
the probability of obtaining the observed sample is maximized.
Note that the density is parameterized.
The likelihood function L(✓) is the joint density function as a
function of the hypothetical values for the parameter ✓ given the
observed sample {zi }ni=1 .
Maximum
Estimador Likelihood
de Máxima Estimator:
Verossimilhança
✓bML = arg max L (✓|z1 , . . . , zn ) .
✓2⇥
Se {zi }ni=1 é i.i.d., então L(θ) = L(θ| z1 , ..., zn )=

Qn
i=1 f (zi ; θ)

Solução do problema de otimização não se altera sob uma

transformação monotônica da função objetivo

Maximum Likelihood
Qn
If {zi }ni=1 are i.i.d., then L (✓) = L (✓|z1 , . . . , zn ) = i=1 f (zi ; ✓).
Solutions
Solução of a optimization
do problema problemnão
de otimização do se
notaltera
changesob
under
umaa monotonic
transformation of the objective function. Therefore,
n
!
Y
✓bML = arg max ln f (zi ; ✓) .
✓2⇥
i=1
log transformations allows for simplifications in the numerical

determination of the estimator as well as in the study of its properties.

Maximum Likelihood
Qn
If {zi }ni=1 are i.i.d., then L (✓) = L (✓|z1 , . . . , zn ) = i=1 f (zi ; ✓).
Solutions
Solução of a optimization
do problema problemnão
de otimização do se
notaltera
changesob
under
umaa monotonic
transformation of the objective function. Therefore,
n
!
Y
✓bML = arg max ln f (zi ; ✓) .
✓2⇥
i=1
log transformations
A transformação allows
para log for simplifications
permite simplificaçõesin the
na numerical
determinação
determination of the estimator as well as in the study of its properties.
numérica do estimador bem como no estudo de suas propriedades.

Uma Motivação para o Método de Máxima
Verossimilhança
Se Z ∼ f (Z , θo ) então pela versão estrita da desigualdade de Jensen

Verossimilhança
A Motivation for the Maximum Likelihood Method
SeIfZZ∼⇠ff(Z
(Z ,; θ✓ 0 )), então
o
then bypela
the versão
strict version
estritaofda
thedesigualdade
Jensen’s Inequality,
de Jensen

f (Z ; ✓)
E [ln f (Z ; ✓)] E [ln f (Z ; ✓ 0 )] = E ln
f (Z ; ✓ 0 )

f (Z ; ✓)
< ln E
f (Z ; ✓ 0 )
✓Z ◆
f (Z ; ✓)
= ln f (Z ; ✓ 0 )dZ
f (Z ; ✓ 0 )
0 1
Z
B C
= ln B
@ f (Z ; ✓)dZ A = 0.
C
| {z }
=1
Nathalie
Flávia CheinGimenes (PUC-Rio) Econometrics
MQ II - Lecture 6 PUC-Rio
April 19, 2021 65//33
10
Verossimilhança
A Motivation for the Maximum Likelihood Method
Logo, Therefore,
E [ln f (Z ; ✓)] < E [ln f (Z ; ✓ 0 )] ,
for all ✓ 2 ⇥, which implies that
✓ 0 = arg max E [ln f (Z ; ✓)] ,

✓2⇥
suggesting to estimate ✓ 0 via

n
X
1
✓b = arg max ln f (zi ; ✓).
✓2⇥ n
i=1
Flávia Chein Nathalie Gimenes (PUC-Rio) MQ II Econometrics - Lecture 6 April 19, 2021 6PUC-Ri
/ 10
Modelos Condicionais
Suponha zi = (xi , yi ) de modo que a distribuição marginal de

(x1 , .., xn ) não dependa de θ, mas a distribuição condicional de
(y1 , ..., yn ) dado (x1 , .., xn ) dependa:

Conditional Models
Suppose
Suponha z i z= i =(x(xi , iy,i y
)i )such that the
de modo quemarginal distribution
a distribuição de1 , . . . , x n )
of (x
marginal
does not depend upon ✓ but the conditional
(x1 , .., xn ) não dependa de θ, mas a distribuição condicional 1dedistribution of (y , . . . , yn )
given
(y1 , (x , x n ) (x
...,1y, n. ). .dado does:
1 , .., xn ) dependa:
f (z 1 , . . . , z n ; ✓) = f (y1 , . . . , yn |x 1 , . . . , x n , ✓) f (x 1 , . . . , x n ) .
In other words, ✓ parameterizes the dependence of yi upon x i .
✓bML = arg max f (z 1 , . . . , z n ; ✓)

✓2⇥
= arg max f (y1 , . . . , yn |x 1 , . . . , x n , ✓) f (x 1 , . . . , x n )
✓2⇥
n
Y
ind
= arg max f (yi |x i , ✓) f (x i )
✓2⇥
i=1
Xn
= arg max {ln f (yi |x i , ✓) + ln f (x i )}
✓2⇥
i=1
Conditional Models
Suppose
Suponha z i z= i =(x(xi , iy,i y
)i )such that the
of (x
marginal
does not depend upon ✓ but the conditional
(x1 , .., xn ) não dependa de θ, mas a distribuição condicional 1dedistribution of (y , . . . , yn )
given
(y1 , (x , x n ) (x
...,1y, n. ). .dado does:
1 , .., xn ) dependa:
f (z 1 , . . . , z n ; ✓) = f (y1 , . . . , yn |x 1 , . . . , x n , ✓) f (x 1 , . . . , x n ) .
In other words, ✓ parameterizes the dependence of yi upon x i .

Em outras palavras, θ parametriza a dependência de yi sobre xi
✓bML = arg max f (z 1 , . . . , z n ; ✓)

✓2⇥
✓2⇥
n
Y
ind
✓2⇥
i=1
Xn
= arg max {ln f (yi |x i , ✓) + ln f (x i )}
✓2⇥
i=1
Conditional Models
Conditional Models
Suppose
Suponha z i z= iz= (x(x i , iy,i y
)i )such that the
of (x
marginal
Suppose i = (x i , yi ) such that the marginal distribution of (x 1 , . . . , x n )
does not
(x1does depend
, .., xnot
n ) não depend upon
dependa ✓ but
upon ✓debut the conditional
θ, the
masconditional distribution
a distribuição of (y
condicional
distribution ,. .. ., y. , )yn )
of (y1 ,1.de n
given, (x
...,1y,(x
(y1given ,,.x. .n,)x(x
n. ).1.dado does:, .., x ) dependa:
n )1does: n
. .1., ,. z. .n,;z✓)
f (z 1f ,(z ==
n ; ✓) f (y 1 ,1.,.. .. ,. y
f (y ✓)ff (x(x1 ,1., ....,.x,nx)n. ) .
, ynn|x|x11,,.... . , x nn,,✓)
In other
In other words,
words, ✓ parameterizesthe
✓ parameterizes thedependence
dependence of uponx ix. i .
of yyi i upon
Em outras palavras, θ parametriza a dependência de yi sobre xi
bML = arg max f (z 1 , . . . , z n ; ✓)

✓bML✓= arg max f (z 1 , . . . , z n ; ✓)
✓2⇥
✓2⇥
✓2⇥
✓2⇥ n
Y
ind n
ind
= arg Y
max f (yi |x i , ✓) f (x i )
✓2⇥
i=1
✓2⇥ n
i=1X
= arg max
X n {ln f (yi |x i , ✓) + ln f (x i )}
✓2⇥
= arg max {ln f
i=1 (yi |x i , ✓) + ln f (x i )}
✓2⇥
Nathalie Gimenes (PUC-Rio) i=1 Econometrics - Lecture 6 PUC-Rio 8 / 33
Relação entre MLE e OLS
Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

Linear


Linear
1 As observações (yi , xi ), i = 1, ..., n, vem de uma amostra aleatória;


Linear
2 O modelo de regressão é linear: yi = xi0 β + ei ;


Linear
3 Exogeneidade estrita: E[ei |xi ]= 0


Linear
Exogeneidade estrita: i i |xi ]= 0
E[e
3
h
2
E yi2 < ∞ e E kxi k < ∞

4


Linear
E[e
3
h
2
E yi2 < ∞ e E kxi k < ∞

4
5 A matriz Qcc é inversível, isto é, Qxx = E [xi xi0 > 0]


Linear
E[e
3
h
2
E yi2 < ∞ e E kxi k < ∞

4
5 A matriz Qcc é inversível, istoé, Qxx = E [xi xi0 > 0]

6 Variância do Erro Esférica: E ei2 |xi = σ 2 (xi ) = σ 2


Linear
E[e
3
h
2
E yi2 < ∞ e E kxi k < ∞

4
5 A matriz Qcc é inversível, istoé, Qxx = E [xi xi0 > 0]

Esférica: E ei |xi = σ (xi ) = σ
2 2 2
6 Variância do Erro
2
7 ei | xi ∼ N 0, σ

Sob as hipóteses A1-A7

Relation between Maximum Likelihood and Least Squares
Sob as hipóteses A1-A7 A1-A7,

Under the assumption
2
y |X ⇠ N X , In .
Therefore, the conditional density of y given X is


1
f (y |X ) = (2⇡ 2 ) n/2 exp (y X )0 (y X ) .
2 2
No assumption about the marginal distribution of X .

Sob as hipóteses
Under thethe
Under A1-A7 A1-A7,
assumption
assumption A1-A7,
2
yy|X
|X ⇠
⇠NN XX , , I2nI n. .
Logo,Therefore, the conditional
a densidade condicionaldensity of y given
de ydado X é X is

 1 0
f (y |X ) = (2⇡ 22 ) n/2
n/2
exp 12 (y X ) (y0 X ) .
f (y |X ) = (2⇡ ) exp 2
2
(y X ) (y X ) .
2

Sob as hipóteses
Under thethe
Under A1-A7 A1-A7,
assumption
assumption A1-A7,
2
yy|X
|X ⇠
⇠NN XX , , I2nI n. .
Logo,Therefore, the conditional
a densidade condicionaldensity of y given
de ydado X é X is

 1 0
f (y |X ) = (2⇡ 22 ) n/2
n/2
exp 12 (y X ) (y0 X ) .
f (y |X ) = (2⇡ ) exp 2
2
(y X ) (y X ) .
2
Nenhuma hipótese sobre a distribuição marginal de X

Relation
Relação entrebetween
MLE eMaximum
OLS Likelihood and Least Squares
A função de máxima
The likelihood verossimilhança
function a serinmaximizada
to be maximized no model
the conditional modelo
condicional é, where
above is, = (β,, σ22 ),
onde ✓θ = ,

n n 1
ln(2⇡) ln( 2
) 2
(y X )0 (y X ) + ln f (X ) (1)
2 2 2
(1) The last component of (1) does not depend on ✓.

Note that, for a given bML2 , maximizing (1) with respect to amounts
0
to minimize (y X ) (y X ), i.e. the sum of squared errors.
Therefore, bML = bOLS .
⇣ ⌘0 ⇣ ⌘
2 = 1 y
bML X b y X b = (n k) s 2 .
n n
2 is biased.
bML

Relation
MLE eMaximum
above is, = (β,, σ22 ),
onde ✓θ = ,

n n 1
ln(2⇡) ln( 2
) 2
(y X )0 (y X ) + ln f (X ) (1)
2 2 2

2
Notecomponente
O último de b0(1)
that, for a given ML ,não
maximizing
depende(1)dewith
θ respect to
amounts
Therefore, bML = bOLS .
⇣ ⌘0 ⇣ ⌘
2 = 1 y
bML X b y X b = (n k) s 2 .
n n
2 is biased.
bML

Relation
MLE eMaximum
above is, = (β,, σ22 ),
onde ✓θ = ,

n n 1
ln(2⇡) ln( 2
) 2
(y X )0 (y X ) + ln f (X ) (1)
2 2 2

2
Notecomponente
O último de b0(1)
maximizing
depende(1)dewith
θ respect to
amounts
Note que, para bum dado σdML ,maximizar (1) com respeito a β
Therefore, ML = bOLS .
corresponde a⇣minimizar⌘0 ⇣a soma ⌘ dos resíduos quadrados
b
(y − Xβ)2 0= 1 y
ML (yn− Xβ) X b y X b = (n n k) s 2 .
2 is biased.
bML

Relation
MLE eMaximum
above is, = (β,, σ22 ),
onde ✓θ = ,

n n 1
ln(2⇡) ln( 2
) 2
(y X )0 (y X ) + ln f (X ) (1)
2 2 2

2
Notecomponente
O último de b0(1)
maximizing
depende(1)dewith
θ respect to
amounts
Note que, para bum dado σdML ,maximizar (1) com respeito a β
Therefore, ML = bOLS .
corresponde a⇣minimizar⌘0 ⇣a soma ⌘ dos resíduos quadrados
b
(y − Xβ)2 0= 1 y
ML (yn− Xβ) X b y X b = (n n k) s 2 .
2 is biased.
Logo,bβ̂ML
ML = β̂OLS .

Relation
MLE eMaximum
The likelihood
Relation verossimilhança
function
betweento beMaximum a serinmaximizada
maximized no
the conditional
Likelihood modelo
andmodel
Least Squ
above is, = (β,, σ22 ),
onde ✓θ = ,

n n 1
The likelihood
ln(2⇡) ln( 2 ) function
2
(y to X )0 (y X in
be maximized ) the
+ lnconditional
f (X ) (1) mod
2 2 2
above is, where ✓ = , 2 ,

(1) The last componentn of (1) doesn not depend
2 1 on ✓. 0
ln(2⇡)2 ln( ) X ) (yto Xamounts
(y respect ) + ln f (X
Notecomponente
O último 2 de b0(1)
maximizing
2 depende 2(1)2dewith
θ
Note que, para The
um dado σdML ,maximizar (1) not
comdepend
respeito
on a
✓. β
Therefore, bML last
= bcomponent
OLS .
of (1) does
corresponde a⇣minimizar⌘ ⇣a soma dos
⌘ 2resíduos quadrados
a given b (n, maximizing
2 0= 1 yNoteXthat,
b for (1) with respect to am
0
k) 2
bML
(y − Xβ) (yn− to
Xβ) y X b =ML s .
minimize (y X )0 (y n X ), i.e. the sum of squared errors
2 is biased. b = b
Logo,bβ̂ML
ML = β̂OLS .
Therefore, ML OLS .
⇣ ⌘0 ⇣ ⌘
(n k) 2
2 =
bML 1
n y Xb y Xb = n s .
b2ML
Nathalie Gimenes (PUC-Rio)
is biased. Econometrics - Lecture 6 PUC-Rio 12 / 33

Relation
MLE eMaximum
The likelihood
Relation verossimilhança
function
betweento beMaximum a serinmaximizada
maximized no
the conditional
Likelihood modelo
andmodel
Least Squ
above is, = (β,, σ22 ),
onde ✓θ = ,

n n 1
The likelihood
ln(2⇡) ln( 2 ) function
2
(y to X )0 (y X in
be maximized ) the
+ lnconditional
f (X ) (1) mod
2 2 2
above is, where ✓ = , 2 ,

(1) The last componentn of (1) doesn not depend
2 1 on ✓. 0
ln(2⇡)2 ln( ) X ) (yto Xamounts
(y respect ) + ln f (X
Notecomponente
O último 2 de b0(1)
maximizing
2 depende 2(1)2dewith
θ
Note que, para The
um dado σdML ,maximizar (1) not
comdepend
respeito
on a
✓. β
Therefore, bML last
= bcomponent
OLS .
of (1) does
corresponde a⇣minimizar⌘ ⇣a soma dos
⌘ 2resíduos quadrados
a given b (n, maximizing
2 0= 1 yNoteXthat,
b for (1) with respect to am
0
k) 2
bML
(y − Xβ) (yn− to
Xβ) y X b =ML s .
minimize (y X )0 (y n X ), i.e. the sum of squared errors
2 is biased. b = b
Logo,bβ̂ML
ML = β̂OLS .
Therefore, ML OLS .
⇣ ⌘0 ⇣ ⌘
(n k) 2
2 =
bML 1
n y Xb y Xb = n s .
2 Nathalie b2ML is biased. Econometrics - Lecture 6

σ̂ML é viesado.
Gimenes (PUC-Rio) PUC-Rio 12 / 33

Estimador de máxima verossimilhança para distribuições i.i.d

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Estimador de máxima verossimilhança para distribuições i.i.d

Enviado por

Direitos autorais:

Formatos disponíveis

Métodos Quantitativos II

Aula 6 - Estimador de Máxima Verossimilhança

April 19, 2021

Flávia Chein MQ II April 19, 2021 1 / 10

Considere uma amostra aleatória {zi }ni=1 obtida de uma população

Flávia Chein MQ II April 19, 2021 2 / 10

Considere uma amostra aleatória {zi }ni=1 obtida de uma população

Flávia Chein MQ II April 19, 2021 2 / 10

Considere uma amostra aleatória {zi }ni=1 obtida de uma população

Flávia Chein MQ II April 19, 2021 2 / 10

Considere uma amostra aleatória {zi }ni=1 obtida de uma população

Flávia Chein MQ II April 19, 2021 2 / 10

Considere uma amostra aleatória {zi }ni=1 obtida de uma população

Flávia Chein MQ II April 19, 2021 2 / 10

Considere uma amostra aleatória {zi }ni=1 obtida de uma população

Flávia Chein MQ II April 19, 2021 2 / 10

Estimador de Máxima Verossimilhança

Flávia Chein MQ II April 19, 2021 3 / 10

Nathalie Gimenes (PUC-Rio) Econometrics - Lecture 6 PUC-Rio 4 / 33

Flávia Chein MQ II April 19, 2021 3 / 10

Se {zi }ni=1 é i.i.d., então L(θ) = L(θ| z1 , ..., zn )=

Flávia Chein MQ II April 19, 2021 3 / 10

Solução do problema de otimização não se altera sob uma

Flávia Chein MQ II April 19, 2021 4 / 10

log transformations allows for simplifications in the numerical

Nathalie Gimenes (PUC-Rio) Econometrics - Lecture 6 PUC-Rio 5 / 33

Flávia Chein MQ II April 19, 2021 4 / 10

Nathalie Gimenes (PUC-Rio) Econometrics - Lecture 6 PUC-Rio 5 / 33

Flávia Chein MQ II April 19, 2021 4 / 10

Se Z ∼ f (Z , θo ) então pela versão estrita da desigualdade de Jensen

Flávia Chein MQ II April 19, 2021 5 / 10

E [ln f (Z ; ✓)] < E [ln f (Z ; ✓ 0 )] ,

for all ✓ 2 ⇥, which implies that

✓ 0 = arg max E [ln f (Z ; ✓)] ,

suggesting to estimate ✓ 0 via

Suponha zi = (xi , yi ) de modo que a distribuição marginal de

Flávia Chein MQ II April 19, 2021 7 / 10

In other words, ✓ parameterizes the dependence of yi upon x i .

✓bML = arg max f (z 1 , . . . , z n ; ✓)

In other words, ✓ parameterizes the dependence of yi upon x i .

✓bML = arg max f (z 1 , . . . , z n ; ✓)

bML = arg max f (z 1 , . . . , z n ; ✓)

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

5 A matriz Qcc é inversível, isto é, Qxx = E [xi xi0 > 0]

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

5 A matriz Qcc é inversível, istoé, Qxx = E [xi xi0 > 0]

Flávia Chein MQ II April 19, 2021 8 / 10

Primeiro, vamos recuperar as hipóteses do Modelo de Regressão

5 A matriz Qcc é inversível, istoé, Qxx = E [xi xi0 > 0]

Flávia Chein MQ II April 19, 2021 8 / 10

Sob as hipóteses A1-A7