Inlioouclion lo Nonpaiamoliic Lconomoliics

Mallhias Hagmann
12
HLC Lausanno \ FAML
Apiil 2008
1
HLC Lausanno, LFSH 1, CH-101 Lausanno-Doiigny, mallhias.hagmann^hoc.unil.ch.
2
I woulo liko lo lhank Daniol Hoochlo ano Cailos Lonz foi holpful commonls. All iomaining oiiois aio
mino.
1hoso locluio nolos piovioo a nonlochnical inlioouclion lo lho lolo of nonpaiamoliic oconomol-
iics. 1ho ioaooi is oxpocloo lo know lho Lasics in pioLaLilily lhooiy ano paiamoliic oconomoliics,
o.g. lho classical linoai iogiossion moool
1
. Foi a moio malhomalical lioalmonl of lho suLjocl, lho
ioaooi is iofoiioo lo Iagan ano Ullah (1000), Wano ano Jonos (100) ano lho iofoioncos lhoioin.
1 IntroductIon
Lol (1
i
. A
i
) . i = 1. 2. ... Lo a soiios of inooponoonl ianoom vaiiaLlos. In oui conloxl, 1
i
is lho
ooponoonl vaiiaLlo ano A
i
lho inooponoonl oi oxplanaloiy vaiiaLlo. In lhis loxl wo will jusl lioal
lho univaiialo caso, moaning lhal Lolh ianoom vaiiaLlos aio unioimonsional. Mosl of lho lhooiy
givon will also holo unooi somo suilaLlo assumplions in lho ooponoonl caso, i.o. whon (1
i
. A
i
) is
a slalionaiy limo soiios. Somo aspocls:
1ho oisliiLulion funclion (d,) of A :
1
A
(r) = Ir (A _ r) .
1ho pioLaLilily oonsily funclion (jd,) of A, ,
A
(r) . is oolnoo as
1
A
(r) =
_
a

,
A
(.) d.
oi oquivalonlly
,
A
(r) = 1
(1)
A
(r) .
whoio 1
(1)
A
(r) oonolos lho lisl ooiivalivo of lho d,.
1ho joinl d, of A ano 1
1
A,Y
(r. ) = Ir (A _ r. 1 _ ) .
1ho joinl jd, of A ano 1. ,
A,Y
(r. ) . is oolnoo as
1
A,Y
(r. ) =
_
a

_
j

,
A,Y
(.. n) d.dn.
1ho maiginal jd, of A, ,
A
(r) is oolnoo as
,
A
(r) =
_

,
A,Y
(r. ) d.
1
A gooo ano sumcionl souico foi Lolh suLjocls is Hill, Giimlhs ano Juogo (2001). A moio aovancoo inlioouclion
lo malhomalical slalislics is givon in Hogg ano Ciaig (100) ano lo oconomoliics in Johnslon ano DiNaioo (1007).
1
1ho conoilional jd, of 1 givon A. ,
Y A
( [ r) . is oolnoo as
,
Y A
( [ r) =
,
A,Y
(r. )
,
A
(r)
.
1ho conoilional moan of 1 givon A is givon Ly
1 (1 [ A = r) =
_

,
Y A
( [ r) d = q (r) .
Nolo lhal q (r) only ooponos on lho rvaiiaLlo.
Whoioas lho joinl oonsily ,
A,Y
(r. ) oolivois a voiy gonoial oosciiplion of lho joinl occuiionco
of lwo (oi moio) ianoom vaiiaLlos, lho conoilional oonsily oosciiLos lho pioLaLilily of occuiionco
of lho ooponoonl vaiiaLlo givon lhal lho inooponoonl vaiiaLlo lakos somo spocilc valuo r. Io-
giossion lhooiy focusos on lho lisl momonl of lho conoilional oonsily, lho conoilional moan. 1ho
iolalionship Lolwoon lwo ianoom vaiiaLlos, o.g. consumplion ano incomo is oosciiLoo as:
= q (r) (1)
1 ( [ r) = 0.
Wo call q (r) lho iogiossion funclion ano lho oiioi oi oisluiLanco loim. Nolo lhal lho socono
lino is nol an assumplion Lul follows Ly laking conoilional oxpoclalions on Lolh sioos of LQ(1):
1 ( [ r) = 1 (q (r) [ r) 1 ( [ r)
= q (r) 1 ( [ r) . (2)
1his is liuo Locauso conoilioning on r moans wo know lhal valuo, so q (r) is known as woll Locauso
lho q-funclion ooos only oopono on r. 1hoiofoio, lho oxpoclalion foi lho lisl loim can Lo ignoioo.
LQ(2) lhon immooialoly implios lho socono lino in LQ(1). Inluilivoly: lho only infoimalion wo can
gol oul of lho known vaiiaLlo r lo piooicl lho ooponoonl vaiiaLlo is conlainoo in lho qfunclion,
lho oisluiLanco loim is complololy uninfoimalivo.
So fai wo jusl maoo somo slalislical oosciiplion of lho iolalionship of lwo ianoom vaiiaLlos
which is in gonoial liuo. Lul how oo wo oslimalo lhis iolalionship givon a ianoom samplo oLsoivoo
in lho ioal woilo In gonoial, lho iosoaichoi has no iooa aLoul lho foim of q (r). 1hoio aio Lasically
lwo appioachos: lho paiamoliic ano lho nonpaiamoliic appioach.
1.1 TLe IaranetrIc AroacL
1ho paiamoliic appioach assumos lhal lho qfunclion can Lo oosciiLoo Ly a fow paiamolois. 1ho
mosl piominonl moool is lho linoai 2-paiamoloi moool:
q (r) = c ,r.
2
Olhoi funclional foims aio possiLlo liko lho log-linoai oi quaoialic moool:
q (r) = c , lnr.
q (r) = c ,r r
2
whoio in lho lasl oxamplo lhioo paiamolois aio usoo lo oosciiLo lho funclional iolalionship Lolwoon
ano r. 1ho linoai foim can Lo jusliloo Ly lho facl, lhal givon 1 ano A aio joinlly noimally
oisliiLuloo, lhon lho conoilonal oxpoclalion will lako a linoai foim. Lslimalion of all lhoso moools
is quilo oasy, lho paiamolois can Lo ooloiminoo Ly iunning a simplo OLS-iogiossion. As is woll
known, unooi lho Gauss-Maikov assumplions, OLS is lho Hosl Linoai \nLiasoo Eslimaloi oi
Liioly HL\E. IomomLoi howovoi, lhal in piaclico, soloom ono of lhoso assumplions will holo.
Lspocially, il is haio lo Loliovo, lhal lho iosoaichoi knows lho oxacl funclional foim of q (r). 1ho
moool foi q (r) is lhoiofoio likoly lo Lo misspociloo ano loaos lo wiong infoionco. 1ho Losl wo
can hopo is lhal lho funclional foim assumoo in oui moool is nol loo fai away fiom lho liuo foim,
so lhal lho mislakos wo mako aio quilo small.
1.2 TLe onaranetrIc AroacL
1ho nonpaiamoliic appioach ooos nol assumo any funclional foim foi q (r), Lul ialhoi goos Lack
lo lho slalislical oolnilion of conoilional oxpoclalion:
q (r) =
_

,
Y A
( [ r) d =
1
,
A
(r)
_

,
A,Y
(r. ) d. (8)
Insloao of mooolling q oiioclly, wo coulo moool lho joinl oonsily of (A. 1 ) ano lho maiginal jd, of
A. Choosing a paiamoliic moool foi lhoso oonsilios woulo howovoi implicilly imply lho choico of
a paiamoliic moool foi q (o.g. choosing noimalily implios linoaiily). If wo oon`l know lho moool
foi q, why shoulo wo know lho moool foi lho oonsilios 1ho only way oul of lhis silualion is
lhoiofoio nol lo assumo any moool foi lho oonsilios al all ano oslimalo lhom Ly somo oalaoiivon
nonpaiamoliic way. 1ho oslimalos of lho joinl ano lho maiginal can lhon Lo usoo lo gol an
oslimalo q (r) of lho conoilional oxpoclalion al poinl r. Fiom LQ(3) :
q (r) =
1

,
A
(r)
_

,
A,Y
(r. ) d.
1hoso iooas mako il oLvious, lhal lho oslimalion of jd,: is a conlial lopic in nonpaiamoliic
oconomoliics. Onco a gooo unooislanoing foi oonsily oslimalion is oovolopoo, lho oslimalion of
iogiossion funclions is 'poanuls'.
1.3 SenIaranetrIc estInatIon
A oiawLack of nonpaiamoliic oslimalion is lhal lho aLsonco of a sliucluio givon Ly a paiamoliic
foim makos oslimalion loss piociso. If lho assumoo paiamoliic moool is inoooo liuo, paiamoliic
8
oslimalion is much moio piociso lhan a coiiosponoing nonpaiamoliic oslimaloi. 1his is ospocially
liuo if lho oxplanaloiy vaiiaLlo is mullivaiialo. 1his pioLlom of nonpaiamoliic oslimalion is calloo
lho 'cuiso of oimonsionalily' ano will Lo oxplainoo laloi in lho couiso. Il inluilivoly moans lhal
oslimalion gols 'oxpononlially moio oimcull' as lho oimonsion of lho iogiossois incioasos.
A way oul of lhis oilomma is somipaiamoliic oslimalion, which is as lho namo suggosls, a
comLinalion of paiamoliic ano nonpaiamoliic oslimalion iooas.
1.4 Structure oI tLese otes
Wo will slail in lho noxl chaploi wilh pioLaLilily oonsily funclion oslimalion. Afloi Liioly
ioviowing lho main paiamoliic woikhoiso 'Maximum Likolihooo' oslimalion, wo will focus on lho
mosl populai nonpaiamoliic appioach calloo koinol oonsily oslimalion. 1ho lhiio soclion oovolops
piopoilios of lho koinol oonsily oslimaloi whoioas lho fouilh soclion ooals wilh lho choico of lho
smoolhing paiamoloi. 1ho lflh soclion ooals wilh Lias ioouclion lochniquos foi lho koinol oonsily
oslimaloi. 1ho sixlh soclion lhon inliooucos nonpaiamoliic iogiossion oslimalion. In Soclion 7
wo will oullino somo somipaiamoliic lochniquos.
4
2 IroLaLIIIty DensIty FunctIon EstInatIon
In lhis soclion wo consiooi a univaiialo soiios of i.i.o ianoom vaiiaLlos A
i
. i = 1. 2. .... 1ho ioaooi
may lhink aLoul incomo oala of housoholos in a pailiculai yoai, lossos of an insuianco company
fiom lio insuianco conliacls oi, in a limo soiios conloxl, a soiios of slock ioluins. Lofoio luining
lo nonpaiamoliic lochniquos, wo lisl iopoal lho maximum likolihooo concopl.
2.1 AaxInun LIkeIILood
In lhis suLsoclion wo assumo lhal wo know lho paiamoliic foim of lho jd, wo wanl lo oslimalo
ano lhal il can Lo oosciiLoo Ly somo funclion , which is chaiacloiizoo Ly a paiamoloi vocloi o
whoso liuo valuo is o
0
. Maximum likolihooo is lho mosl omcionl molhoo lo gol an oslimalo of o
0
.
2.1.1 DehnItIon oI tLe AL EstInator
1ho joinl jd, of a ianoom samplo of sizo ` is givon Ly
,
A

,...,A

(r
1
. .... r
.
: o
0
) .
Sinco wo aio in lho i.i.o caso, lhis joinl oonsily can Lo facloioo inlo lho piooucl of ils maiginals:
,
A

,...,A

(r
1
. .... r
.
: o
0
) =
.

i=1
,
A

(r
i
: o
0
). (4)
Nolo lhal in LQ(4), lho paiamoloi o
0
is hxed ano chaiacloiizos lho liuo jd, of lho ianoom samplo.
1ho joinl oonsily funclion allows lo ovalualo lho pioLaLilily of occuiionco of eacL singlo vocloi
r = (r
1
. .... r
.
). 1ho likolihooo funclion is somolhing voiy similai liko lho joinl oonsily funclion,
Lul lho iolos of r ano o
0
aio oxchangoo. Now lho samplo r is oLsoivoo ano a hxed poinl. Insloao
wo can vary lho vocloi o which paiamoliizos lho jd,. Lvoiy oiloionl paiamoloi valuo o spocilos
a oiloionl joinl oonsily. Wo wanl lo chooso o such lhal lho implioo joinl oonsily is maximizoo al
lho samplo vocloi r. moaning lhal il is likoly lhal lho givon ioalisalion r = (r
1
. .... r
.
) is inoooo
oLsoivoo fiom such a joinl oonsily.
1ho likolihooo funclion is givon Ly
1(o: r
1
. .... r
.
) =
.

i=1
,
A

(o: r
i
). ()
1ho oslimalion of o is oLvious now: chooso lhis paiamoloi vocloi lo maximizo lho likolihooo
funclion.

DehnItIon 1 G.n nn h:J ;....J) nn| r nnJ n n:nn:..J Jnn.|j J :hnh.|.j

Jn.j J&n.n ,
A
(r: o), h nnr.n&n |.||.hJ .nn:

o
A1
. h nnr.n..: J h |.||.hJ
J&n.n:

o
A1
= arg max
0
.

i=1
,
A

(o: r
i
).
Henark 1 |n n|&nj & n.J: h |j |.||.hJ J&n.n &h.h . h |jn:.hn J h
|.||.hJ J&n.n nnJ n.: hnnJ|:
log 1(o: r
1
. .... r
.
) =
.

i=1
log ,
A

(o: r
i
). (6)
5.n h. :nnJ:nn.n . nnn., h nnr.n..: J h |.||.hJ nnJ |j |.||.hJ J&n.n
n: .Jn.n|.
2.1.2 IroertIes oI AL EstInators
Sinco lhis is nol a couiso aLoul ML oslimalion, wo jusl collocl hoio lho mosl impoilanl piopoilios
of lho ML oslimaloi:
Consisloncy:

o
A1
convoigos in pioLaLilily lo lho liuo paiamoloi valuo o
0
. 1his moans lhal
foi a voiy laigo samplo sizo `,

o
A1
is voiy closo lo o
0
.
Asymplolic noimalily: il can Lo shown lhal
_
`
_

o
A1
o
0
_
`
_
0. 1 (o
0
)
1
_
whoio 1 (o
0
)
1
is lho vaiianco of lho maximum likolihooo oslimaloi
2
.
Il can Lo shown lhal any olhoi possiLlo molhoo foi lho oslimalion of o
0
yiolos an oslimaloi

o which has (foi laigo N) a vaiianco al loasl as laigo as lho ML oslimaloi:

Vai
_

o
_
_ Vai
_

o
A1
_
foi laigo N.
OLviously il is lho lhiio poinl which makos ML oslimalion voiy alliaclivo sinco lho lisl lwo
aio shaioo Ly olhoi oslimalois as woll. So in caso wo inoooo know lho liuo paiamoliic oonsily
funclion, lho Losl lhing wo can oo is ML.
In piaclico il is howovoi unlikoly lhal wo know lho liuo paiamoliic foim. Figuio 1 shows
lwo oxamplos whal happons, whon ono misspocilos lho paiamoliic oonsily funclion. Dala fiom
2
1 (0

) is also calloo lho Fishoi-infoimalion maliix.

6
a lognoimal LN(0. 1) ano a WoiLull(1. 1.)
8
woio gonoialoo ano lho lwo jd,: oslimaloo assuming
lhal Lolh oala sols can Lo oosciiLoo Ly a gamma oonsily.
Figuio 1 appiox. hoio
1ho lguio cloaily shows lhal lho ll foi lho WoiLull samplo is, allhough incoiiocl, nol loo Lao.
1ho ll foi lho lognoimal samplo is howovoi quilo Lao. 1ho mooo of lho oonsily is ovoioslimlaloo,
whoioas lho lails of lho oonsily aio unooioslimaloo
4
.
2.2 ExanIe
Lofoio luining lo nonpaiamoliic lochniquos, wo concluoo lhis suLsoclion wilh an oxamplo foi ML
oslimalion.
ExanIe 1 1 hn n :nnJn nn| J .. A nnJ n&n hn n .nj| h:n.n . A
i
~
` (j. o
2
). 1 hn n& 1(0) &h:
log ,
A

(j. o
2
: r
i
) = log
_
_
2:o
2
_
12
cxp
_

1
2o
2
[r
i
j[
2
__
=
1
2
log 2:
1
2
log o
2

1
2o
2
[r
i
j[
2
(7)
Jh |j |.||.hJ J&n.n . hn j.n hj

:
log 1 =
`
2
log o
2

1
2o
2
.

i=1
[r
i
j[
2
.
Jh & 1O j. & h `1 .nn:
j =
1
`
.

i=1
r
i
= r.
o
2
=
1
`
.

i=1
(r
i
r)
2
.
&h.h n: ]& h nn| nnn nnJ h nn| n:.nn
6
.
8
1hoso ano lho gamma oonsily aio paiamoliic oonsily funclions which can Lo oosciiLoo Ly lwo paiamolois.
4
Foi a ioal lifo oxamplo: supposo lhoso oala aio lossos fiom lio insuianco conliacls. 1o conliol lhoii iisk,
insuianco companios liy lo oslimalo lho oonsily foi lhoii lossos. Lspocially lho laigo lossos aio impoilanl foi lhom.
As lho iighl hano panol in Figuio 1 shows, lho wiong paiamoliic foim can polonlially unooioslimalo lho iisk
conlainoo in lho insuianco poilfolio.

1ho lisl loim in LQ(7)is nol iolovanl sinco il ooos nol conlain any of lho paiamolois of inloiosl.
6
Nolo lhal lho oslimaloi foi lho vaiianco is slighlly Liasoo, sinco an unLiasoo oslimaloi foi o

has jusl ( 1)
in lho oonominaloi. 1ho olocl is howovoi small ovon foi moooialo samplo sizos.
7
2.3 TLe HIstogran
1ho lisl ano simplosl nonpaiamoliic oosciiplion of a oonsily is lho slanoaio hislogiam. 1o
consliucl a hislogiam, ono lisl has lo ooloimino lho so calloo oiigin 1
0
ano lho Linwiolh / (soo
Figuio 2). 1ho oiigin ooloiminos whoio ono Logins lo consliucl lho Lins, lho Linwiolh ooloiminos
lho wiolh of a singlo Lin. 1ho hislogiam is lhon complololy ooloiminoo Ly lho facl lhal lho
oonsily has lo inlogialo lo ono. 1ho piocoouio lo calculalo lho oonsily al a poinl r is as follows:
ooloimino in which Lin r is localoo. Call lhis /i:(r) .
counl lho numLoi of oLsoivalions in /i:(r) ano noimalizo such lhal lho oonsily inlogialos
lo ono. Foimally:

, (r) =
1
`/
.

i=1
1 (A
i
/i:(r)) (8)
whoio 1 is lho inoicaloi funclion ano oquals ono if lho conoilion in Liackols is liuo ano zoio
olhoiwiso.
Why oo wo havo lo noimalizo Ly `/ Imagino wo jusl havo ono laigo Lin which conlains all
oLsoivalions (Figuio 8). As can Lo soon fiom LQ(8), lho oonsily lakos insioo lho Lin ovoiywhoio
lho valuo 1,/. Sinco lho wiolh of lho Lin is /, lho oonsily inlogialos lo ono ano wo lhoiofoio havo
choson lho iighl noimalizalion.
Figuio 2- appiox. hoio
Somo iomaiks:
Insioo a Lin, lho oonsily oslimalo is a conslanl.
1ho oonsily is nol conlinuous whon lho Lin changos.
Choosing a oiloionl oiigin 1
0
, lho hislogiam changos ils appoaianco (Figuios 24).
A laigo Linwiolh piooucos a voiy smoolh oonsily (Figuio 8), a small ono ioluins a voiy
iough ano oiialic picluio (Figuio ).
1ho lisl lhioo piopoilios aio cloaily nol a oosiiaLlo foaluio of a oonsily oslimaloi. As wo
will soo laloi, lho lasl oLsoivalion will luin oul lo Lo ono of lho mosl impoilanl quoslions in lho
nonpaiamoliic liloialuio: lho choico of lho smoolhing paiamoloi.
8
2.4 TLe IocaI HIstogran or naIve KerneI EstInator
Wo liy in a lisl slop lo gol iio of lho choico of lho oiigin. 1ho iooa is lo conloi a local Lin al oach
poinl r whoio ono wanls lo oslimalo lho oonsily. 1hon ono jusl consioois poinls foi lho oonsily
calculalion lhal aio in a noighLouihooo / of lho poinl of inloiosl r. Foimally ano similaily lo
LQ(8)
7
:

, (r) =
1
` (2/)
.

i=1
1 (r / _ A
i
_ r /)
=
1
` /
.

i=1
1
2
1
_
1 _
A
i
r
/
_ 1
_
(0)
which can Lo iowiillon as

, (r) =
1
`/
.

i=1
1
_
A
i
r
/
_
(10)
whoio
1 (n) =
_
1,2. [n[ _ 1
0. [n[ 1
. (11)
1ho oslimaloi in LQ(9) is calloo lho local hislogiam oi moio oflon lho naivo koinol oonsily
oslimaloi. 1ho 1 funclion, calloo koinol, oisplayoo in Figuio 6 is always posilivo, inlogialos lo
ono ano is jusl a unifoim pioLaLilily oonsily funclion.
Figuio 7 consioois an oxamplo of lhis oslimaloi, 200 ianoom slanoaio noimal valuos woio
oiawn ano lho naivo koinol oslimaloi applioo. Allhough wo gol iio of lho choico of lho oiigin
pioLlom, wo soo lhal lho oonsily is slill nol conlinuous
8
. Figuio 8 makos cloai why lhis is lho caso.
Lslimaling lho oonsily al poinl r
1
incluoos 6 oLsoivalions in lho local Lin. Lslimaling a Lil lo lho
iighl of r
1
, lho poinl which woio jusl on lho lofl Lounoaiy ooos no longoi gol any woighl in lho
now local Lin ano only oLsoivalions iomain. 1hoio is lhoiofoio a oisciolo jump in lho oonsily
as soon as ono oLsoivalion onlois oi loavos lho local Lin. 1ho ioason foi lhoso jumps is lhal lho
woighl which is allocaloo lo an oLsoivalion is nol a conlinuous funclion of ils oislanco fiom lho
poinl of inloiosl. 1his foaluio is nol oosiiaLlo sinco wo woulo liko lo gol a conlinuous oonsily.
2.5 TLe KerneI DensIty EstInator
1o gol a conlinuous oonsily oslimalo, wo havo lo ioplaco lho unifoim koinol Ly anolhoi koinol
funclion which changos lho woighl allocaloo lo lho oLsoivalion in a noighLouihooo of r in a
7
Nolo lhal wiolh of lho local Lin is 2L, lhis oxplains lho oonominaloi in LQ(0) .
8
1ho lguio shows a iough Lul conlinuous oonsily, lhis is Locauso lho piogiam (Lviows), which cioaloo lhis
picluio, is connocling lho poinls Ly linos.
0
conlinuous way. 1his koinol funclion can Lo any symmoliic funclion which is always posilivo ano
inlogialos lo ono. Nolo lhal ovoiy symmoliic jd, salislos lhis ioquiiomonl.
DehnItIon 2 |:n| .nn: J , (r) . J]nJ hj

, (r) =
1
`/
.

i=1
1
_
A
i
r
/
_
&h: / . n||J h hnnJ&.Jh : nh.nj n:nn: nnJ 1 . n||J h |:n| nnJ n.]
0
_
1 (n) dn = 1. (12)
1 (n) _ 0 :j&h:. (18)
1 J&:h: n&n hn
/ 0 n ` (14)
`/ n ` (1)
Iiopoily (12) makos suio lhal lho oslimaloo oonsily is inlogialing lo ono. 1his follows sinco
Ly a chango of vaiiaLlo
10
_

, (r) dr =
_
1
`/
.

i=1
1
_
A
i
r
/
_
dr
=
1
`/
.

i=1
_
1
_
A
i
r
/
_
dr
=
1
`/
.

i=1
_
1 (n) /dn
=
_
1 (n) dn.
which oquals only ono if lho usoo koinol funclion inlogialos lo ono. Iiopoily (13) onsuios lhal

, (r) _ 0, wo will iolax lhis piopoily laloi. Iiopoily (14) moans lhal as oui availaLlo samplo gols
laigoi, wo oocioaso lho Lanowiolh ano jusl givo woighl lo oLsoivalions in a shiinking noighLoui-
hooo aiouno lho poinl r. whoio wo oslimalo lho oonsily. Iiopoily (1) moans lhal lho smoolhing
paiamoloi is nol appioaching zoio as fasl as lho samplo sizo appioachos inlnily. Iopulai koinol
funclions which salisfy lho aLovo ioquiiomonls aio:
1iiangulai koinol: (1 [n[) 1 ([n[ _ 1) .
0
1ho limils of inlogialion aio fiom now on lo unloss olhoiwiso slaloo.
10
Uso n =

ano lho facl lhal 1

_

_
= 1
_

_
.
10
Lpanochnikov koinol:
S
1
(1 n
2
) 1 ([n[ _ 1) .
Gaussian koinol: (2:)
12
cxp
_

1
2
n
2
_
.
Figuios 01011 show oonsily oslimalos using lhoso koinols ano lho samo oala as in Figuio
7. An oplimal Lanowiolh was choson, wo oiscuss laloi how lhis is oono. Nolo lhal lho iough
foaluio piosonl in lho naivo koinol oslimaloi oisappoaioo. Wo also iomaik, lhal inooponoonl of
lho koinol usoo, lho oonsily oslimalos look voiy similai. Wo will soo lhal

, (r) ooponos moio on
lho smoolhing paiamoloi / lhan on 1.
11
3 IroertIes oI tLe KerneI DensIty EstInator
In lhis soclion wo ooiivo moan squaio oiioi, Lias ano vaiianco of lho koinol oonsily oslimaloi ano
also show lhal lho oslimaloi is consislonl ano has an asymplolic noimal oisliiLulion.
3.1 Aean Square Error {ASE)
Wo slail wilh a oolnilion.
DehnItIon 3 Jh `51 J nn .nn:

o J h :& n|& o
0
. j.n hj
11
MSL
_

o
_
= 1
_

o o
0
_
2
.
1ho MSL givos a gooo inoicalion of how closo lho oslimaloi is lo lho liuo valuo o
0
. Wo piofoi
oslimalois wilh small MSL. Nolo lhal al lisl glanco, lho oolnilion of MSL sooms lo Lo lho samo
as lho vaiianco of an oslimaloi. Inoooo, lhoio is a iolalionship Lolwoon lhoso lwo moasuios which
loaos us lo oui lisl Lomma.
Lenna 1 MSL
_

o
_
= Lias
_

o
_
2
Vai
_

o
_
.
Iocall lho oolnilion of lho Lias of an oslimaloi.
DehnItIon 4 Jh h.n J nn .nn:

o J h :& n|& o
0
. J]nJ n
Lias
_

o
_
= 1
_

o
_
o
0
.
ExanIe 2 &n & J:n& 1 1.||.n nn| J .uu :nnJn n|& J:n n nnJn:J n:nn|
J.:.h&.n nnJ n|&|n J: nh nn| , h Jn.j .nn

,
)
(r), .J h n:nj J n|| h
n|&nJ .nn: . n j&n| , (r), hn &: .nn: hn n h.n. 1n|| hn .j. h O15
.nn: . &nh.nJ, . h nn| nnn, .J. 1rnn| 1, .n
1 ( r) = 1
_
1
`
.

i=1
r
i
_
=
1
`
.

i=1
1 (r
i
) = j.
11
0 can Lo foi oxamplo lho loasl squaios oslimaloi

, in linoai iogiossion, in oui conloxl il is lho koinol oonsily
oslimaloi

) (r). Also nolo lhal lho nolalion 1
_

0 0

moans 1
_
_

0 0

_
ano nol
_
1
_

0 0

__

. Whon wo
moan lho lalloi, wo will oxpliciloly wiilo il liko lhis.
12
Lol`s pioovo now Lomma 1.
IrooI. Ly oolnilion:
`51
_

o
_
= 1
_

o o
0
_
2
= 1
__

o 1
_

o
__

_
1
_

o
_
o
0
__
2
= 1
_

o 1
_

o
__
2
1
_
1
_

o
_
o
0
_
2

2 1
__

o 1
_

o
__ _
1
_

o
_
o
0
__
= 1n:
_

o
_
1.n
_

o
_
2
.
which follows sinco as
_
1
_

o
_
o
0
_
is conslanl, wo can lako il oul of lho oxpoclalion ano lhoiofoio
1
__

o 1
_

o
__ _
1
_

o
_
o
0
__
=
_
1
_

o
_
o
0
_
1
_

o 1
_

o
__
= 0.
3.2 HIas and YarIance oI tLe KerneI EstInator
1hoio oxisls in gonoial no unLiasoo nonpaiamoliic oonsily oslimaloi. Wo lisl ooiivo Lias ano
vaiianco of lho koinol oonsily oslimaloi ano lhon givo a longlhy inluilivo oiscussion of lhoso lwo
oxpiossions.
Slailing wilh lho Lias, wo havo lhal
1.n
_

, (r)
_
= 1
_

, (r)
_
, (r) .
1ho lisl loim can Lo wiillon as
1
_
1
`/
.

i=1
1
_
A
i
r
/
_
_
=
1
/
1
_
1
_
A
1
r
/
__
(16)
=
1
/
_
1
_
A
1
r
/
_
, (A
1
) dA
1
(17)
=
_
1 (n) , (/n r) dn (18)
Locauso
(10) follows sinco oala is i.i.o.,
(17) follows Ly oolnilion of oxpoclalion,
18
(18) follows Ly a chango of vaiiaLlo using n =
A

a
b
.
1ho lasl loim wo can Lo simpliloo using a 1ayloi oxpansion:
_
1 (n)
_
, (r) ,
(1)
(r) /n
1
2
,
(2)
(r) /
2
n
2
...
_
dn
= , (r)
/
2
2
,
(2)
(r)
_
1 (n) n
2
dn ...
1ho socono loim in lho Liackol oissapoaioo sinco lho koinol is symmoliic, lhoiofoio
_
n1 (n) dn =
0. Collocling ovoiylhing logolhoi ano aLsliacling fiom highoi oiooi loims
12
wo gol lhal
1.n
_

, (r)
_
=
/
2
2
,
(2)
(r)
_
1 (n) n
2
dn.
1uining lo lho vaiianco:
1n:
_

, (r)
_
=
1
`
2
/
2
1n:
_
.

i=1
1
_
A
i
r
/
_
_
(10)
=
1
`/
2
1n:
_
1
_
A
1
r
/
__
(20)
=
1
`/
2
1
_
1
_
A
1
r
/
_
2
_

1
`/
2
_
1
_
1
_
A
1
r
/
___
2
(21)
Locauso
(19) follows sinco 1n:(cA) = c
2
1n:(A) .
(20) follows sinco wo havo i.i.o oala, so no covaiianco loims,
(21) follows sinco 1n:(A) = 1 (A
2
) [1 (A)[
2
.
Il can Lo shown lhal lho socono loim in LQ(21) is 'voiy small' ano is lhoiofoio noglocloo
fiom fuilhoi calculalions, lho lisl loim can Lo wiillon, using similai slops as aLovo, as
1
`/
2
_
1
_
A
1
r
/
_
2
, (A
1
) dA
1
=
1
`/
2
_
1 (n)
2
, (/n r) /dn
=
1
`/
_
1 (n)
2
_
, (r) ,
(1)
(r) /n
1
2
,
(2)
(r) /
2
n
2
...
_
dn
=
, (r)
`/
_
1 (n)
2
dn ....
again noglocling small loims. Wo can lhoiofoio slalo now oui lisl pioposilion.
12
Highoi oiooi loims aio loims which aio voiy small as soon as lho samplo sizo lakos sumcionlly laigo valuos.
1hoy aio lhoiofoio ignoioo.
14
IroosItIon 1 1nJ: &.nh| nJ..n nnJ nh:n.nj J:n h.jh: :J: :n, h h.n nnJ
n:.nn J h |:n| Jn.j .nn: n: j.n hj h J||&.nj r:.n:
Lias
_

, (r)
_
=
/
2
2
,
(2)
(r)
_
1 (n) n
2
dn. (22)
Vai
_

, (r)
_
=
, (r)
`/

_
1 (n)
2
dn. (28)
Wo nolo lhal whoioas lho Lias of lho koinol oonsily oslimaloi is incioasing wilh /, lho vaiianco
of lho oslimaloi is golling laigoi as wo oocioaso lho smoolhing paiamoloi. 1o minimizo lho MSL,
wo woulo liko lo havo Lolh Lias ano vaiianco lo Lo small. 1ho opposilo olocl of lho smoolhing
paiamoloi on Lias ano vaiianco moans lhal lhoio is a liaoo ol Lolwoon lhoso lwo loims. Whoio
ooos lhis como fiom Imagino wo wanl lo oslimalo lho oonsily al r. 1hon wo woulo liko lo uso
jusl poinls voiy closo lo r lo gol a gooo oosciiplion of , (r), sinco lhoso closo poinls soom lo
iopiosonl Losl lho local Lohavioui of , (r). Lul as Figuio 12 shows, a small Lanowiolh loaos lo a
voiy vaiiaLlo oonsily oslimalo wilh a lol of Lumps which can haioly Lo a usoful oonsily oslimalo.
Wo call lhis Lumpy foaluio unooismoolhing. On lho olhoi sioo, choosing lho Lanowiolh loo laigo
is calloo ovoismoolhing. Nolo lhal allhough lho iighl panol in Figuio 12 looks quilo woll, lhoio
is way loo much woighl in lho lails of lho oonsily foi slanoaio noimal oala. 1ho iighl amounl
of smoolhing lios somowhoio in lho mioolo. Wo will oovolo Soclion 4 lo lho choico of Lanowiolh,
which is slill ono of lho mosl impoilanl aioas of iosoaich in lho nonpaiamoliic liloialuio.
3.3 ConsIstency oI tLe KerneI DensIty EstInator
Wo show hoio convoigonco in moan squaio, iocall lho oolnilion.
DehnItIon 5 n .nn:

o
.
. n.J n:j .n nnn j&n:
18
h :& n|& o
0
.J h
J||&.nj nJ..n h|J :&:
lim
.
1
_

o
.
o
0
_
2
= 0.
Nolo lhal foi an unLiasoo oslimaloi, lhis jusl moans lhal lho vaiianco of lho oslimaloi con-
voigos lo zoio as ` . 1his Lasically moans lhal

o convoigos lo o
0
as lho samplo sizo gols
laigoi ano laigoi.
IroosItIon 2 1nJ: n &.nh| ;&n|) nJ..n nnJ .J 1(14) nnJ 1(1) h|J, hn h
|:n| Jn.j .nn: . nnn j&n: n.n.
lim
.
1
_

, (r) , (r)
_
2
= 0.
18
1his is also calloo 1

convoigonco.
1
1roo]. 1:n 1nnn 1 & ]& hn h&
lim
.
_
Lias
_

, (r)
_
2
Vai
_

, (r)
_
_
= 0.
h& J:n h n&n.n nnJ h. J||& n.|j:
lim
.
Lias
_

, (r)
_
2
= lim
.
_
/
2
2
,
(2)
(r)
_
1 (n) n
2
dn
_
2
= 0
.n / 0 n ` nnJ
lim
.
Vai
_

, (r)
_
= lim
.
, (r)
`/

_
1 (n)
2
dn = 0
.n `/ n ` .
Wo noxl givo a oiscussion of asymplolic noimalily of lho koinol oonsily oslimaloi.
3.4 AsyntotIc nornaIIty oI tLe KerneI DensIty EstInator
Allhough wo know lho Lias ano vaiianco of lho koinol oonsily oslimaloi, wo can`l oo valio ano
omcionl infoionco, o.g. consliucl conloonco inloivals, sinco wo oon`l know yol lho oisliiLulion of
lho koinol oonsily oslimaloi. Iocall lisl lho conlial limil lhooiom.
TLeoren 1 1J & hn nn ....J nn| A
i

.
i=1
&.h 1 (A
i
) = j nnJ \ c: (A
i
) = o
2
, hn
1
_
`
.

i=1
(A
i
j) `
_
0. o
2
_
. (24)
1ho aLovo moans lhal
_
` ( r j) has foi voiy laigo ` a oisliiLulion which is noimal wilh
moan zoio ano vaiianco o
2
. Nolo lhal wo havo lwo olocls: Ly lho law of laigo numLois, r convoigos
lo ils moan. Also lho vaiianco of r convoigos lo zoio sinco lho vaiianco of lho samplo moan is
o
2
,`. Wo nooo lho piomulliplioi
_
` lo onsuio lhal wo oon`l gol a poinl mass oisliiLulion al j.
Nolo lhal
1n:
_
_
` r
_
= ` 1n: ( r) = `
o
2
`
= o
2
.
so lhis piomulliplioi onsuios lhal wo gol a slaLlo vaiianco, which ooos nol oopono on `, lho
numLoi of oLsoivalions wo havo.
Wo woulo liko lo gol a similai iosull liko (24) foi oui koinol oonsily oslimaloi. 1ho oiscussion
wo givo hoio is voiy inluilivo Lul sumcionl foi oui puiposos
14
. Nolo lhal

, (r) , (r) =
_

, (r) 1
_

, (r)
__

_
1
_

, (r)
_
, (r)
_
. (2)
14
A malhomalically coiiocl pioof can Lo founo in Iagan ano Ullah (1000).
16
1o slail, lol us focus on lho lisl Liackol in LQ(2). Il can Lo wiillon as
1
`/
.

i=1
1
_
A
i
r
/
_
1
_

, (r)
_
.
Nolo lhal Ly consliuclion, lhis wholo loim has zoio oxpoclalion ano lho lisl loim is a sum of
i.i.o ianoom vaiiaLlos. If wo can slaLilizo lho vaiianco of lhis wholo loim as ` , wo shoulo
Ly lho conlial limil lhooiom gol a limiling noimal oisliiLulion foi lho koinol oonsily oslimaloi.
Call lho slaLilizing facloi c, lhon wo wanl lo havo
1n:
_
c
_

, (r) 1
_

, (r)
___
= c
2
1n:
_

, (r)
_
= c
2
, (r)
`/

_
1 (n)
2
dn = co::t.
Il follows lhoiofoio immooialoly lhal wo havo lo chooso
c =
_
`/.
Iiomulliplying LQ(2) Ly lhis loim yiolos
_
`/
_

, (r) 1
_

, (r)
__

_
`/
_
1
_

, (r)
_
, (r)
_
.
Wo oslaLlishoo lhal lho lisl loim has a slaLlo vaiianco ano has Ly lho CL1 a limiling noimal
oisliiLulion, lho socono loim is Ly LQ(22) jusl givon Ly
_
`/
/
2
2
,
(2)
(r)
_
1 (n) n
2
dn
= `
12
/
2
,
(2)
(r)
_
1 (n) n
2
dn. (26)
Wo wanl loim (20) lo go lo zoio as ` gols voiy laigo, such lhal lhis loim can Lo ignoioo. 1his
loim lhon has no olocl on lho asymplolic oisliiLulion. Wo lhoiofoio assumo lhal in aooilion lo
LQ(14) ano LQ(1) . also
`/

0 (27)
holos. Summing up, wo can lhoiofoio oslaLlish lhal
_
`/
_

, (r) , (r)
_
`
_
0. , (r)
_
1 (n)
2
dn
_
.
Using lhis iosull, an appioximalo poinlwiso 0/ conloonco inloivall foi , can Lo wiillon as

, (r) 1.90 (`/)

12
_
, (r)
_
1 (n)
2
dn
_
12
.
In piaclico wo ioplaco , (r) Ly ils consislonl oslimaloi

, (r).
17
Henark 2 1n n:nn:. nn:., h nh.|...nj Jn: : h n||J :n J n:jn
.
_
`. 1n nnn:nn:. nn:., & ]& n& hn h Jn: n| h J:n
_
`/, &h.h
. |&: hnn h n:nn:. :n. Jh. . hn& `/ . n n:j.nj .n]n.j n Jn n `
.. Jh .n&..n hh.nJ h. . hn .n n:nn:. .nn.n, h uloIc nn| .. . &J. 1n
nnn:nn:., n . J&.nj n n h:.n|.nj n.jhh&:hJ J h .n J .n:, ]& urI
J h nn| . nJJ. Jh. h:.n|.nj n.jhh&:hJ . J:.hJ hj h nh.nj n:nn:,
&h.h r|n.n . nn:nn .n h nnn:nn:. :n J n:jn.
Henark 3 1nnj.n & &nn .nn n d-J.nn.nn| Jn.j, n nn h& hn .n h. n
h n:jn :n . n |nj:
_
`/ h&
_
`/
o
. 5 .n:n.nj h J.nn.n nnn hn &:
.nn: n:j n |&: . :& n|& , (r) . Jh. . J.]:n .n n:nn:. .nn.n,
h :n J n:jn . n|&nj h nn. Jh. .&n.n . n||J h &: J J.nn.nn|.j
nnJ . h nn.n J:n&hn| J nnn:nn:. hn.j&.
18
4 OtInaI HandvIdtL and KerneI
Wo saw in lho lasl soclion lhal lho Lias of lho koinol oonsily oslimaloi can Lo oocioasoo Ly
choosing a low smoolhing paiamoloi. Lul al lho samo limo, lhis incioasoo lho vaiianco. In lhis
soclion wo ooiivo lho oplimal Lanowiolh.
4.1 OtInaI HandvIdtL
Iocall lhal wo usoo lho MSL as a gooonoss of ll moasuio foi oui oonsily oslimaloi. Using Lomma
1 ano Lqualions (22) ano (23), wo can wiilo
`51
_

, (r)
_
=
C
1
`/
C
2
2
/
1
(28)
whoio
C
1
= , (r)
_
1 (n)
2
dn.
C
2
=
1
2
,
(2)
(r)
_
1 (n) n
2
dn.
Wo can now chooso lho smoolhing paiamoloi such lhal lho MSL is minimizoo:
d`51
d/
=
C
1
`/
2
4C
2
2
/
S
= 0
which implios lhal lho oplimal Lanowiolh al poinl r is givon Ly
/
cjt
(r) =
_
C
1
4C
2
2
_
1
`
1
=
_
, (r)
_
1 (n)
2
dn
_
,
(2)
(r)
_
1 (n) n
2
dn

2
_
1
`
1
. (20)
Nolo lhal lhis oplimal Lanowiolh vaiios wilh r, wo can avoio lhis Ly minimizing a gloLal gooonoss
of ll moasuio. 1ho mosl populai gloLal moasuio is lho inlogialoo moan squaio oiioi oolnoo as
`151 =
_
`51
_

, (r)
_
dr.
Following similai slops liko aLovo, ono can show lhal lho oplimal gloLal Lanowiolh is givon Ly
/
cjt
=
_
_
1 (n)
2
dn
_
,
(2)
(r)
2
dr
__
1 (n) n
2
dn

2
_
1
`
1
(80)
Nolo lhal lho oplimal local ano gloLal Lanowiolhs oopono on lho samplo sizo, lho koinol ano on
lho unknown quanlilios , (r) ano ,
(2)
(r). 1ho oplimal Lanowiolh can lhoiofoio nol Lo compuloo.
Lofoio luining lo somo possiLlo solulions, lol`s givo lho inluilion why
_
,
(2)
(r)
2
dr appoais in lho
oxpiossion foi lho oplimal gloLal Lanowiolh
1
. Nolo lhal whon , (r) is a voiy smoolh oonsily,
1
IomomLoi lhal lho socono ooiivalivo moasuios lho cuivaluio of a funclion al poinl r.
10
o.g. closo lo a unifoim oonsily, lhon lhis oxpiossion is closo lo zoio ano lho oplimal Lanowiolh
is lhoiofoio voiy laigo. Inluilivoly, if lho oonsily lakos similai valuos almosl ovoiywhoio, lhon wo
can Loiiow infoimalion fiom a laigo noighLouihooo of lho poinl of inloiosl. If lho oonsily is voiy
cuivy, lhis is nol lho caso ano wo shoulo uso a small Lanowiolh.
Hoio aio somo solulions foi lho unknown valuos in LQ(29) ano (30):
insoil pilol oslimalos of , (r) ano ,
(2)
(r), using koinol oslimalos Lasoo on aiLiliaiy /.
insoil pilol oslimalos of , (r) ano ,
(2)
(r) Lasoo on a paiamoliic moool foi ,, o.g. lako lho
noimal oonsily.
sinco / shoulo vaiy wilh lho scalo of A, oslimalo lho lisl facloi in LQ(30) Ly lho samplo
slanoaio oovialion
16
. 1hon jusl chooso lho Lanowiolh piopoilional lo `
1
.
1ho socono iulo is known as Silvoiman`s iulo of lhumL, ono can show lhal, comLinoo wilh a
gaussian koinol funclion, il amounls lo chooso
/ = 1.00o`
1
.
whoio o is lho slanoaio oovialion ano can Lo oslimaloo fiom lho oala. 1his iulo sooms lo woik
piolly woll in piaclico unloss lho oonsily is Limooal oi sliongly skowoo.
4.2 OtInaI KerneI
LQ(28) shows lhal lho MSL (as woll lho MISL) also ooponos on lho choson koinol funclion
17
. So
lo mako lho M(I)SL as small as possiLlo, wo coulo chooso a koinol funclion which minimizos lho
M(I)SL. Il can Lo shown lhal lho Lpanochnikov koinol is in lhis sonso oplimal. Lul also, lho gain
of lho Lpanochnikov koinol voisus olhoi koinols is voiy small, so lhal iosoaichois usually oo nol
caio aLoul lho choico of koinol. Whal ioally mallois in nonpaiamoliics is lho choico of Lanowiolh.
4.3 Cross YaIIdatIon AetLod oI cLoosIng HandvIdtL
Wo oullino hoio an aulomalic molhoo which achiovos foi laigo ` lho oplimal gloLal Lanowiolh
givon in LQ(29) . Wiilo

,
b
(r) =
1
`/
.

i=1
1
_
A
i
r
/
_
(81)
16
1his moans lhal foi oala ianging fiom -1000 lo 1000, lho Lanowiolh shoulo Lo laigoi lhan foi oala ianging
jusl fiom -1 lo 1.
17
Wo coulo suLslilulo lho oplimal Lanowiolh givon in LQ(28) Lack inlo LQ(20) lo oLlain lho oplimal MSL,
which ooos no longoi oopono on lho Lanowiolh, Lul on unknown oonsily loims ano lho choson koinol.
20
lo omphasizo lho ooponoonco of lho koinol oslimaloi on lho smoolhing paiamoloi /. 1hon Ly
analogy wilh paiamoliic maximum likolihooo, consiooi
1(/) =
.

)=1

,
b
(A
)
) . (82)
Nolo lhal lhis funclion is voiy similai lo lho likolihooo funclion givon in LQ(). So a voiy inluilivo
iooa is lo chooso lho smoolhing paiamoloi / such lhal lhis funclion is maximizoo. Il luins oul
lhal lhis is pioLlomalic sinco suLsliluling LQ(31) in LQ(32) yiolos
1(/) =
.

)=1
1
`/
.

i=1
1
_
A
i
A
)
/
_
=
.

)=1
1
`/
_
1 (0)

i=)
1
_
A
i
A
)
/
_
_
. (88)
1his funclion is of couiso maximizoo if wo chooso / = 0, which can haioly Lo a gooo smoolhing
paiamoloi. A solulion lo lhis pioLlom is lho so calloo loavo ono oul oslimaloi, oolnoo as

b
(A
)
) =
1
(` 1) /
.

i=)
1
_
A
i
A
)
/
_
.
lhis will piovonl lho appoaianco of lho pioLlomalic 1 (0) loim in LQ(33). 1ho cioss valioaloo
Lanowiolh is lhon oolnoo as

/ = arg max
b
.

)=1

b
(A
)
) .
1his Lanowiolh soloclion is oala-ooponoonl, Lul can como closo lo lho oplimal Lanowiolh as
oosciiLoo aLovo. 1his piocoouio is iolalivoly oxponsivo lo compulo foi laigo `, lhough lhis is
incioasingly possiLlo wilh fasloi compulalional facililios.
21
5 HIas HeductIon TecLnIques
In lhis soclion wo ooal wilh Lias ioouclion lochniquos foi lho koinol oonsily oslimaloi. 1his lopic
is of pailiculai impoilanco in lho nonpaiamoliic liloialuio, sinco lho Lias inoucoo Ly smoolhing
can Lo laigo.
5.1 HIgLer Order KerneIs
Iocall lho oovolopmonl of lho Lias of lho koinol oonsily oslimaloi in Soclion 8, LQ(18):
1ic:
_

, (r)
_
, (r) =
_
1 (n) , (n/ r) dn.
Wo can uso a 1ayloi oxpansion lo appioximalo lho lasl loim Ly
_
1 (n)
_
, (r) ,
(1)
(r) n/
1
2
,
(2)
(r) (n/)
2

1
6
,
(S)
(r) (n/)
S

1
21
,
(1)
(r) (n/)
1
...
_
dn
= , (r)
/
2
2
,
(2)
(r)
_
n
2
1 (n) dn
/
1
24
,
(1)
(r)
_
n
1
1 (n) dn ....
which follows sinco lho symmoliy of lho koinol funclion implios lhal lho socono ano foilh loim
in Liackols aio zoio. ALsliacling fiom highoi oiooi loims lhan lhoso consiooioo hoio, wo can
lhoiofoio wiilo lho Lias of lho koinol oslimaloi as
1ic:
_

, (r)
_
=
/
2
2
,
(2)
(r)
_
n
2
1 (n) dn
/
1
24
,
(1)
(r)
_
n
1
1 (n) dn. (84)
Nolo lhal lho socono loim is convoiging fasloi lo zoio lhan lho lisl
18
, lhis is why wo ignoioo lhis
loim in lho oovolopmonl of lho Lias in Soclion 8.
1ho so calloo highoi oiooi koinol lochniquo aims al oliminaling lho lisl ano laigoi loim Ly
choosing an appiopiialo koinol funclion. Foi lhis wo nooo
_
n
2
1 (n) dn = 0.
Il is oLvious lhal lhis is only possiLlo whon 1 (n) lakos nogalivo valuos, sinco n
2
is foi suio
ovoiywhoio posilivo. Lofoio showing how lo consliucl such a highoi oiooi koinol, lol us iomaik
lhal lho aLovo oiscussion can Lo oxlonooo lo also oliminalo lho socono loim in LQ(34) . lhis woulo
ioquiio
_
n
1
1 (n) dn = 0.
In gonoial, lol us givo lho following oolnilion:
18
In caso lhis is nol oLvious foi you: uso lho Lanowiolh soloclion iulo in LQ(80) . LQ(84) can lhon Lo wiillon as
1ia:
_

) (r)
_
= c

,
whoio c

aio somo iiiolovanl conslanls. 1ho socono loim convoigos fasloi lo zoio lhan lho lisl.
22
DehnItIon 6 J&n.n 1
(v)
(n) . n||J n |:n| J&n.n J :J: : .J h J||&.nj nJ..n
h|J:
_
1
(v)
(n) dn = 1. (8)
_
n
)
1
(v)
(n) dn = 0 1 _ , _ : 1. (86)
Jh ::nJ.nj |:n| Jn.j .nn: J :J: : . j.n hj

,
(v)
(r) =
1
`/
.

i=1
1
(v)
_
A
i
r
/
_
.
Again, Conoilion (3) onsuios lhal lho oonsily oslimaloi inlogialos lo ono. Conoilion (30)
onsuios lhal "onough" loims in lho 1ayloi oxpansion of lho Lias cancol oul. Again, aLsliacling
fiom loims of highoi oiooi lhan lhoso consiooioo, wo oLlain lho Lias of lho highoi oiooi koinol
oonsily oslimaloi.
IroosItIon 3 Lias
_

,
(v)
(r)
_
=
b

v!
,
(v)
(r)
_
n
v
1
(v)
(n) dn.
Nolo lhal lho slanoaio koinol funclion usoo so fai salislos lho oolnilion of a highoi oiooi
koinol wilh : = 2. Also nolo lhal as long as lho koinol funclion is symmoliic, Conoilion (30) is
nol a iosliiclion whon , is ooo.
ExanIe 3 Lol us consliucl hoio a koinol funclion of oiooi : = 3. Nolo lhal lhis is whal wo
nooo lo sol lho lisl loim in LQ(34) oqual lo zoio. Lol c(n) oonolo lho slanoaio noimal jd, ano
consiooi
1
(S)
(n) =
_
c d n
2
_
c(n) .
1hon lho following conoilions havo lo holo:
_
1
(S)
(n) dn = 1.
_
n
2
1
(S)
(n) dn = 0.
1hoso lwo conoilions can Lo wiillon as
10
c d = 1.
c 3d = 0.
1ho solulions aio c = 3,2 ano d = 1,2.Wo plol lhis koinol funclion of oiooi lhioo in Figuio .
1.j&: 1 n. h:
10
Iocall lhal if n is a noimal ianoom vaiiaLlo wilh zoio moan ano vaiianco o

, lhon 1
_
n

_
= 8 o

.
28
Nolo lhal sinco lho highoi oiooi koinol funclion is nol ovoiywhoio posilivo, lho oonsily oslimalo
can lako nogalivo valuos as woll. 1his pioLlom ooos only vanish if samplos aio voiy laigo, sinco
lho koinol oslimaloi is consislonl. In piaclico, allhough lhooiolically appoaling, lhoio is haioly
Lias impiovomonl fiom choosing : _ 3. Allhough wo oio nol ooiivo lho oxacl oxpiossion foi lho
vaiianco of lho highoi oiooi koinol hoio, nolo fiom LQ(23) lhal lho vaiianco of lho koinol oslimaloi
ooponos on
_
1 (n)
2
dn.
which is likoly lo Lo laigoi foi a highoi oiooi koinol lhan a slanoaio koinol. Also nolo lhal using
lho 1ayloi oxpansion in oui Lias ooiivalion, wo impliciloly assumoo lhal lho unknown oonsily is
:-limos oiloionliaLlo, which may nol Lo liuo.
5.1.1 InIIcatIons Ior HandvIdtL SeIectIon
ALsliacling fiom highoi oiooi loims, lho MSL foi lho highoi oiooi koinol oonsily oslimaloi is
givon Ly
`51
_

,
(v)
(r)
_
=
C
1
`/
C
2
v
/
v
.
whoio
C
1
= , (r)
_
1
(v)
(n)
2
dn.
C
v
=
,
(v)
(r)
:!

_
n
v
1
(v)
(n) dn.
Following ioonlical slops as in Soclion 4, lho oplimal local Lanowiolh is givon Ly
/
cjt(v)
(r) =
_
C
1
2:C
2
v
_
1(2v1)
`
1(2v1)
= co::t `
1(2v1)
. (87)
Nolo lhal lho oplimal local Lanowiolh foi lho slanoaio koinol oslimaloi is oLlainoo fiom LQ(37)
Ly solling : = 2. Whon wo assumo lhal fouilh oiooi ooiivalivos of , oxisl, lhon wo can chooso
: = 4 ano oLlain lhal lho oplimal local Lanowiolh lakos lho foimco::t`
19
. So lhis Lanowiolh
convoigos slowoi lo zoio lhan lhal foi lho slanoaio koinol oonsily oslimaloi. 1ho inluilion is lhal
lho sinco lho Lias is smalloi, lho maiginal cosl of incioasing lho Lanowiolh is smalloi lhan Lofoio,
Lul lho maiginal Lonoll (oocioasing lho vaiianco) iomains lho samo. 1ho smoolhoi ,, lho moio
infoimalion wo can Loiiow fiom olhoi pails of lho oisliiLulion (o.g. unifoim).
24
5.2 AuItIIIcatIve HIas CorrectIon
An alliaclivo molhoo lo ioouco lho smoolhing Lias is mulliplicalivo Lias ioouclion. Jonos, Linlon
ano Niolson (100) (JLN) pioposo lo uso lho following nonpaiamoliic oonsily oslimaloi:

, (r) =
1
`/
.

i=1

, (r)

, (A
i
)
1
_
A
i
r
/
_
. (88)
whoio

, (r) oonolos lho slanoaio koinol oonsily oslimaloi. 1his piocoouio can Lo viowoo as
mulliplicalivo Lias coiioclion. Nolo lhal Ly oolnilion,
, (r) =

, (r) c(r) (80)
whoio
c(r) =
, (r)

, (r)
.
A naluial oslimaloi of c(r) is givon Ly
c(r) =
1
`/
.

i=1
1
_
A

a
b
_

, (A
i
)
. (40)
ComLining LQ(40) ano LQ(39) yiolos lho oonsily oslimaloi in LQ(38) . Il can Lo shown lhal lhis
oslimaloi has a loaoing loim in lho Lias of lho foim co::t /
1
, lho co::t /
2
loim is vanishing
similaily as foi highoi oiooi koinol molhoos. 1his happons Locauso in LQ(38) . lho oonominaloi
cancols oul somo of lho Lias which is conlainoo in lho numoialoi. JLN show lhal lho appoaling
lhooiolical piopoilios of lhoii oslimaloi also liansfois lo lnilo samplos. Also, unliko highoi oiooi
koinol oonsily oslimalois, lho JLN oslimaloi is always posilivo.
2
6 onaranetrIc HegressIon
In lhis soclion wo luin lo nonpaiamoliic iogiossion lochniquos. Afloi a Liiof oiscussion aLoul
mullivaiialo oonsily oslimalion, wo inlioouco lho Naoaiaya-Walson oslimaloi. Wo lhon go on lo
oiscuss local polynomial oslimalois.
6.1 AuItIvarIate KerneI DensIty EstInatIon
1ill now wo consiooioo in lhis loxl univaiialo oonsily oslimalion. Iocall fiom lho inlioouclion of
lhis loxl lhal an oslimaloi of lho conoilional oxpoclalion funclion is givon Ly
q (r) =
1

,
A
(r)
_

,
A,Y
(r. ) d. (41)
Wo assumo lhioughoul lhal Lolh 1 ano A aio ono-oimonsional. Wo alioaoy know how lo oslimalo
lho maiginal oonsily of A, Lul wo oo nol know lho coiiosponoing oslimaloi foi lho Livaiialo joinl
oonsily ,
A,Y
(r. ). Wo conconlialo hoio on Livaiialo oonsily oslimalois Lasoo on piooucl koinol
funclions
20
.
DehnItIon 7 Jh h.n:.n |:n| Jn.j .nn: n .n (r. ) . J]nJ hj

,
A,Y
(. r) =
1
`/
2
.

i=1
1
2
_
1
i

/
.
A
i
r
/
_
. (42)
1
2
. n :J& |:n| J]nJ n
1
2
(n. ) = 1 (n) 1 () .
&h: 1 (n) . n &n.n:.n jd,.
20
Mullivaiialo koinol oonsily oslimalois can Lo oolnoo using any mullivaiialo pioLaLilily oonsily funclion.
26
Nolo lhal lho oslimaloi foi lho maiginal oonsily of A can Lo oLlainoo fiom LQ(42) Ly inlo-
gialing ovoi .

, (r) =
_

,
A,Y
(. r) d
=
_
1
`/
2
.

i=1
1
2
_
1
i

/
.
A
i
r
/
_
d
=
1
`/
2
.

i=1
_
1
_
1
i

/
_
1
_
A
i
r
/
_
d
=
1
`/
2
.

i=1
1
_
A
i
r
/
__
1 (n) /dn
=
1
`/
.

i=1
1
_
A
i
r
/
_
.
which is lho slanoaio koinol oonsily oslimaloi. Almosl all iosulls slaloo in Soclion 8 go lhiough
also in lho Livaiialo caso Ly ioplacing `/ wilh `/
2
. Lspocially lho ialo of convoigonco, oi
slaLilizing facloi, is now
_
`/
2
which is slowoi lhan lho univaiialo convoigonco ialo
_
`/. 1his
is lho cuiso of oimonsionalily oiscussoo in Iomaik 8.
Il is in mosl casos nol appiopiialo lo chooso a singlo Lanowiolh paiamoloi foi Lolh oimonsions.
1his pioLlom can Lo solvoo Ly liansfoiming lho vaiiaLlos such lhal lhoy havo oqual vaiianco
21
.
6.2 TLe adaraya-Vatson EstInator
Knowing how lo oslimalo Livaiialo oonsilios, wo can now ooiivo a nonpaiamoliic oslimaloi foi
lho iogiossion funclion q (r) . Using LQ(41) ano suLsliluling lho nonpaiamoliic oslimalois foi lho
joinl ano maiginal oonsily wo oLlain
q (r) =
1
1
.b

.
i=1
1
_
A

a
b
_
_

1
`/
2
.

i=1
1
_
1
i

/
_
1
_
A
i
r
/
_
d.
21
Ono oflon goos ono slop fuilhoi ano choosos lho liansfoimalion such lhal lho covaiianco Lolwoon lho r ano j
is oliminaloo as woll. Ono lhon oslimalos lho oonsily of lho liansfoimoo oala ano lnally liansfoims Lack lo oLlain
lho oonsily oslimalo of lho unliansfoimoo oala.
27
1ho inlogial loim can Lo wiillon as
22
1
`/
2
.

i=1
1
_
A
i
r
/
__
1
_
1
i
/
_
d
=
1
`/
2
.

i=1
1
_
A
i
r
/
__
(n/ 1
i
) 1 (n) /dn
=
1
`/
.

i=1
1
_
A
i
r
/
__
1
i
_
1 (n) dn
_
n/1 (n) dn
_
=
1
`/
.

i=1
1
i
1
_
A
i
r
/
_
.
Collocling loims, wo havo lhoiofoio ooiivoo lho famous Naoaiaya-Walson oslimaloi givon Ly
q (r) =
1
.b

.
i=1
1
i
1
_
A

a
b
_
1
.b

.
i=1
1
_
A

a
b
_ .
Nolo lhal lhis oslimaloi is a woighloo avoiago of lho oLsoivalions 1
i

.
i=1
. whoio lho woighl n
i
foi oLsoivalion 1
i
is givon Ly
n
i
=
1
_
A

a
b
_

.
i=1
1
_
A

a
b
_.
1hoso woighls sum up lo ono ano pul a laigo woighl on an oLsoivalion 1
i
if lho coiiosponoing
iogiossoi A
i
is closo lo r.
1ho Naoaiaya-Walson oslimaloi can also Lo inloipioloo as lho solulion lo lho following mini-
mizalion pioLlom:
q (r) = arg min
j
.

i=1
(1
i
q)
2
1
_
A
i
r
/
_
.
Nolo lhal foi oach r, lhis is jusl a woighloo loasl squaios ciiloiion, whoio lho only oxplanaloiy
vaiiaLlo is a (local) conslanl. 1ho Naoaiaya-Walson oslimaloi can lhoiofoio Lo oLlainoo Ly
iunning OLS on lho following iogiossion oqualion:
1
i
_
1
_
A
i
r
/
_
= q
_
1
_
A
i
r
/
_

_
1
_
A
i
r
/
_
c
i
1

i
= q1

i
c

i
1his way of ioasoning will Locomo ospocially usoful whon wo ooal wilh local polynomial oslimalois.
6.3 IroertIes oI tLe adaraya-Vatson EstInator
Lias ano vaiianco iosulls foi nonpaiamoliic iogiossion oslimalois aio moio complox lo ooiivo lhan
foi nonpaiamoliic oonsily oslimalois. Wo iosliicl ouisolvos lhoiofoio lo lho oiscussion of lho main
iosulls.
22
Uso a chango of vaiiaLlo: n =

. 1ho lasl lino follows sinco lho koinol inlogialos lo ono ano is symmoliic.
28
IroosItIon 4 1nJ: &.nh| n&n.n nnJ nh:n.nj J:n h.jh: :J: :n, h.n nnJ
n:.nn J h AnJn:njn-1nn .nn: n: j.n hj
Lias ( q (r)) =
/
2
2
_
q
(2)
(r) 2
,
(1)
(r)
, (r)
q
(1)
(r)
_ _
n
2
1 (n) dn. (48)
Vai ( q (r)) =
o
2
`/, (r)
_
1 (n)
2
dn. (44)
Nolo lhal lhis oxpiossions aio quilo similai as lho Lias ano vaiianco oxpiossions foi lho koinol
oonsily oslimaloi in LQ(22) ano LQ(23) . 1ho Lias of lho iogiossion oslimaloi conlains in aooilion
lo lho socono ooiivalivo of lho iogiossion funclion also a loim which ooponos on lho slopo of lho
iogiossion funclion, lho slopo of lho oonsily ano lho oonsily of A ilsolf. 1his foaluio is oiloionl
lhan in lho oonsily oslimalion caso. Wo will soo soon how lo gol iio of lhis loim.
1ho vaiianco of lho Naoaiaya-Walson oslimaloi is laigo in aioas of small , (r) . 1his moans
lhal in aioas whoio lhoio aio fow oLsoivalions, il is oimcull lo oslimalo lho iogiossion funclion,
which is voiy inluilivo. Also lho vaiianco ooponos on lho vaiianco of lho oisluiLanco loim. 1ho
highoi lho noiso in lho moool, lho moio oimcull is piociso oslimalion, again lhis is voiy inluilivo.
Also nolo fiom LQ(43) ano LQ(44), lhal in loims of Lanowiolh choico, wo havo lho samo
liaoo ol as wo hao in oonsily oslimalion. Wo oo nol iopoal lhis oiscussion hoio, Lul luin lo local
polynomial oslimalois.
6.4 LocaI IoIynonIaI EstInators
Wo saw in lho piovious soclion lhal lho Naoaiaya-Walson oslimaloi can Lo inloipioloo as locally
llling a conslanl. Wo can oxlono lhis appioach lo local linoai llling. Nolo lhal Ly a 1ayloi
oxpansion, wo can wiilo lho slanoaio iogiossion moool as
1
i
= q (A
i
)
i
q (r) q
(1)
(r) (A
i
r)
i
= ,
0
(r) ,
1
(r) (A
i
r)
i
.
Using lhis, wo can foim again a woighloo loasl squaios ciiloiion funclion
Q(r) =
.

i=1
(1
i
,
0
(r) ,
1
(r) (A
i
r))
2
1
_
A
i
r
/
_
.
1his can again Lo inloipioloo as iunning OLS on lho iogiossion oqualion
1

i
= ,
0
(r) 1

i
,
1
(r) 1

i
(A
i
r) c

i
.
20
whoio lho vaiiaLlos aio oolnoo as aLovo. 1ho oslimaloi of lho iogiossion funclion al poinl r is
lhon givon Ly
q
||
(r) =

,
0
(r)
Il can Lo shown lhal lho vaiianco of lho local linoai oslimaloi q
||
(r) malchos lho vaiianco of
lho Naoaiaya-Walson oslimaloi. 1ho Lias howovoi lakos a oiloionl foim:
1.n ( q
||
(r)) =
/
2
2
q
(2)
(r)
_
n
2
1 (n) dn.
lho socono loim in Liackols in LQ(43) has vanishoo. Why ooos lhis happon Inluilivoly, locally
llling a lino moans lhal wo can capluio lho local linoai piopoilios of lho iogiossion funclion,
moaning lhal wo can Lolloi oslimalo lho lisl ooiivalivo of lho iogiossion funclion. 1his loim
lhoiofoio vanishos. Also nolo lhal if lho liuo iogiossion funclion is linoai, lho local linoai oslimaloi
has no Lias al all. 1his is Locauso q
(2)
(r) oquals zoio in lhis caso. 1ho appioach oosciiLoo aLovo
can Lo oxlonooo wilhoul pioLloms lo local polynomial llling. Howovoi, lhoio is a similiai foaluio
lhoio as in highoi oiooi koinol molhoos, il is quoslionaLlo how woll lho nico lhooiolical piopoilios
liansfoi lo lnilo samplos. In piaclico, highoi oiooi llling lhan quaoialic will haioly Liing any
impiovomonls.
80
HeIerences
[1[ Hill, C.I., Giimlhs W.L. ano G.G. Juogo (2001): 'Unooigiaoualo Lconomoliics', John Wiloy
\ Sons, Inc.
[2[ Hogg, I. ano Ciaig, 1. (100): 'Inlioouclion lo Malhomalical Slalislics', Iionlico Hall.
[8[ Johnslon, J. ano J. DiNaioo (1007): 'Lconomoliic Molhoos', McGiaw-Hill Inloinalional
Loilions.
[4[ Jonos, M.C., Linlon, O. ano J.I. Niolson (100): 'A simplo Lias ioouclion molhoo foi oonsily
oslimalion', 1.n:.|n, 82, pp. 827-88.
[[ Iagan, A. ano A. Ullah (1000): 'Nonpaiamoliic Lconomoliics', CamLiiogo Univoisily Iioss.
[6[ Wano, M.I ano M.C. Jonos (100): 'Koinol Smoolhing', Chapman \ Hall.
81