S eries Temporais

Trabalho 1

Suaviza c ao e Tend encias de S eries Temporais

Professor respons avel: Marinho

Alunos: S ergio Carvalho n USP 6427466 L via Chierice n USP 7151631

CARLOS - SP SAO 27 de novembro de 2013

Sum ario

Introdu c ao

Deni c ao: Uma s erie temporal pode ser interprtada como sendo uma u nica realiza c ao de um processo estoc astico. Dado uma amostra de observa c oes independentes tal que:
xj e o valor da vari avel explicativa; mj e a quantidade de itens vericados na amostra (n umero de ensaios) yj n umero de ocorr encia de um evento (Neste caso: quantidade de pe cas n ao conforme) em mj ensaios. n e o tamanho da amostra.

Seja Yj Binomial(mj, pj ), j = 1, 2, ..., n, ent ao: P [Yj = yj ] =

mj yj

pj j (1 pj )mj yj

, pj [0, 1], yj = 0, 1, ..., mj .

Considere a co-vari avel xj , tal que pj e dado por: pj = e0 +1 xj 1 + e0 +1 xj

1.1

A fun c ao de verossimilhan ca

Considerando yi e yj independentes, i, j = 1, 2, ..., mj , i = j , temos que a fun c ao de verossimilhan ca e dada por, L( | Y) =

n mj j =0 yj

pj j (1 pj )mj yj ,

onde = (0 , 1 )T e Y = (y1 , y2 , ..., yn )T

1.2

A fun c ao de log-verossimilhan ca

Calculando o logar tmo1 da fun c ao acima, temos: l( | Y) = =

n j =0 {yj n j =0 {yj

log(pj ) yj log(1 pj ) + mj log(1 pj )} + log( 1jpj ) + mj log(1 pj )} +

p n mj j =0 log yj

n mj j =0 log yj

Substituindo pj teremos: l( | Y) = =
1

n j =0 {yj

log(e0 +1 xj ) + mj log(

1 1+e0 +1 xj

)} +

n mj j =0 log yj n mj j =0 log yj

n j =0 {yj (0 + 1 xj ) mj

log(1 + e0 +1 xj )} +

Logaritmo neste trabalho ser a sempre na base e

1.3

O C alculo do estimador de m axima verossimilhan ca (EMV)

Os estimadores de m axima verossimilhan ca para os par ametros 0 e 1 s ao os valores de 0 e 1 que maximizam o logaritmo da fun c ao de verossimilhan ca, e uma vez conhecidos 0 e 1 ent ao e poss vel ajustar o modelo. Derivando a fun c ao de log-verossimilhan ca em rela c ao a 0 e 1 e igualando as express oes a zero, temos os estimadores de m aximo verossimilhan ca. l( | Y) = 0 l( | Y) = 1 mj e0 +1 xj

n j =0 yj

n j =0

n j =0 yj xj

= 0 = U0 1 + e0 +1 xj mj xj e0 +1 xj n = 0 = U1 j =0 1 + e0 +1 xj

(1)

No sistema acima, temos n+1 equa c oes para estimar 0 e 1 , vamos aproximar a solu c ao usando o m etodo num erico de Newton-Raphson.

1.4

O M etodo de Newton-Raphson para o c alculo do EMV

Como as equa c oes acima s ao n ao-lineares nos par ametros recorremos ao m etodo num erico interativo de Newton-Raphson. Este m etodo nos garante uma converg encia r apida para aproxima c ao dos estimadores de m axima verossimilhan ca 0 e 1 . Eis o m etodo: Newton-Raphson( , IterM ax, k ) 1. k = 0 2. = 3. Enquanto (| | > k+1 k k k and IterM ax > k )fa ca = H 1 ( k ) U ( k ) = max| k+1 k | = k+1 =k+1

Fim - Enquanto 4. Se (k < IterM ax) ent ao Retorne k+1 aproxima cao para 0 e 1 Sen ao N ao foi obtida uma aproxima c ao com a precis ao requerida em k itera c oes Fim-Newton-Raphson
2

U0 e U0 s ao usados para o m etodo de Newton-Raphson

Gerando dados articias para o modelo

Para testar o modelo vamos gerar dados articiais com distribui cao binomial: 1. Conisidere 0 = 0.5 e 1 = 0.8 2. Gerar 100 valores x U (0, 1) x1 , x2 , ..., x100 , n=100 xj U (0, 1) e0.5+0.8xj 1 + e0.5+0.8xj 4. Gerar Yj Binomal(10, pj ), mj = 10 3. Calcular pj =

2.1

Compara c ao das estimativas de verossimilhan ca com os par ametros da regress ao Binomial

Resultado com dados articiais 0 1 Itera c ao 1 0.4782659 0.6845644 2 0.4678121 0.8139727 3 0.4669951 0.8175503 4 0.4669946 0.8175521 5 0.4669946 0.8175521

3
3.1

Trabalhando com conjunto de dados reais

Apresenta c ao dos dados
Certa empresa realizou um treinamento com 30 funcion arios com o objetivo de determinar o menor n umero de horas de treinamento necess arias para minimizar o n umero de erros de montagem. A Tabela abaixo mostra um resumo dos dados coletados.

Horas de Treinamento(X) 30 17 29 15 23 8 . . . 13 28

Erros de Montagem(Y) 2 9 2 11 8 14 . . . 11 3

Pe cas Analisadas(M) 200 200 200 200 200 200 . . . 200 200

3.2

As estimativas de EMV para o conjunto de dados reais

Para estimar 0 e 1 tomamos como ponto inicial = (0.1, 0.1). Itera c oes 1 2 3 4 . . . 34 35 36 37 38

0 -2.00029 -2.070742 -2.11222 -2.135607 . . . -2.020343 -2.01905 -2.017878 -2.016817 -2.015855

1 -0.03775908 -0.0388927 -0.04046403 -0.04221815 . . . -0.06497645 -0.06510192 -0.0652155 -0.06531832 -0.06541142

Figura 1: Converg encia dos Estimadores

Interpreta c ao dos par ametros do modelo

O odds ratio - OR (raz ao de chances) nos permite interpretar o modelo comparando a probabilidade de sucesso com a probabilidade de fracasso.

e0 +1 xj e0 +1 xj 0 +1 xj 0 +1 xj pj (x) = 1 + e0 +1 x g (x) = = 1+e = e0 +1 xj j 1 [1 pj (x)] e 1 1 + e0 +1 xj 1 + e0 +1 xj Assim, ao tomarmos dois valores distintos da vari avel explicativa, xj e xj +1 , obtemos OR = g (xj +1 ) e0 +1 xj +1 = 0 +1 x , j g (xj ) e de modo que:

ln(OR) = ln

g (xj +1 ) = ln [g (xj +1 )] ln [g (xj )] g (xj +1 )

= 0 + 1 xj +1 0 1 xj = 1 (xj +1 xj ) Fazendo xj +1 xj = 1 , temos ln(OR) = ln(e1 ) = 1 . Assim, temos o qu ao prov avel o resultado ocorrer a entre os indiv duos xj +1 em rela c ao aos indiv duos xj , de modo que: j >0 OR>1 pj (xj +1 ) > pj (xj ) j <0 OR<1 pj (xj +1 ) < pj (xj ) Considerando a estimativa de 1 , temos: 1 ) = e0.06541142 = 0.936682. OR ( Como o Odds Ratio e menor que 1, a probabilidade de cometer Erros de Montagem(Y) tende a diminuir quando aumentam as Horas de Treinamento(X).

Ap endice

C odigo do trabalho em R

# ------------------------------ TRABALHO DE MLG ----------------------------- # # 1 Gera c~ ao de dados artificiais para o modelo de regress~ ao Binomial # a) Considere B0 = 0.5 e B1 = 0.8 beta =c(.5,.8) # b) Gerar n = 100 valores de uma uniforme (0,1) n=100 x = matrix(c(rep(1,n), runif(100)), ncol=2 ) plot(density(x)) # c) Gerar Yj ~ binomial (10, Pj ) y = NULL #y = rbinom(100, 10, p) for (i in 1:n ) { y[i] = rbinom(n=1, size=10, prob=p[i]) } # ---------------------------- 2 Dados Reais ------------------------__------- #

MLG2<-read.table("Erros.txt",header=T) x<-MLG2[,2:3] x<-as.matrix(x) m=200 y<-MLG2[,1] # ---------------------------------------------------------------------------- # # 3) Calcular Pj P<-function(beta){exp(x%*%beta)} pi<-function(beta){P(beta)/(1 + P(beta))} # -----------------C alculo da Matriz Hessiana ----------------------------- #

U_beta0 = function(beta) {sum (y-m*pi(beta))} U_beta1 = function(beta) {sum (y*x[,2] - m*x[,2]*pi(beta))} U = function(beta) {c(U_beta0(beta), U_beta1(beta))}

h11 = function(beta) {sum(-m*exp(P(beta))/((1+exp(P(beta)))^2))} h12 = h21 = function(beta){sum(-m*x[,2]*exp(P(beta))/((1+exp(P(beta)))^2))} h22 = function(beta){sum(-m*(x[,2]^2)*exp(P(beta))/((1+exp(P(beta)))^2))} H = function(beta){matrix(c(h11(beta),h12(beta),h21(beta),h22(beta)), ncol=2,byrow=TRUE)} # Metodo de Newton-Raphson ## epsilon=1e-04 ;beta = c(0.01,0.01) ; n_iter=500 ; erro = 1 ; k<-0 betaplot<-matrix(beta,nrow=n_iter,ncol=2,byrow=T) NewtonRaphson<-function(erro,n_iter,beta,k,epsilon,betaplot){ while((erro>epsilon) & (k<=n_iter)){ betak <- beta-(solve(H(beta)) %*% (U(beta))) erro <- max(abs(beta-betak)) beta = betak k<-k+1 betaplot[k,]<-beta cat("\n ",k," Iteracao \n } beta = (",beta[1],",",beta[2],")")

if(k<n_iter) cat ("\n\n O EMV com precisao de ", erro, " eh: ",beta) else cat("\n\n N~ ao foi obtida uma aproxima c~ ao com a precis~ ao requerida em ",k," itera c~ oes ")

par(mfrow=c(1,2)) require(stats) plot(betaplot[1:k,1],ylab=beta0,xlab=Itera coes,type=b,col=blue) lines(lowess(betaplot[1:k,1])) plot(betaplot[1:k,2],ylab=beta1,xlab=Itera coes, type=b,col=blue) lines(lowess(betaplot[1:k,2])) } NewtonRaphson(erro,n_iter,beta,k,epsilon,betaplot)

Refer encias
[1] http://www.portalaction.com.br [2] http://www.wikipedia.com [3] Ross, Sheldon. Probabilidade: um curso moderno com aplica c oes. 8ed [4] Myers, Raymond H., Generalized linear models: with applications in engineering and the sciences. 2002. [5] Material das aulas.