Escolar Documentos
Profissional Documentos
Cultura Documentos
Materi
KETERANGAN:
βi : parameter regresi
ε : error
Y : variabel respons
X: variabel predictor
Contoh data 1:
Diduga ada hubungan linier antara variabel X dan variabel Y, dimana Y dapat
dinyatakan sebagai fungsi dari X:
Y = f(x) = β0 + β1 x + ε
obs 1 2 3 4 5 6 7 8 9 10 11 12 13 14
X 1.5 1.7 2 2.2 2.5 2.5 2.7 2.9 3 3.5 3.8 4.2 4.3 4.6
Y 3 2.5 3.5 3 3.1 3.6 3.2 3.9 4 4 4.2 4.1 4.8 4.2
Y = f(x) = β0 + β1 x + ε
Y
Untuk mendapatkan taksiran dari β0 dan β1, digunakan Metode maximum Likelihood
Estimator (MLE) dimana metode ini secara prinsip adalah meminimumkan jumlah
kuadrat kesalahan Σεi2 (εi= Y- (β0 + β1 xi).
Pengujian parameter dilakukan untuk mengetahui apakah parameter tersebut
secara significant berbeda dengan nol atau tidak , artinya apakah memang variabel
prediktor X berpengaruh terhadap variabel respon Y dengan besaran β1. Hipotesis
dalam pengujian ini adalah :
H0: β1 = 0
H1: β1 ≠ 0
Jika H0 diterima artinya memang X tidak berpengaruh terhadap variabel respon Y secara
linier.
Koefisien Determinasi
∑ (Y i
2
(
− Y ) = ∑ Yˆi − Y ) + ∑ (Y − Yˆ )
2
i i
2
JUMLAH KUADRAT
KRN REGRESI
Untuk mengevaluasi baik tidaknya garis regresi sebagai peramal dapat dilihat dari
berapa banyak variasi disekitar nilai mean terurai (dijelaskan) oleh variasi karena regresi
dan variasi di sekitar regresi. Atau:
VARIASI KARENA REGRESI
R2 =
VARIASI DI SEKITAR MEAN(TOTAL)
Asumsi residual:
E(ε i ) = 0 , i= 1,2,3,…..n.
Tidak ada autokorelasi antar error; εi dan εj tidak berkorelasi, i ≠ j sehingga cov
(εi, εj) = 0
ε i ≈ N ( 0, σ 2 )
, artinya kesalahan error mengikuti distribusi normal
dengan rata-rata nol dan varians σ2.
(
N β0 + β1 X , σ 2 )
Y1
Y1
GRS YG SEBENARNYA
β0 ÷ β1 X
X1 X2 . .......... Xn X
-5 0 5 10
Jika model benar residual akan beristribusi normal dengan mean nol
0 0
Yˆi
i i
X 1i X 2i
MODEL TIDAK SESUAI BUTUH PENYESUAIAN DENGAN
MELAKUKAN TRANSFORMASI
5. The Time Sequence Plot
10
×
5 ×
×
0
× ×
5
× 10 × 15 20
× TIME ORDER
-5
× Ŷi
× X j
i
RANDOM,
MEMBENTUK CONFIDENCE BAND
.
Ŷi
1. UJI KENORMALAN
e=
∑e i
=0
n
ei
= the unit normal deviate from of the residual i
S
ei ε
= dapat digunakan untuk melihat apakah asumsi i ~ N (0 , 1) dipenuhi
S σ
95 % dari distribusi N (0,1) berada pada limit (-1,96 , 1.96) ~ (-2,2)
Jika (n–p) terlalu kecil, maka dapat digunakan pendekatan distribusi t n-p.
III. REGRESI LINIER SEDERHANA
3.1. Cara pembuatan model regresi linier sederhana
Postulate Model
Y = f(x) = β0 + β1 x + ε
β0=0
β0
β1=0
β0
Model Taksiran : ˆ =b +b X
Y o 1
bo dan b1 adalah taksiran dari β 0 , β 1
b0 = Y − b1 X
9
8
7
n
∑X Y
6
5 i i − nXY
Y
4
b1 = i =1
n
∑X
3
2
2
i − nX 2
1 i =1
0
0 2 4 6 8 10
Contoh :
Lihat data produksi (Lampiran 2)
Stat>Regressión>Regresión
Dialog Box items:
Response: memilih kolom yang berisi variabel Y (respon)
Predictors:memilih kolom yangberisi variabel X (prediktor)
The regression equation is
PRODUKSI = 7863 + 0.273 BAHAN BAKU
Predictor Coef StDev T P
Constant 7863 5828 1.35 0.192
BAHAN BA 0.27307 0.01376 19.84 0.000
S = 6143 RSq = 95.2% RSq(adj) = 94.9%
Analysis of Variance
Source DF SS MS F P
Regression 1 14851467624 14851467624 393.55 0.000
Error 20 754744349 37737217
Total 21 15606211973
Unusual Observations
Obs BAHAN BA PRODUKSI Fit StDev Fit Residual St Resid
17 513469 146650 132348 1909 14302 2.45R
R denotes an observation with a large standardized residual
Stat>Regression>Regression>Residual Plot
menampilkan plot residual untuk mengecek kesesuaian model.
Dialog Box Items:
Residual for Plots: anda dapat menentukan tipe residual plot yang mau ditampilkan.
Regular :Pilih plot biasa atau residual baris
Standardized : Pilih plot untuk residual yang sudah distandarisasi
Deleted : Pilih plot untuk rediual studendized yang dihapus
Residual Plots
Histogram of Residual: pilih untuk menampilkan residual dalam bentuk
histogram
Normal plot of residuals : pilih untuk menampilkan plot probabilitas normal untuk
residual
Residual versus fits: Pilih plot residual versus nilai dugaan (Y^)
Residual versus order: Pilih plot residual versus urutqan data. Jumlah baris untuk
setiap titik data ditunjukkan dengan sumbu X contohnya: 1, 2, 3,…,n
Residual versus variabel: Pilih untuk plot residual versus variable yang dipilih,
kemudian pilih kolom yang berisi variable ini. Minitab menmpilkan paragraph
yang terpisah untuk setiap kolom yang anda enter didalam kotak dialog
Residual
0 0 X=0.000
-10000
-10000 -3.0SL=-13103
-2 -1 0 1 2 0 10 20
Normal Score Observation Number
6
Residual
5
4
0
3
2
1
-10000
0
-12000
-8000-4000 0 4000800012000
16000 60000 80000 100000 120000 140000
Residual Fit
IV. REGRESI LINIER BERGANDA
Contoh:
Data tentang hasil produksi, bahan baku, tenaga kerja dan jenis mesin
No Y X1 X2 X3
Produksi Bahan baku Tenaga kerja Mesin
1 74970 308956 29 11
2 106430 416141 35 12
3 83285 325644 32 12
4 86810 339427 29 11
. . . . .
. . . . .
. . . . .
20 131767 515209 39 12
21 110120 472347 35 12
22 88333 378199 29 11
Akan dibuat model regresi yang menghubungkan hasil produksi dengan bahan baku,
tenaga kerja dan mesin.
Y : Hasil produksi
X1: Bahan baku
X2: Tenaga kerja
X3: Mesin
Postulate Model :
Dalam bentuk Matriks Y = X β + ε
Dimana:
Y1 β 0 ε 0
Y 1 x11 ... xk 1 β ε
2 1 1
. . . .
. .
Y= X= . . . β= ε =
. . .
. . . . . .
1 x ... x
1n kn
Yn β k ε k
Pengujian Model:
Daerah Kritis:
tolak Ho, jika Fhitung ≥ F k;n-(k+1);α
Tabel Anova
(b1 X1 Y − nY 2 ) MSregr /
Regresi k b1 X1 Y − nY 2 = MSregr
k MSres
Residual ( Y1 Y − b 1 X1 Y )
n-(k+1) Y1Y-b1X1Y = MSres
( n − k − 1)
Total
n-1 Y 1Y − n Y 2
terkoreksi
Uji Indvidu
Hipotesa :
Ho : βi = 0 , i = 1, 2, …, k
H1 : βi ≠ 0 , i = 1, 2, …, k
Statistik Uji : bi
thitung = sd (b )
i
Daerah Kritis :
Tolak Ho, jika | thitung | > t 1-α/2,n-(k+1)
Output :
The regression equation is
PRODUKSI = 19592 + 0.245 BAHAN BAKU + 715 TENAGA KERJA
Predictor Coef StDev T P Keterangan:
Jika digunakan
Constant 19592 9065 2.16 0.044
α=5%, maka
BAHAN BA 0.24461 0.02177 11.23 0.000 tenaga kerja
TENAGA K 715.1 434.9 1.64 0.117 terlihat tidak
signifikan dalam
S = 5897 RSq = 95.8% RSq(adj) = 95.3% model.
Mengapa???
Analysis of Variance
Source DF SS MS F P
Regression 2 14945508709 7472754354 214.90 0.000
Error 19 660703264 34773856
Total 21 15606211973
Source DF Seq SS
BAHAN BA 1 14851467624
TENAGA K 1 94041084
Unusual Observations
Obs BAHAN BA PRODUKSI Fit StDev Fit Residual St Resid
17 513469 146650 133897 2061 12753 2.31R
R denotes an observation with a large standardized residual
Interpretasi:
PENGUJIAN RESIDUAL
Residual Model Diagnostics
Normal Plot of Residuals I Chart of Residuals
20000
10000 3.0SL=14787
10000
Residual
Residual
Residual
3
0
2
0 -10000
-8000
-6000
-4000
-2000 0 2000
4 000
6000
8 000
10000 50000 100000 150000
Residual Fit
Catatan:
Bila akan menambahkan variable baru:
Prediction intervals for new observation : memasukkan nilai baru yang ingin
diprediksi sebagai respon
Confidence Level :
Storage : pilih untuk menyimpan tambahan dari sebelumnya
Fits : pilih untuk menyimpan fitted values untuk observasi yang baru
SEs of fits : pilih untuk mengestimasi standard error dari nilai dugaannya
Confidence limits : pilih untuk menampilkan batas keyakinan dengan batas atas dan
batas bawah
Prediction limits : pilih untuk menampilkan nilai prediksi dengan batas atas dan batas
bawah
V. PEMILIHAN MODEL TERBAIK
Jika antar variabel prediktor saling berkorelasi satu sama lain, dikatakan terjadi
kasus multicolinear. Hal ini kana mengakibatkan beberapa variabel prediktor tidak
significant berada dalam model valaupun sesungguhnya variabel tersebut berhubungan
sangat erat dengan variabel respon Y. Untuk mendapatkan model yang diinginkan
terdapat dua pertimbangan dalam pembentukan model, diantaranya:
• Agar persamaan regresi bermanfaat untuk tujuan prediksi, serigkali
diinginkan model yang memuat sebanyak-banyaknya variabel X (prediktor)
yang mempengaruhi variabel Y (respon)
• Kareena pertimbangan biaya untuk mendapatkan informasi, maka digunakan
sesedikit mungkin variabel X (prediktor) yang mempengaruhi variabel Y
(respon)
Untuk itu dibutuhkan metode untuk dapat mengakomodasikan dua kepentingan di atas
dengan cara Selecting the best regression equation. Berikut ini adalah cara-cara yang
sering digunakan dalam memilih model terbaik.
Memilih semua subset (model) yang terbaik yang memenuhi kriteria diatas.
Kriteria yang digunakan adalah:
R2 terbesar
MS residual terkecil
Cp yang mendekati jumlah parameter
Dengan menggunakan Minitab lakukan langkah berikut:
Response is Y
RSq X X X X X
Vars RSq (adj) Cp S 1 2 3 4 5
1 92.3 92.0 25.4 27.314 X
1 88.5 88.1 50.3 33.288 X
2 95.4 95.0 6.9 21.580 X X
2 92.6 92.1 25.1 27.188 X X
3 96.4 96.0 2.0 19.378 X X X
3 95.7 95.2 6.8 21.222 X X X
4 96.4 95.8 4.0 19.758 X X X X
4 96.4 95.8 4.0 19.762 X X X X
5 96.4 95.6 6.0 20.165 X X X X X
Stepwise Regression
Model dibuat dengan memasukkan variabel prediktor satu persatu (secara
bertahap) mulai dari variabel X yang memiliki korelasi tinggi
Langkah-langkahnya:
1. Cari variabel X yang berkorelasi paling tinggi dengan Y, kemudian buat
regresinya
2. Pemilihan variabel berikutnya adalah variabel yag memiliki korelasi parsial
terbesar dengan Y dan buat model dengan memasukkan variabel tersebut.
3. Uji parameter yang telah ada di dalam model
4. Begitu seterusnya ulangi langkah 2-3 sampai diperoleh model terbaik
Eliminasi Backward
Membuat model dengan memasukkan semua variabel kemudian dikeluarkan
satu persatu dengan melakukan pengujian terhadap parameter –parameternya dengan
menggunakan partial F test. Nilai partial F-test (FL) terkecil dibandingkan dengan F0
table:
• Jika FL < F0, maka X yang bersangkutan dikeluarkan dari model dan
dilanjutkan dengan pembuatan model baru tanpa variable tersebut
• Jika FL > F0, maka proses dihentikan dan persamaan terakhir tersebut
yang digunakan/dipilih.
Contoh:
Stepwise Regression
FtoEnter: 4.00 FtoRemove: 4.00
Response is Y on 5 predictors, with N = 30
Step 1 2 3
Constant 74.68 74.56 74.72
X1 0.076 0.076 0.076
TValue 4.80 4.95 5.25
Jumlah variable yang signifikan dalam
X2 0.001 model hanya 3 variabel yaitu X1, X4
TValue 0.01 dan X5.Model yang terbentuk:
Y=74,72 + 0,076 X1+0,0209 X4-4,7 X5
X3 0.3 0.3
TValue 0.10 0.10 R2=96,39
X4 0.0209 0.0209 0.0209
TValue 6.35 7.01 7.17
X5 4.7 4.7 4.7
TValue 2.19 2.68 2.74
S 20.2 19.8 19.4
RSq 96.40 96.40 96.39
Variabel X1-X5 ingin dimasukkan dalam model.
Stepwise Regression
FtoEnter: 4.00 FtoRemove: 4.00
Response is Y on 5 predictors, with N = 30
Step 1
Constant 74.68
X1 0.076
TValue 4.80
X2 0.001
TValue 0.01
X3 0.3
TValue 0.10
X4 0.0209
TValue 6.35
X5 4.7
TValue 2.19
S 20.2
RSq 96.40