REGRESI LINEAR

Apa itu Regresi Linier ?

Regresi merupakan alat ukur yg digunakan untuk
mengetahui ada tidaknya korelasi antarvariabel.
Analisis regresi lebih akurat dlm analisis korelasi
karena tingkat perubahan suatu variabel terhdp
variabel lainnya dpt ditentukan). Jadi pada
regresi, peramalan atau perkiraan nilai variabel
terikat pada nilai variabel bebas lebih akurat
pula.
Regresi linier adalah regresi yang variabel
bebasnya (variabel X) berpangkat paling tinggi
satu. Utk regresi sederhana, yaitu regresi linier
yg hanya melibatkan dua variabel (variabel X dan
Y).

Persamaan Regresi Linear dari

Y terhadap X
Y = a + bX
Keterangan :
Y = variabel terikat
X = variabel bebas
a = intersep / konstanta
b = koefisien regresi / slop
Persamaan regresi linear di atas dpt pula
dituliskan dlm bentuk

xy
Y
x
2
x

Mencari nilai a dan b

Rumus 1 a (Y )(X

) (X )(XY )
(n)(X 2 ) (X ) 2
(n)(XY ) (X )(Y )
b
(n)(X 2 ) (X ) 2
2

Pendekatan Matriks
n

X
a

2
X

det A1
det A
n
X

a Y

b XY
det A2
b
det A

X
Y
2 A1
X
XY

X
n
2 A2
X
X

det A (n)(X 2 ) (X )(X )

det A1 (Y )(X 2 ) (X )(XY )
det A2 (n)(XY ) (Y )(X )

XY

 Rumus II

(n)(XY ) (X )(Y )
b
2
2
(n)(X ) (X )
__

___

a Y b. X

Contoh Soal
Berikut ini data mengenai pengalaman kerja
dan penjualan
X=pengalaman kerja (tahun)
Y=omzet penjualan (ribuan)
X

11

10

Tentukan nilai a dan b (gunakan ketiga cara)!

Buatkan persamaan regresinya!
Berapa omzet pengjualan dari seorang
karyawan yg pengalaman kerjanya 3,5 tahun

Penyelesaian
:
X
Y
2
5
3
8
2
8
5
7
6
11
1
3
4
10
1
4
24
56

24
X 3
8

___

X2
4
9
4
25
36
1
16
1
96
___

Y2
25
64
64
49
121
9
100
16
448

XY
10
24
16
35
66
3
40
4
198

56
7
8

Cara 1.

(56)(96) (24)(198)
a
(8)(96) (24) 2
5.376 4.752
a
3,25
768 576

(8)(198) (24)(56)
b
(8)(96) (24) 2
1.584 1.344
b
1,25
768 576
Cara 2.

8 24 a 56

24 96 b 198
8 24
56 24
8 56
A1
A2

A
24 96
198 96
24 198
det A (8)(96) (24 24) 192
det A1 (56)(96) (24)(198) 624
det A2 (8)(198) (56)(24) 240
624
a
3,25
192

240
b
1,25
192

Cara 3 b (8)(198) (24)(56)

(8)(96) (24) 2
1.548 1.344
b
1,25
768 576
a 7 1,25(3)
a 3,25
a.Dari ketiga cara pengerjaan tersebut diperoleh
nilai a = 3,25 dan nilai b = 1,25
b.Persamaan regresi linearnya adalah
Y=3,25+1,25X
c. Nilai duga Y, jika X=3,5 adalah Y=3,25+1,25X
Y=3,25+1,25(3,5)
=7,625

Koefisien Determinasi (R )
2

((n)(XY ) (X )(Y )) 2
R
(n(X 2 ) (X ) 2 (n(Y 2 ) (Y ) 2 )
2

((8)(198) (24)(56)) 2
R
(8(96) (24) 2 (8(448) (56) 2 )
2

(1.584 1.344) 2
R
(768 576) (3.584 3.136)
2

(240) 2
R
(192)(448)
2

57.600
0,6696
86.016

Nilai determinasi (R2) sebesar 0,6696, artinya sumbangan atau pengaruh p

Kerja terhadap naik turunnya omzet penjualan adalah sebesar 66,96%. Sisa
Disebabkan oleh faktor lain yang tidak dimasukkan dalam model.

SELISIH TAKSIR STANDAR

(STANDAR DEVIASI)
Angka indeks yg digunakan utk mengukur
ketepatan suatu penduga atau mengukur
jumlah variasi titik-titik observasi di sekitar
garis regresi.
Jika semua titik observasi berada tepat pada
garis regresi, selisih taksir standar sama
dengan nol. Menunjukkan pencaran data.
Selisih taksir standar berguna mengetahui
batasan
seberapa
jauh
melesetnya
perkiraan dalam meramal data.

Rumus
S y / x S x. y

(Y Y ' ) 2
Se
n2

atau
S x / y S y. x

( X Y ' ) 2
Se
n2

Keterangan :
Sy/x = Sx/y = Selisih taksir standar
Y = X = nilai variabel sebenarnya
Y = X = nilai variabel yang diperkirakan
n
= jumlah frekuensi

Contoh :
Hubungan antara variabel X dan
variabel
X 1Y 2 3 4 5 6

a.Buatkan persamaan regresinya

b.Tentukan nilai duga Y, jika X = 8
c.Tentukan selisih taksir standarnya

Penyelesaian
n( XY ) ( X )( Y )
b
n( X 2 ) ( X ) 2
6(75) (21)(24)
b
6(91) (21) 2
54
b
0,5
105
a Y b. X
24
21
a
(0,5)

6
6

a. Persamaan garis regresinya:

Y = 5,75 0,5 X

b. Nilai duga Y, jika X=8

Y = 5,75 0,5 (8)
Y = 1,75

c. Selisih taksir standar

Sy/x

(Y Y ' ) 2

n2

Sy/x

5,375

1,2
62

Uji Asumsi Klasik

Analisis regresi memerlukan
beberapa asumsi agar model layak
digunakan. Asumsi yang digunakan
adalah:
Uji
Uji
Uji
Uji

Normalitas
Multikolinieritas
Heterosdastisitas
Autokorelasi

asumsi-asumsi klasik
Jika hasil regresi telah memenuhi
asumsi-asumsi regresi maka nilai
estimasi yang diperoleh akan bersifat
BLUE: (Best,
Linear, Unbiased,
Estimator.)

Gauss-Markov Theorem.
BLUE: (Best, Linear, Unbiased,
Estimator.)

Adalah asumsi yang dikembangkan

oleh Gauss dan Markov, yang
kemudian teori tersebut terkenal
dengan sebutan Gauss-Markov
Theorem.

Best dimaksudkan sebagai

terbaik
Hasil regresi dikatakan Best apabila
garis regresi yang dihasilkan guna
melakukan estimasi atau peramalan
dari sebaran data, menghasilkan
error yang terkecil.

Linear
Linear dalam model artinya model
yang digunakan dalam analisis
regresi telah sesuai dengan kaidah
model OLS dimana variabel-variabel
penduganya hanya berpangkat satu.
Sedangkan linear dalam parameter
menjelaskan bahwa parameter yang
dihasilkan merupakan fungsi linear
dari sampel

 Unbiased atau tidak bias, Suatu

estimator dikatakan unbiased jika
nilai harapan dari estimator b sama
dengan nilai yang benar dari b.
Artinya, nilai rata-rata b = b. Bila
rata-rata b tidak sama dengan b,
maka selisihnya itu disebut dengan
bias.

Uji Normalitas
Untuk menentukan apakah data
terdistribusi secara normal atau tidak.
Menggunakan plot grafik dimana
asumsi normalitas terpenuhi jika titiktitik pada grafik mendekati sumbu
diagonalnya
Untuk memperkuat pengujian dapat
dipergunakan Uji Kolmogorov-Smirnov

Grafik Uji
Normalitas

Uji
KolmogorovSmirnov

Nilai signifikansi 0,868 > 0,05

menunjukkan data terdistribusi
normal
(asumsi signifikansi 0,05)

Uji Multikolinieritas
Multikolinieritas: kondisi dimana terjadi
korelasi yang kuat diantara variabelvariabel bebas (X) yang diikutsertakan
dalam pembentukan model regresi linier.
Kondisi yang menyalahi asumsi regresi
linier.
TIDAK MUNGKIN TERJADI apabila variabel
bebas (X) yang diikutsertakan hanya
satu.

Uji Multikolinieritas
Ciri-ciri yang sering ditemui apabila model regresi
linier kita mengalami multikolinieritas adalah:
Terjadi perubahan yang berarti pada koefisien model
regresi (misal nilainya menjadi lebih besar atau kecil)
apabila dilakukan penambahan atau pengeluaran
sebuah variabel bebas dari model regresi.
Diperoleh nilai R-square yang besar, sedangkan
koefisien regresi tidak signifikan pada uji parsial.
Tanda (+ atau -) pada koefisien model regresi
berlawanan dengan yang disebutkan dalam teori (atau
logika). Misal, pada teori (atau logika) seharusnya b1
bertanda (+), namun yang diperoleh justru bertanda (-).
Nilai standard error untuk koefisien regresi menjadi
lebih besar dari yang sebenarnya (overestimated)

Uji Multikolinieritas
Untuk mendeteksi apakah model
regresi mengalami multikolinieritas,
dapat diperiksa menggunakan VIF
(Variance Inflation Factor).
Nilai VIF > 10 berarti telah terjadi
multikolinieritas yang serius di dalam
model regresi kita.

Uji Multikolinieritas

Uji Heteroskedastisitas
situasi dimana keragaman variabel independen
bervariasi pada data yang kita miliki. Salah satu
asumsi kunci pada metode regresi biasa adalah
bahwa error memiliki keragaman yang sama pada
tiap-tiap sampelnya. Asumsi inilah yang disebut
homoskedastisitas.
Jika keragaman residual/error tidak bersifat konstan,
data dapat dikatakan bersifat
heteroskedastisitas. Karena pada metode regresi
ordinary least-squares mengasumsikan keragaman
error yang konstan, heteroskedastisitas
menyebabkan estimasi OLS menjadi tidak efisien.
Model yang memperhitungkan perubahan
keragaman dapat membuat penggunaan dan
estimasi data menjadi lebih efisien.

Uji Heteroskedastisitas
Beberapa asumsi dalam model regresi
yang terkait dengan
heteroskedastisitas antara lain adalah
residual (e) memiliki nilai rata-rata nol,
keragaman yang konstan, dan residual
pada model tidak saling berhubungan,
sehingga estimator bersifat BLUE.
Jika asumsi ini dilanggar maka prediksi
model yang dibuat tidak dapat
diandalkan.

Uji Heteroskedastisitas

Uji Heteroskedastisitas

Uji
Uji
Uji
Uji
dll

Goldfeld-Quandt
Korelasi Spearman
Glejser
Bruesch-Pagan-Godfrey

Uji Autokorelasi
Uji autokorelasi digunakan untuk
melihat apakah ada hubungan linier
antara error serangkaian observasi
yang diurutkan menurut waktu (data
time series).
Uji autokorelasi perlu dilakukan
apabila data yang dianalisis merupakan
data time series (Gujarati, 1993).
Menggunakan Uji Durbin Watson

Uji Autokorelasi
Bertujuan untuk menguji apakah dalam
model regresi linear ada korelasi antara
kesalahan pengganggu pada periode t
dengan kesalahan pengganggu pada
periode t-1 (sebelumnya).
Autokorelasi muncul karena observasi
yang
berurutan
sepanjang
waktu
berkaitan satu sama lainnya. Model regresi
yang baik adalah regresi yang bebas dari
autokorelasi.

Cara Mendeteksi

Uji Durbin-Watson

Hanya digunakan untuk autokorelasi tingkat satu (first order

autocorrelation) dan mensyaratkan adanya intercept
(konstanta) dalam model regresi dan tidak ada variabel lag
diantara variabel independen.

Dengan membandingkan DW hasil dengan DW tabel.

Uji Lagrange Multiplier (LM Test)

Uji autokorelasi dengan LM test terutama digunakan untuk

sampel besar di atas 100 observasi.
Uji Statistics Q : Box-Pierce dan Ljung Box

Digunakan untuk melihat autokorelasi dengan lag lebih dari

dua.
Run Test

Run test sebagai bagian dari statistik non parametrik dapat

pula digunakan untuk menguji apakah antar residual
terdapat korelasi yang tinggi. Jika antar residual tidak
terdapat hubungan korelasi maka dikatakan bahwa residual
adalah acak atau random. Run test digunakan untuk melihat
apakah data residual terjadi secara random atau tidak
(sistematis).

Pengambilan Keputusan

CONTOH
K=4
N = 100
DW = 2,061
APAKAH TERDAPAT AUTOKORELASI?
NILAI DW DIANTARA DU DAN 4-DU,
SHG TERBEBAS DR AUTOKORELASI

Goodness of Fit Test

Setelah kita melakukan uji normalitas
data, maka kita perlu melakukan Uji
kesesuaian model atau seberapa
besar kemampuan variable bebas
dalam menjelaskan varian variabel
terikatnya

Goodness of Fit Test - R

R2 adalah perbandingan antara variasi Y yang

dijelaskan oleh x1 dan x2 secara bersama-sama
dibanding dengan variasi total Y.
Jika selain x1 dan x2 semua variabel di luar model
yang diwadahi dalam E dimasukkan ke dalam
model, maka nilai R2 akan bernilai 1.
Ini berarti seluruh variasi Y dapat dijelaskan oleh
variabel penjelas yang dimasukkan ke dalam
model.
Contoh Jika variabel dalam model hanya
menjelaskan 0,4 maka berarti sebesar 0,6
ditentukan oleh variabel di luar model, nilai
diperoleh sebesar R2 = 0,4.

Goodness of Fit Test Uji F

Selain R2 ketepatan model hendaknya diuji
dengan uji F. Hipotesis dalam uji F adalah sebagai
berikut:
Hipotesis mengenai ketepatan model:
Ho : b1 = b2 = 0 (Pengambilan variabel X1 dan
X2 tidak cukup tepat dalam menjelaskan variasi Y,
ini berarti pengaruh variabel di luar model
terhadap Y, lebih kuat dibanding dengan variabel
yang sudah dipilih).
Ha : b1 b2 0 (Pengambilan variabel X1 dan
X2 sudah cukup tepat karena mampu menjelaskan
variasi Y, dibanding dengan pengaruh variabel di
luar model atau errror terhadap Y).

Uji F
Uji F adalah uji simultan untuk
melihat pengaruh variabel-variabel
independen/bebas (x1, x2, x3)
secara serempak terhadap variabel
terikatnya/dependen

Uji t
Uji t adalah uji parsial untuk melihat
pengaruh masing-masing variabel
independen atau bebas (x)
berpengaruh nyata atau tidak secara
parsial terhadap variabel
dependen/terikatnya (Y)