ANALISIS ALGORITMA K-NN DAN NAVE BAYES UNTUK

KLASIFIKASI PEMBELIAN MOBIL

Yoga Religia
Magister Teknik Informatika
Universitas Dian Nuswantoro Semarang
religia19@gmail.com

Abstrak
Klasifikasi merupakan salah satu teknik yang terdapat pada data mining. Dalam teknik
klasifikasi terdapat beberapa algoritma yang dapat digunakan, dua diantaranya yaitu K-NN
dan Nave Bayes. Isi dari paper adalah tentang analisis perbandingan penggunaan algoritma
K-NN dan Nave Bayes untuk klasifikasi pembelian mobil. Dataset yang digunakan merupakan
dataset global yang terdiri dari enam atribut dependent dan satu atribut independent. Akurasi
yang dihasilkan menunjukkan untuk k-NN 87.81% sedangkan untuk Nave Bayes menunjukkan
presentase 93.99%.

Kata kunci : K-NN, Nave Bayes, Klasifikasi, Pembelian Mobil

I. PENDAHULUAN mana kehamilan yang baik dan mana yang

Data mining merupakan proses
pengiriman informasi dari suatu algoritma
(algoritma data mining) yang memiliki
akses ke dalam data [1]. Dalam data mining
terdapat beberapa teknik yaitu klasifikasi
dan regresi. Klasifikasi merupakan teknik
data mining yang digunakan untuk
menentukan item dari dataset kedalam
suatu kategori atau kelas. Tujuan dari
klasifikasi adalah untuk memprediksi kelas
target secara akurat pada setiap kasus dalam
data [2]. K-NN dan Nave Bayes adalah
algoritma data mining yang dapat
digunakan untuk melakukan klasifikasi.
K-NN adalah algoritma data mining
yang dapat digunakan untuk melakukan
regresi dan juga klasifikasi. K-NN pernah
digunakan untuk menguji hubungan antara
berat badan sebelum kehamilan, berat
badan selama kehamilan dan dan juga indek
massa tubuh (IBM) yang kaitannya dengan
keguguran kehamilan. Dengan
menggunakan K-NN dapat ditentukan
akan mengalami keguguran. Hasil dari
penelitian tersebut memperoleh akurasi
sekitar 95% [3].
Nave Bayes merupakan algoritma
data mining yang dapat digunakan untuk
melakukan klasifikasi. Nave Bayes pernah
diterapakan untuk mengklasifikasikan data
berdimensi tinggi. Data berdimensi tinggi
yang dimaksud adalah data yang memiliki
proporsi atribut yang tidak relevan.
Percobaan dilakukan dengan menggunakan
document corpora dan gene micro-array
datasets yang menunjukkan efisiensi yang
sangat memuaskan dengan presentase
sekitar 98% [4].
Berdasarkan penelitian dari kasus-
kasus sebelumnya, penelitian ini akan
menggunakan algoritma K-NN dan Nave
Bayes untuk melakukan klasifikasi
pembelian mobil. Dataset yang digunakan
merupakan dataset global yang memiliki
enam atribut dependent dan satu atribut
independent [5].

1
Artikel Ilmiah Data mining 27/09/2015
Universitas Dian Nuswantoro Semarang
II. LANDASAN TEORI
2.1. K-NN / K-Nearest Neighbor
Algoritma K-Nearest Network (K-NN)
merupakan algoritma klasifikasi
berdasarkan K instances paling dekat
denagn query instances yang diberikan dan
kemudian melakukan pemilihan antara K
tetangga yang terdekat untuk menghasilkan
keluaran label dari query instances [7].
Algoritma K-NN mengansumsikan bahwa
semua instances disimpan pada tempat
yang sama dimana n merupakn fitur
instances yang telah didefinisikan. Matrik
distances yang digunakan adalah untuk
mengukur jaran antara instances. Pada
pengukuran jarak dapat menggunakan
Manhattan distance dan Euclidean
distance. Misalkan x dan y merupakan 2
instances yang didefinisikan sebagai <f1,
f2,,fn > maka menggunakan Manhattan
dan Euclidean jaraknya didefinisikan
sebagai d1(x,y) dan d2(x,y), sehingga dapat
ditulis :
1(, ) = | () () |
=1
2(, ) = | () () |2 yang ditugaskan kedalam kelas k, maka
=1
Bagian yang paling berpengaruh pada
algoritma ini adalah nilai K. Nilai K yang
terbaik pada algoritma ini dipengaruhi oleh
data yang digunakan. Dengan mengguna-
kan optimasi parameter dapat diperoleh
nilai K yang sesuai. Pada tahapan training
algoritma ini hanya melakukan
penyimpanan vector-vektor fitur dan
klasifikasi dari data training. Algoritma ini
dapat menghasilkan data yang kuat (jelas)
dan efektif apabila digunakan pada data
yang berukuran besar.
Artikel Ilmiah Data mining 27/09/2015
Universitas Dian Nuswantoro Semarang
2.2. Nave Bayes
Teorema bayes yang dikenal juga
sebagai Nave Bayes dikemukakan oleh
seorang pendeta presbyterian Inggris pada
tahun 1763 yang bernama Thomas Bayes .
Nave Bayes ini kemudian disepurnakan
oleh Laplace. Nave Bayes merupakan
sebuah algoritma yang memanfaatkan
metode probabilitas dan statistik dengan
memprediksi probabilitas dimasa depan
berdasarkan pada masa sebelumnya. Pada
dasarnya teorema bayes dapat dirumuskan
sebagai berikut :
P(B|A) P(A)
(|) =
P(B)
Pada rumus diatas dapat dilihat bahwa
peluang kejadian A sebagai B ditentukan
dari peluang B saat A, peluang A dan
peluang B. pada pengaplikasiannya rumus
tersebut akan dirubah menjadi [6] :
P(D| ) P( )
P( |D) =
P(D)
Jika Xt sebagai sample pengujian dan
P(k|Xt) merupakan probabilitas dari Xt
dalam model Nave bayes dapat dihitung
dengan:
()
( |)
P(k | ) =
( )
Proses klasifikasi biasanya dibagi
kedalah 2 tahap yaitu training dan testing.
Pada tahap training sebagian dari data
yang sudah diketahui kelas datanya
digunakan untuk membentuk model
prediksi. Sedangkan pada tahap testing,
model yang sudah terbentuk diuji dengan
sebagian data yang lain untuk mengetahui
akurasi dari model tersebut.
2
III. DATASET
Dataset yang digunakan dalam
penelitian ini merupakan dataset global
yang diambil dari situs Knowledge
Extractionbased on Evolutionary Learning
(Keel-Dataset). Data yang diambil
merupakan data Car yang mana dari data
Car tersebut memiliki 1.728 data yang
terdiri dari 6 atribut dependent dan satu
atribut independent.
Adapun atribut dependent yang
dimiliki yaitu:
1. Buying dengan value: vhigh, high,
medium, low.
2. Maint dengan value: vhigh, high,
medium, low.
3. Doors dengan value: 2, 3, 4, 5more
4. Persons dengan value: 2, 4, more.
5. Lug_boot dengan value: small,
medium, big.
6. Safety dengan value: low, medium,
high.
Sedangkan untuk atribut independent yaitu
Acceptability dengan value unacc, acc.
Bayes akan menggunakan teknik split
validation dan pengujian akan dilakukan
sebanyak 5 kali dengan setiap pengujian
dibagi menjadi data training dan data
testing yaitu 90% & 10%, 80% &20%,
70% & 30%, 60% & 40%, 50% & 50%.
5. Analisis pengujian, yang akan dianalisis
pada penelitian ini adalah accuracy,
precision, recall dan AUC dari masing-
masing algoritma.
6. Hasil pengujian, dalam penelitian ini
akan dapat diketahui algoritma mana
yang memiliki akurasi paling tinggi
untuk dataset Car.
Adapun tahapan pada penelitian ini
dapat dilihat pada gambar 3.1 :

IV. METODE PENELITIAN

Pada penelitian ini akan dilakukan
tahapan-tahapan yang meliputi:
1. Penggunaan dataset yang mana dataset
tersebut berasal dari Keel-Dataset,
berupa dataset Car.
2. Penentuan algoritma yang digunakan.
Adapun algoritma yang akan digunakan
dalam penelitian ini yaitu algoritma
K-NN dan Nave Bayes.
3. Implementasi, implementasi pada
penelitian ini akan menggunakan
software RapidMiner 5.3. Gambar 3.1 Tahapan Penelitian
4. Pengujian, untuk pengujian pada
algoritma K-NN akan dilakukan 5 kali V. HASIL PENGUJIAN
dengan memberikan nilai K yang 5.1. Hasil Pengujian K-NN
berbeda pada setiap pengujian yaitu 1, 3, Berdasarkan hasil pengujian
5, 7 dan 9. Sedangkan untuk Nave menggunakan RapidMiner 5.3, maka

3
Artikel Ilmiah Data mining 27/09/2015
Universitas Dian Nuswantoro Semarang
diperoleh accuracy, precision, dan recall
k-NN sebagai berikut :
Tabel 5.1 Hasil Pengujian k-NN
Nilai K Akurasi Precision Recall AUC
1 81.66 98.60 40.30 0.500
3 86.75 99.01 57.03 0.923
5 89.12 99.13 64.83 0.977
7 89.47 99.14 65.97 0.990
9 92.07 98.99 74.71 0.996

Gambar 5.1 Diagram Accuracy, Precision,
Recall k-NN
Pada gambar 5.1 menunjukkan hasil
accuracy untuk k=1 sebesar 81.66%, k=3
sebesar 86.75%, k=5 sebesar 89.12%, k=7
sebesar 89.47%, dan k=9 sebesar 92.07%.
Hasil untuk precision diperoleh k=1
sebesar 98.60%, k=3 sebesar 99.01%, k=5
sebesar 99.13%, k=7 sebesar 99.14%, dan
k=9 sebesar 98.99%. Hasil untuk recall
diperoleh k=1 sebesar 40.30%, k=3 sebesar
57.03%, k=5 sebesar 64.83%, k=7 sebesar
65.97%, dan k=9 sebesar 74.71%.
Sedangkan untuk AUC k-NN hasilnya
adalah sebagai berikut:
Apabila hasil yang diperoleh diambil rata-
rata maka diperoleh accuracy sebesar
87.814%, precision sebesar 98.974%,
recall sebesar 60.568%, dan AUC sebesar
0.8772.
5.2. Hasil Pengujian Nave Bayes
Berdasarkan hasil pengujian
menggunakan RapidMiner 5.3, maka
diperoleh accuracy, precision, dan recall
Nave Bayes sebagai berikut :

Gambar 5.3 Diagram Accuracy, Precision,

Recall Nave Bayes

Pada gambar 5.1 menunjukkan hasil

Gambar 5.2 Diagram AUC k-NN
Pada gambar 5.2 menunjukkan hasil
AUC untuk k=1 sebesar 0.500, k=3 sebesar
0.923, k=5 sebesar 0.977, k=7 sebesar
0.990, dan k=9 sebesar 0.996. Adapun
secara keseluruhan hasil pengujian k-NN
dapat dilihat pada tabel 5.1.
Artikel Ilmiah Data mining 27/09/2015
Universitas Dian Nuswantoro Semarang
accuracy untuk training = 90% dan testing
= 10% sebesar 93.06%, training = 80% dan
testing = 20% sebesar 94.51%, training =
70% dan testing = 30% sebesar 94.21%,
training = 60% dan testing = 40% sebesar
93.63%, dan training = 50% dan testing =
50% sebesar 94.56%. Hasil precision untuk
training = 90% dan testing = 10% sebesar
86.96%, training = 80% dan testing = 20%
4
sebesar 88.54%, training = 70% dan testing Apabila hasil yang diperoleh diambil rata-
= 30% sebesar 90.26%, training = 60% dan rata maka diperoleh accuracy sebesar
testing = 40% sebesar 90%, dan training = 93.994%, precision sebesar 89.236%,
50% dan testing = 50% sebesar 90.42%. recall sebesar 90.698%, dan AUC sebesar
Hasil recall untuk training = 90% dan 0.9886.
testing = 10% sebesar 86.96%, training =
80% dan testing = 20% sebesar 95.65%, 5.3. Analisi Pengujian
training = 70% dan testing = 30% sebesar Dari pengujian pada algoritma k-NN
90.26%, training = 60% dan testing = 40% dan Nave Bayes menggunakan dataset Car
sebesar 89.15%, dan training = 50% dan yang sudah dilakukan maka diperoleh
testing = 50% sebesar 91.47%. Sedangkan perbandingan antara algoritma k-NN dan
untuk AUC Nave Bayes hasilnya adalah Nave Bayes (NB) yang dapat dilihat pada
sebagai berikut: tabel 5.3.
Tabel 5.3 Analisis Pengujian k-NN dan
Nave Bayes
k-NN NB Unggul
Accuracy 87.81% 93.99% NB
Precision 98.97% 89.24% k-NN
Recall 60.56% 90.70% NB
AUC 0.877 0.988 NB

Dari tabel 5.3 dapat dilihat bahwa algoritma

k-NN hanya unggul pada bagian precision
Gambar 5.4 Diagram AUC Nave Bayes
saja. Sedangkan untuk Nave Bayes unggul
pada bagian accuracy, recall, dan AUC.
Pada gambar 5.4 menunjukkan hasil
AUC pada training = 90% dan testing =
VI. KESIMPULAN
10% sebesar 0.986, training = 80% dan
Hasil pengujian menunjukkan bahwa
testing = 20% sebesar 0.989, training =
pada penelitian ini diperoleh accuracy
70% dan testing = 30% sebesar 0.989,
Nave Bayes lebih tinggi dari pada
training = 60% dan testing = 40% sebesar
accuracy k-NN dengan perbandingan
0.989, dan training = 50% dan testing =
87.81% (k-NN) dan 93.99% (Nave Bayes).
50% sebesar 0.990. Adapun secara
Sedangkan pada bagian precision
keseluruhan hasil pengujian Nave Bayes
menunjukkan hasil k-NN yang lebih tinggi
dapat dilihat pada tabel 5.2.
dari pada Nave Bayes dengan
Tabel 5.2 Hasil Pengujian Nave Bayes
Training Akurasi Precision Recall AUC
perbandingan 98.97% (k-NN) dan 89.24%
& Testing (Nave Bayes). Pada bagian recall, Nave
90%&10 % 93.06 86.96 86.96 0.986 Bayes kembali memperoleh hasil yang
80%&20 % 94.51 88.54 95.65 0.989 lebih tinggi dari pada k-NN dengan
70%&30 % 94.21 90.26 90.26 0.989 perbandingan 60.56% (k-NN) dan 90.70%
60%&40 % 93.63 90 89.15 0.989 (Nave Bayes). Terakhir pada bagian AUC
50%&50 % 94.56 90.42 91.47 0.990 Nave Bayes juga memperoleh hasil yang
lebih tinggi dari pada k-NN dengan

5
Artikel Ilmiah Data mining 27/09/2015
Universitas Dian Nuswantoro Semarang
perbandingan 0.877 (k-NN) dan 0.988
(Nave Bayes).

VII. SARAN
Dalam penelitian analisis algoritma k-
NN dan Nave Bayes untuk klasifikasi
pembelian mobil ini terdapat beberapa hal
yang perlu diperhatikan supaya menjadi
lebih baik kedepannya, diantaranya yaitu
untuk dataset dan atribut didalamnya dapat
menggunakan jumlah data dan atribut yang
lebih banyak dan komplek.

DAFTAR PUSTAKA
[1] T. D. Bei, "An Information Theoretic
Framework for Data Mining," pp. 564-
572, 24 Agustus 2011.
[2] G. Kesavaraj and S. Sukumaran, "A
Study On Classification Techniques in
Data Mining," 6 July 2013.
[3] H. Qureshi, M. Khan, S. M. Aser and
R. Hafiz, "Association of Pre-
pregnancy Weight and Weight Gain
with Perinatal Mortality," 23 Desember
2010.
[4] S. Wang and L. Chen, "Automated
Feature Weighting in Naive Bayes for
High-dimensional Data Classification,"
ACM 978-1-4503-1156-4/12/10, pp.
1243-1252, 2012.
[5] Keel-Dataset, http://sci2s.ugr.es/keel/
dataset/data/classification/car.zip,2015.
[6] A. Rane, N. Naik and J.
Laxminarayana, "Performance
Enhancement of K Nearest Neighbor
Classification Algorithm Using 8-Bin
Hashing and Feature Weighting," ACM
978-1-4503-2908-8/14/08, 2014.
[7] S. Mukherjee and N. Sharma, "Layered
Approach for Intrusion Detection
Using Nave Bayes Classifier," ACM
978-1-4503-1196-0/12/08, pp. 639-
644, 2012.
6
Artikel Ilmiah Data mining 27/09/2015
Universitas Dian Nuswantoro Semarang