Aplikasi Artificial Intelligence pada pengolahan Big Data

Gebby Pradana Soeharto1)

Program Studi Program Profesi Insinyur , Fakultas Teknik
Universitas Katolik Widya Mandala Surabaya
Email : gebbypradana@gmail.com

ABSTRAK
Semakin berkembangnya iptek dan kemudahan terkoneksinya sebuah device, gadget untuk
mengambil dan atau mengirimkan data melewati jaringan internet menjadikan big data sebuah
hal yang perlu ditangani dengan serius karena ukuran atau jumlah data yang terlampau besar
menjadikan software pengolah data tradisional tidak mampu melakukan manajemen dengan
baik terhadap big data. Solusi yang muncul adalah penggunaan artificial intelligence pada
pengolahan big data sebagai kecerdasan buatan untuk melakukan analisa data, memprediksi
kegagalan sistem, mencegah kegagalan sistem hingga mengambil keputusan saat terjadi
kegagalan sistem. Machine learning banyak disediakan oleh penyedia iot platform atau iot
cloud salah satunya adalah Microsoft Azure untuk membantu kita mempelajari karakter sistem,
tipe data dan tingkah laku sistem. Dengan machine learning proses untuk mengenali
perubahan tingkah laku sistem menjadi lebih mudah karena bersifat fleksibel. Aplikasi
artificial intelligence untuk pengolahan big data menjadi sangat luas karena dalam prakteknya
sudah mencakup beberapa aspek yaitu finansial, kesehatan, industri manufaktur dan usaha
retail.
Keyword : artificial intelligence, big data, predictive maintenance, azure iot hub,machine
larning, data analytics

I. PENDAHULUAN
Big data adalah sebuah kumpulan data dengan jumlah sangat besar dan beragam yang akan
menyulitkan aplikasi pengolahan atau pemrosesan data tradisional, big data sendiri
memiliki sifat peningkatan jumlah data dan ukuran yang cukup cepat hal ini dapat disebut
dengan istilah “Three Vs of Big Data” yaitu :

 Volume
Jumlah dari data adalah masalah utama. Dengan big data kita dapat mengolah data
dengan ukuran besar namun dengan densitas yang rendah atau data yang tidak
terstruktur seperti data dengan nilai yang tidak diketahui, twitter data feeds, clickstreams
dari sebuah website atau aplikasi mobile. Untuk sebuah organisasi mungkin masih dalam
jumlah dengan satuan terabytes namun untuk sebuah perusahaan atau yang lainnya
mungkin dalam jumlah ratusan petabytes.
 Velocity
Kecepatan data berhubungan langsung dengan aktifitas dari sebuah data “Transmit and
Received”. Pada umumnya kecepatan data yang tinggi terjadi saat data tersebut dalam
proses ditulis atau disimpan ke dalam media penyimpanan.
 Variety
Varietas berhubungan denga keberagaman data yang ada pada sebuah sistem. Data yang
bersifat tradisional umumnya sudah terstruktur dan tertata rapih dalam relational
database. Dengan berkembangnya big data maka muncul data-data baru dengan jenis
yang tidak terstruktur. Contohnya seperti data text,audio dan video memerlukan proses
 pengolahan data tambahan sebelumnya untuk mengetahui wujud data aslinya beserta
dukungan metadatanya.
II. TINJAUAN PUSTAKA
Istilah Big Data [1] pertama kali diperkenalkan pada dunia komputasi oleh Roger Magoulas
dari O’Reilly media pada tahun 2005 tentang besarnya ukuran data yang membuat teknik
manajemen data tradisional tidak mampu mengatur dan memprosesnya karena komleksitas
dan ukuran dari data itu sendiri. Disisi lain Gartner [2] sudah mempunyai riset mengenai
banyaknya jumlah device yang terkoneksi dengan iot dan menambah ukuran Big Data pada
tahun 2017 juga prediksi pada era 2020 mendatang.

II.1. Analisa Big Data

Perkembangan iptek pada masa sekarang ini membuat kita hidup dengan banyaknya
data, sebagai contoh internet sekarang menjadi wadah / platform yang sangat besar
untuk mendapatkan informasi seperti social media atau media servis online yang
lainnya. Setiap menitnya akan terjadi penambahan data oleh karenanya ledakan data
dalam hal ini ukuran dari data tersebut tidak dapat diukur dalam satuan gigabytes,
karena data semakin besar dan bertambah maka digunakan pengukuran dengan satuan
etabytes, exabytes, zettabytes dan yottabytes.
Tabel 1 Traditional & Big Data Comparison
Advantage of
Traditional Data Big Data
Big Data
Arsitektur Database
Database terpusat Biaya efektif
Data terdistribusi
Data tidak
Menambah
Type Data Data terstruktur terstruktur dan
keberagaman data
semi terstruktur
Jumlah data relative Mengurangi biaya
Jumlah data <
Volume dalam satuan dan menjadi
Petabytes
Gigabyte – Terabyte solusi bisnis
Mengelompokkan
Skema Data Skema fix / statis Skema dinamis informasi didalam
sebuah data
Relatif lebih
Relasi antar data
Relasi Data rumit antara data
mudah di eksplorasi
dan item
Lebih dari 1 server
1 server untuk
Skala untuk melakukan Biaya efektif
komputasi
komputasi
Hasil terpercaya
Akurasi Hasil kurang akurat Hasil lebih akurat
dan handal
II.2. IoT Devices
Setiap perangkat yang terkoneksi dengan IoT bisa disebut sebagai iot device atau
Things, yaitu perangkat yang terkoneksi dengan jaringan internet dan bertugas
mengambil / menerima data dari sensor kemudian mengirimkan data tersebut menuju
cloud, atau juga dapat berfungsi sebagai perangkat yang menjalankan aktuator saat
menerima perintah dari cloud / iot platform. Perangkat ini dapat berupa
mikrokontroller ataupun mikroprosesor (Single Board Computer). Pembahasan kali ini
menggunakan Raspberry Pi 3 model B+ berikut spesifikasinya.

Gambar 1 Raspberry Pi 3 model B+

Raspberry pi 3 menjadi salah satu alternatif single board computer yang digunakan
untuk dijadikan sebagai iot device, bekerja dengan sistem operasi Raspbian [3] dan
memiliki spesifikasi sebagai berikut :

 Broadcom BCM2837B0, Cortex-A53 (ARMv8) 64-bit SoC @ 1.4GHz

 1GB LPDDR2 SDRAM
 2.4GHz and 5GHz IEEE 802.11.b/g/n/ac wireless LAN, Bluetooth 4.2, BLE
 Gigabit Ethernet over USB 2.0 (maximum throughput 300 Mbps)
 Extended 40-pin GPIO header
 Full-size HDMI
 4 USB 2.0 ports
 CSI camera port for connecting a Raspberry Pi camera
 DSI display port for connecting a Raspberry Pi touchscreen display
 4-pole stereo output and composite video port
 Micro SD port for loading your operating system and storing data
 5V/2.5A DC power input
 Power-over-Ethernet (PoE) support (requires separate PoE HAT)

Raspberry pi adalah salah satu SBC yang populer digunakan karena sifatnya yang
open source dan banyak pengembang yang melakukan riset menggunakan perangkat
ini.

II.3. IoT Platform

Internet of Things (IoT) Platform adalah media utama baik perangkat lunak maupun
perangkat keras untuk melakukan pengolahan pada big data. Perbedaan mendasar pada
konsep internet tradisional dan internet of things diuraikan pada Tabel 1 berikut.
 Tabel 2 Traditional Internet & IoT Concept
Topik Traditional Internet Internet of Things (IoT)

Siapa pembuat Manusia Mesin

konten
Mengirimkan informasi
Bagaimana konten Berdasarkan request / secara real time dan
diakses ? permintaan melakukan action terhadap
sistem
Bagaimana konten Menggunakan link yang Melalui operator yang
dikombinasikan ? sudah ditentukan ditentukan
Apa tujuan Memberikan aksi dan
Menjawab pertanyaan
penggunaannya ? infomasi secara periodik
Apa hasil dan Berjenis konten kreasi
Utamanya adalah kreasi
perkembangan (HTML) dan konten
konten
hingga saat ini ? konsumsi (Search Engine)

Sekarang ini banyak IoT platform yang bisa kita gunakan dengan bebas
diantaranya Google Cloud IoT, AWS IoT, Microsoft Azure IoT, IBM Watson IoT,
Oracle IoT dan masih banyak lagi lainnya menurut dzone [4]. Platform ini memiliki
banyak servis atau fitur yang bisa kita sesuaikan dengan kebutuhan organisasi,
perusahaan, institusi dan lainnya. Microsoft Azure adalah salah satu IoT platform yang
dapat kita gunakan dengan fitur yang lengkap seperti yang terlihat pada Gambar 2
berikut :

Gambar 2 Microsoft Azure IoT platform

Untuk mengetahui iot device yang didukung oleh Microsoft Azure dapat dilihat dalam
katalog [5].

II.4. Machine Learning

Machine learning adalah kemampuan dari sebuah sistem untuk mempelajari pola dari
sebuah data atau pada proses pengolahan data, machine learning sendiri adalah bagian
dari artificial intelligence yang ada didalam konsep internet of things. Untuk
memudahkan user atau pengembang (developer) dalam prakteknya Microsoft azure
memfasilitasi user dengan Machine Learning Studio [6]. Fitur ini berupa web service
yang mudah hanya dengan drag and drop tool yang dapat digunakan untuk
membangun, melakukan tes, dan mengembangkan solusi analisa prediktif pada data
yang kita miliki. Machine learning studio menghasilkan sebuah model dalam bentuk
web service yang dapat dengan mudah digunakan oleh aplikasi tertentu atau BI tools
seperti Microsoft Excel. Berikut adalah alur penggunaan Machine learning studio yang
terlihat pada Gambar 3.

Gambar 3 ML Studio Overview

Bentuk tampilan web service dari Machine Learning Studio dapat dilihat pada Gambar
4 berikut .

Gambar 4 Machine Learning Studio

 Pada kasus predictive maintenance meliputi beberapa topik yang terintegrasi
didalamnya yaitu diantaranya:
 Failure Prediction
 Failure Diagnosis (root cause analysis)
 Failure Detection
 Failure Type Classification
 Recommendation of mitigation (maintenance action after failure)

Microsoft azure memberikan template [7] untuk membantu para ilmuwan data
membangun dan mengembangkan solusi predictive maintenance secara mudah.
Template ini dibagai dalam 3 tahapan seperti pada Gambar 5 berikut.

Gambar 5 Predictive Maintenance Steps

Dalam 3 tahapan ini meliputi, tahapan 1 memiliki 1 eksperimen dan 2 tahapan
berikutnya memiliki 3 eksperimen yaitu :
 Step 1 : Data preparation and feature engineering
 Step 2 : train and evaluate model
 Step 3 : Deploy as web service
Fitur predictive maintenance template focus pada teknik untuk memprediksi kapan
sebuah servis

II.5. Artificial Intelligence (AI)

Kecerdasan buatan (artificial intelligence) dalam komputer sains adalah sebuah
kemampuan yang dapat dilakukan oleh sebuah mesin dan berbeda dengan kecerdasan
alami pada manusia atau hewan, dalam hal ini adalah sebuah komputer. Artificial
intelligence (ai) pada komputer adalah kemampuan sistem yang mampu
menterjemahkan dengan baik data eksternal, mempelajari pola dari kumpulan data,
menggunakan hasil dari proses belajar tersebut untuk mencapai tujuan tertentu dan
juga dapat melakukan adaptasi pada perubahan sistem yang bersifat fleksibel.

Internet IoT Mobile

Things
Gateway Platform Apps

Gambar 6 IoT Concept

 Fitur ai terletak pada sisi iot platform seperti pada Gambar 6 diatas yang berkaitan
langsung dengan pengolahan pada big data. Contoh-contoh aplikasi yang bisa
dioptimalkan menggunakan ai dengan Microsoft Azure adalah sebagai berikut :
 Predictive Maintenance
 Defect Detection with Image Analysis
 Custom Entity Exxtraction with Text Analytics
Secara garis besar proses pengolahan data menggunakan ai terbagi dalam 3 proses yang
terlihat pada Gambar 7 berikut.

Gambar 7 Artificial Intelligence with Microsoft Azure

Salah satu kasus dalam industri manufaktur kebutuhan ai muncul dan mulai
diterapkan untuk meningkatkan grafik produksi, mencegah kerusakan yang fatal
dengan memprediksinya terlebih dahulu. Dalam industri manufaktur yang melibatkan
mesin dalam sebuah proses pengolahannya sering terjadi kerusakan mesin, kecelakaan
kerja dan kerusakan ruang lingkup kerja yang tidak terprediksi secara waktu, sehingga
mengganggu proses jalannya produksi dan merugikan secara nilai bisnis karena
produksi harus berhenti. Untuk mendeteksi tingkah laku dari sebuah sistem maka
dapat dilakukan dengan pendekatan deteksi anomali (anomaly detection). Metode ini
juga akan lebih akurat dengan penambahan metode deteksi kerusakan (rule-based
failure-detection) oleh Microsoft azure yang berguna untuk pencegahan kegagalan
sistem yang fatal. Pengolahan data yang dilakukan oleh fitur ai dari Microsoft azure
dijelaskan lebih detail pada tabel berikut .
Tabel 3 Azure AI Process in Predictive Maintenance

Prepare Data Build and Train Deploy

I II III

Tahapan I adalah Penggunaan multiclass Model yang paling

mempersiapkan data classification models efektif akan
yaitu : untuk menghitung nilai dikembangkan menjadi
kegunaan dari sebuah aset sebuah web service
 Data ingestion
yang masih tersisa
 Cleaning
 Feature
Engineering
 - Data yang dibutuhkan - Pada tahap II - Model tersebut
adalah sebagai memunculkan dua kemudian digunakan
berikut : hasil pengolahan data oleh aplikasi bisnis
yaitu : atau software
 Infomasi mesin
analisa, data yang
(ukuran motor  Rentang waktu
diproses akan
(engine), saat terjadi
dikirimkan ke
pembuatan, model, kerusakan /
predictive model
dll ) kegagalan sistem
web service dan
 Telemetry data  Kemungkinan hasilnya akan
(suhu kerja, kegagalan karena ditampilkan dalam
tekanan, vibrasi, salah satu dari sebuah dashboard
kecepatan beberapa akar atau disisipkan
beroperasi, dll) penyebab masalah. secara langsung
kedalam sistem
 Catatan perawatan - Kedua data tersebut
sebagai notifikasi
dan modifikasi dibutuhkan untuk
untuk teknisi atau
mesin (log book) menciptakan sebuah
staff yang bertugas
model dengan banyak
 Catatan mengenai hyperparameter. saat itu bagaimana
kerusakan mesin kondisi mesin /
Penggunaan algoritma
atau komponen sistem yang sedang
yang baik dalam
mesin yang digunakan.
menentukan model
berkaitan
berefek pada nilai - Data yang sudah
akurasi. Pada tahap diolah akan
training akan tersimpan juga
menghasilkan data dalam historical
metrik (akurasi) untuk database sehingga
mengevaluasi dapat digunakan
efektifitas model. kembali untuk
sampel training
dalam proses
pembuatan model.

III. KESIMPULAN
Pada tahun 2019 adalah tahun sebelum terjadinya peningkatan jumlah device yang
terkoneksi dengan IoT secara signifikan di tahun 2020 menurut Gartner [2], sekitar 9.2 juta
device kurang lebihnya akan meningkat di tahun 2020 peningkatan ini seiring dengan
jumlah data yang harus dikelola dengan baik. Oleh karena itu muncul kebutuhan mengenai
artificial intelligence pada pengolahan big data yang diharapkan mampu meningkatkan
produktifitas dan meminimalisir kemungkinan kegagalan sistem bahkan mencegah
kegagalan sistem untuk mendukung jalannya revolusi industri 4.0.

IV. DAFTAR PUSTAKA

[1] F. C. P. A. A. M. V. Elena Geanina ULARU, “Perspectives on Big Data and Big

Data Analytics,” Database Systems Journal, vol. 3, pp. 1,4, 2012.
[2] Gartner, “Gartner,” 7 Februari 2017. [Online]. Available:
https://www.gartner.com/en/newsroom/press-releases/2017-02-07-gartner-says-8-
 billion-connected-things-will-be-in-use-in-2017-up-31-percent-from-2016.
[Diakses 15 Agustus 2017].
[3] Ras, “Raspbian,” Raspberrypi Foundation, 1 May 2009. [Online]. Available:
https://www.raspberrypi.org/downloads/raspbian/. [Diakses 1 February 2019].
[4] M. Prokopets, “dzone,” 9 November 2018. [Online]. Available:
https://dzone.com/articles/ultimate-list-of-30-iot-platforms-for-your-iot-pro.
[Diakses 2 Desember 2018].
[5] Microsoft, “catalog.azureiotsolutions,” azureiotsolutions, 1 1 2019. [Online].
Available: https://catalog.azureiotsolutions.com/alldevices?filters={}. [Diakses 4 2
2019].
[6] Microsoft, “https://docs.microsoft.com/en-us/azure/machine-learning/studio/,”
Microsoft Azure Machine Learning Studio, 24 1 2019. [Online]. Available:
https://docs.microsoft.com/en-us/azure/machine-learning/studio/. [Diakses 1
February 2019].
[7] A. M. T. f. Microsoft, “Predictive Maintenance: Step 2A of 3, train and evaluate
regression models,” gallery.azure.ai, 27 4 2015. [Online]. Available:
https://gallery.azure.ai/Experiment/Predictive-Maintenance-Step-2A-of-3-train-and-
evaluate-regression-models-2. [Diakses 6 2 2019].
[8] Oracle, “Oracle,” 11 Agustus 2014. [Online]. Available:
https://www.oracle.com/big-data/guide/what-is-big-data.html. [Diakses 10 Juli
2018].
[9] D. O. Etzion, “https://www.rtinsights.com,” RTInsights, 27 May 2015. [Online].
Available: https://www.rtinsights.com/differences-between-the-iot-and-traditional-
internet/. [Diakses 1 11 2017].
[10] A. B. V. K. Varun Chandola, “Anomaly Detection : A Survey,” dalam ACM
Computing Surveys, Minneapolis, Minnesota, Minnesota University, 2009, pp. 1-3.
[11] Microsoft, “Machine Learning,” 16 6 2014. [Online]. Available:
https://azure.microsoft.com/en-us/resources/videos/machine-learning/. [Diakses 4
Februay 2019].
[12] A. Ai, “gallery.azure.ai,” Microsoft Azure Gallery, 2 9 2014. [Online]. Available:
https://gallery.azure.ai/Experiment/Anomaly-Detection-Credit-Risk-5. [Diakses 5 2
2019].