 Aplikasi keamanan

o ECHELON, OASIS
o Deteksi penipuan (...)
 Kedokteran dan biologi
o Identifikasi gen berdasarkan literatur (...)
 Aplikasi akademik
o Analisis aliran penelitian
 Application Case 7.3: Mining for Lies
 Deteksi penipuan
o Masalah yang sulit
o Jika deteksi terbatas pada hanya teks, maka masalahnya bahkan lebih sulit
 Pembelajaran
o menganalisis kesaksian berdasarkan teks dari orang yang berkepentingan di pangkalan
militer
o hanya menggunakan fitur berbasis teks (tanda)

 Application Case 7.3: Mining for Lies

o 371 pernyataan yang dapat digunakan dihasilkan
o 31 fitur digunakan
o Metode pemilihan fitur yang berbeda digunakan
o Validasi silang 10 kali lipat digunakan
o Hasil (akurasi% keseluruhan)
 Regresi logistik 67.28
 Pohon keputusan 71.60
 Jaringan syaraf 73.46

Text Mining Applications (gene/protein interaction identification

 Langkah 1: Buat korpus

o Kumpulkan semua data tidak terstruktur yang relevan (misalnya, dokumen tekstual, file
XML, email, halaman web, catatan singkat, rekaman suara ...)
o Mendigitalkan, menstandarisasi koleksi (mis., Semua dalam file teks ASCII)
o Tempatkan koleksi di tempat umum (misalnya, dalam file datar, atau di direktori
sebagai file terpisah)
 Haruskah semua syarat dimasukkan?
o Hentikan kata-kata, termasuk kata-kata
o Sinonim, homonim
o Stemming
 Apa representasi terbaik dari indeks (nilai dalam sel)?
o Jumlah baris; frekuensi biner; frekuensi log;
o Terbalik frekuensi dokumen
 TDM adalah matriks yang jarang. Bagaimana kita bisa mengurangi dimensi dari TDM?
 o Manual - pakar domain melewatinya
o Hilangkan istilah dengan sangat sedikit kejadian dalam sangat sedikit dokumen (?)
o Transformasikan matriks menggunakan dekomposisi nilai singular (SVD)
o SVD mirip dengan analisis komponen utama 24
 Langkah 3: Ekstrak pola / pengetahuan
o Klasifikasi (kategorisasi teks)
o Clustering (pengelompokan teks alami)
 Tingkatkan retensi pencarian
 Tingkatkan ketepatan penelusuran
 Menyebarkan / mengumpulkan
 Pengelompokan spesifik kueri
o Asosiasi
o Analisis Tren (...)