PEMBELAJARAN INCREMENTAL PADA SUPPORT VECTOR MACHINE DENGAN PENDEKATAN PRIMAL Princea Praditia S1, Anny Yuniarti2, Rully Soelaiman3 Teknik Informatika, Fakultas Teknologi Informasi, ITS email :
[email protected],
[email protected],
[email protected]
ABSTRAKSI Support Vector Machine (SVM) telah terbukti sangat efektif dalam meyelesaikan permasalahan klasifikasi pola. Berbagai teknik terus dikembangkan dalam mengembangkan SVM yang lebih optimal, dan kebanyakan dari algoritma SVM tersebut diimplementasikan pada dual karena dianggap permasalahan SVM dapat lebih mudah diselesaikan dengan menggunakan pendekatan dual. Dalam tugas akhir ini dijelaskan bahwa baik didekati dengan pendekatan primal maupun dual, Primal SVM maupun Dual SVM akan sama-sama menghasilkan solusi optimal. Tapi ada kekurangan pada Primal SVM yaitu pada saat data training datang secara berurutan, proses komputasinya akan sangat bergantung pada data sampel karena data training yang baru harus di latih ulang dari awal. Karena itu, diterapkan algoritma baru yang dikenal dengan Incremental SVM. Incremental SVM terbukti dapat menyelesaikan permasalahan Primal SVM dengan mengupdate nilai bobot vector dan nilai bias yang dihasilkan pada proses traning untuk setiap data datang secara berurutan, sehingga proses komputasinya tidak terlalu besar, dan Incremental SVM ini terbukti dapat menghasilkan tingkat keakuratan yang cukup tinggi bila dibandingkan dengan Dual SVM biasa. Kata kunci : Support Vector Machine, Incremental Support Vector Machine, Primal Support Vector Machine, kalsifikasi pada SVM
Konsep dasar SVM sebenarnya merupakan kombinasi harmonis dari Statistical Learning Theory, Structural Risk Minimization dan reproducing kernel yang digabungkan menjadi sebuah algoritma yang dinamakan Support Vector Machine. SVM juga menggabungkan teori-teori komputasi yang telah ada puluhan tahun sebelumnya, seperti optimisasi konveks dan margin hyperplane Penulis mengembangkan pembelajaran Incremental pada Support Vector Machine untuk mengatasi kelemahan Support Vector Machine yang harus dilatih ulang pada saat adanya penambahan data yang datang secara berurutan. Dalam makalah ini penulis membuktikan bahwa penerapan pembelajaran Incremental pada Support Vector Machine mengurangi biaya komputasinya hampir separuh dari biaya komputasi yang dipakai oleh SVM biasa. Pada pembahasan selanjutnya akan dibahas lebih dalam tentang Support Vector Machine, tentang
1. PENDAHULUAN Klasifikasi dan pengenalan pola memainkan peran utama dalam kebanyakan kecerdasan buatan modern dan permasalahan computer science lainnya. Keteraturan, struktur atau hubungan apapun yang melekat pada beberapa sumber data dapat dipelajari dengan mendeteksi pola-pola yang signifikan dalam data yang tersedia. Sebuah sistem dapat membuat prediksi tentang data yang baru masuk dari sebuah sumber, dalam arti sistem tersebut telah mendapat kekuatan untuk belajar dan mengeneralisasi sesuatu yang baru dari sumber data tersebut. Salah satu alat untuk mengklasifikasi pola adalah Support Vector Machine (SVM). SVM pertama kali diperkenalkan oleh Vapnik [2] pada tahun 1995 dan mendapatkan perhatian dari banyak penelitian karena fiturnya yang menarik dan menjanjikan kinerja empiris yang efektif, meskipun usianya relatif masih sangat muda.
1
Support Vector Machine yang berjalan pada kasus data yang dapat dipisahkan secara linear dan kasus data yang tidak dapat dipisahkan secara linear, pada bab selanjutnya akan dibahas lebih dalam tentang penerapan pembelajaran Incremental pada Support Vector Machine sendiri, selanjutnya pada bab selanjutnya akan dibahas mengenai dekomposisi cholesky yang digunakan pada pembelajaran Incremental, seperti apa dekomposisi cholesky itu dan apa yang menjadikan dekomposisi cholesky diterapkan kedalam pembelajaran Incremental pada Support Vector Machine. Makalah ini juga menampilkan hasil uji coba penulis dalam menerapkan pembelajaran Incremental terhadap tiga jenis dataset yaitu : Ionosphere, Transfusion dan liver. Dataset tersebut merupakan data yang diambil langsung dari UCI Machine Learning Repository.
batasan tersebut dapat disingkat menjadi sebuah pertidaksamaan yi(<xi.w>+b)-1 ≥ 0 untuk semua i. Jarak antara hyperplane pemisah dengan titik yang berada paling dekat dengan hperplane dinamakan margin. Semisal jarak yang memisahkan hyperplane optimal dengan hyperplnae pemisah adalah d- dan d+. Maka nilai margin tersebut ditentukan oleh besarnya d+ + d- [1] dan margin maksimal dihasilkan adalah 2/||w||, dimana ||w|| merupakan norm dari bobot vector w. Hyperplane pemisah H1, H2 sejajar dan mempunyai garis normal yang sama, tidak ada titik yang berada diantara dua hyperplane pemisah tersebut, H1 dan H2 yang berpegaruh terhadap pemaksimalan nilai margin dapat dicari dengan meminimalkan ||w||2 dengan fungsi batas yi(<xi.w>+b)-1 ≥ 0. Titik – titik yang berada pada hyperplane pemisah tersebut dinamakan support vector, dan nantinya support vektor ini akan memberi informasi tentang penentuan hyperplane pemisah pada saat proses pembelajaran dijalankan.
2. SUPPORT VECTOR MACHINE Bentuk dasar Support Vector Machine adalah sebuah alat klasifikasi pola yang mengklasifikasikan data kedalam dua kelas yang diberi label {-1,1}, SVM merupakan supervised task karena data masukkannya memiliki sebuah label yang mengikuti setiap datanya. Tujuan SVM adalah menemukan batas pemisah antara kelas satu dengan kelas lainnya, pemisah tersebut dinamakan hyperplane, dengan cara mencari jarak maksimal batas pemisah antara margin dan hyperplane tersebut. Prinsip dasar SVM adalah pemisahan secara linear, dan selanjutnya dikembangkan agar dapat bekerja pada permasalahan non-linear dengan memanfaatkan fungsi kernel pada ruang vektor berdimensi tinggi, kemudian data tersebut diproyeksikan ke dalam ruang vektor tersebut sehingga data tersebut terpisah secara linear, baru kemudian SVM menyelesaikan permasalahan dengan data yang sudah terpisah secara linear dalam ruang vector yang berdimensi tinggi tersebut.
2.2 SVM pada kasus data tidak dapat terpisah secara linear Ketika dimensi data menjadi terlalu besar dan data tidak lagi dapat terpisahkan oleh hyperplane pemisah secara linier biaya komputasi akan tak terhitung mahal nya ketika SVM dipaksakan dipisahkan dengan pemisah yang tidak linear. Akan tetapi hal ini bisa dicegah dengan memanfaatkan fungsi kernel yang dapat memapingkan data ke dalam sebuah ruang vektor berdimensi tinggi sehingga data tersebut dapat dipisahkan secara linear. Untuk mereduksi penggunaan biaya komptasi yang terlampau mahal diperkenalkanlah sebuah slack variabel
ξi
, i = 1,…,s oleh Vapnik [5] pada fungsi
batasannya sehingga permasalahan fungsi objektifnya berubah menjadi minimize
2.1 SVM pada kasus data terpisah secara linear
s 1 2 w +C ∑ ξ i 2 i =1
(1)
(2) yi(< w, Φ( x ) > +b) ≥ 1 − ξ i i ξ ≥0 i dengan C adalah parameter yang menetukan besar pinalti akibat kesalahan dalam klasifikasi data dan nilai parameter C ditentukan oleh pengguna.
subject to
Semisal ada data training {xi,yi} dengan i=1,…,s , yi є {1,-1}, xi є Rn dipisahkan oleh garis pemisah f(x) = <w.x>+b. Pada kasus ini hyperplane pemisah dapat memisahkan data secara linear dengan fungsi batasan <xi.w>+b ≥ 1 dan <xi.w>+b ≤ 1 berlaku untuk keseluruhan data training, fungsi
2
Sedangkan
Φ( xi )
merupakan
fungsi
memapingkan x ke dalam ruang vector berdimensi tinggi. Jika seumpama persamaan (1) ditulis kembali dalam bentuk persamaan unconstraint maka didapatkan s w 2 + C ∑ L( yi , < w.Φ ( x ) > +b) i i =1
(5)
(3)
3.PEMBELAJARAN INCREMENTAL PADA SUPPORT VECTOR MACHINE
L( y, < w.Φ( x) > +b) = max(0,1 − y(< w.Φ( x) > +b))
p
Semisal ada fungsi optimisasi dibawah ini : min
dan L merupakan fungsi loss dimana saat nilai p=1, fungsi loss tersebut termasuk hinge loss dan ketika nilai p=2, fungsi loss tersebut merupakan kuadratik loss. Semisal didefinisikan sebuah non-linear SVM dengan fungsi kernel k dan sebuah Reproducing Kernel Hilbert Space (RKHS) H yang bersesuaian dengan fungsi kernel tersebut, persamaan (3) dapat dituliskan sebagai s (4) T T
s 1 2 2 w + b + C L ( yi , w, Φ ( xi ) ∑ 2 i =1
+ b ) (6)
dengan s adalah jumlah data training yang ada. Karena w adalah merupakan kombinasi linear dari n
w = ∑ α i y i xi
(7)
i =1
Jika digabungkan persamaan (6) dengan persamaan (7) maka akan didapatkan persamaan optimasi baru min 0 b s (8) 1 T 1 T b
λβ Kβ + ∑ L( y , K β ) i i i =1
s
memasukkan
/ 2σ 2 )
dimana i,j merupakan indeks baris yang ada di dalam data training, σ merupakan nilai sigma yang dimasukan user.
dengan
dengan
2
k ( xi , x j ) = exp(− xi − x j
yang
(
w = ∑ β i Φ ( xi ) kedalam
)
+ ∑ L yi , 1 ( K i ) λ (b β ) 2 0 K β i =1 β
i =1
persamaan(3). Nilai λ=1/C dan K merupakan kernel matrik dan Kij = < Φ( xi ) , Φ( x j ) > = k(xi,xj)
Pada metode newton , setiap langkah pada newton method meliputi proses update sebagai berikut :
sedangkan Ki merupakan elemen pada baris ke-i pada matrik K. Penerapan lebih jelas dapat dilihat pada [3]
b b ← − H −1∇ β β
2.3 Fungsi kernel
dengan H dan ∇ merupakan turunan gradient dari persamaan (8) dan Hessian nya maka didapatkan
Metode kernel melakukan pendekatan permasalahan dengan melakukan pemetaan data ke dalam dimensi tinggi, dimana setiap koordinat berkorespondesi terhadap satu fitur dari ítem data, kemudian mentransformasikan data kedalam sekumpulan point ruang Euclidean. Ada dua alasan mengapa menggunakan kernel, yaitu menjadikan sebuah algoritma pembelajar untuk bisa menemukan sebuah pola linear pada ruang Euclidean tersebut dan membuat data non-vektor mudah untuk diakses dalam proses pembelajaran. Ada beberapa jenis fungsi kernel yang biasa digunakan, yaitu polynomial, kernel gaussian, sigmoid.[4] Tapi fungsi kernel yang dipakai penulis adalah kernel Gaussian. Fungsi kernel Gaussian yang dipakai adalah
(9)
T b −1 e β ← H ∇ K I 0Y
−1 eT = I 0 e λI + I 0 K
−1
− λ 0
(10) eT K
−1
eT I 0Y K
persamaan (10) kemudian disederhanakan menjadi persamaan (11) T b −1 esv = β sv esv λI sv + K sv
−1
0 , Ysv
(11)
Penerapan lebih jelas dapat dilihat pada [5]. Ketika sampel baru (x s+1, y s+1) ditambahkan pada training set T, maka akan muncul masalah dalam mendapatkan nilai y s+1 f(x s+1). Jika sebuah value y s+1 f(x s+1) tidak lebih kecil dari 1, maka nilai s+1 yang berkoresponden diset menjadi nol. Jika value y s+1 f(x s+1) lebih kecil dari 1, mska sampel (x
3
adalah support vector dan indexnya s+1, y s+1) ditambahkan pada SV set. Jika sampel (x s+1, y s+1) adalah support vector, maka persamaan (11) berubah menjadi −1 eT esv K sv + λI sv ( k s +1 )T 1
dia berpindah, maka R dapat dituliskan sebagai berikut : R(1 : k − 1, k + 1 : sv ) R (1 : k − 1,1 : k − 1) R(1 : k − 1, k ) R = R (k ,1 : k − 1) R(k , k ) R( k , k + 1 : sv ) R( k + 1 : sv, k − 1) R (k + 1 : sv, k ) R (k + 1 : sv, k + 1 : sv )
b 0 (12) k s +1 β sv = Ysv , k ( xs +1 , xs +1 ) + λ β s +1 ys +1 1
Semisal didefinisikan
(17) R( i : j , u : v) dinotasikan sebagai submatrix dimana tiap elemen diambil dari baris ke i sampai j, dan kolom u sampai v pada matrix R.
R
−1 e R = e sv K sv + λI sv (k s +1 ) T 1 T
k s +1 (13) k ( x s +1 , x s +1 ) + λ 1
R (1 : k − 1,1 : k − 1) R(1 : k − 1, k + 1 : sv ) R = R ( k + 1 : sv, k − 1) R ( k + 1 : sv, k + 1 : sv ) (18) Asumsikan bahwa dekomposisi cholesky dari R dinotasikan sebagai R = LDLT Maka pada saat salah satu anggota SV set pada sebuah iterasi berpindah
dan untuk menyelesaikan persamaan (13) tersebut, matrik yang berordo 3 x 3 tersebut didekomposisi dengan menggunakan dekomposisi cholesky. Untuk mendekomposisi R , terlebih dahulu mendapatkan hasil dekomposisi dari matrik R T −1 esv R= e λ I + K sv sv sv
harus
menjadi NSV set persamaan R dapat diformulakan sebagai berikut :
) R = Lˆ D ( L )T
(14)
dimana Lˆ didapatkan dengan membuang baris dengan indeks k dari matriks L. Pengimplementasian persamaan (19) untuk proses update cholesky factor kemudian membuang salah satu baris pada indeks ke k tersebut dinamakan algoritma decremental.
dengan L adalah cholesky factor dari R, L berupa lower triangular matrik dan D adalah merupakan diagonal matriks dan R = L D LT. Sehingga matrik R dapat didapatkan dengan menggunakan persamaan R = L D LT . Sedangkan
L dan D didapatkan dari persamaan L L = T l
0 1
D 0 D = 0 d
4.DEKOMPOSISI CHOLESKY PADA PEMBELAJARAN INCREMENTAL
(15)
Seluruh matrik definite positif dapat didekomposisi dengan menggunakan dekompisisi cholesky. Syarat utama untuk dekomposisi cholesky adalah inputan matriknya harus merupakan matrik definite positif. Dekomposisi cholesky mengkonstruksi sebuah matrik definite positif lower triangular matrik L yang unik dari inputan matrik A yang akan didekomposisi. Sehingga matrik A tersebut dapat difaktorkan sebagai berikut:
dimana l dan d didapatkan dari persamaan (16) T LDI = (1, ( k )T ) s +1 d = k(x ,x ) + λ − l T DI s +1 s +1
(19)
(16)
Setelah itu baru dapat diperoleh beta dan b baru jika
R sudah dapat didefinisikan. SV set dan NSV set akan berubah setiap iterasi berjalan, element yang ada pada SV set bisa berubah menjadi anggota NSV set ataupun element NSV set mungkin bisa berubah menjadi anggota SV set. Saat pada salah satu iterasi, anggota dari SV set berubah menjadi NSV set, nilai beta yang berkoresponden dengan data tersebut diset menjadi nol sehingga tidak mempengaruhi iterasi selanjutnya. Jika seumpama (k1) merupakan posisi suatu data pada SV set pada saat
A = LLT atau A=LDLT Dekomposisi cholesky memfaktorkan sebuah matrik definite positif A kedalam sebuah matrik segitiga bawah L dan matrik segitiga atas LT . Sedangkan matrik D merupakan matrik diagonal dengan ukuran yang sama seperti matrik A. Matrik L tersebut yang kemudian dinamakan cholesky faktor dan hubungan A = LLT dinamakan cholesky factorization.
4
5. UJI COBA DAN EVALUASI Tabel 1 Spesifikasi dataset UCI
5.1 Penerapan Pembelajaran Incremental pada dataset UCI
dataset ionosphere transfusion liver
Pada uji coba ini penerapan pembelajaran Incremental diujicobakan pada dataset UCI Machine Learning Repository yaitu dataset ionosphere, transfusion dan liver dengan spesifikasi tiga jenis dataset tersebut dapat dilihat pada Tabel 1. Penerapan pembelajaran Incremental akan diujicobakan pada tiga dataset pada Tabel 1 dengan diberikan nilai parameter σ 2= 0.5 dan λ = 0.5 terhadap perubahan data training, data testing, dan data tambahan yang dimasukan sebagai inputan dari aplikasi.
atribut 34 7 5
jumlah 351 345 748
5.2 Pengaruh Parameter σ Pembelajaran Incremental
2
kelas 2 2 2
dan λ pada
Pada uji coba ini penerapan pembelajaran Incremental diujicobakan dengan perubahan nilai σ 2 dan λ yang berubah-ubah. Perubahan nilai σ 2dilakukan dengan variasi nilai σ 2= 2-6 – 26. Sedangkan perubahan nilai λ dilakukan dengan -5 6 variasi nilai λ = 2 – 2 . Hasil tingkat keberhasilan masing-masing nilai λ dapat dilihat pada Tabel 6. Hasil tingkat keberhasilan masing-masing nilai σ 2dapat dilihat pada Tabel 5. Uji coba ini ditujukan agar dapat menentukan pada range mana nilai σ 2dan nilai λ mendapatkan hasil akurasi terbaik serta apakah perubahan nilai σ 2dan nilai λ berpengaruh terhadap waktu komputasi saat proses pembelajaran Incremental diterapkan.
Penambahan perubahan data training, data testing dan data tambahan yang digunakan dapat dilihat masing-masing pada Tabel 2, Tabel 3 dan Tabel 4. Uji coba ini didasarkan pada tingkat akurasi, tingkat eror dan waktu komputasi yang dibutuhkan saat penerapan pembelajaran incremental diterapkan. Pada Tabel 2 menggambarkan perubahan tingkar akurasi dan pencatatan waktu komputasi pada dataset ionosphere. Pada Tabel 3 menggambarkan perubahan tingkar akurasi dan pencatatan waktu komputasi pada dataset liver. Pada Tabel 4 perubahan tingkar akurasi dan pencatatan waktu komputasi pada dataset transfusion.
Tabel 2 Hasil uji dengan dataset ionosphere Data yang digunakan data training : 30% data tambahan : 30% data uji : 40% data training : 30% data tambahan : 20% data uji : 50% data training : 30% data tambahan : 40% data uji : 30% data training : 10% data tambahan : 10% data uji : 80% data training : 20%
Hasil uji coba akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi
ISVM 84.3902 % 15,61 2.0160 77.8409 % 22,16 1.3750 96.2264 % 3,77 2.6400 65.2264 % 34,77 0.5630 72.9858 %
PSVM 84 % 16,00 5.8280 77 % 23,00 5.7040 77.5094 % 22,49 6.1090 33.5094 % 66,49 2.0030 66.9858 %
DSVM 66.8227 % 33,18 9.1090 64.9773% 35,02 6.1560 65.0943 % 34,91 13 32.7400 % 67,26 0.7660 30.3318 %
data tambahan : 20% data uji : 60%
error rate waktu komputasi
27,01 0.9530
33,01 2.5603
69,67 2.7600
5
Tabel 3 Hasil uji dengan dataset liver Data yang digunakan data training : 30% data tambahan : 30% data uji : 40%
Hasil uji coba akurasi error rate waktu komputasi
ISVM 73.7226 % 26,28 1.8120
70 % 30,00 3.7229
PSVM
DSVM 70.4526 % 29,55 7.5940
data training : 30% data tambahan : 20% data uji : 50% data training : 30% data tambahan : 40% data uji : 30% data training : 10% data tambahan : 10% data uji : 80%
akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi error rate waktu komputasi
73.0930 % 26,91 1.3280 71.8447% 28,16 1.4380 71.2727% 28,73 0.4530
70.0190 % 29,98 3.2220 69.4450% 30,56 2.4840 70.3420% 29,66 1.2810
70.2558% 29,74 7.6870 69.8155% 30,18 11.6570 70.5030% 29,50 1.7190
Tabel 4 Hasil uji dengan dataset transfusion Data yang digunakan data training : 30% data tambahan : 30% data uji : 40% data training : 30% data tambahan : 20% data uji : 50% data training : 30% data tambahan : 40% data uji : 30% data training : 20% data tambahan : 20% data uji : 60% data training : 40% data tambahan : 40% data uji : 20%
Hasil uji coba akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi error rate waktu komputasi akurasi error rate waktu komputasi
ISVM 78.3333 % 21,67 4.2500 81.8182 % 18,18 3.0150 96.2264 % 3,77 2.6400 82.5893% 17,41 3.9380 88.6667 % 11,33 7.3900
Pada Tabel 5 dapat dilihat bahwa range nilai σ 2 terbaik yang dapat dihasilkan pada saat proses klasifikasi perangkat lunak berkisar antara 2-6 sampai 25 karena tingkat akurasinya tinggi pada saat lamda nya terletak diantara antara 2-6 sampai 25. Waktu komputasi yang tercatat pada saat nilai σ 2 berubah-ubah berkisar antara 2.9220 sampai 3.1410. Dapat dilihat pada Tabel 6, bahwa pengaruh parameter lamda tidak terlalu besar pengaruhnya pada waktu komputasi saat proses pembelajaran Incremental dijalankan. Waktu komputasi bergerak konstan diantara 2.9-3 detik.
PSVM 66 % 34,00 9.2820 75.4011 % 24,60 6.5460 77.5094 % 22,49 6.1090 78.6411 % 21,36 5.0630 57.3333 % 42,67 17.5603
DSVM 70.3333 % 29,67 41.3120 78.8770% 21,12 29.5160 65.0943 % 34,91 13 78.5714 % 21,43 14.9690 66.6667 % 33,33 99.7650
Pada Tabel 6 dapat dilihat bahwa range lamda terbaik yang dapat dihasilkan pada saat proses klasifikasi perangkat lunak berkisar antara 2-3 sampai 25 karena tingkat akurasinya tinggi pada saat lamda nya terletak diantara antara 2-3 sampai 25. Waktu komputasi yang tercatat pada saat nilai lamda berubah-ubah berkisar antara 2.7350 sampai 2.9060. Dapat dilihat pada Tabel 6, bahwa pengaruh parameter lamda tidak terlalu besar pengaruhnya pada waktu komputasi saat proses pembelajaran Incremental dijalankan. Waktu komputasi bergerak konstan diantara 2-3 detik.
6
Tabel 5 Hasil uji dengan perubahan nilai
σ 2-1 2-2 2-3 2-4 2-5 2-6 20 21 22 23 24 25 26
2
waktu komputasi 3.1410 3.0160 2.9840 3.0470 2.9540 3.0150 3.0780 2.9220 3.1560 3 3.0470 2.9850 3.0470
akurasi 92.4528 82.0755 88.6792 94.3396 96.2264 96.2264 91.5094 75.4717 75.4717 96.2264 96.2264 96.2264 50
σ
2
Tabel 6 Hasil uji dengan perubahan nilai λ λ waktu komputasi akurasi jumlah sv 2-1 2.7810 92.4528 193 2-2 2.8590 92.4528 211 -3 2 2.8120 89.6226 224 2-4 2.8750 69.8113 242 2-5 2.8600 66.9811 245 0 2 2.8590 95.2830 181 21 2.8280 95.2830 183 2 2 2.8900 96.2264 182 23 2.8280 96.2264 180 4 2 2.7350 96.2264 180 25 2.7970 96.2264 180 6 2 2.9060 50 180
jumlah sv 193 185 178 168 158 139 207 219 224 234 245 245 245
tingkat akurasi data sebanyak hampir 30-40% dari tingkat akurasi Support Vector Machine dual biasa 5. Perolehan tingkat akurasi terbaik didapatkan pada saat λ berkisar antara 2-3 - 25 dan δ2 berkisar antara 2-6 - 25
6. KESIMPULAN Kesimpulan yang diperoleh berdasarkan uji coba dan evaluasi yang telah dilakukan adalah sebagai berikut: 1. Kelemahan Support Vector Machine adalah pada saat ada penambahan data ke dalam data training, data training harus dilatih ulang dari awal sehingga biaya komputasinya tinggi, dengan diterapkannya pembelajaran Incremental pada Support Vector Machine data training tidak harus dilatih ulang dari awal sehingga biaya komputasinya tidak lagi tinggi dan tingkat keakurasiannya juga tidak kalah tinggi dengan Support Vector Machine yang biasa. 2. Penggunaan dekomposisi cholesky terbuki efektif dalam mereduksi hampir 50% dari biaya komputasi yang seharusnya bahkan dari data set yang besar dengan penambahan data yang secara berurut ditambahkan kedalam data training 3. Perubahan nilai parameter yaitu λ dan δ2 juga akan mempengaruhi hasil akurasi yang dihasilkan pada saat proses klasifikasi. Sedangkan perubahan nilai λ dan δ2 terhadap waktu komputasi sedikit berpengaruh dan dapat ditetapkan nilainya sebagai suatu konstanta. 4. Penerapan pembelajaran Incremental pada Support Vector Machine terbukti menaikan
8.REFERENSI [1]
[2]
[3]
[4]
[5]
7
Burges, Cristhoper J.C. 1998. “A Tutorial on Support Vector Machine for Pattern Recognition,” Bell Laboratories,Lucent Technologies. Data Mining and Knowledge Discovery,2,121-167(1998). Vapnik, V. 1995. “The Nature of Statistical Learning Theory,” Springer-Verlag, New York. Chapple, Oliver. 2006.”Training Support Vector Machine in the Primal,” MPI for Biological Cybernetics, 72076 T¨ubingen, Germany. Cristianini, Nello dan John S. Taylor. 2004. “Kernel Methods for Pattern Analysis,” Cambridge - University Press. Liang, Zhizheng dan YouFu Li. 2009. “Incremental support vector machine learning in the primal and applications,” Neurocomputing 72 (2009) 2249 – 2258, Elsevier.
