CLASSIFIER BERDASAR TEORI BAYES Pertemuan 4
KLASIFIKASI & PENGENALAN POLA 1
Minimum distance classifiers melakukan klasifikasi berdasarkan jarak terpendek. Ada dua jenis yang dibahas: 1. The Euclidean Distance Classifier 2. The Mahalanobis Distance Classifier
Minimum Distance Classifiers 2
Classifier Bayesian Optimal menyederhanakan permasalahan dgn menggunakan asumsi-asumsi berikut: ◦ Semua kelas mempunyai probabilitas yang sama (equiprobable) ◦ Semua data dlm semua kelas mempunyai distribusi normal atau Gaussian ◦ Semua kelas mempunyai matriks kovarians yg sama ◦ Matriks kovarians berbentuk matriks diagonal dan semua elemen diagonalnya sama besar, yaitu S = 2 I dengan I adl matriks identitas
The Euclidean Distance Classifier 3
Dengan asumsi-asumsi di atas, maka Classifier Bayesian Optimal menjadi sama dengan classifier jarak Euclidean (Euclidean Distance Classifier), yaitu suatu pola x akan
dimasukkan ke dalam kelas i jika
x mi ( x mi ) T ( x mi ) x m j
i j
dengan S adl matriks kovarians dan mi adl rerata kelas i.
Jika jumlah kelas lebih dari dua maka kelas suatu pola ditentukan oleh jarak yang paling pendek (minimum)
The Euclidean Distance Classifier 4
Dari formula yang digunakan untuk classifier jarak euclidean di atas, terlihat bahwa ada kemiripan dengan classifier berdasar teori Bayes yang telah dipelajari pada
pertemuan sebelumnya. Perbedaan yang juga berarti penyederhanaan diakibatkan oleh karena semua kelas yang ada mempunyai probabilitas priori yang sama besar (equiprobable) dan juga matriks kovarian yang sama dan berbentuk matriks diagonal.
The Euclidean Distance Classifier 5
Jk asumsi terakhir pd classifier jarak Euclidean tdk terpenuhi atau dgn kata lain matriks kovarians tdk berbentuk matriks diagonal dan semua elemen diagonalnya tdk sama besar, maka jenis classifier disebut dgn classifier jarak Mahalanobis (Mahalanobis Distance Classifier)
Classifier jarak Mahalanobis menyatakan bahwa suatu pola x akan dimasukkan ke dalam kelas i jika
( x mi )T S 1 ( x mi ) ( x m j )T S 1 ( x m j )
i j
The Mahalanobis Distance Classifier 6
Norm atau panjang Euclidean suatu vektor u = (u1,u2,..,un) didefinisikan sbg:
u (u.u )1/ 2
u12 u22 ... un2
Jarak Euclidean antara 2 vektor u = (u1,u2,..,un) dan v = (v1,v2,..,vn) didefinisikan sbg:
de(u, v) u v (u1 v1 ) 2 (u2 v2 ) 2 ... (un vn ) 2
Norma & Jarak Euclidean 7
Terdapat pekerjaan klasifikasi dgn 2 kelas dlm ruang 3 dimensi. Kedua kelas dimodelkan dgn distribusi Gaussian dengan rerata kelas 1 adl m1 = [0 0 0]T dan rerata kelas 2 adl m2 = [0.5 0.5 0.5]T. Kedua kelas mpy probabilitas yg sama dan matriks kovarian utk kedua kelas adl sama sbb:
0.8 S1 S 2 0.01 0.01
0.01 0.2 0.01
0.01 0.01 0.2
Jika tdpt pola x = [0.1 0.5 0.1]T, maka klasifikasikan pola tsb menggunakan: ◦ classifier jarak Euclidean ◦ classifier jarak Mahalanobis
Contoh 1 8
Klasifikasi menggunakan jarak euclidean Dari soal diketahui: 0 m1 0 0
0.5 m2 0.5 0.5
0.8 S1 S 2 0.01 0.01
0.01 0.2 0.01
P (1 ) P (2 ) 0.5
0.01 0.01 0.2
0.1 x 0.5 0.1
Penyelesaian 9
Jarak euclidean ke kelas 1
x m1 ( x m1 )T ( x m1 ) x m1 ( x m1 )T ( x m1 ) 2
0.1 0.1 0.5 0.1 0.5 0.1 0.27 x m1 0.27 0.5196 10
Jarak euclidean ke kelas 2
x m2 ( x m2 )T ( x m2 ) x m2
2
( x m2 )T ( x m2 ) 0.4 0.4 0 0.4 0 0.4 0.32
x m2 0.32 0.5657
11
Jarak vektor x ke kelas 1 lebih pendek daripada jarak vektor x ke kelas 2, atau
x m1 x m2 sehingga vektor x masuk ke kelas 1 Dengan cara yang sama, maka klasifikasi dapat dilakukan menggunakan classifier jarak mahalanobis. 12
Klasifikasi menggunakan jarak mahalanobis Jarak mahalanobis ke kelas 1
d1 ( x m1 )T S 1 ( x m1 ) d12 ( x m1 )T S 1 ( x m1 ) Dalam hal ini kita perlu menghitung invers
matriks kovarians S terlebih dahulu.
13
Invers matriks kovarians: 1.2515 0.0596 0.0596 S 1 0.0596 5.0154 0.2478 0.0596 0.2478 5.0154
Jarak mahalanobis ke kelas 1
0.1 d1 0.1 0.5 0.1S 1 0.5 0.1 1.2846 1.1334 14
Jarak mahalanobis ke kelas 2
0.4 d 2 0.4 0 0.4S 1 0 0.4 0.9836 0.9918 Jadi, menggunakan classifier jarak mahalanobis vektor x masuk ke kelas yang mana? 15
Untuk kepentingan programming maka baik rerata kelas maupun data dapat dibentuk menjadi satu matriks. ◦ Misal ada 2 kelas 2 rerata dibentuk matriks rerata 3x2 sbb: m = [m1 m2] ◦ Misal ada 3 data yang akan diklasifikasikan dapat dibentuk matriks data 3x3 sbb: x = [x1 x2 x3]
Notes 16
Buatlah m file untuk mengerjakan soal contoh di atas, cobalah juga membuat fungsi untuk menghitung jarak euclidean dan mahalanobis sehingga dapat menyederhanakan program utama yang anda buat.
Tugas 1 Anda 17
Terdapat data pada tabel berikut yang terdiri dari dua kelas yaitu kelas 1 (1) dan kelas 2 (2). Diketahui bahwa probabilitas priori kedua kelas adalah sama besar atau P(1)=P(2)=0,5. No.data Kelas 1 Kelas 2 Posisi x
Posisi y
Posisi x
Posisi y
1
1
1,5
13
12
2
1,2
2
9
11
3
2
0,5
12
10,8
4
0,5
1,3
11
12,5
5
2
1
10
14
6
3
1.4
9
9
7
4
0,5
10,1
13
8
0,8
3
13
11,7
9
2
4
10,9
9,1
10
1,6
3
11,2
12,2
Sigma
18.1
18.2
109.2
115.3
Rerata
1.81
1.82
10.92
11.53
Tugas 2 Anda 18
Maka rerata kelas 1 (m1) dan rerata kelas 2 (m2) m1 = [1.81 1.82]T m2 = [10.92 11.53]T
Klasifikasikanlah data d11 = [5 4]T menggunakan euclidean distance classifier. Klasifikasikanlah data d11 = [5 4]T menggunakan mahalanobis distance classifier jika diketahui 22.1943 21.3282 S1 S 2 21 . 3282 24 . 0796
Tugas 2 Anda (lanj.) 19
An Introduction to Pattern Recognition: A Matlab Approach, 2010, Sergios Theodoris, Elseivier Inc.
Referensi 20
