Pengenalan Pola. Klasifikasi Linear Discriminant Analysis

Pengenalan Pola Klasifikasi – Linear Discriminant Analysis

PTIIK - 2014

Course Contents 1

Analisis Diskriminan

2

Linear Classification

3

Linear Discriminant Analysis (LDA)

4

Studi Kasus dan Latihan

Analisis Diskriminan  Salah satu teknik statistik yang dapat digunakan pada hubungan dependensi dari suatu variabel  Suatu teknik analisis multivariate yang digunakan untuk mengklasifikasi suatu objek ke dalam dua kelompok atau lebih berdasarkan variabel independennya

Analisis Diskriminan  Pengelompokkan pada analisis diskriminan bersifat mutually exclusive dan exhaustive  mutually exclusive yaitu jika suatu objek telah masuk pada salah satu kelompok maka tidak dapat menjadi anggota dari kelompok yang lain  exhaustive yaitu menyeluruh berdasarkan sejumlah variabel penjelas berupa data kuantitatif / continue

Linear Classification  Suatu bentuk klasifikasi yang bertujuan untuk menemukan batas-batas keputusan (decision boundaries) di dalam ruang fitur (input) secara linier R1

R2

X2

R3

R4 X1

Batas-batas keputusan linier pada ruang input 2D

Linear Classification  Terdapat sebuah fungsi diskriminan k(x) untuk setiap class k  Aturan klasifikasi : Rk  {x : k  arg max  j ( x)} j

 Ingat bahwa fungsi loss 0-1 menyebabkan aturan klasifikasi menjadi : Rk  {x : k  arg max P(G  j | X  x)} j

 Jadi, P(G  k | X ) dapat digunakan sebagai pengganti dari k(x)

Linear Discriminant Analysis  Esensi : meminimalkan error pada Bayes Classifier  Jika diasumsikan kepadatan class kondisional berdistribusi Gaussian Multivariate dan memiliki kovarians yang sama untuk setiap class, maka : f k ( x) k Pr(G  k | X  x) 

K

 f ( x) l

dimana:

l

l 1

f k ( x) 

1 (2 ) p / 2 | Σ |1/ 2

1 exp(  ( x   k )T Σ 1 ( x   k )) 2

Linear Discriminant Analysis  Fungsi Diskriminan :

1 f i  i C x  i C 1iT  ln( pi ) 2 1 T k

 Aturan klasifikasi :

Gˆ ( x)  arg max  k ( x) k

 Ekuivalen dengan :

Gˆ ( x)  arg max Pr(G  k | X  x) k

Contoh LDA

LDA mampu menghindari masking

Studi Kasus :  Pabrik "ABC" menghasilkan Chip Ring dengan kualitas yang sangat mahal dan tinggi. Kualitas tersebut diukur dalam ukuran kelengkungan dan diameter. Hasil kontrol kualitas oleh para ahli diberikan dalam tabel di bawah ini. Curvature

Diameter

Quality Control Result

2.95

6.63

Passed

2.53

7.79

Passed

3.57

5.65

Passed

3.57

5.45

Passed

3.16

4.46

Not passed

2.58

6.22

Not passed

2.16

3.52

Not passed

 Sebagai seorang konsultan pabrik, Anda mendapatkan tugas untuk mengatur kriteria pengendalian kualitas secara otomatis.  Kemudian, manajer pabrik juga ingin menguji kriteria pada jenis baru dari chip ring yang bahkan para ahli berpendapat berbeda antara satu sama lain.  chip ring baru tersebut memiliki kelengkungan 2.81 dan diameter 5,46.

Solusi  Ketika kita merencanakan fitur, kita dapat melihat bahwa data tersebut secara linear terpisah. Kita bisa menarik garis untuk memisahkan dua kelompok.  Masalahnya adalah untuk menemukan garis dan memutarnya sedemikian rupa untuk memaksimalkan jarak antara kelompok dan untuk meminimalkan jarak dalam kelompok.

 X = fitur (atau variabel independent) dari semua data.  Setiap baris merepresentasikan satu objek  Setiap kolom merepresentasikan satu fitur

 Y = class (atau variabel dependent) dari semua data.  Setiap baris merepresentasikan satu objek dan hanya memiliki satu kolom

x=

2.95  2.35 3.57  3.16 2.58  2.16  3.27

6.63   7.79  5.65   5.47  4.46   6.22  3.52  

1    1  1  y=   1  2    2   2  

 Xk = data dari baris ke-k, x3 = [3.57 5.65]  g = jumlah class pada y, g=2  Xi = fitur untuk class ke i .  Dilakukan pemisahan x kedalam class berdasarkan jumlah class pada y.

X1=

2.95 2.53  3.57  3.16

6.63 7.79 5.65   5.47 

2.58 4.46 2.16 6.22  X2 =   3.27 3.52 

 Hitung μi = mean features dari group i dan μ = mean global

 Hitung x i0 (Mean Corrected) : (xi minus mean global)

 Hitung matrik Kovarian group I 0 T i

(x ) x ci  ni  0.166  0.192  C1 =    0 . 192 1 . 349  



0 i

0.259  0.286  C2 =    0 . 286 2 . 142  

 Mengumpulkan matriks kovarians per kelompok ke dalam satu nilai. Hal ini dihitung untuk setiap entri dalam matriks menggunakan formula : g

1 C(r,s)   nic i (r,s) n i1

 Dalam kasus ini:

 4/7*0.166 + 3/7*0.259 = 0.206  4/7*(-0.192) + 3/7*(-0.286) = -0.233 dan  4/7*1.349 + 3/7*2.142 = 1.689



 Matriks kovarians

0.206  0.233  C=    0.233 1.689   Matriks inversnya

5.745 0.791 C-1 =   0.791 0.701

 P = prior probability vector

0.571 P =   = 0.429 

4 / 7    3 / 7 

1  Fungsi Diskriminan : f i  i C x  i C 1iT  ln( pi ) 2 1 T k

  Tentukan class dari object k ke dalam class i yang memiliki nilai fi maksimum

Hasil

Tugas  Tambahkan metode LDA pada aplikasi pengenalan pola dari data UCI yang kalian kerjakan sebelumnya  Munculkan keluaran sesuai dengan tahapan-tahapan penyelesaian:  Sheet4 / Form4  Covarians, Prior, Fungsi Diskriminan, dan Hasil Klasifikasi

[email protected] 081 331 834 734 / 088 160 127 40