BAB IV HASIL DAN PENGUJIAN
Perancangan perangkat lunak terdiri dari beberapa bagian, yaitu perangkat lunak berbasis shadow feature dan multi layer perceptron (MLP), pada bagian shadow feature bagian input data terdiri dari sebuah kanvas berukuran lebar dan tinggi 256 x 256 piksel. Kanvas ini digunakan untuk menuliskan aksara Jawa. Setelah sebuah angka Jawa dituliskan pada kanvas atau tablet, citra akan dimasukkan prosesregion of interest (ROI)dan di resize menjadi citra berukuran 64 x 64 piksel. Dengan menggunakan media input tersebut, telah dikumpulkan sampel untuk pelatihan sejumlah 1500 buah sampel berupa tulisan angka Jawa mulai dari angka0 sampai 9 (10 macam). Sampel-sampel ini berikutnya akan digunakan untuk diekstraksi fitur bayangannya menggunakan metode shadow feature Pada bagian multi layer perceptron (MLP)terdiri dariinput data pembelajaran, pengaturan parameter pembelajaran, dan evaluasi.Jumlah kategori output yang disediakan adalah 10 macam untuk masing-masing angka Jawa. .
33
34
Input Data
Evaluasi
MLP CLassifier
MLP Parameter
Gambar 4.1 Tampilan Aplikasi Pengambilan FiturBayangan Pengujian sistem yang dibuat secara keseluruhan adalah pengujian terhadap ROI, resize, pengujian metode shadow feature extraction, dan evaluasi multi layer perceptron (MLP). Pengujian region of interest (ROI) dan pengujian resizecitra input akan dibandingkan dengan menggunakan software pixilion pengujian terhadap shadow feature extraction meliputi pengujian terhadap ekstraksi fitur bayangan berdasarkan panjang piksel yang dihasilkan masingmasing area menggunakan Microsoft excel 2007. Pada tahap terakhir dilakukan pengujian terhadap klasifikasi yang dilakukan MLP untuk mengukur tingkat akurasi pengenalan.
35
4.1
Pengujian Perangkat Lunak Dalam mengetahui perangkat lunak yang dibuat bisa sesuai dengan metode
yang dipakai maka dilakukan pengujian terhadap masin-masing komponen perangkat. Alat dan bahan yang digunakan sebelum pengujian: 1.
Personal Computer (PC) / Laptop.
2.
Software Visual Basic6.0.
3.
Software Pixilion Image ConverterPlus.
4.
Software Matlab 7.0.
5.
Microsoft Excel 2007.
4.1.1
Pengujian Region Of Interest (ROI)
A. Tujuan Pengujian bertujuan untuk mengetahui apakah hasil cropping yang dilakukan pada bagian dari citra input tidak ada yang hilang saat setelah cropping atau sudah sesuai dengan tinggi dan lebar target ROI. B.
Prosedur Pengujian 1. Klik Project Visual Basic 6.0 (.vbp). 2. Run program. 3.
Kemudian klik tombol Load pilih citra berukuran apa saja dari sampel yang telah dikumpulkan pada direktori.
4. KlikTombol 256 x 256. 5. Klik tombol Entry untuk melakukan proses ROI. 6. Ulangi pengujian sampai 3 kali, dengan menggunakan 3 sampel citra yang berbeda.
36
7. Sampel citra yang digunakan seperti pada Gambar 4.2 berikut:
(a)
(b)
(c) Gambar 4.2 Citra Sampel Pengujian ROI C.
Hasil Pengujian
Hasil Resize dari ROI (64 x 64)
Area yang diabaikan Dimensi Citra ROI Dimensi Citra ROI
Gambar 4.3 Pengujian ROI Sampel Angka 0
37
Hasil Resize dari ROI (64 x 64)
Area yang diabaikan
Dimensi Citra ROI
ROI
Dimensi Citra
Gambar 4.4 Pengujian ROI Sampel Angka 2 Hasil Resize dari ROI (64 x 64)
Dimensi Citra ROI
ROI Area yang diabaikan Dimensi Citra
Gambar 4.5Pengujian ROI Sampel Angka 7 Hasil pengujian Sampel citra Angka 0, 2, dan 7, menunjukkan bahwa ROI sudah sesuai dengan target, area yang diabaikan (warna orange) pada masingmasing Gambar 4.3, 4.4, dan 4.5 adalah area yang tidak dipakai pada proses ekstraksi. Listbox pada masing-masing Gambar menampilkan dimensi dari citra asli dan dimensi citra ROI.
Sampel Angka 0 Angka 2 Angka 7
Tabel 4.1 Tabel Pengujian ROI Dimensi Asli Hasil ROI Target (Piksel) (Piksel) (Piksel) Tinggi Lebar Tinggi Lebar Tinggi Lebar 153 120 153 153 153 153 225 175 225 225 225 225 86 147 147 147 147 147
38
Hasil pengujian yang dilakukan mendapatkan hasil seperti Tabel 4.1 dimana masing-masing sampel yang diujikan dan sudah memenuhi target. Penentuan target seperti yang dijelaskan pada BAB III bahwa proses cropping atau ROI berbentuk bujur sangkar, jadi apabila dimensi citra tinggi lebih panjang daripada lebar makatinggi dan lebar citra akan disamakan dengan tinggi begitu juga sebaliknya. Pada Tabel 4.1 pada kolom “Dimensi Asli” tulisan yang berwarna merah adalah panjang tinggi dan lebar target ROI.
4.1.2
Pengujian Resize Citra
A. Tujuan Pengujian dimaksudkan untuk mengetahui apakah citra dari ROI yang diResizesesuai dengan standar yang telah ditentukan. B. Prosedur Pengujian 1. Jalankan Project di visual basic 6.0. 2. Jalankan software Pixilion.exe. 3. Kemudian open direktori untuk load gambar dari pixilion yang akan diuji. 4. Kemudian pada pixilion klik Effectuntuk mengatur height dan width citra untuk dikonversi menjadi 64 x 64 piksel. Lalu klik Convert. 5. Setelah itu jalankan projectvisual basic (.vbp). 6. Klik tombol Load dan pilih citra sampel yang akan diuji, klik tombol Entry. 7. Buka file citra yang telah di-Resizeyang telah disimpan di direktori penyimpanan citra.
39
C. Hasil Pengujian Tabel 4.2 Hasil Pengujian Resize Pixilion Dan Aplikasi Yang Dibuat Target Resize 64 x 64 Hasil Resize 64 x 64 Citra Hasil ROI (Diperoleh Dari Pixlion) (Dengan Aplikasi)
Hasil pengujian menunjukkan kesamaan antara resize yang dihasilkan software Pixilion dengan perangkat lunak yang dibuat. Kontur dan letak dari piksel-piksel yang dikonversi oleh perangkat lunak tidak berbeda dengan target (software pixilion).
40
4.1.3 Pengujian Metode Shadow Feature Extraction A. Tujuan Pengujian metode shadow feature dilakukan pada 3 sampel untuk mengetahui apakah hasil ekstraksi yang dilakukan oleh perangkat lunak telah sesuai. B. Prosedur Pengujian 1. RunsoftwareMatlab 7.0 (user/manual). 2. Kemudian buat project baru dan tuliskan syntax sebagai berikut: clc I=imread('E:\1 Tugas sampel\Angka390.bmp'); level = graythresh(I); BW = im2bw(I,level); imshow(BW);
Akhir\1.
Coding
TA\citra
3. Syntax tersebut berfungsi untuk mengubah citra menjadi bit biner 0 dan 1 yang akan di tampilkan pada array editor, Hasil dari Run Program ada pada array editor lihat lampiran. 4. Pindahkan Data citra pada array editor ke Microsoft Excel kemudian dilakukan ekstraksi bayangan secara manual. 5. Jalankan Shadow Feature.exe. 6. Kemudian klik tombol Load, tombol akan mengarahkan ke directory. Kemudian dipilih citra untuk pengujiannya, lalu klik tombol 64 x 64. 7. Klik tombol Show Value untuk menampilkan hasil fitur bayangan yang dari aplikasi. 8. Ulangi pengujian sampai 3 kali, dengan menggunakan 3 sampel citra yang berbeda.
41
C. Pembahasan Citra yang dipakaiuntuk pengujian adalah sampel citra pelatihan “Angka390.bmp”, “Angka1.bmp”, “Angka3.bmp” seperti pada Gambar 4.6. Bentuk dari sampel citra setelah diproses berwarna merah muda, fitur bayangan masing-masing area pada Excel di tandai dengan cell berwarna biru, tiap-tiap area diberi label area, kemudian anak panah untuk perhitungan fitur bayangan pada sisi diagonal masing-masing area.
Gambar 4.6 Sampel Citra ke 390, 1, dan 3
Ga mbar 4.7 Ekstraksi Fitur Sampel 390 Secara Manual
42
Samping
Alas
Diagonal
Gambar 4.8 EkstraksiFitur Sampel 390 Menggunakan Aplikasi
Tabel 4.3 Hasil Ekstraksi Citra Sampel 390 Percobaan Secara Manual
Sisi
1
Samping Alas Diagonal
2
3
4
5
6
7
8
18 18 17 18 15 21 21 14 11 18 18 11 21 9 8 21 8 7 7 7 8 11 11 9
1 18 11 8
Percobaan Menggunakan Aplikasi 2 3 4 5 6 7 8 18 17 18 15 21 21 14 18 18 11 21 9 8 21 7 7 7 8 11 11 9
Penghitungan fitur bayangan secara manual dan aplikasi sampel citra ke-1 diperlihatkan Gambar 4.7 dan Gambar 4.8 Hasil pengujian ekstraksi fitur secara manual dan menggunakan aplikasi dijelaskan pada Tabel 4.3. Dalam pengujian perhitungan panjang fitur secara manual maupun perhitungan yang dilakukan aplikasi menunjukkan hasil yang sama (Match).
43
Gambar 4.9 Ekstraksi Fitur Sampel 1 Secara Manual
Gambar 4.10 Ekstraksi Fitur Sampel 1 Menggunakan Aplikasi
44
Tabel 4.4 Hasil Ekstraksi Citra Sampel 1 Percobaan Secara Manual
Sisi
1
Samping Alas Diagonal
2
3
4
5
6
7
8
21 23 25 24 25 25 15 23 11 25 24 12 10 12 6 6 15 17 20 20 20 23 10 14
1 21 11 15
Percobaan Menggunakan Aplikasi 2 3 4 5 6 7 8 23 25 24 25 25 15 23 25 24 12 10 12 6 6 17 20 20 21 23 11 14
Penghitungan fitur bayangan secara manual dan aplikasi sampel citra ke-1 diperlihatkanGambar 4.9 dan Gambar 4.10Hasil pengujian ekstraksi fitur secara manual dan menggunakan aplikasi dijelaskan pada Tabel 4.4. dalam pengujian keduanya area 5 dan 7 pengujian aplikasi sisi diagonalberbeda 1 piksel lebih panjangdari hasil pengujian manual.
Gambar 4.11 Ekstraksi Fitur Sampel 2 Secara Manual
45
Gambar 4.12 Ekstraksi Fitur Sampel 2 Menggunakan Aplikasi Tabel 4.5Hasil Ekstraksi Citra Sampel 3 Percobaan Secara Manual
Sisi
1
Samping Alas Diagonal
2
3
4
5
6
7
8
25 20 27 22 24 18 12 30 10 24 18 13 18 13 14 13 20 14 20 20 11 18 16 19
Percobaan Menggunakan Aplikasi 1 2 3 4 5 6 7 8 25 20 27 22 25 18 12 30 10 24 18 14 18 14 14 13 20 14 20 19 11 18 15 19
Penghitungan fitur bayangan secara manual dan aplikasi sampel citra ke-3 diperlihatkan Gambar 4.11 dan Gambar 4.12. Hasil pengujian ekstraksi fitur secara manual dan menggunakan aplikasi dijelaskan pada Tabel 4.5. Analisa pengujian dijelaskan dalam poin-poin berikut: 1. Area 5 sisi samping hasil dari pengujian manual dan pengujian dengan aplikasi berbeda 1 piksel lebih panjang hasil ekstraksi menggunakan aplikasi. 2. Area 4 dan 6 masing-masing sisi alas berbeda 1 piksel lebih panjang dari hasil ekstraksi menggunakan aplikasi.
46
3. Kemudian area 4 dan 7 pada sisi diagonal masing-masing berbeda 1 piksel lebih pendek dari pengujian secara manual. 4.2
Pengujian Pengenalan Sampel Training
A.
Tujuan Pengujian data sampel traininga dalah pengujian yang dilakukan untuk
mengetahui apakah sampel training sebanyak 1000 sampel yang telah dilatihkan kepada perangkat lunak dapat dikenali. B. Prosedur Pengujian 1.
Run program Shadow Feature.exe (user/manual).
2.
Kemudian klik tombol Run Sample, tombol akan mengaktifkan load citra sampel sekaligus menguji data yang di load.
3.
Tunggu sampai proses load data berhenti, Proses pengujian data sampel cukup dilakukan sekali, hasil pengenalan disimpan ke microsoft excel dengan nama file “training.csv”.
C. Hasil Pengujian Tabel 4.6 Persentase Keberhasilan Pengenalan Pada Sampel Training Angka 0 1 2 3 4 5 6 7 8 9
Data Yang Kesalahan Berhasil Pengenalan Dikenali (buah) (buah) 100 100 0 100 100 0 100 100 0 100 100 0 100 100 0 100 100 0 100 100 0 100 99 1 100 100 0 100 100 0 Jumlah Persentase Total Jumlah Data (buah)
Presentase Keberhasilan (%) 100,00 % 100,00 % 100,00 % 100,00 % 100,00 % 100,00 % 100,00 % 99,00 % 100,00 % 100,00 % 99,90%
47
D.
Pembahasan Berdasrkan data Tabel 4.6 yang didapat dari pengujian pengenalan sampel
training masing-masing sampel angka (0 – 9) sebanyak 100 set data, mempunyai persentase keberhasilan pengenalan sebesar 99,90% seperti pada Gambar 4.13.
Gambar 4.13 Grafik Persentase Keberhasilan Sampel Training Kesalahan identifikasi terjadi pada sampel no. 407 angka 7 (Jawa) oleh perangkat lunak dikenali sebagai angka 8 (Jawa). Berikut pada Gambar 4.14 adalah sampel training tersebut dan Gambar 4.15 adalah uji coba sampel training 407 pada perangkat lunak.
Gambar 4.14 Sampel Training 407
48
Sampel training407 Hasil uji coba Sampel
Gambar 4.15 Uji Coba Terhadap Sampel Training 407 4.3
Pengujian Pengenalan Sampel Testing
A.
Tujuan Pengujian pengenalan sampel testing dilakukan untuk mengetahui apakah
sampel yang didapatkan dari partisipan sebanyak 50 set dapat dikenali perangkat. Data tersebut belum pernah dilatihkan terhadap perangkat lunak. B.
Prosedur Pengujian 1. Run program Shadow Feature.exe (user/manual). 2. Kemudian klik tombol Run Sample, tombol akan mengaktifkan load citra testing sekaligus menguji data yang di load. 3. Tunggu sampai proses load data berhenti, Proses pengujian data sampel cukup dilakukan sekali, hasil pengenalan disimpan ke microsoft excel dengan nama file “testing.csv”.
49
C.
Hasil Pengujian Tabel 4.7 Persentase Keberhasilan Pengenalan Pada Sampel Testing Angka
0 1 2 3 4 5 6 7 8 9 Total
Data Jumlah Yang Data Berhasil (buah) Dikenali (buah) 50 50 50 50 50 49 50 42 50 49 50 40 50 32 50 48 50 48 50 46 500 455
Data Yang Tidak Berhasil Dikenali (buah)
Presentase Keberhasilan (%)
0 0 1 8 1 10 18 2 2 4 45
100,00 % 100,00 % 98,00 % 84,00 % 98,00 % 80,00 % 64,00 % 96,00 % 96,00 % 92,00 %` 90,80%
D. Pembahasan Untuk mengetahui persentase keberhasilan dari pengujian, pada Microsoft excel nilai target dan hasil pengenalan dibandingkan jika hasil pengenalan sama dengan target maka dianggap hasil pengenalan berhasil. Dari hasil pengujian ini jumlah data pada masing-masing sampel angka (0 – 9) sebanyak 50setdata, dan berhasil dikenali 90,8% ditunjukkan pada Gambar 4.16.
50
Gambar 4.16 Grafik Keberhasilan Pengenalan Sampel Testing Kesalahan pengenalan pada “angka 6” adalah yang paling banyak dengan persentase error sebesar 36%, dan “angka 5” sebesar 20% dari 50 set sampel data seperti pada Gambar 4.17.
Gambar 4.17 Grafik Persentase Pengujian Sampel Testing
51
Pada Tabel 4.8 berikut adalah analisa kesalahan pengenalan karakter angka Jawadan jumlah kesalahan pengenalan masing-masing karakter terhadap karakter angka lain. Tabel 4.8 Analisa Kesalahan PengenalanPada Tiap Karakter Dikenali Sebagai Angka
Angka 0 0 1 2 3 4 5 6 7 8 9
1
2
3
4
5
6
7
8
9
0% 0% 2,00%
1 6
2 1
4 7
2
1
3 11 1 1 2
1
Presentase Error
1
1
Rata-Rata Error
16,00% 2,00% 20,00% 36,00% 4,00% 4,00% 8,00% 9,20%
Meskipun dalam pengelihatan manusia beberapa angka Jawa secara visual tampak ada kemiripan pola satu dengan yang lain, akan tetapi proses ekstraksi ciri yang menggunakan metode shadow feature memiliki sudut pandang sendiri dalam mengenali ciri atau pola karakter angka Jawa. Misalkan pada “angka 6” yang dikenali sebagai “angka 4” sebanyak 11 kali dan “angka 0” sebanyak 7 kali. Pengaruh kesalahan pengenalan pada “angka 6” maupun terhadap angkaangka Jawa yang lain disebabkan 2 faktor diantaranya adalah: 1. Hasil dari pengenalan ciri metode shadow feature extractionmenghasilkan nilai fitur yang sama. 2. Karena sampel yang didapat dari partisipan tidak sesuai pola karakter angka Jawa.
