266
Pengenalan Gestur Semaphore Menggunakan Sensor Kinect Muhammad Fuad, Fakultas Teknik Universitas Trunojoyo Madura, Raya Telang PO BOX 2, Kamal, Bangkalan 69162 Eka Prasetya, Program Studi Teknik Multimedia & Jaringan Komputer Fakultas Teknik Universitas Trunojoyo Madura
ABSTRAK Semaphore sebagai suatu cara berkomunikasi jarak jauh dengan menggunakan dua buah bendera biasa dipraktikkan pada kegiatan kepramukaan. Informasi disampaikan dengan gestur atau gerakan-gerakan khusus menggunakan alat bantu berupa bendera atau dayung, batang. Proses pembelajaran Semaphore masih secara manual sehingga membutuhkan guru atau instruktur yang memberi contoh dan memberi koreksi ketika terjadi kesalahan dalam gestur. Berdasarkan kebutuhan praktis untuk memberikan suatu alternatif cara pembelajaran semaphore untuk alphabet, penelitian ini mengusulkan pemanfaatan teknologi visi komputer untuk mengembangkan suatu kemampuan pengenalan gestur semaphore dengan menggunakan sensor Kinect. Aliran data citra kerangka (skeleton) dari Kinect dihitung panjang tulang (bone) dan sudut antar sendi (joint) dengan memanfaatkan algoritma geometri sehingga menghasilkan parameter untuk pengenalan gestur dari setiap huruf alphabet. Selanjutnya parameter gestur dibandingkan dengan standar gestur (template) agar dapat dikenali sebagai salah satu huruf dalam alphabet. Kata kunci: Semaphore, Algoritma Geometri, Kinect, gestur, alphabet.
1. Pendahuluan Kode Semaphore dikenal sebagai suatu cara berkomunikasi jarak jauh secara visual dengan menggunakan dua buah bendera kotak yang dipegang dengan tangan. Komunikasi ini biasa digunakan oleh pelaut untuk mengirimkan informasi dari satu kapal ke kapal yang lain (Angle Madore, 2007). Semaphore sangat menguntungkan jika digunakan pada siang hari bahkan di malam hari dengan bantuan pencahayaan (Signal Corps United States Army, 2013). Pramuka belajar memegang bendera semaphore dengan sudut yang benar (Ernest Thompson Seton, 2012). Semaphore merupakan salah satu cara dalam mengirimkan pesan, informasi, atau berita dengan gesture-gesture khusus menggunakan bendera, dayung, atau batang. Pramuka biasa menggunakan bendera berukuran 40 x 40 cm yang melekat pada tongkat berukuran 50 cm (Rudi Setiawan, 2014). Warna bendera yang dikibarkan bersilang merah dan kuning (Oki Helfiska, 2012). Pembelajaran Semaphore pada umumnya dilakukan secara manual dengan bimbingan guru atau instruktur yang memberi contoh dan koreksi ketika terjadi kesalahan pada gesture. Gambar 1 menampilkan daftar gestur yang mewakili setiap huruf dalam alphabet.
* Muhammad Fuad. Tel.: +62899 7275 593; fax: 031-3011506. E-mail:
[email protected],
[email protected]
Gambar 1.Gestur alphabet (Signal Corps United States Army, 2013).
Pembelajaran gestur semaphore telah dikembangkan dalam bentuk program komputer (Gunawan, 2011) dan (Kuncoro, 2011). Kedua aplikasi ini menampilkan gambar gestur semaphore beserta huruf yang diwakili. Interaksi antara pengguna dengan aplikasi belum interaktif sebagaimana pembelajaran semaphore yang dibimbing oleh instruktur. Permasalahan interaksi aktif antara pengguna dan komputer sebagai sarana belajar perlu dan menantang
267
untuk diteliti. Penelitian ini mengusulkan pengembangan kemampuan untuk mengenali gestur semaphore dengan memanfaatkan sensor Kinect. Pengguna berdiri di depan sensor yang terhubung dengan komputer. Sensor Kinect menangkap gestur dari pengguna dan menyajikannya dalam bentuk aliran citra kerangka (skeleton). Citra ini terdiri dari tulang (bone) dan sendi (joint). Program pengenal gestur semaphore membaca parameter gestur dari citra skeleton dan mencocokkan dengan nilai-nilai yang telah diperoleh dari standar gestur semaphore. Pengenal gestur memanfaatkan algoritma geometri yang bekerja dengan menggunakan variabel panjang bone dan sudut antar joint. Penulisan dalam penelitian ini disajikan menurut alur berikut ini. Bagian 2 menjelaskan mengenai metode penelitian. Hasil dan pembahasan disajikan dalam Bagian 3. Kesimpulan dipaparkan pada Bagian 4. Saran untuk pengembangan riset selanjutnya dituliskan pada Bagian 5. 1.1. Sensor Kinect Sensor Kinect hadir di pasar game dengan nama resmi, Kinect for Xbox 360. Sensor ini merupakan sebuah pengendali permainan interaktif buatan Microsoft yang dibangun khusus untuk tersambung dengan mesin permainan XBOX360. Gambar 2 menampilkan komponen dari sensor Kinect yang terdiri dari sebuah IR Emitter, LED, Color Camera, IR Depth Sensor, Microphone Array, dan motor.
mundur, berhenti, belok kanan, dan belok kiri (Broccia dkk, 2011). Pengendalian gerakan robot beroda dengan kamera jenis RGB-D ini untuk membaca perintah gestur dan suara (Fardana dkk, 2013). Interaksi berdasarkan bahasa tubuh secara alamiah antara manusia dan humanoid social robot dengan menggunakan sensor yang sama diteliti dalam (Zhang dkk, 2014). Pemanfaatan Kinect untuk mendeteksi gestur tangan menggunakan citra Depth diteliti dalam (Fuad, 2014). Tiga dari empat penelitian tersebut menggunakan citra skeleton dalam proses pengenalan gestur. 1.2. Citra Skeleton Berbeda dengan penelitian sebelumnya, pada penelitian ini citra skeleton dimanfaatkan untuk mendeteksi gestur semaphore. Sensor Kinect menghasilkan tiga citra yaitu RGB, Depth, dan skeleton sebagaimana ditampilkan pada Gambar 3. Citra skeleton merupakan sekumpulan titik sebagai representasi dari posisi dan orientasi dari pemain setiap saat.
Gambar 3. Citra hasil akuisisi data (Fuad, 2014).
Terdapat 20 titik dalam citra skeleton mewakili posisi joint dari tubuh manusia. Sejumlah 15 titik ditampilkan dalam proses akuisisi data dari sensor Kinect seperti ditunjukkan pada Gambar 4.
Gambar 2.Komponen dari Sensor Kinect (Abhijit, 2012).
Tabel 1 menampilkan spesifikasi sensor yang terdiri dari sudut dalam viewing angle horisontal dan vertikal, jumlah frame yang dihasilkan setiap detik, jumlah titik dalam citra skeleton serta jangkauan jarak yang diperlukan dalam proses skeleton tracking. Tabel 1. Spesifikasi Sensor Kinect (Microsoft Research, 2011). Komponen Spesifikasi Viewing Angle 43˚ vertikal 57˚ horisontal Frame Rate 30 frame per second Resolusi Citra Warna 640 x 480 pixel Resolusi Citra Depth 320 x 240 pixel Citra Skeleton 20 titik Skeletal Tracking 1.2 hingga 3.5 meter
Sensor ini telah digunakan untuk mengenali lima gestur dalam pengendalian robot beroda untuk bergerak maju,
Gambar 4. Posisi joint dalam citra skeleton.
Berdasarkan kesesuaian antara model gestur semaphore dan susunan joint dalam citra skeleton, seperti ditampilkan pada Gambar 5, penelitian ini fokus pada data dari tiga titik utama. Titik shoulder center, wrist right, dan wrist left sesuai dengan tiga titik dalam model gestur, yaitu posisi pusat bahu, bendera di tangan kanan, dan bendera di tangan kiri. Ketiga titik ini membentuk dua bone yang tersusun sebagai sisi-sisi segitiga. Dengan demikian, sudut antar joint wrist right dan wrist left yang diukur relatif terhadap joint shoulder center dapat dihitung dengan memanfaatkan algoritma geometri.
268
Gambar 6. Proses mendapatkan parameter gestur dari model. Gambar 5. Tiga joint gestur dan skeleton membentuk segitiga.
1.3. Algoritma Geometri Dua metode geometri digunakan dalam penelitian ini, yaitu pengukuran panjang bone, dan pengukuran sudut antar joint. Panjang bone menyatakan jarak antar joint skeleton yang dihitung menggunakan Persamaan (1). 𝒅𝟐𝑫 = √(𝒙𝟏 − 𝒙𝟐 )𝟐 + (𝒚𝟏 − 𝒚𝟐 )𝟐
(1)
Notasi d2D sebagai panjang bone menyatakan jarak antar joint dalam bidang dua dimensi. Variabel x1, x2, y1, y2 berisi nilai dari koordinat setiap pasang joint yang terhubung membentuk bone. Dua bone yang tersusun sebagai sisi-sisi suatu segitiga membentuk sudut antar joint yang besarnya dihitung dengan Persamaan (2). 𝑎2 + 𝑏2 − 𝑐 2 ] 𝛼 = 𝑎𝑟𝑐𝑐𝑜𝑠 [ 2𝑎𝑏
(2)
Simbol 𝛼 menyatakan besar sudut antar joint. Simbol a mewakili panjang sisi segitiga yang menghadap ke sudut 𝛼. Simbol b dan c berturut-turut merepresentasikan panjang sisi segitiga yang mengapit sudut 𝛼.
Proses untuk mendapatkan parameter gestur semaphore dari model ditampilkan pada Gambar 6. Hasil pengukuran parameter gestur berupa besaran sudut dalam derajat. Ketiga parameter tersebut terdiri dari sudut 𝛼 R tangan kanan, 𝛼L tangan kiri, dan selisih sudut 𝛼R - 𝛼L. Parameter ini disimpan sebagai pola contoh (template) seperti ditunjukkan pada Tabel 2. Tabel 2. Besaran sudut dari parameter gestur model. Sudut (derajat) Alphabet 𝛼R 𝛼L 𝛼R - 𝛼L A
320,73
247,60
73,13
B
350,64
250,52
100,12
C
32,44
250,08
217,64
D
62,51
249,02
186,50
E
291,17
149,35
149,35
F
289,01
192,17
96,85
G`
294,97
224,03
70,94
H
353,25
294,21
59,04
I
331,93
49,27
275,00
J
60,52
187,99
127,47
K
322,63
109,41
322,63
L
314,28
142,79
171,49
2. Perancangan Sistem
M
317,29
186,65
130,64
Sistem pengenalan gestur semaphore dengan menggunakan citra skeleton yang diakuisisi dari sensor Kinect membutuhkan data acuan berupa parameter gestur dari model. Peraga semaphore seperti ditampilkan pada Gambar 1 digunakan sebagai model. Sudut 𝛼 R tangan kanan, 𝛼 L tangan kiri, dan selisih sudut 𝛼 R - 𝛼 L. Parameter ini diperoleh dengan menerapkan algoritma geometri pada model gestur. Proses diawali dengan menentukan tiga titik utama dari setiap gambar pada peraga model gestur. Ketiga titik utama dalam setiap gambar yaitu wrist right, wrist left, dan joint shoulder center, dihubungkan dengan ruas garis. Panjang ruas garis yang menghubungkan antar joint disebut panjang bone. Nilai ini didapatkan dengan menghitung akar dari jumlahan kuadrat dari selisih sepasang koordinat x dan y dari kedua joint. Cara untuk mendapatkan panjang bone ini, sebagaimana yang ditulis pada Persamaan (1), dikenal dengan Teorema Pitagoras. Kedua ruas garis yang menghubungkan ketiga titik utama ini membentuk sudut yang besarnya dihitung dengan menggunakan Hukum Cosinus dalam Persamaan (2).
N
319,36
225,00
94,36
O
355,01
52,31
302,70
P
357,40
117,70
239,70
Q
351,72
143,68
208,04
R
352,83
190,95
161,88
S
355,03
232,32
122,71
T
35,95
99,64
63,69
U
29,64
155,19
125,55
V
67,26
224,03
156,77
W
134,62
182,34
47,72
X
139,57
219,24
79,66
Y
41,57
188,89
147,33
Z
243,87
185,81
58,06
269
3. Hasil dan Pembahasan Berdasarkan nilai referensi dari setiap gestur huruf alphabet dari Tabel 2, dilakukan pengujian terhadap gestur yang diperagakan oleh pengguna sistem. Algoritma geometri digunakan untuk mendapatkan parameter gestur dari citra skeleton pengguna guna dibandingkan dengan parameter dari template. Alur proses pengaplikasian algoritma geometri untuk pengenalan gestur semaphore secara realtime ditampilkan pada Gambar 7. Ujicoba pada pengguna dilakukan dalam ruangan yang telah ditata sesuai spesifikasi sensor seperti pada Tabel 1. Penataan sensor dalam ruangan ujicoba diilustrasikan pada Gambar 8. Laptop Intel CoreI3 2,3 GHz RAM 2 GB dengan dilengkapi IDE Visual Studio 2010 dan KinectSDK digunakan dalam ujicoba ini. Start
Dapatkan citra skeleton
sensor dengan jarak 2 hingga 2,5 m. Ruangan yang digunakan dalam ujicoba memiliki ukuran 3 x 4 m2. Visualisasi dari proses mendapatkan parameter gestur dari skeleton pengguna ditampilkan pada Gambar 9.
Gambar 9. Proses mendapatkan parameter gestur dari skeleton.
Ujicoba dilakukan terhadap tiga orang pengguna. Setiap pengguna memperagakan gestur setiap huruf alphabet. Hasil percobaan ditampilkan pada Tabel 3. Nilai kecepatan sistem untuk mengenali gestur semaphore untuk huruf alphabet secara realtime disajikan dalam satuan detik. Terdapat 8 huruf yang dikenali kurang dari 5 detik, 14 huruf dikenali tepat 5 detik, dan 4 huruf dikenali lebih dari 5 detik. Secara keseluruhan setiap gestur dikenali dalam 5,10 detik. Tabel 3. Hasil percobaan pengenalan gestur semaphore. Gestur Pengguna Pengguna Pengguna Rata1 2 3 rata A 6 4 3 4,33
Tentukan titik utama
Dapatkan panjang bone dari titik utama dan titik bantu
B
5
6
4
5,00
C
7
5
3
5,00
D
5
5
5
5,00
E
4
4
3
3,67
F
6
7
4
5,67
G
5
6
6
5,67
H
8
4
4
5,33
I
5
3
3
3,67
J
3
7
6
5,33
K
6
5
5
5,33
L
7
8
5
6,67
Ya
M
4
6
4
4,67
Gesture
N
6
5
6
5,67
O
4
4
4
4,00
P
7
6
6
6,33
Q
5
4
4
4,33
R
5
5
6
5,33
S
4
6
7
5,67
T
6
8
4
6,00
U
7
9
5
7,00
V
5
3
4
4,00
W
4
5
6
5,00
X
3
9
3
5,00
Y
5
3
4
4,00
Z
6
5
4
5,00 5,10
Tentukan besar sudut yang terbentuk dari kedua tanga
Dapatkan sudut antar tangan
Pencockan nilai sudut dengan nilai sudut tempalte
Tidak
End
Gambar 7. Proses pengenalan gestur semaphore secara realtime.
Rata-rata keseluruhan Gambar 8. Penataan sensor dalam ruangan ujicoba.
Sensor diletakkan pada ketinggian 1,5 m dari permukaan tanah. Pengguna sistem berdiri menghadap
270
4. Kesimpulan
Berdasarkan hasil pengujian diperoleh hasil bahwa gestur semaphore dengan memanfaatkan parameter yang tersimpan dalam citra skeleton hasil pembacaan sensor Kinect dapat dikenali dengan menggunakan algoritma geometri. Hasil pengujian menunjukkan kecepatan yang diperoleh cukup signifikan sebesar rata-rata 5,10 detik. 5. Saran Penelitian ini akan dilanjutkan untuk dapat mengenali kata dan kalimat yang akan diaplikasikan dalam bentuk game. Selain dalam bidang multimedia, penelitian ini dapat juga dikembangkan untuk menghasilkan kemampuan interaksi manusia dengan komputer (Human-Computer Interaction) dan lebih khusus lagi dapat mendukung perkembangan dunia robot dalam bidang interaksi manusia dengan robot (Human-Robot Interaction). Acknowledgements Ucapan terima kasih disampaikan kepada Laboratorium Multimedia & Network Computing dari Program Studi Teknik Multimedia & Jaringan Komputer (TMJ) Fakultas Teknik Universitas Trunojoyo Madura. Terutama kepada Kepala Program Studi TMJ dan Kepala Laboratorium atas bimbingan dan bantuan sarana dan prasarana sehingga penelitian ini dapat terlaksana. DAFTAR PUSTAKA Madore, A., (2007). Semaphore Notes, Canada's Naval History, Canadian War Museum. diambil pada Senin, 16 Maret 2015 dari situs http://www.warmuseum.ca/cwm/exhibitions/navy/home -e.aspx.
Signal Corps United States Army 1910 (2013). Visual Signaling (Ebook #43515). War Department Office of The Chief Signal Officer. Seton, E. T. Chief Scout. (2012).Chapter IV. Tracks, Trailing and Signaling. In William D. Murray, George D. Pratt, A. A. Jameson (Ed. Board), Boy Scouts Handbook, the first edition 1911. New York: Dover Publications, Inc. Rudi Setiawan. (2014). SMS (Sandi, Morse, Semaphore). Diakses pada Selasa, 17 Maret 2015 dari situs https://scoutgrafika.wordpress.com/2014/10/09/materikepramukaan-sms-sandi-morse-semaphore/. Oki Helfiska. (2012). Isyarat Semaphore. Diakses pada Selasa, 17 Maret 2015 dari http://www.tunaskelapa.net/isyarat-semaphore.htm. Gunawan Sr. (2011). Download Aplikasi Semaphore. Diakses pada Selasa, 17 Maret 2015 dari http://materipramuka-indonesia.blogspot.com/2013/02/downloadaplikasi-semaphore-tips-cara.html. Imbar Kuncoro.. (2011). Pengirim Semaphore. Diakses pada Selasa, 17 Maret 2015 dari http://www.pramukanet.org/index.php?option=com_con tent&task=view&id=477. Abijit Jana. (2012). Kinect for Windows SDK Programming Guide. Birmingham: Packt Publishing Broccia, G., Livesu, M., Scateni, R. (2011). Gestural Interaction for Robot Motion Control. Eurographics Italian Chapter Conference. Eurographics Association. Fardana, A.R., Jain, S., Jovancevic, I., Suri, Y., Morand, C., Robertson, N.M. (2013). Controlling a Mobile Robot with Natural Commands based on Voice and Gesture. Zhang, Z., Xiao, Y., Beck, A., Yuan, J., Thalmann, D. (2014). Human-Robot Interaction by Understanding Upper Body Gestures. Fuad, M. (2014). Pengembangan Deteksi Gestur Tangan Berbasis Citra Depth Menggunakan Pencocokan Fitur. Seminar Nasional Ilmu Komputer. Universitas Gadjah Mada. Microsoft Research. (2011). Kinect for Windows SDK Beta Programming Guide.
