6 EVALUASI SKILL MODEL
Pendahuluan Evaluasi model selain dilakukan dengan mengetahui nilai korelasi dan nilai RMSEP juga dilakukan dengan Relative Operating Characteristics (ROC). ROC merupakan metode yang sangat fleksibel untuk menilai tingkat skill sistem prediksi baik yang bersifat dikotomi (deterministik), kategorik, kontinu, atau peluang (Graham & Mason 1999). ROC menggambarkan berapa besar peluang suatu prediksi itu tidak benar. Pendekatan ini merupakan pendekatan yang direkomendasikan oleh World Metereological Organization (WMO) (Boer 2006b). Skor ROC banyak dibahas oleh ilmuwan pada berbagai bidang khususnya untuk peluang prediksi. Proses verifikasi prediksi merupakan proses yang terus berkembang dan memerlukan metode serta teknik yang terus diperdalam (Casati B et al. 2008) dengan memperhatikan hal-hal yang mungkin bisa mempengaruhi kualitas prediksi. Pada bab ini dilakukan evaluasi skill model VARX dan aditif VARX untuk mengetahui skill dan keandalan prediksinya.
Metode Data yang dipergunakan merupakan data curah hujan tahun 1980-2006. Langkah awal menentukan kategori curah hujan : atas normal, normal dan bawah normal. Atas normal (A), jika nilai perbandingan terhadap rata-ratanya lebih besar dari 115%, normal (N), jika nilai perbandingan terhadap rataratanya antara 85%–115%, dan Bawah Normal (BN), jika nilai perbandingan terhadap rata-ratanya kurang dari 85% (BMKG 2003). Simulasi prediksi peluang terjadinya hujan musim hujan dilakukan dengan menggunakan sebaran normal dengan simulasi peluang Monte Carlo (menggunakan add ons excel Crystal Ball (trial)). Penyusunan tabel kontingensi antara hasil informasi prakiraan iklim musiman (simulasi) dan hasil observasi lapang (observasi) dilakukan dengan istilah-istilah (Wilk et al. 1995) : hit (h)
66
merupakan prakiraan mengatakan kejadian akan terjadi, dan ternyata benar terjadi; miss (m) merupakan prakiraan mengatakan kejadian tidak akan terjadi, dan ternyata terjadi; false alarm (f) merupakan prakiraan mengatakan kejadian akan terjadi, dan ternyata tidak terjadi ; correct negative (c) merupakan prakiraan mengatakan kejadian tidak akan terjadi, dan ternyata benar tidak terjadi. Susunan tabel kontingensi dinyatakan pada tabel berikut.
Tabel 21 Tabel Kontingensi Simulasi Observasi Y TY
Y h f
TY m c
Nilai-nilai pada tabel kontingensi tersebut yang dijadikan dasar untuk membuat tabel False Alarm Rates (FAR) dan Hits Rates (HR). Perhitungan nilai FAR didasarkan pada persamaan (6) (6) Nilai HR dimaksudkan untuk menunjukkan berapa bagian dari kejadian Y yang diramalkan dapat benar terjadi dengan tepat Y. Perhitungan nilai FAR didasarkan pada persamaan (7) (7)
Nilai FAR dimaksudkan untuk menunjukkan berapa bagian yang diprakirakan Y tetapi dalam kenyataannya terjadi TY. Selanjutnya, menentukan banyaknya kejadian HR dan FAR untuk setiap kelompok nilai peluang dari 100%, 90%, …, 0% berdasarkan persamaan (6) dan (7). Kurva ROC disusun dengan cara melakukan plotting antara False Alarm Rates (FAR) sebagai absis dan ordinat dengan Hits Rates (HR). Luasan di bawah kurva ROC merupakan nilai keandalan prakiraan simulasi terjadinya hujan normal. Jika luasan kurva ROC bernilai lebih kecil atau sama dengan 50% artinya prakiraan iklim musiman yang disajikan atau dievaluasi tidak memiliki keandalan yang memadai. Kondisi prakiraan iklim musiman tersebut disebut sebagai no-skill. Semakin luas luasan di bawah kurva ROC, semakin
67
tinggi tingkat keandalan informasi prakiraan iklim musiman yang dievaluasi. Semua langkah dalam metode ini, diuraikan secara terperinci oleh Mason & Graham (1999). Dan program ROC (worksheet) yang digunakan pada penelitian ini merupakan program yang dibuat oleh Rizaldi Boer (Laboratorium Klimatologi GEOMET-FMIPA IPB) pada tahun 2006.
Hasil dan Pembahasan ROC disusun dengan melakukan simulasi berdasarkan kejadian atas normal dan bawah normal. Analisis skill prediksi ditinjau pada kemampuan model prediksi ketika curah hujan maju dari normal dan mundur dari normal. Simulasi dilakukan terhadap model VARX dan model aditif-VARX pada dua stasiun curah hujan di wilayah 2 yakni stasiun Salam Darma dan Gantar. Kurva ROC pada bulan Januari atas normal dan bawah normal untuk stasiun Salam Darma dengan model aditif-VARX ditunjukkan pada Gambar 27. BELOW NORMAL
Hit Rate
Hit Rate
ABOVE NORMAL 1.0 0.8 0.6 0.4 0.2 0.0 0.0
0.2 0.4 0.6 0.8 False Alarm Rate
1.0
1.0 0.8 0.6 0.4 0.2 0.0 0.0
0.2 0.4 0.6 0.8 False Alarm Rate
1.0
Gambar 27 Kurva ROC atas normal dan bawah normal bulan Januari untuk stasiun Salam Darma
Nilai skill yang luasannya tampak pada Gambar 27 menunjukkan nilai skill sekitar 0.62 (atas normal) dan sekitar 0.46 (bawah normal). Nilai-nilai skill untuk bulan lainnya dapat dilihat pada Lampiran 8. Kurva ROC pada bulan Januari atas normal dan bawah normal untuk stasiun Gantar dengan model aditif-VARX ditunjukkan pada Gambar 28.
68
BELOW NORMAL Hit Rate
Hit Rate
ABOVE NORMAL 1.0 0.8 0.6 0.4 0.2 0.0 0.0
0.2
0.4 0.6 0.8 False Alarm Rate
1.0 0.8 0.6 0.4 0.2 0.0
1.0
0.0
0.2
0.4 0.6 0.8 False Alarm Rate
1.0
Gambar 28 Kurva ROC atas normal dan bawah normal bulan Januari untuk stasiun Gantar
Nilai skill yang luasannya tampak pada Gambar 28 menunjukkan nilai skill sekitar 0.49 (atas normal) dan sekitar 0.56 (bawah normal). Nilai-nilai skill untuk bulan lainnya dapat dilihat pada Lampiran 8. Hasil simulasi kejadian atas normal untuk seluruh bulan (JanuariDesember) ditunjukkan pada Tabel 22. Berdasarkan tabel tersebut, model VARX pada stasiun Salam Darma yang memiliki nilai skill > 0.5 terjadi pada bulan April dan Agustus. Sedangkan model aditif VARX yang memiliki nilai skill >0.5 terjadi pada bulan Januari, Agustus, November dan Desember. Pada bulan selainnya, model tidak memiliki skill. Model VARX pada stasiun Gantar yang memiliki nilai skill > 0.5 terjadi pada bulan Januari, Maret, April, Juli, Agustus dan September. Sedangkan, model aditif VARX yang memiliki nilai skill >0.5 terjadi pada bulan Pebruari, Maret, Juli, Agustus, dan Oktober. Pada bulan selainnya, model tidak memiliki skill. Tabel 22 Peramalan skill model VARX dan AVARX curah hujan (atas normal) Bulan Mei Jun Jul Salam Darma 0 0.67 0
Model
Jan
Peb
Mar
Apr
Agt
Sep
Okt
Nov
Des
Model VARX Model AVARX
0.48
0.4
0.74
0.58
0
0
0.67
0.44
0.51
0.62
0.34
0.84
0.58
0
0
0
0.17
0
0.79
0.5
0.5
Model VARX Model AVARX
0.55
0.46
0.7
0.63
0.51
Gantar 0
0.64
0.65
0.78
0
0
0
0.49
0.3
0.7
0
0.5
0.5
0.65
0.6
0
0.72
0
0.51
69
Hasil simulasi kejadian bawah normal ditunjukkan pada Tabel 23. Berdasarkan tabel tersebut, model VARX pada stasiun Salam Darma yang memiliki nilai skill>0.5 terjadi pada bulan Maret, November, dan Desember. Sedangkan, model aditif VARX yang memiliki nilai skill>0.5 terjadi hanya pada bulan Pebruari, Maret, Juli, September, Oktober, November dan Desember. Pada bulan selainnya, model tidak memiliki skill. Model VARX pada stasiun Gantar yang memiliki nilai skill>0.5 terjadi hanya pada bulan Maret dan November. Sedangkan, model aditif VARX yang memiliki nilai skill>0.5 terjadi pada bulan Maret, April, dan Juni-Oktober. Pada bulan selainnya, model tidak memiliki skill. Tabel 23 Peramalan skill model VARX dan Aditif VARX curah hujan (bawah normal) Bulan Mei Jun Jul Salam Darma 0 0 0
Model
Jan
Peb
Mar
Apr
Model VARX Model AVARX
0.5
0.4
0.72
0.5
0.46
0.56
0.63
0.44
0
0.52
0.48
0.76
0.5
0.5
0.56
0.36
0.6
0.63
0.5
Model VAR Model AVARX
Agt
Sep
Okt
Nov
Des
0
0
0
0.64
0.58
0.64
0
0.74
0.64
0.64
0.68
Gantar 0.56
0.5
0.5
0.5
0.56
0.72
0.52
0.58
0.64
0.6
0.79
0.66
0
0
0
Selanjutnya, agar diperoleh model yang optimal, diperlukan perbaikkan model setiap kali terdapat data baru. Pada Gambar 29 ditunjukkan perbandingan data observasi curah hujan dan pendugaannya untuk stasiun Gantar pada 6 bulan ke depan dengan perbaikkan model setiap bulannya. Hasil pendugaan 1 bulan ke depan menunjukkan bias yang kecil.
Curah Hujan (mm)
70
300 250 200 150 100 50 0
Observasi Dugaan
1
2
3
4
5
6
Bulan
Gambar 29 Perbandingan data observasi dan pendugaan curah hujan di Stasiun Gantar
Simpulan Hasil penelitian menunjukkan bahwa model memiliki nilai skill hanya pada bulan-bulan tertentu. Kedua model, model VARX maupun model aditifVARX pada stasiun Salam Darma dan Gantar memiliki nilai skill pada bulan Januari-April, November, Desember untuk atas normal. Hal ini berarti, model handal untuk musim hujan atas normal.
