Metode Evaluasi Program Pemberdayaan1 (Evaluation Methods on Empowerment Programs)
Oleh Ivanovich Agusta2
Abstract Based on reflexive evaluation’s problems, purposes, paradigm, theory and methods, qualitative evaluation on programs is able to understand development as empowering people. The evaluation opens all of stakeholders’view on the program, so that the meaning of the program may be viewed widely. There is theoretical bias that people empowerment is meant good, even the best, condition. Government program is understood as a good factor to create participation towards people empowerment. Meanwhile, quantitative method have biases on compiling data, because, firstly, sampling error, as sample gave uncomplete information. Secondly, non-sampling error: no response from respondents, because the study problem is not interesting or is difficult to be understood. Thirdly, selection bias, as an institution changed sample element subjectively. Besides, if the quantitative data is minimum, the best way is using all of the data. Keywords: theory-driven evaluation, flexible method
Abstrak Dengan landasan reflektif terhadap permasalahan, tujuan, paradigma, teori, dan metode, evaluasi kualitatif terhadap program memiliki keunggulan untuk mampu memahami pembangunan sebagai upaya pemberdayaan masyarakat. Evaluasi semacam ini mengetengahkan pandangan seluruh pihak yang terkait dengan program, sehingga makna program bisa dijangkau secara sangat luas. Terdapat bias teoritis berupa pandangan bahwa pemberdayaan masyarakat dianggap sebagai keadaan yang baik, bahkan yang terbaik. Program pemerintah dipandang sebagai faktor yang memperlancar strategi pengembangan partisipasi menuju pemberdayaan masyarakat. Sedangkan bias metode kuantitatif pada tahap pengumpulan data muncul karena, pertama, sampling error, yaitu kesalahan pendugaan yang ditimbulkan karena contoh tidak memberikan informasi yang lengkap. Kedua, non-sampling error, yang berujud tidak adanya respon yang timbul karena masalah yang diteliti tidak menarik atau tidak dimengerti. Ketiga, selection bias (bias pemilihan sampel), terjadi karena orang atau lembaga yang melakukan survei mengubah elemen contoh berdasarkan kemauan sendiri (subjektif). Masalah lainnya ialah terdapat data-data yang tidak kembali dan terdapat data-data yang tidak dapat diterima (aneh) atau tidak logis. Strategi untuk menanggulangi kekurangan data kuantitatif ialah menggunakan semua data yang diperoleh. Kata kunci: evaluasi yang diarahkan teori, metode yang fleksibel
1
Artikel ini merupakan perbaikan makalah yang disampaikan pada Konggres dan Seminar Nasional IV Ikatan Sosiologi Indonesia Tahun 2002 di Bogor, Jawa Barat, 28-29 Agustus 2002. 2 Sosiolog pedesaan IPB Bogor.
1. PENDAHULUAN 1.1. Latar Belakang Di Indonesia –minimal sejak Orde Baru 1969—konsep pembangunan paling baik dimaknai sebagai implementasi program/proyek (Agusta, 2002b). Di pedesaan, pembangunan pertanian dan prasarana fisik didominasi oleh proyek-proyek bantuan pemerintah pusat maupun donor asing. Tujuan program/proyek, secara implisit maupun eksplisit, ialah menanggulangi (mengurangi) kemiskinan. Secara umum terdapat pola kebijakan penanggulangan kemiskinan. Pertama, program/proyek yang bersifat ad hoc atau crashed-program, yang biasanya disertai perencanaan yang minimal, untuk penanggulangan masalah khusus jangka pendek, dengan implikasi pada dominasi aparat pemerintah maupun elite lokal. Contohnya program-program dalam Jaring Pengaman Sosial. Sayangnya jarang terlihat keberhasilan program/proyek semacam ini dalam menanggulangi kemiskinan (Bappenas, 2001; Mubyarto, 2000; Candrakirana, 1999; Suryahadi, Suharso, Sumarto, 1999). Kedua, program/proyek yang mengandung rencana jangka menengah atau panjang, yang memberi ruang bagi partisipasi pemanfaat untuk memelihara hasil proyek, bahkan meningkatkannya. Dalam program semacam ini disediakan blok dana untuk masyarakat, namun mereka memiliki ruang gerak untuk menentukan sendiri pemanfaatannya. Dalam proses implementasinya pun terdapat kesempatan debat publik di antara warga desa, bahkan mencakup lapisan miskin maupun perempuan. Pelekatan program/proyek dengan kondisi masyarakat memungkinkan penduduk miskin dan perempuan untuk memaksimalkan manfaat yang bisa mereka peroleh. Program/proyek semacam ini, dengan kata lain,
turut menggerakkan pemberdayaan masyarakat,
sehingga dalam artikel ini disebut sebagai program pemberdayaan (Chambers, 1988; Rahnema, 1992; Sajogyo, et.al., 1999; Saragih, ed., 1996). Sejalan dengan penguatan paradigma penanggulangan kemiskinan di kalangan donor internasional, sejak tahun 1990-an program-program pemberdayaan telah menjadi penggerak utama masyarakat desa (Agusta, 2002a). Sebagai contoh, Program Inpres Desa Tertinggal/IDT telah dikenalkan ke dalam sekitar 20.000 desa atau sekitar 30 persen dari keseluruhan 68.000 desa di Indonesia (Bappenas, 1995; Mubyarto, 1997; Sajogyo, 1997; Sarman, 1997; Soeradji and Mubyarto, eds., 1998; Sumodiningrat, 1996; Supriatna, 1997). Masyarakat desa berhak menentukan sendiri pemanfaatan 2
bantuan dana Rp 20 – 60 juta per desa, terutama untuk aktivitas-aktivitas peningkatan pendapatan dan padat karya. Program program pemberdayaan lainnya mencakup Program Pengembangan Wilayah (PPW), Pembangunan Kawasan Terpadu (PKT), Program Pengembangan Kecamatan (PPK), Kampong Improvement Project (KIP), Program Peningkatan Pendapatan Petani/Nelayan Kecil (P4K), Program Pengembangan Hubungan Bank dan Kelompok Swadaya Masyarakat (PHBK), Progam Pembangunan Prasarana Pendukung Desa Tertinggal (P3DT). Pembedaan program pemberdayaan dari program-program yang bersifat topdown maupun crash program –sekalipun untuk menanggulangi kemiskinan— berimplikasi kepada kebutuhan metodologi evaluasi yang khas, yang berbeda dari metodologi untuk kedua sifat program sebelumnya (Greene, 1994). Hampir seluruh evaluasi terhadap kebijakan dan program/proyek yang bersifat top-down dan ad hoc itu beperspektif
sentralistis,
hanya
mengkaji
hambatan
terhadap
kebijakan
dan
program/proyek, serta memandangnya dari sudut pemerintah (Soedjatmoko, 1984). Sebagian besar pelaporan dalam kedua jenis program terakhir ini juga tidak dilakukan oleh pemanfaat yang benar-benar merasakan hasil program, sehingga tidak diketahui partisipasi mereka dalam berefleksi atau mengevaluasi diri. Hal ini tidak cocok untuk diterapkan dalam program-program pemberdayaan. Sebaliknya, evaluasi yang khas terhadap program pemberdayaan diperlukan agar proses pembangunan dapat difokuskan dengan lebih pasti menjadi pengembangan diri (Sajogyo, 1996), yang ditandai oleh gerakan masyarakat dalam rangka memberdayakan diri. Untuk mengetahui kemajuan pelaksanaan kegiatan terhadap tujuan program ini (efektivitas), serta untuk
memahami kedalaman permasalahan dalam proses
perencanaan, pelaksanaan dan pemanfaatan kegiatan (efisiensi), maka dibutuhkan evaluasi program secara sistematis terhadap aturan normatif dan hasil (outcomes) riil. Evaluasi yang sistematis menghasilkan pengetahuan yang lebih mendalam daripada monitoring, pelaporan, maupun lokakarya tentang hasil program. Evaluasi yang bersifat insidentil ini diperlukan, mengingat sistem informasi yang biasa digunakan secara rutin sebagaimana tercakup dalam registrasi, monitoring dan pelaporan program bukanlah suatu hal yang ideal secara empiris. Sistem informasi program tersebut digunakan dengan alasan berbiaya rendah (Verhagen, 1996). Pelaporan rutin memiliki kendala karena berpeluang besar dalam menghasilkan ketidakakuratan pengisian formulir, sebagai akibat dari rendahnya mutu manusia yang mengisinya. Evaluasi juga terhambat oleh kelalaian mengevaluasi kerja aparat 3
pemerintah dan lembaga donor sendiri, kesulitan mendialogkan hasil evaluasi kepada pemerintah, dan evaluator dipandang sebagai bagian dari pemerintah (Wahab, 1990). Kesulitan lainnya ialah kekurangan data dasar untuk dievaluasi, kelemahan metodologi evaluasi, mendasarkan data terbatas pada aturan main formal, serta menggunakan bantuan analisis cost and benefit secara terbatas. 1.2. Perumusan Masalah Metodologi yang digunakan dalam praktek evaluasi program/proyek tidak persis sama dengan metodologi akademis murni. Dalam metodologi akademis, secara ketat peneliti sengaja mencari data yang dibutuhkan oleh metodologinya untuk mengambil suatu kesimpulan. Sementara dalam metode evaluasi program/proyek, peneliti memaksimalkan penggunaan informasi yang ada untuk merumuskan alternatif-alternatif kebijakan. Peneliti tidak lebih dahulu memilih metodologi lalu mencari data secara tertentu sebagai implikasi dari metodologinya (“penelitian berbasis metodologi”), melainkan mula-mula melihat informasi yang tersedia kemudian menentukan metodologi yang paling sesuai (“penelitian berbasis data”). Metodologi yang dianutnya tidak dipegangnya secara ketat, melainkan lebih fleksibel. Hal ini didasarkan pengalaman selama ini bahwa data-data yang diperlukan untuk melakukan evaluasi kebijakan atau program/proyek lazimnya tidak selengkap sebagaimana untuk melakukan penelitian akademis. Contohnya Program Pengembangan Kecamatan (PPK) sampai tahun 2000 telah dilakukan di 727 kecamatan. Akan tetapi seluruh data registrasi yang diperoleh hanya mencakup 522 (71,8%) kecamatan (Agusta, et.al., 2000). Lebih sedikit lagi data yang memuat keseluruhan indikator yang digunakan dalam analisis, yaitu hanya pada 187 kecamatan (25,72% dari keseluruhan kecamatan PPK), sehingga analisis hanya dapat dilakukan kepada kecamatan-kecamatan tersebut. Hanya saja, dari 187 kecamatan tersebut ternyata terdapat banyak sekali missing data (data hilang) sehingga pada akhirnya analisis hanya mungkin dilakukan pada 138 kecamatan. Ilustrasi data sebagai pembatas utama di atas juga menunjukkan bahwa, dengan data sebagai pembatas maka bisa disusun pertanyaan dan rekomendasi yang lebih sesuai dengan fenomena yang hendak dipahami (Geertz, 2000). Evaluasi semacam ini sekaligus menjangkau evaluasi terhadap penyediaan data hingga kesimpulan atas data tersebut. Oleh sebab itu pertanyaan yang diajukan dalam metodologi evaluasi program pemberdayaan ialah, bagaimana memperoleh pelajaran untuk menempatkan program ke 4
dalam dinamika masyarakat serta hidup dari kekuatan masyarakat sendiri, yang dikenal sebagai gerakan sosial dan pemberdayaan masyarakat (Soedjatmoko, 1984). Bagaimana pula pola proses sosial dan hasil (outcome) program, kelebihan dan kelemahan program tersebut, sehingga bisa digunakan untuk memberi landasan dan alternatif pemecahan masalah bagi tindakan selanjutnya oleh para pengambil kebijakan (termasuk penduduk miskin dan perempuan yang berpartisipasi dalam pengambilan keputusan tentang kegiatan program/proyek). 2. EVALUASI YANG DIARAHKAN TEORI Untuk
merekam
dan
mengambil
pelajaran
dari
dinamika
program
pemberdayaan, dibutuhkan evaluasi program yang diarahkan oleh teori atau kerangka pemikiran (Chen, 1990). Pola evaluasi ini memiliki landasan konseptual yang kuat untuk melakukan inferensi dari berbagai kasus, sehingga dapat dipercaya ketika hendak digunakan untuk pengembangan program di wilayah lain atau wilayah yang lebih luas, dalam waktu yang sama atau berkelanjutan. Dengan kata lain, evaluasi yang diarahkan teori memungkinkan penggunaan hasil evaluasi untuk perbaikan program/proyek maupun perencanaan yang lebih tepat. 2.1. Paradigmatik sekaligus Kontekstual Pembahasan teori ilmu sosial dalam kaitannya dengan upaya membangun aturan normatif (policy) telah dicoba sejak lama. Dalam upaya seperti ini pemakaian teori sosial bersifat cair (“tidak kaku”), sesuai dengan kompleksitas faktor-faktor keberhasilan atau kegagalan pembangunan (Lloyd, ed, 1986). Menurut hemat saya hanya pada tataran paradigma atau aliran filsafat ilmu maka bisa ditarik benang merah dari aneka teori yang digunakan dalam analisis semacam ini. Teori-teori tentang pembangunan dapat dibedakan atas paradigma modernisasi dan paradigma ketergantungan (Elguea, 1985). Dalam ilustrasi yang paling kasar, paradigma modernisasi memandang faktor-faktor penentu keberhasilan berasal dari struktur sosial dan budaya orang luar yang lebih modernis, sedangkan faktor penghasil masalah berasal dari dalam pemanfaat program sendiri. Sebaliknya, paradigma ketergantungan memandang masalah muncul dari pihak luar yang berhubungan dengan pemanfaat, sementara pemecahannya ada dalam masyarakat itu sendiri. Sekalipun memiliki polaritas tersebut, kenyataannya kedua paradigma bisa menghasilkan teori dan praksis untuk menanggulangi kemiskinan. Syaratnya –menurut saya—ialah tetap memegang nuansa Marxian dalam arti membela lapisan miskin (Agusta, 20021). Oleh
5
sebab itu banyak program pemberdayaan yang mengoperasionalkan pemikiran Amartya Kumar Sen (kanan tengah) atau Anthony Giddens (kiri tengah).3 Selain memegang posisi-atas paradigmatik, peneliti program pemberdayaan sekaligus
perlu
memegang
posisi-dasar
konteks
di
mana
program
itu
diimplementasikan.4 Konteks menunjukkan semacam panggung tempat seluruh pihak (stake holders) yang terkait dengan program tersebut menunjukkan kinerjanya. Dari konteks diketahui faktor-faktor lokal namun telah spesifik, yang memiliki hubungan dengan efektivitas dan efisiensi program. Berbeda dari cara kerja ilmu-ilmu alam, kekuatan teoritis atau peramalan ilmu-ilmu sosial yang dipraktekkan untuk evaluasi program dibatasi oleh konteks masyarakat tempat pemikiran tersebut diletakkan (Agusta, et.al., 2000). Pemahaman terhadap konteks sekaligus membuka pengetahuan mengenai kelebihan dan kelemahan analisis, sementara kesalahpahaman mengenai konteks dapat menimbulkan kesalahan analisis dalam ilmu sosial. Contohnya, untuk menuju gerakan pemberdayaan masyarakat, komponen di dalam Program Pengembangan Kecamatan (PPK) dikelola sesuai potensi dan hambatan lokal. Komponen program mencakup dana (potensi material), pendampingan (potensi struktur sosial), dan aturan main (potensi suprastruktur) (Agusta, 1999). Ketiga komponen itulah yang berinteraksi dengan konteks-konteks lokal untuk mewujudkan kinerja PPK. Untuk mengimplementasikan penggunaan dana, potensi material ini berdialog (saling mempengaruhi) dengan situasi infrastruktur masyarakat lokal dalam hal modal dan kegiatan ekonomi. Sedangkan kinerja pendampingan terkait dengan ikatan-ikatan kekerabatan dan ketetanggaan yang telah lama mewujudkan pola-pola interaksi sosial. Sementara aturan main program akan direspons oleh ajaran agama, adat, aturan otonomi daerah, maupun saat ini lazim juga ide reformasi tentang kebebasan rakyat. 2.2. Konsep Pemberdayaan Guna menerangkan keadaan di Indonesia, pemberdayaan (empowerment) paling tepat dimaknai sebagai partisipasi yang setara antara pihak-pihak pemerintah, swasta, dan masyarakat (Agusta, 2002b). Ketiga pihak yang tercakup dalam konsep 3
Lihat contohnya dalam pembuatan Kebijakan Strategis Pemberdayaan Masyarakat oleh Bappenas. Kedua teori ini juga didiskusikan dalam setiap pembuatan konsep kebijakan pemberdayaan masyarakat desa di sana. 4 Metode pemberdayaan yang umum digunakan di Indonesia antara lain mengacu kepada metode yang dikembangkan oleh Paulo Freire (1973), yaitu melakukan aksi dan refleksi secara berkesinambungan. Dalam artikel ini aksi merupakan mengejawantahkan sisi kontekstual, sedangkan refleksi mengejawantahkan sisi paradigmatik.
6
pemberdayaan di atas sama dengan unsur-unsur pendukung konsep civil society, sehingga menimbulkan kesan bahwa kedua konsep ini disetarakan. Kesetaraan konsepkonsep
tersebut
semakin
menyolok
ketika
dihubungkan
dengan
demokrasi.
Eklektisisme ini dilakukan karena didasarkan pada pandangan bahwa ketiga konsep tersebut sama-sama bernilai positif. Memang fokus pemberdayaan dalam proses pembangunan –setidaknya dalam dokumen-dokumen proyek—tertuju pada transformasi alokasi sumberdaya ekonomi atau secara khusus distribusi manfaat program/proyek, sehingga mampu meningkatkan produksi, pendapatan, dan kesejahteraan penduduk miskin dan perempuan (Agusta, 2000; Suryochondro, 1995). Contohnya dalam konsiderans akademik Program Pemberdayaan Masyarakat Pesisir dan konsiderans akademik Program Pembangunan Prasarana Pendukung Desa Tertinggal. 5 Program pemberdayaan memunculkan kebutuhan partisipasi lapisan bawah, untuk kemudian mewujudkan pemberdayaan di semua lapisan. Program pemerintah dianggap sebagai bantuan-antara, untuk diolah menjadi gerakan masyarakat yang berdaya (Agusta, 1999). Partisipasi menjadi usaha-antara, untuk mewujudkan dialog yang setara di antara lapisan masyarakat, serta transparansi program. Partisipasi tersebut menunjukkan kekuasaan bisa dikontrol di antara lapisan masyarakat. Program pemberdayaan, dengan demikian, secara prinsip berkebalikan dari program-program yang bersifat top-down. Program-program top-down dijalankan di atas asumsi bahwa pemerintah selalu memberi bantuan yang sifatnya positif, tetapi posisi pemberi bantuan tersebut terlalu kuat dan tidak bisa dikontrol (Agusta, 1999; Bryant and White, 1982; Darmawati, 2001). Dalam implementasinya, program topdown menjadikan stratifikasi sosial lebih ketat, sehingga sulit untuk diciptakan dialog di antara strata sosial yang berbeda, serta sulit untuk membangun mobilitas sosial dari lapisan miskin serta perempuan. Kritik bisa dialamatkan pada upaya menggabungkan konsep pemberdayaan, civil society dan demokrasi memiliki potensi penumbuhan individualitas (sisi positif) atau individualisme (sisi negatif). Ciri yang mengedepankan pemanfaat sebagai individu (bukan kelompok atau masyarakat bersama) ini antara lain konsisten dengan asal konsep pemberdayaan. Di Indonesia pun secara faktual, dalam rejim yang relatif otoriter, program-program pemberdayaan dikonstruksi pada tataran (unit analisis,
5
Secara konseptualpun saya mendapatkan keterkaitan antara civil society, demokrasi dan pemberdayaan, sebagaimana contohnya dieksplorasi oleh Howell dan Pearce (2001), Fine dan Rai, eds. (1997), dan Friedmann (1992).
7
sasaran) individual penduduk miskin maupun perempuan, agar memungkinkan suatu pemberdayaan tanpa mengubah struktur politik umumnya. Hal ini menumbuhkan potensi sifat individual (bukan solider) justru ketika (nantinya) muncul masyarakat yang berdaya atau civil society. Berangkat dari kritik tersebut, menjadi penting ide penyatuan lapisan miskin dan perempuan dalam suatu kelompok masyarakat (pokmas) (Sajogyo, 1997). Menurut saya, kelompok tersebut tidak sekedar berguna untuk menyatukan potensi ekonomi anggotanya (memenuhi economic of scale) atau mengontrol tingkah laku anggotanya, melainkan dalam jangka panjang juga memupuk dan mempertahankan solidaritas sosial sebagai perekat (jaringan) antar anggota masyarakat. 3. METODE YANG FLEKSIBEL Sebagai penelitian yang berbasis pada ketersediaan informasi/data, evaluasi program pemberdayaan membutuhkan metode penelitian yang bisa secara fleksibel digunakan selama proses evaluasi berlangsung. Metode kualitatif jelas cocok digunakan, karena memang memiliki asas fleksibilitas metodis ini. Persoalannya mungkin muncul dalam penggunaan metode kuantitatif, karena lebih bersifat deduktif, termasuk dalam kebiasaan penentuan terlebih dahulu teknik-teknik evaluasi, lalu datalah yang mengikuti atau dicari berdasarkan teknik-teknik tersebut. Oleh sebab itu, ketika metode kuantitatif digunakan, ia pun diberlakukan secara fleksibel. Misalnya fleksibel dalam upaya menemukan rumus statistika yang paling cocok berdasarkan data yang tersedia, begitu pula simulasi-simulasi untuk mencari indikator yang cocok sesuai data dan rumus yang terpilih (Agusta, et.al., 2000). 3.1. Fokus Evaluasi Fokus penelitian dapat mencakup keseluruhan dimensi program pemberdayaan: evaluasi aturan main yang normatif, dan evaluasi hasil (outcome) proyek yang riil. Komparasi kedua dimensi program bisa menjawab sejauh mana konsistensi logis aturan main program pemberdayaan dalam mewujudkan partisipasi menuju pemberdayaan masyarakat. Evaluasi terhadap wacana normatif penting untuk menggali paradigma, memperoleh logika atau kerangka konseptual, dan dimensi etis dari suatu program pemberdayaan. Di dalam evaluasi normatif dapat ditanyakan konsistensi logis antara tujuan dan latar belakang program, sasaran/pemanfaat, lokasi, pendekatan dan prinsip pengelolaan
(kebijaksanaan),
organisasi
pelaksanaan,
mekanisme
perencanaan,
pelaksanaan, kegiatan pasca pelaksanaan, pengendalian, pembinaan, pengorganisasian, 8
pemantauan, pelaporan, evaluasi, penyebaran informasi, pengawasan, sumber dana, alokasi dana, penyaluran dana. Secara lebih rinci, evaluasi terhadap aturan main mencakup isi dan bahasa pedoman umum, petunjuk pelaksanaan, manual teknis, serta aturan tambahan maupun konvensi tidak tertulis yang tumbuh di tingkat provinsi, kabupaten, kecamatan, dan desa. Evaluasi terhadap hasil (outcomes) program berguna untuk memperlihatkan sampai mana fakta empirik sesuai dengan kaidah normatif dalam rangka mendorong partisipasi menuju pemberdayaan masyarakat. Di sini tercakup pertanyaan sejauh mana pelaksanaan program pemberdayaan efektif dan efisien untuk mewujudkan partisipasi yang mengarah kepada pemberdayaan masyarakat, pemerintah dan swasta. Juga diperoleh informasi faktor-faktor pendorong dan penghambat keberhasilan/kegagalan program, serta sampaimana hubungan antara faktor-faktor tersebut dan kinerja pihakpihak yang terkait dengan program mendorong ke arah perwujudan tujuan program, yaitu partisipasi menuju pemberdayaan masyarakat. Evaluasi terhadap masyarakat pemanfaat dapat mencakup keluarga pemanfaat, kelompok, dan pertemuan desa tempat pemanfaat berpartisipasi. Evaluasi terhadap unsur pemerintah dan lembaga bentukan pemerintah mencakup tataran pusat sampai desa. Hal yang sama juag diberlakukan oleh unsur pendamping. Evaluasi terhadap proses sosial mencakup proses desentralisasi, partisipasi masyarakat, transparansi, swadaya, dan kompetisi yang sehat. Evaluasi terhadap proses sosial ini dikaitkan dengan hasil kegiatan, bisa mencakup kinerja usaha keluarga pemanfaat, kinerja usaha kelompok pemanfaat, proyek prasarana fisik, serta penurunan penduduk miskin. Evaluasi
mengenai
tahap
perencanaan
kegiatan
bisa
mencakup
diseminasi/sosialisasi, mulai dari tingkat desa sampai nasional. Evaluasi tahap pelaksanaan mencakup seluruh kegiatan pada tahap ini, misalnya pertemuan desa, pendaftaran pekerja untuk proyek prasarana fisik, penyusunan rencana kerja, penyiapan administrasi, pengajuan dana, pelaksanaan pekerjaan, pemberian insentif untuk proyek prasarana fisik dan penyerahan hasil kegiatan. Sedangkan evaluasi pada tahap pengontrolan bisa meliputi kegiatan pemantauan, pengawasan, dan sanksi terhadap mutu serta kemajuan kegiatan, pelaporan jalur struktural maupun fungsional, dan pelaporan kemajuan keuangan.
9
Evaluasi konseptual maupun praktis ini membuka peluang perbaikan perencanaan dan peramalan program. Perbaikan terhadap aturan main bermakna sebagai perbaikan struktur program yang diharapkan memperbaiki struktur normatif dan sistem nilai masyarakat ke arah pemberdayaan. Sedangkan perbaikan terhadap praktek program bermakna sebagai perbaikan organisasi program, untuk menunjukkan jalan atau lembaga yang lebih kongkrit dalam mencapai struktur di atas. Tanpa perbaikan struktur program, maka tahapan pelaksanaan program beresiko menuju tindakan ritualistik –sekedar dikerjakan-- tetapi tidak membawa kepada makna pemberdayaan yang hakiki. Sementara tanpa perbaikan organisasi pelaksanaan, program akan jatuh pada pengasingan tindakan dari sifat-sifat pemberdayaan. 3.2. Metode Kualitatif Program-program
pemberdayaan
menekankan
pentingnya
pembangunan
berdasarkan konteks lokasi masing-masing. Metode yang digunakan, dengan demikian, perlu peka konteks lokasi maupun proses-proses sosial. Hal ini sejalan dengan prinsip analisis kualitatif berparadigma interpretivisme, yang membutuhkan konteks untuk menggambarkan secara mendalam (thick description) perbuatan pihak yang dievaluasi dalam kegiatan program pemberdayaan (Geertz, 1992, 1983; Patton, 1982; Shaw, 1999). Posisi ontologis yang diambil di sini ialah, tidak ada ilmu yang bersifat universal (Little, 1991). Partikularitas ilmu terjadi di antara kondisi sosio-kultural yang berbeda. Entitas kultural diyakini bersifat otonom, tidak terlalu berkaitan dengan sistem politik maupun ekonomi. Kondisi kultural perlu diselidiki terlebih dahulu sebelum menyelidiki kondisi politik dan ekonomi. Sosialisasi dalam setiap masyarakatlah yang menjadikan mereka berkreasi secara mandiri menghadapi kehidupannya. Dengan demikian tindakan sosial tidaklah netral, melainkan hasil tindakan warga masyarakat dalam memberi arti lingkungannya. Ketika digunakan dalam penelitian akademis, interpretivisme mengandung kritik di dalamnya (Schwandt, 1994), di antaranya kesulitan menentukan kesimpulan hasil intersubyektivitas antara responden/informan dan peneliti, kriteria tindakan yang benarbenar berarti bagi responden, dan fokus penelitian. Dalam evaluasi program pemberdayaan, kritik ini ditanggulangi melalui upaya diskusi antara peneliti dan sasaran program maupun pihak lain yang terkait. Kritikan selanjutnya dialamatkan pada kelemahan tinjauan kritis terhadap data, atau kecenderungan deskriptivisme. Kritikan ini dijawab dengan penggunaan 10
paradigma, asumsi dan teori untuk memusatkan analisis data. Untuk menunjang analisis berdasarkan teori ini, digunakan matriks yang menghubungkan elemen norma program, konteks lokal, dan kinerja program pemberdayaan. Kritikan lainnya mempertanyakan otoritas pemberi interpretasi. Untuk menjawab kritikan ini, maka diciptakan posisi dan hak yang setara antara peneliti dan pemanfaat program, dalam rangka menginterpretasi dan merumuskan rekomendasi perubahan lingkungan lokal. Kritikan terakhir dialamatkan kepada kesulitan pemakaian data individu untuk menjelaskan keadaan masyarakat yang lebih luas. Kritikan ini juga dijawab dengan pemakaian suatu set (tidak hanya satu) teknik pengambilan data, serta penyajian hasil kesimpulan peneliti di hadapan pihak pemanfaat yang dievaluasi. 3.2.1. Strategi Partisipatif Inti keberdayaan di kalangan masyarakat seringkali masih terpendam. Dalam keadaan demikian, program pemberdayaan masyarakat berperan sebagai pemicu dan pelancar proses pemberdayaan tersebut (Sajogyo, et. al., 1999), bukannya sebagai pemaksa.
Program
pemberdayaan
juga
mengupayakan
terwujudnya
gerakan
kemandirian dan keberdayaan masyarakat. Di sinilah dibutuhkan metode yang peka stratifikasi dan peka transformasi, yaitu strategi-strategi partisipatif, contohnya PRA (Participatory Rural Appraisal), PLA (Participatory Learning and Action), kajian bersama (Co-operative Inquiry) (Chambers, 1996; Heron, 1996; Shaw, 1999). Kajian utama terhadap fenomena pemberdayaan (empowerment) ini terletak pada alokasi atau pemilikan kekuasaan (power) dalam arti seluas-luasnya. Dalam metode ini seluruh lapisan masyarakat berdialog bersama-sama, difasilitasi oleh peneliti. Evaluasi dilakukan dengan menjaga agar proses kegiatan dalam program pemberdayaan berada pada jalur yang tepat, yaitu melalui partisipasi akan menuju kepada pemberdayaan masyarakat desa. Oleh sebab itu peneliti juga berminat menumbuhkan partisipasi lapisan terbawah, mengontrol intervensi lapisan lebih tinggi yang bersifat negatif, sehingga sedikit atau banyak akan menyumbang kepada pemberdayaan masyarakat. Strategi ini memiliki ciri utama komunikasi dua arah, yaitu antara peneliti, subyek penelitian atau reponden, dan informan. Peneliti percaya bahwa pihak lainnya juga memiliki pengetahuan sesuai dengan masalah mereka. Peneliti, subyek penelitian dan informan belajar dari contoh-contoh kejadian sebelumnya, mengkonstruksi masalah sosial dalam kasus yang telah sama-sama dikenal. 11
Teknik-teknik PRA yang dilakukan di lapangan ialah transek desa pada awal kedatangan di lokasi. Hal ini dilakukan untuk memperoleh gambaran konteks fisik dan maknanya bagi tindakan penduduk lokal. Selanjutnya bisa dilakukan teknik kalender musim, analisis kelembagaan, dan teknik-teknik lainnya. Pada akhir penelitian lapangan dilakukan lokakarya terbatas di antara pemanfaat program, tokoh masyarakat, peneliti, dan pihak lain yang berwewenang dalam program atau berminat terhadap pemberdayaan masyarakat. Lokakarya ini berguna untuk menguji interpretasi peneliti terhadap keadaan lokal. Pada lokakarya tersebut peneliti juga memperoleh informasi baru mengenai tafsir penduduk lokal terhadap aturan normatif maupun dampak program. 3.2.2. Strategi Studi Kasus Strategi studi kasus digunakan karena mampu menggali pengalaman yang sudah terjadi, kemudian menarik tafsir yang bermakna pada tindakan-tindakan berbagai pihak dalam program pemberdayaan. Analisis juga bisa dilakukan terhadap data-data perkembangan wilayah dalam waktu yang berbeda, bersamaan dengan perencanaan maupun implementasi program. Studi kasus juga andal dalam merumuskan suatu peramalan perjalanan masyarakat pemanfaat.6 Pada kenyataannya ramalan studi wilayah kasus tahun-tahun sebelumnya ternyata teruji diterima dalam kedatangan (re-studi) pada tahun-tahun berikutnya (Agusta, et.al., 2000). Strategi dalam metode kualitatif yang dipakai ialah studi kasus instrumental, baik yang diperoleh di lapangan maupun melalui literatur. Dalam strategi ini generalisasi diperoleh sejauh muncul dalam kasus-kasus itu sendiri (Stake, 1995). Perbandingan antar kasus dilakukan untuk menemukan tipe-tipe konteks masyarakat, yang dari sana diperoleh kaitannya dengan pola pelaksanaan program pemberdayaan. Evaluasi terhadap kaitan antara kinerja pelaksanaan program pemberdayaan dan konteks (tipe) lokasi setempat berguna untuk memberi pengertian mendalam mengenai mengapa suatu pola pemikiran, sikap dan tindakan dilakukan oleh pihak-pihak terkait di atas. Konteks lokasi mencakup konteks fisik, ekonomi, dan demografi, konteks struktur 6
Menurut saya temuan-temuan hasil re-studi kepada masyarakat yang memperoleh program pemberdayaan tersebut telah memadai untuk mempertanyakan pandangan bahwa metode kualitatif bersifat menerangkan fenomena tetapi bukan meramalkannya (after the fact, bdk. Geert, 1995). Tentu masih bisa diperdebatkan bahwa re-studi saya berlangsung di wilayah yang terencana dalam suatu program pembangunan, yang berbeda dari perubahan masyarakat secara alamiah (tanpa pengaruh program pembangunan). Namun perlu diingat pula bahwa program pemberdayaan memberi ruang bagi pemanfaat untuk berkreasi, tidak sepenuhnya direkayasa pemerintah.
12
sosial, konteks nilai, dan konteks program. Evaluasi konteks fisik mencakup ekologi, geografi, jumlah dan kepadatan penduduk, PDRB atau pendapatan per kapita, mata pencaharian atau pola nafkah, pasar, lembaga permodalan, perumahan, fasilitas perhubungan, fasilitas komunikasi, fasilitas listrik, dan fasilitas kesehatan. Evaluasi konteks struktur sosial mencakup pelapisan sosial, struktur politik, lembaga lokal atau bentukan pemerintah atau swasta yang penting, hubungan kekerabatan, hubungan ketetanggaan atau tinggal dekat, pembagian kerja laki-laki dan perempuan, dan pendidikan. Evaluasi konteks nilai mencakup pandangan keagamaan, kepercayaan, atau mistik, pandangan kesusilaan atau kesopanan, hukum adat atau ideologi, dan perkembangan ide reformasi. Evaluasi konteks program pemerintah mencakup nama dan asal program, aturan main program, yaitu tujuan, sasaran, dan strategi mencapai tujuan, pengelolaan dana, pendampingan, dan pelaksanaan program secara umum. Data primer diperoleh dari aparat pemerintah nasional, provinsi, kabupaten, kecamatan dan desa, pendamping di tingkat provinsi, kabupaten, kecamatan dan desa, para tokoh masyarakat, pengurus dan anggota kelompok, dan pemanfaat bantuan lainnya. Pihak-pihak tersebut ditemukan melalui teknik bola salju, dengan cara mencari pihak-pihak yang terlibat dalam pelaksanaan kegiatan program pemberdayaan. Data primer digali dari teknik wawancara mendalam, diskusi kelompok terarah (focus group discussion), dan pengamatan berpartisipasi. Wawancara mendalam memiliki kelemahan, yaitu terdapat kesulitan untuk menggeneralisasi data berhubung subyek penelitian diwawancarai dengan isi dan konteks atau situasi yang berbeda-beda (Casley dan Kumar, 1988). Selain itu sulit untuk menggabungkan hasil wawancara mendalam dengan subyek penelitian yang sengaja dipilih, dan hasil analisis data kualitatif yang bersifat survai secara acak. Kesulitan lainnya ialah kemungkinan muncul bias oleh karakteristik subyek penelitian, misalnya berdasarkan tingkat pendidikan, pengalaman, atau kedudukan sosialnya. Diskusi kelompok terarah memiliki kelemahan berupa kesulitan untuk menguji banyak topik pembicaraan dalam wa ktu yang terbatas, banyak orang enggan membagi pandangannya yang sensitif di muka umum, dan kemungkinan seseorang mendominasi jalannya diskusi (Casley dan Kumar, 1988). Kelemahan lainnya di tangan peneliti, yaitu membatasi pandangan hanya pada hipotesis yang telah dirumuskan sebelum ke lapangan, menyederhanakan realitas dengan hanya mengambil bagian informasi yang koheren, serta lebih memperhatikan pandangan elite desa. Menurut pengalaman saya, kelemahan yang segera menyolok dalam diskusi kelompok terarah ialah mengerucutnya 13
pendapat menjadi hanya satu atau dua-yang-beroposisi. Hal ini mungkin bisa diatasi dengan teknik peran moderator yang lebih aktif. Kelemahan pengamatan berpartisipasi ialah, membutuhkan kepakaran dan pengalaman peneliti yang tinggi, membutuhkan banyak waktu, dan sulit digunakan pada masyarakat yang sangat heterogen untuk dicakup dalam waktu tertentu (Casley dan Kumar, 1988). Menurut saya kelemahan dalam teknik kualitatif di atas dapat diatasi melalui penggunaan teknik-teknik itu secara simultan. Kemudian hasilnya disimpulkan secara konvergen. Selain itu tim evaluasi melakukan triangulasi dengan cara berdiskusi dengan pihak yang dievaluasi. 3.2.3. Strategi Analisis Wacana Dalam kajian politik akhir-akhir ini, bahasa politik menempati posisi penting terhadap kehidupan kenegaraan. Suatu politik kebudayaan (bahasa) tersebut mempengaruhi jalannya pembangunan (Geertz, 1992a; Latif dan Ibrahim, eds., 1996; McGlynn dan Tuden, eds, 2000). Hal ini disebabkan bahasa merupakan jaringan makna terhadap realitas, sedangkan manusia hanya bertindak sejauh kemampuannya memaknai realitas. Sejajar dengan hal tersebut, suatu aturan normatif program pemberdayaan akan ditafsirkan oleh pemanfaatnya, dan tafsir tersebut mengarahkan pola tingkah laku pemanfaat aturan itu dalam kehidupan sehari-hari yang terkait dengan program. Oleh karena program-program pembangunan senantiasa ditulis dalam bentuk aturan pokok maupun yang lebih rinci, maka diperlukan metode yang peka dokumen. Analisis juga perlu dilakukan terhadap aturan yang tidak tertulis, yang biasanya muncul di tingkat kabupaten hingga desa. Kemampuan analisis ini bisa diperoleh dari metode analisis wacana (discourse analysis). Dalam analisis wacana dipelajari bagaimana orang memakai bahasa untuk saling berkomunikasi (Brown dan Yule, 1996). Dalam evaluasi kali ini bahasa terutama penting dalam berbagai aturan normatif yang membentuk struktur Program PPK. Evaluasi terhadap wacana semacam ini berujud analisis wacana (discourse analysis) yang berupa interpretasi dan kritik terhadap pandangan-pandangan yang menyusun wacana tersebut maupun interpretasi berbagai stake holder dalam mempraktekkan wacana tersebut. Dengan demikian evaluasi wacana normatif ini didasarkan kepada logika program yang abstrak serta praktek-praktek proyek dalam mengkongkritkannya. Analisis juga dilakukan terhadap susunan kalimat dalam aturan normatif tersebut. 14
3.3. Metode Kuantitatif Metode kuantitatif digunakan untuk menunjang argumen hasil analisis metode kualitatif. Data kuantitatif dilihat sebagai hasil interpretasi pihak-pihak yang terkait dengan program–bukan realitas sosial itu sendiri (Dove, 1982). Dengan pandangan ini, menurut saya, jarak antara paradigma kualitatif dan kuantitatif didekatkan. Pola seleksi indikator didasarkan pada (McGranahan, Pizarro dan Richard, 1985): ketersediaan data, validitas konseptual dari data tersebut, definisi operasional yang terkait dengan data tersebut, tingkat asosiasi dan korelasi antar data. Contohnya indikator pemberdayaan masyarakat dapat mencakup dimensi otonomi, kebebasan berkreasi dan mengekspresikan aspirasi serta kebutuhan, transparansi dan rasionalitas dalam proses pengambilan keputusan yang demokratis (Bappenas, 2000). Indikator lainnya ialah masyarakat telah secara mandiri memengelola sumberdaya yang dimilikinya
sesuai
aturan
yang
ditetapkan.
Sedangkan
indikator
pelestarian
(sustainability) program mencakup keterbukaan dan akuntabilitas dalam pemanfaatan, pemeliharaan dan pengembangan hasil program (sarana, prasarana, pengguliran dana, dsb), secara transparan dan dapat dipertanggungjawabkan di forum publik. Sumber data statistik bisa berbeda menurut siapa yang mengambil data, kemudian tata cara pengambilan data, mencek umur data, dan tidak mencampuradukkan antara signifikansi statistik dan signifikansi politik (Vaughan dan Buss, 1998). Data dapat bersumber dari statistik petugas program (termasuk pendamping), hasil penelitian lainnya, serta pengambilan data sendiri dalam suatu evaluasi. Sayangnya, lebih lazim mengalami kesulitan perolehan data dari sumber program, sekalipun suatu program pemberdayaan didukung oleh konsultan-konsultan. Barangkali masih terlalu sulit menyebarkan formulir program ke wilayah pedesaan yang terpelosok. Jumlah data yang sangat sedikit dengan kedalaman data yang rendah menunjukkan kekurangan konsultan dan pemerintah dalam melaksanakan peran pengumpulan data primer. Muncul pula peluang kesalahan penyimpulan data sebagai akibat data tidak lengkap, dan data yang ada tidak diperoleh secara acak. Kekurangan data juga mengakibatkan kemunculan sampel-sampel pencilan yang sulit diterangkan bersama-sama sampel lainnya, sehingga menghilangkan peluang penggunaan sampel pencilan sebagai bahan pelajaran bagi perbaikan program. 4. ANALISIS DATA DAN PENGAMBILAN KESIMPULAN Untuk metode kualitatif, pengolahan bisa dilakukan dengan bantuan program analisis kualitatif, misalnya Nud.Ist Vivo (N-Vivo). Catatan lapangan yang berupa 15
tulisan tangan serta pustaka untuk keperluan analisis data kualitatif diketik ulang dengan MS Word dengan ekstension .rtf. Hasil ketikan tersebut dimasukkan ke dalam program komputer. Selanjutnya data dikode menurut tema-tema analisis, yang terutama sesuai kata-kata kunci dalam tujuan suatu program pemberdayaan. Analisis
terhadap
data
dokumen
dilakukan
secara
kualitatif
dan
semiotis/interpretif. Dalam hal ini konsep yang tertulis dalam aturan main dibandingkan dengan konsep-konsep umum untuk pembangunan yang partisipatif, misalnya melalui buku-buku teks, hasi penlitian, maupun “kamus” pembangunan (Sachs, 1992). Dari kegiatan ini akan diperoleh akurasi atau penyimpangan konseptual. Untuk menjelaskan kaitan antara fakta di lapangan dengan logika aturan main, maka yang dilakukan ialah melompat bolak balik antara aturan yang bersifat total yang dipahami melalui bagian-bagian fakta yang mengkongkretkannya, dan bagian-bagian fakta yang dipahami melalui aturan main yang bersifat total. Dengan menggunakan matriks, kemudian seluruh data kualitatif dianalisis menurut hubungannya dengan tematema pemberdayaan. Dari isi sel-sel matriks bisa ditunjukkan penjelasan (explanatory) dari rangkaian data. Penjelasan kausal yang paling kuat dibangun berdasarkan kesamaan hasil-hasil analisis dari pemakaian beragam teknik pengambilan data. Dari perbandingan hasil analisis data itulah kemudian diperoleh kesimpulan dan teori, yang bisa diwujudkan dalam suatu diagram teoritis. Teori semacam ini bernilai tinggi karena merupakan hasil inferensi dari seluruh data dokumen dan data lapangan. Pengolahan data kuantitatif dilakukan berdasarkan data populasi yang mendapat program, bisa di tingkat desa, kecamatan, kabupaten, maupun provinsi. Data kuantitatif yang digunakan untuk menunjukkan hasil (outcome) program pemberdayaan merupakan perbandingan antara data hasil (result) dan data perencanaan. Pengolahan data kuantitatif bisa dilakukan dengan menggunakan program komputer kuantitatif, misalnya SPSS.
Pengolahan awal yang dilakukan adalah
peringkasan data dalam grafik, tabel, dan metode-metode statistika. Tujuan peringkasan data adalah untuk menggambarkan sedikit karakteristik-karakteristik yang penting dari data. Selanjutnya dilakukan analisis lanjutan berdasarkan karakteristik yang sudah diperoleh. Analisis deskripsi dilakukan untuk melihat kecenderungan data dalam tabel, grafik atau ringkasan data. Selanjutnya dilakukan uji korelasi terhadap data jumlah pemanfaat atau jumlah program. Hal ini dilakukan untuk memperkuat asumsi bahwa kecamatan yang jumlah penduduknya tinggi akan memperoleh bantuan yang tinggi begitu juga sebaliknya 16
(biasanya sesuai dengan ketentuan Juklak/Juknis program). Jika hasil korelasi positif maka asumsi ini diterima sehingga penggunaan data persentase terhadap jumlah penduduk dapat digunakan untuk mengukur keberhasilan program. Kemudian dilakukan penetapan indikator-indikator yang akan digunakan dalam analisis.
Penentuan indikator menggunakan data-data yang telah tersedia, yang
diasumsikan mempunyai hubungan dengan tujuan –berdasarkan pengalaman evaluasi program-program lainnya- dan dianggap dapat menggambarkan keberhasilan suatu program pemberdayaan di suatu daerah. Selanjutnya dilakukan analisis deskriptif untuk melihat perilaku data. Analisis deskripsi yang dilakukan meliputi boxplot masing-masing variabel untuk melihat pola data dan keberadaan data pencilan, histogram untuk melihat kemiringan data, dan perhitungan nilai tengah, median, derajat kemiringan, nilai maksimum, nilai minimum dan deviasi standard. Dari hasil analisis deskripsi terlihat terdapat data yang memiliki pencilan (extremes) sehingga data-data ini harus dipertanyakan penyebabnya.. Untuk melihat rata-rata data digunakan median, rataan dan modus. Jika data cenderung miring maka median adalah ukuran lokasi yang lebih baik untuk digunakan, karena lebih bisa mewakili data daripada nilai tengah dan modus. Sedangkan untuk data yang tidak memiliki pencilan dan kemiringannya cukup kecil, leboh cocok digunakan nilai tengah. Untuk menyamakan satuan pengukuran dari indikator-indikator yang diteliti dilakukan pembakuan nilai tiap-tiap indikator dalam variabel baku Z, dengan rumus sebagai berikut : Zpqi = Xpqi - μq . σq Keterangan : p
: tujuan ke-p, p=1,2,...,4
q
: indikator ke-q, q=1,2,...qp
Zpqi
: Nilai Normal dari data ke-i, faktor ke-q, indikator ke-p
Xpqi : Data ke-i, faktor ke-q, indikator ke-p μq
: Nilai tengah populasi
σq
: Ragam populasi
Selanjutnya dilakukan analisis faktor dengan metode analisis komponen utama. Analisis komponen utama (Principal Component Analysis) bertujuan untuk mereduksi
17
data dari q buah variabel asal menjadi sejumlah kecil komponen utama, yang lebih kecil dari q, dengan keragaman maksimun. Komponen utama yang dihasilkan adalah kombinasi linear terbobot dari q variabel asa. (Gaspersz, 1992). Analisis komponen utama dilakukan dalam dua tahap. Pertama, analisis komponen utama masing-masing tujuan evaluasi. Dari analisis ini diperoleh indikatorindikator yang dapat menerangkan tujuan. Hasil akhir dari analisis ini ialah nilai skor faktor masing-masing tujuan dari komponen utama yang keragamannya paling besar. Kedua, analisis komponen utama dari skor faktor tujuan untuk memperoleh skor faktor akhir yang akan menentukan tingkat keberhasilan suatu program pemberdayaan. Analisis ini menghasilkan komponen utama yang menggambarkan tujuan-tujuan yang menerangkan keberhasilan. Baik pula digunakan indeks keberhasilan program untuk menyajikan lebih rinci kaitan beragam faktor penentu kinerja program. Seluruh indikator yang digunakan terlebih dahulu ditranformasi bentuknya, yaitu membandingkannya dengan suatu nilai “harapan” dari masing-masing indikator (suatu nilai ideal). Nilai ini dinyatakan dalam proporsi atau perbandingan, agar nilai indikator tersebut dapat diperbandingkan mengingat jumlah desa penerima program per kecamatan, nilai bantuan program per kecamatan, serta jumlah penduduk berbeda-beda, dan dalam hal ini hubungan antara total jumlah penduduk, total jumlah KK, total jumlah penduduk miskin dengan nilai bantuan berhubungan positif. Sebagai contoh salah satu indikator yang digunakan untuk mengukur indeks pemberdayaan adalah jumlah penduduk miskin yang berpartisipasi dalam kegiatan pembangunan prasarana (Agusta, et.al., 2000). Jumlah penduduk yang berpartisipasi tersebut tidak dapat diperbandingkan secara langsung untuk mengukur partisipasi masyarakat antar lokasi program, melainkan jumlah penduduk miskin yang berpartisipasi tersebut harus diperbandingkan dulu dengan jumlah total penduduk miskin di lokasi program yang bersangkutan. Penetapan indeks dilakukan dengan mendasarkan pada nilai akar ciri (eigen value) yang dihasilkan dari teknik analisis PCA dengan metode korelasi. Hasil komponen yang dapat digunakan sebagai indeks adalah yang memiliki nilai akar ciri terbesar dan lebih besar dari satu. Berdasarkan komponen yang terpilih sebagai indeks dapat ditentukan kontribusi dari setiap indikator yang digunakan dalam menyusun indeks tersebut. Hasilnya dapat digunakan untuk mengelompokkan wilayah program dalam dua kelompok berdasarkan skor faktor akhir, yaitu, pertama, wilayah berhasil, jika skor 18
faktor akhir lebih tinggi dari rataan skor faktor. Kedua, wilayah gagal, jika skor faktor akhir lebih rendah dari rataan skor faktor. Dari sinilah diperoleh peta keberhasilan di tiap lokasi, atau bisa diagregasi ke tingkat tingkat kecamatan, kabupaten dan provinsi. Penyimpulan seluruh data dimulai dengan menyimpulkan seluruh data kuantitatif. Sedangkan data kualitatif disimpulkan melalui perbandingan kesimpulan antar kasus serta perbandingan dengan data kualitatif dari program atau kasus lain yang serupa. Hasil kesimpulan dari data kuantitatif dan data kualitatif tersebut kemudian disimpulkan bersama-sama, dengan cara mencari konvergensi pada setiap kesimpulan tersebut atau menguji kembali kesimpulan-kesimpulan yang berbeda secara logis serta sistematis menurut informasi dari literatur lain. 5. KESIMPULAN: KELEMAHAN DAN KEUNGGULAN Dengan landasan reflektif terhadap permasalahan, tujuan, paradigma, teori, dan metode, evaluasi kualitatif terhadap suatu program memiliki keunggulan untuk mampu memahami pembangunan sebagai upaya pemberdayaan masyarakat. Evaluasi semacam ini mengetengahkan pandangan seluruh pihak yang terkait dengan program, sehingga makna program bisa dijangkau secara sangat luas. Evaluasi yang mengaitkan tujuan dan hasil program secara sistematis dan reflektif ini juga memiliki keunggulan untuk menunjukkan kedalaman permasalahan program. Dengan strategi semacam ini juga dibuka peluang pemecahan permasalahan program secara mendasar. Namun demikian, pembangunan menimbulkan permasalahan etis mengenai hakekat dasar kehidupan yang dinilai baik (Goulet, 1978). Refleksi etis mengenai persoalan sosial dapat diketahui melalui tujuan umum, kriteria untuk mengidentifikasi lembaga dan prosedur dalam merangkum tujuan tersebut, pembuatan perangkat atau sistem dari prosedur tersebut, serta pembuatan cara khusus tersendiri. Dengan sendirinya suatu evaluasi yang hendak mengaitkan tujuan program dengan hasil-hasil yang dicapainya diliputi oleh bias teoritis dan metodologis. Evaluasi terhadap kebijakan dan program seringkali terhambat oleh kekurangan informasi yang dibutuhkan. Untuk mengisi kekosongan tersebut, evaluator seringkali menyertakan bias dalam dirinya (Vaughan dan Buss, 1998). Bias dalam evaluasi disebabkan oleh pengaruh lingkungan, politik, dan sifat pribadi evaluator (Myrdal, 1969). Dalam evaluasi program pemberdayaan terdapat bias bahwa pemberdayaan masyarakat dianggap sebagai keadaan yang baik, bahkan yang terbaik. Pemberdayaan
19
masyarakat
dicapai
melalui
strategi-antara
berupa
pengembangan
partisipasi
masyarakat. Program pemerintah dipandang sebagai faktor yang memperlancar strategi pengembangan partisipasi menuju pemberdayaan masyarakat –bukan sebagai faktor yang meningkatkan ketergantungan masyarakat kepada pemerintah. Berkaitan dengan itu, isi program yang mencakup aturan main, pihak pemerintah, pihak pendamping, dan dana bantuan dianggap sebagai hal-hal yang baik dan menunjang kelancaran partisipasi masyarakat. Bias metode kuantitatif pada tahap pengumpulan data muncul karena, pertama, sampling error, yaitu kesalahan pendugaan yang ditimbulkan karena contoh tidak memberikan informasi yang lengkap. Hal ini antara lain terlihat dari ketiadaan definisi operasional dalam pengisian formulir registrasi suatu program pemberdayaan, sehingga ketepatan dan kesamaan makna dari angka yang muncul dapat berbeda. Kedua, non-sampling error, yang berujud tidak adanya respon yang timbul karena masalah yang diteliti tidak menarik atau tidak dimengerti. Hal ini bisa terlihat dari ketidaklengkapan data registrasi sebagai akibat dari tidak seluruh petugas program mengumpulkannya ke kantor pusat. Bias lain yang muncul dari data adalah tidak akurat, disebabkan pengisi formulir memberikan informasi yang salah. Hal ini muncul karena kesalahan penafsiran terhadap pertanyaan atau ada sesuatu yang dirahasiakan. Hal ini bisa terjadi mengingat tidak terdapat definisi yang operasional dari pertanyaanpertanyaan dalam formulir registrasi program. Ketiga, selection bias (bias pemilihan sampel), terjadi karena orang atau lembaga yang melakukan survei mengubah elemen contoh berdasarkan kemauan sendiri (subjektif). Hal ini terutama mungkin terjadi pada informasi berbasis registrasi menyeluruh dari pemanfaat program. Contohnya dalam program PPK data penilaian fasilitator kecamatan terhadap fasilitator kabupaten pada masing-masing kabupaten hanya diisi oleh 0-7 responden. Kesimpulan yang diperoleh dari data semacam ini memiliki bias yang besar, karena ukuran contoh adalah salah satu bagian yang terpenting yang harus diperhatikan untuk menduga parameter populasi. Masalah lainnya ialah terdapat data-data yang tidak kembali dan terdapat datadata yang tidak dapat diterima (aneh). Tampaknya penyebab keanehan data adalah salah pengisian formulir, salah pengisian data ke dalam komputer (entry data), kurangnya pengetahuan pengisi formulir atau pengisian formulir tidak berdasarkan fakta (berdasarkan perkiraan pengisi). Contohnya pada beberapa kecamatan tidak terdapat 20
pengajuan proposal dari kaum perempuan, tetapi terdapat data jumlah proposal dari perempuan yang disetujui (Agusta, et.al., 2000). Strategi untuk menanggulangi keadaan data kuantitatif ialah menggunakan semua data yang diperoleh dengan asumsi data dikumpulkan dari semua formulir ke tiap lokasi. Dengan demikian diperoleh jumlah populasi yang lebih banyak sehingga semakin tinggi nilai parameter populasi. DAFTAR PUSTAKA Agusta, I. 2002a. Assumptions of Empowerment at Workplace in Rural Indonesia. Makalah disampaikan dalam The XVth International Sociological Association (ISA) Congress of Sociology, di Brisbanne, Australia, 7-13 Juli 2002. ________. 2002b. Creating Linkage Between International Donors and the Poor: ADB’s Role on Recent Poverty Reduction in Indonesia. Makalah disampaikan dalam The XVth International Sociological Association (ISA) congress of Sociology, in Brisbanne, Australia, 7-13 Juli 2002. ________. 2000b. “Pembangunan Prasarana Desa Tertinggal”, dalam Jurnal Sosiologi Indonesia No. 4. ________. 1999. Monitoring, Metode dan Analisis yang Efektif dalam PPK. Makalah disampaikan dalam Semiloka Hasil Monitoring Partisipasi dan Pemberdayaan dalam Program Pengembangan Kecamatan di 5 Provinsi. Jakarta, 23 Desember 1999. Agusta, I. et.al. 2000. Evaluasi Program Pengembangan Kecamatan. Bappenas. Jakarta. Bappenas. 2001. Indonesian The Economy in the Year 2001: Prospects and Policies. Bappenas. Jakarta. ________. 2000b. Pemberdayaan Masyarakat Desa dalam Liputan Pers. Bappenas. Jakarta. ________. 1995. Kaji Tindak Program Inpres Desa Tertinggal. Bappenas. Jakarta. Brown, G. dan G. Yule. 1996. Analisis Wacana (Discourse Analysis). Gramedia. Jakarta. Bryant, C. and LG White. 1982. Managing Development in the Third World. Westview Press. Candrakirana, K. 1999. “Monitoring SSN Programs”, dalam Prosiding Konferensi Results of a SMERU Conference on Monitoring the Social Impact of the Crisis: Lesson Learned in 1999. Casley, DJ dan K. Kumar. 1988. The Collection, Analysis, and Use of Monitoring and Evaluation Data. The John Hopkins University Press. Baltimore, Maryland. Cernea, MM. 1988. “Sosiologi untuk Proyek-proyek Pembangunan”, dalam MM Cernea, ed. Mengutamakan Manusia dalam Pembangunan. Terjemahan. UI Press. Jakarta. Chambers, R. 1996. PRA Participatory Rural Appraisal, Memahami Desa Secara Partisipatif. Terjemahan. Kanisius. Yogyakarta. ___________. 1988. Pembangunan Desa, Mulai dari Belakang. Terjemahan. LP3ES. Jakarta. Chen, H.T. 1990. Theory-Driven Evaluation. Sage. London, UK. Darmawati, I. 2001. “Dengarlah Tangisan Ibu Bumi! Sebuah Kritik Ekofeminisme atas Revolusi Hijau”, dalam Jurnal Perempuan No. 21. Dove, MR. 1982. “Etnometodologi Studi Pembangunan, Pendekatan Kuantitatif Lawan Pendekatan Kualitatif”, dalam Prisma 7/XI. 21
Elguea, J. 1985. “Paradigms and Scientific Revolution in Development Theories”, dalam Development and Change Th. 16 No. 2, April. Fine, R. dan S. Rai, eds. 1997. Civil Society: Democratic Perspectives. Frank Cass. London. Freire, P. 1973. Pedagogy of the Oppresses. Penguin Books. London. Friedmann, J. 1992. Empowerment: The Politics of Alternative Development. Blackwell. Cambridge, Mass. Geertz, C. 2000. Negara Teater. Terjemahan. Yayasan Bentang Budaya. Yogyakarta. _______. 1995. After the Fact: Two Countries, Four Decades, One Anthropologist. Harvard University Press. Cambridge, Mass. _______. 1992. Tafsir Kebudayaan. Terjemahan. Kanisius. Yogyakarta. _______. 1983 (1974). Involusi Pertanian, Proses Perubahan Ekologi di Indonesia. Terjemahan. Bhratara. Jakarta. Goulet, D. 1979. “Tentang Etik Perencanaan Pembangunan”, dalam Prisma 1/VII. Greene, J.C. 1994. Qualitative Program Evaluation: Practice and Promise, dalam N.K. Denzin dan Y.S. Lincoln. Handbook of Qualitative Research. SAGE. London. Heron, J. 1996. Co-operative Inquiry: Research Into the Human Condition. SAGE. London. Howell, J. dan J. Pearce. 2001. Civil Society & Development: A Critical Exploration. Little, Daniel. 1991. Varieties of Social Explanation: An Introduction to the Philosophy of Social Science. Westview Press. San Fransisco. Lynne Rienner. London. Latief, Y. dan I.S. Ibrahim, eds. 1996. Bahasa dan Kekuasaan: Politik Wacana di Panggung Orde Baru. Mizan. Bandung. Lloyd, C, ed. 1986. Teori Sosial dan Praktek Politik. Terjemahan. Rajawali Pers. Jakarta. McGlynn, F. dan A. Tuden, eds. 2000. Pendekatan Antropologi pada Perilaku Politik. Terjemahan. UIPress. Jakarta. McGranahan, D., E. Pizarro, C. Richard. 1985. Measurement and Analysis of SocioEconomic Development. UNRISD. Geneve. Mubyarto. 2000. Pemulihan Ekonomi Indonesia dan Peran Ekonomi Rakyat. Makalah disampaikan pada Orasi Ilmiah on HUT YAE ke-20 di Jakarta, 7 Maret 2000. _______. 1997. IDT dan Program Menghapus Kemiskinan. Aditya Media. Yogyakarta. Myrdal, G. 1969. Objectivity in Social Research. Pantheon Books. New York. Patton, M.Q. 1982. Qualitative Evaluation Methods. SAGE. London. Polanyi, K., et.al. 1957. “Perkembangan Ekonomi Pasar”, terjemahan, dalam H-D Evers, ed. 1988. Teori Masyarakat: Prose Peradaban dalam Sistem Dunia Modern. YOI. Jakarta. Rahnema, M. 1992. “Participation”, dalam W. Sach, ed. The Development Dictionary: A Guide to Knowledge as Power. Zed Books. Essex, UK. Sach, W., ed. 1992. The Development Dictionary: A Guide to Knowledge as Power. Zed Books. Essex, UK. Sajogyo. 1997. Menciptakan Visi: Mendukung Pengembangan Kelompok Swadaya Mandiri dalam Gerakan Nasional PPK. Puspa Swara. Jakarta. ______. 1996. “Kata Pengantar”, dalam Verhagen, K. 1996. Pengembangan Keswadayaan, Pengalaman LSM di Tiga Negara. Puspa Swara. Jakarta. Sajogyo, et.al. 1999. Memacu Perekonomian Rakyat. Aditya Media. Yogyakarta. Saragih, S, ed. 1996. Musyawarah Rakyat & LSM (Sebuah Pengalaman Pengorganisasian Rakyat yang Dilakukan LSM). Puspa Swara. Jakarta.
22
Sarman, M. 1997. “Kemiskinan dan Pemberdayaan Ekonomi Rakyat: Pelajaran dari Program IDT”, dalam Prisma Vol. 26 No. 1, Januari. Schwandt, Thomas A. 1994. “Constructivist, Interpretivist Approaches to Human Inquiry”, dalam Norman K. Denzin dan Yvonna S. Lincoln. Handbook of Qualitative Research. SAGE. London. Shaw, Ian F. 1999. Qualitative Evaluation. SAGE. London. Soedjatmoko. 1984. “Etik dalam Perumusan Strategi Penelitian Ilmu-ilmu Sosial”, dalam A. Kristyanto, ed. Metodologi Penelitian Pedesaan: Koreksi dan Pembenaran. Rajawali Press. Jakarta. Soeradji, B and Mubyarto, eds. Gerakan Penanggulangan Kemiskinan: Laporan Penelitian di Daerah-daerah. Aditya Media. Yogyakarta. Stake, R.E. 1995. The Art of Case Study Research. SAGE. London. Sumodiningrat, G. 1996. “Perencanaan Pembangunan dalam Penanggulangan Kemiskinan”, dalam Prisma nomor khusus/XXV. Supriatna, T. 1997. Birokrasi, Pemberdayaan dan Pengentasan Kemiskinan. HUP. Bandung. Suryahadi, A., Y. Suharso, S. Sumarto. 1999. Coverage and Targeting in the Indonesian Social Safety Net Programs: Evidence from 100 Village Survey. SMERU working paper. Suryochondro, S. 1995. “Timbulnya dan Perkembangan Gerakan Wanita di Indonesia”, in T.O. Ihromi, ed. Kajian Wanita dalam Pembangunan. YOI. Jakarta. Vaughan, RJ dan TF Buss. 1998. Communicating Social Science Research to Policymakers. SAGE. London, UK. Verhagen, K. 1996. Pengembangan Keswadayaan, Pengalaman LSM di Tiga Negara. Puspa Swara. Jakarta. Wahab, SA. 1990. Pengantar Analisis Kebijaksanaan Negara. Rineka Cipta. Jakarta.
23
