Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
EVALUASI KESUKSESAN IMPLEMENTASI APLIKASI PENGELOLAAN TUGAS BELAJAR DI BPK Tri Cahya Wisnhu Groho1), Wing Wahyu Winarno2), Adhistya Erna Permanasari3) 1,3) Jurusan Teknik Elektro dan Teknologi Informasi UGM Yogyakarta Jl. Grafika 2, Yogyakarta 55281 2) Jurusan Akuntansi STIE YKPN Yogyakarta Jl. Seturan Raya, Sleman, Yogyakarta 55281 e-mail :
[email protected]),
[email protected]),
[email protected]) Abstrak Penelitian ini melakukan evaluasi kesuksesan implementasi Aplikasi Pengelolaan Tugas Belajar (APTB) di Badan Pemeriksa Keuangan diukur dari tingkat kepuasan dan manfaat yang dirasakan penggunanya. Model penelitian mengadaptasi dan menggabungkan Technology Acceptance Model dan Information System Success Model DeLone dan McLean yang diperbarui. Terdapat tujuh variabel yaitu kualitas sistem, kualitas informasi, kualitas layanan, kegunaan yang dirasakan, kemudahan yang dirasakan, kepuasan pengguna, dan manfaatmanfaat bersih. Evaluasi dilakukan dengan menguji apakah kualitas sistem, kualitas informasi, dan kualitas layanan berpengaruh secara signifikan terhadap kegunaan yang dirasakan dan kemudahan yang dirasakan, yang selanjutnya akan mempengaruhi kepuasan pengguna serta menguji apakah kepuasan pengguna berpengaruh terhadap manfaat-manfaat bersih. Penelitian dilakukan dengan menganalisis hasil kuesioner yang terkumpul dari 90 responden. Metode analisis yang digunakan adalah Partial Least Square (PLS) dengan perangkat lunak SmartPLS. Hasil analisis dengan tingkat keyakinan 90% menunjukkan bahwa kualitas sistem berpengaruh signifikan terhadap kemudahan yang dirasakan, tetapi tidak berpengaruh terhadap kegunaan yang dirasakan. Kualitas informasi berpengaruh terhadap kegunaan yang dirasakan dan kemudahan yang dirasakan. Kualitas layanan berpengaruh signifikan terhadap kegunaan yang dirasakan, tetapi tidak berpengaruh terhadap kemudahan yang dirasakan. Kemudahan yang dirasakan mempengaruhi secara signifikan kegunaan yang dirasakan. Kegunaan yang dirasakan dan kemudahan yang dirasakan mempengaruhi secara signifikan kepuasan pengguna, dan kepuasan pengguna mempengaruhi secara signifikan manfaat-manfaat bersih. Selain itu, didapatkan evaluasi kesuksesan implementasi APTB yang belum sepenuhnya memenuhi harapan pengguna. Kata Kunci : evaluasi, Technology Acceptance Model, model kesuksesan sistem informasi DeLone dan McLean, partial least square, Badan Pemeriksa Keuangan 1. PENDAHULUAN Sistem Informasi/Teknologi Informasi SI/TI memiliki peran penting dalam sebuah organisasi, yaitu mendukung proses bisnis dan operasi, mendukung pengambilan keputusan oleh karyawan dan manajer, dan mendukung strategi untuk keunggulan kompetitif (O’Brien & Marakas, 2007). Badan Pemeriksa Keuangan (BPK) juga memanfaatkan dan menerapkan SI/TI dalam proses bisnisnya. Salah satu proses bisnis yang didukung oleh pemanfaatan SI/TI adalah pengelolaan tugas belajar. Saat ini, Biro Sumber Daya Manusia (SDM) BPK telah mengimplementasikan sebuah sistem informasi yang dinamakan Aplikasi Pengelolaan Tugas Belajar (APTB) yang berbasis web dan online. Manfaat yang diharapkan dari implementasi aplikasi tersebut, antara lain memberikan kemudahan bagi pegawai Biro SDM untuk melakukan pengelolaan dan pemantauan tugas belajar, memberikan kemudahan bagi para Calon Karya Siswa dan Karya Siswa mulai dari informasi tentang tugas belajar, pendaftaran, pelaksanaan dan pelaporan, serta mendukung Sistem Informasi SDM yang sudah ada guna mendukung proses pengambilan keputusan dengan menyediakan berbagai informasi yang diperlukan. Setelah sebuah sistem diimplementasikan, dapat dilakukan evaluasi pascaimplementasi (post-implementation review), yaitu evaluasi menyeluruh dari sebuah sistem baru yang dilakukan setelah implementasi dalam rangka untuk menentukan apakah sistem telah beroperasi seperti yang diharapkan dan apakah telah memenuhi atau memuaskan kebutuhan pengguna (Perry, 2006). Evaluasi pascaimplementasi harus dilakukan segera setelah sebuah aplikasi baru diterapkan dan memiliki waktu untuk settle-down. Dengan kata lain, evaluasi dilakukan setelah pengguna memiliki kesempatan untuk memahami aplikasi dan sistem informasi memiliki waktu untuk menyelesaikan kesalahan-kesalahan atau permasalahan implementasi final (Moeller, 2010). Sebagai suatu sistem yang relatif baru diimplementasikan, APTB dipandang perlu untuk dievaluasi untuk mengetahui apakah APTB telah beroperasi seperti yang diharapkan dan memuaskan penggunanya. Kepuasan pengguna merupakan ukuran yang sangat baik dalam menilai kesuksesan implementasi APTB karena pengguna merupakan orang yang dianggap paling mengetahui apakah sistem berjalan seperti yang diharapkan.
10
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
Penelitian ini penting untuk dilakukan karena evaluasi akan menilai manfaat yang diperoleh dari implementasi APTB, menemukan masalah-masalah potensial yang sedang dihadapi oleh pengguna dan organisasi, dan untuk menguji apakah APTB masih mampu memenuhi tujuan implementasinya. Hasil evaluasi dapat digunakan sebagai acuan untuk memperbaiki atau menyempurnakan APTB serta mengembangkan potensi yang masih ada, sehingga APTB menjadi lebih baik, serta dapat mendukung tujuan, visi dan misi organisasi. 2. TINJAUAN PUSTAKA Penelitian tentang evaluasi sistem informasi telah banyak dilakukan sebelumnya oleh banyak peneliti (Adikara, 2012; Andiono, 2008; Andriyani, 2011; Iivari, 2005). Berbeda dengan penelitian-penelitian sebelumnya, penelitian ini akan mengevaluasi kesuksesan implementasi Sistem Informasi APTB di BPK diukur dari tingkat kepuasan pengguna dan manfaat-manfaat yang dirasakan dengan menggunakan model penelitian yang mengadaptasi dan menggabungkan Technology Acceptance Model dan Model Kesuksesan Sistem Informasi DeLone dan McLean yang diperbarui. A. Technology Acceptance Model (TAM) TAM merupakan salah satu model yang dibangun untuk menganalisis dan memahami faktor faktor yang mempengaruhi diterimanya penggunaan teknologi komputer, diperkenalkan pertama kali oleh Davis (F.D. Davis, 1985). TAM menjelaskan hubungan sebab akibat antara keyakinan (akan manfaat suatu sistem informasi dan kemudahan penggunaannya) dan perilaku, tujuan/keperluan, dan penggunaan aktual dari pengguna suatu sistem informasi. Model ini menempatkan penggunaan (usage) sebagai variabel dependen, serta perceived usefulness dan ease of use sebagai variabel independen. Kedua variabel independen ini dianggap dapat menjelaskan perilaku penggunaan (usage). TAM ditunjukkan dalam Gambar 1. Perceive d Attitu de Towar
Externa l
Behavior al Intention
Actual Syste m
Perceive d Ease of Use
Gambar 1. TAM (F.D. Davis, 1985) B. Model Kesuksesan Sistem Informasi DeLone dan McLean (D&M) Menurut DeLone dan McLean kesuksesan sistem model ini diukur dari enam faktor, yaitu : system quality, information quality, use, user satisfaction, individual impact, dan organizational impact (DeLone & McLean, 1992). Model ini tidak mengukur ke enam dimensi pengukuran kesuksesan secara independen, tetapi mengukurnya secara keseluruhan satu mempengaruhi yang lainnya. Kemudian, DeLone dan McLean memperbarui modelnya dan menyebutnya sebagai model kesuksesan sistem informasi DeLone dan McLean yang diperbarui (DeLone & McLean, 2003). Model yang diperbarui terdiri dari variabel information quality, system quality, service quality, intention to use/use, user satisfaction dan net benefits, sebagaimana Gambar 2. Information Quality System Quality Service Quality
Intention to Use
Use Net Benefits
User Satisfaction
Gambar 2. D&M yang diperbarui (DeLone & McLean, 2003) C. Model Dan Hipotesis Penelitian Davis menyarankan penelitian masa depan untuk mempertimbangkan peran variabel eksternal tambahan dalam TAM (Fred D. Davis, 1993). Penelitian ini memasukkan tiga variabel dari D&M yaitu kualitas sistem, kualitas informasi, dan kualitas layanan sebagai variabel eksternal yang masing-masing akan diteliti hubungannya 11
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
dengan dua variabel dari TAM, yaitu kegunaan yang dirasakan (perceived usefulness) dan kemudahan yang dirasakan (perceived ease of use). Selanjutnya, akan diteliti apakah kegunaan yang dirasakan dan kemudahan penggunaan yang dirasakan mempengaruhi kepuasan pengguna (user satisfaction) dan kepuasan pengguna akan berdampak pada manfaat-manfaat bersih (net benefits). Variabel kepuasan pengguna dan manfaat-manfaat bersih diadopsi dari D&M yang diperbarui. Seddon melakukan penelitian untuk melihat hubungan antara system quality dengan perceived usefulness (Seddon, 1997). Cheong dan Park menunjukkan bahwa system quality berpengaruh positif terhadap perceived usefulness dan perceived ease of use (Cheong & Park, 2005). Seddon menyatakan bahwa information quality yang dihasilkan oleh sistem informasi akan berpengaruh terhadap perceived usefulness (Seddon, 1997). Shih mendalilkan bahwa perceived information quality secara positif mempengaruhi perceived ease of use dan perceived usefulness (Shih, 2004). Ahn, Ryu, dan Hahn menemukan bahwa service quality memiliki pengaruh positif pada perceived usefulness dan perceived ease of use (Ahn, Ryu, & Han, 2007). Perceived usefulness dan perceived ease of use merupakan variabel utama TAM. Beberapa peneliti menunjukkan adanya hubungan dan pengaruh positif antara usefulness dan ease of use (Adams, Nelson, & Todd, 1992; Igbaria, Guimaraes, & Davis, 1995; Mao & Palvia, 2006). End user satisfaction sangat dipengaruhi oleh beberapa faktor antara lain perceived usefulness dan ease of use (Mahmood, Burn, Gemoets, & Jacquez, 2000). Net benefits mengukur hasil pemanfaatan sistem informasi. Net benefits muncul sebagai akibat dari pemanfaatan dan kepuasan pengguna sistem informasi (DeLone & McLean, 2003). Berdasarkan uraian di atas, model penelitian digambarkan dalam Gambar 3. Kualitas Sistem Kualitas Informasi Kualitas Layanan
H1 H2 H3
Kegunaan yang Di k
H8 Kepuasan Pengguna
H7
H4 H5 H6
Kemudahan yang
H9
H10
Manfaatmanfat Bersih
Gambar 3. Model Penelitian Hipotesis penelitian dirumuskan sebagai berikut: H1 : kualitas sistem berpengaruh positif terhadap kegunaan yang dirasakan H2 : kualitas sistem berpengaruh positif terhadap kemudahan yang dirasakan H3 : kualitas informasi berpengaruh positif terhadap kegunaan yang dirasakan H4 : kualitas informasi berpengaruh positif terhadap kemudahan yang dirasakan H5 : kualitas layanan berpengaruh positif terhadap kegunaan yang dirasakan H6 : kualitas layanan berpengaruh positif terhadap kemudahan yang dirasakan H7 : kemudahan yang dirasakan berpengaruh positif terhadap kegunaan yang dirasakan H8 : kegunaan yang dirasakan berpengaruh positif terhadap kepuasan pengguna H9 : kemudahan yang dirasakan berpengaruh positif terhadap kepuasan pengguna H10 : kepuasan pengguna berpengaruh positif terhadap manfaat-manfaat bersih 3. METODE PENELITIAN Metode penelitian yang digunakan di dalam penelitian ini adalah metode penelitian kuantitatif dengan menggunakan metode pendekatan survei. Penelitian survei yang dilakukan bersifat penjelasan (explanatory) yang menjelaskan hubungan kausal antara variabel-variabel melalui pengujian hipotesis. Bahan penelitian ini adalah APTB di BPK. Penelitian ini menggunakan dua jenis data yakni primer dan sekunder. Data primer diperoleh dari hasil kuesioner. Data sekunder digunakan sebagai pendukung data primer berupa kajian pustaka yang terdiri dari buku, teks, jurnal, hasil penelitian-penelitian yang pernah dilakukan sebelumnya, dan literatur lainnya. Alat penelitian yang digunakan untuk memperoleh data primer adalah kuesioner. Pada penelitian ini digunakan kuesioner tertutup, pertanyaan kuesioner disajikan beserta pilihan jawaban dan responden diminta untuk memilih salah satu jawaban yang sesuai dengan kondisi yang dihadapi responden. Kuesioner menggunakan skala Likert dengan skor 1 sampai dengan 5. Data hasil kuesioner akan dianalisis dengan menggunakan SEM berbasis varian atau Partial Least Square (PLS) dengan software Smart PLS. 12
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
Populasi dalam penelitian ini adalah seluruh pengguna APTB yaitu para Karya Siswa yang berjumlah 263 orang. Teknik penentuan sampel menggunakan sampling jenuh, yaitu semua anggota populasi digunakan sebagai sampel. Setiap Karya Siswa bisa menjadi responden dalam penelitian ini dengan batasan responden mengembalikan kuesioner pada batas waktu yang telah ditentukan. Jumlah sampel yang diharapkan untuk penelitian ini adalah 30 sampai 100 (Ghozali, 2011). Variabel-variabel penelitian didefinisikan sebagai berikut : 1) Kualitas sistem yaitu bagaimana APTB melakukan proses pengolahan informasinya itu sendiri. Indikator-indikator yang digunakan adalah reliability, integration, accessibility (Wixom & Todd, 2005), dan navigation (McKinney, Yoon, & Zahedi, 2002) dengan 8 item pertanyaan (SQ1 – SQ8). 2) Kualitas informasi merupakan semua bentuk keluaran informasi atau laporan yang dihasilkan dari APTB. Indikator-indikator yang digunakan adalah completeness, accuracy, format dan currency (Wixom & Todd, 2005) dengan 8 item pertanyaan (IQ1 – IQ8). 3) Kualitas layanan merupakan penilaian pengguna atas kualitas pelayanan yang diberikan unit sistem informasi (Biro SDM dan Biro TI). Indikator-indikator yang digunakan adalah reliability, responsiveness, assurance, dan empathy (Gefen, 2002; Parasuraman, Zeithaml, & Berry, 1985) dengan 8 item pertanyaan (SV1 – SV8). 4) Kegunaan yang dirasakan didefinisikan sebagai suatu tingkat keyakinan seseorang bahwa dengan menggunakan APTB akan meningkatkan kinerjanya. Indikator-indikator yang digunakan adalah makes job easier, useful, dan increase productivity (Fred D. Davis, 1989; Segars & Grover, 1993) dengan 6 item pertanyaan (PU1 – PU6). 5) Kemudahan yang dirasakan didefinisikan sebagai suatu tingkat atau keadaan seseorang yakin bahwa dalam menggunakan APTB tidak diperlukan usaha apapun. Indikator-indikator yang digunakan adalah easy to use, easy to learn, dan easy to become skillful (Fred D. Davis, 1989; Segars & Grover, 1993) dengan 6 item pertanyaan (PEU1 – PEU6). 6) Kepuasan pengguna yaitu respon yang diberikan pengguna terhadap keluaran APTB. Indikator-indikator yang digunakan adalah kepuasan terhadap sistem keseluruhan dan keberhasilan sistem memenuhi harapan (Palvia, 1996) dengan 2 item pertanyaan (US1 dan US2). 7) Manfaat-manfaat bersih adalah dampak pemanfaatan APTB. Indikator-indikator untuk mengukur manfaat-manfaat bersih adalah efek pekerjaan, efisiensi, efektivitas, menurunkan tingkat kesalahan, dan komunikasi (Yusof, Paul, & Stergioulas, 2006) dengan 5 item pertanyaan (NB1 – NB5). 4. HASIL DAN PEMBAHASAN Kuesioner disebar dari 23 Maret sampai dengan 2 April 2014 kepada responden melalui metode online menggunakan aplikasi formulir pada Google Drive, kemudian link/tautan kuesioner tersebut disebar kepada 250 responden melalui email. Hasilnya, terdapat 90 kuesioner yang direspon dan diisi oleh responden atau sebanyak 36%. Seluruh kuesioner tersebut (90) dapat diolah. A. Distribusi Penilaian Responden Distribusi penilaian responden diuraikan dalam Tabel 1. Tabel 1. Distribusi Penilaian Responden Variabel Kualitas Sistem Kualitas Informasi Kualitas Layanan Kegunaan Dirasakan Kemudahan Dirasakan Kepuasan Pengguna Manfaat-manfaat Bersih
Persentase Jawaban Responden (dalam %) STS TS N S SS S + SS 1.94 12.08 28.19 45.14 12.64 57.78 2.22 19.72 32.08 41.94 4.03 45.97 1.25 10.14 54.31 28.33 5.97 34.30 0.00 16.85 31.85 42.96 8.33 51.29 0.19 5.00 18.89 58.52 17.41 75.93 1.11 16.11 31.67 46.11 5.00 51.11 0.00 14.00 33.56 44.22 8.22 52.44
Penelitian ini ingin mengetahui tingkat kesuksesan implementasi APTB di BPK dilihat dari kepuasan pengguna dan manfaat yang dirasakan. Oleh karena itu, dilakukan kategorisasi pada variabel kepuasan pengguna dan manfaat-manfaat bersih menjadi “tinggi”, “sedang”, dan “rendah” dengan batasan nilai sesuai rumus dalam Tabel 2. Dari hasil perhitungan, variabel kepuasan pengguna memiliki mean hipotetik (µ) = 6 dan deviasi standar hipotetik (σ) = 1,3, sedangkan variabel manfaat-manfaat bersih memiliki µ = 15 dan σ = 3,3 sehingga diperoleh tingkat kepuasan pengguna dan manfaat-manfaat bersih sebagaimana dalam Tabel 2. Tabel 2 memperlihatkan tingkat kepuasan pengguna berada pada kategori “tinggi” cenderung “sedang”, dan manfaatmanfaat bersih pada kategori “sedang”. 13
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
Tabel 2. Tingkat Kepuasan Pengguna Dan Manfaat-Manfaat Bersih Kategori
Kepuasan Pengguna
Rumus Btasan Nilai
Batasan Nilai
f
X ≤ 4,7
Manfaat-manfaat Bersih %
Rendah
X ≤ (µ - 1 σ)
12
13,3%
Sedang
(µ - 1 σ) < X ≤ (µ + 1 σ)
4,7 < X ≤ 7,3
36
40%
Tinggi
(µ + 1 σ) < X
7,3 < X
42
46,7%
Batasan Nilai
f
%
X ≤ 11,7
3
3,3%
11,7 < X ≤ 18,3
52
57,8%
18,3 < X
35
38,9%
B. Evaluasi Model Pengukuran 1) Validitas Konvergen Dalam penelitian ini, apabila terdapat indikator dengan nilai loading factor kurang dari 0,6; maka indikator tersebut akan dihilangkan. Hasil loading factor menunjukkan bahwa nilai loading factor enam indikator masih kurang dari 0,6 yaitu SQ1 (0,552), SQ2 (0,552), SQ5 (0,396), SQ7 (0,587), IQ3 (0,542), dan SV3 (0,577) sehingga harus dihilangkan. Model dihitung kembali dengan SmartPLS dan hasil akhir menunjukkan tidak ada lagi loading factor indikator yang bernilai kurang dari 0,6 sehingga hasil perhitungan tersebut telah memenuhi validitas konvergen atau dinyatakan valid. Uji lainnya untuk menilai validitas dari konstruk adalah dengan melihat nilai AVE dan communality. Berdasarkan Tabel 3, konstruk dapat dikatakan valid karena telah memenuhi persyaratan model yang baik yakni AVE dan communality masing-masing konstruk nilainya lebih dari 0,5. Tabel 3. Nilai AVE, Communality, Composite Reliability, dan Cronbach’s Alpha Konstruk Kualitas Sistem Kualitas Informasi Kualitas Layanan Kegunaan Dirasakan Kemudahan Dirasakan Kepuasan Pengguna Manfaat-manfaat Bersih
AVE 0.5867 0.5649 0.5547 0.7651 0.6544 0.9353 0.6545
Communality
0.5867 0.5649 0.5547 0.7651 0.6544 0.9353 0.6545
Composite Reliability 0.8495 0.9008 0.8961 0.9512 0.9183 0.9666 0.9032
Cronbachs Alpha 0.7630 0.8718 0.8636 0.9380 0.8927 0.9308 0.8638
2) Validitas Diskriminan Cara yang dipergunakan untuk menguji validitas diskriminan adalah dengan melihat perbandingan akar AVE dengan nilai korelasi antar variabel laten. Pada Tabel 4, angka yang berada di garis diagonal dan dicetak tebal adalah nilai akar AVE. Jika dibandingkan dengan nilai korelasi antar variabel, semua variabel memiliki nilai akar AVE lebih tinggi. Pengujian ini menandakan bahwa semua variabel telah valid. Tabel 4. Nilai Korelasi Variabel Laten Kualitas Informasi
Manfaatmanfaat Bersih
Kemudahan Dirasakan
Kegunaan Dirasakan
Kualitas Layanan
Kualitas Sistem
Kualitas Informasi
1.0000
Manfaat-manfaat Bersih
0.6872
1.0000
Ke-mudahan Dirasakan
0.5328
0.5220
1.0000
Kegunaan Dirasakan
0.6129
0.8829
0.5543
1.0000
Kualitas Layanan
0.5003
0.4864
0.4123
0.5288
1.0000
Kualitas Sistem
0.7105
0.6444
0.5750
0.6167
0.5537
1.0000
Kepuasan Pengguna
0.7295
0.7183
0.6116
0.7250
0.5359
0.7253
Kepuasan Pengguna
1.0000
3) Uji Reliabilitas Uji reliabilitas diukur dengan dua kriteria yaitu composite reliability dan cronbachs alpha. Tabel 3 menunjukkan bahwa masing-masing konstruk memiliki nilai composite reliability dan cronbachs alpha di atas 0,7. Dengan demikian dapat disimpulkan bahwa semua variabel telah memenuhi persyaratan untuk dapat dikatakan reliabel. C. Evaluasi Model Struktural 1) Nilai R2 (R-square)
14
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
Nilai R² ditunjukkan pada Tabel 5. Semakin tinggi nilai R², semakin baik model prediksi dari model penelitian (Jogiyanto HM., 2011). Model yang kuat ditunjukkan dengan nilai 0,75; model yang moderate ditunjukkan dengan nilai 0,50 dan model yang lemah ditunjukkan dengan nilai 0,25 (Hair, Ringle, & Sarstedt, 2011). Tabel 5. Nilai R-square Variabel Dependen Kegunaan yang Dirasakan Kemudahan yang Dirasakan Kepuasan Pengguna Manfaat-manfaat Bersih
R2 0.5068 0.3685 0.5892 0.5159
Kategori Model Moderate Lemah Moderate Moderate
Tabel 5 menunjukkan bahwa variabilitas dari variabel Kemudahan yang Dirasakan dapat dijelaskan oleh variabilitas konstruk Kualitas Sistem, Kualitas Informasi, dan Kualitas Layanan sebesar 36,85%, sisanya (63,15%) dijelaskan oleh variabel lain yang tidak diteliti dalam model ini, sehinga model ini termasuk model yang lemah. Variabilitas dari variabel dependen yang lain dapat dijelaskan dengan cukup baik (moderate) oleh variabel-variabel independennya. 2) Nilai Path Coefficients Pada SmartPLS, untuk menguji hubungan antar konstruk dilakukan prosedur bootstrapping. Hasil pengujian berupa path coefficients ditunjukkan dalam Tabel 6. Terdapat lima hubungan antar konstruk yang signifikan pada tingkat keyakinan 99% (t-tabel > 2,58) dan 95% (t-tabel > 1,96), serta tiga hubungan antar konstruk yang signifikan pada tingkat keyakinan 90% (t-tabel > 1,65). Dua hubungan antar konstruk lainnya tidak signifikan karena t-statistik kurang dari t-tabel. D. Pengujian Hipotesis Pengujian hipotesis dalam penelitian ini mempergunakan tingkat signifikansi 10% dan tingkat keyakinan 90% sehingga t-statistik harus lebih dari 1,65. Tabel 6 menunjukkan hasil path coefficients dan t-statistik yang diperoleh dari proses bootstrapping pada SmartPLS. Path coefficients menunjukkan nilai positif (+) artinya korelasi antar variabel bersifat positif atau searah dengan hipotesis yang disusun. Apabila path coefficients menunjukkan nilai negatif (-) artinya korelasi antar variabel bersifat negatif atau seharusnya berkebalikan arah dengan hipotesis yang disusun. Tabel 6. Path Coefficients dan Hipotesis Penelitian Hipotesis
Jalur/Path
Path t-statistik coefficients
Hasil
H1
Dari Kualitas Sistem
Ke Kegunaan Dirasakan
0.1973
1.2593
Ditolak
H2
Kualitas Sistem
Kemudahan Dirasakan
0.3566
2.5351
Diterima
H3
Kualitas Informasi
Kegunaan Dirasakan
0.2534
1.8721
Diterima
H4
Kualitas Informasi
Kemudahan Dirasakan
0.2293
1.8056
Diterima
H5
Kualitas Layanan
Kegunaan Dirasakan
0.2008
2.2828
Diterima
H6
Kualitas Layanan
Kemudahan Dirasakan
0.1001
1.1629
Ditolak
H7
Kemudahan Dirasakan
Kegunaan Dirasakan
0.2231
1.8960
Diterima
H8
Kegunaan Dirasakan
Kepuasan Pengguna
0.5573
6.1008
Diterima
H9
Kemudahan Dirasakan
Kepuasan Pengguna
0.3027
3.7579
Diterima
H10
Kepuasan Pengguna
Manfaat bersih
0.7183
15.5743
Diterima
Hasil pengujian hipotesis menunjukkan bahwa tidak semua hipotesis terbukti/diterima secara signifikan. Berdasarkan Tabel 6 diketahui: 1) Hipotesis 1 ditolak; kualitas sistem tidak berpengaruh terhadap kegunaan yang dirasakan. Mayoritas responden menyatakan bahwa kualitas sistem APTB sudah baik dilihat dari keandalan sistem, kemudahan mengakses informasi dan navigasi. Namun, hal ini ternyata tidak membuat sistem yang telah baik itu dirasakan berguna bagi mereka. Hal ini kemungkinan karena Karya Siswa merasa bahwa dengan ada atau tidaknya APTB, Karya Siswa tetap bisa melaksanakan tugas belajar dengan baik. Hasil ini tidak mendukung penelitian Seddon (Seddon, 1997) dan Cheong dan Park (Cheong & Park, 2005). 2) Hipotesis 2 diterima; kualitas sistem berpengaruh positif dan signifikan terhadap kemudahan yang dirasakan. Sistem yang andal, mudah diakses, dan memiliki navigasi yang baik membuat pengguna merasakan kemudahan dalam penggunaan APTB. Hubungan positif menunjukkan semakin tinggi kualitas sistem, semakin tinggi kemudahan yang dirasakan pengguna. Hasil ini sesuai dengan penelitian Seddon (Seddon, 1997) dan Cheong dan Park (Cheong & Park, 2005). 15
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
3) Hipotesis 3 diterima; kualitas informasi berpengaruh positif dan signifikan terhadap kemudahan yang dirasakan. APTB menyediakan informasi terkait tugas belajar dengan cukup baik walaupun dirasa belum up to date, sehingga pengguna merasa bahwa APTB bisa berguna untuk memperoleh informasi yang dibutuhkan. Hubungan positif menunjukkan semakin tinggi kualitas informasi, semakin tinggi kegunaan yang dirasakan pengguna. Hasil ini mendukung penelitian Seddon (Seddon, 1997) dan Shih (Shih, 2004). 4) Hipotesis 4 diterima; kualitas informasi berpengaruh positif dan signifikan terhadap kemudahan yang dirasakan. Informasi yang disediakan APTB dianggap cukup lengkap dan ditata dengan baik, sehingga pengguna merasa mudah dalam pencarian informasi dengan APTB. Hubungan positif menunjukkan semakin tinggi kualitas informasi, semakin tinggi kemudahan yang dirasakan. Hasil ini mendukung penelitian Seddon (Seddon, 1997) dan Shih (Shih, 2004). 5) Hipotesis 5 diterima; kualitas layanan berpengaruh positif dan signifikan terhadap kegunaan yang dirasakan. Semakin baik layanan yang diberikan, semakin tinggi persepsi pengguna atas kegunaan APTB. Hasil penelitian ini mendukung hasil penelitian Ahn et al. (Ahn et al., 2007). 6) Hipotesis 6 ditolak; kualitas layanan tidak berpengaruh terhadap kemudahan yang dirasakan. Hasil penelitian menunjukkan bahwa kualitas layanan yang diberikan oleh penyedia layanan masih kurang baik. Penyedia layanan masih belum mampu memberikan layanan yang andal, cepat tanggap, memiliki pengetahuan yang baik, dan penuh empati, sehingga belum bisa mempengaruhi persepsi pengguna bahwa APTB mudah untuk digunakan/dioperasikan. Pengguna kurang yakin akan mendapatkan bantuan dari penyedia layanan jika menemui kesulitan dalam pengoperasian APTB. Hasil ini tidak mendukung penelitian Ahn et al. (Ahn et al., 2007). 7) Hipotesis 7 diterima; kemudahan yang dirasakan berpengaruh positif dan signifikan terhadap kegunaan yang dirasakan. APTB dikembangkan dengan cukup baik dalam hal kemudahan pengoperasiannya. Semakin tinggi kemudahan yang dirasakan, maka semakin tinggi kegunaan yang dirasakan pengguna. Hasil ini mendukung penelitian Adams et al. (Adams et al., 1992), Igbaria et al.(Igbaria et al., 1995), serta Mao dan Palvia (Mao & Palvia, 2006). 8) Hipotesis 8 diterima; kegunaan yang dirasakan berpengaruh positif dan signifikan terhadap kepuasan pengguna. Pengguna mengharapkan sistem informasi yang berguna. Ketika harapan ini terpenuhi pengguna akan merasa puas dan sebaliknya. Meskipun dianggap belum bisa meningkatkan produktivitas dan kinerja, APTB dianggap mampu membuat pekerjaan menjadi lebih mudah, sehingga pengguna merasa cukup puas. Hasil ini mendukung penelitian Mahmood et al. (Mahmood et al., 2000). 9) Hipotesis 9 diterima; kemudahan yang dirasakan berpengaruh positif dan signifikan terhadap kepuasan pengguna. Ada persepsi awal dari pengguna bahwa APTB mudah dioperasikan sehingga mempengaruhi perasaan pengguna menuju arah kepuasan terhadap APTB. Semakin baik kemudahan yang dirasakan oleh pengguna, semakin tinggi kepuasan yang dirasakan. Hal ini sejalan dengan hasil penelitian Mahmood et al. (Mahmood et al., 2000). 10) Hipotesis 10 diterima; kepuasan pengguna berpengaruh positif dan signifikan terhadap manfaat-manfaat bersih. Hubungan positif antara kedua variabel mengindikasikan bahwa semakin tinggi kepuasan pengguna, semakin tinggi pula manfaat-manfaat bersih yang dirasakan oleh pengguna dan organisasi. Hal ini sejalan dengan penelitian DeLone dan McLean (DeLone & McLean, 2003). 5. KESIMPULAN Secara keseluruhan, kesuksesan implementasi APTB dipengaruhi secara positif dan signifikan oleh faktor kualitas sistem, kualitas informasi, kualitas layanan, kegunaan yang dirasakan, kemudahan yang dirasakan, serta kepuasan pengguna. Semakin tinggi nilai variabel-variabel tersebut, akan semakin tinggi tingkat kesuksesan sistem APTB. Kepuasan pengguna sangat mempengaruhi dan menentukan manfaat-manfaat bersih dari implementasi APTB. Semakin tinggi kegunaan/manfaat dan kemudahan yang dirasakan dalam penggunaan sistem, maka semakin tinggi pula tingkat kepuasan penggunanya. Kualitas sistem tidak berpengaruh signifikan terhadap kegunaan yang dirasakan, dan kualitas layanan tidak berpengaruh signifikan terhadap kemudahan yang dirasakan. Implementasi APTB di BPK belum dapat dikatakan sukses karena kepuasan pengguna tergolong “tinggi” cenderung “sedang” dan manfaat-manfaat bersih masih dalam kategori “sedang”. Pengguna merasa bahwa APTB belum cukup memuaskan dan belum memenuhi harapan pengguna. Pengguna juga masih belum merasakan sistem ini dapat meningkatkan efektivitas pekerjaan dan mendukung komunikasi antar unit kerja. Saran peneliti untuk meningkatkan kesuksesan implementasi APTB antara lain Biro SDM harus secara total menggunakan APTB untuk seluruh proses pengelolaan tugas belajar di BPK, sehingga mendorong Karya Siswa untuk menggunakan APTB sejak awal sampai selesai tugas belajar. Perlu penambahan beberapa fitur ke dalam sistem untuk mengakomodasi seluruh proses pengelolaan tugas belajar. Dengan demikian diharapkan persepsi pengguna terhadap manfaat APTB akan meningkat. Kualitas sistem dan kualitas layanan perlu ditingkatkan. 16
Seminar Nasional Informatika 2014 (semnasIF 2014) UPN ”Veteran” Yogyakarta, 12 Agustus 2014
ISSN: 1979-2328
Saran untuk penelitian selanjutnya dapat melibatkan beberapa variabel tambahan yang belum diperhitungkan dalam penelitian ini. DAFTAR PUSTAKA Adams, D. A., Nelson, R. R., & Todd, P. A. (1992). Perceived Usefulness, Ease of Use, and Usage of Information Technology: A Replication. MIS Quarterly, 16(2), 227–247. Ahn, T., Ryu, S., & Han, I. (2007). The impact of Web quality and playfulness on user acceptance of online retailing. Information & Management, 44(3), 263–275. Cheong, J. H., & Park, M.-C. (2005). Mobile Internet Acceptance in Korea, 15(2), 125–140. doi:10.1108/10662240510590324 Davis, F. D. (1985). A Technology Acceptance Model for Empirically Testing New End-user Information Systems: Theory and Results. Massachusetts Institute of Technology. Davis, F. D. (1989). Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, 13(3), 319–340. Davis, F. D. (1993). User Acceptance of Information Technology: System Characteristics, User Perceptions and Behavioral Impacts. Int. J. Man-Machine Studies, 38(3), 475–487. DeLone, W. H., & McLean, E. R. (1992). Information Systems Success: The Quest for the Dependent Variable. Information Systems Research, 3(1), 60–95. DeLone, W. H., & McLean, E. R. (2003). The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4), 9–30. Gefen, D. (2002). Customer Loyalty in E-Commerce. Journal of the Association for Information Systems, 3(1), 27–51. Ghozali, I. (2011). Structural Equation Modelling Metode Alternatif dengan Partial Least Square (PLS) (3rd ed.). Semarang: Badan Penerbit Universitas Diponegoro. Hair, J. F., Ringle, C. M., & Sarstedt, M. (2011). PLS-SEM: Indeed A Silver Bullet. Journal of Marketing Theory and Practice, 19(2), 139–151. Igbaria, M., Guimaraes, T., & Davis, G. B. (1995). Testing the Determinants of Microcomputer Usage via a Structural Equation Model. Journal of Management Information Systems, 11(4), 87–114. Jogiyanto HM. (2011). Konsep dan Aplikasi Structural Equation Modeling Berbasis Varian dalam Penelitian Bisnis. Yogyakarta: Unit Penerbit dan Percetakan STIM YKPN Yogyakarta. Mahmood, M. A., Burn, J. M., Gemoets, L. A., & Jacquez, C. (2000). Variables Affecting Information Technology End-User Satisfaction: A Meta-Analysis of The Empirical Literature. International Journal of Human-Computer Studies, 52, 751–771. Mao, E., & Palvia, P. C. (2006). Testing an Extended Model of IT Acceptance in the Chinese Cultural Context. SIGMIS Database, 37(2-3), 20–32. McKinney, V., Yoon, K., & Zahedi, F. “Mariam.” (2002). The Measurement of Web-Customer Satisfaction: An Expectation and Disconfirmation Approach. Information Systems Research, 13(3), 296–315. Moeller, R. R. (2010). IT Audit, Control, and Security. Wiley. O’Brien, J., & Marakas, G. (2007). Management Information Systems. McGraw-Hill Education. Palvia, P. C. (1996). A Model and Instrument for Measuring Small Business User Satisfaction with Information Technology. Information & Management, 31(3), 151–163. Parasuraman, A., Zeithaml, V., & Berry, L. (1985). A Conceptual Model of Service Quality and Its Implications for Future Research. The Journal of Marketing, 49(4), 41–50. Perry, B. (2006). CIMA Learning System 2007 Organisational Managementand Information Systems. Elsevier Science & Technology Books. Seddon, P. B. (1997). A Respecification and Extension of the DeLone and McLean Model of IS Success. Information Systems Research, 8(3), 240–253. Segars, A. H., & Grover, V. (1993). Re-examining Perceived Ease of Use and Usefulness. MIS Q., 17(4), 517– 525. Shih, H.-P. (2004). An Empirical Study on Predicting User Acceptance of e-Shopping on the Web. Information & Management, 41(3), 351–368. Wixom, B. H., & Todd, P. A. (2005). A Theoretical Integration of User Satisfaction and Technology Acceptance. Information Systems Research, 16(1), 85–102. Yusof, M. M., Paul, R. J., & Stergioulas, L. K. (2006). Towards a Framework for Health Information Systems Evaluation. In Proceedings of the 39th Annual Hawaii International Conference on System Sciences, 2006. HICSS ’06 (Vol. 5, p. 95a–95a).
17
