Jurnal ILMU DASAR Vol. 11 No. 1, Januari 2010 : 83 –91
83
OLS, LASSO dan PLS Pada data Mengandung Multikolinearitas OLS, LASSO dan PLS Pada data Mengandung Multikolinearitas Yuliani Setia Dewi Jurusan Matematika FMIPA Universitas Jember
ABSTRACT Correlation between predictor variables (multicollinearity) become a problem in regression analysis. There are some methods to solve the problem and each method has its own complexity. This research aims to explore performance of OLS, LASSO and PLS on data that have correlation between predictor variables. OLS establishes model by minimizing sum square of residual. LASSO minimizes sum square of residual subject to sum of absolute coefficient less than a constant and PLS combine principal component analysis and multiple linear regression. By analyzing simulation and real data using R program, results of this research are that for data with serious multicollinearity (there are high correlations between predictor variables), LASSO tend to have lower bias average than PLS in prediction of response variable. OLS method has the greatest variance of MSEP, that is mostly not consistent in estimating the Mean Square Error Prediction (MSEP). MSEP that is resulted by using PLS is less than that by using LASSO. Keywords : OLS, LASSO, PLS, bias, MSEP, multicollinearity PENDAHULUAN Dalam analisis regresi, terkadang kita jumpai kondisi terdapatnya korelasi antar variabel bebas (variabel prediktor) atau yang biasa disebut dengan istilah multikolinearitas. Multikolinearitas menjadi suatu masalah dalam analisis regresi, terutama dalam regresi linear standar (OLS). Adanya multikolinearitas yang tinggi tidak memungkinkan melihat pengaruh variabel bebas terhadap variabel respon secara terpisah (Gujarati 1992). Terdapat beberapa metode untuk mengatasi masalah multikolinearitas ini. Masing-masing metode mempunyai kekomplekan. Metodemetode yang diusulkan untuk mengatasi masalah multikolinearitas tersebut antara lain LASSO dan PLS. PLS dapat digunakan untuk pemodelan yang mengandung sejumlah besar regressor/varilabel bebas. PLS pertama kali populer penerapannya dalam bidang kemometrik (Geladi 1992). Kemudian berkembang dan digunakan dalam bidangbidang lain. Datta (2001) menggunakan PLS untuk konteks data microarray. Namun demikian, meskipun metode ini sudah lama diperkenalkan (tahun 1960an) sifat-sifat statistikanya relatif baru dipelajari (Frank & Friedman 1993). Metode regresi lain yang baru-baru ini populer adalah Least Absolute Shrinkage & Selection Operator (LASSO), diusulkan oleh Tibshirani pada tahun 1996.
Efron (2004) memperkenalkan skema regresi yang lebih umum dengan nama Least Angle Regression (LAR) yang melibatkan LASSO sebagai salah satu di dalamnya. Datta et al. (2007) menggunakan metode PLS dan LASSO untuk memodelkan waktu daya tahan hidup pasien dalam konteks data microarray tersensor. Regresi PLS merupakan teknik baru yang menjeneralisasi dan mengkombinasikan analisis komponen utama dan regresi berganda (Abdi 2006). PLS mereduksi dimensi variabel-variabel penjelas asal melalui pembentukan variabel-variabel laten dengan dimensi yang lebih kecil yang merupakan kombinasi linier dari variabel-variabel penjelas asal, kemudian metode kuadrat terkecil diaplikasikan pada variabel-variabel baru tersebut. Sedangkan LASSO merupakan teknik regresi yang melakukan pendugaan dengan meminimumkan jumlah kuadrat error p
dengan suatu kendala L1,
∑ βˆ
j
≤ s dengan s
j =1
adalah parameter tuning yang ditentukan oleh pengguna. Karena kendala tersebut, LASSO mengurangi sejumlah koefisien dengan membuatnya menjadi 0. Berdasarkan hal-hal tersebut di atas, dengan adanya korelasi antara variabel-variabel bebas (multikolinearitas) dan kaitannya dengan metode-metode untuk mengatasi multikolinearitas, dengan menggunakan data
84
OLS, LASSO dan.............(Yuliani Setia Dewi)
simulasi dan data riil, penelitian ini bertujuan untuk mengetahui performance metode ”Ordinary Least Square” (OLS), ”Partial Least Squares” (PLS) dan “Least Absolute Shrinkage And Selection Operator” (LASSO), ketepatan dan ketelitian metode-metode tersebut dalam menduga model.
Least Absolute Shrinkage and Selection Operator (LASSO) LASSO diperkenalkan oleh Tibshirani (1996), merupakan teknik regresi penyusutan yang berguna dalam hal yang berurusan dengan sejumlah besar regressor (variabel prediktor). LASSO menduga
model linier Yˆ = βˆ0 +
p
∑ βˆ X j
j
melalui maksimisasi
j =1
METODE
jumlah
kuadrat
n
Multikolinearitas Multikolinearitas dikatakan ada ketika terdapat 2 atau lebih variabel bebas yang digunakan dalam regresi saling berkorelasi (Mendenhall & Sincich 1996). Salah satu cara untuk mendeteksi multikolinearitas dengan menggunkan Variance Inflation Factor (VIF).
VIFj =
1 1 − Rj
2
VIF merupakan unsur-unsur diagonal utama matriks
C = ( X'X )
korelasi
−1
2
dengan
Rj
merupakan koefisien determinasi yang didapat dari variabel bebas Xj diregresikan terhadap p variabel bebas lain. Jika Xj tidak berkorelasi dengan variabel 2
bebas lain, maka R j akan bernilai kecil dan VIFj Sebaliknya jika Xj mempunyai
mendekati 1.
2
korelasi dengan variabel bebas lain, maka R j akan mendekati 1 dan VIFj menjadi besar. Jika nilai VIFj lebih dari 10,maka ini menunjukkan data mengalami masalah multikolinearitas (Montgomery & Peck 1991) Ordinary Least Square (OLS) Misal hubungan antara variabel respon (Y) dan variabel bebas (X) dirumuskan dengan Y = Xβ + ε , dengan Y adalah vektor pengamatan berordo (nx1), X adalah variabel bebas berordo (nx(p+1)), β adalah koefisien regresi berordo ((p+1)x1) dan ε adalah vektor variabel random berordo (nx1). Pendugaan koefisien regresi dengan metode kuadrat terkecil dengan meminimumkan jumlah kuadrat sisa n
(
p
∑Y − β − ∑ β X i
i =1
0
j
2
ij
) .
j =1
Jika X’X tidak singular maka solusi dari penduga
(
' kuadrat terkecil dari β adalah βˆ = X X
(
2 ' var ( βˆ ) = σ X X
)
−1
)
−1
'
X Y dan
dengan σ2 diduga dari varian
sisaan yang diperoleh dari Mean Square Error ' ' ' Y Y − βˆ X Y (MSE), MSE = n − p −1
(
∑Y − β − ∑ β X i
i =1
sisaan
p
j
0
2
ij
) dengan
mengacu
pada
j =1 p
suatu kendala L1,
∑ βˆ
j
≤ s . Karena kendala
j =1
tersebut, LASSO mengurangi sejumlah koefisien dengan membuatnya menjadi 0. Efron (2004) memperkenalkan skema regresi yang lebih umum dengan nama Least Angle Regression (LAR), yang melibatkan LASSO sebagai salah satu di dalamnya. Algoritmanya dimulai dengan model trivial dengan semua koefisien β dijadikan nol. Kemudian variabel-variabel yang paling berkorelasi dengan sisaan pada tahap sebelumnya ditambahkan. Jumlah variabel yang dilibatkan dalam model, berkaitan dengan pemilihan parameter tuning s. Ukuran numerik s disarankan berdasarkan hasil cross validasi (Datta et al. 2007). Partial Least Square (PLS) Regresi PLS merupakan teknik yang menjeneralisasi dan mengkombinasikan sifat-sifat dari analisis komponen utama dan regresi berganda (Abdi 2006). Tujuannya adalah menduga atau menganalisa variabel-variabel tak bebas dari variabel-variabel bebas atau variabel prediktor. PLS diperkenalkan oleh Herman Wold dkk pada tahun 1960 an dan kemudian menjadi populer dalam bidang kemometrik dan juga digunakan dalam bidangbidang lain. Regresi PLS terutama berguna untuk menduga variabel-variabel tak bebas dari sejumlah besar variabel-variabel bebas (variabel-variabel prediktor). Dalam hal seperti itu PLS mereduksi dimensi variabel-variabel penjelas asal dengan cara membentuk variabel-variabel laten yang merupakan kombinasi linier dari variabel-variabel penjelas asal dengan dimensi yang lebih kecil. Kemudian regresi OLS diaplikasikan terhadap variabel-variabel baru tersebut (Datta et al. 2007). Misal Y merupakan variabel respon tunggal dan X1, X2,...,Xp merupakan p variabel prediktor. Pertama-tama vektor X.j = (X1j,...,Xnj)’, 1≤ j ≤ p dan Y = (Y1, ...,Yn) dibakukan. Kemudian p variabel X1, X2,..., Xp direduksi menjadi faktor-faktor laten (t(k)) ortogonal, (t(k)) = (X1,X2,...,Xp) c(k) untuk k = 1,2,...,q dengan q adalah parameter tuning. Dalam praktek, cross validasi telah direkomendasikan untuk memilih q (Datta et al. 2007).
Jurnal ILMU DASAR Vol. 11 No. 1, Januari 2010 : 83 –91
Parameter tuning q lebih kecil daripada p dan n sehingga Y dapat diregresikan terhadap t(1),..., t(q) menggunakan regresi linier OLS. Variabel-variabel t(k) dibentuk secara rekursiv dari variabel-variabel Xj, 1≤ j ≤ p, demikian juga dengan Y melalui suatu cara sebagai berikut : setelah diperoleh t(1),..., t(k-1), dicari vektor konstanta ck yang mempunyai panjang satu sehingga kombinasi linier t(k) = (X1,X2,...,Xp) c(k) ortogonal untuk semua t(i) sebelumnya ({t(k)}’ t(i) = 0, i < k) dan ({t(k)}’Y dengan Y mempunyai kovarian terbesar. Setelah q faktor laten ditemukan, Y diregresikan terhadap t(1),..., t(q) dalam bentuk Yˆ =
q
∑ γˆ t k
(k )
Misal βˆ = Cγˆ dengan C adalah
.
k =1
matriks dengan kolom c(1), c(2),..., c(q) maka dapat diperoleh Yˆ =
p
∑ βˆ X j
j
, hubungan yang dapat
j =1
dengan mudah diekspresikan kembali ke dalam variabel X dan Y asal. Langkah-langkah untuk mencapai tujuan Untuk mencapai tujuan, penelitian ini menggunakan data simulasi dan data riil. Data simulasi diperoleh dengan membangkitkan variabel-variabel (prediktor dan respon) berukuran n = 100 dan p = 10 berdistribusi normal. Terdapat dua jenis data simulasi yang dibangkitkan. Data simulasi 1 berukuran n = 100 dan p = 10 dan terdapat korelasi tinggi diantara variabel prediktor. Parameter yang digunakan untuk membangkitkan variabel respon adalah (1,0 ; 4,0 ; 3,0; 2,0 ; 1,5 ; 1,0 ; 1,0 ; 4,0 ; 3,0 ; 2,0 ;1,5 ). Dengan ukuran yang sama data simulasi 2 dibangkitkan dan terdapat korelasi sedang diantara variabel prediktor. Parameter yang digunakan untuk membangkitkan variabel respon pada data simulasi 2 adalah (10,0; 4,0; 3,0; 2,0; 1,5 0,0; 2,0; 1,2; 6,0; 2,3; 0,0 ). Sedangkan data riil yang digunakan berasal dari data pendapatan petani pisang peserta Kelompok Usaha Bersama Agribisnis di Kecamatan Ajung Kabupaten Jember tahun 1998 dengan variabel responnya adalah pendapatan (rupiah). Variabel-variabel prediktornya adalah X1 = umur, X2 = jumlah anggota keluarga, X3 = luas lahan (Ha), X4 = biaya produksi (rupiah), X5 = produksi dan X6 = harga jual (rupiah). Berdasarkan data-data tersebut di atas, metode OLS, LASSO dan PLS digunakan untuk menduga parameter. Metode OLS menduga parameter dengan meminimumkan jumlah kuadrat sisa yaitu n
meminimumkan (
(
0
i
j
2
ij
) , sehingga
j =1
βˆ = X X '
)
−1
'
X Y . LASSO menduga
parameter dengan meminimumkan jumlah kuadrat n
sisa ( (
∑ i =1
p
∑ βˆ
j
≤ s , dengan s adalah parameter penyusutan
j =1
yang ditentukan oleh pengguna. Ukuran numerik s diperoleh melalui proses cross validasi. Sedangkan PLS menduga parameter dengan terlebih dahulu membentuk variabel baru (variabel laten) dengan dimensi yang lebih kecil dari dimensi variabelvariabel prediktor, kemudian meregresikan variabelvariabel tersebut terhadap variabel respon. Pemilihan dimensi variabel laten diperoleh berdasarkan proses cross validasi. Untuk mengetahui tingkat multikolinearitas variabel-variabel prediktor digunakan kriteria Variance Inflation Factor (VIF). Menurut Montgomery & Pack (1991) data mengalami multikolinearitas serius jika nilai Variance Inflation Factor lebih dari 10.Untuk mencari performance bias dari ketiga metode tersebut dalam menduga variabel respon digunakan ⎛ Yˆ − Yobservasi ⎞ persen bias mutlak ⎜ ⎟ . Untuk mencari ⎝ Yobservasi ⎠ daya ramal ketiga metode tersebut digunakan kriteria Mean Square Error Prediction (MSEP). Pengolahan data dilakukan dengan menggunakan bantuan paket program R versi 2.7.
HASIL DAN PEMBAHASAN Mendeteksi multikolinearitas Multikolinearitas dideteksi menggunakan nilai Variance Inflation Factor (VIF). Tabel 1 menunjukkan nilai Variance Inflation Factor dari masing-masing data yang digunakan.
Tabel 1. Nilai VIF data simulasi. Variabel Prediktor X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
VIF SIMULASI1 72,5 72,2 1,2 1,1 1,1 1,2 1,1 1,1 1,2 1,1
VIF SIMULASI 2 1,7 1,8 1,0 1,0 1,0 1,0 1,1 1,1 1,1 1,1
p
∑Y − β − ∑ β X i =1
diperoleh
85
p
Yi − β 0 −
∑β X j
j =1
2
ij
) ) dengan batasan
Data simulasi 1 dibangkitkan dengan terdapat korelasi yang tinggi antara variabel X1 dan X2 (0,993). Dari tabel di atas nilai Variance Inflation Factor variabel X1 dan X2 sangat besar (VIF = 72,5 untuk X1 dan VIF = 72,2 untuk X2). Jika nilai VIF lebih besar dari 10 artinya terjadi masalah multikolinearitas pada variabel bebas (Montgomery & Peck 1991). Untuk
86
OLS, LASSO dan.............(Yuliani Setia Dewi)
data simulasi 2, data dibangkitkan dengan korelasi sedang antara X1 dan X2 (korelasi = 0,632). Untuk data simulasi 2 tersebut, nilai VIF untuk variabel X1 adalah 1,7 dan nilai VIF untuk variabel X2 adalah 1,8. Berikut ini nilai Variance Inflation Factor (VIF) dari data riil penghasilan petani pisang Desa Ajung Jember. Tabel 2. Nilai VIF data penghasilan petani pisang. Variabel Prediktor X1 X2 X3 X4 X5 X6
VIF 1,3 1,3 24,1 5,2 30,1 1,3
Pendugaan koefisien regresi Metode OLS menduga koefisien regresi dengan meminimumkan jumlah kuadrat sisa yaitu dengan menurunkan fungsi jumlah kuadrat sisa terhadap parameter regresi. Hasil pendugaan koefisien regresi dengan menggunkan OLS untuk data simulasi 1, simulasi 2 dan data riil dapat dilihat pada Tabel 5 sampai Tabel 7 Pendugaan koefisien LASSO dilakukan secara bertahap dengan menetapkan koefisien tahap awal semuanya bernilai 0.Tahapan LASSO dapat dilihat pada gambar1. Pendugaan koefisien regresi LASSO diperoleh dengan menentukan batas yang dibakukan,
yaitu s = t /
βˆ 0j
Untuk data riil, Nilai VIF terbesar dimiliki oleh variabel bebas X5 yaitu 30,1 dan X3 yaitu 24,1. Jadi pada data penghasilan petani pisang terjadi multikolinearitas yang tinggi antara variabel X3 (luas lahan) dan X5 (produksi).
(a)
∑ βˆ
0 j
dengan t =
∑ βˆ
j
dan
adalah penduga kuadrat terkecil untuk
model penuh atau pada gambar ditulis sebagai |beta|/max|beta|. Nilai optimal s dapat diperoleh melalui cross validasi. Melalui proses cross validasi diperoleh bahwa dari data simulasi 1, optimal pada fraction (s = 1), data simulasi 2 optimal pada s = 0,99 dan data penghasilan petani pisang optimal pada s = 0,91 (Gambar 2).
(b)
(c)
Gambar 1. Tahapan Lasso untuk data simulasi 1 (a), data simulasi 2 (b) dan data penghasilan petani pisang (c)
Jurnal ILMU DASAR Vol. 11 No. 1, Januari 2010 : 83 –91
(a)
87
(b)
(c) Gambar 2. Nilai CV untuk data simulasi 1 (a), data simulasi 2 (b) dan data penghasilan petani pisang (c). Tabel 3. Nilai Mean Square Error metode PLS untuk data Simulasi 1 dan 2. Komponen Simulasi 1 Simulasi 2 Intersep 1686,732 (41,48) 448,647 (21,40) Komponen 1 339,689 (19,26) 123,779 (11,50) Komponen 2 54,635 (7,835) 42,928 (7,455) Komponen 3 29,802 (5,833) 29,709 (5,943) Komponen 4 8,361 (3,073) 10,911 (3,784) Komponen 5 6,553 (2,730) 9,461 (3,442) Komponen 6 5,713 (2,544) 6,345 (2,837) Komponen 7 4,339 (2,248) 4,175 (2,286) Komponen 8 4,005 (2,206) 3,709 (2,174) Komponen 9 3,801 (2,164) 3,704 (2,168) Komponen 10 3,701 (2,171) 3,777 (2,158) Keterangan : Nilai dalam tanda kurung merupakan nilai Root Mean Square Error (RMSE) dari Proses Cross Validasi.
88
OLS, LASSO dan.............(Yuliani Setia Dewi)
Dengan demikian, nilai koefisien terpilih untuk data simulasi 1 adalah tahap ke-10, simulasi 2 adalah tahap ke-9 dan untuk data penghasilan petani pisang adalah tahap ke-4 (Gambar 1). Nilai koefisien untuk model terpilih dapat dilihat pada Tabel 5 sampai Tabel 7. Metode PLS menduga koefisien regresi melalui prosedur pemilihan jumlah komponen yang digunakan dalam model dengan Mean Square Error Optimal (dipilih MSE minimum). Nilai-nilai MSE untuk pemilihan koefisien regresi dapat dilihat pada Tabel 3 dan 4. Dari Tabel 3 dapat diketahui bahwa untuk data simulasi 1 model optimal dipilih dengan melibatkan 10 komponen. Hal ini sesuai dengan hasil proses cross validasi. Untuk data simulasi 2 pemilihan model tanpa mempertimbangkan cross validasi, model optimal dipilih dengan melibatkan 10 komponen. Akan tetapi model optimal dengan mempertimbangkan proses cross validasi, model optimal melibatkan 9 komponen. Jadi dalam hal ini, model terpilih melibatkan 9 komponen. Untuk data riil pengahasilan petani pisang, model tanpa mempertimbangkan cross
validasi, model optimal melibatkan 5 komponen, tetapi jika mempertimbangkan cross validasi model optimal melibatkan 3 komponen. Jadi untuk data penghasilan petani pisang model terpilih melibatkan 3 komponen. Nilai koefisien model terpilih untuk masingmasing jenis data dapat dilihat pada tabel 5 sampai Tabel 7. Sedangkan plot dari Root Mean Square Error Prediction (RMSEP) dari proses cross validasi untuk masing-masing jenis data dapat dilihat pada Gambar 3. Tabel 4. Nilai Mean Square Error metode PLS untuk data penghasilan petani pisang dengan 5 komponen. Komponen MSE Intersep 1,038e+12 (1054199) Komponen 1 2,491e+11 (544488) Komponen 2 4,663e+10 (259459) Komponen 3 5,628e+09 (87336) Komponen 4 5,424e+09 (91022) Komponen 5 5,416e+09 (94212) Keterangan : Nilai dalam tanda kurung merupakan nilai Root Mean Square Err.
(b)
(a)
(c) Gambar 3. Plot nilai RMSEP vs komponen untuk data simulasi 1(a) data simulasi 2 (b) dan data penghasilan petani pisang (c).
Jurnal ILMU DASAR Vol. 11 No. 1, Januari 2010 : 83 –91
89
Tabel 5. Nilai koefisien data simulasi 1 (korelasi tinggi). Variabel Prediktor intersep X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
Koefisien asli 1,0 4,0 3,0 2,0 1,5 1,0 1,0 4,0 3,0 2,0 1,5
Pendugaan OLS 5,47200 3,04180 3,44180 2,04456 1,63870 1,40960 3,99546 2,83872 2,06890 1,35841 0,96176
Pendugaan LASSO 5,47200 3,04184 3,44177 2,04456 1,63868 1,40958 3,99546 2,83872 2,06889 1,35841 0,96176
Pendugaan PLS 5,47244 3,04184 3,44177 2,04456 1,63868 1,40958 3,99546 2,83872 2,06889 1,35841 0,96176
Penduga Paling Besar PLS PLS/ LASSO OLS OLS OLS OLS -
Penduga Paling Tepat OLS/LASSO PLS/LASSO PLS/LASSO PLS/LASSO PLS/LASSO OLS -
Tabel 6. Nilai koefisien data simulasi 2 (korelasi sedang). Variabel Prediktor intersep X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
Koefisien asli
Pendugaan OLS
Pendugaan LASSO
Pendugaan PLS
Penduga Paling Kecil
10,0 4,0 3,0 2,0 1,5 0,0 2,0 1,2 6,0 2,3 0,0
28,3500 3,8374 3,4482 1,6284 1,2640 -0,0428 2,0017 1,1225 5,2766 2,2782 0,0352
28,3500 3,8293 3,3920 1,5909 1,2263 0,0000 1,9978 1,1094 5,1711 2,2692 0,0294
27,2636 3,8634 3,3467 1,6251 1,2604 -0,0152 2,0014 1,1244 5,3163 2,2817 0,0348
PLS LASSO LASSO LASSO LASSO LASSO LASSO LASSO LASSO LASSO LASSO
Penduga Paling Tepat PLS PLS PLS OLS OLS LASSO PLS PLS PLS PLS LASSO
Tabel 7. Nilai koefisien data penghasilan petani pisang (korelasi tinggi). Variabel Prediktor intersep X1 X2 X3 X4 X5 X6
Pendugaan OLS
Pendugaan LASSO
Pendugaan PLS
-2573748,00 2220,00 3490,00 -5199,00 -0,09 181,95 8755,50
-2573748,00 1652,07 0,00 0,00 -0,04 174,73 8604,20
-2501297,00 380,98 60,10 -7,71 -0,09 181,49 8817,21
Penduga Paling Besar OLS/LASSO OLS OLS OLS OLS/PLS OLS PLS
90
OLS, LASSO dan.............(Yuliani Setia Dewi)
Ketepatan menduga variabel respon (Dependent Variable) Untuk mengetahui ketepatan dari ketiga metode tersebut dalam menduga variabel respon digunakan rata-rata persen mutlak bias. Tabel 8 menunjukkan persen mutlak bias yang dihasilkan dari data simulasi dengan menggunakan ketiga metode.
Tabel 8. Rata-rata persen mutlak bias dari metode OLS, LASSO dan PLS. • Rata-rata MSEP Model Simulasi 1 • Varian MSEP Model Simulasi 1 • Rata-rata MSEP Model Simulasi 2 • Varian MSEP Model Simulasi 2 • Rata-rata MSEP Model Penghasilan Petani Pisang • Varian MSEP Model Penghasilan Petani Pisang
OLS 4,856
LASSO 4,791
PLS 4,669
2,913
0,007
0,016
4,679
4,766
4,702
2,213
0,011
0,009
1,117 E+10
1,001E+ 10
7,671 E+09
5,825 E+19
5,546E+ 17
1,702 E+17
Dari Tabel 8 di atas dapat diketahui bahwa untuk data yang mengalami masalah multikolinearitas (adanya korelasi tinggi diantara variabel prediktor ) LASSO cenderung memiliki rata-rata tingkat bias yang lebih kecil daripada PLS dalam menduga variabel respon. Daya ramal dan kekonsistenan OLS, PLS dan LASSO Daya ramal suatu model ditunjukkan oleh nilai Mean Square Error Prediction (MSEP) sebagai indikator seberapa baikkah model regresi terpilih bisa meramal amatan di masa akan datang. Semakin kecil nilai MSEP semakin baik model tersebut dalam meramal amatan di masa mendatang. Tabel 9 menunjukkan nilai MSEP dari ketiga metode yang diperoleh dari 10 cross validasi. Dari tabel tersebut dapat diketahui bahwa keragaman dari MSEP OLS selalu lebih besar dibanding yang lain. Hal ini menunjukkan bahwa OLS lebih tidak teliti/tidak konsisten dalam menduga nilai MSEP dibanding lainnya.
Nilai MSEP yang diperoleh dengan menggunakan metode PLS lebih kecil daripada MSEP dari Metode LASSO. Tabel 9. Nilai rata-rata dan varian MSEP dari 10 cross validasi. • Rata-rata MSEP Model Simulasi 1 • Varian MSEP Model Simulasi 1 • Rata-rata MSEP Model Simulasi 2 • Varian MSEP Model Simulasi 2 • Rata-rata MSEP Model Penghasilan Petani Pisang • Varian MSEP Model Penghasilan Petani Pisang
OLS 4,856
LASSO 4,791
PLS 4,669
2,913
0,007
0,016
4,679
4,766
4,702
2,213
0,011
0,009
1,117E +10
1,001E +10
7,671E +09
5,825E +19
5,546E +17
1,702E +17
KESIMPULAN
Dari hasil-hasil yang diperoleh mengenai metode OLS, PLS dan LASSO pada data dalam penelitian ini dengan mengandung multikolinearitas, dapat disimpulkan bahwa: 1. Metode OLS menduga koefisien regresi dengan meminimumkan jumlah kuadrat sisa yaitu dengan menurunkan fungsi jumlah kuadrat sisa terhadap parameter regresi. Pendugaan koefisien LASSO dilakukan secara bertahap dan pada masingmasing tahap dicari nilai s = t / dengan
t = ∑ βˆ j
dan
βˆ 0j
∑ βˆ
0 j
adalah
penduga kuadrat terkecil untuk model penuh, nilai optimal s dapat diperoleh melalui cross validasi. Metode PLS menduga koefisien regresi melalui prosedur pemilihan jumlah komponen yang digunakan dalam model dengan Mean Square Error Optimal (dipilih MSE minimum), MSE optimal diperoleh melalui proses cross validasi.
Jurnal ILMU DASAR Vol. 11 No. 1, Januari 2010 : 83 –91
data yang mengandung 2. Untuk multikolinearitas, PLS dan LASSO cocok digunakan untuk menduga koefisien regresi, memberikan hasil yang lebih tepat dibanding OLS. Metode OLS cenderung menduga koefisien regresi lebih besar dibanding pendugaan menggunakan metode lainnya. 3. Untuk data yang mengalami masalah multikolinearitas (adanya korelasi yang tinggi diantara variabel prediktor ) LASSO cenderung memiliki rata-rata tingkat bias yang lebih kecil daripada PLS dalam menduga variabel respon. 4. Keragaman dari MSEP OLS selalu lebih besar dibanding yang lain. Hal ini menunjukkan bahwa OLS lebih tidak teliti/tidak konsisten dalam menduga nilai MSEP dibanding lainnya. 5. Nilai MSEP yang diperoleh dengan menggunakan metode PLS lebih kecil daripada MSEP dari Metode LASSO DAFTAR PUSTAKA Abdi H. 2006. Partial Least Squares Regression (PLSR). [Online] http://www.statisticssolutions.com/Partial-LeastSquares-Regression [07 Januari 2008].
91
Datta S. 2001. Exploring Relationship in Gene Expression : A Partial Least Square Approach. Gene Expression, 9: 249 – 255 Datta S, Jennifer LR & Somnath D. 2007. Predicting Patient Survival from Microarray Data by Accelerated Failure Time Modeling Using Partial Least Squares and LASSO. Biometrics, 63: 259 – 271. Efron B, Hastie T, Johnstone I & Tibshirani R. 2004. Least Angle Regression (with discussions). Annals of Statistics, 32: 407 – 499. Frank IE & Friedman JH. 1993. A Statistical View of Some Chemometrics Regression Tools (with discussion). Technometrics, 35: 109 – 148. Geladi P. 1992. Wold, Herman, the father of PLS. Chemometrics and Intelligent Laboratory Systems, 15: 1, R7 – R8. Gujarati D. 1992. Ekonometrik Dasar (Terjemahan), Edisi ke-2. Alih Bahasa Zeinn, S. Erlangga, Jakarta. Mendelhall W & Sincich T. 1996. A Second Course in Statistics Regression Analysis, 5th. New Jersey. Montgomery DC & Peck EA. 1991. Introduction to Linear Regression Analysis, New York : John Wiley & Sons. Tibshirani R. 1996. Regression Shrinkage and Selection via the Lasso. Journal of The Royal Statistical Society, Series B, 58: 267 – 288.
