Analisis Regresi 2. Pokok Bahasan : Asumsi sisaan dan penanganannya

Analisis Regresi 2 Pokok Bahasan :

Asumsi sisaan dan penanganannya

Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan asumsi-asumsi yang melandasi analisis regresi linier sederhana dan berganda, efek pelanggarannya, cara pemeriksaan keterpenuhannya, serta prosedur penanganannya. Itasia, Dep. Statistika FMIPA-IPB

Sisaan Sisaan adalah menyimpangnya nilai amatan yi terhadap dugaan nilai harapannya

   E [Y | x i ]  E [Y | x i ]  yi  b0  b1x i

Sisaan untuk suatu amatan ke-i:

Sisaan baku ri

 yi  yˆ i  ei  

Kurang tepat sebab ragam (ei) = s2 (1-hii) Itasia, Dep. Statistika FMIPA-IPB

s yi  yˆi 

s

 ei  yi  yi

Bisa digunakan untuk memeriksa kebenaran i menyebar N(0,1) 

1  x  x 2 i ei n ri  , hii  n 2 s (1  hii )   x  x  k k 1

Informasi-informasi yang Didapat Melalui Sisaan  









Bisa melihat pola sebaran peubah acak Y Melalui sisaan, kita dapat mengetahui apakah asumsi-asumsi yang disyaratkan pada pendugaan dengan MKT dipenuhi atau tidak Melalui sisaan, kita juga dapat menguji parameter regresi, sehingga kita perlu mengetahui sebaran sisaan Melalui sisaan, kita juga bisa melihat apakah model yang kita pilih pas atau tidak Melalui sisaan, kita juga bisa melihat apakah sebuah pengamatan merupakan pencilan atau bukan Melalui sisaan, kita juga bisa melihat apakah sebuah pengamatan merupakan pengamatan berpengaruh atau bukan

Itasia, Dep. Statistika FMIPA-IPB

ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA : 1. Kondisi Gauss-Marcov

1. E[ i ]  0

nilai - harapan/rataan sisaan  nol

2. E[ i ]  var [ ]   2 , ragam sisaan homogen untuk setiap nilai x 2

( homoscedas ticity ) 3. E[ i j ]  0, i  j

sisaan saling bebas/tdk ada autokorelasi

2. Galat menyebar Normal 3. Galat bebas terhadap peubah bebas, cov(x i ,  j )  0, i

4. Tidak ada multikolinieritas pd peubah bebas, cov(x i , x j )  0, i  j


Pentingnya Memenuhi Asumsi dalam Analisis Regresi Sederhana dan Berganda


Sisaan menyebar Normal dengan nilai harapan = 0  diperlukan terutama pada saat pengujian hipotesis dan penyusunan selang kepercayaan bagi parameter  pengaruh pelanggaran asumsi sisaan yang tidak menyebar normal adalah taraf nyatanya tidak akan sesuai (Rawlings, Pantula dan Dickey, 1998).  Asumsi bahwa sisaan menyebar normal tidak terlalu berpengaruh dalam pendugaan parameter regresi dan penguraian total keragaman.


Ragam Sisaan yang Homogen  Ragam sisaan dikatakan homogen/konstan jika Var(e)= E(e2) = 2  Ragam sisaan dikatakan tidak homogen (heteroskedastic) jika ragam sisaannya tidak konstan  Heteroskedasticity pada umumnya terjadi pada data cross-section atau data deret waktu Gambar disamping memperlihatkan : •ragam sisaan yang tidak konstan, ragam cenderung meningkat ketika nilai x meningkat. Itasia, Dep. Statistika FMIPA-IPB

Ragam Sisaan yang Homogen (lanjutan)







Kehomogenan ragam berperan penting terhadap hasil pendugaan dengan MKT Ragam homogen = setiap pengamatan mengandung informasi yang sama penting Ragam homogen mengakibatkan presisi penduga bagi MKT tinggi


Akibat Pelanggarann Asumsi Ketidakhomogenan Ragam (1) 





Asumsi kehomogenan/kesamaan ragam (homoscedasticity) memainkan peranan yang sangat penting di dalam pendugaan dengan metode kuadrat terkecil.

Asumsi ini berimplikasi bahwa setiap pengamatan pada peubah respon mengandung informasi yang sama penting sehingga seluruh pengamatan di dalam metode kuadrat terkecil mendapatkan bobot yang sama. Ketidakhomogenan ragam (heteroscedasticity) mengakibatkan beberapa pengamatan mengandung informasi yang lebih dibandingkan yang lain. Dengan demikian, pengamatan tersebut seharusnya mendapatkan bobot yang lebih besar dibandingkan pengamatan yang lain (Rawlings, Pantula dan Dickey 1998).


Akibat Pelanggarann Asumsi Ketidakhomogenan Ragam (2) 



Sifat dari penduga metode kuadrat terkecil yaitu takbias terbaik (memiliki ragam penduga yang minimum) sangat tergantung dari asumsi ini. Pembobotan yang sama, sebagaimana pada metode kuadrat terkecil, tidak akan menghasilkan penduga dengan ragam minimum, apabila ragamnya tidak sama. Karena itu, pengaruh dari tidak dipenuhinya asumsi ini adalah presisi/kecermatan dari penduga metode kuadrat terkecil menjadi lebih kecil jika dibandingkan dengan penduga yang mengakomodir ketidakhomogenan ragam tersebut (Rawlings, Pantula dan Dickey, 1998).


Sisaan Saling Bebas 



Sisaan saling bebas = sisaan tidak memiliki korelasi (korelasinya sama dengan nol) Sisaan yang berkorelasi mungkin disebabkan karena beberapa hal. Data yang dikumpulkan berdasarkan urutan waktu tertentu seringkali memiliki sisaan yang saling berkorelasi. Pada data seperti ini, sisaan dari pengamatan pada waktu tertentu cenderung untuk berkorelasi dengan sisaan yang berdekatan.


Sisaan saling berkorelasi 



Pengaruh adanya sisaan yang saling berkorelasi ini adalah berkurangnya presisi pada penduga metode kuadrat terkecil, serupa dengan pengaruh ketidakhomogenan ragam. Dugaan MKT tetap tidak bias tapi standar error-nya bias ke bawah (under estimate)


Pemeriksaan Sisaan


Mendeteksi Sisaan Menyebar Normal



Eksplorasi :  



histogram sisaan plot normal

Uji formal :  

Uji Kolmogorov Smirnov Uji Lillifors


Histogram Sisaan untuk: Pemeriksaan Bentuk Sebaran Tebaran sisaan dan histogram di samping untuk melihat : BENTUK SEBARAN SISAAN, simetri atau tidak

Histogram Sisaan Normal

4

Frekuensi

3

2

1

0

-3


-2

-1

0 Sisaan

1

2

3

HASIL DIAGNOSA : Sebaran sisaan agak menjulur ke kanan

Plot Sisaan untuk: Pemeriksaan Sebaran Normal Plot sisaan terhadap peluang Normal untuk :

Probability Plot of Sisaan Normal - 95% CI

99

Mencocokkan apakah sebaran sisaan merupakan sebaran Normal atau tidak. Ya jika pola tebaran membentuk garis lurus

95

Peluang normal

90 80 70 60 50 40 30

Hasil Diagnosa : bisa dianggap lurus  menyebar Normal

20 10 5

1

-4

-3

-2


-1

0 1 Sisaan

2

3

4

5

Uji Kolmogorov-Smirnov 

Hipotesis H0: Sisaan menyebar normal H1: Sisaan tidak menyebar normal





Statistik uji Kolmogorov-Smirnov (D) dapat dirumuskan sebagai: Statistik uji Kolmogorov-Smirnov berasal dari kelas supremum statistik fungsi distribusi empiris (empirical distribution function (EDF))


Uji Kolmogorov-Smirnov 



Statistik ini berdasarkan maksimum jarak vertikal antara F(x) dan Fn(x). Statistik uji Kolmogorov-Smirnov dihitung dari nilai maksimum D+ dan D-, dimana D+ adalah jarak vertikal terbesar antara F(x) dan Fn(x) ketika Fn(x) lebih besar dari F(x) dan D- adalah jarak vertikal terbesar ketika Fn(x) lebih kecil dari F(x)


Uji Lilliefors 





Uji Lilliefors merupakan adaptasi dari uji Kolmogorov-Smirnov Hipotesis yang digunakan sama dengan hipotesis yang diujikan pada uji KolmogorovSmirnov Uji ini relatif lemah dan data yang diperlukan juga cukup besar agar kita dapat menolak hipotesis kenormalan sisaan.


Uji Lilliefors Tahapan Uji Lilliefors adalah: 1. Dugalah nilai tengah dan ragam populasi berdasarkan data yang kita miliki 2. Kemudian carilah nilai perbedaan maksimum antara fungsi sebaran empiris (EDF) dan fungsi sebaran kumulatif (CDF) distribusi normal dengan nilai tengah dan ragam yang telah diduga. Seperti halnya uji Kolmogorov-Smirnov, nilai ini akan menjadi nilai uji statistik 3. Pada tahapan yang terakhir akan diputuskan apakah perbedaan itu cukup besar dan signifikan secara statistik. 


Uji Lilliefors 

Tahapan yang ketiga ini sedikit lebih sulit dibandingkan dengan uji Kolmogorov-Smirnov karena fungsi sebaran kumulatif semakin mendekati data. Hal tersebut dikarenakan nilai dugaan-nya berdasarkan data tersebut, perbedaan maksimumnya menjadi lebih kecil jika dibandingkan apabila Ho yang hanya memiliki satu distribusi normal. Oleh karena itu diperlukan distribusi null dari statistik uji, yaitu distribusi peluang yang mengasumsikan Ho benar. Inilah yang disebut dengan distribusi Lilliefors. Tabel nilai dari distribusi Lilliefors telah dihitung dengan menggunakan metode Monte Carlo.


Mendeteksi Ragam Sisaan Homogen 





Eksplorasi :  Plot antara sisaan dengan dugaan respon Plot antara sisaan dengan peubah-peubah bebas disarankan untuk dipergunakan karena ketidakhomogenan ragam sisaan terkadang juga disebabkan ragam sisaan tersebut merupakan fungsi dari peubah bebas. Apabila ragam sisaan homogen, maka seharusnya plot antara sisaan tersebut tidak memiliki pola apapun


Plot Sisaan untuk : Pemeriksaan Kehomogenan Ragam Plot SISAAN vs Y duga Pada tebaran sisaan terhadap nilai dugaan Y dapat dilihat : - Sisaan di sekitar nilai nol / tidak  nilai harapan - Lebar pita sisaan sama atau tidak untuk semua nilai dugaan  kehomogenan ragam - Tebaran berpola atau tidak  ketidakpasan model  sisaan bebas atau tidak

Plot Sisaan vs y_duga 3

2

sisaan

1

0

-1

-2 7.0

7.5

8.0

8.5 y_duga

9.0

9.5

Kondisi Gauss-Markov

10.0

10.5

1. E[ i ]  0

 terpenuhi

2. E[ i ]   2  tidak terpenuhi 2


3. E[ i j ]  0, i  j  terpenuhi

Pola Tebaran Sisaan ˆ terhadap Y i Pola tebaran sisaan memenuhi asumsi MKT: berpusat di NOL, lebar pita sama, tidak berpola

Pola tebaran sisaan yang tidak memenuhi asumsi MKT: Ragam tidak homogen (perlu analisis kuadrat terkecil terboboti; atau transformasi thdp Y) Penyimpangan terhadap persamaan regresi bersifat sistematis; atau karena tdk disertakannya  0 kedalam model

Model tidak pas (perlu suku-suku lain dalam model atau transformasi thdp Y) Itasia, Dep. Statistika FMIPA-IPB

Pemeriksaan kebebasan sisaan


MENDETEKSI SISAAN SALING BEBAS Secara eksploratif Melihat plot antara sisaan dengan urutan sisaan. Jika saling bebas maka tren menyebar secara acak (tidak membentuk pola)  Uji formal  Run Test (Uji Runtunan)  Uji Durbin Watson  Apabila sisaan saling bebas, maka plot plot antara sisaan dengan urutannya tidak akan memiliki pola apapun. 


MENDETEKSI SISAAN SALING BEBAS Uji formal DURBIN-WATSON Hipotesis : H0 : Tidak ada autokorelasi ordo 1 pada sisaan H1 : Ada autokorelasi ordo 1 pada sisaan T Statistik uji : (ˆ  ˆ ) 2 DW 

 t 2

t

t 1

T

2 ˆ   t t 1

keterangan : T = banyak pengamatan Itasia, Dep. Statistika FMIPA-IPB

Penanganan Pelanggaran Asumsi


Cara Mengatasi Ketidak-normalan Sisaan

 



Transformasi terhadap peubah respon

Secara teori, transformasi tersebut ada apabila sebaran dari peubah respon dapat diketahui. Namun demikian, terdapat beberapa transformasi yang umum dipakai, yaitu arcsin, akar kuadrat, logaritma, dan transformasi logistik (Rawlings, Pantula dan Dickey, 1998). Metode Box-Cox dapat digunakan sebagai alternatif penentuan metode transformasi yang terbaik.


Cara Mengatasi Ketidak-normalan Sisaan: Metode Box-Cox 





Transformasi ini dilakukan dengan memangkatkan peubah respon dengan suatu nilai , di mana  merupakan suatu parameter yang ditentukan dari data (Neter, Wasserman dan Kutner, 1990) dan dicobakan pada suatu selang nilai tertentu (di dalam MINITAB 14 selang nilai  yang dicobakan antara -5 sampai dengan 5, untuk  = 0 transformasi berupa loge(Y)). Kriteria yang digunakan untuk menentukan nilai  yang optimal adalah nilai  yang meminimumkan jumlah kuadrat galat regresi dari data respon yang telah ditransformasi tersebut. Transformasi ini berguna untuk mengatasi kemenjuluran sebaran sisaan, ketidakhomogenan ragam sisaan dan ketidaklinieran fungsi regresi. Lebih jauh mengenai transformasi ini dapat dibaca pada Neter, Wasserman dan Kutner (1990) dan Rawlings, Pantula dan Dickey (1998).


Cara Mengatasi Ketidak-normalan Sisaan: Metode Box-Cox

 





Box-Cox Plot of Bobot

Berdasarkan grafik di samping didapatkan nilai  optimal -1.24.

40.0

nilai  standar : ½, 0, -½, -1. Karena itu dikembangkan selang kepercayaan bagi nilai  ini. Pada gambar tersebut, selang kepercayaan bagi  adalah dari -2.97 sampai 0.61. Berdasarkan selang ini, dapat dipilih beberapa nilai  seperti ½, 0, -½ , -1, dan -2


Lower CL

Upper CL Lambda (using 95.0% confidence)

StDev



37.5

Estimate

-1.24

35.0

Lower CL Upper CL

-2.97 0.61

Rounded Value

-1.00

32.5 30.0 27.5 Limit

25.0 -5.0

-2.5

0.0 Lambda

2.5

5.0

Cara Mengatasi Ketidak-homogenan Ragam 

Dua pendekatan yang dilakukan untuk mengatasi masalah ketidakhomogenan ragam ini adalah dengan:  







transformasi peubah respon atau metode kuadrat terkecil terboboti (weighted least square).

Transformasi terhadap peubah respon dilakukan dengan tujuan untuk menjadikan ragam menjadi homogen pada peubah respon hasil transformasi tersebut. Sebaran peluang dari peubah respon ataupun hubungan antara ragam dan rata-ratanya dapat digunakan untuk indikasi pemilihan transformasi yang tepat. Misalnya transformasi arcsin dikembangkan untuk menstabilkan ragam bila peubah responnya menyebar binom


Cara Mengatasi Ketidak-homogenan Ragam 



Sedangkan metode kuadrat terkecil terboboti menggunakan data asli dari peubah respon, hanya saja besarnya pembobotan yang diterapkan terhadap pengamatan relatif terhadap besarnya informasi yang dikandung oleh pengamatan tersebut (Rawlings, Pantula dan Dickey 1998). Pembobot yang biasanya digunakan adalah 1/ei2 atau kebalikan dari kuadrat sisaan.


Transformasi terhadap Y


Transformasi untuk : Menghomogenkan Ragam Transformasi terhadap peubah respon Y Anggap :  2  a b 1 Y 1 b  3  Y*  Y b  2  Y*  ln Y

jika b  4  Y* 

b  1  Y*  Y


Setelah respon Y ditransformasi, lakukan analisis regresi seperti biasa, sisaan harus diperiksa lagi, jika masih belum memenuhi asumsi, model diubah, kemungkinan ada suku nonlinier yg belum masuk model, atau lakukan pendugaan dg MKT terboboti.

Contoh Transformasi untuk Menghomogenkan Ragam Plot Sisaan vs Y duga “data asli”

Plot Sisaan vs

Residuals Versus the Fitted Values

Yˆ “data transformasi Y*= Y “

Residuals Versus the Fitted Values

(response is Y)

(response is akar Y)

1,0

10

0,5

Residual

Residual

5

0

0,0

-0,5

-5 -1,0 -10 -1,5 5

10

15 Fitted Value


20

25

2,5

3,0

3,5 4,0 Fitted Value

4,5

5,0

Mengatasi Sisaan yang Tidak Saling Bebas  



Model deret waktu Metode kuadrat kecil terampat Metode ini pengembangan dari MKT terboboti, dimana bobot yang digunakan ialah keseluruhan matriks ragam-peragam sisaan. Prosedur Hildreth-Lu


Pola Tebaran Sisaan terhadap Urutan Waktu Pengaruh waktu jangka panjang tidak mempengaruhi data. 

Pola tebaran sisaan yang menginformasikan bahwa pengaruh waktu belum diperhitungkan Ragam tidak homogen (perlu analisis kuadrat terkecil terboboti)

Suatu suku linier dalam waktu harus ditambahkan ke dalam model Suku linier dan kuadratik dalam waktu perlu ditambahkan ke dalam model Itasia, Dep. Statistika FMIPA-IPB

Plot Sisaan untuk: Pemeriksaan Pengaruh Waktu Plot sisaan terhadap urutan waktu yg jaraknya sama.

Scatterplot of RESI1 vs urutan 2

Perhatikan :  lebar pita sama/tidak  berpola/tidak

RESI1

1

0

Hasil Diagnosa :

-1

-2 0

2

4


6 urutan

8

10

12

• Lebar pita sama  homogen • Tebaran tidak membentuk pola  tidak perlu ditambahkan pengaruh waktu ke dalam model

Nilai PRESS

(lanjutan)

Dugaan garis regresi dg data lengkap Dugaan garis regresi tanpa amatan ke-3 PRESS = 23,6210

R-Sq(pred) = 42,70%

PRESS = 0,000174853

Fitted Line Plot

R-Sq(pred) = 100,0%

Fitted Line Plot

Y = 3,002 + 0,4997 X

Y tnp 3 = 4,006 + 0,3453 X tnp 3

13

9

12 11

8

10 Y

Y tnp 3

9 8

7

7

6

6 5 4

5 5,0

7,5

10,0 X

12,5

15,0

5,0

7,5

10,0 X tnp 3

12,5

Semakin kecil nilai PRESS-nya  model semakin valid  semakin baik untuk memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS Itasia, Dep. Statistika FMIPA-IPB

15,0

Analisis Regresi 2. Pokok Bahasan : Asumsi sisaan dan penanganannya

Recommend Documents