Analisa Regresi Dua Variabel: Estimasi Tjipto Juwono, Ph.D.
April 22, 2016
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
1 / 26
PRF vs SRF
Apa Perbedaan PRF dan SRF Population Regression Function Diperoleh dari populasi dengan dengan cara menghubungkan semua conditional mean. Sample Regression Function Diperoleh dari sample dengan cara metode least squares
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
2 / 26
PRF vs SRF
Gambar 1: Populasi terdiri dari 60 keluarga terbagi atas 10 income groups
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
3 / 26
Mean Values Vs Fixed Values
Gambar 2: Grafik E(Y |X) vs X. Populasi terdiri dari 60 keluarga terbagi atas 10 income groups TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
4 / 26
Sampel
Gambar 3: Sampel-1, dari data pada tabel Gbr (1)
TJ (SU)
Gambar 4: Sampel-2, dari data pada tabel Gbr (1)
Analisa Regresi Dua Variabel: Estimasi
April 2016
5 / 26
Sample Regression Function
Gambar 5: SRF, diperoleh dari dua sample pada Gbr. (3,4)
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
6 / 26
PRF vs SRF
Gambar 6: Perbandingan antara PRF dan SRF
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
7 / 26
Least Squares Principles Ingat kembali PRF: Y i = β 1 + β 2 Xi + u i
(1)
Apa yang terjadi jika kita tidak mempunyai data populasi, dan hanya mempunyai data sampel? Artinya: PRF (Pers. (1)) tidak diketahui. Kita meng-estimasi PRF, dengan SRF: Yi = βˆ1 + βˆ2 Xi + u ˆi ˆ = Yi + u ˆi
(2)
Pertanyaannya adalah: Bagaimana cara memperoleh SRF?
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
8 / 26
Least Squares Principles Meminimalisasi penjumlahan semua ui ? → Meminimalkan
P
i ui ?
Gambar 7: Bagaimana memperoleh SRF
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
9 / 26
Least Squares Principles
Bagaimana memperoleh SRF? Meminimalisasi penjumlahan semua ui ? → Meminimalkan
P
i ui ?
Bukan langkah yang tepat. Walaupun sebenarnya ui mempunyai nilai absolut yang besar sehingga SRF jelas bukan yang terbaik, namun ui yang P positip dan negatip dapat saling meniadakan sehingga diperoleh i ui minimum. Walaupun SRF yang diperoleh jauh dari SRF yang terbaik.
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
10 / 26
Least Squares Principles Meminimalisasi penjumlahan semua u2i ? → Meminimalkan
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
P
2 i ui ?
April 2016
11 / 26
Least Squares Principles
Bagaimana memperoleh SRF? Meminimalisasi penjumlahan semua u2i ? → Meminimalkan
P
2 i ui ?
Langkah yang tepat! Dengan mengkuadratkan ui , maka P kita 2 memperoleh nilai yang positip semua. Meminimalisasi P i ui akan menghasilkan SRF yang terbaik. Proses meminimalisasi i u2i merupakan asal usul istilah ”least squares”. Metode ini disebut metode least squares
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
12 / 26
Hasil minimalisasi
P
u2i
Yˆi = βˆ1 + βˆ2 Xi sy βˆ2 = r sx ˆ ¯ ¯ β1 = Y − β2 X
(3) (4) (5)
Dengan sx dan sy adalah Standard Deviasi Sample: sP ¯ 2 (X − X) sx = n−1 sP (Y − Y¯ )2 sy = n−1
(6) (7)
Dan r adalah koefisien Korelasi: P ¯ (X − X)(Y − Y¯ ) r= (n − 1)sx sy TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
(8) April 2016
13 / 26
OLS: Ordinary Least Squares Untuk selanjutnya, metode yang kita gunakan akan kita sebut OLS: Ordinary Least Squares. (Selain OLS, ada juga GLS, Generalized Least Squares, yang akan kita bahas di Ekonometrika II). Beberapa catatan tentang OLS: 1
Estimator-estimator OLS dinyatakan hanya dalam observables X dan Y . Dengan demikian estimator-estimator itu (β1 dan β2 ) dapat dihitung dengan mudah.
2
Estimator-estimator itu adalah point estimators. Artinya, untuk setiap sampel yang diberikan, estimator itu hanya memberikan satu angka saja (bukan interval) untuk nilai parameter populasi yang relevan.
3
Setelah estimator-estimator itu diperoleh (melalui OLS), maka SRL, Sample Regression Line dapat diperoleh. TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
14 / 26
Sample Regression Line, SRL Sifat-sifat SRL ¯ Y¯ ) 1 SRL melalui (X, ¯ βˆ1 = Y¯ − βˆ2 X ¯ Y¯ = βˆ1 + βˆ2 X
(9)
¯ Y¯ ) Gambar 8: SRL melalui (X, TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
15 / 26
SRL
Sifat-sifat SRL 2
3
Harga rata-rata hasil estimasi Y¯ sama dengan harga rata-rata dari Y yang sesungguhnya. ¯ Yˆ = Y¯ (10) Harga rata-rata residual adalah nol. ¯ u ˆ=0
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
(11)
April 2016
16 / 26
PRF,SRF,SRL
Mengulang lagi: Apa bedanya PRF,SRF dan SRL? Perhatikan persamaan-persamaan berikut. PRF: Y i = β 1 + β 2 Xi + u i
(12)
Yi = βˆ1 + βˆ2 Xi + u ˆi
(13)
Yˆ = βˆ1 + βˆ2 Xi
(14)
SRF: SRL:
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
17 / 26
Bentuk Lain SRF Persamaan SRF: Dapat ditulis:
Yˆ = βˆ1 + βˆ2 Xi + u ˆi
(15)
yi = βˆ2 xi + u ˆi
(16)
Dengan yi = Yi − Y¯ ¯ x i = Xi − X Pers. (16) disebut bentuk deviasi (deviation form) dari SRF. Dengan cara yang sama, SRL dapat ditulis dalam bentuk deviasi. yˆi = βˆ2 xi
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
(17)
April 2016
18 / 26
Sifat uˆi
Residu u ˆi tidak berkorelasi dengan hasil prediksi yi X yˆi u ˆi = 0
(18)
Residu u ˆi tidak berkorelasi dengan Xi X Xi u ˆi = 0
(19)
i
i
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
19 / 26
Presisi atau Standard Error dari Estimator OLS Nilai estimator (βˆ1 , βˆ2 ) berbeda-beda untuk sample yang berbeda yang diambil dari populasi yang sama. Karena itu kita perlu alat ukur untuk menentukan apakah estimator dari sampel yang satu lebih bagus daripada estimator dari sampel yang lain. Alat ukur itu adalah presisi atau standard error, yang rumusnya adalah: σ ˆ pP ¯ 2 (X − X) s P (Y − Yˆ )2 σ ˆ = n−2
se(βˆ2 ) =
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
(20)
April 2016
20 / 26
Presisi atau Standard Error dari Estimator OLS
se(βˆ1 ) =
TJ (SU)
"s
# Xi2 P ˆ ¯ 2 σ n (Xi − X) P
Analisa Regresi Dua Variabel: Estimasi
(21)
April 2016
21 / 26
BLUE
BLUE Best Linear Unbiased Estimator 1
Linear
2
Unbiased: Nilai ekspektasi dari estimator sama dengan nilai sesungguhnya
3
Minimum variance dari estimator
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
22 / 26
Tugas Kelas
Tugas Kelas
1
Jelaskan apa perbedaan antara PRF dan SRF!
2
Jelaskan bagaimana cara memperoleh PRF!
3
Jelaskan bagaimana cara memperoleh SRF!
4
Mengapa dalam kita perlu meminimalisasi σu2i (sehingga disebut ”least squares”? Mengapa kita tidak dapat meminimalisasi σui saja?
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
24 / 26
Tugas Kelas 5
Perhatikan tabel berikut. Untuk setiap kelompok income, ambillah satu nilai yang paling kecil selisihnya dengan condition mean value, lalu gunakan untuk memperoleh SRF!
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
25 / 26
Tugas Kelas
6
7
Gunakan tabel pada soal no (5). Untuk setiap kelompok income ambillah satu nilai yang paling besar selisihnya dengan conditional mean value , lalu gunakan untuk memperoleh SRF! Dari hasil no (4) dan (5), hitunglah masing-masing se(βˆ2 ), lalu bandingkan hasilnya. Jelaskan!
TJ (SU)
Analisa Regresi Dua Variabel: Estimasi
April 2016
26 / 26