Analisis Regresi

ANALISIS REGRESI

Pengantar
 Regresi merupakan salah satu model ekonomi, yaitu representasi dari fenomena ekonomi dalam bentuk persamaan matematis.
 Regresi merupakan bagian dari ilmu statistika, yang banyak digunakan dalam analisis ekonomi.
 Dalam ilmu ekonomi, analisis regresi termasuk dalam ekonometrika, yaitu ilmu yang mempelajari alat untuk mengukur perekonomian (economic measurement)
 Analisis Regresi digunakan untuk:
 Menduga arah dari hubungan kuantitatif diantara variabel-variabel eknomi.
 Menguji hipotesis tentang ekonomi
 Meramalkan masa depan perekonomian.

Beberapa hal yang dibutuhkan sebelum melakukan analisis regresi:

1. Penguasaan teori dari permasalahan yang ingin diselesaikan
2. Matematika
3. Teori dasar Statistika
4. Data
5. Perlengkapan untuk komputasi
6. Kemampuan intepretasi berdasarkan pengetahuan
ekonomi/umum (common sense)

Proses Analisis dengan Model




Beberapa hal yang dibutuhkan setelah melakukan analisis regresi:
1. Menganalisis apakah hasil pengukuran sudah tepat.
2. Menyimpulkan hasil pengujian hipotesis.
3. Melakukan peramalan/prediksi
4. Melakukan evaluasi hasil

Definisi Regresi Linear
 Regresi linear adalah teknik statistika yang memberikan pendugaan dari kemiringan suatu garis lurus (linear), dan posisi dimana garis tersebut memotong sumbu y, berdasarkan sejumlah informasi mengenai hubungan antar variabel.
 Memberikan pendugaan nilai a dan b, berdasarkan sejumlah informasi mengenai x dan y, pada persamaan berikut:
y=a+b.x


 x disebut variabel independent, karena nilainya tidak tergantung variabel lain
 y disebut variabel dependent, karena nilainya tergantung nilai x
 a dan b disebut parameter, a adalah intercept dan b adalah slope.
 Regresi linear sederhana, apabila variabel dependent hanya ditentukan oleh satu variabel independent.
y = a + b.x + e
 Regresi Linear berganda, apabila variabel dependent ditentukan oleh lebih dari satu variabel independent.
y = a + b1.x1 + b2.x2 + …. + bn.xn + e
 e = error term = perbedaan antara y aktual dengan y hasil estimasi garis regresi
 Metode yang digunakan untuk mengestimasi parameter garis regresi disebut Metode Kuadrat Terkecil (Least Square Method)
 Metode ini meminimisasi jumlah dari error yang dikuadratkan dari setiap observasi.
 Rumus untuk slope garis regresi adalah:



 Rumus untuk intercept garis regresi adalah:







Asumsi-asumsi klasik regresi linier :
1. Model linear dalam parameter.
2. Nilai x tetap dalam pengambilan sampel yang diulang.
3. Nilai rata-rata dari error sama dengan nol.
4. Homoskedastis yaitu nilai varians dari setiap error sama.
5. Tidak ada korelasi antar error.
6. Covarians antara ui dan xi adalah nol.
7. Banyaknya observasi n harus lebih besar daripada banyaknya parameter yang diestimasi.
8. Nilai dari xi harus bervariasi (tidak boleh sama).
9. Model regresi dispesifikasikan dengan benar.
10. Tidak ada multikolinearitas sempurna.


Aplikasi pada program stata :
Sebelum melakukan regresi sebaiknya dilkaukan pengaturan waktu observasi dengan perintah:
tsset [nama variabel]
Contoh :
tsset obs
perintah ini akan menjadikan variabel obs(observasi) menjadi satuan waktu
Untuk melakukan regersi OLS dapat menggunakan perintah
regress [variabel dependent] [variabel independent]...[variabel independen ke-n]
contoh :
regress x5 x1 x2 x3 x4 mb obs
perintah ini akan memerintahkan stata untuk melakukan regresi linier dengan variabel dependent x5 menggunakan variabel independent x1 x2 x3 x4 mb dan obs.

Evaluasi hasil regresi :
1. Lakukan evaluasi terhadap tanda dari slope, apakah sudah sesuai dengan teori. Jika belum, ada kemungkinan data yang digunakan dan spesifikasi model regresi salah.
2. Lakukan evaluasi terhadap signifikasi dari parameter, yang ditunjukkan oleh nilai t-stat dan prob t-stat. Apabila nilai prob t-stat < tingkat signifikansi (a, biasanya 0.05 atau 0.1) maka variabel independent tersebut secara statistik signifikan mempengaruhi variabel dependent.
3. Lakukan evaluasi terhadap nilai R2 yang menunjukkan persentase variasi dari variabel dependent yang dapat dijelaskan oleh variabel-variabel independent.
4. Lakukan evaluasi terhadap asumsi-asumsi regresi, autokorelasi, multikolinearitas, heteroskedastisitas.
5. Perbaiki model regresi dan data, lakukan kembali estimasi sampai memperoleh hasil yang terbaik.

Pelanggaran Asumsi :

Multikolinearitas
Adanya hubungan linear antara beberapa atau semua variabel penjelas (variabel exogen) dalam model regresi.
Contoh:
Dimana: x1i = 2 x2i
Hasil pendugaan parameter regresi akan menjadi bias

Mencurigai adanya multikolinearitas:
1. Nilai t untuk setiap parameter tidak significant tetapi nilai R2 sangat tinggi (mendekati 1).
2. Korelasi berpasangan diantara variabel penjelas sangat tinggi.
3. Nilai R2 dari auxiliary regression lebih besar dari nilai R2 model yang sebenarnya
Auxialiary regression: regresi dari setiap Xi terhadap X yang lainnya

Aplikasi pada program stata :
Untuk mendeteksi adanya masalah multikolinearitas pada program stata dapat digunakan perintah :

cor [variabel independent]…[variabel independent ke-n]
contoh :
cor x1 x2 x3 x4 mb obs
Perintah ini akan menghitung corelasi antara variabel independent
Lalu lihat nilai koefisien corelasi antar variabel independent jika menunjukan angka 0,75 baik bernilai negative maupun positif maka dapat disimpulkan adanya multikolinearitas

Atau perintah
vif
perintah ini akan menghitung besarnya variance inflation factors (VIFs) untuk semua variabel independent
Lalu kita dapat melihat nilai vif, bukan mean vif-nya, apbila nilai vifnya bernilai ≥ 20

Mengatasi masalah multikolinearitas:
1. Membuang satu atau beberapa variabel yang mengandung bias.
Cara yang dilakukan adalah melihat hasil perhitungan cor atau vif lalu membuang variabel independent yang memiliki korelas atau variabel yang nilai vif melebihi 20, dengan tidak melupakan tingkat signifikansi variabel itu dalam sebuah model.

2. Melakukan transformasi variabel, biasanya dalam bentuk:
a. First difference:

Membuat variabel first difference pada stata dapat mengunakan perintah :
gen [nama variabel first difference]=d.[variabel awal]
contoh :
gen fdx1=d.x1
perintah itu akan membuat suatu variabel baru yang merupakan variabel first difference dari veriabel x1, kemudian variabel yang telah menjadi first difference telah dapat diregresi.
b. Transformasi rasio:



3. Menambah data


Hetroskedastisitas
Hetrosekadastis terjadi jika nilai varians dari setiap eror berbeda atau bervariasi.
Mendeteksi adanya heteroskedastisitas dapat menggunakan white test:
1. Lakukan estimasi dengan menggunakan metode OLS untuk persamaan:


2. Setelah diperoleh , lakukan regresi dengan menggunakan persamaan:


kemudian tentukan R2 nya
1. Ujilah hipotesis :
H0 : homoskedastis
H1 : heteroskedastis

Dengan menggunakan statistik uji: nR2 ~ cdx2.
df = jumalah parameter dikurangi 1.

Melacak gejala hetroskedastis menggunakan program stata dapat menggunakan perintah hettest

Mengatasi heteroskedastisitas:
1. Menggunakan metode GLS (Generalized Least Squares)
2. Transformasi Variabel:
a. dibagi dengan xi
b. dibagi dengan

c. dibagi dengan
d. transformasi logaritma

Untuk mengatasi adanya masalah heteroskedastisitas pada program stata dapat digunakan perintah perhitungan robust, dengan bentuk perintah :
regress [dependen variabel] [independent variabel]...[variabel independent ke-n], robust
contoh :
regress x5 x1 x2 x3 x4 mb obs, robust
perintah robust akan secra otomatis menghilangkan heteroskedastisitas dengan jalan membobotkan dengan robust standar eror. Hasil regresi yang didapat telah dapat dipastikan telah terbebas dari heteroskedastisitas.

Autokorelasi
Autokorelasi suatu keadan dimana terjadi korelasi eror antar periode waktu.
Cara mendeteksi autokorelasi adalah dengan melakukan pengujian Durbin - Watson test:


Untuk n tertentu tesedia nilai dU dan dL pada table
Ujilah hipotesis:
H0 : tidak ada autokorelasi positif
H0*: tidak ada autokorelasi negatif
Bandingkan dengan diagram berikut ini:












Mendeteksi Autokorelasi menggunakan stata, dapat dilakukan dengan perintah :

durbina
Perintah durbina akan melakukan pengujian Durbin - Watson test

bgodfrey
Perintah bgodfrey akan melakuka pengujian Breusch-Godfrey LM test

Mengatasi Autokorelasi
1. Menggunakan metode GLS (Generalized Least Squares)
2. Menggunakan metode First Difference
Untuk stata dapat dikerjakan dengan cara:

Membuat variabel first difference pada stata dapat mengunakan perintah :
gen [nama variabel first difference]=d.[variabel awal]
contoh :
gen fdx1=d.x1
perintah itu akan membuat suatu variabel baru yang merupakan variabel first difference dari veriabel x1, kemudian variabel yang telah menjadi first difference telah dapat diregresi.


Untuk mengatasi adanya masalah autokorelasi pada program stata dapat digunakan perintah perhitungan prais, dengan bentuk perintah :
prais [dependen variabel] [independent variabel]...[variabel independent ke-n]
contoh :
prais x5 x1 x2 x3 x4 mb obs
Perintah prais akan secara otomatis menghilangkan autokorelasi dengan jalan menambahkan variabel autoregresion dengan lag yang ditentukan oleh program stata. Hasil regresi yang didapat telah dapat dipastikan telah terbebas dari autokorelasi.
Stata dapat menghilangkan gejala heterosekdasitas dan autokorelasi secara langsung dengan mengabungkan perintah robust dan prais. Dengan bentu perintah :
prais [variabel dependent] [variabel independent]…[variabel independent ke-n], robust
Contoh ;
prais x5 x1 x2 x3 x4 mb obs, robust
Gabungan perintah prais dan robust akan secara otomatis menghilangkan autokorelasi dan heteroskedastisitas

Peringatan Bagi Praktisi

 Tetap gunakan common sense dan teori ekonomi
 Mengutamakan relevansi daripada matematis
 Mengetahui konteks
 Memeriksa data
 Tidak boleh memuja kerumitan
 Harus memperhatikan dengan seksama hasil
 Hati-hati dengan biaya data mining dan waktu
 Harus mau kompromi
 Harus mengakui adanya sensitivitas