Pengertian Regresi Linier

Banyak orang mencari berbagai topik terkait regresi linier untuk memahami konsep ini lebih baik, menerapkannya dalam analisis data, atau memecahkan masalah spesifik. Regresi linier adalah sebuah metode statistik yang digunakan untuk menentukan dan memodelkan hubungan antara variabel dependen dan satu atau lebih variabel independen dengan menggunakan persamaan garis lurus.

Pengertian Regresi Linier Menurut Para Ahli

Berikut adalah beberapa definisi regresi linier menurut para ahli:

1. Montgomery, Peck, dan Vining (2012): Regresi linier adalah metode statistik yang digunakan untuk memodelkan hubungan antara satu atau lebih variabel independen (prediktor) dan variabel dependen (respon) dengan cara mencocokkan sebuah garis lurus (model linier) ke dalam data yang ada.
2. Draper dan Smith (1998): Regresi linier adalah pendekatan matematis yang digunakan untuk menentukan hubungan antara dua atau lebih variabel dengan cara mencari persamaan garis lurus yang paling sesuai dengan data yang diamati.
3. Gujarati (2004): Regresi linier adalah teknik statistik yang digunakan untuk menganalisis hubungan antara variabel dependen dan satu atau lebih variabel independen. Model regresi linier sederhana memiliki satu variabel independen, sedangkan model regresi linier berganda memiliki lebih dari satu variabel independen.
4. Seber dan Lee (2003): Regresi linier adalah metode analisis yang digunakan untuk menentukan hubungan antara variabel dependen (Y) dan satu atau lebih variabel independen (X) dengan tujuan untuk memprediksi nilai Y berdasarkan nilai X.
5. Weisberg (2005): Regresi linier adalah alat analisis data yang digunakan untuk mengevaluasi hubungan antara variabel dependen dan satu atau lebih variabel independen dengan menggunakan persamaan garis lurus sebagai model prediktif.

Jenis Regresi Linier

Regresi linier memiliki beberapa jenis yang digunakan tergantung pada kompleksitas data dan jumlah variabel yang terlibat. Berikut adalah penjelasan beberapa jenis regresi linier:

1. Regresi Linier Sederhana:

   • Definisi: Model regresi yang melibatkan satu variabel independen dan satu variabel dependen.
   • Persamaan Umum: Y=a+bX
     • Y = Variabel dependen
     • X = Variabel independen
     • $a$ = Intersep (nilai $Y$ saat $X$ = 0)
     • b = Koefisien regresi (slope)
   • Contoh: Menentukan pengaruh suhu terhadap konsumsi listrik.

2. Regresi Linier Berganda:

   • Definisi: Model regresi yang melibatkan lebih dari satu variabel independen.
   • Persamaan Umum: Y = a + b_1X_1 + b_2X_2 + … + b_nX_nY=a+b1​X1​+b2​X2​+…+bn​Xn​
     • $Y$ = Variabel dependen
     • X1,X2,…,Xn ​ = Variabel independen
     • a = Intersep
     • b1,b2,…,bn ​ = Koefisien regresi masing-masing variabel independen
   • Contoh: Menentukan pengaruh pendapatan, usia, dan pendidikan terhadap konsumsi rumah tangga.

3. Regresi Linier Polynomial:

   • Definisi: Model regresi di mana hubungan antara variabel independen dan dependen diwakili oleh polinomial (derajat dua atau lebih).
   • Persamaan Umum:
     • Polinomial ini memungkinkan untuk menangkap hubungan non-linier antara variabel.
   • Contoh: Mengestimasi hubungan antara dosis obat dan respons tubuh, yang mungkin tidak linier.

4. Regresi Linier Ridge (Ridge Regression):

   • Definisi: Modifikasi regresi linier yang digunakan untuk menangani multikolinearitas (ketika variabel independen berkorelasi satu sama lain) dengan menambahkan penalti terhadap besar koefisien.
   • Persamaan Umum: ​
     • $\lambda$ adalah parameter penalti yang mengontrol kekuatan regularisasi.
   • Contoh: Digunakan dalam situasi di mana terdapat banyak variabel independen yang saling berkorelasi tinggi.

5. Regresi Lasso (Lasso Regression):

   • Definisi: Modifikasi regresi linier yang juga menangani multikolinearitas dan dapat melakukan seleksi fitur dengan menambahkan penalti L1 (absolute value of coefficients).
   • Persamaan Umum:
     • Penalti ini dapat mengurangi beberapa koefisien ke nol, secara efektif melakukan seleksi variabel.
   • Contoh: Berguna dalam model dengan banyak variabel independen di mana kita ingin memilih yang paling signifikan.

6. Regresi Linier Elastik Net (Elastic Net Regression):

   • Definisi: Kombinasi dari ridge regression dan lasso regression yang menambahkan penalti L1 dan L2.
   • Persamaan Umum:
   • Contoh: Digunakan dalam model yang membutuhkan seleksi fitur serta regularisasi untuk mengatasi multikolinearitas.

Masing-masing jenis regresi ini memiliki kegunaan yang spesifik tergantung pada karakteristik data dan tujuan analisis.

Pemahaman Asumsi Dalam Analisis

Dalam analisis regresi linier, terdapat beberapa asumsi penting yang harus dipenuhi agar hasil analisis dapat dianggap valid. Berikut adalah asumsi-asumsi tersebut:

1. Linearitas:
   • Asumsi ini menyatakan bahwa hubungan antara variabel independen (X) dan variabel dependen (Y) adalah linier. Ini berarti bahwa perubahan dalam variabel independen sebanding dengan perubahan dalam variabel dependen.
2. Independensi (No Autocorrelation):
   • Observasi harus independen satu sama lain. Tidak boleh ada autokorelasi, yaitu hubungan antar residual (error terms) yang berdekatan dalam waktu atau ruang.
3. Homoskedastisitas:
   • Varians dari error terms harus konstan untuk semua nilai variabel independen. Jika varians dari error terms berbeda-beda (heteroskedastisitas), model regresi linier mungkin tidak memberikan estimasi yang akurat.
4. Normalitas Residual:
   • Residual (selisih antara nilai observasi dan nilai prediksi) harus mengikuti distribusi normal. Ini penting untuk validitas uji signifikansi dan interval kepercayaan.
5. Tidak Ada Multikolinearitas:
   • Variabel independen tidak boleh terlalu berkorelasi satu sama lain. Multikolinearitas dapat menyebabkan ketidakstabilan dalam estimasi koefisien regresi, yang berarti bahwa variabel independen dapat sulit untuk diinterpretasikan.
6. Tidak Ada Endogenitas:
   • Variabel independen harus benar-benar bebas dari variabel dependen. Jika variabel independen dipengaruhi oleh variabel dependen, ini dikenal sebagai endogenitas dan dapat menyebabkan bias dalam estimasi koefisien.
7. No Perfect Collinearity:
   • Tidak boleh ada hubungan linier yang sempurna antara dua atau lebih variabel independen. Jika ini terjadi, maka koefisien regresi tidak dapat diestimasi dengan baik.

Penjelasan dan Dampak Jika Asumsi Tidak Terpenuhi

• Linearitas: Jika hubungan antara X dan Y tidak linier, model regresi linier sederhana mungkin tidak dapat menangkap pola sebenarnya dalam data, menyebabkan prediksi yang tidak akurat.
• Independensi: Pelanggaran terhadap asumsi ini sering terjadi pada data time series di mana pengamatan berturut-turut mungkin berkorelasi. Ini dapat menyebabkan underestimation atau overestimation dari varians residual.
• Homoskedastisitas: Heteroskedastisitas dapat menyebabkan estimasi standar error yang salah, sehingga uji signifikansi menjadi tidak valid.
• Normalitas Residual: Jika residual tidak normal, uji t dan F tidak valid, dan estimasi interval kepercayaan mungkin tidak tepat.
• Tidak Ada Multikolinearitas: Multikolinearitas tinggi dapat menyebabkan koefisien regresi menjadi tidak stabil dan sulit untuk diinterpretasikan, karena variabel independen saling tumpang tindih dalam menjelaskan variabel dependen.
• Tidak Ada Endogenitas: Endogenitas menyebabkan bias dalam koefisien regresi, membuat interpretasi kausal menjadi tidak valid.
• No Perfect Collinearity: Jika terdapat kolinearitas sempurna, maka model regresi tidak dapat menghitung koefisien karena persamaan menjadi tidak dapat diselesaikan.

Memastikan bahwa asumsi-asumsi ini terpenuhi sangat penting untuk validitas dan reliabilitas hasil regresi linier. Jika asumsi-asumsi tersebut dilanggar, berbagai teknik seperti transformasi data, penambahan variabel kontrol, atau penggunaan model yang lebih kompleks mungkin diperlukan.

Prediksi dan Validasi Model Regresi Linier

Prediksi dan validasi adalah langkah penting dalam analisis regresi linier. Keduanya memastikan bahwa model yang dibuat tidak hanya akurat dalam mencocokkan data pelatihan tetapi juga mampu memprediksi data baru secara andal. Berikut ini adalah penjelasan rinci tentang prediksi dan validasi model regresi linier.

1. Prediksi dengan Model Regresi Linier

Setelah model regresi linier dibangun dan diestimasi, langkah berikutnya adalah menggunakan model tersebut untuk membuat prediksi. Proses prediksi melibatkan langkah-langkah berikut:

• Menggunakan Persamaan Regresi: Persamaan regresi yang diperoleh dari data pelatihan digunakan untuk menghitung nilai variabel dependen (Y) berdasarkan nilai variabel independen (X).

  Y=a+b1X1+b2X2+⋯+bnXn​

• Interpretasi Koefisien: Setiap koefisien dalam model menunjukkan perubahan rata-rata dalam variabel dependen untuk setiap satu unit perubahan dalam variabel independen, dengan asumsi variabel lain tetap konstan.
• Menggunakan Data Baru: Model diterapkan pada data baru (data testing) untuk memprediksi nilai-nilai variabel dependen.

2. Validasi Model Regresi Linier

Validasi model bertujuan untuk menilai seberapa baik model memprediksi data baru. Ada beberapa teknik yang digunakan untuk validasi model:

• Train-Test Split:

  • Pembagian Data: Dataset dibagi menjadi dua bagian, yaitu data pelatihan (training set) dan data pengujian (testing set).
  • Pelatihan dan Pengujian: Model dilatih menggunakan training set dan kemudian diuji pada testing set untuk mengevaluasi kinerjanya.
  • Rasio Umum: Pembagian umum adalah 70-30 atau 80-20 untuk training-testing.

• Cross-Validation:

  • K-Fold Cross-Validation: Dataset dibagi menjadi K bagian (folds). Model dilatih pada K-1 bagian dan diuji pada satu bagian yang tersisa. Proses ini diulang K kali sehingga setiap bagian digunakan sebagai data pengujian sekali.
  • Leave-One-Out Cross-Validation (LOOCV): Setiap observasi dalam dataset digunakan sekali sebagai data pengujian sementara sisanya digunakan sebagai data pelatihan.

• Metrics Evaluasi:

  • Mean Absolute Error (MAE): Rata-rata absolut dari selisih antara nilai yang diprediksi dan nilai aktual.

    

  • Mean Squared Error (MSE): Rata-rata dari kuadrat selisih antara nilai yang diprediksi dan nilai aktual.

• • Root Mean Squared Error (RMSE): Akar kuadrat dari MSE, memberikan bobot lebih pada kesalahan yang lebih besar.

​

• • R-squared (R2R^2R2): Proporsi variansi dalam variabel dependen yang dapat dijelaskan oleh variabel independen.

    ​​

    Di mana SSres​ adalah jumlah kuadrat residual dan SStot adalah jumlah kuadrat total.

3. Mengatasi Overfitting dan Underfitting

• Overfitting: Terjadi ketika model terlalu rumit dan menangkap noise dalam data pelatihan sehingga performanya buruk pada data pengujian. Solusi termasuk:
  • Mengurangi jumlah variabel atau fitur.
  • Menggunakan teknik regularisasi seperti Lasso atau Ridge Regression.
  • Menggunakan lebih banyak data pelatihan.
• Underfitting: Terjadi ketika model terlalu sederhana dan tidak menangkap pola dalam data dengan baik. Solusi termasuk:
  • Menambahkan variabel atau fitur yang relevan.
  • Menggunakan model yang lebih kompleks.
  • Meningkatkan kompleksitas model dengan polynomial features.