Berbagai Jenis Model Regresi Yang Perlu Anda Ketahui

Masalah regresi adalah hal biasa dalam pembelajaran mesin, dan teknik yang paling umum untuk menyelesaikannya adalah analisis regresi. Ini didasarkan pada pemodelan data dan melibatkan pengerjaan garis yang paling cocok, yang melewati semua titik data sehingga jarak antara garis dan setiap titik data minimal. Sementara banyak teknik analisis regresi yang berbeda ada, regresi linier dan logistik adalah yang paling menonjol. Jenis model analisis regresi yang kita gunakan pada akhirnya akan bergantung pada sifat data yang terlibat.

Mari cari tahu lebih lanjut tentang analisis regresi dan berbagai jenis model analisis regresi.

Apa itu Analisis Regresi?

Analisis regresi adalah teknik pemodelan prediktif untuk menentukan hubungan antara variabel dependen (target) dan variabel independen dalam kumpulan data. Ini biasanya digunakan ketika variabel target berisi nilai kontinu dan variabel dependen dan independen berbagi hubungan linier atau non-linier. Dengan demikian, teknik analisis regresi berguna dalam menentukan hubungan efek kausal antara variabel, pemodelan deret waktu, dan peramalan. Misalnya, hubungan antara penjualan dan pengeluaran iklan suatu perusahaan dapat dipelajari dengan baik menggunakan analisis regresi.

Jenis Analisis Regresi

Ada banyak jenis teknik analisis regresi yang dapat kita gunakan untuk membuat prediksi. Selanjutnya, penggunaan masing-masing teknik didorong oleh faktor-faktor seperti jumlah variabel bebas, bentuk garis regresi, dan jenis variabel terikat.

Mari kita pahami beberapa metode analisis regresi yang paling umum digunakan:

1. Regresi Linier

Regresi linier adalah teknik pemodelan yang paling banyak dikenal dan mengasumsikan hubungan linier antara variabel dependen (Y) dan variabel independen (X). Ini menetapkan hubungan linier ini menggunakan garis regresi, juga dikenal sebagai garis yang paling cocok. Hubungan linier diwakili oleh persamaan Y = c+m*X + e, di mana 'c' adalah intersep, 'm' adalah kemiringan garis, dan 'e' adalah istilah kesalahan.

Model regresi linier dapat sederhana (dengan satu variabel terikat dan satu variabel bebas) atau ganda (dengan satu variabel terikat dan lebih dari satu variabel bebas).

Sumber

2. Regresi Logistik

Teknik analisis regresi logistik digunakan ketika variabel dependen adalah diskrit. Dengan kata lain, teknik ini digunakan untuk memperkirakan probabilitas kejadian saling eksklusif seperti lulus/gagal, benar/salah, 0/1, dll. Oleh karena itu, variabel target hanya dapat memiliki satu dari dua nilai, dan kurva sigmoid mewakili hubungannya dengan variabel bebas. Nilai probabilitas berkisar antara 0 dan 1.

Sumber

3. Regresi Polinomial

Teknik analisis regresi polinomial memodelkan hubungan nonlinier antara variabel terikat dan variabel bebas. Ini adalah bentuk modifikasi dari model regresi linier berganda, tetapi garis paling cocok yang melewati semua titik data melengkung dan tidak lurus.

Sumber

4. Regresi Punggungan

Teknik analisis regresi ridge digunakan bila data menunjukkan multikolinearitas; yaitu, variabel independen sangat berkorelasi. Meskipun estimasi kuadrat terkecil dalam multikolinearitas tidak bias, variansnya cukup besar untuk menyimpang nilai yang diamati dari nilai sebenarnya. Regresi Ridge meminimalkan kesalahan standar dengan memperkenalkan tingkat bias dalam estimasi regresi.

Lambda (λ) dalam persamaan regresi ridge menyelesaikan masalah multikolinearitas.

Sumber

Sumber

5. Regresi Lasso

Seperti regresi punggungan, teknik regresi laso (Penyusutan Terkecil dan Operator Seleksi) menghukum ukuran absolut koefisien regresi. Selain itu, teknik regresi laso menggunakan pemilihan variabel, yang mengakibatkan nilai koefisien menyusut menuju nol mutlak.

Sumber

6. Regresi Kuantil

Teknik analisis regresi kuantil merupakan perluasan dari analisis regresi linier. Ini digunakan ketika kondisi untuk regresi linier tidak terpenuhi, atau data memiliki outlier. Regresi kuantil menemukan aplikasi dalam statistik dan ekonometrika.

Sumber

7. Regresi Linier Bayesian

Regresi linier Bayesian merupakan salah satu jenis teknik analisis regresi pada machine learning yang memanfaatkan teorema Bayes untuk menentukan nilai koefisien regresi. Alih-alih mencari kuadrat terkecil, teknik ini menentukan distribusi posterior fitur. Akibatnya, teknik ini lebih stabil daripada regresi linier sederhana.

Sumber

8. Regresi Komponen Utama

Teknik regresi komponen utama biasanya digunakan untuk menganalisis data regresi berganda dengan multikolinearitas. Seperti teknik regresi punggungan, metode regresi komponen utama meminimalkan kesalahan standar dengan memberikan tingkat bias pada perkiraan regresi. Teknik ini memiliki dua langkah – pertama, analisis komponen utama diterapkan pada data pelatihan, dan kemudian, sampel yang ditransformasi digunakan untuk melatih regressor.

9. Regresi Kuadrat Terkecil Sebagian

Teknik regresi kuadrat terkecil parsial adalah salah satu jenis teknik analisis regresi yang cepat dan efisien berdasarkan kovarians. Ini bermanfaat untuk masalah regresi di mana jumlah variabel independen tinggi dengan kemungkinan multikolinearitas di antara variabel. Teknik ini mereduksi variabel menjadi sekumpulan prediktor yang lebih kecil, yang kemudian digunakan untuk melakukan regresi.

10. Regresi Bersih Elastis

Teknik regresi bersih elastis adalah hibrida dari model regresi punggungan dan laso dan berguna ketika berhadapan dengan variabel yang sangat berkorelasi. Ini menggunakan hukuman dari metode regresi ridge dan laso untuk mengatur model regresi.

Sumber

Ringkasan

Terlepas dari teknik analisis regresi yang kita diskusikan di sini, beberapa jenis model regresi lain digunakan dalam pembelajaran mesin, seperti regresi ekologis, regresi bertahap, regresi jackknife, dan regresi kuat. Kasus penggunaan khusus dari semua jenis teknik regresi yang berbeda ini bergantung pada sifat data yang tersedia dan tingkat akurasi yang dapat dicapai. Secara keseluruhan, analisis regresi memiliki dua manfaat inti. Ini adalah sebagai berikut:

• Ini menunjukkan hubungan antara variabel dependen dan variabel independen.

• Ini menunjukkan kekuatan pengaruh variabel independen terhadap variabel dependen.

Way Forward: Dapatkan gelar Master of Science dalam Machine Learning & AI

Apakah Anda mencari program online yang komprehensif untuk mempersiapkan pembelajaran mesin dan karir kecerdasan buatan?

upGrad menawarkan gelar Master of Science dalam Machine Learning & AI bekerja sama dengan Liverpool John Moores University dan IIIT Bangalore untuk menghasilkan profesional AI dan Ilmuwan Data yang serbaguna.

Program online 20 bulan yang komprehensif ini dirancang khusus untuk para profesional yang bekerja yang ingin menguasai konsep dan keterampilan tingkat lanjut seperti Pembelajaran Mendalam, NLP, Model Grafis, Pembelajaran Penguatan, dan sejenisnya. Selain itu, program ini bermaksud untuk memberikan dasar yang kuat dalam statistik bersama dengan bahasa pemrograman utama dan alat-alat seperti Python, Keras, TensorFlow, Kubernetes, MySQL, dan banyak lagi.

Sorotan Program:

• Gelar Master dari Liverpool John Moores University
• PGP Eksekutif dari IIIT Bangalore
• 40+ sesi langsung, 12+ studi kasus dan proyek, 11 tugas pengkodean, enam proyek batu penjuru
• 25+ sesi bimbingan dengan pakar industri
• Bantuan karir 360 derajat dan dukungan pembelajaran
• Peluang jaringan peer-to-peer

Dengan fakultas, pedagogi, teknologi, dan pakar industri kelas dunia, upGrad telah muncul sebagai platform EdTech tinggi terbesar di Asia Selatan dan memengaruhi 500.000+ profesional yang bekerja di seluruh dunia. Daftar hari ini untuk menjadi bagian dari 40.000+ basis pelajar global upGrad di 80+ negara!