Algoritma Propagasi Kembali – Gambaran Umum

Jaringan saraf telah menjadi kata yang paling tren di dunia teknologi AI. Dan ketika berbicara tentang jaringan saraf, propagasi balik adalah kata yang harus difokuskan. Algoritma propagasi balik adalah salah satu blok dasar dari jaringan saraf. Karena setiap jaringan saraf perlu dilatih untuk kinerja tugas, propagasi balik adalah algoritma yang digunakan untuk pelatihan jaringan saraf. Ini adalah bentuk algoritma untuk pembelajaran terawasi yang digunakan untuk melatih perceptron dari beberapa lapisan dalam Jaringan Syaraf Tiruan.

Pemrograman tipikal dipertimbangkan di mana data dimasukkan dan logika pemrograman dilakukan. Selama pemrosesan selesai, output diterima oleh pengguna. Tapi, output ini, dengan cara tertentu, dapat mempengaruhi logika pemrograman. Inilah yang dilakukan oleh algoritma backpropagation. Output akan mempengaruhi logika dan menghasilkan output yang lebih baik.

Artikel ini akan fokus pada algoritma backpropagation dan proses kerjanya.

Pentingnya propagasi balik

Pentingnya backpropagation terletak pada penggunaannya dalam jaringan saraf. Perancangan jaringan saraf memerlukan bahwa bobot harus diinisialisasi di awal saja. Bobot ini adalah beberapa nilai acak atau variabel acak yang dipertimbangkan untuk menginisialisasi bobot. Karena bobot dimasukkan secara acak, ada kemungkinan bobotnya mungkin bukan bobot yang benar. Ini berarti bahwa bobot tidak sesuai dengan model. Keluaran model mungkin berbeda dari keluaran yang diharapkan. Akibatnya, ada nilai kesalahan yang tinggi. Tapi, selalu penting untuk mengurangi kesalahan, dan memikirkan cara untuk mengurangi kesalahan adalah sebuah tantangan. Model perlu dilatih bahwa setiap kali jenis skenario ini terjadi, perlu mengubah parameter yang sesuai. Dan dengan perubahan parameter, nilai kesalahan akan berkurang.

Oleh karena itu, pelatihan model diperlukan, dan backpropagation adalah salah satu cara agar model dapat dilatih sehingga ada nilai kesalahan minimum.

Beberapa langkah dari algoritma backpropagation dalam jaringan saraf dapat diringkas di bawah ini:

● Perhitungan kesalahan: Ini akan menghitung penyimpangan keluaran model dari keluaran model yang sebenarnya.

● Minimum error: Pada langkah ini akan dilakukan pengecekan apakah error yang dihasilkan sudah diminimalkan atau tidak.

● Pembaruan parameter: Langkah ini dimaksudkan untuk memperbarui parameter model. Jika model menghasilkan nilai kesalahan yang sangat tinggi, maka perlu memperbarui parameternya,

seperti bobot dan bias. Model diperiksa ulang untuk kesalahan, dan proses diulang sampai kesalahan yang dihasilkan diminimalkan.

● Model akhir: Setelah proses pemeriksaan dan pembaruan berulang, kesalahan akan diminimalkan, dan model sekarang siap untuk input. Masukan dapat dimasukkan ke dalam model, dan keluaran dari model dapat dianalisis.

Jaringan saraf propagasi balik

Dalam jaringan saraf manapun, algoritma propagasi balik mencari nilai kesalahan minimum. Hal ini dilakukan melalui teknik penurunan gradien atau aturan delta, di mana fungsi kesalahan minimum dicari dari ruang bobot. Setelah bobot diidentifikasi yang mengurangi fungsi kesalahan, itu dianggap sebagai solusi untuk masalah pembelajaran. Pada tahun 1960-an, ketika algoritma pertama kali diperkenalkan dan kemudian di tahun-tahun berikutnya, popularitas algoritma meningkat. Jaringan saraf dapat dilatih secara efektif melalui algoritma ini menggunakan metode aturan rantai. Jika ada forward pass melalui neural network, maka backward pass dilakukan oleh parameter model melalui penyesuaian parameter seperti bias dan bobot. Agar algoritma propagasi balik berfungsi, jaringan saraf harus didefinisikan terlebih dahulu.

Model jaringan saraf

Jika model 4 lapisan jaringan saraf dipertimbangkan, maka itu akan terdiri dari lapisan; lapisan input, 4 neuron dirancang untuk lapisan tersembunyi, dan akan ada 1 neuron yang dirancang untuk lapisan output.

Lapisan input: Lapisan input bisa sederhana, atau bisa juga kompleks. Sebuah lapisan input sederhana akan berisi skalar, dan lapisan input yang kompleks, akan terdiri dari matriks multidimensi atau vektor. Set aktivasi pertama dianggap sama dengan nilai input.

Yang dimaksud dengan istilah aktivasi adalah nilai neuron yang dihasilkan setelah penerapan fungsi aktivasi.

Lapisan tersembunyi: Menggunakan input berbobot tertentu seperti z^l di lapisan l, dan aktivasi a^l di lapisan l yang sama. Persamaan yang dihasilkan untuk lapisan ini seperti lapisan 2 dan lapisan 3.

Aktivasi untuk lapisan dihitung melalui penggunaan fungsi aktivasi f. Fungsi aktivasi “f”, adalah fungsi non-linier yang memungkinkan pembelajaran pola kompleks yang ada dalam data oleh jaringan.

Matriks bobot dibentuk dengan bentuk (n,m), di mana angka "n" menunjukkan neuron keluaran, sedangkan "m" menunjukkan neuron input dari jaringan saraf. Dalam model lapisan yang disebutkan di atas, jumlah n akan menjadi 2, dan jumlah m akan menjadi 4. Juga, angka pertama dalam subskrip bobot harus sesuai dengan indeks neuron yang ada di lapisan berikutnya. Angka kedua harus sesuai dengan indeks saraf dari lapisan jaringan sebelumnya.

Lapisan keluaran: Lapisan keluaran adalah lapisan terakhir dari jaringan saraf. Ini memprediksi nilai model. Sebuah representasi matriks digunakan untuk penyederhanaan persamaan.

Propagasi ke depan dari jaringan saraf dan evaluasinya

Persamaan yang dihasilkan dalam mendefinisikan jaringan saraf merupakan propagasi maju jaringan. Ini memprediksi output dari model. Dalam algoritma propagasi maju, langkah terakhir yang terlibat adalah evaluasi keluaran yang diprediksi terhadap keluaran yang diharapkan. Jika keluaran yang diprediksi adalah “s”, dan keluaran yang diharapkan adalah “y”, maka s harus dievaluasi terhadap y. Untuk dataset pelatihan (x,y), x adalah input, dan y adalah output.

Fungsi biaya "C", digunakan untuk evaluasi s terhadap y. Fungsi biaya mungkin sederhana seperti kesalahan kuadrat rata-rata (MSE), atau mungkin kompleks, seperti entropi silang. Berdasarkan nilai C, model dapat mengetahui seberapa besar parameter yang harus disesuaikan agar semakin mendekati output yang diharapkan yaitu y. Ini dilakukan melalui algoritma propagasi balik.

Algoritma backpropagation

Algoritma backpropagation berulang kali melakukan penyesuaian bobot pada koneksi jaringan untuk meminimalkan perbedaan antara keluaran model dengan keluaran yang diharapkan. Hal ini juga dalam algoritma backpropagation bahwa fitur baru dan berguna dapat dibuat dalam jaringan.

Algoritma backpropagation juga bertujuan untuk mengurangi atau meminimalkan fungsi biaya yang ditentukan dari jaringan yaitu C. Hal ini dilakukan melalui penyesuaian parameter seperti bias dan bobot. Penyesuaian yang akan dibuat dalam parameter ini ditentukan melalui gradien fungsi biaya sehubungan dengan semua parameter tersebut.

Gradien fungsi C di titik x didefinisikan sebagai vektor dari semua turunan parsial yang berada dalam fungsi biaya C di x.

Sensitivitas terhadap perubahan nilai suatu fungsi diukur dengan turunan fungsi C terhadap perubahan argumen x. Ini berarti bahwa turunanlah yang menunjukkan ke mana fungsi biaya C bergerak.

Perubahan parameter x ditentukan oleh gradien. Ini menunjukkan perubahan yang diperlukan dalam parameter x untuk meminimalkan C. Aturan rantai digunakan untuk menghitung gradien. Ini adalah gradien yang memungkinkan optimalisasi parameter.

Ini adalah bagaimana algoritma backpropagation bekerja dalam perbaikan dan pelatihan jaringan saraf. Ini berfungsi untuk menjadi bagian penting dari aspek pembelajaran mesin. Menjadi bagian penting dari pelatihan jaringan saraf, pemahaman algoritma backpropagation sangat penting. Jika Anda ingin menjadi ahli dalam pembelajaran mesin dan kecerdasan buatan, maka Anda dapat melihat kursus "Magister Sains dalam Pembelajaran Mesin & Kecerdasan Buatan" yang ditawarkan oleh upGrad. Setiap profesional yang bekerja memenuhi syarat untuk kursus. Anda akan dilatih melalui fakultas ahli dari IIIT Bangalore dan juga dari LJMU. Pembelajaran konten selama 650+ jam akan membantu Anda mempersiapkan diri untuk masa depan AI. Setiap pertanyaan tentang kursus dipersilakan.