Chiziqli regressiya modelini qurishda gradiyentli tushish (gradient descent) algortimi

Chiziqli regressiya modelini qurishda gradiyentli tushish (gradient descent) algortimi
Keling, asosiy tushunchalar, xarajat funktsiyasi va o'rganish tezligini tanlash bilan chiziqli regressiya modelini yaratish uchun gradient tushish algoritmini ko'rib chiqaylik.
Reja:
I.Kirish
1. Gradient tushish algoritmi
2. O'rganish tezligini tanlash
3. Gradient tushish muammolari
II.Xulosa
III.Foydalanilgan adabiyotlar
Kirish
Mashinani o'rganish (ML) - bu ma'lumotlardan o'rganish va vaqt o'tishi bilan ularning ishlashini yaxshilash mumkin bo'lgan kompyuter algoritmlarini ishlab chiqishga qaratilgan sun'iy intellektning bir tarmog'i. U ma'lumotlar fanlari sohasida tobora muhim vositaga aylandi va elektron pochtani filtrlashdan tortib, kompyuterni ko'rishgacha bo'lgan keng doiradagi ilovalarda qo'llaniladi. Mashinani o'rganish algoritmlari an'anaviy dasturlash usullari amaliy bo'lmagan yoki samarasiz bo'lgan hollarda qo'llaniladi va ular bashorat qilish, jarayonlarni avtomatlashtirish va katta ma'lumotlar to'plamlarida naqshlarni aniqlash uchun ishlatilishi mumkin. Ushbu maqola mashinani o'rganish asoslari, jumladan ishlatiladigan algoritmlar turlari va ularning qo'llanilishiga kirishni ta'minlaydi. Mashinani o'rganish maqsadi aniq dasturlashni talab qilmasdan ma'lumotlardagi naqshlarni aniqlay oladigan va bashorat qila oladigan algoritmlarni ishlab chiqishdir. Mashinani o'rganish algoritmlari elektron pochtani filtrlashdan tortib, kompyuterni ko'rishgacha bo'lgan keng doiradagi ilovalarda qo'llaniladi.
Mashinada o'rganish algoritmlarining turlari. Mashinani o'rganish algoritmlarining bir nechta turlari mavjud, ularning har biri o'zining kuchli va zaif tomonlariga ega. Mashinani o'rganish algoritmlarining eng keng tarqalgan turlaridan ba'zilari nazorat ostida o'rganish, nazoratsiz o'rganish, yarim nazorat ostida o'rganish va mustahkamlovchi o'rganishni o'z ichiga oladi. Mashina o’qitish (ML) bo’yicha algaritimlar.
 Chiziqli Regressiya
 Logistik Regressiya
 Chiziqli Diskriminant Tahlil
 Tasniflash va regressiya daraxtlari
 Sodda Bayes
 K-Eng Yaqin Qo'shnilar va AdaBoost Nazorat qilinadigan o'rganish algoritmlari bashorat qilish uchun etiketli ma'lumotlardan foydalanadi. Nazorat ostidagi o'rganish algoritmlariga misollar qatoriga chiziqli regressiya, logistik regressiya va chiziqli diskriminant tahlili (LDA) kiradi.
Chiziqli regressiyaning asosiy tushunchalari

• Bog'liq o'zgaruvchi va mustaqil o'zgaruvchilar

• O'zgaruvchilar orasidagi chiziqli munosabat

• Nishab koeffitsientlari va kesishish muddati

• Bashorat qilingan va haqiqiy qiymatlar o'rtasidagi farqni minimallashtirish

Narx funksiyasi
Bashorat qilingan va haqiqiy qiymatlar orasidagi masofani belgilaydi. Maqsad eng yaxshi model koeffitsientlarini olish uchun xarajat funktsiyasini minimallashtirishdir.
Gradient tushish algoritmi

• Koeffitsientlarning dastlabki yaqinlashuvi

• Xarajat funksiyasining gradientini aniqlash

• Gradient va tezlikni hisobga olgan holda koeffitsientlarni yangilash

• Konvergentsiyaga qadar takrorlang

O'rganish tezligini tanlash

• Tezlik juda past - sekin konvergentsiya

• Juda yuqori tezlik - divergentsiya

• O'rganish tezligi va modelning aniqligi o'rtasida muvozanat bo'lishi kerak

• O'rganish tezligini sozlash usullaridan foydalaning

Gradient tushish muammolari

• Overfitting - model o'quv ma'lumotlariga juda moslashtirilgan

• Gradient tushishi mahalliy minimalda qolib ketishi mumkin

• To'g'ri faollashtirish va ma'lumotlarni normallashtirish funktsiyasini tanlash muammolarni bartaraf etishga yordam beradi

Gradient tushishda boshlang'ich qiymatlarni tanlashning ahamiyati
Koeffitsientlarning dastlabki qiymatlari konvergentsiya jarayoniga va modelning sifatiga ta'sir qilishi mumkin.
Xulosa
Xarajat funksiyasini kamaytirish (RMSE qiymatini minimallashtirish) va eng mos chiziqqa erishish uchun θ1 va θ2 qiymatlarini yangilash uchun model Gradient Descentdan foydalanadi. G’oya tasodifiy θ1va θ2 qiymatlaridan boshlash va keyin qiymatlarni iterativ ravishda yangilash va minimal xarajatlarga erishishdir. Maqsad funksiyasining optimumini topishning bu usulida maqsad funksiyaning gradientidan foydalaniladi. Bunda qidiruv qadami maqsad funksiyasining eng tez o‘zgaruvchi yo‘nalishida qo‘yiladi, bu esa albatta optimumni topish jarayonini tezlashtiradi. qidiruvning birinchi bosqichida, hamma o‘zgaruvchilar bo‘yicha hosilalar hisoblab chiqilib, shu nuqtada funksiya gradientining qiymati va yo‘nalishi topiladi. Ikkinchi bosqichida, agar maqsad funksiyasining minimumini qidirilayotgan bo‘lsa, gradient yo‘nalishiga teskari yo‘nalishda qidirish qadami qo‘yiladi, ya’ni funksiyaning eng tez kamayishi yo‘nalishida. qidirish qadamidan so‘ng, hamma o‘q yo‘nalishlar bo‘yicha parametrlarning qiymati o‘zgaradi. Ya’ni, ulardan har biri gradient qiymatlaridagi hissasiga proporsional ravishda o‘sadi.
Foydalanilgan adabiyotlar
1.100 days of Machine learning Siraj Raval.
2. Data-science engineer software Tim Menzin.
3. Technical Strategy for Al Engineer Andrew NG
4.Machine learning for dummies Mueller, John Paul, Massaron.