Kop qatlamli sun'iy neyron to'rlari. Ko'p

Gradient descent (pastlash) algoritmi. Gradient Descent algoritmi weight "w" ning optimal qiymatini topishda
qo'llaniladigan algoritmdir. Sodda qilib aytganda, bu algoritm bizlarga avtomatik tarzda optimal yechimni topib
beradi. Ushbu algortim nafaqat w ning qiymatini topishda balki keyinchalik cost functionni hisoblashda ham 
qo'llaniladi.

Stoxastik gradient tushish bu optimallashtirish algoritmi tez-tez ishlatiladigan mashinada o'rganish bashorat qilingan
va haqiqiy natijalar orasidagi eng mos keladigan model parametrlarini topish uchun dasturlar. Bu noaniq, ammo 
kuchli texnikadir.

Stoxastik gradient tushish mashinada o'rganish dasturlarida keng qo'llaniladi. Backpropagation bilan birgalikda
neyron tarmoq ta'lim dasturlarida ustunlik qiladi.

Asosiy Gradient Tushish Algoritmi

Gradient tushish algoritmi matematik optimallashtirish uchun taxminiy va takroriy usuldir. Siz uni har qanday
farqlanadigan funktsiyaning minimal darajasiga yaqinlashish uchun ishlatishingiz mumkin. Neyron tarmoqlari
gradient tushish bilan vazn va qarama-qarshiliklarni topadi.

Shu bilan bir qatorda, siz SSR o'rniga o'rtacha kvadratik xato (MSE = SSR / SSR) dan foydalanishingiz mumkin.

SSR ham, MSE ham haqiqiy va bashorat qilingan natijalar o'rtasidagi farq kvadratidan foydalanadilar. Farq qancha
past bo'lsa, bashorat shuncha aniq bo'ladi. Noldan farq bashorat haqiqiy ma'lumotlarga teng ekanligini ko'rsatadi.

---

---


Takroriy neyron tarmoq - bu nutqni aniqlash va tabiiy tilni qayta ishlashda keng qo'llaniladigan sun'iy neyron tarmoq turi. Takroriy
neyron tarmoqlar ma'lumotlarning ketma-ket xususiyatlarini tan oladi va keyingi ehtimoliy stsenariyni bashorat qilish uchun
naqshlardan foydalanadi.

Takroriy neyron tarmoqlari (RNN) ketma-ket ma'lumotlar uchun eng zamonaviy algoritm bo'lib, Apple Siri va Google ovozli qidiruvi
tomonidan qo'llaniladi. Bu ichki xotira tufayli kiritilgan ma'lumotlarni eslab qoladigan birinchi algoritm bo'lib, u ketma- ket
ma'lumotlarni o'z ichiga olgan mashinani o'rganish muammolari uchun juda mos keladi.

Takroriy neyron tarmoqlarining turlari

Ikkilik.

Chiziqli.

Uzluksiz-chiziqsiz.

Qo'shimchali STM tenglamasi.

Manevr STM tenglamasi.

Umumiylashtirilgan STM tenglamasi.

MTM: Habituativ transmitter eshiklari va depressiv sinapslar.

LTM: Darvozali eng keskin o'rganish: Hebbian o'rganish emas.

RNN o'zboshimchalik bilan kiritish/chiqish uzunligini boshqarishi mumkin. CNN - bu minimal miqdordagi dastlabki ishlov berishdan
foydalanish uchun mo'ljallangan ko'p qatlamli perseptronlarning o'zgarishi bilan oldinga yo'naltirilgan sun'iy neyron tarmog'ining bir
turi. RNN oldinga uzatish neyron tarmoqlaridan farqli o'laroq - o'z ichki xotirasidan kirishlarning ixtiyoriy ketma-ketligini qayta ishlash
uchun foydalanishi mumkin.

To'g'ridan-to'g'ri uzatish neyron tarmoqlari ma'lumotlarni kiritishdan chiqishga oldinga o'tkazadi, takroriy tarmoqlarda esa qayta ishlash
va yakuniy chiqish uchun ma'lumotlar qayta uzatilishidan oldin ma'lum bir nuqtada kirishga qaytarilishi mumkin bo'lgan qayta aloqa
zanjiri mavjud.

Takroriy ta'lim ishchilar, ishsizlar, nafaqaxo'rlar yoki bo'sh vaqtlari zarur bo'lganlar tomonidan uyushgan ta'limga davriy qaytishni o'z
ichiga oladi. Davomli o'rganish motivatsiyasi kadrlar bilan bog'liq muammolar, ijtimoiy, siyosiy va madaniy omillar va o'zini namoyon
qilish istagidan kelib chiqadi.

Bu vaqt seriyalarini bashorat qilishda faqat oldingi kiritilgan ma'lumotlarni eslab qolish xususiyati tufayli foydalidir. Bu uzoq qisqa
muddatli xotira deb ataladi. Takroriy neyron tarmog'i hatto samarali piksel qo'shnisini kengaytirish uchun konvolyutsion qatlamlar bilan
ham qo'llaniladi.

---

