Sun’iy intellekt va neyron tarmoqlari”fanidan sun’iy neyron tarmoqlari modeli

Takrorlanuvchi neyron tarmoqlar

Takroriy neyron tarmoqlarning ilovalari

• 
  Avtomatik taklif, grammatika tekshiruvi va boshqalar kabi matnni qayta ishlash.
  
• 
  Matnni nutqqa qayta ishlash
  
• 
  Rasm teglari
  
• 
  Hissiyot tahlili
  
• 
  Tarjima
  

Qatlamning chiqishini saqlash uchun mo'ljallangan, takroriy neyron tarmog'i qatlam natijasini bashorat qilishda yordam berish uchun kirishga qaytariladi. Birinchi qatlam odatda oldinga uzatiladigan neyron tarmoq bo'lib, undan keyin takrorlanuvchi neyron tarmoq qatlami bo'lib, unda oldingi vaqt bosqichida mavjud bo'lgan ba'zi ma'lumotlar xotira funktsiyasi bilan eslab qolinadi. Bu holda oldinga tarqalish amalga oshiriladi. U kelajakda foydalanish uchun zarur bo'lgan ma'lumotlarni saqlaydi. Agar bashorat noto'g'ri bo'lsa, o'rganish tezligi kichik o'zgarishlar qilish uchun ishlatiladi. Shunday qilib, orqaga tarqalish paytida to'g'ri bashorat qilish uchun uni asta-sekin oshirish.

Takroriy neyron tarmoqlarning afzalliklari

1. 
   Har bir namunani tarixiy bo'lganlarga bog'liq deb hisoblash mumkin bo'lgan ketma-ket ma'lumotlarning afzalliklaridan biri hisoblanadi.
   
2. 
   Piksel samaradorligini oshirish uchun konvolyutsiya qatlamlari bilan foydalaniladi.
   

Takroriy neyron tarmoqlarning kamchiliklari

1. 
   Gradientning yo'qolishi va portlashi muammolari 
   
2. 
   Takroriy neyron tarmoqlarini o'rgatish qiyin vazifa bo'lishi mumkin 
   
3. 
   F
   aollashtirish funktsiyasi sifatida ReLU yordamida uzoq ketma-ket ma'lumotlarni qayta ishlash qiyin. (7-rasm)
   

7-rasm. Takrorlanuvchi neyron tarmoqlar

RNN orqali takomillashtirish: LSTM (Uzoq qisqa muddatli xotira) tarmoqlari

L
STM tarmoqlari standart birliklarga qo'shimcha ravishda maxsus birliklardan foydalanadigan RNN turidir. LSTM birliklari ma'lumotni uzoq vaqt davomida xotirada saqlay oladigan "xotira xujayrasi" ni o'z ichiga oladi. Eshiklar to'plami ma'lumot chiqarilganda xotiraga qachon kirishini va qachon unutilganligini nazorat qilish uchun ishlatiladi. Eshiklarning uch turi mavjud, ya'ni kirish eshigi, chiqish eshigi va unutish eshigi. Kirish eshigi oxirgi namunadagi qancha ma'lumot xotirada saqlanishini hal qiladi; chiqish eshigi keyingi qatlamga uzatiladigan ma'lumotlar miqdorini tartibga soladi va unutish shlyuzlari saqlangan xotiraning yirtish tezligini nazorat qiladi. Ushbu arxitektura ularga uzoq muddatli bog'liqliklarni o'rganish imkonini beradi.(8-rasm)
8-rasm. (Uzoq qisqa muddatli xotira) tarmoqlari
Bu LSTM xujayralarining ilovalaridan biri, boshqa ko'plab arxitekturalar mavjud.(9-rasm)
9
-rasm RNN va LSTM