Sun’iy intellekt va neyron to’rli texnologiyalar

Rekurent to’rlar.


Reja:

1. Rekurent to’rlar.

   
   

2. Ikkinchi darajali RNNlar.

   
   

3. Hopfield tarmog'i .

   
   

A takrorlanadigan neyron tarmoq (RNN) sinfidir sun'iy neyron tarmoqlari bu erda tugunlar orasidagi ulanishlar a yo'naltirilgan grafik vaqtinchalik ketma-ketlik bo'yicha. Bu unga vaqtinchalik dinamik harakatni namoyish etishga imkon beradi. Dan olingan feedforward neyron tarmoqlari, RNNlar o'zlarining ichki holatidan (xotira) foydalanib, kirishlarning o'zgaruvchan uzunlikdagi ketma-ketliklarini qayta ishlashga qodir. Bu ularni ajratilmagan, bog'langan kabi vazifalarga tatbiq etadi qo'l yozuvini tanib olish yoki nutqni aniqlash. "Qayta tiklanadigan neyron tarmoq" atamasi bir-biriga o'xshash umumiy tuzilishga ega bo'lgan ikkita keng tarmoq sinflariga nisbatan birma-bir ishlatiladi, bu erda bitta cheklangan impuls ikkinchisi esa cheksiz impuls. Ikkala tarmoq tarmoqlari ham vaqtinchalik xususiyatga ega dinamik xatti-harakatlar. Cheklangan impulsli takrorlanadigan tarmoq bu a yo'naltirilgan asiklik grafik bu ro'yxatdan o'tkazilishi va o'rniga aniq neyron tarmog'i bilan almashtirilishi mumkin, cheksiz impulsli takrorlanadigan tarmoq esa yo'naltirilgan tsiklik grafik yozib bo'lmaydi.

Har ikkala cheklangan impuls va cheksiz impulsli takrorlanadigan tarmoqlar qo'shimcha saqlangan holatlarga ega bo'lishi mumkin va saqlash to'g'ridan-to'g'ri neyron tarmoq tomonidan boshqarilishi mumkin. Vaqtni kechiktirishni o'z ichiga olgan yoki teskari aloqa ko'chadan bo'lsa, saqlashni boshqa tarmoq yoki grafik bilan almashtirish mumkin. Bunday boshqariladigan holatlar eshik yoki eshik xotirasi deb nomlanadi va ularning bir qismidir uzoq muddatli xotira tarmoqlar (LSTM) va eshikli takroriy birliklar. Bu, shuningdek, Feedback Neural Network (FNN) deb nomlanadi. Qayta tiklanadigan neyron tarmoqlari asos qilib olindi Devid Rumelxart 1986 yilda ishlagan. Hopfild tarmoqlari - maxsus turdagi RNN - tomonidan kashf etilgan Jon Xopfild 1982 yilda. 1993 yilda asabiy kompressor tizimi "Juda chuqur o'rganish" vazifasini hal qildi, bu o'z vaqtida ochilgan RNNda keyingi 1000 dan ortiq qatlamlarni talab qildi. LSTM Uzoq muddatli qisqa muddatli xotira (LSTM)tarmoqlari tomonidan ixtiro qilingan Xoxrayter va Shmidhuber 1997 yilda va bir nechta dastur domenlarida aniqlik yozuvlarini o'rnatdi.

2007 yil atrofida LSTM inqilob qila boshladi nutqni aniqlash, ma'lum nutq dasturlarida an'anaviy modellardan ustunroq. 2009 yilda, a Connectionist vaqtinchalik tasnifi (CTC) o'qitilgan LSTM tarmog'i ulangan bir nechta musobaqalarda g'olib chiqqandan so'ng, namunalarni aniqlash bo'yicha tanlovlarda g'olib bo'lgan birinchi RNN qo'l yozuvini tanib olish. 2014 yilda Xitoy qidiruv giganti Baidu sindirish uchun CTC-dan tayyorlangan RNNlardan foydalangan Switchboard Hub5'00 nutqni aniqlash ma'lumotlar to'plami har qanday an'anaviy nutqni qayta ishlash usullaridan foydalanmasdan benchmark.
LSTM shuningdek, katta lug'atdagi nutqni aniqlashni yaxshiladi va nutqdan matngacha sintez va ishlatilgan Google Android. Ma'lumotlarga ko'ra, 2015 yilda Google nutqni tan olish ko'rsatkichlari 49% ga keskin ko'tarilgan. CTC tomonidan tayyorlangan LSTM orqali. LSTM yaxshilangan rekordlarni yangiladi mashina tarjimasi, Tilni modellashtirish va ko'p tilli tillarni qayta ishlash. LSTM bilan birlashtirilgan konvolyutsion asab tarmoqlari (CNN) yaxshilandi avtomatik rasm taglavhasi. LSTM-larni hisoblash va xotira xarajatlarini hisobga olgan holda, LSTM-ni apparat tezlatgichlari yordamida tezlashtirish bo'yicha ishlar olib borildi.
RNNlar turli xil variantlarda mavjud. To'liq takrorlanadigan

Katlanmagan asosiy takrorlanadigan neyron tarmoq.Asosiy,RNNlar-bu tarmoq neyronga o'xshash ketma-ket qatlamlarga ajratilgan tugunlar. Berilgan qatlamdagi har bir tugun a bilan bog'langan yo'naltirilgan (bir tomonlama) ulanish keyingi ketma-ket qatlamdagi har bir boshqa tugunga. Har bir tugun (neyron) vaqt bo'yicha o'zgaruvchan real qiymatga ega aktivatsiyaga ega. Har bir ulanish (sinaps) o'zgaruvchan haqiqiy qiymatga ega vazn. Tugunlar - bu kirish tugunlari (tarmoq tashqarisidan ma'lumotlarni qabul qilish), chiqish tugunlari (natijalar berish) (ma'lumotlarni o'zgartiradigan) yo'nalishida kirishdan chiqishga). Uchun nazorat ostida o'rganish diskret vaqt sozlamalarida real qiymatli kirish vektorlari ketma-ketligi kirish tugunlariga bir vaqtning o'zida bitta vektor keladi. Har qanday ma'lum bir vaqt qadamida har bir kiritilmagan birlik unga ulanadigan barcha birliklarning faollashuvining tortilgan yig'indisining chiziqli bo'lmagan funktsiyasi sifatida joriy faolligini (natijasini) hisoblab chiqadi. Nazoratchi tomonidan berilgan maqsadli faollashtirishlarni ba'zi bir ishlab chiqarish birliklari uchun ma'lum vaqt bosqichlarida etkazib berish mumkin. Masalan, agar kirish ketma-ketligi so'zlangan raqamga mos keladigan nutq signali bo'lsa, ketma-ketlik oxirida yakuniy maqsad chiqishi raqamni tasniflovchi yorliq bo'lishi mumkin.Yilda mustahkamlashni o'rganish sozlamalari, hech bir o'qituvchi maqsadli signallarni bermaydi. Buning o'rniga, a fitness funktsiyasi yoki mukofotlash funktsiyasi vaqti-vaqti bilan atrof-muhitga ta'sir ko'rsatadigan aktuatorlarga ulangan chiqish bloklari orqali uning kirish oqimiga ta'sir ko'rsatadigan RNN ishlashini baholash uchun ishlatiladi. Bu yutuq ochkolari soni bilan o'lchanadigan o'yin o'ynash uchun ishlatilishi mumkin. Har bir ketma-ketlik barcha maqsadli signallarning tarmoq tomonidan hisoblangan mos keladigan aktivatsiyalardan chetlanishlari yig'indisi sifatida xatolikni keltirib chiqaradi. Ko'p sonli ketma-ketliklarning mashg'ulotlari uchun umumiy xato barcha individual ketma-ketliklar xatolarining yig'indisidir.

Hopfield tarmog'i
Hopfield tarmog'i barcha ulanishlar nosimmetrik bo'lgan RNN. Bu talab qiladi statsionar kiritadi va shu bilan umumiy RNN emas, chunki u naqshlar ketma-ketligini qayta ishlamaydi. U birlashishini kafolatlaydi. Agar ulanishlar yordamida o'qitilsa Xebbiylarni o'rganish u holda Hopfield tarmog'i quyidagicha bajarishi mumkin mustahkam manzilga mo'ljallangan xotira, ulanish o'zgarishiga chidamli.Mustaqil ravishda takrorlanadigan neyron tarmoq (IndRNN) an'anaviy to'liq bog'langan RNN-dagi yo'qolgan va portlovchi muammolarni hal qiladi. Bir qatlamdagi har bir neyron faqat o'zining o'tgan holatini kontekstli ma'lumot sifatida qabul qiladi (bu qatlamdagi boshqa barcha neyronlarga to'liq bog'lanish o'rniga) va shu bilan neyronlar bir-birlarining tarixidan mustaqil bo'lishadi. Uzoq yoki qisqa muddatli xotirani saqlab qolish uchun gradient yo'qolishi va portlashiga yo'l qo'ymaslik uchun gradient backpropagation tartibga solinishi mumkin. O'zaro faoliyat neyronlar haqidagi ma'lumotlar keyingi qatlamlarda o'rganiladi. IndRNN ReLU kabi to'yinmagan chiziqli bo'lmagan funktsiyalar bilan mustahkam tarzda o'qitilishi mumkin. Skip-ulanishlar yordamida chuqur tarmoqlarni o'rgatish mumkin.
Rekursiv neyron tarmoq.
A rekursiv neyron tarmoq bir xil og'irlik to'plamini qo'llash orqali yaratiladi rekursiv ichida strukturani bosib o'tish orqali farqlanadigan grafikka o'xshash struktura ustida topologik tartib. Bunday tarmoqlar odatda teskari rejimda o'qitiladi avtomatik farqlash. Ular qayta ishlashlari mumkin tarqatilgan vakolatxonalar kabi tuzilish mantiqiy atamalar. Rekursiv neyron tarmoqlarining alohida holati - bu RNN, uning tuzilishi chiziqli zanjirga to'g'ri keladi. Rekursiv neyron tarmoqlari qo'llanildi tabiiy tilni qayta ishlash. Rekursiv nerv-Tensor tarmog'ida a tensor - daraxtdagi barcha tugunlarga asoslangan kompozitsion funktsiya.
Nerv tarixidagi kompressor - bu RNNlarning nazoratsiz to'plami. Kirish darajasida u avvalgi kirishlardan keyingi kiritishni bashorat qilishni o'rganadi. Ierarxiyadagi ba'zi bir RNNlarning faqat oldindan aytib bo'lmaydigan kiritmalari keyingi yuqori darajadagi RNN-ning kirish qismiga aylanadi, shuning uchun uning ichki holati kamdan-kam hollarda hisoblab chiqiladi. Shunday qilib, har bir yuqori darajadagi RNN quyidagi RNNdagi ma'lumotlarning siqilgan ko'rinishini o'rganadi. Bu kirish ketma-ketligini eng yuqori darajadagi vakolatxonadan aniq qayta tiklashi uchun amalga oshiriladi.Kiruvchi ma'lumotlar ketma-ketligida juda ko'p o'rganiladigan prognozni hisobga olgan holda, eng yuqori darajadagi RNN nazorat qilinadigan ta'limdan foydalanib, hatto muhim voqealar orasidagi uzoq vaqt oralig'idagi chuqur ketma-ketlikni tasniflashi mumkin. RNN iyerarxiyasini ikkita RNNga distillash mumkin: "ongli" chunker (yuqori daraja) va "bilinçaltı" avtomatizator (pastki daraja). Chunker avtomatizator tomonidan oldindan aytib bo'lmaydigan kirishni bashorat qilishni va siqishni o'rgangandan so'ng, avtomatizator keyingi o'quv bosqichida sekinroq o'zgarib turadigan chunkerning yashirin bo'linmalarini qo'shimcha birliklar orqali bashorat qilishga yoki taqlid qilishga majbur qilinishi mumkin. Bu avtomatizatorga mos keladigan, kamdan-kam o'zgaruvchan xotiralarni uzoq vaqt oralig'ida o'rganishni osonlashtiradi. O'z navbatida, bu avtomatizatorga bir vaqtlar oldindan aytib bo'lmaydigan kirishlar ko'pini bashorat qilishda yordam beradi, shunda chunker qolgan kutilmagan hodisalarga e'tibor qaratishi mumkin.
A generativ model qisman engib chiqdi yo'qolib borayotgan gradyan muammosi ning avtomatik farqlash yoki orqaga targ'ib qilish 1992 yilda neyron tarmoqlarda. 1993 yilda bunday tizim "Juda chuqur o'rganish" vazifasini hal qildi, bu o'z vaqtida ochilgan RNNda 1000 dan ortiq.Ikkinchi darajali RNNlar yuqori xaritalar yoki barqarorlikni isbotlovchi hujjat yo'q.

Uzoq muddatli xotira birligi

Uzoq muddatli qisqa muddatli xotira (LSTM) bu a chuqur o'rganish dan qochadigan tizim yo'qolib borayotgan gradyan muammosi. LSTM odatda "unutilgan eshiklar" deb nomlangan takrorlanadigan eshiklar tomonidan ko'paytiriladi. LSTM backpropagated xatolarning yo'q bo'lib ketishiga yoki portlashiga yo'l qo'ymaydi. Buning o'rniga, xatolar kosmosda ochilgan cheksiz ko'p miqdordagi virtual qatlamlar orqali orqaga qarab oqishi mumkin. Ya'ni, LSTM vazifalarni o'rganishi mumkin oldin minglab, hatto millionlab diskret vaqt qadamlari bilan sodir bo'lgan voqealar xotiralarini talab qiladi. Muammolarga xos LSTMga o'xshash topologiyalar rivojlanishi mumkin. LSTM muhim voqealar orasidagi uzoq kechikishlarni hisobga olgan holda ham ishlaydi va past va yuqori chastotali komponentlarni aralashtiruvchi signallarni boshqarishi mumkin.
Ko'pgina dasturlarda LSTM RNN to'plamlari ishlatiladi va ularni o'rgatish Connectionist Temporal Classification (CTC) mos keladigan kirish ketma-ketliklarini hisobga olgan holda o'quv majmuasida yorliqlar ketma-ketligi ehtimolini maksimal darajada oshiradigan RNN og'irlik matritsasini topish. CTC ham moslashtirishga, ham tanishga erishadi. LSTM tanib olishni o'rganishi mumkin kontekstga sezgir tillar oldingi modellardan farqli o'laroq yashirin Markov modellari (HMM) va shunga o'xshash tushunchalar.