1-ma’ruza. Berilganlarni intellektual tahliliga kirish

15-ma’ruza. Chuqur o‘rganish
Chuqur o‘rganish obrazlarni anglash va mashinani o‘rganish sohasida inqilob qildi. Bu neyron to‘rli amallar va bunday amallar natijalari o‘rtasidagi mumkin bo‘lgan sabab-ta'sir munosabatlarining uzun zanjirlari bilan moslashuvchan tizimda ishonch koeffitsientlarini belgilashdan iborat.
Chuqur o‘rganish inson miyasining tuzilishidan ilhomlangan sun'iy neyron to‘rlarning ishlashi bilan bog‘liq. Inson miyasida taxminan 100 milliard kichik protsessorlar (neyronlar) mavjud bo‘lib, ularning har biri o‘rtacha 10 000 ga yaqin boshqa neyronlar bilan bog‘langan. Ulardan ba'zilari – kirish neyronlari boshqa barcha neyronlarni berilganlar bilan ta’minlaydi - masalan, "kameralardan" vizual ma'lumot, "mikrofonlardan" ovoz, og‘riq, ochlik signallari va boshqalar. Bunda tashqari chiqish neyronlar mavjud bo‘lib, ular barmoqlardagi mushaklarini yoki ovoz apparat harakatini nazorat qiladi. Aksariyat neyronlar o‘rtada yashiringan bo‘lib, u erda axborotlarga ishlov berish sodir bo‘ladi.
Taxminlarga ko‘ra insonning miyamizdagi o‘rganish neyronlar ulanishlarini kuchaytirish yoki zaiflashtirishga asoslangan. Har bir ulanishning vazni yoki ulanish mustahkamligi bor, u bir neyron boshqasiga qanchalik ta'sir qilishini anglatadi. Ushbu vaznlar neyronlarning bir-biriga qanchalik kuchli ta'sir qilishini aniqlaydi. Bu bizning sun'iy neyron to‘riga o‘xshaydi, ular ilgari ma'lum bo‘lgan nutq, qo‘l yozuvi va videoni tanib olish, jarimadan qochish va mukofotlarni ko‘paytirishga harakat qilganda mustahkamlashni o‘rganishdagi xatolarni minimallashtirishni o‘rganadi va mashinalarni yaxshiroq boshqaradi.
Bugungi kunda chuqur o‘rganish uchun millionlab ilovalar mavjud.
O‘rganish yoki ishonchlik koeffitsentlari tayinlash (hisoblash) maqsadi - to‘rning kutilayotgan hatti-harakat namoyon qilishidir, masalan robotni boshqarish. Bunga erishishi uchun, qo‘yilgan masala va neyronlarning o‘zaro bog‘liqligiga qarab, ketma-ket hisob-kitoblarning uzoq zanjirlari talab qilinishi mumkin va har bir bosqich keyingisiga berilganlarni tayyorlaydi, har bir bosqichda butun to‘rning holati, aksariyat holatlarda nochiziqli tarzda o‘zgaradi.
Neyron to‘rlarda chuqur o‘rganish hisoblashning ushbu bosqichlarida ishonch koeffitsientlarini aniq tayinlashga to‘g‘ri keladi. Ishonch koeffisentlarini tayinalsh muammosini yuzaga chiqaradi: oldingi qadamda bajarilgan amallar qaysi birlari hozir ro‘y berayotgan holatga ta'sir qiladi? Keyinchalik shunga o‘xshash holat duch kelganda, olingan tajribadan qanday foyda olish mumkin?
Berilganlar ketma-ketligiga ishlov berishga rekurent neyron to‘rlari (RNT) eng ilg‘or neyron to‘rlardandir, chunki u universal hisoblash masinalaridir: u elektron sxemalarning ishlashini immitatsiya qiladi. To‘liq ulangan RNTda barcha tugunlar, kirish tugunlaridan tashqari qolgan tugunlar bilan ulangan bo‘ladi. To‘g‘ri bog‘lanishli neyron to‘rlardan farqli o‘laroq, RNTlarda xalqalar, rekursiya va shunga o‘xshashlar bo‘lishi mumkin. RNT amalga oshirish dasturi – bu uning vazn matritsasini hisoblashdir.

RNTlar ma’lumotlarni ketma-ket va parallel ishlov berish birlashtirgan dasturlarni oson va samarali bajarishga o‘rganishi mumkin. Berilgan neyron to‘rida ishonch koeffitsientlarini tayinlash chuqur yoki sayoz ekanligini aniqlash uchun mos keluvchi ishonch koeffitsientini taynlash yo‘llarining davomiyligini, ya'ni ketma-ket tugunlar orasidagi mumkin bo‘lgan sabab-oqibat bog‘lanish zanjirlarini ko‘rib chiqishga to‘g‘ri keladi. Misol uchun, berilganlar kirish neyronlaridan yashirin neyronlar orqali, teskari bog‘lanish bo‘lmagan holda chiqish neyronlariga o‘tishi mumkin. Yana bir variant - kirish neyronlaridan olingan berilganlar dinamik ravishda rekurent neyron to‘rlarda tranformatsiyalanadi.
Fiksirlangan topologiyaga ega bo‘lgan to‘g‘ri bog‘lanishli neyron to‘rlari masalalarning maksimal hisoblash murakkabligi bo‘yicha cheklovlarga ega va bu cheklovlar masalaning mohiyatiga bog‘liq emas: ular to‘rdagi neyronlarning nechta qatlami bo‘lishiga bog‘liq bo‘ladi. Barcha neyron to‘rlari ichida RNT potensial ravishda cheklanmagan murakablikdagi masalalarni echishga o‘rgaishi mumkin, masalan, ixtiyoriy vaqtdagi davomidagi ba'zi oldingi kuzatuvlarni qisqa muddatli xotiraga saqlashni o‘rgangan holda potentsial cheksiz murakkablikdagi muammolarni hal qilishni o‘rganishi mumkin.
aRNT yordamida hattoki statik obrazlarni anglash masalasini hal qilish odatda osonroq ekanligini ko‘rsatadigan misol ko‘raylik. Odatda, agar tasvirni tasniflash zarur bo‘lganda to‘g‘ri bog‘lanishli to‘rning chiqishida "ha, bu yerda sigir bor" yoki "yo‘q, bu yerda sigir yo‘q" qarori bo‘lishiga o‘ratiladi.
Nazariy isbotlanganki, ixtiyory bo‘lakli-uzluksiz funksiyayni neyronlarning bitta yashirin qatlami yetarli bo‘ladi. Demak, neyrn to‘rini amal qilishi uchun bitta yashirin qatlam yetarli, to‘r chuqurligi muhim emas, yani ushbu qatlamda nechta tugun bo‘lishi muhim emas.
Amalda ma'lum bo‘lishicha, agar to‘rga yanada ko‘p qatlamlarni qo‘shilsa, ko‘pgina masalalarni hal qilish osonroq bo‘ladi va agar to‘rga rekurent bog‘lanishlarni qo‘shilsa to‘g‘ri bog‘lanishli to‘rlar echa olmaydigan boshqa masalalarni echish mumkin bo‘lar ekan.
Masala ko‘raylik. Paritet (juftlik) bitini aniqlash masalasi. Kirish bitlar oqimidir: 1, 0, 0, 1, 1, 0, 1 va hokazo, jami o‘n bit. Nol va birlarning 2¹⁰ ta mumkin bo‘lgan kombinatsiyasi, ya'ni jami 1024 ta variant mavjud va neyron to‘rini ularni to‘g‘ri tanib olishni o‘rgatish mumkin. Bunday to‘r o‘nta kirish neyroni, o‘nlab neyronlardan iborat yashirin qatlami (yoqorida aytilgandek, bitta qatlam etarli) va bitta chiqish neyroni bo‘ladi: ha (1) - agar qatordagi birlar soni juft va 0 - birlar soni toq bo‘lsa. Bunday to‘r o‘rgatish uchun juda ko‘p o‘raguvchi berilganlarni taqdim etish zarur bo‘ladi.
Xuddi shu natijani oldingi misoldagi kabi yuzlab bo‘glanishlar bilan emas, balki faqat beshta bog‘laishga ega kichgina RNT bilan osonroq olish mumkin. To‘r faqat bitta kirish neyronga ega bo‘lib, unga 1, 0, 1, 1 va hokazo bitlar uzatiladi. Bundan tashqari, bunday to‘r doimo faol siljish neyroniga va o‘ziga-o‘zi ulangan bitta yashirin neyronga, shuningdek, yashirin neyrondan va siljish neyrondan berilganlarni qabul qiluvchi bitta chiqish neyroniga ega bo‘lishi kerak.
Demak, bunday to‘rda 5 ta vazn bor bo‘lib, u paritet masalasini echishi kerak. Bu ishni amalga oshirish juda sodda. To‘r faqatgina qiymatlarni invertlashga o‘rganishi kerak bo‘ladi: agar kirishda 1 kelsa, yashirin neyron holati teskarisiga almashishi kerak bo‘laadi. Agar uning holati 1 bo‘lsa, u 0 qiymatini qabul qilishi kerak va aksincha 0 yoki 0 yaqin bo‘lsa u 1 yoki 1 yaqin songa almashishi kerak bo‘ladi.
O‘rganish jarayonida juda sodda algoritmdan foydalanish mumkin bo‘ladi. Masalan, Bog‘lanishlar vaznlarining boshlang‘ich qiymati sifatida -10 dan 10 gacha sonlarni berish orqali to‘r kirishiga 7 bitli, 10 bitli va 21 bitli 3 ta ketma-ketliklarni berib o‘rgatish mumkin bo‘ladi.
Shunday qilib, kichik RNT kattaroq hajmdagi to‘g‘ri bog‘lanishli to‘r bilan bir xil masalalarni va boshqa murakkab masalalarni hal qilishi mumkin. Yoqoridagi misoldagi to‘g‘ri bog‘lanishli to‘rda kirishga 10 bitdan katta ketma-ketligi bo‘lganda ishlamaydi, masalan, 11 bit, chunki u hech qachon bunday berilganlarga o‘ranmagan. Biroq, RNT bu holatni juda oddiy va chiroyli ravishda yechadi. Bu RNTning to‘g‘ri bog‘lanishli to‘rlardan asosiy afzalliklarini ko‘rsatadi.


AMALIY MASHG`ULOT