Mavzu: Sun'iy neyron tarmoqlarining zamonaviy dasturiy vositalari

Mavzu: Sun'iy neyron tarmoqlarining zamonaviy dasturiy vositalari

Reja:

1. 
   Sun'iy neyron tarmoqlari 
   
2. 
   Sodda neyron tarmoqlarini qurish
   
3. 
   Giperparametr
   

Sun'iy neyron tarmoqlarining zamonaviy dasturiy vositalari
Sun'iy neyron tarmoqlari (ANN), odatda oddiy deb nomlanadi neyron tarmoqlari (NNs), hayvonlarning miyasini tashkil etuvchi biologik neyron tarmoqlardan noaniq tarzda ilhomlangan hisoblash tizimlari. ANN sun'iy neyronlar deb ataladigan bog'langan birliklar yoki tugunlar to'plamiga asoslanadi, ular biologik miyadagi neyronlarni erkin modellashtiradi. Har bir ulanish, xuddi biologik miyadagi sinapslar kabi, boshqa neyronlarga signal o'tkazishi mumkin. Signalni olgan sun'iy neyron uni qayta ishlaydi va unga ulangan neyronlarga signal berishi mumkin. Ulanishdagi "signal" haqiqiy raqamdir va har bir neyronning chiqishi uning yig'indisining ba'zi chiziqli bo'lmagan funktsiyalari bilan hisoblanadi. Ulanishlar deyiladi qirralar. Neyronlar va qirralarning odatda a vazn bu o'rganish davom etar ekan, moslashadi. Og'irlik ulanish paytida signal kuchini oshiradi yoki kamaytiradi. Neyronlar shunday chegaraga ega bo'lishi mumkinki, agar signal faqat shu chegarani kesib o'tgan bo'lsa, signal yuboriladi. Odatda, neyronlar qatlamlarga yig'iladi. Turli qatlamlar kirishda har xil o'zgarishlarni amalga oshirishi mumkin. Signallar birinchi qavatdan (kirish qatlami), oxirgi qatlamga (chiqish qatlami), ehtimol, qatlamlarni bir necha marta bosib o'tgandan keyin o'tadi.Sun'iy neyron tarmoqlar perceptrons deb nomlangan o'zaro bog'liq komponentlardan tashkil topgan bo'lib, ular biologik neyronlarning soddalashtirilgan raqamli modellari hisoblanadi. Tarmoqlar kamida ikkita qatlamli perceptronga ega: biri kirish qatlami, ikkinchisi chiqish uchun. Kirish va chiqish o'rtasida bir yoki bir nechta "yashirin" qatlamlarni sendvich qilib, siz "chuqur" neyron tarmoqni olasiz, yashirin qatlamlar soni qancha ko'p bo'lsa, tarmoq shunchalik chuqur bo'ladi.
Chuqur to'rlarni mushuk yoki itlarning tasvirini aks ettiruvchi naqshlar kabi ma'lumotlardagi naqshlarni tanlashga o'rgatish mumkin. Trening idrok etuvchilar orasidagi ulanishlar kuchini iterativ ravishda sozlash uchun algoritmdan foydalanishni o'z ichiga oladi, shunda tarmoq berilgan kirishni (tasvir piksellarini) to'g'ri belgi (mushuk yoki it) bilan bog'lashni o'rganadi. O'qitilgandan so'ng, chuqur tarmoq ideal tarzda ilgari ko'rmagan kirishni tasniflay olishi kerak.Umumiy tuzilishi va funktsiyasi bo'yicha, chuqur to'rlar miyani taqlid qilishga intiladi, bunda neyronlar orasidagi ulanishning kuchlari o'rganilgan uyushmalarni aks ettiradi. Neyrobiologlar bu taqqoslashda ko'pincha muhim cheklovlarni ta'kidlab o'tishgan: masalan, individual neyronlar ma'lumotni "soqov" perseptronlarga qaraganda ko'proq qayta ishlashlari mumkin va chuqur tarmoqlar ko'pincha orqaga tarqalish deb ataladigan perseptronlar o'rtasidagi aloqa turiga bog'liq bo'lib tuyuladi. asab tizimlarida. Shunga qaramay, hisoblash nevrologlari uchun chuqur tarmoqlar ba'zida miyaning qismlarini modellashtirish uchun eng yaxshi variant bo'lib tuyuldi. Vizual tizimning hisoblash modellarini ishlab chiqayotgan tadqiqotchilarga biz primatlarning vizual tizimi haqida bilgan narsalarimiz, xususan, ventral vizual oqim deb ataladigan odamlar, joylar va narsalarni tanib olish uchun mas'ul bo'lgan yo'l ta'sir ko'rsatdi. (Alohida alohida yo'l, dorsal vizual oqim, harakat va narsalarning holatini ko'rish uchun ma'lumotlarni qayta ishlaydi.) Odamlarda bu qorincha yo'li ko'zdan boshlanadi va talamusdagi lateral genikulyar yadroga o'tadi. hissiy ma'lumot. Yanal genikulyar yadro birlamchi ko'rish po'stlog'idagi V1 deb ataladigan sohaga bog'lanadi, uning quyi oqimida V2 va V4 sohalari yotadi, bu esa nihoyat pastki temporal korteksga olib keladi. (Inson bo'lmagan primatlarning miyasi gomologik tuzilishga ega.)
Asosiy nevrologik tushuncha shundaki, vizual axborotni qayta ishlash ierarxik bo'lib, u bosqichma-bosqich davom etadi: oldingi bosqichlar vizual sohadagi past darajadagi xususiyatlarni (qirralar, konturlar, ranglar va shakllar kabi) qayta ishlaydi, holbuki butun ob'ektlar va yuzlar kabi murakkab tasvirlar. , faqat keyinroq pastki temporal korteksda paydo bo'ladi.Ushbu tushunchalar Yamins va uning hamkasblari tomonidan chuqur to'rning dizaynini boshqargan. Ularning chuqur tarmog'ida yashirin qatlamlar bor edi, ularning ba'zilari tasvirning har bir qismiga bir xil filtrni qo'llagan "konvolyutsiya" ni amalga oshirdi. Har bir konvolyutsiya tasvirning turli muhim xususiyatlarini, masalan, qirralarni qamrab oldi. Tarmoqning boshlang'ich bosqichida asosiy xususiyatlar va chuqurroq bosqichlarda, primat vizual tizimidagi kabi, yanada murakkab xususiyatlar qo'lga kiritildi. Agar shunga o'xshash konvolyutsion neyron tarmoq (CNN) tasvirlarni tasniflashga o'rgatilsa, u filtrlar uchun tasodifiy boshlangan qiymatlardan boshlanadi va vazifa uchun zarur bo'lgan to'g'ri qiymatlarni o'rganadi. Guruhning to'rt qavatli CNN telekanali 5760 ta foto-realistik 3D tasvirlarda tasvirlangan sakkiz toifadagi ob'ektlarni (hayvonlar, qayiqlar, avtomobillar, stullar, yuzlar, mevalar, samolyotlar va stollar) taniy oladi. Tasvirlangan ob'ektlar poza, joylashuv va masshtab jihatidan juda xilma-xil edi. Shunga qaramay, chuqur tarmoq turli xil bo'lishiga qaramay, ob'ektlarni tanib olishda juda yaxshi bo'lgan odamlarning ishlashiga mos keldi.
Sun'iy neyron tarmoqlari. Sodda neyron tarmoqlarini qurish
Sun'iy neyron tarmoqlari. Sodda neyron tarmoqlarini qurish
Sun'iy neyron tarmog'i (ANN) - bu inson miyasini axborotni tahlil qilish va qayta ishlash usulini taqlid qilishga mo'ljallangan hisoblash tizimining bir qismi. Bu sun'iy intellekt (AI) ning asosidir va inson yoki statistik standartlar tomonidan imkonsiz yoki qiyin bo'lishi mumkin bo'lgan muammolarni hal qiladi. ANN-lar o'z-o'zini o'rganish qobiliyatiga ega, bu esa ko'proq ma'lumot paydo bo'lishi bilan yanada yaxshi natijalarga erishish imkonini beradi. Kalitlarni qabul qilish
Sun'iy neyron tarmoq (ANN) - bu inson miyasining ishlashini taqlid qilishga mo'ljallangan sun'iy aqlning tarkibiy qismi.
Qayta ishlash bloklari ANNlarni tashkil qiladi, ular o'z navbatida kirish va chiqishlardan iborat. Kiritilgan ma'lumotlar ANN kerakli natijani olish uchun o'rgangan narsadir.
Backpropagation - bu sun'iy neyron tarmoqlarini boshqarish uchun ishlatiladigan o'rganish qoidalarining to'plami.
ANN uchun amaliy dasturlar moliya, shaxsiy aloqa, sanoat, ta'lim va boshqa sohalarni qamrab olgan juda kengdir.
Sun'iy neyron tarmog'ini tushunish (ANN)
Sun'iy neyron tarmoqlari inson miyasiga o'xshab qurilgan, neyron tugunlari to'r singari bog'langan. Inson miyasida yuzlab milliardlab neyronlar deb nomlangan hujayralar mavjud. Har bir neyron ma'lumotni miyaga (kirishga) va undan tashqariga (chiqish) tashish orqali ma'lumotlarni qayta ishlash uchun mas'ul bo'lgan hujayrali tanadan iborat.
ANNda tugunlar bir-biriga bog'langan qayta ishlash birliklari deb nomlangan yuzlab yoki minglab sun'iy neyronlar mavjud. Ushbu qayta ishlash birliklari kirish va chiqish birliklaridan iborat. Kirish bloklari ichki tortish tizimiga asoslangan turli xil shakllar va tuzilmalarni oladi va neyron tarmoq bitta chiqish hisobotini tayyorlash uchun taqdim etilgan ma'lumotni o'rganishga harakat qiladi. Odamlarga natija yoki natijani ishlab chiqish uchun qoidalar va ko'rsatmalar kerak bo'lganidek, ANNlar, shuningdek, natijalarni takomillashtirish uchun xatolarni orqaga surish uchun qisqartirish deb ataladigan "backpropagation" deb nomlangan qoidalar to'plamidan foydalanadilar.
ANN dastlab vizual, tabiiy yoki matnli ma'lumotlardan namunalarni tanib olishni o'rganishni boshlaydi. Ushbu nazorat qilinadigan bosqichda tarmoq o'z ishlab chiqargan mahsuloti bilan kerakli ishlab chiqarish hajmini taqqoslaydi. Ikkala natija o'rtasidagi farq backpropagation yordamida o'rnatiladi. Bu shuni anglatadiki, tarmoq haqiqiy va istalgan natija o'rtasidagi farq eng kam xato yuzaga kelgunga qadar birliklar orasidagi ulanish og'irligini sozlash uchun chiqish blokidan kirish birliklariga qadar orqaga ishlaydi.Trening va nazorat bosqichida, ikkilik raqamlari bo'lgan savollarga "Ha / yo'q" turlaridan foydalanib, ANN nimani qidirish kerakligi va uning natijasi qanday bo'lishi kerakligi o'rgatiladi. Masalan, kredit karta firibgarligini o'z vaqtida aniqlamoqchi bo'lgan bankda quyidagi savollarga javob beradigan to'rtta kirish birligi bo'lishi mumkin: (1) foydalanuvchi yashaydigan mamlakatda boshqa mamlakatdagi operatsiya bormi? (2) Ushbu karta veb-sayt kompaniya nazorati ostida bo'lgan kompaniyalar yoki kompaniyalar bilan aloqador bo'ladimi? (3) Bitim summasi 2000 AQSh dollaridan kattaroqmi? (4) Bitim vekselidagi nom karta egasining ismi bilan bir xilmi?
Bank "firibgarlik aniqlangan" javoblarning bo'lishini xohlaydi Ha Ha Yo'q, ikkilik formatda 1 1 1 0 bo'ladi. Agar tarmoqning haqiqiy chiqishi 1 0 1 0 bo'lsa, u mos keladigan natijani bermaguncha natijalarini moslashtiradi. 1 1 1 0. Treningdan so'ng kompyuter tizimi bankka ko'plab pullarni tejab, soxta bitimlar to'g'risida xabar berishi mumkin.Sun'iy asab tarmoqlari uchun amaliy dasturlar (ANN). Sun'iy neyron tarmoqlari hayotni o'zgartiradigan ilovalarni iqtisodiyotning barcha sohalarida foydalanish uchun ishlab chiqishga yo'l ochmoqda. ANN-larda qurilgan sun'iy intellekt platformalari odatdagi ishlarni buzmoqda. Veb-sahifalarni boshqa tillarga tarjima qilishdan virtual yordamchiga buyurtma beradigan oziq-ovqat do'konlariga ega bo'lishgacha, muammolarni echish uchun chatbotlar bilan suhbatlashishga qadar, AI platformalari tranzaktsiyalarni soddalashtiradi va arzimagan harajatlar bilan barcha xizmatlarni taqdim etadi.
Sunʼiy neyron tarmoqlari
Sunʼiy neyron tarmoqlari (SNT), odatda oddiygina neyron tarmoqlari (NT) deb ataladi, hayvonlar miyasini tashkil etuvchi biologik neyron tarmoqlardan ilhomlangan hisoblash tizimlari.
SNT sunʼiy neyronlar deb ataladigan bogʻlangan birliklar yoki tugunlar toʻplamiga asoslanadi, ular biologik miyadagi neyronlarni erkin modellashtiradi. Sunʼiy neyron signallarni oladi, keyin ularni qayta ishlaydi va unga ulangan neyronlarga signal berishi mumkin. Ulanishdagi „signal“ haqiqiy raqam boʻlib, har bir neyroNTing chiqishi uning kirishlari yigʻindisining chiziqli boʻlmagan funksiyasi bilan hisoblanadi. Ulanishlar deyiladi qirralar. Neyronlar va chekkalar odatda oʻrganish davom etayotganda sozlanadigan vaznga ega. Neyronlar shunday chegaraga ega boʻlishi mumkinki, signal faqat yigʻilgan signal ushbu chegarani kesib oʻtgan taqdirdagina yuboriladi. Odatda, neyronlar qatlamlarga yigʻiladi. Signallar birinchi qatlamdan (kirish qatlami), oxirgi qatlamga (chiqish qatlami), ehtimol, qatlamlarni bir necha marta bosib oʻtgandan keyin oʻtadi.
Trening
Neyron tarmoqlar misollarni qayta ishlash orqali oʻrganadi (yoki oʻqitiladi), ularning har biri maʼlum „kirish“ va „natija“ ni oʻz ichiga oladi va ular oʻrtasida ehtimollik bilan oʻlchangan assotsiatsiyalarni hosil qiladi, ular tarmoqning oʻzida saqlanadigan maʼlumotlar tuzilmasida saqlanadi. Berilgan misol boʻyicha neyron tarmoqni oʻrgatish odatda tarmoqning qayta ishlangan chiqishi (koʻpincha bashorat) va maqsadli chiqishi oʻrtasidagi farqni aniqlash orqali amalga oshiriladi. Keyin tarmoq oʻz vaznli assotsiatsiyalarini oʻrganish qoidasiga koʻra va ushbu xato qiymatidan foydalanib sozlaydi. Ushbu tuzatishlarning etarli sonidan soʻng, mashgʻulot muayyan mezonlar asosida toʻxtatilishi mumkin.
Bunday tizimlar misollarni koʻrib chiqish orqali topshiriqlarni bajarishni „oʻrganadi“, odatda vazifaga xos qoidalar bilan dasturlashtirilmaydi. Masalan, tasvirni aniqlashda ular „mushuk“ yoki „mushuk yoʻq“ deb qoʻlda yorliqlangan misol tasvirlarni tahlil qilish va boshqa tasvirlardagi mushuklarni aniqlash uchun natijalardan foydalanish orqali mushuklar bor tasvirlarni aniqlashni oʻrganishi mumkin.
Sunʼiy neyronlar
SNT kontseptual ravishda biologik neyronlardan olingan sunʼiy neyronlardan iborat. Har bir sunʼiy neyron kirishga ega va bir nechta boshqa neyronlarga yuborilishi mumkin boʻlgan bitta chiqishni ishlab chiqaradi. Kirishlar tasvirlar yoki hujjatlar kabi tashqi maʼlumotlar namunasining xususiyat qiymatlari boʻlishi mumkin yoki ular boshqa neyronlarning chiqishi boʻlishi mumkin.
NeyroNTing chiqishini topish uchun, avvalo, kirishlardan neyronga boʻlgan ulanishlar ogʻirligi bilan oʻlchangan barcha kirishlarning vaznli yigʻindisini olishimiz kerak. Biz bu summaga noaniq atama qoʻshamiz. Ushbu vaznli summa baʼzan faollashtirish deb ataladi.Dastlabki maʼlumotlar tasvirlar va hujjatlar kabi tashqi maʼlumotlardir. Yakuniy natijalar tasvirdagi ob’ektni tanib olish kabi vazifani bajaradi. Neyronlar odatda bir nechta qatlamlarga, ayniqsa chuqur oʻrganishda tashkil etilgan.Neyronlari faqat oldingi va keyingi qatlamlarning neyronlari bilan bogʻlanadi. Yakuniy natijani beradigan qatlam chiqish qatlamidir.Ular birlashma boʻlishi mumkin, bu erda bir qatlamdagi neyronlar guruhi keyingi qatlamdagi bitta neyronga ulanadi va shu bilan bu qatlamdagi neyronlar sonini kamaytiradi. Faqatgina shunday ulanishga ega boʻlgan neyronlar yoʻnaltirilgan asiklik grafikni hosil qiladi va oldinga besleme tarmoqlari sifatida tanilgan. Shu bilan bir qatorda, bir xil yoki oldingi qatlamlardagi neyronlar oʻrtasida ulanishga imkon beruvchi tarmoqlar takroriy tarmoqlar deb nomlanadi .
Giperparametr
Giperparametr doimiy parametr boʻlib, uning qiymati oʻquv jarayoni boshlanishidan oldin oʻrnatiladi. Parametrlarning qiymatlari oʻrganish orqali olinadi. Giperparametrlarga oʻrganish tezligi, yashirin qatlamlar soni va partiya hajmi kiradi. Baʼzi giperparametrlarning qiymatlari boshqa giperparametrlarnikiga bogʻliq boʻlishi mumkin.
Oʻrganish
Oʻrganish — bu namunaviy kuzatishlarni hisobga olgan holda vazifani yaxshiroq hal qilish uchun tarmoqni moslashtirish. Oʻrganish natijaning aniqligini oshirish uchun tarmoqning ogʻirliklarini (va ixtiyoriy chegaralarni) sozlashni oʻz ichiga oladi. Qoʻshimcha kuzatishlarni oʻrganayotganda oʻrganish tugallangan boʻlib, xatolik darajasini kamaytirmaydi. Agar oʻrganganingizdan soʻng, xato darajasi juda yuqori boʻlsa, tarmoq odatda qayta ishlab chiqilishi kerak. Amalda bu oʻrganish davomida davriy ravishda baholanadigan xarajat funksiyasini aniqlash orqali amalga oshiriladi. Xarajat koʻpincha statistik maʼlumot sifatida aniqlanadi, uning qiymati faqat taxminiy baholanishi mumkin. Chiqishlar aslida raqamlardir, shuning uchun xatolik past boʻlsa, chiqish (deyarli mushuk) va toʻgʻri javob (mushuk) oʻrtasidagi farq kichik boʻladi. Koʻpgina oʻrganish modellarini optimallashtirish nazariyasi va statistik baholashning toʻgʻridan-toʻgʻri qoʻllanilishi sifatida koʻrish mumkin.
Oʻrganish darajasi
Oʻrganish tezligi modelning har bir kuzatishdagi xatolarni tuzatish uchun koʻrsatadigan tuzatish qadamlari hajmini belgilaydi. Yuqori oʻrganish tezligi mashgʻulot vaqtini qisqartiradi, ammo past aniqlik bilan, pastroq oʻrganish koʻproq vaqt talab etadi, lekin aniqroq boʻlishi mumkin. Quickprop kabi optimallashtirishlar, birinchi navbatda, xatolarni minimallashtirishni tezlashtirishga qaratilgan boʻlsa, boshqa yaxshilanishlar asosan ishonchlilikni oshirishga harakat qiladi. Tarmoq ichidagi tebranishlarni, masalan, ulanish ogʻirliklarining oʻzgarishini oldini olish va konvergentsiya tezligini yaxshilash uchun takomillashtirish moslashtirilgan oʻrganish tezligidan foydalanadi, bu mos ravishda oshiradi yoki kamayadi. 0 ga yaqin momentum gradientni taʼkidlaydi, 1 ga yaqin qiymat esa oxirgi oʻzgarishlarni taʼkidlaydi.
Narx funksiyasi
Xarajat funksiyasini ad hoc aniqlash mumkin boʻlsa-da, koʻpincha tanlov funksiyaning kerakli xususiyatlari (masalan, qavariqlik) yoki modeldan kelib chiqqanligi sababli aniqlanadi (ehtimollik modelida modelning orqa ehtimoli teskari sifatida ishlatilishi mumkin).
Orqaga tarqalish
Orqa tarqalish — bu oʻrganish jarayonida aniqlangan har bir xatoni qoplash uchun ulanish ogʻirliklarini sozlash uchun ishlatiladigan usul. Ogʻirlikni yangilash stokastik gradient tushishi yoki boshqa usullar orqali amalga oshirilishi mumkin, masalan, Extreme Learning Machines, „No-prop“ tarmoqlari, orqaga yoʻl qoʻymasdan mashq qilish, „vaznsiz“ tarmoqlar, va koNTektsionist boʻlmagan neyron tarmoqlar.
Paradigmalarni oʻrganish
Uchta asosiy taʼlim paradigmalari nazorat ostida oʻrganish, nazoratsiz oʻrganish va mustahkamlovchi oʻrganishdir. Ularning har biri maʼlum bir oʻquv vazifasiga mos keladi
Nazorat ostida oʻrganish
Nazorat ostidagi oʻrganish juftlashtirilgan kirishlar va kerakli natijalar toʻplamidan foydalanadi..Bu holda xarajat funksiyasi notoʻgʻri ajratmalarni bartaraf etish bilan bogʻliq. Keng tarqalgan ishlatiladigan xarajat oʻrtacha kvadrat xato boʻlib, u tarmoqning chiqishi va kerakli natija oʻrtasidagi oʻrtacha kvadrat xatoni minimallashtirishga harakat qiladi. Nazorat ostida oʻrganish uchun mos boʻlgan vazifalar naqshni aniqlash (klassifikatsiya deb ham ataladi) va regressiya (funksiyani yaqinlashish deb ham ataladi) hisoblanadi. Nazorat ostida oʻrganish ketma-ket maʼlumotlarga ham tegishli (masalan, qoʻlda yozish, nutq va imo- ishoralarni aniqlash uchun).
Foydalanish
Sunʼiy neyron tarmoqlardan foydalanish ularning xususiyatlarini tushunishni talab qiladi.
Modelni tanlash: Bu maʼlumotlar taqdimoti va ilovaga bogʻliq. Haddan tashqari murakkab modellar sekin oʻrganishdir.
Oʻrganish algoritmi: Oʻrganish algoritmlari oʻrtasida koʻplab kelishuvlar mavjud. Deyarli har qanday algoritm maʼlum bir maʼlumotlar toʻplamini oʻqitish uchun toʻgʻri giperparametrlar bilan yaxshi ishlaydi. Biroq, koʻrinmas maʼlumotlar boʻyicha trening algoritmini tanlash va sozlash muhim tajribani talab qiladi.
Barqarorlik: Agar model, xarajat funksiyasi va oʻrganish algoritmi toʻgʻri tanlangan boʻlsa, natijada SNT mustahkam boʻlishi mumkin.
SNT imkoniyatlari quyidagi keng toifalarga kiradi: 
Funksiyani yaqinlashtirish yoki regressiya tahlili, jumladan, vaqt seriyasini bashorat qilish, fitnesga yaqinlashtirish va modellashtirish.
Tasniflash, shu jumladan naqsh va ketma-ketlikni aniqlash, yangilikni aniqlash va ketma-ket qaror qabul qilish.
Maʼlumotlarni qayta ishlash, jumladan, filtrlash, klasterlash, koʻr manbalarni ajratish va siqish.
Robototexnika, shu jumladan boshqarish manipulyatorlari va protezlari.
Imkoniyat
Modelning „imkoniyat“ xususiyati uning har qanday berilgan funksiyani modellashtirish qobiliyatiga mos keladi. Axborot sigʻimi va VC oʻlchami. PerseptroNTing axborot sigʻimi ser Devid Makkeyning Tomas Kover ishini jamlagan kitobida qizgʻin muhokama qilinadi. Standart neyronlar tarmogʻining sigʻimi (konvolyutsion emas) neyroNTi elektr elementi sifatida tushunishdan kelib chiqadigan toʻrtta qoida bilan olinishi mumkin. Axborot sigʻimi kirish sifatida har qanday maʼlumot berilgan tarmoq tomonidan modellanadigan funksiyalarni qamrab oladi. Ikkinchi tushuncha — VC oʻlchami. VC Dimension oʻlchov nazariyasi tamoyillaridan foydalanadi va eng yaxshi sharoitlarda maksimal quvvatni topadi. Bu maʼlum bir shaklda kiritilgan maʼlumotlardir. da taʼkidlanganidek, ixtiyoriy kiritishlar uchun VC oʻlchami PerceptroNTing axborot sigʻimining yarmini tashkil qiladi. Ixtiyoriy nuqtalar uchun VC oʻlchami baʼzan Xotira hajmi deb ataladi.
Konvergentsiya
Modellar doimiy ravishda bitta yechimga yaqinlashmasligi mumkin, birinchidan, xarajat funksiyasi va modelga qarab mahalliy minimallar mavjud boʻlishi mumkin. Ikkinchidan, qoʻllaniladigan optimallashtirish usuli har qanday mahalliy minimumdan uzoqda boshlanganda birlashishni kafolatlamasligi mumkin.
Yana bir taʼkidlab oʻtish kerak boʻlgan masala shundaki, mashgʻulot birlashmani notoʻgʻri yoʻnalishga olib kelishi mumkin boʻlgan Egar nuqtasini kesib oʻtishi mumkin.
Tarmoqning kengligi cheksizlikka yaqinlashganda, SNT oʻzining birinchi tartibidagi Teylorning trening davomida kengayishi bilan yaxshi tavsiflanadi va shuning uchun affin modellarning konvergentsiya xatti-harakatlarini meros qilib oladi. Yana bir misol, parametrlar kichik boʻlsa, SNT koʻpincha pastdan yuqori chastotalarga qadar maqsadli funksiyalarga mos kelishi kuzatiladi. Ushbu xatti-harakatlar neyron tarmoqlarning spektral moyilligi yoki chastota printsipi deb ataladi. Bu hodisa Yakobi usuli kabi baʼzi yaxshi oʻrganilgan iterativ raqamli sxemalarning xatti-harakatlariga qarama-qarshidir. Chuqurroq neyron tarmoqlar past chastotali funksiyalarga nisbatan koʻproq moyil boʻlishi kuzatilgan.
Umumlashtirish va statistika
Maqsadlari koʻrinmas misollarni yaxshi umumlashtiradigan tizim yaratish boʻlgan ilovalar ortiqcha oʻqitish imkoniyatiga duch kelishadi. Ikkita yondashuv ortiqcha mashgʻulotlarni hal qiladi. Birinchisi, ortiqcha treninglar mavjudligini tekshirish va umumlashtirish xatosini minimallashtirish uchun giperparametrlarni tanlash uchun oʻzaro tekshirish va shunga oʻxshash usullarni qoʻllashdir.
Bu kontseptsiya probabilistik (Bayesian) doirada paydo boʻladi, bu erda tartibga solish oddiyroq modellarga nisbatan kattaroq oldingi ehtimollikni tanlash orqali amalga oshirilishi mumkin.Bundan tashqari, statistik oʻrganish nazariyasida, maqsad ikkitadan ortiq miqdorni minimallashtirishdan iborat: „ampirik risk“ va „tarkibiy xavf“, bu taxminan oʻquv majmuasi ustidagi xatoga va koʻrinmas maʼlumotlarning haddan tashqari moslashuvi tufayli taxmin qilingan xatoga mos keladi.
Oʻrtacha kvadrat xatolik (MSE) xarajat funksiyasidan foydalanadigan nazorat qilinadigan neyron tarmoqlari oʻqitilgan modelning ishonchliligini aniqlash uchun rasmiy statistik usullardan foydalanishi mumkin. Tasdiqlash toʻplamidagi MSE farqni baholash sifatida ishlatilishi mumkin. Shu tarzda oʻtkazilgan ishonch tahlili, agar chiqish ehtimoli taqsimoti bir xil boʻlsa va tarmoq oʻzgartirilmasa, statistik jihatdan haqiqiy hisoblanadi.
Kategorik maqsadli oʻzgaruvchilar uchun neyron tarmogʻining chiqish qatlamiga (yoki komponentlarga asoslangan tarmoqdagi softmax komponentiga) softmax faollashtirish funksiyasini, logistik funksiyani umumlashtirishni belgilash orqali natijalarni posterior ehtimolliklar sifatida talqin qilish mumkin. Bu tasniflashda foydalidir, chunki u tasniflashda aniqlik oʻlchovini beradi.
Softmax faollashtirish funksiyasi:
Tanqid
Trening
Neyron tarmoqlarning, xususan, robototexnika sohasidagi keng tarqalgan tanqidi shundaki, ular haqiqiy hayotda ishlash uchun juda koʻp tayyorgarlikni talab qiladi. Potensial yechimlar misol boʻyicha tarmoq ulanishlarini oʻzgartirishda unchalik katta qadamlar qoʻymaydigan raqamli optimallashtirish algoritmidan foydalangan holda tasodifiy aralashtirib yuboriladigan oʻquv misollarini oʻz ichiga oladi, misollarni mini-toʻplamlar deb ataluvchi guruhlarda guruhlash va/yoki rekursiv eng kamini kiritish. CMAC uchun kvadratlar algoritmi.
Nazariya
Asosiy eʼtiroz shundaki, SNT neyronal funksiyani etarli darajada aks ettirmaydi. Biologik neyron tarmoqlarda bunday mexanizm mavjud boʻlmasa-da, orqaga tarqalish juda muhim qadamdir. Haqiqiy neyronlar tomonidan maʼlumot qanday kodlanganligi nomaʼlum. Sensor neyronlari sensor faollashishi bilan harakat potentsiallarini tez-tez yondiradi va ular bilan bogʻlangan motor neyronlari harakat potentsiallarini tez-tez qabul qilganda mushak hujayralari kuchliroq tortiladi.
SNTning asosiy daʼvosi shundaki, ular axborotni qayta ishlashning yangi va kuchli umumiy tamoyillarini oʻz ichiga oladi. Bu tamoyillar notoʻgʻri taʼriflangan. Koʻpincha ular tarmoqning oʻzidan paydo boʻlgan deb daʼvo qilinadi.1997-yilda Aleksandr Dyudnining taʼkidlashicha, natijada sunʼiy neyron tarmoqlari „hech narsaning oʻrniga“ sifatga ega boʻlib, u oʻziga xos dangasalik aurasini va bu hisoblash tizimlari qanchalik yaxshi ekanligiga qiziquvchanlikning yoʻqligini beradi. Yechimlar xuddi sehr bilan topiladi; va hech kim hech narsani oʻrganmaganga oʻxshaydi" Dyudniga javoblardan biri shundaki, neyron tarmoqlar koʻplab murakkab va xilma-xil vazifalarni bajaradi: avtonom uchuvchi samolyot dan kredit kartalaridagi firibgarlikni aniqlashgacha, Go oʻyinini oʻzlashtirishgacha.
Texnologiya yozuvchisi Rojer Bridgman shunday dedi:
Biologik miyalar miya anatomiyasi tomonidan xabar qilinganidek, sayoz va chuqur zanjirlardan foydalanadi, turli xil oʻzgarmaslikni namoyish etadi. Weng miya oʻz-oʻzidan simlarni asosan signal statistikasiga koʻra bogʻlaydi va shuning uchun ketma-ket kaskad barcha asosiy statistik bogʻliqliklarni ushlay olmaydi.
Uskuna
Katta va samarali neyron tarmoqlar katta hisoblash resurslarini talab qiladi. Miya neyronlar grafigi orqali signallarni qayta ishlash vazifasiga moslashtirilgan apparatga ega boʻlsa-da, hatto fon Neyman arxitekturasida soddalashtirilgan neyroNTi taqlid qilish ham katta hajmdagi xotira va xotirani isteʼmol qilishi mumkin. Bundan tashqari, dizayner koʻpincha signallarni ushbu ulanishlar va ular bilan bogʻliq neyronlar orqali uzatishi kerak — Bu juda katta CPU quvvati va vaqtini talab qiladi.
Shmidxuberning taʼkidlashicha, 21-asrda neyron tarmoqlarning qayta tiklanishi asosan apparat taʼminotidagi yutuqlar bilan bogʻliq: 1991-yildan 2015-yilgacha hisoblash quvvati, ayniqsa GPGPUlar (GPU’lar) tomonidan etkazib berilganidek, taxminan bir million barobar oshdi. oldingidan bir necha qatlam chuqurroq boʻlgan oʻqitish tarmoqlari uchun standart orqaga tarqalish algoritmi. FPGA va GPU kabi tezlatgichlardan foydalanish mashgʻulotlar vaqtini bir necha oydan kungacha qisqartirishi mumkin.
Neyromorfik muhandislik yoki jismoniy neyron tarmoq kontaktlarning zanglashiga olib keladigan neyron tarmoqlarini toʻgʻridan-toʻgʻri amalga oshirish uchun von-NeumSNT boʻlmagan chiplarni qurish orqali apparat qiyinchiliklarini toʻgʻridan-toʻgʻri hal qiladi. Neyron tarmoqlarni qayta ishlash uchun optimallashtirilgan yana bir chip turi Tensor Processing Unit yoki TPU deb ataladi.
Amaliy qarama-qarshi misollar
SNT tomonidan oʻrganilgan narsalarni tahlil qilish biologik neyron tarmoq tomonidan oʻrganilgan narsalarni tahlil qilishdan koʻra osonroqdir. Bundan tashqari, neyron tarmoqlar uchun oʻrganish algoritmlarini oʻrganish bilan shugʻullanadigan tadqiqotchilar asta-sekin oʻquv mashinasining muvaffaqiyatli boʻlishiga imkon beruvchi umumiy tamoyillarni ochib berishadi. Misol uchun, mahalliy va mahalliy boʻlmagan oʻrganish va sayoz va chuqur arxitektura.