2. Neyron tarmoqlarni o'qitish turlari Neyron tarmoqlarni o'qitish uchun apparat platformalari

Boshqa ta'lim usullari
Neyron tarmoqlarni o'qitishning boshqa usullari (yoki optimallashtirish vazifasini hal qilish) ba'zan klassik gradientga asoslangan usullarga qaraganda yaxshiroq natija beradi:
Tasodifiy qidiruv usuli. Oddiy maqsad funktsiyalari bo'lsa, tasodifiy qidirish usullari har qanday oddiy protseduraga qaraganda kamroq samarali bo'ladi, ammo ular maqsad funktsiyasi shunchalik murakkab bo'lganki, uning biron bir xossasini oldindan aniqlash mumkin bo'lmagan murakkabroq holatlarda foydali bo'ladi. qidiruv yo'nalishlarini oqilona tanlash imkonini beradi. Bunday tasodifiy qidirish usullari unimodal yoki yo'qligidan qat'i nazar, har qanday maqsad funktsiyasi uchun mos keladi. Ma'lumki, har qanday muntazam algoritm uchun u ishlamaydigan maxsus funktsiyani (funktsiyalar sinfini) qurish mumkin. Tasodifiy qidiruv har xil (ba'zan juda past) samaradorlikka ega bo'lsa-da, har qanday funktsiyani optimallashtirish imkonini beradi. Tasodifiy qidiruv usullari boshqa qidiruv usullarini keyingi qo'llash uchun mos shartlarni yaratadi. Shuning uchun,
Yagona qidiruv usuli (qo'pol kuch). Qo'pol kuch usuli (bir xil qidiruv usuli, qo'pol kuch qidirish) har qanday taqqoslash mezonlari bo'yicha (maksimal, minimal, ma'lum bir konstantagacha) haqiqiy qiymatli funktsiyalarning qiymatlarini topish usullarining eng oddiyidir. Ekstremal muammolarga nisbatan qo'llaniladigan shartli bir o'lchovli passiv optimallashtirishning to'g'ridan-to'g'ri usuliga misoldir.
Havzadan sakrash usuli. Basinhopping - bu global qadam algoritmini har bir qadamda mahalliy minimallashtirish bilan birlashtirgan ikki fazali usul. Atomlar klasterlarining energiyani minimallashtirishning tabiiy jarayoniga taqlid qilish uchun mo'ljallangan, u "huniga o'xshash, ammo qo'pol" energiya landshaftlari bilan o'xshash muammolar uchun yaxshi ishlaydi.
Krilov usuli. Krilov pastki fazo usullari ketma-ket matritsa kuchlari ketma-ketligining asosini boshlang'ich qoldiqni (Krylov ketma-ketligi) tashkil qilish orqali ishlaydi. Eritmaga yaqinlashish keyinchalik hosil bo'lgan pastki bo'shliq ustidagi qoldiqni minimallashtirish orqali hosil bo'ladi. Ushbu sinfdagi prototip usul konjugat gradient usuli (CG) bo'lib, u tizim matritsasi A simmetrik musbat-aniqlangan deb taxmin qiladi. Simmetrik (va, ehtimol, noaniq) A matritsa uchun minimal qoldiq usuli (MINRES) bilan ishlaydi. Hatto nosimmetrik matritsalar bo'lmagan taqdirda ham umumlashtirilgan minimal qoldiq usuli (GMRES) va bikonjugatli gradient usuli (BiCG) kabi usullar olingan.
Odam usuli. Diederik P. Kingma, Jimmy Ba bu usulni 2015 yilda nashr etgan: “ Usulni amalga oshirish oson, hisoblashda samarali, xotira talablari kam, gradientlarning diagonal o‘zgarishiga o‘zgarmas va katta hajmdagi muammolar uchun juda mos keladi. ma'lumotlar va/yoki parametrlar shartlari. Usul statsionar bo'lmagan maqsadlar va juda shovqinli va/yoki siyrak gradientli muammolar uchun ham mos keladi. Giper-parametrlar intuitiv talqinlarga ega va odatda ozgina sozlashni talab qiladi. ” Odam - bu moslashuvchan momentni baholash, boshqa optimallashtirish algoritmi. U harakatni to'plash g'oyasini va tipik belgilar uchun tarozilarni zaifroq yangilash g'oyasini birlashtiradi.
Shuni ham ta'kidlash kerakki, siz hozirda noldan o'rganish algoritmini yozishingiz shart emas. Tensorflow, Teano, Keras, Caffee va boshqalar kabi mashhur ramkalar . Endi neyron tarmoqlarni o'qitish uchun yuqori sifatli va yaxshi sinovdan o'tgan vositalarni taqdim eting.
Ushbu vositalar GPU va parallel hisoblashda amalga oshiriladi va neyron tarmog'ingizni qurish va o'qitishda vaqtni tejaydi. Albatta, o'zingizning tarmoq o'rgatish algoritmingizni yozishingiz kerak bo'lishi mumkin, lekin bu juda kam uchraydi va asosiy tarmoq arxitekturalari uchun bu algoritmlar yaxshi amalga oshiriladi, o'quv qo'llanmalarida tasvirlangan va kirish ma'lumotlarining katta to'plamlarida yaxshi o'rganilgan.
Standart usul sizning neyron tarmog'ingizga mos kelmasa, maxsus talablar bundan mustasno, gradient tushishingizni noldan yozmang.
4-rasm. Neyron tarmoqlarni o'qitish uchun optimallashtirish usullari diagrammasi.