Noravshan mantiq va noravshan xulosa. Neyron tarmoqlarining tasnifi va xususiyatlari

parametrlarning astronomik soni;

mashg'ulotlarda yuqori parallellikka ehtiyoj;

hal qilinayotgan vazifalarning ko'p mezonlari;

barcha minimallashtirilgan funktsiyalarning qiymatlari minimal darajaga yaqin bo'lgan etarlicha keng maydonni topish zarurati.

O'qishdagi cheklovlarni hisobga olish
Tarmoq parametrlari uchun eng oddiy shakldagi cheklovlar mumkin:
Ular turli sabablarga ko'ra kiritiladi: neyronlarning o'ta keskin yoki aksincha sayoz xususiyatlaridan qochish, sinapslarda signal kuchaytiruvchi juda katta omillarning paydo bo'lishining oldini olish va boshqalar.
Cheklovlarni, masalan, penalti funktsiyalari usuli yoki proektsiyalar usuli bilan hisobga olish mumkin:

• 
  Jazo funktsiyalari uslubidan foydalanish, cheklov doirasidan chiqib ketadigan parametrlar uchun penalti qo'shilganligini anglatadi. Penalti funktsiyalarining hosilalari
  

~ gradientga kiritiladi.

• 
  Proektiv usul shuni anglatadiki, agar tarmoq parametrlarni o'zgartirishni taklif qilsa va ba'zi birlari cheklovlardan oshib ketsa, siz
  

Amaliyot shuni ko'rsatadiki, proektsion usul qiyinchiliklarga olib kelmaydi. Jarima funktsiyalari bilan ishlash unchalik muvaffaqiyatli emas. Keyinchalik, biz cheklovlar usullardan biri bilan hisobga olinadi deb o'ylaymiz va biz o'rganishni cheklanmagan minimallashtirish sifatida gaplashamiz.
Parametrlar vektorining boshlang'ich qiymati berilsin va baholash funktsiyasi hisoblansin. Bir o'lchovli optimallashtirish protsedurasi minimalning taxminiy pozitsiyasini beradi (umuman aytganda, mahalliy).
Bir o'lchovli optimallashtirish uchun eng aniq yo'nalish antigradient yo'nalishi hisoblanadi:
Biz har bir qadamda ushbu yo'nalishni tanlaymiz, so'ngra bir o'lchovli optimallashtirishni amalga oshiramiz, keyin yana gradientni hisoblaymiz va hokazo. Bu ba'zan yaxshi ishlaydigan tik tushish usuli. Ammo baholash funktsiyasining egriligi (ob'ektiv funktsiyasi) haqida ma'lumotlardan foydalanmaslik va gradient juda kichik qiymatlarni qabul qilganda, optimal echim nuqtasi yaqinida minimallashuvning keskin pasayishi, ko'pincha eng baland tushish algoritmini samarasiz qiladi.
Yana bir usul - tasodifiy bir o'lchovli optimallashtirish yo'nalishini tanlash. Bu juda ko'p bosqichlarni talab qiladi, ammo bu juda oddiy - bu faqat taxminiy hisob-kitob bilan tarmoqning to'g'ridan-to'g'ri ishlashiga muhtoj.
Eng keskin tushishdagi kamchiliklarni tuzatish uchun takrorlanadigan va o'zgartirilgan partan usullari ishlab chiqilgan.
Parteranning takroriy usuli (-partan) quyidagicha tuzilgan. Dastlabki nuqtada smeta gradyenti hisoblab chiqiladi va pastga tushish uchun eng keskin qadam qo'yiladi - buning uchun bir o'lchovli optimallashtirish qo'llaniladi. Keyinchalik, gradient yana hisoblab chiqiladi va tushish amalga oshiriladi (ya'ni antigradient yo'nalishi bo'yicha harakat) va tavsiflangan jarayon bir marta takrorlanadi. Eng keskin tushish bosqichlaridan so'ng, biz nuqta olamiz va boshlang'ich qadam bilan yo'nalish bo'yicha bir o'lchovli optimallashtirishni amalga oshiramiz. Shundan so'ng, tsikl takrorlanadi.
O'zgartirilgan partan usuli qo'shimcha parametrlarni yodlashni talab qiladi. U quyidagicha qurilgan. Eng tik tushishdan ikki qadam tashlanadi. Biz olamiz va.
Keyinchalik, biz yo'nalishda bir o'lchovli optimallashtirishni amalga oshiramiz. Biz olamiz. Keyin eng tik tushish. Biz olamiz. Biz yo'nalishdan bir o'lchovli optimallashtirishni amalga oshiramiz. Biz olamiz va hokazo. Shunday qilib, biz juftlarni eng pastga tushish yo'li bilan, g'alati tomonlarni esa yo'nalish bo'yicha (boshlang'ich qadam) bir o'lchovli optimallashtirish orqali olamiz. Amaliyot shuni ko'rsatdiki, modifikatsiyalangan partan usuli partan usuliga qaraganda o'quv muammolarida yaxshiroq ishlaydi.
Bir bosqichli kvazi-Nyuton usuli va konjuge gradyanlari
Bashoratning ikkinchi hosilalari matritsasi ijobiy aniq bo'lgan hollarda, Nyuton yo'nalishi eng yaxshi deb hisoblanadi
Ushbu formuladan foydalanib, kvadratik shakllar bir qadamda minimallashtiriladi, ammo ushbu formulani quyidagi sabablarga ko'ra qo'llash qiyin:

1.