Sun’iy intellekt va neyron to’rli texnologiyalar

Radial neyron to’rlar.

Reja:

1. Radial neyron to’rlar.

   
   

2. Radial asosli funktsiya tarmog'i.

   
   

3. Radial asos funktsiyasi.

   
   

Radial asos funksiyalari - bu markazga nisbatan masofa mezoniga ega bo'lgan funktsiyalar. Radial asos funktsiyalari ko'p qavatli perkeptronlarda sigmasimon yashirin qatlam o'tkazish xarakteristikasini o'rnini bosuvchi sifatida qo'llanilgan. RBF tarmoqlari ikkita qatlamga ega: Birinchisida, kirish "yashirin" qatlamning har bir RBF-ga joylashtirilgan. Tanlangan RBF odatda Gauss hisoblanadi. Regressiya muammolarida chiqish qatlami o'rtacha taxmin qilingan natijani ifodalovchi yashirin qatlam qiymatlarining chiziqli birikmasidir. Ushbu chiqish qatlami qiymatining talqini a bilan bir xil regressiya modeli statistikada. Tasniflash muammolarida odatda chiqish qatlami sigmasimon funktsiya orqa ehtimollikni ifodalovchi yashirin qatlam qiymatlarining chiziqli birikmasidan. Ikkala holatda ham ishlash tez-tez qisqarish texnikasi bilan yaxshilanadi tizma regressiyasi klassik statistikada. Bu a-dagi kichik parametr qiymatlariga (va shuning uchun silliq chiqish funktsiyalariga) bo'lgan oldingi ishonchga mos keladi Bayesiyalik ramka.

RBF tarmoqlari ko'p qatlamli perkeptronlar singari mahalliy minimalardan qochish afzalliklariga ega. Buning sababi shundaki, o'quv jarayonida sozlanadigan yagona parametr - bu yashirin qatlamdan chiqish qatlamigacha chiziqli xaritalash. Lineerlik xato yuzasining kvadratik bo'lishini va shuning uchun bitta osonlik bilan topiladigan minimal darajaga ega bo'lishini ta'minlaydi. Regressiya muammolarida buni bitta matritsali operatsiyada topish mumkin. Tasniflash muammolarida sigmasimon chiqish funktsiyasi tomonidan kiritilgan qat'iy bo'lmagan chiziqlilikdan foydalanish eng samarali tarzda hal qilinadi iterativ ravishda qayta tortilgan eng kichik kvadratchalar.RBF tarmoqlari radial asos funktsiyalari bilan kirish maydonini yaxshi qamrab olishni talab qiladigan kamchiliklarga ega. RBF markazlari kirish ma'lumotlarini taqsimlanishiga qarab belgilanadi, ammo bashorat qilish vazifasiga murojaat qilmasdan. Natijada, vakillik resurslari kirish maydonining vazifaga ahamiyatsiz bo'lgan joylarida sarflanishi mumkin. Umumiy echim - bu har bir ma'lumot nuqtasini o'z markazi bilan bog'lashdir, ammo bu oxirgi qatlamda hal qilinadigan chiziqli tizimni kengaytirishi va qisqarish texnikasini talab qilishi kerak ortiqcha kiyim.

Har bir kirish ma'lumotlarini RBF bilan bog'lash tabiiy ravishda yadro usullariga olib keladi qo'llab-quvvatlash vektorli mashinalar (SVM) va Gauss jarayonlari (RBF bu yadro funktsiyasi ). Uchala yondashuv ham kirish ma'lumotlarini chiziqli model yordamida o'rganish muammosini hal qilish mumkin bo'lgan bo'shliqqa proektsiyalash uchun chiziqli bo'lmagan yadro funktsiyasidan foydalanadi. Gauss jarayonlari singari va SVM-lardan farqli o'laroq, RBF tarmoqlari, ehtimol, ehtimollikni maksimal darajada oshirish (xatoni minimallashtirish) orqali maksimal ehtimollik doirasi bo'yicha o'qitiladi. SVMlar marjni maksimal darajaga ko'tarish orqali ortiqcha jihozlardan qochishadi. SVMlar ko'pgina tasniflash dasturlarida RBF tarmoqlaridan ustun turadi. Regression dasturlarida ular kirish maydonining o'lchovliligi nisbatan kichik bo'lsa, ular raqobatdosh bo'lishi mumkin
RBF neyron tarmoqlari kontseptual jihatdan o'xshashdir K-eng yaqin qo'shni (k-NN) modellari. Asosiy g'oya shundan iboratki, o'xshash kirishlar o'xshash natijalarni keltirib chiqaradi. O'quv majmuasida ikkita taxminiy o'zgaruvchi mavjud, x va y, maqsadli o'zgaruvchilar esa ijobiy va salbiy ikkita toifaga ega. X = 6, y = 5.1 taxminiy qiymatlari bo'lgan yangi holat berilgan bo'lsa, maqsad o'zgaruvchisi qanday hisoblangan? Ushbu misol uchun bajarilgan eng yaqin qo'shni tasnifi qancha qo'shni punktlar ko'rib chiqilishiga bog'liq. Agar 1-NN ishlatilsa va eng yaqin nuqta salbiy bo'lsa, unda yangi nuqta salbiy deb tasniflanishi kerak. Shu bilan bir qatorda, agar 9-NN tasnifi ishlatilsa va eng yaqin 9 nuqta ko'rib chiqilsa, u holda atrofdagi 8 ijobiy nuqtaning ta'siri eng yaqin 9 (salbiy) nuqtadan ustun bo'lishi mumkin.RBF tarmog'i neyronlarni taxminiy o'zgaruvchilar tomonidan tavsiflangan bo'shliqda joylashtiradi (bu misolda x, y). Ushbu bo'shliq taxminiy o'zgaruvchilar kabi ko'p o'lchamlarga ega. Evklid masofasi yangi nuqtadan har bir neyronning markazigacha hisoblanadi va har bir neyron uchun og'irlikni (ta'sirni) hisoblash uchun masofaga radial asos funktsiyasi (RBF) (yadro funktsiyasi deb ham ataladi) qo'llaniladi. Radial asos funktsiyasi shunday nomlangan, chunki radius masofasi funktsiya argumentidir.
Og'irligi = RBF (masofa)
Radial asos funktsiyasi. Yangi nuqta uchun qiymat RBF funktsiyalarining chiqish qiymatlarini har bir neyron uchun hisoblangan og'irliklarga ko'paytirilib topiladi. Neyron uchun radial asos funktsiyasi markaz va radiusga ega (shuningdek, tarqalish deb ham ataladi). Har bir neyron uchun radius har xil bo'lishi mumkin va DTREG tomonidan ishlab chiqarilgan RBF tarmoqlarida radius har bir o'lchovda boshqacha bo'lishi mumkin.Kattaroq tarqalish bilan nuqtadan uzoqroq masofada joylashgan neyronlar ko'proq ta'sir ko'rsatadi Entsiklopediya site:ewikiuz.topRBF tarmoqlari uchta qatlamdan iborat.Kirish qatlami. Har bir taxminiy o'zgaruvchiga kirish sathida bitta neyron paydo bo'ladi. Bo'lgan holatda kategorik o'zgaruvchilar, N-1 neyronlari ishlatiladi, bu erda N - toifalar soni. Kirish neyronlari qiymatlarni kamaytirish orqali standart diapazonlarini standartlashtiradi o'rtacha va ga bo'lish interkartil oralig'i. Keyin kirish neyronlari qiymatlarni yashirin qatlamdagi neyronlarning har biriga beradi. Yashirin qatlam: Ushbu qatlam o'zgaruvchan sonli neyronlarga ega (o'quv jarayoni bilan belgilanadi). Har bir neyron, taxminiy o'zgaruvchilar kabi ko'p o'lchamlarga ega bo'lgan nuqtada joylashgan radiusli asos funktsiyasidan iborat. RBF funktsiyasining tarqalishi (radiusi) har bir o'lchov uchun har xil bo'lishi mumkin. Markazlar va tarqalishlar mashg'ulotlar bilan belgilanadi. Kirish qatlamidan kirish qiymatlarining x vektori taqdim etilganda, yashirin neyron sinov holatining evklid masofasini neyronning markaziy nuqtasidan hisoblab chiqadi va keyin RBF yadrosi funktsiyasini yoyilgan qiymatlar yordamida ushbu masofaga qo'llaydi. Olingan qiymat summa qatlamiga o'tkaziladi. Xulosa qatlami: Yashirin qatlamdagi neyrondan chiqadigan qiymat neyron bilan bog'liq bo'lgan vaznga ko'paytiriladi va boshqa neyronlarning og'irlik qiymatlarini qo'shadi. Ushbu summa mahsulotga aylanadi. Tasniflash muammolari uchun har bir maqsad toifasi uchun bitta chiqish (og'irlik va yig'ish birligining alohida to'plami bilan) ishlab chiqariladi. Kategoriya uchun chiqarilgan qiymat - bu ishning ushbu toifaga ega bo'lish ehtimoli.
Yashirin qatlamdagi neyronlarning soni .Har bir yashirin qatlamli RBF funktsiyasi markazining koordinatalari. Har bir o'lchamdagi har bir RBF funktsiyasining radiusi (tarqalishi). RBF funktsiyasi natijalariga qo'llaniladigan og'irliklar summa qatlamiga o'tayotganda
RBF tarmoqlarini o'qitish uchun turli usullardan foydalanilgan. Bir yondashuv avval foydalanadi K - klasterlash degan ma'noni anglatadi keyinchalik RBF funktsiyalari markazlari sifatida ishlatiladigan klaster markazlarini topish. Biroq, K-vositalari klasteri hisoblash uchun juda intensiv bo'lib, u ko'pincha markazlarning eng maqbul sonini yaratmaydi. Yana bir yondashuv - markazlar sifatida o'quv punktlarining tasodifiy to'plamidan foydalanish. DTREG har bir neyron uchun optimal markaz nuqtalari va tarqalishini aniqlash uchun evolyutsion yondashuvdan foydalanadigan o'quv algoritmidan foydalanadi. Tarmoqqa neyronlarni qo'shishni qachon to'xtatish kerakligini taxmin qilingan bir martalik (LOO) xatoni kuzatib borish va ortiqcha ishlamasligi sababli LOO xatosi ko'payib ketganda tugatish.
Yashirin qatlamdagi neyronlar va yig'indisi qatlami orasidagi optimal og'irliklarni hisoblash tizma regressiyasi yordamida amalga oshiriladi. Takroriy protsedura umumlashtirilgan o'zaro tasdiqlash (GCV) xatosini minimallashtiradigan optimal tartibga solish Lambda parametrini hisoblab chiqadi.
Genetik algoritimni amalga oshirish.

Reja:
1.Genetik algoritimni amalga oshirish.

2.Genetik algoritm.
3.Optimallashtirish muammolari.
Kompyuter fanlari va operatsiyalarni tadqiq qilish va genetik algoritm metaxeuristik jarayonidan ilhomlangan tabiiy selaktsiyaning kata sinfiga tegishli evalutsiyon algoritmlar genetic algoritmlarodatda yuqori sifatli yechimlarni yaratish uchun ishlatiladi.Optimallashtirishva qidirish kabi biologic ilhomlangan operatorlarga tayanib muammolar mutatsiya,karsover va tanlov.Genetik algoritm dasturlaring ayrim misollariga optimallashtirish kiradi.Qaror daraxtlari yaxshiroq ishlashi uchun hal qilish Sudoku jumboqlar,giporparametrni optimalllashtirish va boshqalar.Genetik algoritmda optimallashtirish moammosiga nomzod yechimlari populyatsiya (shaxslar,mavjudodlar,organizlar yoki fenotiplar deb ataladi)yaxshiroq yechimlartomon rivojalanadi.Har birnomzod yechimi muatasiyaga uchragan va o’zgartirilishi mumkin bo’lgan xususiyalar to’plamiga(uning xromosomalari yoki genotipi) ega ananaviy ravishda yechimlar ikkilik nol va birsatrlarisifatida ,ammo boshqa kodlashlar ham mumkin. Evolyutsiya odatda tasodifiy hosil bo'lgan shaxslar populyatsiyasidan boshlanadi va iterativ jarayon bo'lib, har bir iteratsiyadagi populyatsiya avlod deb ataladi. Har bir avlodda populyatsiyadagi har bir shaxsning jismoniy tayyorgarligi baholanadi; fitnes odatda hal qilinayotgan optimallashtirish muammosidagi obyektiv funksiyani qiymati hisoblanadi. Hozirgi populyatsiyadan ko'proq mos keladigan shaxslar stoxastik ravishda tanlanadi va har bir shaxsning genomi o'zgartiriladi (Rekombinatsiyalangan va ehtimol tasodifiy mutatsiyaga uchragan) yangi avlodni shakllantirish uchun. Nomzod echimlarining yangi avlodi keyinchalik algoritmni keyingi iteratsiyasida qo'llaniladi. Odatda, algoritm maksimal avlodlar soni ishlab chiqarilganda yoki aholi uchun qoniqarli fitness darajasiga erishilganda tugaydi.

Odatda genetik algoritm talab qiladi:

1. Eritma domenining genetik tasviri

   
   

2. Yechim sohasini baholash uchun fitness funksiyasi

   
   

Har bir nomzod yechimining standart namoyishi bitlar qatori deyiladi.Boshqa turdagi va tuzulmalarning massivlari huddi shu tarzda ishlatilishi mumkin.Ushbu genetic tassavurlarni qulay qiladigan asosiy xususiyat shundaki,ularning qismlari sobit o’lchamlari tufayli osongina hisoblanadi,bu esa oddiy krassover operatsiyalarini osonlashtiradi o’zgaruvchan uzunlik tasvirlardan ham foydalanish mumkin,ammo bu holda krssoverni amalga oshirish ancha murrakkab daraxtga o’xshash vakolat xonalar genetik dasturlash o’rganiladi.Grafik shaklda tasvirlar o’rganilad,evalutsion dasturlash ikkalatizimli xramasomalar va daraxtlarni aralshmasi o’rganiladi.Genetik vakillik va fitnes funktsiyasi aniqlangandan so'ng, yechimlar populyatsiyasini ishga tushiradi va keyin mutatsiya, krossover, inversiya va selektsiya operatorlarini takroriy qo'llash orqali uni yaxshilaydi.

Aholi soni muammoning xususiyatiga bog'liq, lekin odatda bir necha yuzlab yoki minglab mumkin bo'lgan echimlarni o'z ichiga oladi. Ko'pincha, dastlabki populyatsiya tasodifiy ravishda hosil bo'lib, mumkin bo'lgan echimlarning butun doirasini ta'minlaydi. Ba'zan, yechimlar optimal yechimlarnki topish mumkin bo'lgan joylarda "urug'langan" bo'lishi mumkin.Keyingi qadam genetik operatorlarning kombinatsiyasi orqali tanlangan echimlarning ikkinchi avlod populyatsiyasini yaratishdir. Ishlab chiqariladigan har bir yangi echim uchun ilgari tanlangan hovuzdan ko'paytirish uchun bir juft "ota-ona" echimlari tanlanadi. Yuqoridagi krossover va mutatsiya usullaridan foydalangan holda "bola" echimini ishlab chiqarish orqali odatda "ota-onasi"ning ko'plab xususiyatlarini baham ko'radigan yangi echim yaratiladi. Har bir yangi bola uchun yangi ota-onalar tanlanadi va jarayon tegishli o'lchamdagi echimlarning yangi populyatsiyasi paydo bo'lguncha davom etadi. Ikki ota-onadan foydalanishga asoslangan ko'payish usullari ko'proq "biologiya ilhomlangan" bo'lsa-da, ba'zi tadqiqotlar ortiq ikki "ota-onalar" yuqori sifatli xromosoma ishlab, deb taklif qiladi. Ushbu jarayonlar oxir-oqibat xromosomalarning keyingi avlod populyatsiyasiga olib keladi, bu dastlabki avloddan farq qiladi. Odatda, aholi uchun ushbu protsedura bilan o'rtacha jismoniy tayyorgarlik oshadi, chunki naslchilik uchun faqat birinchi avlodning eng yaxshi organizmlari tanlanadi va kamroq mos keladigan echimlarning ozgina qismi tanlanadi. Ushbu kamroq mos echimlar ota-onalarning genetik hovuzida genetik xilma-xillikni ta'minlaydi va shuning uchun keyingi avlod bolalarining genetik xilma-xilligini ta'minlaydi.
Krossover va mutatsiya asosiy genetik operatorlar sifatida tanilgan bo'lsa-da, genetik algoritmlarda qayta guruhlash, kolonizatsiya-yo'q bo'lib ketish yoki migratsiya kabi boshqa operatorlardan foydalanish mumkin,kabi parametrlarni sozlashga arziydi mutatsiya ehtimoli, krossorver ehtimoli va aholi soni ustida ishlanayotgan muammo sinfi uchun oqilona sozlamalarni topish. Juda kichik mutatsiya darajasi genetik driftga olib kelishi mumkin (bu ergodik bo'lmagan tabiatda). Rekombinatsiya darajasi juda yuqori bo'lib, genetik algoritmning erta yaqinlashishiga olib kelishi mumkin. Mutatsiya darajasi juda yuqori, agar elitist tanlov qo'llanilmasa, yaxshi echimlarning yo'qolishiga olib kelishi mumkin. Aholining etarli miqdori mavjud muammo uchun etarli genetik xilma-xillikni ta'minlaydi, ammo talab qilinganidan kattaroq qiymatga o'rnatilsa, hisoblash resurslarining isrof bo'lishiga olib kelishi mumkin.
Genetik algoritmlarni amalga oshirish oddiy, ammo ularning xatti-harakatlarini tushunish qiyin. Xususan, nima uchun ushbu algoritmlar amaliy muammolarga tatbiq etilganda tez-tez yuqori darajadagi echimlarni yaratishda muvaffaqiyat qozonishini tushunish qiyin. Genetik algoritmlarning Parallel tatbiq etilishi ikkita ta'mga ega. Dag'al donali parallel genetik algoritmlar kompyuter tugunlarining har birida populyatsiyani va tugunlar orasida shaxslarning migratsiyasini o'z ichiga oladi. Nozik taneli parallel genetik algoritmlar har bir protsessor tugunida tanlash va ko'paytirish uchun qo'shni shaxslar bilan ishlaydigan shaxsni qabul qiladi. Onlayn optimallashtirish muammolari uchun genetik algoritmlar kabi boshqa variantlar fitnes funktsiyasida vaqtga bog'liqlik yoki shovqinni keltirib chiqaradi. 1980-yillarning oxirida General Electric dunyodagi birinchi genetik algoritm mahsulotini sotishni boshladi, a asosiy ramka-sanoat jarayonlari uchun mo'ljallangan asboblar to'plam yilda 1989, Axcelis, Inc. ozod Evolver, ish stoli kompyuterlar uchun dunyodagi birinchi tijorat GA mahsulot. The Nyu-York Tayms texnologiya yozuvchisi jon Markoff yozgan 1990 yilda Evolver haqida va u 1995 yilgacha yagona interaktiv tijorat genetik algoritmi bo'lib qoldi. Evolver 1997 yilda Palisade-ga sotilgan, bir nechta tillarga tarjima qilingan va hozirda uning 6-versiyasida. 1990 yildan boshlab, MATLAB uchta lotinsiz optimallashtirish evristik algoritmlarini (simulyatsiya qilingan tavlanish, zarralar to'dasini optimallashtirish, genetik algoritm) va ikkita to'g'ridan-to'g'ri qidirish algoritmlarini (simpleks qidirish, naqshlarni qidirish) qurdi. Genetik algoritmni guruhlash (GGA) ning evolyutsiyasi GA bu erda fokus klassik gazdagi kabi alohida narsalardan elementlarning guruhlariga yoki kichik to'plamiga o'tkaziladi.