Rahimov. Reja: Kirish. Mahsuliy (praduksiya ) eksport tizimlari taraqqiyoti va tadbiqlari

FARG’ONA DAVLAT UNIVERSITETI
MATEMATIKA VA INFORMATIKA FAKULTETI

AMALIY YO’NALISHI 20.07 GURUH TALABASI AHMADJONOVA DILNOZANING

SU’NIY INTEKT VA NEYRON TARMOQLARI FANIDAN YOZGAN MUSTAQIL ISHI.

Tekshirdi: Q.RAHIMOV.

Reja:
Kirish.
1. Mahsuliy (praduksiya ) eksport tizimlari taraqqiyoti va tadbiqlari.
2. Xamkorlik tizimlari.
3. Ko’p qatlamli neyron to’rlarining turli sxemalari.
4. Su’niy neyron to’rlarini o’rganish jarayonidagi falajlik sabablari.
5. Radial neyron to’rlar.
6. Rekurent to’rlar. Xemmimg neyron to’ri.
7. Qat’iymas mantiqqa asoslangan tizimlar. Qat’iymas mantiq xulosa qoidalari.
8. Qat’iymas to’plamlar ustida amallar. Qat’iymas munosabatlar.
9. Su’niy neyron to’rini o’rgatishning deferministik va stoxastik usullari.

Mahsuliy (praduksiya ) eksport tizimlari taraqqiyoti va tadbiqlari

Dastlab neyron tarmoq perseptron (perseptio – idrok qilish) debnomlangan, chunki ularni shakllantirishda asosiy vazifa obrazlarni farqlab olish bo‘lgan. Dastlabki perseptron – Mark-I – birinchi neyrokompyuter (uning yaratish tamoyillari va texnik amalga oshirish variantlari 1957-yilda (F.Rosenblatt) ishlab chiqilgan, 1985-yilda esa birinchi tijorat neyrokompyuteri – Mark–III yaratilgan). 

Sun’iy intellekt tizimlarining paydo bo‘lishi. O‘tgan asrning 80-yillari boshlarida sun’iy intellekt ishlab chiqishda mustaqil yo‘nalish shakllangan bo‘lib, u “ekspert tizimlar” deb nomlandi. Ekspertning (yoki ekspertlar guruhining) o‘rnini egallashi hamda murakkab muammolarni qisqa vaqt ichida bartaraf etish bo‘yicha tavsiyalar berish mumkin bo‘lgan intellektual tizimlar,birinchi navbatda, harbiylarga kerak bo‘ldi, keyin tibbiyot xodimlariga, undan keyin esa bunday tizimlarni joriy qilish bilan inson faoliyatining hamma soha mutaxassislari shug‘ullana boshladi. Ekspert tizimlarning ishlab chiqaruvchilari o‘z fanlari nomi uchun E. Feygenbaum tomonidan kiritilgan “bilimlar injeneriyasi” degan atamadan foydalandilar. Ushbu atama mazkur bilim sohasi nomi sifatida keyinchalik keng tarqaldi. Mantiqiy xulosa chiqarish tizimlaridan (ekspert tizimlaridan) tashqari boshqa yo‘nalishlar ham rivojlantirildi (masalan, neyron tarmoqlar.
Sun’iy va tabiiy intellekt orasidagi o‘xshashliklar. Zamonaviy ekspert tizimlar ekspertlarning – ma’lum doiradagi masalalarni hal etishda chuqur anglaydigan kishilar (mazkur bilim sohasida mutaxassislar)ning bilim va ichki hissiyotlari bilan sezishlaridan foydalanadilar.
Ekspert tizimi oldida turgan funksiyalarni bajarish usullari ekspertlarning taqdim etgan u yoki bu ssenariyniamalga oshirish mumkinligi darajasi bo‘yicha hamda ma’qul variantni tanlash imkon borligini ifodalovchi chizmalarga asoslangandir. Ammo har holda mazkur tizimlarni masalalar yechishda tajribaga suyangan holda, o‘zini-o‘zi o‘rgatadigan mexanizmlar ko‘zda tutilmagan, chunki tadqiqot obyektiga ta’sir va uning holatini o‘rganish, ya’ni to‘laqonli faol elementlar va samarali teskari aloqa mavjud emas. Ko‘pgina ekspert tizimlarda avtonom o‘zini-o‘zi tahlil qilish va o‘z ichki tuzilmasini takomillashtirish ko‘zda tutilmagan.
Ish jarayonida ekspert tizimi yangi bilim yaratib, keyinchalik undan foydalanadi. Ekspert tizimi bilimlarini har doim ko‘rib chiqish hamda har bir masalaning yechimini turli bosqichda tekshirib ko‘rishi mumkin bo‘ladi. Ammo muammo inson tomonidan yaratilgan, haqiqiy masalalar tavsifining zarur darajasiga to‘g‘ri kelmaydigan bilimlarni taqdim etish tuzilmasining rasmiyatchilikdagi kamchiliklarida yashiringan. Neyron tarmoq rasmiyatchilikdan foydalanmaydi va ko‘p hollarda o‘zini tabiiy intellekt singari tutadi.
Ushbu sozlash masalani yechishga jalb qilingan neyronlarning parametrlarini ma’lum vaqtgacha saqlab turadi, keyinchalik o‘rganish haqidagi xotira yo‘qoladi. Ko‘p sonli faol biologik neyronlardan har biri bir vaqtning o‘zida har xil qarorlarni qabul qilish jarayonlarida ishtirok etgani hamda har xil topologiyadagi o‘rgatishdan o‘tilgan faollashtirilgan neyron tuzilmalar qatori uchun umumiy element bo‘lgani uchun bir-biriga birinchi ko‘rinishdan bog‘liqligi kam bo‘lgan qarorlar orasida yo‘naltirilgan (anassotsiativ) aloqaga qobiliyat paydo bo‘ladi. Tabiiy intellektda mazkur assotsiativ imkoniyatlar borligi uning kerakli qarorni izlash imkoniyatlarini oshiradi. Zamonaviy neyron tarmoqlarida o‘zini-o‘zi sozlash muammosi haligacha o‘z yechimini topmagan. Sun’iy yoki tabiiy intellektual tizimning faol hajmi va murakkabligi masalalar yechilishi xususiyatiga ta’sir ko‘rsatadi. Haqiqatdan ham, intellektual tizimda berilgan masalalar sinfi va timsollar to‘plami o‘zaro bog‘liq va faollashtirilgan neyronlarning ma’lum miqdorini talab qiladi. Ularning yetishmasligi (ma’lum optimal sondan kam bo‘lsa) qo‘yilgan barcha masalalarni yechishga imkon bermaydi, chunki tizimni tegishlicha o‘rgatishni amalga oshirish mumkin bo‘lmaydi. Ammo intellektual tizimda muammolar faol neyronlar sonini ko‘rib chiqilayotgan masalalar yechimi uchun optimal sonidan oshirgan taqdirda ham paydo bo‘ladi.

Xamkorlik tizimlari

Hamkorlikning uchta jihati:
1. Aloqa.
-Aloqa vositalari jismoniy shaxslar o'rtasida ma'lumot almashinuvini ta'minlaydi. Hamkorlik vositasi sifatida elektron pochta ixtirosi bizning ish joyimizdagi aloqa usulimizni o'zgartirdi. Bu tashkilot ichida aloqa o'rnatishning eng oson usuli va yaxshi tasdiqlangan. Ayniqsa, kunlik yozishmalarni tashkil qilish uchun elektron pochta turli xil odamlarga bir marta bosish orqali yetib borishi mumkin.
2. Muvofiqlashtirish.
- Muvofiqlashtirish "sheriklarning harakatlarini birgalikda belgilab qo'yilgan maqsadlarga erishish uchun ataylab va tartibli ravishda moslashtirish yoki sozlash" deb ta'riflanadi. Buni qo'llab-quvvatlaydigan hamkorlik vositalari - bu odamga guruh faoliyatini, jadvallarini va natijalarini o'rnatishga imkon beradigan vositalar.
Onlayn taqvimlar ishdagi professional xatti-harakatlarning bir qismidir va boshqa tizimlarga to'liq qo'shiladi. Bath universitetining tadqiqot maqolasida ta'kidlanishicha, kelajakda onlayn taqvimlar kabi boshqa ma'lumotlar bilan chambarchas bog'liq bo'lishi mumkin ijtimoiy tarmoqlar va undan ham katta ta'sirga ega.
Vaqt trekerlari, ayniqsa, xodimlarning ish faoliyatini o'lchash uchun ishlatiladi. Uning mahsuldorlikka ta'siri munozarali sifatida muhokama qilinadi.
Elektron jadvallar korporativ muhitda juda mashhur bo'lgan va moliyaviy tahlil yoki modellashtirish uchun zarur bo'lgan hamkorlik vositasi bo'lgan elektron pochta xabarlariga o'xshaydi. Garchi juda mashhur bo'lsa-da, bir nechta tadqiqotlar shuni ko'rsatdiki, ko'plab elektron jadvallarda noto'g'ri ma'lumotlar mavjud va shuning uchun ular samarasiz.
3.Hamkorlik.
- Hamkorlik vositalari guruhlarga real vaqtda munozaralar olib borish va birgalikda g'oyani yoki fikrni shakllantirishga imkon beradi. Katta tashkilotlarda "asosiy g'oyani" saqlab qolish va aloqalarni ko'rinadigan qilishga yordam berish bo'yicha hamkorlik yo'nalishidagi tendentsiyalar. Shuningdek, kompaniyada doimiy ravishda ishlamaydigan odamlarni tashkilotga jalb qilish va ularning bilimlaridan foydalanish g'oyasi.
Asankron hamkorlik vositalari: Hamkorlik vositasi, uning foydalanuvchilari boshqa vaqtda hamkorlik qilganda asenkron hisoblanadi.
Elektron pochta eng yaxshi ma'lum bo'lgan asenkron hamkorlik vositasi va eng keng tarqalgan ishlatilgan - bu xabarlarni yo'naltirish, pochta guruhlarini yaratish va hujjatlarni biriktirish uchun intuitiv xususiyatlarni taklif etadi. Bundan tashqari, ma'lumot avtomatik ravishda xronologik tartibda saralanishi va vazifalarga yoki taqvimiy tadbirlarga tayinlanishi mumkin.
Guruh taqvimlari orqali uchrashuvlarni rejalashtirish, loyihalarni boshqarish va odamlarni muvofiqlashtirish mumkin. Bu odamga o'zlarining etkazib berish muddati va muddatlarini e'tiborsiz qoldirishiga yordam beradigan ajoyib vosita. Guruh taqvimiga jamoadagi yoki tashkilotdagi boshqa odamlar bilan ziddiyatli jadvallarni aniqlash yoki jamoadagi barchaga mos keladigan uchrashuv vaqtlarini muvofiqlashtirish kabi funktsiyalar kiradi. Guruh taqvimining ijobiy ta'siridan tashqari, shaxsiy mahsuldorlik va nazorat to'g'risida ham shaxsning mahsuldorligiga ta'sir qilishi mumkin.
Sinxron hamkorliklar:
Birgalikda taxtalar o'z foydalanuvchilariga veb-platforma orqali topshiriq ustida samarali ishlash imkoniyatini beradi. Ular norasmiy muhokamalar uchun, shuningdek, tuzilishga muhtoj, rasm chizishni o'z ichiga olgan yoki umuman murakkabroq bo'lgan aloqa uchun ishlatilishi mumkin. Bu amalga oshirish uchun juda foydali bo'lishi mumkin virtual sinflar.
Videoaloqa tizimlari jonli videostream orqali ikki tomonlama yoki ko'p yo'nalishli qo'ng'iroqlarni taklif qiladi. Buni qo'shimcha vizual elementga ega telefon tizimi bilan taqqoslash mumkin.

Ko’p qatlamli neyron to’rlarining turli sxemalari

Hozirgi vaqtda sun’iy neyron to’rlari va masalalarni parallel ishlash ustida nazariy izlanishlar va amaliy qo’llanishlar keskin rivojlanmoqda. Neyron to’rlar analitik tavsifi bo’lmagan va faqatgina eksperimental ma’lumotlar bilan berilgan katta ko’lamdagi amaliy masalalarni yechish imkonini beradi.
Ko’p qatlamli neyron tarmoqlari. Ko’p qatlamli neyron tarmoqlar  qatlamlar bir-biri bilan ketma-ket bog’lanadi. Ya’ni, birinchi qatlam chiqishida 
keyingi qatlam va shu kabi davom etadi. Birin ketin qatlamlarni amalga oshirishda 
paydo bo’lgan xatolarni umumiy yig’indisi ko’rinishda olsak, birini xatosini 
ikkinchisi to’ldirib ketadi va umumiy xatolar soni nisbatan kamayadi.
Ko’p o’lchovli chiziqsiz optimizasiyaning an’anaviy iterativ gradiyent algoritmlari bilan o’rganadigan neyron to’rlari modellarining eng ko’p tarqalgani — bu ko’p qatlamli sun’iy neyron to’rlari sinfidir. Ma’lumki, ko’p qatlamli sun’iy neyron to’rlari o’rganishda iterativ algoritmlar yaqinlashuvi, o’rganiladigan berilganlarning (tanlovning) hajmiga, vaznlarning boshlang’ich qiymatiga, shuningdek, o’rganishdagi maksimal xatolarga (o’rganishning sifat mezonlariga), o’rganishdagi takrorlanishlar soniga (o’rganish vaqtining uzayishi mezonlariga) bog’liq. Shuning uchun, qo’yilgan masalani yechish uchun optimal modellarni tanlashda ularni solishtirish va qaror qabul qilishda neyroto’rlarning xususiyatlarini yetarli darajada baholashga imkon beruvchi xususiy va umumiy mezonlar majmuasini ishlab chiqish zarur.
Sun'iy neyron tarmog'ini qurish uchun biz xuddi shu tuzilmadan foydalanamiz. Biologik neyron tarmog'i singari, sun'iy bir-biri bilan o'zaro ta'sir qiluvchi neyronlardan iborat, ammo u soddalashtirilgan modeldir. Shunday qilib, masalan, ANNni tashkil etuvchi sun'iy neyron ancha sodda tuzilishga ega: u turli xil signallarni qabul qiladigan, ularni o'zgartiradigan va boshqa neyronlarga uzatadigan bir nechta kirishlarga ega. Boshqacha qilib aytganda, sun'iy neyron Rn→R funktsiyasi bo'lib, u bir nechta kirish parametrlarini bitta chiqishga aylantiradi.

1-rasm. Sun'iy neyronning sxemasi
O'ngdagi rasmda ko'rib turganingizdek, neyronda n ta kirish xi bor, ularning har birining og'irligi wi ga ega, bu orqali ulanish orqali o'tadigan signal ko'paytiriladi. Shundan so'ng, xi⋅wi vaznli signallari barcha signallarni vaznli yig'indiga jamlovchi qo'shimcha qurilmaga yuboriladi. Bu summani aniq deb ham ataladi. Shunday qilib, net=∑i=ni=1wi⋅xi=wT⋅x.
Xuddi shunday, vaznli yig'indini chiqishga o'tkazish juda ma'nosiz - neyron qandaydir tarzda uni qayta ishlashi va adekvat chiqish signalini yaratishi kerak. Ushbu maqsadlar uchun faollashtirish funktsiyasidan foydalaniladi, u og'irlikdagi summani neyronning chiqishi bo'lgan ba'zi bir raqamga aylantiradi. Faollashtirish funksiyasi s (net) bilan belgilanadi. Shunday qilib, sun'iy neyronning chiqishi s (aniq)
Su’niy neyron to’rlarini o’rganish jarayonidagi falajlik sabablari
muvaffaqiyatsizliklar odatda ikkita sababga ko'ra yuzaga keladi: tarmoq falajligi va mahalliy minimal darajaga tushish.

Tarmoq falaj

Tarmoqni o'qitish jarayonida og'irliklarning qiymatlari tuzatish natijasida juda katta qiymatlarga aylanishi mumkin. Bu siqish funktsiyasining hosilasi juda kichik bo'lgan mintaqada barcha yoki ko'pchilik neyronlarning juda katta OUT qiymatlarida ishlashiga olib kelishi mumkin. O'quv jarayonida qaytarib yuborilgan xato ushbu lotinga mutanosib bo'lgani uchun, o'quv jarayoni deyarli muzlatib qo'yishi mumkin. Nazariy jihatdan, bu muammo yaxshi tushunilmagan. Odatda qadam hajmini kamaytirishga harakat qilinadi, lekin bu o'rganish vaqtini oshiradi. Sholning oldini olish yoki uni tiklash uchun turli xil evristik usullar qo'llanilgan, ammo hozirgacha ularni faqat eksperimental deb hisoblash mumkin.

Mahalliy minimal

Oxirgi ma'ruzada biz orqaga tarqalish algoritmi xato yuzasida gradient tushishni qanday amalga oshirishini tasvirlab berdik. Muxtasar qilib aytganda, quyidagilar sodir bo'ladi: sirtning ma'lum bir nuqtasida eng tez tushish yo'nalishi topiladi, so'ngra inertsiyani hisobga olgan holda o'rganish tezligi koeffitsienti va qiyalikning tikligiga mutanosib masofaga sakrash amalga oshiriladi. , ya'ni harakatning bir xil yo'nalishini saqlab qolish istagi. Aytishimiz mumkinki, usul o'zini ko'r kenguru kabi tutadi - har safar u o'zi uchun eng yaxshi ko'rinadigan tomonga sakraydi. Darhaqiqat, tushish bosqichi tasodifiy tartibda olingan barcha o'quv kuzatuvlari uchun alohida hisoblanadi, ammo natijada to'plangan xato yuzasiga tushishning juda yaxshi yaqinlashishi hisoblanadi. Boshqa o'rganish algoritmlari ham mavjud, ammo ularning barchasi tezda minimal nuqtaga o'tish uchun u yoki bu strategiyadan foydalanadi.

Orqaga tarqalish gradient tushishining o'zgarishidan foydalanadi, ya'ni og'irliklarni minimal darajaga qarab doimiy ravishda rostlashda xato yuzadan pastga tushadi. Murakkab tarmoqning xato yuzasi juda chuqurlashtirilgan bo'lib, yuqori o'lchamli makonda tepaliklar, vodiylar, burmalar va jarlardan iborat. Yaqin atrofda ancha chuqurroq minimum mavjud bo'lganda, tarmoq mahalliy minimumga (sayoz vodiy) tushishi mumkin. Mahalliy minimal nuqtada barcha yo'nalishlar yuqoriga olib boradi va tarmoq undan chiqa olmaydi. Statistik o'rganish usullari bu tuzoqdan qochishga yordam beradi, lekin ular sekin. P.D.Vasserman Koshi mashinasining statistik usullarini orqaga tarqalish gradient tushishi bilan birlashtirgan va yuqori qayta tarqalish tezligini saqlab turgan holda global minimumni topadigan tizimga olib keladigan usulni taklif qildi. Bu keyingi ma'ruzalarda muhokama qilinadi.

Qadam hajmi
Konvergentsiya isbotini sinchkovlik bilan tahlil qilish shuni ko'rsatadiki, og'irlikdagi tuzatishlar cheksiz kichik deb hisoblanadi. Amalda buni amalga oshirish mumkin emasligi aniq, chunki bu cheksiz o'rganish vaqtiga olib keladi. Qadam o'lchamini chekli deb qabul qilish kerak va uni aniqlashda faqat tajribaga tayanish kerak. Agar qadam o'lchami juda kichik bo'lsa, unda konvergentsiya juda sekin, agar u juda katta bo'lsa, unda falaj yoki doimiy beqarorlik paydo bo'lishi mumkin. P.D.Vasserman o'quv jarayonida qadam o'lchamini avtomatik ravishda to'g'rilaydigan adaptiv qadam tanlash algoritmini tasvirlab berdi.

Vaqtinchalik beqarorlik

Agar tarmoq harflarni tan olishni o'rgansa, "A" unutilgan bo'lsa, "B" ni o'rganish mantiqiy emas. O'quv jarayoni shunday bo'lishi kerakki, tarmoq allaqachon o'rganilgan narsalarni o'tkazib yubormasdan butun o'quv majmuasida o'qitilishi kerak. Konvergentsiyani isbotlashda bu shart bajariladi, lekin og'irliklarni tuzatishdan oldin tarmoqni o'quv majmuasining barcha vektorlari bilan taqdim etish ham talab qilinadi. Og'irlikdagi kerakli o'zgarishlar butun to'plamda hisoblanishi kerak, bu esa qo'shimcha xotirani talab qiladi; bir qancha bunday mashg'ulot davrlaridan so'ng, og'irliklar minimal xatoga yaqinlashadi. Agar tarmoq doimiy o'zgaruvchan tashqi muhitda bo'lsa, bu usul foydasiz bo'lishi mumkin, shuning uchun bir xil vektor ikkinchi marta takrorlanmasligi mumkin. Bunday holda, o'quv jarayoni hech qachon birlashmasligi, maqsadsiz kezib yurishi yoki kuchli tebranishi mumkin emas. Shu nuqtai nazardan, orqa tarqalish biologik tizimlardan farq qiladi. Keyingi ma'ruzalarda ta'kidlanganidek, bu nomuvofiqlik (boshqalar qatorida) Grossbergning ART tizimiga olib keldi.
Radial neyron to’rlar


Sigmasimon tipdagi ko'p qatlamli neyron tarmoqlar, matematik nuqtai nazardan, bir nechta o'zgaruvchilarning funktsiyasini chiqish o'zgaruvchilari to'plamiga yaqinlashtirishni amalga oshiradi. Neyronlarning faollashuv funktsiyasi rolini o'ynaydigan sigmasimon funktsiya kirish ma'lumotlarining butun diapazonida nolga teng bo'lmagan qiymatga ega bo'lganligi sababli, uning ko'pgina (agar hammasi bo'lmasa) neyronlari kirish ma'lumotlarini chiqish ma'lumotlariga aylantirishda ishtirok etadilar. tarmoq. Natijada, sigmasimon (va, albatta, chiziqli) neyronlar tomonidan yaqinlashish global yaqinlashish deb ataladi.
Radial tarmoqlar faollashtirish funktsiyasi nolga teng bo'lmagan qiymatlarga ega bo'lgan radial neyronlar yordamida qurilgan. Shuning uchun bunday tarmoqlar yordamida yaqinlashish mahalliy yaqinlashish deb ataladi.
Radial tarmoq ikki qatlamli tuzilishga ega, birinchi qatlam radial neyronlardan iborat, chiqish bir yoki bir nechta chiziqli. Shaklda. 1-rasmda bitta chiqish neyroniga ega radial tarmoqning blok diagrammasi ko'rsatilgan.


1-rasm. Bitta chiqish neyronli radial tarmoqning blok diagrammasi.

Radial tarmoqni o'rgatish

Radial tarmoqni o'rganish jarayoni ikki bosqichga bo'linadi:
har bir radial neyron uchun radial funktsiyaning parametrlarini tanlash (Gauss funktsiyasi bo'lsa, bular markaz va kenglik parametrlari);
neyronlarning chiqish qatlami uchun og'irliklarni tanlash.
Bunday holda, ikkinchi bosqich birinchisiga qaraganda ancha sodda, chunki u ifodani hisoblashga qisqartiradi, bu erda asosiy hisoblash xarajatlari Yashil matritsaning psevdo-inversiyasini hisoblash hisoblanadi.
Birinchi qatlamning barcha neyronlari uchun radial Gauss funktsiyalarining parametrlarini topish vazifasi, o'z navbatida, ikkita kichik vazifaga bo'linadi:
-markazlarni aniqlash;
-kenglik parametrlarini hisoblash.
Ma'lumki, kirish ma'lumotlarini aniqlash sohasida markazlarni joylashtirishga qo'yiladigan asosiy talablar:
ta'rif sohasini qamrab olishning to'liqligi;
taqsimotning bir xilligi.
Aynan shu talablar raqobat asosida o'zini o'zi tashkil etish bilan PHC tomonidan taqdim etilgan ma'lumotlarni klasterlash yechimi tomonidan qondiriladi. Shu sababli, ma'lumotlar klasterlarida o'rtacha vektorlarni topish uchun ushbu tarmoqlarda qo'llaniladigan o'rganish algoritmlari radial funktsiyalar markazlarini topish uchun radial tarmoqlarda bevosita qo'llaniladi.
Radial funktsiyalarning barcha markazlarining joylashishini aniqlagandan so'ng, radial funktsiyaning qiymati chegara qiymatidan oshib ketadigan qamrov maydonining hajmini aniqlaydigan parametrlarni tanlash amalga oshiriladi. Bunday tanlov, bir tomondan, kirish ma'lumotlarining butun maydonini qamrab olishi va boshqa tomondan, qo'shni zonalarning ahamiyatsiz bir-biriga mos kelishini ta'minlashi kerak.

Rekurent to’rlar. Xemmimg neyron to’ri.

rekursiv tarmoq
Rekursiv neyron tarmoqlari (ing. Recurrent neyron networks) takrorlanuvchi tarmoqlarning umumiy holi boʻlib, tarmoqdagi signal daraxt shaklida (odatda binar daraxtlar) struktura orqali oʻtadi. Bir xil og'irlikdagi matritsalar uning topologiyasiga ko'ra grafik bo'ylab rekursiv ishlatiladi.
Takroriy neyron tarmoqlar (RNS, eng. Recurrent neural network; RNN) - elementlar orasidagi bog'lanishlar yo'naltirilgan ketma-ketlikni tashkil etadigan neyron tarmoqlarning bir turi. Bu vaqt yoki ketma-ket fazoviy zanjirlarda bir qator hodisalarni qayta ishlash imkonini beradi. Ko'p qatlamli perseptronlardan farqli o'laroq, takrorlanuvchi tarmoqlar o'z ichki xotirasidan ixtiyoriy uzunlikdagi ketma-ketliklarni qayta ishlash uchun foydalanishi mumkin. Shuning uchun RNNlar integral narsa qismlarga bo'lingan bunday vazifalarda qo'llaniladi, masalan: qo'l yozuvini aniqlash[1] yoki nutqni aniqlash[2][3].
Takroriy tarmoqlar uchun oddiydan murakkabgacha bo'lgan ko'plab turli me'moriy echimlar taklif qilingan. So'nggi paytlarda uzoq muddatli va qisqa muddatli xotira tarmog'i (LSTM) va boshqariladigan takroriy blok eng keng tarqalgan.
Amerikalik olim Xopfild 80-yillarda neyron tarmoqlarning maxsus turini taklif qilgan. To'g'ridan-to'g'ri tarmoqlardan farqli o'laroq
ulanishlar, Hopfield tarmoqlari takroriy yoki tarmoqlar bilan
Xopfild neyron tarmog'i - to'liq bog'langan simmetrik NN
ulanish matritsasi. Ishlash jarayonida bunday tarmoqlarning dinamikasi
muvozanat pozitsiyalaridan biriga yaqinlashadi (yaqinlashadi).
Ushbu muvozanat pozitsiyalari mahalliy minimaldir
funktsional tarmoq energiyasi deb ataladi.
Bunday tarmoqdan foydalanish mumkin:
•avtoassotsiativ xotira sifatida;
•filtr sifatida;
•ba'zi optimallashtirish masalalarini hal qilish uchun.

Assotsiativ xotira tarmoqlari

Hamming tarmoq diagrammasi
Hamming tarmog'i - bu fikr-mulohazalarga ega uch qatlamli neyron tarmoq. Ikkinchi va uchinchi qatlamlardagi neyronlar soni tasniflash sinflari soniga teng. Ikkinchi qavat neyronlarining sinapslari tarmoqning har bir kirishiga ulanadi, uchinchi qatlamning neyronlari salbiy ulanishlar bilan o'zaro bog'lanadi, har bir neyronning o'z aksoniga ulangan sinaps bundan mustasno - bu ijobiy fikrga ega.
Xemming neyron tarmog'i ikkilik vektorlarni tasniflash uchun ishlatiladigan neyron tarmoq turi bo'lib, asosiy mezon Xemming masofasi hisoblanadi. Bu Xopfild neyron tarmog'ining rivojlanishi.
Tarmoq ikkilik vektorni xaritalash uchun ishlatiladi {\displaystyle x=(x_{1},x_{2},x_{3},...,x_{m})}\displaystyle x=(x_{1} ,x_{2},x_{3},...,x_{m})}, bu yerda {\displaystyle x_{i}=\{-1,1\}}{\displaystyle x_{i}=\{ -1,1\}}, mos yozuvlar tasvirlaridan biri bilan (har bir sinf o'z tasviriga ega) yoki vektor hech qanday standartlarga mos kelmasligiga qaror qiling. Xopfild tarmog'idan farqli o'laroq, u namunani o'zi emas, balki uning raqamini chiqaradi.
Tarmoq 1987 yilda Richard Lippmann tomonidan taklif qilingan. U ixtisoslashgan geteroassotsiativ saqlash qurilmasi sifatida joylashtirilgan.
1-rasm

1-rasm. RNN va uning kengaytirilgan tasviri

Takrorlanuvchi tarmoq qatlamining sxemasi [2]
Takroriy neyron tarmoqlar ketma-ketliklarni qayta ishlash uchun juda mos bo'lgan tsikllarga ega tarmoqlardir

Qat’iymas mantiqqa asoslangan tizimlar. Qat’iymas mantiq xulosa qoidalari.

Loyqa mantiq (FL) - bu insonning fikrlashiga o'xshash fikrlash usuli. FL yondashuvi odamlarning qaror qabul qilish usulini taqlid qiladi, bu HA va YO'Q raqamli qiymatlari o'rtasidagi barcha oraliq imkoniyatlarni o'z ichiga oladi.
Kompyuter tushuna oladigan oddiy mantiqiy blok aniq kiritishni oladi va insonning HA yoki YO'Q ga teng bo'lgan TRUE yoki FALSE kabi ma'lum bir chiqishni ishlab chiqaradi.
Loyqa mantiq ixtirochisi Lotfi Zoda, kompyuterlardan farqli o'laroq, o'zlashtirilganligini payqashdi.
Loyqa mantiq ma'lum bir natijaga erishish uchun kiritish imkoniyatlari darajasida ishlaydi.
U turli o'lcham va imkoniyatlarga ega bo'lgan tizimlarda - kichik mikrokontrollerlardan tortib, ish stantsiyalarida tarmoqqa ulangan yirik boshqaruv tizimlarigacha amalga oshirilishi mumkin.
Bu apparat, dasturiy ta'minot yoki ikkalasining kombinatsiyasida amalga oshirilishi mumkin.
U har xil o'lcham va imkoniyatlarga ega tizimlarda - kichikdan boshlab amalga oshirilishi mumkin
Fuzzifikatsiya moduli - aniq raqamlar bo'lgan tizimning kirish ma'lumotlarini loyqa to'plamlarga aylantiradi. U kirish signalini besh bosqichga ajratadi, masalan, -
Fuzzifikatsiya moduli - aniq raqamlar bo'lgan tizimning kirish ma'lumotlarini loyqa to'plamlarga aylantiradi. U kirish signalini besh bosqichga ajratadi, masalan,
-A'zolik xususiyati
A'zolik funktsiyalari sizga lingvistik atamaning miqdorini aniqlashga va loyqa to'plamni grafik tarzda ifodalashga imkon beradi. X diskurs olamidagi noaniq A to'plamning a'zolik funksiyasi µ A : X → [0,1] sifatida aniqlanadi.
Bu erda X ning har bir elementi 0 dan 1 gacha bo'lgan qiymatga moslashtiriladi. Bu qiymat yoki a'zolik darajasi deb ataladi. U X dagi elementning noaniq A to‘plamga tegishliligini miqdoriy ifodalaydi.
-X o'qi nutq olamini ifodalaydi.
Y o'qi [0, 1] oraliqdagi a'zolik darajalarini ifodalaydi.
Noaniq raqamli qiymatga qo'llaniladigan bir nechta a'zolik funksiyalari bo'lishi mumkin. Oddiy a'zolik funktsiyalari qo'llaniladi, chunki murakkab funktsiyalardan foydalanish chiqishga ko'proq aniqlik kiritmaydi.
Biz yuqorida zamonaviy dasturlashning uchta asosiy yo'nalishini aytib o'tdik: algoritmik, statistik va mantiqiy. Eng muhim rolni algoritmik dasturlash o'ynaydi. Bu veb-saytlar, operatsion tizimlar, matn muharrirlari va kompyuter o'yinlari kabi barcha mavjud dasturlarning taxminan 99% ni tashkil qiladi. Statistik yo'nalish algoritmik tarzda hal qilib bo'lmaydigan ba'zi bir aniq muammolarni hal qilishga imkon beradi. Hozir u jadal rivojlanmoqda: neyron tarmoqlar, katta maʼlumotlar, mashinani oʻrganish bir xil narsa uchun turli nomlardir. Mantiqiy yo'nalish ma'lum bir qator vazifalar uchun ham muvaffaqiyatli qo'llaniladi, ammo so'nggi yillarda sezilarli muvaffaqiyatlar yo'qligi sababli, keng jamoatchilikning (shu jumladan huquqiy) qiziqishi aniq pasayib ketdi. Shunga qaramay, bizning fikrimizcha, huquqni dasturlash bilan bog‘lash mumkin bo‘lsa, birinchi navbatda, mantiq (tasodif?) orqali.
Qat’iymas to’plamlar ustida amallar. Qat’iymas munosabatlar.

Sun'iy intellektga mantiqiy yondashuvning birinchi qo'llanilishidan biri shaxmat (shuningdek, shashka va boshqalar) dasturlari edi. Keling, oddiygina shaxmat misolini ko'rib chiqaylik, chunki bu aslida yaxshi misol va shaxmat haqida hamma biladi.

Har qanday mantiqiy dastur kamida quyidagi komponentlardan iborat bo'lishi kerak:
-ko'rib chiqilayotgan hududdan har qanday vaziyatni tasvirlash uchun ishlatilishi mumkin bo'lgan rasmiy til;
-ushbu rasmiy tilda berilgan huquqiy iboralarni yaratish uchun ro'yxat yoki qoidalar;
-rasmiy til nuqtai nazaridan shakllantirilgan bir huquqiy ifodadan boshqasiga o'tish qoidalari;
-rasmiy tilda berilgan boshlang'ich ifoda va bir yoki bir nechta mumkin bo'lgan yakuniy iboralarning tavsifi;
Bir huquqiy ifodadan ikkinchisiga o'tadigan, boshlang'ich holatdan yakuniy yo'lni qurishga harakat qiladigan analitik vosita. Agar bu muvaffaqiyatli bo'lsa, unda muammo hal qilinadi, agar bo'lmasa, unda yechim yo'q yoki noto'g'ri tuzilgan.
Bu juda murakkab ko'rinadi, lekin aslida har bir kishi bunga u yoki bu shaklda duch kelgan. Masalan, shaxmatda:
Odatiy shaxmat yozuvi mos keladi, bu erda parchalar birinchi harf bilan ko'rsatilgan va ularning taxtadagi o'rni alfanumerik koordinatalar bilan ko'rsatilgan. Misol uchun, "Kb3" qirol b-faylda va 3-qatorda ekanligini bildiradi.
Huquqiy iboralarni yasash qoidalari to'g'ridan-to'g'ri shaxmat qoidalaridan kelib chiqadi: ikki podshoh yonma-yon turolmaydi, ikkala qirolga chek qo'yilmaydi, piyon o'ta gorizontalda bo'lolmaydi va hokazo. Bularning barchasi, agar xohlasangiz, bo'lishi mumkin. shaxmat yozuvi nuqtai nazaridan tuzilgan. Masalan, "Oq: Kf1 Qora: Kf3" pozitsiyasi qonuniy, ammo "Oq: Kf1 Qora: Kf2" emasligi aniq.
Bir huquqiy pozitsiyadan ikkinchisiga o'tish qoidalari, aslida, shaxmat qoidalariga bag'ishlangan: episkop diagonal bo'ylab, ritsar esa "ge" harfi bilan harakat qiladi. Ularni shaxmat yozuvi nuqtai nazaridan qayta yozish ko‘p kuch talab etadi, ayniqsa, o‘tish va yo‘lakda qo‘lga olish kabi muammolarni inobatga olgan holda... Lekin menga ishoning, har qanday dasturchi (va shunchaki hohlagan har qanday odam) bunday muammoni engadi. vazifa ertami-kechmi.
Dastlabki vaziyat bilan hamma narsa aniq, yakuniy vaziyat esa shashkadir. Buning uchun aniq mezonlar mavjud, ular ham rasmiylashtirilishi mumkin.
Analitik mashina. Bu erda printsipial jihatdan murakkab narsa yo'q. Agar siz 2 va 3-bandlarni muvaffaqiyatli bajargan bo'lsangiz, unda siz har qanday dasturchiga, hatto umuman shaxmat o'ynamaydigan, barcha (o'tishlarni) huquqiy pozitsiyalarni sanab o'tadigan (va aslida matnlarni!), Va birinchi shaxmatingizga ishonch bilan qo'ng'iroq qilishingiz mumkin. dastur tayyor. Tabriklaymiz! Undan mo''jizalar kutmang, lekin u yong'oq kabi "3 ta harakatda mat" vazifasini bajaradi.
Agar qo'lingizda dasturchi bo'lmasa, unda siz variantlarni o'zingiz saralashingiz kerak bo'ladi, bu esa shaxmatchilarning taxtada bajaradigan ishi.
Ko'pgina pozitsiyalarda hatto zamonaviy superkompyuterlarda ham shaxmatni hisoblash mumkin emasligi sababli, haqiqiy shaxmat dasturlari biroz murakkabroq. Ammo printsip bir xil.
Keling, bu yondashuv algebrada qanday ishlashini ko'rib chiqaylik.
Rasmiy tilni o'ylab topishimiz shart emas. Shaxmatdan farqli o'laroq, maktabda hammamiz o'z xohishimizga qarshi o'rgatilgan.
Huquqiy iboralarni yozish qoidalari ham aniq: ochiladigan qavslar soni yopilish soniga teng bo'lishi kerak va hokazo.
Bir huquqiy iboradan ikkinchisiga o'tish qoidalari ham hammaga alamli tanish: “terminlarni qayta joylashtirishdan yig'indi o'zgarmaydi” va hokazo. Yoki siz darhol rasmiy tilda yozishingiz mumkin: a+b=b. +a, aa=a2, a( b+c)=ab+ac,a+a=2a va hokazo.

Su’niy neyron to’rini o’rgatishning deferministik va stoxastik usullari.

Stokastik usullar sun'iy neyron tarmoqlarni o'rgatish uchun ham, allaqachon o'qitilgan tarmoqdan natija olish uchun ham foydalidir. Stoxastik o'rganish usullari katta foyda keltiradi, o'quv jarayonida mahalliy minimallarni bartaraf etishga imkon beradi. Lekin ularda ham bir qator muammolar bor.

O'rganishdan foydalanish
Sun'iy neyron tarmog'i uning og'irliklarini o'zgartiradigan ba'zi bir jarayon orqali o'qitiladi. Agar trening muvaffaqiyatli bo'lsa, tarmoqni kirish signallari to'plami bilan taqdim etish kerakli chiqish signallari to'plamining paydo bo'lishiga olib keladi. O'rganish usullarining ikkita klassi mavjud: deterministik va stokastik.
Deterministik o'rganish usuli tarmoqning og'irligini ularning joriy qiymatlaridan, shuningdek kirishlar, haqiqiy chiqishlar va kerakli natijalardan foydalanish asosida sozlash uchun bosqichma-bosqich protsedurani amalga oshiradi. Perceptron treningi shunga o'xshash deterministik usulga misoldir.
Stoxastik o'rganish usullari og'irlik qiymatlarida psevdo-tasodifiy o'zgarishlarni amalga oshiradi, bu yaxshilanishga olib keladigan o'zgarishlarni saqlaydi. Buni aniq ko'rsatish uchun rasmga qarang. 7.1, bu neyronlar og'irliklar yordamida ulangan odatiy tarmoqni ko'rsatadi. Neyronning chiqishi bu erda chiziqli bo'lmagan funksiya yordamida o'zgartiriladigan uning kirishlarining vaznli yig'indisidir. Tarmoqni o'qitish uchun quyidagi tartiblardan foydalanish mumkin:
Tasodifiy vaznni tanlang va uni kichik tasodifiy raqamga moslang. Kirishlar to'plamini taqdim eting va natijada olingan natijalarni hisoblang.
Ushbu natijalarni kerakli natijalar bilan solishtiring va ular orasidagi farqning kattaligini hisoblang. Umumiy usul - o'rgatish mumkin bo'lgan juftlikning har bir elementi uchun haqiqiy va kerakli natijalar o'rtasidagi farqni topish, farqlarni kvadratga solish va bu kvadratlarning yig'indisini topish. O'rganish maqsadi ko'pincha maqsad funktsiyasi deb ataladigan bu farqni minimallashtirishdir.
Tasodifiy vaznni tanlang va uni kichik tasodifiy qiymat bilan sozlang. Agar tuzatish yordam bersa (maqsad funktsiyasini kamaytiradi), keyin uni saqlang, aks holda asl vazn qiymatiga qayting.

Boltsmann o'rganish
Ushbu stoxastik usul to'g'ridan-to'g'ri sun'iy neyron tarmoqlarni o'qitish uchun qo'llaniladi:
Sun'iy haroratni ifodalovchi T o'zgaruvchisini aniqlang. T ga katta boshlang'ich qiymat bering.
Tarmoqqa kirishlar to'plamini ko'rsating va natijalar va maqsad funktsiyasini hisoblang.
Og'irlikning tasodifiy o'zgarishini bering va amalga oshirilgan og'irlikdagi o'zgarishga muvofiq tarmoq chiqishi va maqsad funktsiyasi o'zgarishini qayta hisoblang.
Agar maqsad funktsiyasi pasaygan (yaxshilangan) bo'lsa, unda vazn o'zgarishini saqlang.
Agar vaznning o'zgarishi maqsad funktsiyasining oshishiga olib keladigan bo'lsa, u holda bu o'zgarishni saqlab qolish ehtimoli Boltzmann taqsimoti yordamida hisoblanadi:
P(c)=\exp(-c/kT),
bu yerda P(c) - maqsad funksiyadagi c o'zgarish ehtimoli; k - Boltsman doimiysiga o'xshash doimiy, topshiriqga qarab tanlangan; T - sun'iy harorat.

Tasodifiy sonlar noldan birgacha yagona taqsimotdan tanlanadi. Agar P(c) r dan katta bo'lsa, u holda o'zgarish saqlanadi, aks holda og'irlik qiymati oldingi qiymatga qaytadi. Bu tizimga maqsad funktsiyasini buzadigan yo'nalishda tasodifiy qadam tashlashga imkon beradi va shu bilan unga mahalliy minimallardan chiqib ketish imkoniyatini beradi, bu erda har qanday kichik qadam maqsad funktsiyasini oshiradi.