Ózbekstan respublikasí joqarí bilimlendiriw, ilim hám innovaciyalar ministrligi

ÓZBEKSTAN RESPUBLIKASÍ JOQARÍ BILIMLENDIRIW, ILIM HÁM INNOVACIYALAR MINISTRLIGI
BERDAQ ATÍNDAǴÍ
QARAQALPAQ MÁMLEKETLIK UNIVERSITETI

Algoritmlestiriw hám programmalastırıw texnologiyaları kafedrası

Jasalma intellekt hám neyron torlı texnologiyalar páninen

ÓZ BETINSHE JUMÍSÍ

Matematika fakulteti

“Kompyuter ilimleri hám programmalastırıw texnologiyaları”
3-kurs
__-topar
_______________________________ ____________
(imza)
Qabıllaǵan: ______________________ ____________ (imza)
Nókis 2023j
Tema : Rekurrent torlar

Jobasi;
1 Rekurrent torlar tusinigi

2. Jasalma Neyron torlar
Rekurrent tarmaqlar jasalma neyro tarmaqlarınıń bir túri retinde ámeldegi bolǵan maǵlıwmatlardıń tez-tez tákirarlanıwshı baylanislardi hám olardin’waqtın esaplawdı modelleytuǵın usıllar bolıp tabıladı. Bul túrler, maǵlıwmatlardıń ortasında ámeldegi baylanislardi analiz qılıw hám keyingi keleshek nátiyjelerin esaplawda paydalanıladı. Rekurrent tarmaqlar, tákirarlanıwshı óz-ara baylanıs ushın qaytarıwda (feedback loop) isletedi. Tiykarǵı túrlerden biri " Rekurrent neyron tarmaǵı" (RNN) dep ataladı. RNN'lar, ortasında baylanıslar bolǵan maǵlıwmatlar ústinde islew beriw ushın óz-ara baylanıslılıqtı saqlaytuǵın qaytarıw qaytıporaga iye. Bul baylanıslılıq tarmaqtıń aldınǵı tısqarına maǵlıwmatlardı qaytarıp beriwine múmkinshilik beredi sonıń menen birge ulıwma nátiyjeni esaplaw processinde aldınǵı nátiyjelerdi de qollaydı.
" Rekurrent torlar" atamasi " Tákirarlaytuǵın sistemalar" dep awdarma etiledi. Bul túrler maǵlıwmatlardı bir-birine baylanıslılıqlardı hám waqtın esaplawda isletiletuǵın jasalma neyro tarmaqların ańlatadı. Rekurrent tarlar, maǵlıwmatlar ortasında tákirarlanıwshı munasábetler hám waqtın esaplawda isletiledi. Bul túrler, kóplegen matematik hám ónimlerdi úyreniw hám basqalar sıyaqlı wazıypalarda isletiledi. Matematik, matematikalıq hám sanlar esaplaw menen baylanıslı bir sóz.Bul sóz matematikalıqiy izertlewshilerdiń, esapshı hám túrli tarawlar menen baylanıslı islerdi ańlatıw ushın isletiledi. Matematik sanlar, belgiler, formulalar hám matematikalıqiy baylanıslardan paydalanıp mashqalalardi sheshiw, modeller jaratıw hám maǵlıwmatlardı analiz qılıw maqsetin usınıs etedi. Matematiktiń tiykarǵı maqseti, matematikalıq mantigini hám esaplaw qábiletlerin paydalanıp haqıyqıy dúnyadaǵı mashqalalardi túsiniw hám sheshiw bolıp tabıladı. Bul sóz matematikalıqiy qıyallardı, esaplaw usılların hám analitik pikirlewdi paydalanıp, muǵdarlıq hám sapalı maǵlıwmatlardı úyreniw,túsiniw hám tariyplew maqsetinde isletiledi. Matematiktiń túrli bólimleri ámeldegi mısalı :
1. Algebra: Sanlar hám belgilerdi paydalanıp, matematikalıqiy ańlatpalar ústinde ámeller orınlaw menen shuǵıllanadı.
2. Geometriya: Sırtqı kórinislerdiń qásiyetleri hám ortasındaǵı baylanıslar menen shuǵıllanadı.
3. Analiz: Funksiyalar hám ózgeriwshilerdiń xulqini úyreniw menen baylanıslı shegaralardı, differentsiyal hám integrallar sıyaqlı kavramlar menen shuǵıllanadı.
4. Statistika : Maǵlıwmatlardı toplaw, analiz qılıw, tariyplew hám nátiyjelerdi alıw processlerinde paydalanıladı.
5. Itimallıq : Uǵımsızlıq menen shuǵıllanadı hám keleshek hádiyseleriniń itimallıqların hám tarqalıwların úyrenedi.
Eń ulıwma túrlerden biri " Rekurrent neyron tarmaǵı" (RNN) dep ataladı. RNN'lar qaytarıw qaytıpora menen isleydi hám aldınǵı basqıshlar menen baylanıstı saqlaydı. Bul qaytıpora, keyingi basqıshlarda birden-bir nátiyjeni alıw ushın isletiledi. Basqa bir rekurrent tarmaq túri " Uzaq Qısqa Múddetli Yad" (LSTM) dep ataladı. LSTM'lar, RNN'lar ulıwma strukturası menen birdey bolıp, arnawlı qotiralar strukturası arqalı qosımsha yad hám waqıtqa baylanıslılıqtı modellelaydi. Rekurrent tarmaqlar, til islew, tekst generatsiyasi awdarma csóylesiw sintezi sıyaqlı wazıypalarda tabıslı qollanılǵan. Bunnan tısqarı, waqıt ceriyasi analizi, video islew hám dawıs belgilik sıyaqlı tarawlarda da keń tarqalǵanlaw isletiledi. Rekurrent tarmaqlar, túrli tarawlarda tabıslı qollanıladı. Mısalı, til islew wazıypalarında tekst analizi, awdarma hám tekst generatsiyasini úyreniwde paydalanıladı. Bul tarmaqlar, maǵlıwmatlardıń tez-tez tákirarlanıwına qo'ra sózler hám gápler ortasındaǵı baylanıslın analiz qılıwda járdem beredi.Sonıń menen birge, rekurrent tarmaqlar waqıt ceriyasini úyreniwde de tabıslı bolıp, sapalı nátiyjeler alıw imkaniyatın beredi. Bul, mısal ushın finansiyal tarawda esabatlardı prognozlaw, dawıs hám sóz belgilikda naqılların analiz qılıw hám muzıka generatsiyasini úyreniw sıyaqlı wazıypalarda paydalanıw imkaniyatın beredi.

Basqa bir rekurrent tarmaq túri " Uzaq Qısqa Múddetli Yad" (LSTM) dep ataladı.
LSTM'lar, RNN'largacha uqsas bolsa -d qosımsha qotiralar strukturası
arqalı ózgeriwshenligi joqarı dárejede esaplaw imkaniyatın beredi. Bul qotiralar, uzın múddetli baylanıslılıqlardı úyreniw hám ózgeriwshenligi retinde maǵlıwmatlardı saqlawda zárúrli rol oynaydı.
Rekurrent neyron tarmaqlar
Rekurrent neyron tarmaqlardı (shepte) hám aldınǵa uzatılatuǵın neyron tarmaqların (ońında ) salıstırıwlaw Qayta tarmaqlardıń taǵı bir ajralıp turatuǵın ózgesheligi sonda, olar tarmaqtıń hár bir qatlamı boylap parametrlerdi almasadılar. Aldınǵa jóneltirilgen tarmaqlar hár bir túyin boylap túrli salmaqlarǵa iye bolsa -de, qayta neyron tarmaqlar tarmaqtıń hár bir qatlamında birdey salmaqlıq parametrin bolıwadı. Yaǵnıy, bul salmaqlar ele da úyreniwdi kúsheytiw ushın keyin basıp tarqalıw hám gradient túsiw processlerinde sazlanadı. Qayta neyron tarmaqlar gradientlarni anıqlaw ushın waqıt boyınsha keyin basıp tarqalıw (BPTT) algoritmınan paydalanadı, bul maǵlıwmatlar izbe-izligine tán bolǵanlıǵı sebepli dástúriy keyin basıp tarqalıwdan bir az parıq etedi.BPTT principleri dástúriy keyin basıp tarqalıw menen birdey bolıp, bul erda model shıǵıw qatlamınan kirisiw qatlamına shekem bolǵan qátelerdi esaplaw arqalı ózin ózi uyretedi. Bul esap -kitaplar bizge model parametrlerin uyqas túrde maslastırıw hám maslastırıw imkaniyatın beredi. BPTT dástúriy jantasıwdan parıq etedi, sebebi BPTT hár bir basqıshda qátelerdi yig'adi, hám aldınǵa uzatıw tarmaqları qátelerdi jıynawǵa hájet joq, sebebi olar hár bir qatlam boylap parametrlerdi
bóliw kórmeydi.
Rekurrent tarlar haqqında qosımsha maǵlıwmatlar berip atırǵan bolsaq, olar menen baylanıslı túrli
qosımsha qavramlardan bir neshe mısallar keltiriwim múmkin:
• Túsip qaliwshi (Dropout): Rekurrent tarmaqlarda qosımsha tabıslar isletiliwi múmkin, mısalı, qarıştiruvchi. Bul, bir neshe rekurrent tarmaqtıń tabıs salasındaǵı óz-ara baylanıslardı ulıwma bıykarlaw arqalı, overfittingni aldın alıwda járdem beredi. Qarıstiruwshi tarmaqlardıń úyreniw hám generalizatsiya qábiletin asırıwda paydalanıladı.
• Dizimlew (Batch Normalization): QDizimlew, rekurrent tarmaqlarda maǵlıwmatlardı normalizatsiya qılıw usılı bolıp tabıladı. Bul tekseriw, tarmaqlarda sırtqı maǵlıwmatlardı ortasında kóbinese óz-ara baylanıstı kemeytirip, tarmaqtıń úyreniwdi tezlestirishini hám stabilizatsiyalashni támiyinleydi.
• Uzaqlıq Tiykarında Sintez (Sequence-based Generation): Rekurrent tarmaqlarda uzaqlıq tiykarında sintez, berilgen baslanǵısh jaǵdaydan baslap ózgeriwshen kestein generatsiya qılıwda paydalanıladı. Bul, tarmaqtıń aldınǵı basqıshlar menen óz-ara baylanıslın saqlap qalıw imkaniyatın beredi hám maǵlıwmatlardı keleshekte tahminlash ushın isletiledi. Sistemalı Qosımsha Tarmaq (Stacked Recurrent Network): Sistemalı qosımsha tarmaqlar, bir neshe rekurrent tarmaqtıń óz-ara baylanıslı strukturası bolıp tabıladı. Bul struktura, tarmaqlardıń quramalı modelin jaratıwda járdem beredi hám maǵlıwmatlardı kóplegen basqıshlarda analiz qılıwdı múmkinshilik etedi.
• RNN hám CNN Isletiw (Combining RNN and CNN): Rekurrent tarmaqlar hám konvolutsiya neyron tarmaqları (CNN) birgelikte isletiliwi múmkin.

Bul usıl, rekurrent tarmaqlardıń qaytarıw qaytıporasini tısqarına shıǵarıw hám CNN'ning ózine tán sistemaları menen obrazlardı analiz qılıwda paydalanıladı. Bul kombinatsiya, súwret, tekst yamasa dawıstı analiz qılıw hám dúziwde joqarı nátiyjeler alıwda tabıslı boladı.

Rekurrent torlar ekurrent neyron tarmaq (RNN) - bul izbe-iz maǵlıwmatlar yamasa waqıt ceriyasi maǵlıwmatlarınan paydalanatuǵın jasalma neyron tarmaq túri. Bul tereń úyreniw algoritmları ádetde tildi awdarmalaw, tábiyiy tildi qayta islew (nlp), sóylewdi anıqlaw hám suwretke bas bet qoyıw sıyaqlı tártipli yamasa waqtınshalıq máseleler ushın isletiledi; olar Siri, dawıslı qıdırıw hám Google Translate sıyaqlı ataqlı qosımshalarǵa kiritilgen. Aldınǵa hám konvolyutsion neyron tarmaqları (CNN) sıyaqlı,qayta neyron tarmaqlar úyreniw ushın oqıw maǵlıwmatlarınan paydalanadı. Olar ózleriniń " yadı" menen ajralıp turadı, sebebi olar ámeldegi kirisiw hám shıǵıwǵa tásir qılıw ushın aldınǵı kiriwlerden maǵlıwmat aladı. Dástúriy tereń neyron tarmaqları kirisiw hám shıǵıwlar bir-birinen ǵárezsiz dep esaplansa -de, qayta neyron tarmaqlardıń shıǵıwı izbe-izlilikdegi aldınǵı elementlerge baylanıslı.
Keleshektegi waqıyalar málim izbe-izliktiń nátiyjesin anıqlawda paydalı bolsa da bir jónelisli tákirarlanıwshı neyron tarmaqlar ózleriniń boljawlarında bul hádiyselerdi esapqa almaydılar Rekurrent neyron tarmaǵı hám aldınǵa uzatılatuǵın neyron tarmaǵı parqı Rekurrent neyron tarmaqlardı (chapda) hám aldınǵa uzatılatuǵın neyron tarmaqların (ońında ) salıstırıwlaw Qayta tarmaqlardıń taǵı bir ajralıp turatuǵın ózgesheligi sonda, olar tarmaqtıń hár bir qatlamı boylap parametrlerdi almasadılar. Aldınǵa baǵıtlanǵan tarmaqlar hár bir túyin boylap túrli salmaqlarǵa iye bolsa da qayta neyron tarmaqlar tarmaqtıń hár bir qatlamında birdey salmaqlıq parametrin bolıwadı. Yaǵnıy, bul salmaqlar ele da úyreniwdi kúsheytiw ushın keyin basıp tarqalıw hám gradient túsiw processlerinde sazlanadı.Qayta neyron tarmaqlar gradientlarni anıqlaw ushın waqıt boyınsha keyin basıp tarqalıw (BPTT) algoritmınan paydalanadı, bul maǵlıwmatlar izbe-izligine tán bolǵanlıǵı sebepli dástúriy keyin basıp tarqalıwdan bir az parıq etedi. BPTT principleri dástúriy keyin basıp tarqalıw menen birdey bolıp, bul erda model shıǵıw qatlamınan kirisiw qatlamına shekem bolǵan qátelerdi esaplaw arqalı ózin ózi uyretedi. Bul esap -kitaplar bizge model parametrlerin uyqas túrde maslastırıw hám maslastırıw imkaniyatın beredi. BPTT dástúriy jantasıwdan parıq etedi, sebebi BPTT hár bir basqıshda qátelerdi yig'adi, hám aldınǵa uzatıw tarmaqları qátelerdi jıynawǵa hájet joq, sebebi olar hár bir qatlam boylap parametrlerdi bóliw kórmeydi.Rekurrent (qaytarda ) torlar, óz-ara baylanıslı bolǵan qatań mashqalalardi sheshiwde isletiletuǵın neyron tarmaqları modeli túri. Olar, ózlerine baylanıstı ańlatatuǵın janında jol tabıwda paydalanıladı. Rekurrent torlardıń tiykarǵı ózgesheligi, olardıń ózgeriwshileriniń óz yadın óz ishine alıwı hám qaytarda algoritmlar arqalı ózlerine baylanıs jaratılıwması.Tómendegi úlken mashqalalardi sheshiwde rekurrent torlar isletiledi:Ózgeriwshiler Ortasındaǵı Baylanıslar : Rekurrent torlar, ózgeriwshiler arasında óz-ara baylanıslardı rawajlandırıw ushın isletiledi. Bul baylanıslar, tarmaqtaǵı ózgeriwshiler arasındaǵı baylanısıwlardı ańlatadı. Qaytarda Algoritmlar : Rekurrent torlar, hár bir ózgeriwshin jańalawda (qaytarda algoritmlar arqalı ) paydalanıladı. Bul qaytarda algoritmlar, tarmaqtıń ózgeriwshilerin ózlerine baylanıs jaratıwda isleydi. Yad Dúzilisi: Rekurrent torlar óz yadı arqalı ózgeriwshilerdi óz ishine aladı. Bul, tarmaqtaǵı sońǵı jaǵdaydı eslep qalıw ushın zárúrli bolıp tabıladı. Qosımsha Ayrıqshalıqlar : Rekurrent torlar, ózgeriwshiler arasındaǵı baylanıslar hám yadtı jańalaw ushın qosımsha ayrıqshalıqlar menen támiyinlengen.
Rekurrent torlar, qaytarda algoritmlar arqalı tarmaqtı úyreniw hám maǵlıwmatlardı eskertiwde, sonıń menen birge, tekseriw hám qısqa múddetli yad talap etpeytuǵın mashqalalardi sheshiwde isletiledi. Olar, sezg'irlikni hám avtomatlashtiriwdi asırıw, sınap kóriw hám tilsimlerdi anıqlaw, tilde sóylesiw sistemaların dúziw sıyaqlı kóplegen tarawlarda paydalanıladı.