Muxammad al-xorazmiy nomidagi

Ko’p o’zgaruvchili chiziqli regressiya uchun
kichik kvadratlar usuli

Chiziqlimas regressiya bo’lgan xollarda regression model qurish asosi bo’lib eng kichik kvadratlar usuli hisoblanadi. Biroq bu xolda parametrlar bahosini qidirishda (parametrlarga nisbatan) chiziqlimas tenglamalar sistemasi quriladi, uni yechish uchun turli iterasiya usullari qo’llaniladi.

Kichik kvadratlar usuli. Masala
y_i = ax_i+b
chiziqli bog’liqlikning koyeffisiyentlarini topishdan iborat, bunda a va b o’zgaruvchilarning funksiyasi eng kichik qiymat qabul qiladi:

Ya’ni a va b ning qiymatlarida tajriba natijalari asosida topilgan chiziqdan chetlanishlari kvadratlarining yig’indisi eng kichik bo’ladi. Eng kichik kvadratlar usuli shundan iborat.
Shunday qilib masalaning yechimi ikki o’zgaruvchili funksiyaning ekstremumini topishga keltiriladi.
Misol. X va Y uzgaruvchilarning tajriba natijasida olgan qiymatlari quyidagi 6.5-jadvalda keltirilgan.

6.5-jadval.

	0	1	2	3	5
	2,1	2,4	2,6	2,8	3,0

Ularni tenglashtirib quyidagi funksiyaga ega bo’lamiz
.
Eng kichik kvadratlar usulini qo’llab bu qiymatlarga yaqinlashuvchi y=ax+b chiziqli bog’lanish uchun a va b parametrlarni toping.
Funtsiyadan a va b parametrlar bo’yicha xususiy hosila olamiz
.

Hosil bo’lgan ikki noma’lumli ikkita tenglamalar sistemasini yechamiz.

Topilgan a va b qiymatlarda funksiya eng kichik qiymatga erishadi (6.6 - jadval).
6.6-jadval.

i	1	2	3	4	5
	0	1	2	3	5	11
	2,1	2,4	2,6	2,8	3,0	12,9
	0	2,4	5,2	8,4	15,0	31,0
	0	1	4	9	25	39

a va b qiymatlarini qo’yib, yaqinlanish chiziqqa ega bo’lamiz.
Masala. Firma maxsulotlarni shahar ichidagi yaqin masofalarga tarqatadi. Bunday xizmatlarni tashish vaqtga bog’liq holda baholanadi. Tashish vaqtiga eng ko’p ta’sir qiladigan omil sifatida o’tilgan masofa belgilangan.
6.7 - jadval.

i		1	2	3	4	5	6	7	8	9	10
X	Masofa - km.	3,5	2,4	4,9	4,2	3,0	1,3	1,0	3,0	1,5	4,1
Y	Vaqt - minut	16	13	19	18	12	11	8	14	9	16

.

Qidirilayotgan regression bog’liklik quyidagicha bo’ladi.

Regressiya chizig’ining qiyaligi 2,66 min/km, bu 1 km masofaga ketadigan vaqt. To’g’ri chiziqning Y o’qi bilan kesishgan nuqtasi 5,913 minut - bu o’tilgan masofaga bog’liq bo’lmagan vaqt.
6.8.- jadval.

№	Regressiya natijasi		Kirish signallari	Funksiya qiymati (Chiqish signallari)	Tajriba natijasi	Adekvatlik
	a	b	xi	yi
1	2,66	5,913	3,5	15,223	16	4,85625
2	2,66	5,913	2,4	12,297	13	5,407692
3	2,66	5,913	4,9	18,947	19	0,278947
4	2,66	5,913	4,2	17,085	18	5,083333
5	2,66	5,913	3	13,893	12	15,775
6	2,66	5,913	1,3	9,371	11	14,80909
JAMI				86,816	89	46,21031
O’rtacha qiymat				17,3632	17,8	8,736

Normal taqsimlangan jarayonlar uchun taxminan 91,2% nuqtalar regressiya chizig’idan standart chetlanish doirasida bo’ldi va bu chetlanish bizni qoniqtiradi.

Tayyor maxsulotlarni ishlab chiqishni kelgusi yil (yoki yillar) uchun rejalashtirish muhim iqtisodiy masalalardan biridir. Bu oldingi yillarda erishilgan natijalar asosida aniqlanadi va mavjud ma’lumotlarga asoslanib matematikaning eng kichik kvadratlar usuli yordamida tayyor maxsulotlarni ishlab chiqishni rejalashtirish masalasiga bag’ishlanadi.
Amaliyotda ko’pincha rejalashtirlayotgan maxsulotlarni ishlab chiqish
(6.3)
ko’rinishdagi bog’liqlik funksiya yordamida qidiriladi. Bu erda -vaqtning dastlabki paytidagi maxsulotlarni ishlab chiqish, - qo’shiladigan o’rtacha maxsulotlarni ishlab chiqish - yil.
(6.3) formuladan ko’rinadiki rejalashtirlayotgan maxsulotlarni ishlab chiqish “X” ning chiziqli funksiyasidan iborat bo’lib, uning grafigi to’g’ri chiziq bo’ladi. Ammo turli faktorlarga ko’ra masalan ob-havo, xolatlar va boshqa sabablarga ko’ra aslida olingan maxsulotlar rejalashtirilgan maxsulotlarni ishlab chiqishdan farq qiladi.
Aslida etishtirilgan va rejalashtirilgan maxsulotlarni ishlab chiqishlar orasidagi farqni analitik ifodasini ko’rinishda yozish mumkin.
Eng kichik kvadratlar usulini mohiyatiga ko’ra va noma’lum parametrlar shunday tanlanishi kerakki, ifoda eng kichik qiymatga ega bo’lsin. va parametrlarni qiymati ushbu sistemani yechimidan aniqlanadi:
(6.4)
(6.5)
Haqiqatan ham ikki o’zgaruvchili funksiyani va lar bo’yicha xususiy hosilalarini nolga tenglash natijasida ya’ni , dan quyidagi
(6.6)
sistema hosil bo’ladi. Bundan esa (6.5) sistema o’rinli ekanligi kelib chiqadi.
Stoxastik gradiyent tushush

" Stoxastik " so’zi tasodifiy ehtimollik bilan bog’liq tizim yoki jarayonni anglatadi. Shunday qilib, stoxastik gradiyent tushishida bir nechta namunalar butun ma’lumotlar to’plamiga emas, balki har bir iterasiya uchun tasodifiy tanlanadi. Gradiyent tushishi "to’plam" atamasiga ega, bu har bir iterasiya uchun gradiyentni hisoblash uchun ishlatiladigan ma’lumotlar to’plamidan olingan namunalarning umumiy sonini bildiradi. Oddiy gradiyent tushish kabi tushishni optimallashtirishda butun ma’lumotlar to’plami to’plam deb hisoblanadi. To’liq ma’lumotlar to’plamidan foydalanish haqiqatan ham kamroq shovqinli va kamroq tasodifiy minimal darajaga erishish uchun foydalidir , ammo ma’lumotlar to’plamimiz kattalashganda muammo paydo bo’ladi. Sizning ma’lumotlar to’plamingizda million namunangiz bor deylik, shuning uchun siz odatda gradiyent tushishni optimallashtirish texnikasidan foydalansangiz, gradiyent tushishni amalga oshirishda bitta takrorlashni bajarish uchun butun million namunadan foydalanishingiz kerak bo’ladi va bu har bir takrorlash uchun bajarilishi kerak minimal darajaga erishiladi. Natijada esa juda qimmatga tushadi.

Ushbu muammo stoxastik gradiyent tushish usuli bilan hal qilinadi. SGD har bir iterasiyani bajarish uchun faqat bitta namunadan foydalanadi, ya’ni bitta to’plamning kattaligi. Namuna tasodifiy aralashtiriladi va takrorlash uchun tanlanadi.
Stoxastik gradiyent tushishda algoritm parametrlarni hisoblash uchun bir yoki bir nechta o’quv misollaridan foydalanadi. Shunday qilib, birma-bir gradiyent tushishidan farqli o’laroq, biz parametrlarning bitta o’zgarishini hisoblashimizdan oldin, barcha gradiyent shartlarining yig’indisini kutish o’rniga (barcha o’quv ma’lumotlari uchun), SGD faqat bitta ma’lumot uchun gradiyent muddatini hisoblab chiqadi va parametrni yaxshilashga o’tishni boshlaydi. . Shunday qilib, SGD-da parametrlarning o’zgarishi ancha tezroq bo’ladi. SGD ga qaraganda kamroq hisoblash kuchiga ega bo’lgani uchun, biz vaznni yangilash uchun barcha mashg’ulotlar to’plamidan o’tmasligimiz kerak, bu juda katta ma’lumotlar to’plamlari bilan ishlash uchun yaxshi tanlovdir.
Algoritmni quyidagicha tavsiflash mumkin:
Men uchun (m) oralig’ida:
$ \ theta_j = \ theta_j - \ alpha (\ hat {y} ^ i -y ^ i) x_j ^ i $
SGD-da, har bir iterasiya uchun ma’lumotlar to’plamidan faqat bittasi tasodifiy tanlanganligi sababli, minimal darajaga erishish uchun algoritm ishlatadigan yo’l odatda tushish algoritmiga qaraganda shovqinli bo’ladi. Ammo bu juda muhim emas, chunki algoritm bosib o’tgan yo’l minimal darajaga etganimizda va o’rganish vaqtlari ancha qisqargani muhim emas. Taqqoslash uchun, gradiyent tushish yo’li bilan bosib o’tgan yo’l:

Gradiyent tushish yo’li bilan o’tgan yo’l

Stoxastik gradiyent tushish yo’li bosib o’tgan yo’l
Shuni ta’kidlash kerakki, SGD odatda gradiyent tushishiga qaraganda shovqinli bo’lganligi sababli, uning tushishidagi tasodifiylik tufayli minimal darajaga erishish uchun odatda ko’proq takrorlash talab etiladi. Minimal darajaga erishish uchun odatiy gradiyent tushishidan ko’ra ko’proq takrorlanishlar talab qilinishiga qaramay, u hali ham gradiyent tushishga qaraganda ancha arzon. Demak, ko’pgina holatlarda SGD o’rganish algoritmini optimallashtirish uchun gradiyent nasldan naslga o’tishni afzal ko’radi.