O‘zbekiston respublikasi raqamli texnalogiyalarni rivojlantirish vazirligi muhammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti dasturiy

O‘ZBEKISTON RESPUBLIKASI RAQAMLI TEXNALOGIYALARNI RIVOJLANTIRISH VAZIRLIGI
MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI DASTURIY INJINERING FAKULTETI 315-20 GURUH TALABASI ASHUROV SALOXIDDINNING 1-MUSTAQIL ISHI
MA’LUMOTLARNING INTELLEKTUAL TAHLILASH MASALALARI

1. Ma’lumotlarning intellektual tahlili qilish usullari

Bugungi kunda an’anaviy matematik modellashtirish usullari imkoniyatlarining cheklanganligi tufayli sust shakllangan masalalarni yechishda ma’lumotlarni intellektual tahlil qilish usullari va texnologiyalaridan foydalaniladi. Ularning asosida sun’iy tafakkur usullari va ayniqsa yumshoq hisoblashlar usullari hamda ushbu nazariy-uslubiy asosda vujudga kelayotgan intellektual hisoblash texnologiyalari yo’nalishi yotadi. Intellektual hisoblash texnologiyalari to’liq bo’lmagan hamda sifat ko’rinishda berilgan boshlang’ich ma’lumotlarda o’qitish yo’li yechimlarni amaliyot uchun maqbul bo’lgan aniqlikda olishga imkon beradi.
Noravshan mantiqning afzalligi obyektning tarkibiy tuzilishi to’g’risidagi lingvistik fikrlar ko’rinishidagi ekspert bilimlardan foydalanish imkoniyatining mavjudligi hisoblanadi. Biroq noravshan mantiq apparati o’qitish mexanizmiga ega emas. Sof holdagi noravshan mantiqni har doim ham intellektual tizimlar uchun qo’llab bo’lmaydi. Xususan, loyihalovchi tizim to’g’risida yetarli darajadagi aprior ma’lumotlarga (bilimlarga) ega bo’lmagan hollarda noravshan qoidalarning maqbul bazasini qurish mumkin emas. Tizimning murakkablik darajasi o’sib borishi bilan tizim xususiyatlarini mos holda bayon qilish uchun qoidalar va tegishlilik funksiyalarining to’g’ri to’plamini aniqlash bilan bog’liq bo’lgan qiyinchiliklar vujudga keladi. Noravshan tizimlar tajriba natijalari bo’yicha qo’shimcha bilimlarni olish va tizimning faoliyat ko’rsatish sifatini yaxshilash uchun noravshan qoidalarni to’g’rilash bo’yicha kamchiliklarga ega [2].
Sanab o’tilgan kamchiliklarning bir qanchasi yumshoq hisoblashlarning boshqa asosiy komponenti bo’lgan neyron to’rlarida mavjud emas. Ushbu to’rlarning eng muhim belgisi bo’lib ularning moslashuvchan tabiatga egaligi hisoblanadi. Bunda “namuna bo’yicha o’qitish” an’anaviy “dasturlashning” o’rnini egallaydi.
Neyron to’rlari parametrlarini bayon qilishda noravshan to’plamli yondashuvdan foydalanish Soft Computing – texnologiyalarining ko’rsatib o’tilgan ikki komponentlarining afzallik tomonlarini birlashtiruvchi neyronoravshan deb ataluvchi tizimlarni qurishga imkon beradi. Bu o’z navbatida sinflashtirish, baholash, bashorat qilish va qaror qabul qilish masalalarining noravshan modellarini qurishning yanada samaraliroq bo’lgan axborot texnologiyalari vositalarini (algoritmlar va dasturlar) ishlab chiqish uchun asoslar yaratadi [2].
Noravshan mantiqni neyron to’rlari va evolyusion algoritmlar bilan birlashtirish butunlay yangi sifatni beradi. Bunday birlashtirish natijasida olinadigan gibrid tizimlar tabiiy tildagi bilimlardan foydalanishdek intellektual xususiyatlarga ega bo’ladi. Bunda qoidalar bazasi noravshan modelning talab qilingan aniqligiga erishish (noravshan modelning parametrlari aniqlanganidan keyin) zaruratini yuzaga keltiradi. Shu bilan bir vaqtda hisoblashlar qiymatini kamaytirish va modelni yanada “shaffofroq” (intuitiv ravishda tushunarli) qilish uchun bazada mavjud bo’lgan qoidalar soni iloji boricha kamroq bo’lishi talab etiladi. Bundan tashqari bir nechta kirishlarga ega bo’lgan modeldagi qoidalar sonini qisqartirish uning parametrlarini sozlash uchun dastlabki talab hisoblanadi.
Shuning uchun ma’lumotlarni intellektual tahlil qilish, ya’ni sinflashtirish, baholash va bashorat qilish masalalarining noravshan qoida xulosalari, neyron to’rlar va evolyusion algoritmlarga asoslangan noravshan modellarini qurish algoritmlari va dasturlarini ishlab chiqish dolzarb masala hisoblanadi. Shu sababli ma’lumotlarni intellektual tahlillash, ya’ni sinflashtirish, baholash va bashoratlash masalalarining noravshan modelini noravshan klasterizasiya usuli yordamida qurish, model parametrlarini neyron to’rlar va evolyusion algoritmlar asosida sozlash va model qurish jarayonida shakllangan noravshan ko’pmezonli optimallashtirish masalasini yechish usul hamda algoritmlarini ishlab chiqish zarurdir [3].
Ma’lumotlarning intellektual tahlili (Data Minig) qilish termini odatda ikki xil ma’noni bildiradi: katta hajmdagi ma’lumotlar bazasi (MB)dan kerakli ma’lumotlarni qidirib topish hamda tog’ jinslarini qazib olish. Bu ikki jarayon ham katta hajmdagi ishlov berilmagan materialni elakdan o’tkazish yoki zarur bo’lgan qimmatli ma’lumotlarni mazmunan tadqiq qilish va izlab topish demakdir.
Ma’lumotlarning intellektual tahlili qilish termini ba’zan ma’lumotlarni qazib chiqarish, ma’lumotlarni tortib chiqarish, ma’lumotlarni kovlab olish, ma’lumotlarni intellektual tahlili, qonuniyatlarni topish muhiti, bilimlarni kengaytirish, shablonlarni tahlil qilish, MBdan bilimlarni kovlab olish, ma’lumotlarga informasion o’tish va h.k. kabi tarjima qilish mumkin. MBdan bilimlarni aniqlash (Knowledge Discovery in Databases, KDD) tushunchasini DM bilan sinonim deb ham hisoblash mumkin.
Ma’lumotlarning intellektual tahlili qilish tushunchasi 1978 yillarda vujudga kela boshladi va 1990 yillarning birinchi yarim yillarida zamonaviy talqinda yuqori ommaboplikka erishildi. Bu vaqtlarda ma’lumotlarni qayta ishlash va tahlil qilish amaliy statistikaning tarkibida bo’lgan, shuning uchun qayta ishlash masalalari asosan katta bo’lmagan ma’lumotlar bazalarida olib borilgan edi.
Ma’lumotlarning intellektual tahlili qilish baza ustida amaliy statistika, timsollarni aniqlash, sun’iy intellekt, MB nazariyasi va boshqa shunday fanlar singari vujudga keladigan va rivojlanib boradigan multidisiplinar muhitdir.
Statistika – ma’lumotlarni yig’ish usullari haqidagi fan bo’lib, o’ziga xos o’rganilayotgan holatlar qonuniyatlarini chiqarish uchun ma’lumotlarni qayta ishlaydi va tahlil qiladi.[4]
Statistika rejalashtirilgan eksperiment, ma’lumotlarni yig’ish, ularni taqdim etish va umumlashtirish metodlari yig’indisidan iborat bo’ladi hamda bu ma’lumotlar asosida natijalar oladi va tahlil qiladi.
Statistika kuzatishlar asosidagi eksperementlar natijasida olingan ma’lumotlardan foydalanadi.
Mashinali o’qitish tushunchasi.Bugungi kunda mashinali o’qitishning yagona aniqligi mavjud emas.
Mashinali o’qitishni dastur yordamida olinadigan yangi bilimlar jarayoni deb tavsiflash mumkin. Mitchell 1996 yilda quyidagicha ta’rif bergan: “mashinali o’qitish bu – ish vaqtida avtomatik rivojlanib boradigan kompyuter algoritmlarini o’rganadigan fandir”.
Mashinali o’qitish algoritmining ommabop misollaridan biri neyron tarmoqlaridir.
Sun’iy intellekt tushunchasi. Odatiy intellektual hisoblanadigan inson faoliyati ko’rinishlarini apparatli yoki dasturli modellashtirish masalalarining qo’yilishi va yechilishi haqidagi ilmiy yo’nalishdir.
Termin intellekt (intelligence) latinchadan kelib chiqib, aql, idrok, ong, insonning fikrlash qobiliyati degan ma’nolarni anglatadi.
Shunga ko’ra sun’iy intellektni (AI, Artificial Intelligence) inson intellektining alohida bir funksiyasini o’ziga oladigan avtomatlashgan sistemalarning xususiyati deb qarash mumkin. Sun’iy intellekt odatiy hisoblanadigan inson imtiyozlarining ijodiy funksiyalarini bajaradigan intellektual sistemalar xususiyatlari deb ataladi.[4]
Har bir yo’nalish o’zining xususiyatlariga ega bo’lib DM (Data Minig)ni shakllantirishga xizmat qiladi. Ularning ba’zilarini taqqoslanishini keltiramiz:
Statistika, mashinali o’qitish va DM (Data Minig)ni taqqoslash
Statistika
DM (Data Minig)ga nisbatan nazariyaga ko’proq asoslanadi.
Gipoteza tekshiruvini ko’proq yig’adi
Mashinali o’qitish
Evristikaga moyilroq
O’qitish agentligi ishlarini yuksalishini markazlashtiradi
DM (Data Minig)
Nazariya va evristikani integrasiya qiladi
Ma’lumotlarni tozalash, o’qitish, natijalarni integrasiya va vizualizasiya qilish vazifalarini ishlatib ma’lumotlar tahlilini yagona jarayonga yig’adi.
DM (Data Minig) tushunchasi MB texnologiyasi va ma’lumotlar haqidagi tushunchalar bilan chambarchas bog’lanadi
Ma’lumotlar bazasi texnologiyasining rivojlanishi. 1960-yillarda. 1968 yilda IBM firmasining birinchi sanoatlashgan MBBT - IMS tizimi ishlab chiqilgan.
1970 yillarda. 1975 yilda hanuzgacha ma’lumotlarning tarmoqli modeli uchun asos solinadigan MB tizimi nazariyasi fundamental tushunchalari qatorini aniqlanadigan assosiyasiyaning birinchi standarti ma’lumotlarni qayta ishlovchi tizimli til - Conference on Data System Languages (CODASYL) vujudga keldi. relyasion ma’lumotlar modelini yaratuvchisi amerikalik matematik olim E.F.Koddning ishi keyinchalik MB nazariyasi rivojlanishiga katta imkoniyatlar ochib berdi. [5]
1980 yillarda. O’sha davrlarda ko’pgina tadqiqotchilar MBni strukturalash va unga murojaat etishni ta’minlash yo’nalishlarida yangi usullar bilan tajribalar o’tkazdilar. Bu izlanishlardan maqsad ma’lumotlarni yanada oddiyroq modellashtirish uchun relyasion timsollarni (prototip) olish bo’lgan. Natijada 1985 yili SQL deb nomlanadigan til yaratildi. Hozirgi kunda amaliyotda hamma MBBTni shu interfeys ta’minlaydi.
1990 yillarda. Ma’lumotlarning maxsus turlari vujudga kela boshladi, ya’ni "grafikli tasvir", "hujjat", "ovoz", "karta" va shu kabilar. SQL tiliga vaqt, vaqt oralig’i, ikki baytli simvolli qatorlar uchun ma’lumotlar tiplari qo’shildi. Data Mining texnologiyasi, ma’lumotlarni saqlash ombori, multimediali MB va web-ma’lumotlar bazalari vujudga keldi.
Data Miningning vujudga kelishi va rivojlanishi shartli ravishda quyidagi turli asosiy faktorlarga asoslanadi:
Apparat va dasturiy ta’minotni takomillashtirish;
Ma’lumotlarni saqlash va yozish texnologiyasini takomillashtirish;
O’tmishga asoslangan katta hajmdagi ma’lumotlarni to’plash;
Informasiyalarni qayta ishlash algoritmlarini takomillashtirish.
DM (Data Minig) tushunchasi.
DM (Data Minig) bu – ma’lumotlardan yashirin qonuniyatlarni (axborotlar shablonlarini) qidirib topishga asoslangan qaror qabul qilishni qo’llab-quvvatlovchi jarayonidir.
DM (Data Minig) texnologiyasi yo’nalishini yetarlicha aniq yoritib bergan aoschilaridan biri Grigoriy Piateskiy-Shapiro shunday fikr bildirgan:
DM (Data Minig) bu – inson faoliyatining turli xil sohalarida qaror qabul qilish uchun zaruriy, avvaldan noma’lum bo’lgan, amaliy foydali, ishlov berilmagan ma’lumotlarni oshkor etish jarayonidir.
Bu texnologiyaning mohiyati va maqsadini quyidagicha tavsiflash mumkin: bu texnologiya katta hajmdagi ma’lumotlardan ravshan bo’lmagan, obyektiv va amaliy foydali qonuniyatlarni izlab topishga uchun mo’ljallangan.[5]
Ravshan bo’lmaslik – topilgan qonuniyat axborotni qayta ishlashning standart metodlari yoki ekspert yo’llar bilan aniqlanmaydi.
Obyektiv – aniqlangan qonuniyatlar haqiqatga to’liq mos keladi, ekspertli mulohazalardan farqi uning hamma vaqt subyektiv bo’lishidadir.
Amaliy foydali – amaliy qo’llanilishlarni topilganda, natijalar aniq qiymatlarga ega bo’ladi.
Bilimlar – tavsiflanadigan savollar, fan sohalari, muammolar va h.k. haqida ba’zi bilimlilik darajasiga mos keladigan yaxlit tavsifni yuzaga keltiradigan ma’lumotlar yig’indisidir.
Bilimlardan foydalanish (Knowledge deployment) (mas. bozor uchun konkurensiya kurashida) aniq afzalliklarga erishish uchun topilgan bilimlarni amaliy qo’llanilishi tushuniladi.
DM (Data Minig) tushunchasini yana bir nechta ta’riflarini keltiramiz:
DM (Data Minig) bu – tushunarsiz va tizimlashmagan axborotlarni ma’lumotlar to’plamidan ajratib olish va undan foydalanish uchun yaroqli holda taqdim etish jarayonidir.
DM (Data Minig) jarayoni biznes sohasida afzalliklarga erishish maqsadida (SAS institute ta’rifi) noaniqliklarni muayyan strukturalarga keltirilgunicha aniqlik kiritish uchun katta hajmdagi ma’lumotlar ustida ajratib olish, tadqiq qilish va modellashtirish ishlarini bajarish jarayonidir.
DM (Data Minig) bu – timsollarni aniqlash bilan birgalikda statistik va matematik usullarni qo’llash uslublaridan foydalanib katta hajmda saqlangan ma’lumotlarni elakdan o’tkazish natijasida yangi ahamiyatga ega bo’lgan korrelyasiya, timsollar va tendensiyani aniqlash maqsad qilib olingan. (Gartner Group ta’rifi).
DM (Data Minig) texnologiyasi asosida - tanlab olinadigan ma’lumotlarga xos qonuniyatlarni namoyish etadigan yoki insonga tushunadigan qilib formaga chqaradigan shablonlar konsepsiyasi yotadi.
“Mining” ingliz tilida “foydali qazilmalarni qazib olish” ma’nosini beradi, katta hajmdagi ma’lumotlardan qidiruv qonuniyatlari esa aynan shu jarayonga o’xshashdir.[6]
Qidiruv qonuniyatlarining maqsadi – izlanayotgan jarayonlarni akslantirish ko’rinishida tasvirlanadigan ma’lumotlarni keltirishdir.
Prognozlash modellarini qurish ham qidiruv qonuniyatlari maqsadlaridan kelib chiqadi.