Dasturiy injiniring

O‘ZBEKISTON RESPUBLIKASI
‎OLIY TA’LIM, FAN VA INNOVATSIYALAR VAZIRLIGI
‎‎SHAROF RASHIDOV NOMIDAGI SAMARQAND DAVLAT UNIVERSITETI
INTELLEKTUAL TIZIMLAR VA DASTURLASH TEXNOLOGIYALARI FAKULTETI

“DASTURIY INJINIRING” KAFEDRASI

Homidova Mahliyo Husniddin qizi


Taqsimlangan ustunli indekslardan foydalaniladigan katta ma’lumot bazalarini parallel ishlov berish usullari


70610101 – “KOMPYUTER ILMLARI VA DASTURLASH TEXNOLOGIYALARI” MUTAXASSISLIGI

DISSERTATSIYA ISH ANNOTATSIYASI
Ilmiy rahbar­­­_________PhD, dotsent O.R.Yusupov
202__y “_____”____________
Samarqand 2023

KIRISH

Tadqiqotning dolzarbligi. Hozirgi vaqtda maʼlumotlarga ishlov berish texnologiyalari sohasiga sezilarli taʼsir koʻrsatadigan hodisalardan biri bu juda katta maʼlumotlar toʻplamidir. Ushbu maʼlumotlarga real vaqtda ishlov berish bugungi kundagi dolzarb amaliy masalalardan iborat. Ushbu ishning maqsadi koʻp yadroli prosessorlar bilan jihozlangan kompyuterlarda relyatsion maʼlumotlar bazasi bilan bilan integratsiyalashuvga imkon beruvchi klasterli hisoblash tizimlariga yoʻnaltirilgan maʼlumotlarning ustunli tasviridan foydalangan holda katta maʼlumotlar bazalarini parallel ishlov berishning samarali usullarini tadqiq va etish va foydalanish boʻyicha tavsiyalar berishdan iborat.
Katta ma’lumotlarga qo‘shimcha ravishda, Big Data ni turli sohalarda amalga oshirishga to‘sqinlik qiluvchi asosiy omillardan biri bu qayta ishlanadigan ma’lumotni tanlash muammosi, ya’ni qaysi ma’lumotni olish, saqlash va tahlil qilish kerakligini aniqlash va bu hisobga olinmasligi kerak. Yana bir katta ma’lumotlar muammosi axloqiy masaladir. Boshqacha qilib aytganda, mantiqiy savol tug‘iladi: bunday ma’lumotlarni yig‘ish (ayniqsa foydalanuvchini bilmasdan) shaxsiy hayotning chegaralarini buzish deb hisoblash mumkinmi? Google va Yandex qidiruv tizimlarida saqlanadigan ma’lumotlar IT gigantlarga doimiy ravishda o‘z xizmatlarini takomillashtirish, foydalanuvchilarga qulay va yangi interfaol dasturlarni yaratishga imkon beradi. Buning uchun qidiruv tizimlari internetda foydalanuvchi faoliyati to‘g‘risidagi ma’lumotlar, IP manzillari, joylashuv ma’lumotlari, qiziqishlar va onlayn xaridlar, shaxsiy ma’lumotlar, pochta xabarlari va hokazolarni to‘playdi. Bularning barchasi Internetda foydalanuvchi harakatlariga qarab kontekstual reklama namoyish qilish imkonini beradi. Bunday holda, odatda foydalanuvchilarning roziligi so‘ralmaydi va o‘zingiz haqingizda qanday ma’lumotlarni taqdim etishni tanlash imkoniyati berilmaydi. Big Data keyinchalik sayt ma’lumot serverlarida saqlanadigan barcha narsalarni to‘playdi.
Hozirgi vaqtda ma’lumotlar oqimining oshib borishi va qayta ishlanadigan ma’lumotlar koiami ko‘payishi bu ma’lumotlarni noodatiy holda saqlash hamda qayta ishlashni taqozo qilib bormoqda. Bundan kelib chiqib katta hajmdagi ma’lumotlarni qayta ishlashga moijallangan axborot tizimlaridagi ma’lumotlarni Big Data sifatida qarash hamda Big Data algoritmlari asosida qayta ishlash bir qancha samaradorliklarga olib keladi. Ijtimoiy-iqtisodiy jarayonlarni avtomatlashtirilgan holda boshqarishni tashkil qilish, avtomatlashtirilgan tizimlar tarkibidagi ma’lumotlarni Big Data sifatida qayta ishlash algoritmlarini ishlab chiqish hamda Big Data sinfidagi ma’lumotlar ishonchliligini ta’minlash asosiy vazifalardan biri hisoblanadi. Mazkur tadqiqot ishida katta hajmdagi (Big Data) ma’lumotlarning xarakteristikalari va katta hajmdagi ma’lumotlarning o’rganilganlik darajasi tizimli tahlil qilingan. Katta hajmdagi ma’lumotlarda uchraydigan muammolar va bu muammolami hal etishning yondashuvlari batafsil keltirilgan. Bundan kelib chiqib katta hajmdagi ma’lumotlarni qayta ishlash toiiq o’rganilmagan va katta hajmdagi ma’lumotlarni qayta ishlash model va algoritmlarini ishlab chiqish hamda amaliyotga qo'llash dolzarb tadqiqot vazifalarini belgilab beradi.