6-Ma’ruza. Arxitektura va qurilishda katta ma’lumotlar bazasi.(2 soat). Reja

6-Ma’ruza. Arxitektura va qurilishda katta ma’lumotlar bazasi.(2 soat).
Reja:
6.1.Asosiy tushunchalar.
6.2.Ma’lumotlar bazasi turlari va axborot tizimlarining qurilishdagi roli.
6.3. Ma’lumotlarni strukturalash va ma’lumotlarning modellari.
6.4. Ma’lumotlar bazasining asosiy ob’ektlari.
6.5. Ma’lumotlar bazasini tashkil etish usullari.


Kalit so’zlar va tayanch iboralar: ma’lumot, baza, axborot, tizim, axborot tizimi, model, ma’lumotlar modellari, ma’lumotlar bazasi, ma’lumotla banki, katta ma’lumotlar bazasi, ma’lumotlar strukturasi, ma’lumotlar bazasi ob’ektlari, ma’lumotlar bazasining tashkil etuvchilari.


6.1.Asosiy tushunchalar.
Katta ma'lumotlar bazasi - katta ma'lumotlar (inglizcha katta ma'lumotlar, (big data) - bu aniq vazifalar va maqsadlarda foydalanish uchun tuzilgan va tuzilmagan ma'lumotlarni qayta ishlashning turli xil vositalari, yondashuvlari va usullari.
Tuzilmaviy ma'lumotlar - bu oldindan aniqlangan tuzilishga ega bo'lmagan yoki ma'lum bir tartibga solinmagan ma'lumotlar.
"Katta ma'lumotlar" atamasi Nature Clifford Lynch jurnalining muharriri tomonidan 2008 yilda dunyo miqyosidagi axborot hajmining portlovchi o'sishiga bag'ishlangan maxsus sonida kiritilgan. Albatta, katta ma'lumotlarning o'zi oldin ham mavjud edi. Mutaxassislarning fikriga ko'ra, kuniga 100 Gb dan ortiq ma'lu-mot oqimlarining katta qismi katta ma'lumotlar toifasiga tegishli. Agar siz oddiy so'zlar bilan ta'rif berishga harakat qilsangiz, katta ma'lumotlar nima (katta sana yoki tarjimada katta miqdordagi ma'lumotlar), demak, bu axborot oqimining umumiy nomi, texnologiyasi, uni qayta ishlash usullari va tahlil qilish tizimi. U an'anaviy ma'lumotlar bazalari va Business Intelligence echimlariga o'xshash dasturiy vositalar yordamida qayta ishlanadi. Barcha harakatlar tuzilishga va yangi xulosalar olishga qaratilgan.
Katta ma'lumotlarga ko'ra, 2001 yilda Meta Group tomonidan ishlab chiqilgan "Uch V" deb nomlangan an'anaviy tavsiflovchi xususiyatlar mavjud:
1. Volume-hajmi - jismoniy hajmning hajmi.
2. Velocity-tezlik - o'sish tezligi va natijalarni olish uchun ma'lumotlarni tezkor qayta ishlashga bo'lgan ehtiyoj.
3. Variety-turli xillik - har xil turdagi ma'lumotlarni bir vaqtning o'zida qayta ishlash qobiliyati.
Katta ma'lumotlar bazasi tizimining asoslari ulkan axborot maydoni bilan ishlashdan iborat bo'lib, ular quyidagi usullardan foydalangan holda doimiy ravish-da ma'lumotlar bilan to'ldiriladi:
• alohida kichik guruhlarga bo'linish bilan chuqur tahlil qilish. Buning uchun ixtisoslashtirilgan matematik raqamli algoritmlardan foydalaniladi;
• olomon-manbalar soni turli xil manbalardan olingan ma'lumot oqimlarini qabul qilish va qayta ishlashga yuborish qobiliyatiga asoslangan, ularning soni bilan emas, balki hajmi bilan cheklangan;
• split testlar elementlarni boshlang'ich nuqtadan o'zgarishga qadar taqqoslashga asoslangan. Bu eng katta ta'sir ko'rsatadigan omillarni aniqlash uchun zarur. Ya'ni, sinov natijasida eng aniq natija olinadi;
• prognozlash yangi massivlarni kiritishga asoslangan bo'lib, katta massiv kelganidan keyin o'zini tutishini tekshiradi;
• sun'iy intellekt yordamida bilimlarni singdirish va qayta ishlash istiqbollari bilan mashinada o'rganish, ulardan mustaqil o'rganish uchun foydalanish;
• tinglovchilarga qiziqish, joy, jins va yosh va boshqa parametrlar bo'yicha taqsimlash uchun onlayn faoliyatni tahlil qilish.
Bugungi kunda ma’lumot (berilgan)lar muhim hayotiy milliy resurslar sifatida qo’llaniladi. Bu resurslarni shunday tashkil etish lozimki, undan foyda–lanish maksimal qulaylik va foyda keltirsin. Shunday qilib, ma’lumotlardan foydalanish, ya’ni ularni ma’lum bir texnologiya asosida yig’ish, saqlash, qayta ishlash va uzatish muhim muammo hisoblanadi. Bu muammoni echishga harakat qilish, ma’lumotlarni ishlash jarayonidagi yangicha yondashish yangi texnologiyani keltirib chiqardi. Bu texnologiyaning asosini ma’lumotlar bazasi (MB) va banklari (MBn) tashkil etadi. Ma’lumotlar bazasi va banklaridan foydalanish o’zaro bog’langan ma’lumotlar to’plamlariga kirishni, ulardan foydalanish hamda ishlashni avtomatlashtiradi, ma’lumotlarni yangilash, kerak-sizini yo’qotishni avtomatlashtirishni ta’minlaydi.
Axborot ba’zi operasiyalar, jumladan qabul qilish, uzatish, ishlash, saqlash va foydalanish ob’ekti bo’lib xizmat qiladigan istalgan voqea, mazmun, jarayon va hokazolar haqidagi bildirishdir.
Ma’lumotlar deb, ma’lum bir shaklda qayd qilingan, qayta ishlash, saqlash va uzatish uchun yaroqli xabarga aytiladi.
Ma’lumotlar bazasi deb, kompyuter xotirasida saqlanadigan bir–biriga bog’–liq bo’lgan bir predmet sohadagi ma’lumotlarning to’plamidir. Ushbu ta’rifdan quyidagi xulosalar kelib chiqadi.
1. Kompyuter xotirasidagi ma’lumotlar bazasi doimo ishchi holatda bo’lishi shart.
2. Kompyuter xotirasi katta hajmda bo’lishi shart.
3. MB sidagi ma’lumotlarni tezkor qidiruv usullari mavjud bo’lishi kerak.
4. MB si ko’pgina amaliy masalalarda ishlatilishi mumkin.
5. MB sidagi ma’lumotlar doimo mantiqiy, bir–biriga bog’liq bo’lishi kerak.
Ma’lumotlar bazasini normal ishlatish uchun u quyidagi xususiyatlarga ega bo’lishi kerak:
1. MB dagi ma’lumotlarning bir nusxali bo’lishi. Aks holda, xotirada saqlanadigan ma’lumotlar ikki nusxada bo’ladigan bo’lsa, bu qarama–qarshilikka olib keladi.
2. Ma’lumotlarni birgalikda ishlata olish imkoni, ya’ni MB siga ko’p foydala–nuvchilar yoki ko’pgina dasturlar tomonidan murojaat qilish imkoni bo’lishi kerak.
3. MB sini kengaytirish imkoni, ya’ni MB siga yangi ma’lumotlarni kiritish va MB si tarkibiga yangi ob’ektni kiritish imkoni bo’lishi kerak.
4. MB si bilan ishlash qulayligi, ya’ni MB sining tarkibi dasturlovchi va foyda–lanuvchi uchun oddiy, tushunarli shaklda bo’lishi kerak, bu MB si ustida bajari–layotgan amallar oddiy ko’rinishga ega bo’lishi kerak.
5. MB siga effektiv murojaat qilish vaqti qancha kam bo’lsa, MB si bilan ishlash unumdorligi shuncha yuqori bo’ladi.
6. MB sining o’zaro mosligi, ya’ni ma’lumotlarning fizikaviy saqlanganligi va mantiqiy mosligi (ma’lumotlar bir–biriga mantiqiy qarama–qarshi bo’lishi mum–kin emas) hamda ma’lumotlarning aktualligi.
Predmet soha deb, boshqarishni tashkil qilish va uni avtomatlashtirish maq–sadida o’rganilishi lozim bo’lgan ob’ektiv dunyoning bir qismiga aytiladi. MB ni boshqarish uchun ma’lumotlar bazasini boshqarish tizimlari ishlatiladi (MBBT).