Mustaqil ish mavzu:“ Katta hajimdagi ma’lumotlarni qayta ishlash texnologiyalari

Muhammad Al-Xorazmiy Nomidagi Toshkent
Axborot Texnologiyalari Universiteti
Axborot Kommunikatsiyon Texnologiyalari

• 
  Ma’lumotlar Bazasi Fanidan Tayyorlagan
  

MUSTAQIL ISH

Mavzu:“ Katta hajimdagi ma’lumotlarni qayta ishlash texnologiyalari”

Toshkent – 2021 yil

Katta hajimdagi ma’lumotlarni qayta ishlash texnologiyalari


Reja:

1. 
   Ma’lumotlar bazalari va ularni ishlab chiqish modellari.
   
2. 
   Ma’lumotlar bazasini boshqarish tizimining asosiy vazifalari va xususiyatlari
   
3. 
   Katta ma’lumotlarni qayta ishlash texnologiyalari(Big Data)
   

Inson faoliyatining turli sohalarida katta hajmdagi ma’lumotlarni qayta ishlash va saqlash kompyuterlarni qo‘llashning muhim yo‘nalishlaridan: iqtisodiyot, bank, savdo, transport, tibbiyot, fan va hokazolardan biridir. Mavjud zamonaviy axborot tizimlari juda katta hajmdagi saqlanadigan va qayta ishlanadigan ma’lumotlar, murakkab tashkil etilishi, ko‘plab foydalanuvchilarning turli talablarini qondirish zarurati bilan ajralib turadi. Axborot tizimi –bu ma’lumotlarni yig‘ishni,qayta ishlashni va manipulyatsiyasini avtomatlashtirilgan holda amalga oshiradigan va ma’lumotlarni qayta ishlashning texnik vositalarini, dasturiy ta’minot va xizmat ko‘rsatuvchi xodimlarni o‘z ichiga olgan tizimdir.Har qanday axborot tizimining maqsadi–dunyodagi real obyektlar haqidagi ma’lumotlarni qayta ishlash hisoblanadi. Axborot tizimining asosini ma’lumotlar bazasi tashkil etadi. Ma’lumotlar bazasi keng ma’noda –bu har qanday predmet sohasidagi dunyoning aniq obyektlar haqidagi ma’lumotlar to‘plamidir. Ma’lumotlar bazasini yaratish orqali foydalanuvchi turli xil xususiyatlarga ko‘ra ma’lumotni tartibga solishga intiladi va tezlik bilan kerakli xususiyatlarning kombinatsiyasi tanlovini amalga oshiradi. Bunda ma’lumotlar modelini to‘g‘ri tanlash juda muhimdir. Ma’lumotlar modeli –bu dunyoni idrok etishning asosiy toifalarini, uning obyektlari, bog‘lanishlari, xususiyatlari, shuningdek, ularning o‘zaro ta’sirlari bilan ifodalanishining tasviridir.Ma’lumotlar bazasi (MB) ko‘rib chiqilayotgan sohadagi obyektlar holati va ularning o‘zaro munosabatlarini aks ettiruvchi ma’lumotlar to‘plamidir. Ma’lumotlar bazasidagi ma’lumotlar tartibli ravishda saqlanadi. Shunday qilib, daftarchada barcha yozuvlar alifbo tartibida, kutubxona katalogida esa alifbobo‘yicha (alifbo katalogi) yoki sohaga (mavzu katalogi) muvofiq tartiblangan.Ma’lumotlar bazasini yaratishga, unda saqlanadigan ma’lumot-larni yangilashga, ko‘rish va izlashga va unga qulay kirish imkoniyatini yaratishga imkon beradigan dasturlar tizimi ma’lumotlar bazasini boshqarish tizimi deb ataladi. Zamonaviy ma’lumotlar bazalariga va binobarin, (MBBT) ga quyidagi asosiy talablar qo‘yiladi:
1. Yuqori harakatchanlik (so‘rovga qisqa javob vaqti).Javob vaqti -ma’lumotlar bazasiga so‘rov yuborilgan paytdan boshlab ma’lumotlarni qabul qilinishigacha bo‘lgan vaqt oralig‘i. Shunga o‘xshash yana bir atama bu -“Kirish Vaqti”hisoblanadi. Kirish vaqti -buyrug‘berilishi va ma’lumotlarni qabul qilish o‘rtasidagi vaqt oralig‘i. Kirish deganda ma’lumotlarni qidirish, o‘qish yoki yozish operatsiyasi tushuniladi. Ma’lumotlarni yozish, o‘chirish va o‘zgartirish operatsiyalari ko‘pincha yangilanish operatsiyasi deb nomlanadi.
2. Ma’lumotlar yangilanishining osonligi.
3. Ma’lumotlarning mustaqil bo‘lishi.
4. Ko‘p foydalanuvchilar o‘rtasidagi ma’lumot almashinuvi.
5. Ma’lumotlar xavfsizligi -ma’lumotlar sirini qasddan yoki bilmasdan turib buzishdan, yo‘q qilishdan himoya qilish.
6. Ma’lumotlar bazalarini qurish va ishlashini standartlashtirish (MBBT).
7. Tegishli mavzu sohasidagi ma’lumotlarni ko‘rsatishning yetarliligi.
8. Foydalanuvchi uchun do‘stona interfeys.

Bir-biriga qarama-qarshi bo‘lgan dastlabki ikki talab eng muhimlardan hisoblanadi: Yuqori harakatchanlikma’lumotlar bazasi tuzilishini soddalashtirishni talab qiladi. Bu esa o‘z navbatida ma’lumotlarni yangilash tartibini murakkablashtiradi va ularning ortiqcha hajmini oshiradi.Ma’lumotlarning mustaqil bo‘lishi -foydalanuvchi qarashlarini o‘zgartirmasdan ma’lumotlar bazasining mantiqiy va fizik tuzilishini o‘zgartirish qobiliyati. Ma’lumotlarning mustaqilligi ma’lumotlarni saqlash, dasturiy ta’minot va apparat vositalarining xususiyatlariga qarab o‘zgar-maslikni anglatadi. Ma’lumotlarga kirish strategiyasini va asl ma’lumotlarning tuzilishini o‘zgartirganda, MB tarkibida minimal o‘zgarishlarni ta’minlaydi. Bunga loyihalashtirish davrida barcha o‘zgarishlarni konseptual va mantiqiy bosqichlariga minimal o‘zgartirishlar bilan “siljitish”orqali erishiladi. Ma’lumotlar xavfsizligi yaxlitlik va himoyaviylikni o‘z ichiga oladi.Ma’lumotlarning yaxlitligi -saqlanadigan ma’lumotlarning texnik nosozliklar, tizim xatolari va foydalanuvchilarning noto‘g‘ri xatti-harakatlari bilan bog‘liq bo‘lgan faoliyatiga qarshi chidamliligi.O‘z navbatida u:

1. noto‘g‘ri kiritilgan ma’lumotlar yoki bir xil ma’lumot bo‘yicha ikkita bir xil yozuvlarning yo‘qligini;
2. ma’lumotlar bazasini yangilashda xatolardan himoya qilishni;
3. turli jadvallarning tegishli ma’lumotlarini o‘chirib bo‘lmasligini;
4. ko‘p foydalanuvchi rejimida va ma’lumotlar bazalarida ishlashda ma’lumotlarning buzilmasligini;
5. uskunalar ishlamay qolganda ma’lumotlar xavfsizligini (ma’lumotlarni qayta tiklash) nazarda tutadi.
Butunlik butunlikni ta’minlovchi vositalar –trigger bilan ta’minlanadi –ma’lum sharoitlarda ishlaydigan maxsus dastur-ilovalar. Ma’lumotlarni ruxsatsiz kirishdan himoya qilish, ma’lumot-larga kirishni cheklashni o‘z ichiga oladi va ularga quyidagicha erishiladi:
1. parol tizimini joriy etish;
2. ma’lumotlar bazasi ma’muridan (admin) ruxsat olish (MBM);
3. ma’lumotlarga kirish uchun BA tomonidan taqiq;
4. Jadvalturlarinishakllantirish
So‘nggi uchta jarayon StructuredQuery Language –SQLda osonlik bilan amalga oshirilib, ko‘pincha SQL2 deb ham nomlanadi.Standartlashtirish MBBT avlodlarining uzluksizligini ta’minlab, bir avlod MBlarning boshqa ma’lumotlar modellari bilan o‘zaro faoliyatini soddalashtiradi. Standartlashtirish (ANSI / SPARC) ko‘p jihatdan MBBT foydalanuvchi interfeysi va SQL tili nuqtai nazaridan amalga oshiriladi. Bu SQL tili va Open Data Base Connection (ODBC) ilovasi yordamida ham turli relyatsion MBBTlarning o‘zaro ta’sirini muvaffaqiyatli hal qilishga imkon beradi. Bunday holda, ma’lumotlarga lokal va masofaviy kirish amalga oshirilishi mumkin. (mijoz / server texnologiyasi yoki tarmoq varianti).Ma’lumotlar bazasini yaratish orqali biz kerakli ma’lumotlarni mezonlarga muvofiq tartibga solishga intilamiz. Bu ishni faqat ma’lumotlar tartiblangan taqdirda amalga oshirish mumkin. Strukturalash -bu ma’lumotlar qanday taqdim etilishi bo‘yicha kelishuvlar to‘plami. Ma’lumotlarni turli yo‘llar bilan tuzish mumkin. Tuzilishiga qarab, ma’lumotlar bazasining iyerarxik, tarmoq, relyatsion, obyektga yo‘naltirilgan va gibrid modellari mavjud. Bugungi kunda eng ommalashgani -bu relyatsion bo‘lib, shuning uchun biz qolganlari haqida uncha gapirmaymiz. Ma’lumotlar bazasining ierarxik tuzilishi. Bu ma’lumotni taqdim etish uchun daraxtsimon tuzilishdir. Uning o‘ziga xos xususiyati shundaki, quyi darajadagi har bir tugun yuqori darajadagi bitta tugun bilan aloqaga ega. Masalan, “Institut”ma’lumotlar bazasining ierarxik tuzilishining bir qismini ko‘rib chiqamiz (8.1-rasm).Strukturadan ko‘rinib turibdiki, bitta kafedrada bir nechta o‘qituvchilar faoliyat olib borishi mumkin. Ushbu bog‘lanishlar “birga ko‘p”deb nomlanadi (bir kafedra –ko‘p o‘qituvchilar). Ammo agar biz ushbu tuzilishga talabalar guruhini(8.2-rasm) qo‘shmoqchi bo‘lsak, unda biz “ko‘pga-ko‘p”munosabatlarga murojaat qilamiz: (bir o‘qituvchi ko‘plab guruhlar bilan va o‘z navbatida bitta guruh ko‘plab o‘qituvchilardan bilim o‘rganishi mumkin), ierarxik tuzilishda bunday aloqa bo‘lishi mumkin emas (chunki aloqa faqat yuqori darajadagi bitta tugun bilan bo‘lishi mumkin).





Ushbu ma’lumotlar bazasi tuzilishining asosiy kamchiligi ham shundadir.Ma’lumotlar bazasining tarmoq tuzilishi. Aslida, bu ierarxik tuzilmaning kengaytmasi. Hammasi huddi shunday bo‘lib, “ko‘pga-ko‘p”bog‘lanishi mavjud bo‘ladi. Ma’lumotlar bazasining tarmoq tuzilishi bizning misolimizga guruhlarni qo‘shishga imkon beradi. Tarmoq modelining kamchiligi jiddiy dasturlarni ishlab chiqishning murakkabligidir. Ma’lumotlar bazasining relyatsion tuzilishi. Barcha ma’lumotlar qator va ustunlarga bo‘lingan, ma’lumotlar kesishgan joyda joylashgan oddiy jadvallar ko‘rinishida taqdim etiladi. Obyektga yo‘naltirilgan va gibrid ma’lumotlar bazalari. Obyektga yo‘naltirilgan ma’lumotlar bazalarida ma’lumotlar obyektsifatida saqlanadi va bu juda qulaydir. Ammo bugungi kunda bunday ma’lumotlar bazalari hali uncha keng tarqalganmagan, chunki u ishlash jihatidan relyatsionga qaraganda pastroq.Gibrid ma’lumotlar bazalari relyatsion va obyektga yo‘naltirilgan imkoniyatlarni birlashtiradi, shuning uchun ular ko‘pincha obyekt-munosabat deb nomlanadi. Bunday MBBT-ga sakkizinchi versiyadan boshlab Oracle misol bo‘ladi. Shubhasiz, bunday ma’lumotlar bazalari kelajakda rivojlanadi, ammo hozirgacha ustunlik relyatsion tuzilmalarda qolmoqda.Relyatsion ma’lumotlar bazalariRelyatsion ma’lumotlar bazalari jadvallardan iborat. Har bir jadval ustunlardan iborat (ular maydonlar yoki atributlar deb nomlanadi) va qator (ular yozuvlar yoki kortejlar deb nomlanadi). Relyatsion ma’lumotlar bazalaridagi jadvallar bir qator xususiyatlarga ega. Asosiylari quyidagilar:
Jadvalda ikkita bir xil qator bo‘lishi mumkin emas. Matematikada bunday xususiyatga ega jadvallar munosabatlar deb atalib -ingliz tilida RELATION, shuning uchun ham u relyatsion deb nom olgan.
Ustunlar ma’lum bir tartibda joylashtirilgan bo‘lib, ular jadval tuzilganda hosil bo‘ladi. Jadvalda qator bo‘lmasa ham, lekin kamida bitta ustun bo‘lishi kerak.
Har bir ustunning o‘ziga xos nomi bor (jadval chegarasida) va bir ustundagi barcha qiymatlar bir xil turga mansub (raqam, matn, sana ...).
Har bir ustun va qator kesishgan joyda faqat atomarqiymati bo‘lishi mumkin (qiymatlar guruhidan iborat bo‘lmagan bitta qiymat). Ushbu shartni qondiradigan jadvallar normallashtirilgandeb nomlanadi.Barchasi namunada namoyon bo‘ladi. Aytaylik, forum uchun ma’lumotlar bazasini yaratmoqchimiz. Forumda mavzularni yaratadigan va ushbu mavzularda xabarlarni joylashtiradigan foydalanuvchilar ro‘yxatdan o‘tgan. Ushbu ma’lumotlar MBda saqlanishi kerak.Nazariy jihatdan (qog‘ozda) biz bularning barchasini bitta jadvalda joylashtirishimiz mumkin, masalan:


Bizning “foydalanuvchilar”jadvali barcha shartlarga javob beradi. Mavzular va xabarlar esa yo‘q. Axir jadvalda ikkita bir xil satr bo‘lishi mumkin emas. Foydalanuvchi ikkita bir xil xabar qoldirmasligiga kafolat qayerda, masalan:

Ammo bu atomarxususiyatiga zid keladi (bitta katakdagi bitta qiymat) va biz “Темы и Сообщения” ustunlarida cheksiz ko‘p

qiymatlarni qabul qilamiz. Bujadvalni 3 ga bo‘lishni anglatadi: Foydalanuvchilar, mavzular va xabarlar




Bizning “foydalanuvchilar”jadvali barcha shartlarga javob beradi. Mavzular va xabarlar esa yo‘q. Axir jadvalda ikkita bir xil satr bo‘lishi mumkin emas. Foydalanuvchi ikkita bir xil xabar qoldirmasligiga kafolat qayerda, masalan:

Bundan tashqari, biz har bir xabarning qaysidir mavzuga tegishli ekanini bilamiz. Jadvallarimizdan qanday qilib bilib olishingiz mumkin? Hech qanaqasiga. Ushbu muammolarni hal qilish uchun relyatsion ma’lumotlar bazalarida kalit mavjud.Birlamchi kalit(qisqartmasi РК-primary key) -qiymatlari barcha qatorlarda turlicha bo‘lgan ustun. Birlamchi kalitlar mantiqiy (tabiiy) va surrogat (sun’iy) bo‘lishi mumkin. Shunday qilib, bizning jadvalimiz foydalanuvchilari uchun birlamchi kalit elektron pochta ustuni bo‘lishi mumkin (nazariy jihatdan bir xil elektron pochtaga ega ikkita foydalanuvchi bo‘lishi mumkin emas). Amalda, surrogat kalitlardan foydalanish yaxshiroqdir. Bundan tashqari, birlamchi kalitlarni o‘zgartirish mumkin emas. Lekin foydalanuvchining elektron pochtasi o‘zgartirilsa nima bo‘ladi? Surrogat kaliti ma’lumotlar bazasidagi qo‘shimcha maydonga ega. Odatda, bu yozuvning tartib raqami (siz ularni o‘zingizning xohishingizga ko‘ra o‘zgartirishingiz mumkin va ular noyob ekanligiga ishonch hosil qiling). Keling, jadvalimizga birlamchi kalit maydonlarni kiritamiz:

2.Ma’lumotlar bazasini boshqarish tizimining asosiy vazifalari va xususiyatlari
Ma’lumotlar bazasini boshqarish tizimi (MBBT) — ma’lumotlar bazalarini yaratish, ularni saqlash va kerakli ma’lumotlarni qidirishga mo‘ljallangan dasturiy ta’minotdir. Aniqrog‘i, MBBT funksiyalarining soniga quyidagilarni kiritishimiz mumkin:
1. Tashqi xotira ma’lumotlarini to‘g‘ridan-to‘g‘ri boshqarish. Ushbu funksiya to‘g‘ridan-to‘g‘ri ma’lumotlar bazasiga kiritilgan ma’lumotlarni saqlash uchun ham, xizmat ko‘rsatish uchun ham ishlatiladi. Masalan, ba’zi hollarda ma’lumotlarga kirish vaqtini qisqartirish zarur bo‘lgan paytlarda (odatda shu maqsadlarda indekslardan) foydalaniladi. MBBT amallarining ba’zilarida mavjud fayl tizimlarining imkoniyatlaridan faol foydalaniladi. Boshqalarida esa tashqi xotira qurilmalari darajasiga qadar ish olib boriladi. Shuni ta’kidlash kerakki, rivojlangan MBBT foydalanuvchilari fayl tizimidan foydalanganligi yoki foydalanmaganligini bilishlari shart emas. Xususan, MBBT o‘z obyektlarini nomlash tizimiga ega.
2. Operativ xotiraning buferini boshqarish. MBBT odatda katta hajmdagi ma’lumotlar bazasi bilanishlaydi; hech bo‘lmaganda bu
o‘lcham odatda mavjud bo‘lgan operativ xotira hajmidan sezilarli darajada katta bo‘ladi. Biron bir ma’lumot elementiga kirishda tashqi xotiradan foydalanilsa, u holda butun tizim tashqi xotira qurilmasi tezligida ishlaydi. Ushbu tezlikni oshirishning deyarli yagona usuli bu —operativ xotiradagi ma’lumotlarni buferlashdir. Bundan tashqari, agar operatsion tizim butun tizimda buferlashni amalga oshirsa ham (UNIX operatsion tizimi), juda ko‘p ma’lumotlarga ega bo‘lgan ma’lumotlar bazasi uchun bu yetarli bo‘lmaydi.Shuning uchun rivojlangan MBBTlar buferlarni o‘z nizomiga ega buferlar bilan almashtirish imkoniyatiga ega.
Qattiq nosozliklar–bu tashqi xotira vositalarida ma’lumotni yo‘qotish.
Dasturiy ta’minotning ishdan chiqishiga: MBBT yoki foydalanuvchi dasturining avariyaviy tugatilishi natijasida ba’zi bir tranzaksiyalar tugallanmay qoladi.Birinchi vaziyatni yumshoq turdagi apparat buzilishining o‘ziga xos turi sifatida ko‘rish mumkin; ikkinchisi esa sodir bo‘lganda, faqat bitta tranzaksiya oqibatlarini bartaraf etish talab qilinadi. Ma’lumotlar bazasini tiklash uchun har qanday holatda qo‘shimcha ma’lumotlarga ega bo‘lishingiz kerakligi aniq. Boshqacha qilib aytganda, ma’lumotlar bazasida ma’lumotlarni saqlashning ishonchliligi ortiqcha ma’lumot saqlash talab qiladi va qayta tiklash uchun ishlatiladigan ma’lumotlarning ushbu qismi ayniqsa ishonchli saqlanishi lozim. Bunday ortiqcha ma’lumotni saqlashning eng keng tarqalgan usuli bu ma’lumotlar bazasini qaydlar jurnalini yuritishdir.Jurnal -bu ma’lumotlar bazasining maxsus qismi bo‘lib, foydalanuvchilar kirishiga imkon bo‘lmagan va juda ehtiyotkorlik bilan saqlanadigan ma’lumotlar bazasining asosiy qismidagi barcha o‘zgarishlarning yozuvlarini o‘z ichiga oladi. Turli xil ma’lumotlar MBBT bazasining o‘zgarishiga qarab har xil darajada qayd qilinadi: ba’zida jurnal boshlab teskari operatsiyalarni bajarish orqali uni orqaga qaytarish kifoya.

SDL asosan ma’lumotlar bazasining mantiqiy tuzilishini aniqlashga xizmat qilgan bo‘lib, ya’ni, ma’lumotlar bazasi tuzilishi foydalanuvchilarga qanday ko‘rinishda bo‘lganligini ko‘rsatgan. DML manipulyatsiya operatorlari to‘plamini o‘z ichiga olgan bo‘lib, ya’ni, ma’lumotlar bazasiga ma’lumotlarni kiritish, o‘chirish, o‘zgartirish yoki mavjud ma’lumotlarni tanlashga imkon beruvchi operatorlar hisoblangan.Zamonaviy MBBTlar odatda ma’lumotlar bazasi bilan ishlash uchun zarur bo‘lgan barcha vositalarnio‘z ichiga olgan yagona integral tilda ishlab, uni yaratishdan boshlab va ma’lumotlar bazalari bilan foydalanuvchi interfeysigacha o‘z ichiga oladi. Hozirgi kunda eng keng tarqalgan relyatsion MBBT ning standart tili SQL (Structured Query Language) hisoblanadi. Keling, “til darajasida”qo‘llab-quvvatlanadigan relyatsion MBBT ning asosiy funksiyalarini sanab o‘tamiz, ya’ni, SQL interfeysini ishlatishda qo‘llab-quvvatlanadigan funksiyalar (agar foydalanuvchi relyatsion ma’lumotlar modeli asoslarini yaxshi bilmasa, avval u bilan tanishib chiqishi va shundan keyingina SQL tilining asoslarini ko‘rib chiqishi mumkin).Avvalo, SQL -bu SDL va DML birikmasi bo‘lib; ma’lumotlar bazasining relyatsion sxemasini aniqlashga va ma’lumotlarni manipulyatsiya qilishga imkonberadi. Bunday holda ma’lumotlar bazasi obyektlarining nomlanishi til darajasida qo‘llab-quvvatlanadi va SQL kompilyatori maxsus qo‘llab-quvvatlanadigan xizmat katalog jadvallari asosida obyektnomlarini ichki identifikatorlariga aylantiradi.MBBT (yadro)ning ichki qismi jadvallar nomlari va ularning ustunlari bilan umuman ishlamaydi. SQL tilida ma’lumotlar bazasining yaxlitligi cheklovlarini aniqlash uchun maxsus vositalar mavjud. Shunga qaramay, yaxlitlik cheklovlari maxsus katalog jadvallarida saqlanadi va ma’lumotlar bazasining yaxlitligi til darajasida ta’minlanadi. Ma’lumotlar bazasini o‘zgartirish operatorlarini kompilyatsiya qilishda SQL kompilyatori ma’lumotlar bazasidagi yaxlitlik cheklovlari asosida tegishli dastur kodini hosil qiladi. Ma’lumotlar bazasini yangilash so‘rov orqali ham amalga oshirilishi mumkin. Barcha ma’lumotlar qabul qilish tartibi asosida jadvallarga kiritiladi, ya’ni, ular saralanmagan bo‘ladi. Ammo tegishli so‘rov bo‘yicha siz kerakli usulda saralangan va filtrlangan ma’lumotlarni olishingiz mumkin.

Shakllar –foydalanuvchiga to‘ldirish uchun kerakli maydonlarni taqdim etadigan ma’lumotlar kiritish vositalari. Kirishni avtomatlashtirish uchunularga maxsus (hisoblagichlar, ochiladigan jadvallar, o‘zgartirgichlar, bayroqchalar va boshqalar) boshqaruv elementlarini joylashtirishingiz mumkin. Masalan, blankning ma’lum maydonlarini to‘ldirish. Shakllar yordamida ma’lumotlarni o‘zgartirishning maxsus vositalaridan foydalanishingiz mumkin. Sahifalar yoki ma’lumotlarga kirish sahifalari – HTML kodda bajarilgan, veb-sahifaga joylashtirilgan va shu bilan birga mijozga uzatiladigan ma’lumotlar bazasining maxsus obyektlari. Obyektning o‘zi ma’lumotlar bazasi emas; foydalanuvchi kirish sahifasi maydonlarida ma’lumotlar bazasi yozuvlarini ko‘rish uchun ishlatishi mumkin. Shunday qilib, sahifalar -bu mijoz, server va serverda joylashgan ma’lumotlar bazasi o‘rtasidagi interfeysdir. Makroslar va modullar – boshqarish tizimi bilan ishlashda takrorlanadigan operatsiyalarni avtomatlashtirish va dasturlash orqali yangi funksiyalarni yaratish uchun mo‘ljallangan. Makroslar MBBT ichki buyruqlar ketma-ketligidan iborat va ma’lumotlar bazasi bilan ishlashni avtomatlashtirish vositalaridan biridir. Modullar tashqi dasturlash tili yordamida yaratiladi. Bu ma’lumotlar bazasi yaratuvchisining nostandart funksional imkoniyatlarni yaratishi, mijozning o‘ziga xos talablariga javob berishi, boshqaruv tizimining tezligi va uning xavfsizlik darajasini oshirishi mumkin bo‘lgan vositalardan biridir. MBBTni tanlashning ko‘plab usullari mavjud. Ulardan eng soddasi, mavjud tizimlarning yaratilayotgan axborot tizimi loyihasining asosiy talablariga qanday javob berishini baholashga asoslangan. Murakkab va qimmat variant -bir nechta tizim asosida test loyihasini yaratish va undan keyin eng munosibini saralashdir. Ammo bu holatda ham, ba’zi tanlov mezonlariga tayanib, mumkin bo‘lgan tizimlar doirasini cheklash kerak.
Ma’lumotlar bazasini boshqarish tizimiga qo‘yiladigan asosiy talablar yoki boshqacha qilib aytganda, ma’lum bir tizimni tahlil qilishda foydalanadigan tanlov mezonlari uning oldiga qo‘yilgan maqsadlarga qarab farq qilishi mumkin. Ularni bir necha guruhlarga ajratish mumkin:
1.Ma’lumotlarni modellashtirish
2.Arxitektura xususiyatlari va funksional imkoniyatlari
3.Tizim ishini nazorat qilish
4.Ilova ishlab chiqish xususiyatlari
6.Ish quvvati
7.Ishonchlilik
8.Ish muhiti uchun talablar
Katta ma’lumotlarni qayta ishlash texnologiyalari(Big Data)
Katta ma’lumotlarni o‘rganish va tahlil qilish rivojlanish va kengayishda davom etadigan murakkab va juda muhim yo‘nalishdir. Har yili inson tobora ko‘proq ma’lumot ishlab chiqaradi va uning asosiy qismi tartibsiz shaklda bo‘ladi. Shu turdagi ma’lumotlarni tahlil qilishni o‘rganish, alohida ma’lumotlar to‘plamlari orasidagi aloqalarni aniqlash davrimizning eng muhim vazifasidir. IBM korporatsiyasi ushbu vazifaning muhimligini tushunib, katta ma’lumotlar bilan ishlash vositalarini ishlab chiqishda BIG DATA sohasida katta ilmiy ish olib bormoqda.

Katta ma’lumotlar bilan ishlash deyarli barcha sohalarda zarur: fan, tibbiyot, biznes. Big Data ni qayta ishlash ayniqsa biznes yechimlari uchun foydalidir. Ushbu sohada saralanmagan ma’lumotlarni tezda qayta ishlash qobiliyati muvaffaqiyat omillaridan biridir. Axir, bu sizning xaridorlaringiz, potentsial xaridorlaringiz yoki iste’molchilar haqida ma’lumotlarning keng namunalarini olish, bozor tendentsiyalari va uning turli tarmoqlari dinamikasi to‘g‘risida raqobatchilardan oldinroq o‘rganish imkoniyatini beradi. Boshqacha qilib aytganda, katta ma’lumotlarni qayta ishlash yangi mijozlar va yuqori daromad olish imkonini beradi.“BIG DATA”iborasi 2008-yilda Klifford Linchning yengil qo‘li bilan paydo bo‘ldi. Naturejurnalining maxsus sonida mutaxassis axborot oqimlarining portlovchi o‘sishini –BIG DATA deb atadi. Unda u kuniga 150 Gb dan ortiq bo‘lgan har qanday ma’lumotlarning massivlarini kiritdi. 2011-yilgacha katta ma’lumot texnologiyalari faqat ilmiy tahlil sifatida ko‘rib chiqilgan va amaliy yechim topmagan. Biroq, ma’lumotlar miqdori keskin o‘sib bordi va juda ko‘p miqdordagi tartiblanmagan ma’lumotlar muammosi 2012-yil boshida dolzarb bo‘lib qoldi. BIG DATA ga bo‘lgan qiziqish Google Trends da aniq ko‘rinadi (8.3-rasm). Raqamli biznes gigantlari-Microsoft, IBM, Oracle, EMC va boshqalar-yangi yo‘nalishni rivojlantirishga qo‘shilishdi. 2014-yildan buyon big data universitetlarda o‘rganilib, amaliy fanlar -muhandislik, fizika, sotsiologiyada qo‘llanilmoqda.Vikipediya, 2018 yil o‘rtalarida, Big Data atamasiga quyidagi ta’rifni berdi: Big Data —2000-yillarning oxirida paydo bo‘lgan va an’anaviy ma’lumotlar bazalarini boshqarish tizimlari va Business Intelligence turkumining yechimlariga muqobil bo‘lgan gorizontal ravishda kengaytiriladigan dasturiy vositalar tomonidan samarali qayta ishlangan, katta hajmdagi tizim

Google Trendsda katta big dataqidiruv natijalari. Ko‘rib turganingizdek, ushbu ta’rifda “ulkan”, “muhim”, “samarali”va “muqobil”kabi atamalar mavjud. Hatto nomining o‘zi ham juda subyektivdir.
MapReduce—Google tomonidan taqdim etilgan kompyuter klasterlarida taqsimlangan parallel hisoblash modeli. Ushbu modelga muvofiq, dastur klaster tugunlarida bajariladigan va so‘ngra yakuniy natijaga qadar tabiiy ravishda kamaytirilgan bir xil elementar topshiriqlarning ko‘p soniga bo‘linadi. MapReduce ishlash tamoyili ko‘rsatilgan

Reducefunksiyasi foydalanuvchi tomonidan belgilanadi va alohida “savat”uchun yakuniy natijani hisoblab chiqadi. Reduce funksiyasi tomonidan qaytarilgan barcha qiymatlar to‘plami MapReduce vazifasining yakuniy natijasidir.MapReduce haqida bir nechta qo‘shimcha ma’lumotlar:

1) Mapfunksiyasining barchasi mustaqil va parallel ravishda ishlaydi. Shu jumladan klasterdagi turli xil mashinalarda ham ishlashi mumkin.
2) Reducefunksiyasining barchasi mustaqil vaparallel ravishda ishlaydi. Shu jumladan klasterdagi turli xil mashinalarda ham ishlashi mumkin.
3) Shufflefunksiyasining ichki tuzilishi parallel bo‘lib, u ham klasterdagi turli xil mashinalarda ishlashi mumkin.1-3-bandlar gorizontal mashtablashtirish tamoyilini bajarishga imkon beradi.
4) Mapfunksiyasi odatda ma’lumotlar saqlanadigan o‘sha mashinada qo‘llaniladi -bu tarmoq orqali ma’lumotlar uzatilishini kamaytirishga imkon beradi (ma’lumotlar lokalligi tamoyili).