Reja: Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish tizimlari

1-Ma’ruza: Kirish. Fanning maqsad va vazifalari (2-soat).
Reja:
1. Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish tizimlari.
2. Katta ma’lumotlar va biznes. Katta ma’lumotlarni tahlil qilish texnikasi.
3. Katta ma’lumotlar va ma’lumotlarni qayta ishlash. Katta ma’lumotlar mashinasi.
4. Big Data texnologiyalari paydo bo’lgan joyda qanday qo’llaniladi?


1. Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish tizimlari.
2018 yil o'rtalariga kelib Vikipediya Big Data atamasiga quyidagi ta'rifni berdi: "Katta ma'lumotlar - bu 2000-yillarning oxirida paydo bo'lgan va ma'lumotlar bazasini boshqarishning an'anaviy tizimlari va Business Intelligence klassining echimlariga alternativa bo'lgan, gorizontal miqyosda kengaytiriladigan dasturiy vositalar yordamida samarali ishlov beriladigan juda katta hajmli va sezilarli tuzilmalarning ma'lumotlari".
Ko'rib turganingizdek, ushbu ta'rifda "ulkan", "ahamiyatli", "samarali" va "alternativ" kabi noaniq atamalar mavjud. Hatto ismning o'zi ham juda subyektivdir. Masalan, 4 Terabayt (zamonaviy noutbuk tashqi qattiq diskining sig'imi) bu allaqachon katta ma'lumotmi yoki yo'qmi? Vikipediyaga ushbu ta'rifga quyidagilar qo'shiladi: "keng ma'noda" katta ma'lumotlar "katta miqdordagi ma'lumotlarni tahlil qilish uchun texnologik imkoniyatlarning paydo bo'lishi bilan bog'liq bo'lgan ijtimoiy-iqtisodiy hodisa sifatida aytiladi, ba'zi muammoli sohalarda - ma'lumotlarning butun hajmi va natijada yuzaga keladigan transformatsion oqibatlar ".
IBS kompaniyasi tahlilchilari "ma'lumotlarning butun dunyo hajmini" quyidagi ko'rsatkichlar bo'yicha baholadilar:

• 
  2003 - 5 ekzabayt ma'lumotlar (1 EB = 1 milliard gigabayt)
  
• 
  2008 yil - 0,18 zettabayt (1 zb = 1024 ekzabayt)
  
• 
  2015 yil - 6,5 zettabaytdan yuqori
  
• 
  2020 - 40-44 zettabayt (prognoz)
  
• 
  2025 yil - bu hajm 10 baravar ko'payadi.
  

Hisobotda shuningdek, ma'lumotlarning aksariyati oddiy iste'molchilar tomonidan emas, balki korxonalar tomonidan yaratilmasligi ta'kidlanadi (Things Industrial Internet-ni eslang).
Bundan tashqari, siz jurnalistlar va marketologlarning aniq fikriga mos keladigan sodda ta'rifdan foydalanishingiz mumkin.
"Katta ma'lumotlar - bu uchta operatsiyani bajarish uchun mo'ljallangan texnologiyalarning birikmasi:
Bundan tashqari, 2015 yil oktyabr oyida Gartner Big Data-ni mashhur tendentsiyalar ro'yxatidan chiqarib tashladi. Kompaniya tahlilchilari o'z qarorlarini "katta ma'lumotlar" tushunchasi korxonalarda allaqachon faol qo'llaniladigan, qisman boshqa mashhur sohalar va tendentsiyalar bilan bog'liq bo'lgan va kundalik ishlaydigan vositaga aylangan ko'plab texnologiyalarni o'z ichiga olganligi bilan izohlashdi.
Big Data-ning afzalliklari: Turli manbalardan ma’lumotlarni yig’ish. Haqiqiy vaqtda tahlil qilish orqali biznes jarayonlarini takomillashtirish. Katta hajmdagi ma’lumotlarni saqlash. Tushunchalar. Big Data tuzilgan va yarim tuzilgan ma’lumotlar bilan yashirin ma’lumotlar haqida ko’proq ma’lumotga ega. Katta ma’lumotlar xavfni kamaytirishga va to’g’ri risklarni tahlil qilish bilan aqlli qarorlarni qabul qilishga yordam beradi
Katta ma’lumotlarga misollar Nyu-York fond birjasi har kuni hosil qiladi 1 terabayt so’nggi sessiya bo’yicha savdolar to’g’risidagi ma’lumotlar. Ijtimoiy tarmoqlar: statistika shuni ko’rsatadiki, Facebook ma’lumotlar bazalari har kuni yuklanadi 500 terabayt yangi ma’lumotlar asosan fotosuratlar va videolarni ijtimoiy tarmoq serverlariga yuklash, xabar almashish, postlar ostidagi sharhlar va hk. Reaktiv dvigatel hosil qiladi 10 terabayt parvoz paytida har 30 daqiqada ma’lumotlar. Har kuni minglab parvozlar amalga oshirilganligi sababli, ma’lumotlar hajmi petabaytga etadi.
Katta ma’lumotlar tasnifi Katta ma’lumot shakllari: Tuzilgan Tuzilmagan Yarim tuzilgan Tuzilgan shakl Saqlash, kirish va sobit formatda ishlov berilishi mumkin bo’lgan ma’lumotlar tuzilgan deb nomlanadi. Ko’p yillar davomida kompyuter fanlari ushbu turdagi ma’lumotlar bilan ishlash texnikasini takomillashtirishda katta yutuqlarga erishdi (bu erda format oldindan ma’lum) va qanday foyda olishni bilib oldi. Biroq, bugungi kunda hajmlarning bir necha zettabayt oralig’ida o’sib borishi bilan bog’liq muammolar mavjud. 1 zettabayt milliard terabaytga teng Ushbu raqamlarga qarab, Big Data atamasining to’g’riligiga va bunday ma’lumotlarni qayta ishlash va saqlash bilan bog’liq qiyinchiliklarga amin bo’lish oson. Relyatsion ma’lumotlar bazasida saqlanadigan ma’lumotlar tuzilgan va masalan, kompaniya xodimlarining jadvallariga o’xshaydi Tuzilmagan shakl Noma’lum tuzilishga ega ma’lumotlar tuzilmagan deb tasniflanadi. Ushbu shakl katta bo’lishidan tashqari, foydali ma’lumotlarni qayta ishlash va qazib olishda bir qator qiyinchiliklar bilan tavsiflanadi. Tuzilmasiz ma’lumotlarning odatiy misoli oddiy matnli fayllar, rasmlar va videofilmlarning kombinatsiyasini o’z ichiga olgan heterojen manbadir. Bugungi kunda tashkilotlar katta miqdordagi xom yoki tuzilmaviy ma’lumotlarga ega, ammo ulardan qanday foydalanishni bilishmaydi.



Vaqt o’tishi bilan katta ma’lumotlarning o’sishi:



Moviy rang relyatsion ma’lumotlar bazalarida saqlanadigan tuzilgan ma’lumotlarni (Enterprise ma’lumotlar) ifodalaydi. Boshqa ranglar - bu turli xil manbalardan tuzilgan bo’lmagan ma’lumotlar (IP-telefoniya, qurilmalar va sensorlar, ijtimoiy tarmoqlar va veb-ilovalar). Gartnerning fikriga ko’ra, katta ma’lumotlar hajmi, ishlab chiqarish darajasi, xilma-xilligi va o’zgaruvchanligi bilan farq qiladi. Keling, ushbu xususiyatlarni batafsil ko’rib chiqaylik. Tovush. Big Data atamasining o’zi katta hajm bilan bog’liq. Ma’lumotlarning hajmi mumkin bo’lgan qayta tiklanadigan qiymatni aniqlashda eng muhim ko’rsatkichdir. Kuniga 6 million kishi raqamli ommaviy axborot vositalaridan foydalanadi, bu esa 2,5 kvintillion bayt ma’lumot ishlab chiqarishi taxmin qilinmoqda. Shuning uchun hajm birinchi e'tiborga olinadigan xususiyatdir. Turli xillik - keyingi jihat. U ma’lumotlarning bir xil bo’lmagan manbalari va tabiatiga ishora qiladi, ular tuzilgan yoki tuzilmasiz bo’lishi mumkin. Ilgari, elektron jadvallar va ma’lumotlar bazalari ko’pgina ilovalarda ko’rib chiqiladigan yagona ma’lumot manbai bo’lgan. Bugungi kunda elektron pochta xabarlari, fotosuratlar, videolar, PDF-fayllar, audio shaklidagi ma’lumotlar tahliliy dasturlarda ham ko’rib chiqilmoqda. Ushbu turli xil tuzilmagan ma’lumotlar saqlash, ishlab chiqarish va tahlil qilishda muammolarga olib keladi: kompaniyalarning 27% to’g’ri ma’lumotlar bilan ishlayotganiga amin emaslar. Avlod tezligi. Talablarni qondirish uchun ma’lumotlarning qanchalik tez to’planishi va qayta ishlanishi salohiyatni belgilaydi. Tezlik manbalardan - biznes jarayonlaridan, ilovalar jurnallaridan, ijtimoiy tarmoq saytlari va ommaviy axborot vositalaridan, datchiklardan, mobil qurilmalardan ma’lumot olish tezligini belgilaydi. Ma’lumotlar oqimi vaqt o’tishi bilan ulkan va doimiydir. O’zgaruvchanlik ba’zi bir vaqtlarda ma’lumotlarning o’zgaruvchanligini tavsiflaydi, bu esa qayta ishlash va boshqarishni murakkablashtiradi. Masalan, ma’lumotlarning aksariyati tuzilmaga ega emas.
Tovarlar va xizmatlarni reklama qilish: Qidiruv motorlar va Facebook va Twitter kabi saytlardan ma’lumotlarni olish korxonalarga marketing strategiyasini yaxshiroq shakllantirishga imkon beradi.
Mijozlarga xizmat ko’rsatishni takomillashtirish: Mijozlarning an'anaviy aloqa tizimlari mijozlarning fikr-mulohazalarini o’qish va baholash uchun Big Data va tabiiy tilni qayta ishlashdan foydalanadigan yangilari bilan almashtirilmoqda. Xatarlarni hisoblashyangi mahsulot yoki xizmatni chiqarish bilan bog’liq.
Operatsion samaradorlik: Katta ma’lumotlar tegishli ma’lumotlarni tezroq olish va aniq natijalarni tezda berish uchun tuzilgan. Big Data va saqlash texnologiyalarining bu kombinatsiyasi tashkilotlarga kamdan kam ishlatiladigan ma’lumotlar bilan ishlashni optimallashtirishga yordam beradi.
2011 yilda yaratilgan va takrorlangan ma’lumotlarning umumiy global hajmi taxminan 1,8 zettabayt (1,8 trillion gigabayt) bo’lishi mumkinligi taxmin qilingan edi - bu 2006 yilda yaratilganidan 9 baravar ko’p.

Biroq, katta ma’lumotlarnafaqat katta hajmdagi ma’lumotlarni tahlil qilishdan ko’proq narsani o’z ichiga oladi. Muammo shundaki, tashkilotlar juda katta miqdordagi ma’lumotlarni yaratishda emas, balki ularning aksariyati veb-bloglar, videofilmlar, matnli hujjatlar, mashina kodlari yoki masalan, geografik ma’lumotlar kabi an'anaviy tuzilgan ma’lumotlar bazasi formatiga mos kelmaydigan formatda taqdim etiladi. Bularning barchasi turli xil omborlarda, ba’zan hatto tashkilotdan tashqarida saqlanadi. Natijada, korporatsiyalar o’zlarining katta miqdordagi ma’lumotlariga kirish huquqiga ega bo’lishlari va ushbu ma’lumotlar o’rtasidagi munosabatlarni o’rnatish va undan mazmunli xulosalar chiqarish uchun zarur vositalarga ega bo’lmasliklari mumkin. Bunga hozirda ma’lumotlar tobora tez-tez yangilanib turishini va sizda shunday vaziyat yuzaga keldiki, axir an'anaviy ravishda axborotni tahlil qilish usullari juda katta hajmdagi doimiy yangilanib turadigan ma’lumotlarni ushlab tura olmaydi, bu esa oxir-oqibat texnologiyaga yo’l ochib beradi. katta ma’lumotlar.
Aslida kontseptsiya katta ma’lumotlar ish samaradorligini oshirish, yangi mahsulotlarni yaratish va raqobatbardoshlikni oshirish maqsadida juda tez-tez yangilanadigan va turli manbalarda joylashgan katta hajmdagi va xilma-xil tarkibdagi ma’lumotlar bilan ishlashni anglatadi. Forrester konsalting kompaniyasi qisqacha bayon qiladi: Katta ma’lumotlar ma’lumotlarning mantiqiy ma’nosini anglatuvchi texnika va texnologiyalarni foydalanishning eng yuqori darajasida birlashtirish.