Katta ma'lumotlarni qayta ishlash texnologiyalari. Reja Katta ma'lumotlar paradigmasi

Ijtimoiy tarmoqlar: statistika shuni ko'rsatadiki, Facebook ma'lumotlar bazalari har kuni yuklanadi 500 terabayt yangi ma'lumotlar asosan ijtimoiy tarmoq serverlariga fotosuratlar va videolarni yuklash, xabar almashish, postlar ostidagi sharhlar va boshqalar tufayli hosil bo'ladi.
Reaktiv dvigatel hosil qiladi 10 terabayt parvoz paytida har 30 daqiqada ma'lumotlar. Har kuni minglab parvozlar bo'lganligi sababli, ma'lumotlar miqdori petabaytlarga etadi.
Katta ma'lumotlarning tasnifi
Katta ma'lumotlar shakllari:

• 
  Strukturaviy
  
• 
  Tarkibi bo'lmagan
  
• 
  Yarim tuzilgan
  

Strukturaviy shakl
Ruxsat etilgan formatda saqlanishi, foydalanilishi va qayta ishlanishi mumkin bo'lgan ma'lumotlar tuzilgan deb ataladi. Yillar davomida kompyuter fanlari ushbu turdagi ma'lumotlar bilan ishlash texnikasini takomillashtirishda katta muvaffaqiyatlarga erishdi (bu erda format oldindan ma'lum) va qanday foyda olishni o'rgandi. Biroq, bugungi kunda hajmlarning bir necha zettabayt oralig'ida o'lchanadigan o'lchamlarga o'sishi bilan bog'liq muammolar mavjud.
1 zettabayt milliard terabaytga teng
Ushbu raqamlarga qarab, Big Data atamasining to'g'riligiga va bunday ma'lumotlarni qayta ishlash va saqlash bilan bog'liq qiyinchiliklarga ishonch hosil qilish oson.
Relyatsion ma'lumotlar bazasida saqlanadigan ma'lumotlar tuzilgan bo'lib, masalan, kompaniya xodimlarining jadvallariga o'xshaydi
Strukturasiz shakl
Noma'lum tuzilishdagi ma'lumotlar tuzilmagan deb tasniflanadi. Katta o'lchamlari bilan bir qatorda, bu shakl ishlov berish va qazib olishda bir qator qiyinchiliklar bilan tavsiflanadi. foydali ma'lumotlar... Tarkibi bo'lmagan ma'lumotlarning odatiy misoli oddiy matnli fayllar, rasmlar va videolarning kombinatsiyasini o'z ichiga olgan heterojen manbadir. Tashkilotlar bugungi kunda katta hajmdagi xom yoki tuzilmagan ma'lumotlardan foydalanish imkoniyatiga ega, ammo undan qanday foyda olishni bilishmaydi.

Yarim tuzilgan shakl
Ushbu turkumda yuqorida aytilganlarning ikkalasi ham mavjud, shuning uchun yarim tizimli ma'lumotlar qandaydir shaklga ega, ammo relyatsion ma'lumotlar bazalarida jadvallar yordamida aniqlanmaydi. Ushbu turkumga misol XML faylida taqdim etilgan shaxsiy ma'lumotlardir.
Prashant raoErkak35 Seema R.Ayol41 Satish yelkasiErkak29 Subrato royErkak26 Yeremiyo J.Erkak35