Katta ma'lumotlarni qayta ishlash texnologiyalari. Reja Katta ma'lumotlar paradigmasi

Tovar va xizmatlarni ilgari surish: Qidiruv mexanizmlari va Facebook va Twitter kabi saytlar maʼlumotlariga kirish korxonalarga marketing strategiyalarini yaxshiroq shakllantirish imkonini beradi.
Mijozlarga xizmat ko'rsatishni yaxshilash: Mijozlarning fikr-mulohazalarini oʻqish va baholash uchun anʼanaviy mijozlar fikr-mulohazalarini bildirish tizimlari yangilari bilan almashtirilmoqda.
Xavfni hisoblash yangi mahsulot yoki xizmatni chiqarish bilan bog'liq.
Operatsion samaradorligi: Katta maʼlumotlar sizga kerakli maʼlumotlarni tezroq olish va aniq natijalarni tez yetkazib berish uchun tuzilgan. Katta ma'lumotlar va saqlash texnologiyalarining bunday kombinatsiyasi tashkilotlarga kamdan-kam ishlatiladigan ma'lumotlar bilan ishlashni optimallashtirishga yordam beradi.
Tadqiqotlar va tendentsiyalardan olingan materiallarga asoslangan
Katta ma'lumotlar, "Katta ma'lumotlar" bir necha yillardan beri IT va marketing matbuotida shaharning nutqiga aylandi. Va bu aniq: raqamli texnologiyalar hayotga kirib bordi zamonaviy odam, "Hamma narsa yozilgan." Hayotning turli jabhalari bo'yicha ma'lumotlar hajmi o'sib bormoqda va shu bilan birga, axborotni saqlash imkoniyatlari o'sib bormoqda.
Axborotni saqlashning global texnologiyalari
Manba: Hilbert va Lopez, “Axborotni saqlash, muloqot qilish va hisoblash uchun dunyoning texnologik imkoniyatlari”, Science, 2011 Global.
Aksariyat ekspertlar ma'lumotlar o'sishining tezlashishi ob'ektiv haqiqat ekanligiga qo'shiladilar. Ijtimoiy tarmoqlar, mobil qurilmalar, o'lchash moslamalari ma'lumotlari, biznes ma'lumotlari ulkan hajmdagi ma'lumotlarni yaratishi mumkin bo'lgan manbalarning bir nechtasi. Tadqiqotga ko'ra IDCRaqamli koinot 2012-yilda nashr etilgan, keyingi 8 yil ichida dunyodagi ma'lumotlar hajmi 40 Zb (zettabayt) ga etadi, bu sayyoramizning har bir aholisi uchun 5200 Gb ga teng.
Qo'shma Shtatlarda to'plangan raqamli ma'lumotlarning o'sishi

Manba: IDC
Axborotning muhim qismi odamlar tomonidan emas, balki bir-biri bilan va boshqa ma'lumotlar tarmoqlari, masalan, sensorlar va aqlli qurilmalar bilan o'zaro ta'sir qiluvchi robotlar tomonidan yaratiladi. Bunday o'sish sur'atlari bilan dunyodagi ma'lumotlar miqdori, tadqiqotchilarning prognozlariga ko'ra, har yili ikki baravar ko'payadi. Yangi maʼlumotlar markazlarini kengaytirish va yaratish hisobiga dunyoda virtual va jismoniy serverlar soni oʻn barobar ortadi. Shu munosabat bilan ushbu ma'lumotlardan samarali foydalanish va monetizatsiya qilish zarurati ortib bormoqda. Katta ma'lumotlardan biznesda foydalanish katta sarmoyani talab qilganligi sababli, siz vaziyatni aniq tushunishingiz kerak. Va bu, aslida, oddiy: siz xarajatlarni kamaytirish va / va sotishni ko'paytirish orqali biznesingiz samaradorligini oshirishingiz mumkin.
Big Data nima uchun?
Katta ma'lumotlar paradigmasi uchta asosiy turdagi vazifalarni belgilaydi.

• 
  Umumiy bo'lgan yuzlab terabayt yoki petabayt ma'lumotlarni saqlang va boshqaring relyatsion ma'lumotlar bazalari ma'lumotlardan samarali foydalanishga imkon bermaydi.
  
• 
  Matn, rasmlar, videolar va boshqa turdagi ma'lumotlardan iborat tuzilmagan ma'lumotlarni tashkil qilish.
  
• 
  Katta ma'lumotlarni tahlil qilish, bu tizimlashtirilmagan ma'lumotlar bilan ishlash, tahliliy hisobotlarni yaratish va bashoratli modellarni amalga oshirish masalasini ko'taradi.
  

Katta ma'lumotlar loyihalari bozori biznes razvedkasi (BA) bozori bilan kesishadi, dunyodagi hajmi, ekspertlarning fikriga ko'ra, 2012 yilda taxminan 100 milliard dollarni tashkil etdi. U tarmoq texnologiyalari komponentlarini, serverlarni, dasturiy ta'minot va texnik xizmatlar.
Bundan tashqari, Big Data texnologiyalaridan foydalanish kompaniyalar faoliyatini avtomatlashtirish uchun mo'ljallangan daromad kafolati (RA) sinfining echimlari uchun dolzarbdir. Zamonaviy daromadlarni kafolatlash tizimlari nomuvofiqliklarni aniqlash va ma'lumotlarni chuqur tahlil qilish vositalarini o'z ichiga oladi, bu moliyaviy natijalarning pasayishiga olib kelishi mumkin bo'lgan yo'qotishlarni yoki ma'lumotlarning buzilishini o'z vaqtida aniqlash imkonini beradi. Shu fonda, Rossiya kompaniyalari ichki bozorda Big Data texnologiyalariga bo'lgan talabni tasdiqlab, Rossiyada Big Data rivojlanishini rag'batlantiradigan omillar ma'lumotlarning o'sishi, boshqaruv qarorlarini qabul qilishning tezlashishi va ularning ko'payishi ekanligini ta'kidlamoqda. sifat.
Katta ma'lumotlar bilan ishlashga nima xalaqit beradi
Katta ma'lumotlar sinfining analitik yechimlari yordamida hal qilinishi mumkin bo'lgan ob'ektiv tarmoq vazifalari mavjudligiga qaramay, bugungi kunda to'plangan raqamli ma'lumotlarning atigi 0,5 foizi tahlil qilinadi. Rivojlangan IT bozorlarida katta ma'lumotlarni to'plash va qayta ishlash bilan bog'liq taxminlarni baholash uchun foydalanish mumkin bo'lgan natijalar allaqachon mavjud.
Katta ma'lumotlar loyihalarini amalga oshirishga to'sqinlik qiluvchi asosiy omillardan biri yuqori narxdan tashqari ko'rib chiqiladi qayta ishlanadigan ma'lumotlarni tanlash muammosi: ya'ni qaysi ma'lumotlarni olish, saqlash va tahlil qilish kerakligini va qaysi biriga e'tibor bermaslik kerakligini aniqlash.
Ko'pgina biznes vakillarining ta'kidlashicha, Big Data loyihalarini amalga oshirishdagi qiyinchiliklar mutaxassislar - marketologlar va tahlilchilarning etishmasligi bilan bog'liq. Katta ma'lumotlarga investitsiyalarning daromadlilik darajasi bevosita chuqur va bashoratli tahlil bilan shug'ullanadigan xodimlarning ish sifatiga bog'liq. Tashkilotda mavjud bo'lgan ulkan ma'lumotlar salohiyatidan ko'pincha eskirgan biznes jarayonlari yoki ichki qoidalar tufayli marketologlarning o'zlari samarali foydalana olmaydi. Shuning uchun, Big Data loyihalari ko'pincha korxonalar tomonidan nafaqat amalga oshirishda, balki natijalarni baholashda ham qiyin deb qabul qilinadi: to'plangan ma'lumotlarning qiymati. Ma'lumotlar bilan ishlashning o'ziga xos xususiyatlari marketologlar va tahlilchilardan e'tiborini texnologiyadan o'zgartirishni va muayyan biznes muammolarini hal qilish uchun hisobotlarni yaratishni talab qiladi.
Ma'lumotlar oqimining katta hajmi va yuqori tezligi tufayli ma'lumotlarni yig'ish jarayoni real vaqt rejimida ETL protseduralarini o'z ichiga oladi. Malumot uchun:ETL -danInglizEkstrakt, O'zgartirish, Yuklash- tom ma'noda "chiqarish, o'zgartirish, yuklash") - boshqaruvdagi asosiy jarayonlardan biri ma'lumotlar ombori, bu quyidagilarni o'z ichiga oladi: tashqi manbalardan ma'lumotlarni olish, ularni o'zgartirish va ehtiyojlarini qondirish uchun tozalash ETLni nafaqat ma'lumotlarni bir dasturdan ikkinchisiga o'tkazish jarayoni sifatida, balki ma'lumotlarni tahlil qilish uchun tayyorlash vositasi sifatida ham ko'rish kerak.
Va keyin tashqi manbalardan keladigan ma'lumotlar xavfsizligini ta'minlash masalalari to'plangan ma'lumotlar miqdoriga mos keladigan echimlarga ega bo'lishi kerak. Katta ma'lumotlarni tahlil qilish usullari hozirgacha faqat ma'lumotlar hajmining o'sishi ortidan rivojlanayotganligi sababli, ma'lumotlarni tayyorlash va yig'ishning yangi usullaridan foydalanishda analitik platformalar mulki muhim rol o'ynaydi. Bu shuni ko'rsatadiki, masalan, potentsial mijozlar to'g'risidagi ma'lumotlar yoki onlayn-do'kon saytlarini bosish tarixi bo'lgan katta ma'lumotlar ombori turli muammolarni hal qilish uchun qiziqarli bo'lishi mumkin.
Qiyinchiliklar to'xtamaydi
Big Datani joriy etishdagi barcha qiyinchiliklarga qaramay, biznes ushbu sohaga investitsiyalarni ko'paytirish niyatida. Gartner ma'lumotlariga ko'ra, 2013 yilda dunyodagi eng yirik kompaniyalarning 64 foizi o'z bizneslari uchun Big Data sohasida texnologiyalarni joriy etishga sarmoya kiritgan yoki investitsiya qilishni rejalashtirgan bo'lsa, 2012 yilda bu ko'rsatkich 58 foizni tashkil etgan. Gartner tadqiqotiga ko‘ra, Big Dataga sarmoya kirituvchi sohalarning yetakchilari media-kompaniyalar, telekommunikatsiya, bank va xizmat ko‘rsatish kompaniyalari hisoblanadi. RFID vositalari, logistika va replikatsiya tizimlari (ingliz tilidan. to'ldirish- to'plash, to'ldirish - R&T), shuningdek, sodiqlik dasturlaridan. Muvaffaqiyatli chakana savdo tajribasi bozorning boshqa tarmoqlarini yangilarini topishga undaydi samarali usullar tahlilini biznesni rivojlantirish uchun resursga aylantirish uchun katta ma'lumotlarni monetizatsiya qilish. Buning sharofati bilan, ekspertlarning fikriga ko'ra, 2020 yilgacha bo'lgan davrda boshqaruv va saqlashga investitsiyalar har bir gigabayt ma'lumot uchun 2 dollardan 0,2 dollargacha kamayadi, ammo Big Data texnologik xususiyatlarini o'rganish va tahlil qilish uchun faqat o'sadi. 40%.
Katta ma'lumotlar sohasidagi turli investitsiya loyihalarida taqdim etilgan xarajatlar boshqacha xarakterga ega. Xarajat moddalari ma'lum qarorlar asosida tanlangan mahsulot turlariga bog'liq. Mutaxassislarning fikriga ko'ra, investitsiya loyihalarida xarajatlarning katta qismi ma'lumotlarni yig'ish, tizimlashtirish, axborotni tozalash va boshqarish bilan bog'liq mahsulotlarga to'g'ri keladi.