Reja: Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish tizimlari

Jahon va Rossiya bozori Katta ma’lumotlar peyzaji - Asosiy etkazib beruvchilar.



To’plash, qayta ishlash, boshqarish va tahlil qilish vositalariga qiziqish katta ma’lumotlar deyarli barcha etakchi IT-kompaniyalarni namoyish etdi, bu juda tabiiy. Birinchidan, ular ushbu hodisaga bevosita o’z bizneslarida duch kelishadi, ikkinchidan. katta ma’lumotlar yangi bozor joylarini rivojlantirish va yangi mijozlarni jalb qilish uchun ajoyib imkoniyatlarni oching. Bozorda juda katta miqdordagi ma’lumotlarni qayta ishlash bilan shug’ullanadigan ko’plab startaplar paydo bo’ldi. Ulardan ba’zilari Amazon kabi yirik o’yinchilar tomonidan taqdim etiladigan "bulutli" infratuzilmadan foydalanadilar.
Sanoatdagi katta ma’lumotlarning nazariyasi va amaliyoti
Katta ma’lumotlarning asosiy afzalliklari orasida respondentlar quyidagilarni ta’kidladilar: "Yangi daromad manbalarini izlash" (56%), "Mijozlar tajribasini yaxshilash" (51%), "Yangi mahsulotlar va xizmatlar" (50%) va "Yangi mijozlar oqimi va eskilariga sodiqlikni saqlash" (47%). Ko’pgina kompaniyalar yangi texnologiyalarni joriy qilishda an'anaviy muammolarga duch kelishdi. 51 foizga to’sqinlik xavfsizlikka, 47 foizga byudjetga, 41 foizga zarur kadrlar etishmasligiga, 35 foizga esa mavjud tizimga qo’shilishdagi qiyinchiliklarga olib keldi. So’ralgan deyarli barcha kompaniyalar (taxminan 91%) tez orada kadrlar etishmasligi bilan muammolarni hal qilishni va katta ma’lumot mutaxassislarini jalb qilishni rejalashtirmoqdalar.

Kompaniyalar katta ma’lumot texnologiyalari kelajagiga umid bilan qarashadi. 89% Internet kabi o’z biznesini o’zgartirishga ishonadi. Respondentlarning 79 foizi katta ma’lumotlar bilan shug’ullanmaydigan kompaniyalar raqobatbardoshligini yo’qotishini ta’kidladilar. Biroq, respondentlar katta ma’lumotlar sifatida qaralishi kerak bo’lgan narsalar to’g’risida kelishmovchiliklarga duch kelishdi. Respondentlarning 65% bu "katta ma’lumotlar fayllari", 60% "ilg’or tahlil va tahlil", 50% esa "vizualizatsiya vositalari ma’lumotlari" deb hisoblashadi. Madrid katta ma’lumotlarni boshqarish uchun 14,7 million evro sarflaydi 2014 yil iyul oyida bu ma’lum bo’ldi Madrid shahar infratuzilmasini boshqarish uchun katta ma’lumotlar texnologiyalaridan foydalanadi. Loyiha qiymati - 14,7 million evro, amalga oshirilgan echimlarning asosi katta ma’lumotlarni tahlil qilish va boshqarish texnologiyalari bo’ladi. Ularning yordami bilan shahar ma’muriyati har bir xizmat ko’rsatuvchi provayder bilan ishlashni boshqaradi va xizmatlar darajasiga qarab tegishli ravishda to’laydi. Biz ma’muriyatning ko’chalari, yorug’lik, sug’orish, yashil maydonlarning holatini kuzatadigan, hududni tozalaydigan va olib tashlaydigan, shuningdek chiqindilarni qayta ishlovchi pudratchilar haqida gapiramiz. Loyiha davomida maxsus tayinlangan inspektorlar uchun shahar xizmatlarining 300 ta asosiy ko’rsatkichlari ishlab chiqildi, ular asosida har kuni 1,5 ming xil tekshiruv va o’lchovlar amalga oshiriladi. Bundan tashqari, shahar Madrid iNTeligente (MiNT) - Smarter Madrid deb nomlangan innovatsion texnologik platformadan foydalanishni boshlaydi.
Katta ma’lumotlar(Big Data) "muammo" so’zi bilan birlashtirilib, ushbu mavzu sirini yanada kuchaytiradi. Shu vaqt ichida "muammo" yirik ishlab chiqaruvchilarning katta qismining diqqat markaziga aylandi, echim topish umidida ko’plab startaplar yaratilmoqda va barcha etakchi sanoat tahlilchilari raqobatbardoshlikni ta’minlash uchun katta hajmdagi ma’lumotlar bilan ishlash qobiliyati qanchalik muhimligini karnay qilishdi. Bunday, juda asosli bo’lmagan ommaviy xarakter norozilikni keltirib chiqaradi va shu mavzu bo’yicha ko’plab shubhali bayonotlarni topish mumkin, ba’zan esa Big Data hatto qizil seld deb ataladi (so’zma-so’z "dudlangan seld" yolg’on iz, chalg’ituvchi narsa). Xo’sh, Big Data nima? Eng oson yo’li - bu Big Data-ni o’z-o’zidan qulab tushgan va yo’q joydan tushgan ma’lumotlar ko’chkisi shaklida tasavvur qilish yoki muammoni axborot muhitini tubdan o’zgartiradigan yangi texnologiyalarga kamaytirish yoki ehtimol Big Data bilan birgalikda biz texnologik inqilobning yana bir bosqichini boshdan kechirayapmizmi? Ehtimol, bu ham, boshqasi ham, uchinchisi va hali noma’lum. Katta ma’lumotlar iborasini o’z ichiga olgan to’rt milliondan ortiq veb-sahifalarning bir millionida ta’rif so’zi borligi ahamiyatlidir - Big Data haqida yozuvchilarning kamida to’rtdan biri o’z ta’rifini berishga harakat qilmoqda. Bunday ommaviy qiziqish, katta ma’lumotlarda, ehtimol, kundalik ong oldinga surayotgan narsadan sifat jihatidan farq qiladigan narsa borligini tasdiqlaydi.
Big Data-ning zikr qilingan aksariyat qismi qandaydir tarzda biznes bilan bog’liqligi noto’g’ri bo’lishi mumkin. Aslida, bu atama korporativ muhitda tug’ilgan emas, balki tahlilchilar tomonidan ilmiy nashrlardan olingan. Big Data - bu tug’ilgan kunining to’liq ishonchli sanasiga ega bo’lgan kam sonli ismlardan biri - 2008 yil 3 sentyabrda Britaniyaning eng qadimgi "Nature" ilmiy jurnalining "Katta hajmlar bilan ishlash imkoniyatlarini ochadigan texnologiyalar ilm-fan kelajagiga qanday ta’sir qilishi mumkin" degan savolga javob topishga bag’ishlangan maxsus soni chiqarildi. ma’lumotlar? " Ushbu maxsus nashr ma’lumotlarning umuman ilm-fandagi va xususan elektron fanlarda tutgan o’rni haqidagi oldingi bahslarni sarhisob qiladi.
Ma’lumotlarning fandagi o’rni juda uzoq vaqt davomida muhokama mavzusiga aylandi - ingliz astronomi Tomas Simpson 18-asrda "Astronomik kuzatishlarda raqamlardan foydalanishning afzalliklari to’g’risida" asarida birinchi bo’lib ma’lumotlarni qayta ishlash haqida yozgan, ammo faqat o’tgan asrning oxirida ushbu mavzuga qiziqish sezilarli bo’lib qoldi va ma’lumotlarni qayta ishlash o’tgan asrning oxirida, arxeologiyadan yadro fizikasiga qadar deyarli barcha fanlarda kompyuter usullari qo’llanilishi mumkinligi aniqlanganda paydo bo’ldi. Natijada, ilmiy uslublarning o’zi sezilarli darajada o’zgarib bormoqda. Kutubxona va laboratoriya so’zlaridan tashkil topgan neologizm kutubxonasi paydo bo’lishi bejiz emas, bu tadqiqot natijalari deb hisoblanishi mumkin bo’lgan tushunchadagi o’zgarishlarni aks ettiradi. Xozirgi kunga qadar faqat xomashyo eksperiment ma’lumotlari emas, balki olingan yakuniy natijalar hamkasblar hukmiga taqdim etilgan va hozirda turli xil ma’lumotlar "raqamli" ga tarjima qilinishi mumkin bo’lganida, har xil raqamli ommaviy axborot vositalari mavjud bo’lganda, nashr ob'ekti har xil o’lchovli ma’lumotlar bo’lishi mumkin va kutubxonada ilgari to’plangan ma’lumotlarni qayta ishlash imkoniyati alohida ahamiyatga ega. Va keyin ijobiy teskari aloqa rivojlanadi, buning natijasida ilmiy ma’lumotlarni to’plash jarayoni doimo tezlashadi. Shu sababli, bo’lajak o’zgarishlar ko’lamini anglagan holda, Nature Clifford Lynch muharriri Big Data yangi paradigmasi uchun maxsus nomni taklif qildi, u bu kabi metaforalar bilan o’xshashligini tanladi Big Ref, Big Ore va boshqalar, bu juda ko’p miqdordagi narsani aks ettiradi, miqdordan sifatga o’tish qancha.