Katta ma'lumotlar

Big data nima? Aslida, atamaning ta'rifi tarjimasidan yuzaga chiqadi: "katta ma'lumotlar" juda katta hajmdagi ma'lumotlarni boshqarish va ularni tahlil qilishni anglatadi. Agar siz kengroq qarasangiz, bu juda katta hajm tufayli klassik usullar bilan qayta ishlanmaydigan ma'lumotlar.
Big data(katta ma'lumotlar) - juda katta hajmdagi bir jinsli bo'lmagan va tez tushadigan raqamli ma'lumotlar bo'lib, ularni odatiy usullar bilan qayta ishlab bo'lmaydi. Ba'zi hollarda, katta ma'lumotlar tushunchasi bilan birga shu ma'lumotlarni qayta ishlash ham tushuniladi. Asosan, analiz obyekti katta ma'lumotlar deb ataladi.
Big data atamasi 2008-yilda dunyoga kelgan. Nature jurnali muharriri Klifford Linch dunyo ma'lumotlar hajmining juda tez sur'atda o'sishiga bag'ishlangan maxsus sonida big data atamasini qo'llagan. Biroq, katta ma'lumotlar avval ham bo'lgan. Mutaxassislarning fikricha, kuniga 100 gb dan ko'p ma'lumot tushadigan oqimlarga big data deb aytilar ekan.
Katta ma'lumotlarni analiz qilish, inson his etish imkoniyatidan tashqarida bo'lgan qonuniylatlarni aniqlashda yordam beradi. Bu esa kundalik hayotimizdagi barcha sohalar, hukumatni boshqarish, tibbiyot, telekommunikatsiya, moliya, transport, ishlab chiqarish va boshqa sohalarni yanada yaxshilash, ularning imkoniyatlarini oshirish, muommolarga muqobil yechimlar izlab topish imkonini yaratadi.
Big Data texnologiyalarini bozorga va zamonaviy hayotga faol joriy etish, dunyoning taniqli kompaniyalari dunyoning deyarli har bir burchagida o'z mijozlariga ega bo'lganlaridan foydalanishni boshlaganidan keyin boshlandi.
Bu Facebook va Google, IBM kabi ijtimoiy gigantlar, shuningdek Master Card, VISA va Bank of America singari moliyaviy tuzilmalardir.
Katta ma'lumotlarning eng katta muammosi - uni qayta ishlashning narxi. Bunga qimmatbaho uskunalar va katta miqdordagi ma'lumotlarga xizmat ko'rsatadigan malakali mutaxassislarning ish haqi xarajatlari ham kirishi mumkin. Shubhasiz, uskunalar doimiy ravishda yangilanib turilishi kerak, shunda u ma'lumotlarning ko'payishi bilan minimal ish qobiliyatini yo'qotmaydi.
Ikkinchi muammo yana qayta ishlanishi kerak bo'lgan juda ko'p ma'lumotlar bilan bog'liq. Agar, masalan, tadqiqot 2-3 emas, balki ko'p sonli natijalarni beradigan bo'lsa, ob'ektiv bo'lib qolish va umumiy ma'lumot oqimidan faqat hodisaning holatiga real ta'sir ko'rsatadigan narsalarni tanlash juda qiyin.
Information Services Group (ISG) 2018-yilda ma'lum qilishicha, kompaniyalarning 92 foizi 2020 yilga kelib robotlashtirilgan jarayonlarni avtomatlashtirishni (RPA) joriy etishni maqsad qilgan, chunki ular operatsion samaradorlikni oshirishni xohlashadi. Bu katta raqam kompaniyalarning muntazam biznes jarayonlarini avtomatlashtirishga intilishlarini aks ettiradi. Va bu yo’lda ular katta ma’lumotlardan (big data) foydalanishni yo’lga qo’yish boshlandi.
Katta ma'lumotlar bugungi kunda shunchalik katta ishki, hatto kichik va o'rta miqyosdagi kompaniyalar ham foyda olishni istagan barcha katta ma'lumotlar imtiyozlarini ko'rib chiqadilar. Katta ma'lumotlarning ko'plab afzalliklari bor, lekin eng katta afzallik - bu hayratlanarli miqdorda ma'lumot to'plash va keyin Internetdan olingan barcha ma'lumotlarni tahlil qilish. "Katta ma'lumotlar" atamasi nisbatan yangi, ammo kontseptsiya uzoq vaqt davomida robototexnika olamining bir qismi bo'lib kelgan. Auton Lab direktori Artur Dubrawski shunday deydi: "Robotexnika boshidanoq har doim ma'lumotlar bilan bog'liq edi". Robot texnikasining operativ ta'rifi tsiklda quyidagi ketma-ketlikni bajarishdan iborat: sezish, rejalashtirish va harakat qilish.
Robot atrofida va uning atrofida sodir bo'layotgan deyarli barcha harakatlar robotlar tomonidan qabul qilinadi. Robotlar atrofida nimalar sodir bo'layotganidan xabardor bo'lish uchun o'rnatilgan sensorlar orqali his qiladi va idrok qiladi. Murakkab muhitda istalgan maqsad va ishonchlilikka erishish uchun rejalashtirish zarur. Shuningdek, rejalashtirilgan maqsadlarga erishish uchun rejalashtirilgan harakatlarni bajarish va nazorat qilish shart. Yuqoridagi barcha qadamlar katta hajmdagi ma'lumotlardan foydalanishni o'z ichiga olganini payqadingizmi? Sensor uchun mo'ljallangan ko'p sonli modullar mavjud, ulardan ba'zilari diapazon, joylashuv, vizual va taktil sensorlar va boshqa modullarni o'lchaydigan sensorlardir. Ushbu sensorlarning ba'zilari katta hajmdagi ma'lumotlarni ishlab chiqaradi. Sun'iy intellekt 1986-yilda ancha oldin tashkil etilgan Sun'iy intellekt va robototexnika markazi sifatida Mudofaa tadqiqotlari va ishlanmalari tashkilotining (DRDO) bir qismi bo'lgan. Robototexnika hech narsani belgilamagan, lekin katta ma'lumotlar bilan ishlashning uzoq tarixiga ega.
Dubrawskining so'zlariga ko'ra, "AI tomonidan qo'llab-quvvatlanadigan robototexnika texnologiyasi har doim paydo bo'lganidan boshlab analitika bilan bog'liq". Uning fikricha, robotlar o‘z sensorlari orqali ma’lumotlarni sezish va idrok etish qobiliyatiga ega. Keyin ular idrok etganlarini rejalashtirish orqali harakatlar bilan bog'laydilar. Demak, barcha bosqichlarda ma'lumotni tahlil qilish va qayta ishlashni ma'no, rejalashtirish va harakat qilish tsiklida amalga oshirish. Ko'p yillar davomida biz texnologiyalarga tayandik va mashinani o'rganish va boshqa ko'plab metodologiyalardan tahlillarni oldik. Biroq, robototexnika vaqti-vaqti bilan o'ziga xos tadqiqot va texnikalarni taklif qildi. Ushbu usullar odatda robototexnika bilan bog'liq muammolarni hal qilish uchun mo'ljallangan, ammo keyinchalik ular har qanday dastur uchun ishlatilishi mumkin.
Robotlar bilan integratsiya qilish jarayonida big data texnologiyasi asosan, o’z tarifidan kelib chiqqan xolda katta xajmda ma’lumotlar bilan ishlashda, ular ustida turli xil amallar bajarishda juda qo’l keladi. Odamlar robot so'zini eshitganda, ular sanoat robotlari va odamsimon robotlar haqida o'ylashadi. Iqtisodiyot, savdo va sanoat vazirligi huzuridagi Robot siyosatini o'rganish qo'mitasi robotni uchta texnik komponentdan tashkil topgan mexanizm sifatida belgilaydi: sensorlar, aqlli boshqaruv tizimi va quvvat poezdi. Qo'mita robotni aql-idrokka ega mexanik tizim sifatida ko'radi. Biroq, robot texnologiyasi qo'llaniladigan sohalar kengayib borayotganligi sababli, yuqoridagi ta'rif ham kengaytirilmoqda.
Xozirga kelib Big Data texnologiyasini istalgan soxada uchratish mumkin, qishloq xo’jalikdan tortib medtsina soxalarida. Va bu asosan kata malumotlarni to’plab, qayta ishlab turli xil prognoxlar berishda foydalanib kelinmoqda. Katta ma'lumotlarni to'plash va qayta ishlash uchun dasturiy ta'minot (dasturiy ta'minot), texnik vositalar, ma'lumotlar bazasi tizimining arxitekturasini yaratish, infratuzilmani tartibga solish va optimallashtirish, ma'lumotlarni saqlash xavfsizligini ta'minlash xizmatlarini o'z ichiga olgan dasturiy ta'minot va texnologik komplekslardan foydalaniladi. Dasturiy ta'minot sohasida katta ma'lumotlarni qayta ishlashning eng keng tarqalgan yondashuvlariga ustunli DBMS, No SQL, New SQL, Hadoop, In-memory Data Base, SAP HANA kiradi.
Katta ma'lumotlar bozorida turli ishlab chiqaruvchilarning ko'plab echimlari mavjud bo'lib, ular shartli ravishda quyidagi toifalarga bo'linadi: infratuzilma provayderlari (IBM, SAP, Microsoft, Oracle va boshqalar) ma'lumotlarni saqlash va qayta ishlash muammolarini hal qiladi; tizim integratorlari (Krok, Force va boshqalar) katta ma'lumotlarni tahlil qilish tizimlarini o'rnatmoqda; katta ma'lumotlar tahlilchilari (Yandex, Algomost, Consulting, Glowbyte, CleverData va boshqalar) katta ma'lumotlardan qiymat chiqarishga yordam beradigan algoritmlarni ishlab chiqadi; Katta ma'lumotlarga asoslangan tayyor xizmatlarni ishlab chiquvchilar katta ma'lumotlar texnologiyalaridan foydalanuvchilar doirasini kengaytirib, hatto kichik biznes uchun ham bunday imkoniyatni taqdim etadilar.
Big Data texnologiyasining afzalliklari
Hozirgi vaqtda axborot asosiy resurs hisoblanadi, shuning uchun katta ma'lumotlar to'plamlarini analitik qayta ishlashning afzalliklari aniq:
1. Eng yaxshi biznes yondashuvini tanlash - katta ma'lumotlarga asoslanib, to'g'ri qaror qabul qilish osonroq.
2. Qarorlarni qabul qilish tezligi. Axborot oqimlari real vaqt rejimida tahlil qilinadi, bu qarorlar qanchalik tez qabul qilinishi va kerakli natijaga olib kelishi uchun tuzatilishiga ta'sir qiladi.
3. Tahlilni amalda qo'llash oson. Qanchalik ko'p ma'lumotlar mavjud bo'lsa, kerakli auditoriyaning xatti-harakatlarini taxmin qilish va mijozga eng qulay vaqtda - odamning o'zi sizning mahsulotingizni qidirayotganda borish osonroq bo'ladi.
4. Qonuniyliklarni ajratish va bashorat qilish. Katta ma'lumotlar texnologiyalari real vaqt rejimida aniq bo'lmagan naqshlarni ko'rsatadigan haqiqatga yaqin statistik modellarni yaratadi, bu esa marketologlarning ishini osonlashtiradi. Masalan, ma'lum bir mavzu bo'yicha munozaralarning ko'payishi, mavsumiy bayramlar muayyan mahsulotlarga bo'lgan talabni oshirishi mumkin.
5. Matematik jihatdan to'g'ri ko'rsatkichlar. Katta ma'lumotlarni tahlil qilish nima uchun hamma narsa shunday bo'layotganini, kelajakda nima kutish kerakligini va kerakli natijaga erishish uchun nima qilish kerakligini aniq javob berishga va isbotlashga qodir.