Statistik tahlil – bu katta ma’lumotlarda ular orasidagi qonuniyatlarni va umumiy bog‘liqlik holatlarini aniqlsh uchun ma’lumotlarni yig’ish va tahlil qilish jarayonidir.
Statistik tahlil bosqichlari
1-qadam: tahlil qilish kerak bo'lgan ma'lumotlarning mohiyatini aniqlash va tavsiflash.
2-qadam: keyingi qadamda tahlil qilingan ma'lumotlar va ular orasidagi bog’lanishlarni ifodalovchi model qurish.
3-qadam: ma'lumotlar o'rtasidagi munosabatlarni aniq ko'rsatuvchi va to‘g‘riligiga ishonch hosil qilish.
4-qadam: modelning haqiqiyligini isbotlash yoki rad etish.
5-qadam: kelajakdagi yangi ma’lumotlar asosida qarorlarni shakllantirish uchun bashoratli tahlildan foydalanish.
Quyida keltirilgan statistik tahlil jarayonini o‘tkazish uchun talab qilinadigan 5 bosqich keltiril:
Data Mining DM - bu ma'lumotlar to'plamidan asosiy bilimlarni kashf qilish jarayoni
Strukturlangan ma'lumotlar elektron jadvaldan, relyatsion ma'lumotlar bazalaridan va boshqalardan olinadi.
DM katta ma'lumotlar to'plamlarini qayta ishlashga qodir, ammo ma'lumotlarni qayta ishlash qiymati (cost) yuqori.
DM faqat gigabaytdan terabaytgacha bo'lgan ma'lumotlar to'plamini qayta ishlashi mumkin.
Big Data Katta ma'lumotlar hajmi, tezligi va xilma-xilligi bilan tavsiflangan katta hajmdagi ma'lumotlarni anglatadi
NoSQl kabi aloqador bo'lmagan ma'lumotlar bazalaridan olingan strukturalangan, strukturalanmagan yoki yarim strukturalangan ma'lumotlardan tashkil topadi.
Katta ma'lumotlar vositalari va texnologiyalari nisbatan arzon narxlarda katta hajmdagi ma'lumotlarni saqlash va qayta ishlashga qodir
Katta ma'lumotlar texnologiyasi petabaytdan zettabaytgacha bo'lgan ma'lumotlarni saqlash va qayta ishlashga qodir.
Big Data hayot sikli (Life Cycle)
Ma'lumotlarni yig'ish (Data Aggregation)
Katta ma'lumotlarning hayot siklining ma'lumotlarni yig'ish bosqichi “xom” ma'lumotlarni yig'ish, ma'lumotlarni saqlash platformasiga uzatish va ularni oldindan qayta ishlashni o'z ichiga oladi.
