Axborot texnologiyalari

5. Muvaffaqiyatsizlikka chidamli
Hadoop-dan foydalanishning asosiy afzalligi uning xatolarga chidamliligidir. Ma'lumotlar alohida tugunga yuborilganda, bu ma'lumotlar klasterdagi boshqa tugunlarga ham takrorlanadi, ya'ni muvaffaqiyatsizlikka uchragan taqdirda foydalanish uchun boshqa nusxa mavjud.Shunday qilib, biz Apache-ning HADOOP ochiq kodli dasturiy ta'minoti asosan taqsimlangan hisoblash tizimi yondashuviga asoslanganligini bilib oldik.Hadoop ekotizimi Apache Hadoop dasturiy ta'minot to'plamidan iborat bo'lib, u ham deb ataladi Hadoop Big Data vositalari (https://hevodata.com/learn/top-11-hadoop-big-data-tools/). Ushbu vositalar katta ma'lumotlar muammolarini hal qilish uchun ishlatilishi mumkin bo'lgan keng ko'lamli odatiy echimlar va vositalar bilan to'liq jihozlangan Apache ochiq manba loyihalarini o'z ichiga oladi. Ushbu to'plamdagi ba'zi mashhur nomlar orasida Apache Spark, Apache Pig, MapReduce va HDFS mavjud. Ushbu komponentlar saqlash, singdirish, tahlil qilish va ma'lumotlarni saqlash.
Bir yarim yarim yillik rivojlanishdan so'ng, Apache dasturiy ta'minot fondi chiqdi ning yangi versiyasini ishga tushirish Apache Hadoop 3.3.0, versiya unda ARM platformalari uchun yaxshilanishlarni qo'shdi, konteynerni ishga tushirishni va boshqa narsalarni rejalashtirishni qo'llab-quvvatlash.Apache Hadoop o'zini erkin platforma sifatida egallaydi tashkil qilish yordamida katta hajmdagi ma'lumotlarni tarqatilgan ishlov berish xarita qisqartirish paradigmasi, unda vazifa ko'plab kichik ajratilgan qismlarga bo'linadi, ularning har biri alohida klaster tugunida ishlashi mumkin.Hadoop-ga asoslangan saqlash u minglab tugunlarni qamrab olishi va eksabayt ma'lumotlarini o'z ichiga olishi mumkin.Parallel va taqsimlangan hisoblash jarayonlarini tushunish Apache Hadoop va Apache Spark texnologiyalarining katta hajmli ma’lumotlar tahlilida qanday ishlatilishini tushunishga yordam beradi. Ikkala jarayon ham hisoblashni kichik qismlarga bo’lib amalga oshirgani uchun, ular orasidagi farqni tushunish biroz qiyin. Parallel va taqsimlangan hisoblashlar orasidagi farq xotira arxitekturasida.
Parallel hisoblash jarayoni masalani yechish uchun bir vaqtda birdan ortiq protsessordan foydalanadi, taqsimlangan hisoblash jarayoni esa masalani yechish uchun bir vaqtda birdan ortiq komputerdan foydalanadi.
Apache Hadoop katta hajmli ma’lumotlar tahlili uchun ochiq manbali freymvorklar bo’lib, bir nechta farqlarga ega.