Amaliy mashg‘ulot – 1 Mavzu: Big data va Hadoop ga kirish Ishning maqsadi

Hadoop-ning qurilish bloklari:
To'liq sozlangan klaster, "Hadoopni ishga tushirish" tarmog'ingizdagi turli serverlarda bir qator demonlar yoki rezident dasturlarni ishga tushirishni anglatadi.Bu demonlarning o'ziga xos rollari bor; ba'zilari faqat bitta serverda, ba'zilari esa bir nechta serverlarda mavjud.Demonlar o'z ichiga oladi
■ NameNode
■ DataNode
■ Ikkilamchi y NameNode
■ JobTracker
■ TaskTracker
NameNode
Hadoop ham taqsimlangan saqlash, ham taqsimlangan hisoblash uchun master/slave arxitekturasidan foydalanadi.Tarqalgan saqlash tizimi Hadoop Distributed File System yoki HDFS deb ataladi.
NameNode - bu HDFS-ning ustasi bo'lib, u past darajadagi kiritish-chiqarish vazifalarini bajarish uchun qul DataNode demonlarini boshqaradi.
NameNode HDFS buxgalteridir; u sizning fayllaringiz qanday fayl bloklariga bo'linganligini, qaysi tugunlar ushbu bloklarni saqlashini va tarqatilgan fayl tizimining umumiy holatini kuzatib boradi.
NameNode-ni o'z ichiga olgan server odatda hech qanday foydalanuvchi ma'lumotlarini saqlamaydi yoki MapReduce dasturi uchun hisob-kitoblarni amalga oshirmaydi.
NameNode ning salbiy tomoni shundaki, agar NameNode muvaffaqiyatsiz bo'lsa, butun Hadoop klasteri muvaffaqiyatsiz bo'ladi.
DataNode
HDFS klasteridagi har bir qul mashinasi mahalliy fayl tizimidagi haqiqiy fayllarga HDFS bloklarini o'qish va yozishni amalga oshirish uchun DataNode demoniga ega bo'ladi.Biz HDFS faylini o‘qish yoki yozishni istasak, fayl bloklarga bo‘linadi va NameNode mijozingizga har bir blok qaysi DataNode joylashganligini aytib beradi. Sizning mijozingiz bloklarga mos keladigan mahalliy fayllarni qayta ishlash uchun DataNode demonlari bilan bevosita bog‘lanadi.DataNode o'z ma'lumotlar bloklarini ortiqcha uchun takrorlash uchun boshqa DataNode bilan bog'lanishi mumkin
Ikkilamchi Namenode
Ikkilamchi NameNode (SNN) HDFS klasterining holatini kuzatish uchun yordamchi xizmatchidir.Har bir klasterda bitta SNN mavjud.SNN klaster konfiguratsiyasi tomonidan belgilangan vaqt oralig'ida HDFS metama'lumotlarining suratlarini olish uchun NameNode bilan bog'lanadi.NameNode Hadoop klasteri uchun yagona muvaffaqiyatsizlik nuqtasi bo'lib, SNN oniy tasvirlari ishlamay qolish va ma'lumotlar yo'qotilishini minimallashtirishga yordam beradi.NameNode xatosi SNNni asosiy NameNode sifatida ishlatish uchun klasterni qayta sozlash uchun inson ishtirokini talab qiladi.
JobTrackerJob
Tracker demoni ilovangiz va Hadoop o'rtasidagi bog'lovchidir.Kodimizni klasterga yuborganimizdan so'ng, JobTracker qaysi fayllarni qayta ishlash kerakligini aniqlash orqali bajarish rejasini aniqlaydi, turli vazifalarga tugunlarni tayinlaydi va barcha vazifalar bajarilayotganda ularni nazorat qiladi.Agar topshiriq bajarilmasa, JobTracker avtomatik ravishda vazifani, ehtimol boshqa tugunda, oldindan belgilangan takroriy urinishlar chegarasigacha qayta ishga tushiradi.Har bir Hadoop klasterida faqat bitta JobTracker demoni mavjud. U odatda serverda klasterning asosiy tuguni sifatida ishlaydi.
TaskTracker
Saqlash demonlari kabi, hisoblash demonlari ham master/slave arxitekturasiga amal qiladi: JobTracker MapReduce ishining umumiy bajarilishini nazorat qiluvchi ustadir va TaskTrackers har bir qul tugunidagi individual vazifalarning bajarilishini boshqaradi.2.2-rasmda bu o'zaro ta'sir ko'rsatilgan