Axborot texnologiyalari

Ma'lumotlar tuguni: Ma'lumotlar tuguni undagi ma'lumotlarni blok sifatida saqlaydi. Bu qul tuguni deb ham ataladi va u mijozning o'qishi va yozishi uchun javob beradigan HDFS-da haqiqiy ma'lumotlarni saqlaydi. Bu qullarning xizmatkorlari. Har bir ma'lumot tuguni har 3 soniyada Nom tuguniga Heartbeat xabarini yuboradi va uning tirik ekanligini bildiradi. Shu tarzda, Node tuguni ma'lumotlar tugunidan 2 daqiqa davomida yurak urishini qabul qilmasa, u ma'lumotlar tugunini o'lik deb qabul qiladi va boshqa ba'zi ma'lumotlar tugunlarida blokirovkalash jarayonini boshlaydi.
Ikkinchi darajali ism tuguni: Bu faqat ism tugunida joylashgan fayl tizimining metama'lumotlarini tekshirish punktlari haqida g'amxo'rlik qilishdir. Bu tugunni tekshirish punkti deb ham ataladi. Bu ism tuguni uchun yordamchi tugun.
Job Tracker: Job Tracker mijozdan Map Reduce bajarilishini talab qiladi. Ish izdoshi qayta ishlashda ishlatiladigan ma'lumotlarning joylashuvi to'g'risida bilish uchun Ism tuguni bilan suhbatlashadi. Ism tuguni kerakli ishlov berish ma'lumotlarining metama'lumotlari bilan javob beradi.
Vazifa Tracker: Bu Job Tracker uchun qul tugunidir va u Job Tracker-dan vazifani oladi. Shuningdek, u Job Tracker-dan kod oladi. Vazifa Tracker kodni oladi va faylga qo'llaniladi. Ushbu kodni faylga qo'llash jarayoni Mapper nomi bilan tanilgan.
Hadoop klasterida bitta nomli nom va ortiqcha ma'lumotlar kodlari klasteri mavjud ortiqcha nomenode uchun uning tanqidiyligi uchun imkoniyatlar mavjud. Har bir ma'lumotlar uzatish tarmog'i HDFS-ga xos blok protokoli yordamida ma'lumotlar bloklarini xizmat qiladi. Fayl tizimi foydalanadi TCP / IP rozetkalar aloqa uchun. Mijozlar foydalanadi masofaviy protsedura qo'ng'iroqlari (RPC) bir-biri bilan muloqot qilish.
HDFS katta hajmdagi fayllarni saqlaydi (odatda gigabaytdan terabaytgacha)) bir nechta mashinalar bo'ylab. Bu ishonchliligiga erishadi takrorlash ma'lumotlar bir nechta xostlar bo'yicha va shuning uchun nazariy jihatdan talab qilinmaydi ortiqcha mustaqil disklar qatori (RAID) xostlarda saqlash (lekin kirish-chiqish (I / U) ishlashini oshirish uchun ba'zi RAID konfiguratsiyalari hali ham foydalidir). Odatiy takrorlash qiymati 3 bilan ma'lumotlar uchta tugunda saqlanadi: ikkitasi bitta tokchada, ikkinchisi esa boshqa javonda. Ma'lumotlar tugunlari bir-biri bilan ma'lumotlarni qayta muvozanatlash, nusxalarini ko'chirish va ma'lumotlarning replikatsiyasini yuqori darajada ushlab turish uchun gaplashishi mumkin. HDFS POSIX-ga to'liq mos kelmaydi, chunki POSIX fayl tizimiga qo'yiladigan talablar Hadoop dasturining maqsadlaridan farq qiladi. To'liq POSIX talablariga javob beradigan fayl tizimiga ega bo'lmaganligi sababli ma'lumotlar samaradorligini oshiradi ishlab chiqarish va Append kabi POSIX bo'lmagan operatsiyalarni qo'llab-quvvatlash.
2012 yil may oyida HDFS-ga yuqori imkoniyatlar qo'shildi, NameNode deb nomlangan asosiy metadata serverini zaxira nusxasiga qo'lda bajarib bo'lmaydigan qilib qo'yish. Loyiha avtomatik ishlab chiqarishni ham boshladi muvaffaqiyatsizliklar.
HDFS fayl tizimiga o'z ichiga olgan narsa kiradi ikkilamchi nom, asosiy nomlash oflayn rejimda bo'lganda, ba'zilari noto'g'ri zaxira namenode deb talqin qilishi mumkin bo'lgan noto'g'ri atama. Aslida, ikkilamchi nomenod doimiy ravishda birlamchi nomenode bilan bog'lanib, asosiy nomenod katalogi ma'lumotlarining oniy rasmlarini tuzadi, so'ngra tizim mahalliy yoki uzoq kataloglarga saqlaydi. Ushbu tekshirilgan rasmlardan fayl tizimining barcha jurnallarini qayta ishlashga hojat qoldirmasdan, muvaffaqiyatsiz bo'lgan asosiy nomni qayta boshlash uchun, so'ngra zamonaviy katalog tuzilishini yaratish uchun jurnalni tahrirlash uchun foydalanish mumkin. Namenode metama'lumotlarni saqlash va boshqarish uchun yagona nuqta bo'lganligi sababli, u juda ko'p sonli fayllarni, ayniqsa ko'p sonli kichik fayllarni qo'llab-quvvatlash uchun to'siq bo'lib qolishi mumkin. HDFS Federatsiyasi, yangi qo'shimchalar, ushbu nom muammosini ma'lum nomenodlar tomonidan taqdim etiladigan bir nechta nom maydonlariga ruxsat berish orqali ma'lum darajada hal qilishga qaratilgan. Bundan tashqari, HDFS-da ba'zi muammolar mavjud, masalan, kichik fayl muammolari, o'lchamlarni oshirish muammolari, bitta nuqsonli nuqta (SPoF) va ulkan metamalumotlar so'rovlaridagi to'siqlar. Ish ta'qib qiluvchisi jadvallarni xaritada tuzadi yoki ma'lumotlar joylashuvi to'g'risida xabardorlik bilan ish joylarini qisqartiradi. Masalan: agar A tugunida ma'lumotlar mavjud bo'lsa (a, b, c) va X tugunida (x, y, z) ma'lumotlar mavjud bo'lsa, ish izlovchisi xaritani bajarish yoki (a, b, c) va tugun bo'yicha vazifalarni kamaytirish uchun A tugunini rejalashtiradi. X xaritani bajarishi yoki (x, y, z) bo'yicha vazifalarni qisqartirishi rejalashtirilgan bo'lar edi. Bu tarmoq orqali o'tadigan trafik miqdorini kamaytiradi va keraksiz ma'lumotlarni uzatishni oldini oladi.