Axborot texnologiyalari

Hadoop to'rtta asosiy moduldan iborat:
1. Hadoop Common – umumiy Java kutubxonalari va boshqa Hadoop modullari uchun zarur bo'lgan yordamchi dasturlarni o'z ichiga oladi.
2. Hadoop Distributed File System (HDFS) – klaster bo'ylab juda yuqori agregat o'tkazish qobiliyatini ta'minlovchi tovar mashinalarida ma'lumotlarni saqlaydigan taqsimlangan fayl tizimi. U standart yoki past darajadagi apparatda ishlaydi. HDFS an'anaviy fayl tizimlariga qaraganda yaxshiroq ma'lumot uzatishni ta'minlaydi, bundan tashqari, yuqori nosozliklarga chidamlilik va katta ma'lumotlar to'plamlarini mahalliy qo'llab-quvvatlash.
3. Hadoop YARN – U klasterlarda hisoblash resurslarini boshqarish va ulardan foydalanuvchilarning ilovalarini rejalashtirishda foydalanish uchun javobgardir. U klaster tugunlari va resurslardan foydalanishni boshqaradi va nazorat qiladi. U ish va vazifalarni rejalashtiradi.
4. Hadoop MapReduce – bu keng miqyosli ma’lumotlarni qayta ishlash uchun MapReduce dasturlash modelining amalga oshirilishi. Bu dasturlarga ma'lumotlar bo'yicha parallel hisoblashni amalga oshirishga yordam beradigan ramka. Xarita vazifasi kirish ma'lumotlarini oladi va uni asosiy qiymat juftlarida hisoblash mumkin bo'lgan ma'lumotlar to'plamiga aylantiradi. Xarita topshirig'ining chiqishi jamlangan chiqish va kerakli natijani ta'minlash uchun vazifalarni kamaytirish orqali iste'mol qilinadi.

Hadoop tarqatilgan fayl tizimi

The Hadoop tarqatilgan fayl tizimi (HDFS) tarqatilgan, kengaytiriladigan va ko'chma fayl tizimi Hadoop ramkasi uchun Java-da yozilgan. Ba'zilar buni o'rniga a deb hisoblashadi ma'lumotlar do'koni uning etishmasligi tufayli POSIX muvofiqlik, lekin u qobiq buyruqlari va Java dastur dasturlash interfeysi (API) ni taqdim etadi usullari boshqa fayl tizimlariga o'xshash. Hadoop HDFS va MapReduce-ga bo'linadi. HDFS ma'lumotlarni saqlash uchun, MapReduce esa ma'lumotlarni qayta ishlash uchun ishlatiladi,

HDFS quyidagi beshta xizmatga ega:

1. 
   Tugun nomi
   
2. 
   Ikkinchi darajali ism tuguni
   
3. 
   Ish izdoshi
   
4. 
   Ma'lumotlar tuguni
   
5. 
   Vazifa kuzatuvchisi
   

Birinchi uchligi Master Services / Daemons / Tugunlari va pastki ikkitasi qul xizmatlari. Master Services bir-biri bilan va xuddi shu tarzda qul xizmatlari bir-biri bilan aloqa o'rnatishi mumkin. Ism tuguni - bu asosiy tugun va Ma'lumotlar tuguni unga mos keladigan qul tugunidir va bir-biri bilan gaplasha oladi.
Ism tuguni: HDFS faqat bitta tugun nomidan iborat bo'lib, u asosiy tugun deb nomlanadi. Asosiy tugun fayllarni kuzatishi, fayl tizimini boshqarishi va tarkibidagi barcha saqlangan ma'lumotlarning metama'lumotlariga ega bo'lishi mumkin. Xususan, ism tugunida bloklar sonining tafsilotlari, ma'lumotlar saqlanadigan ma'lumotlar tugunining joylashuvi, replikatsiyalar saqlanadigan joy va boshqa ma'lumotlar mavjud. Ism tuguni mijoz bilan bevosita aloqada.