Amaliy mashg‘ulot – 1 Mavzu: Big data va Hadoop ga kirish Ishning maqsadi

Hadoop klasterini tanishtirish va sozlash:
Hadoop sozlamalarining aksariyati XML konfiguratsiya fayllarida mavjud. Hadoop klasterini yaratish uchun biz bir nechta xml fayllarini sozlashimiz kerak. Barcha konfiguratsiya fayllari HADOOP_HOME conf katalogida saqlanadi.
• hadoop-env.sh da Java o'rnatish katalogiga ishora qilish uchun JAVA_HOME muhit o'zgaruvchisini aniqlangeksport JAVA_HOME=/usr/share/jdk
• 0.20 versiyasidan oldin bu XML fayllar hadoop-default.xml va hadoop-site.xml.
• hadoop-default.xml standart Hadoop sozlamalarini o'z ichiga oladi, agar ular hadoop-site.xml da aniq bekor qilinmasa.
• 0.20 versiyada hadoop-site.xml fayli uchta XML faylga ajratilgan: core-site.xml, hdfs-site.xml va mapred-site.xml.
• Hadoop klasterini yuqoridagi XML fayllarini o‘zgartirish orqali quyidagi 3 rejimdan birida sozlash mumkin.
Mahalliy (mustaqil) rejim
Pseudo-tarqatilgan rejim
To'liq taqsimlangan rejim
Mahalliy (mustaqil) rejim:
Mustaqil rejim Hadoop uchun standart rejimdir. Biz Hadoop manba paketini birinchi bo'lib ochganimizda, u bizning apparat sozlamalarimizni hisobga olmaydi. Hadoop konservativ bo'lishni tanlaydi va minimal konfiguratsiyani qabul qiladi
Barcha uchta XML fayli (yoki hadoop-sayt. xml 0 versiyasidan oldin).
Barcha uchta XML fayli (yoki hadoop-site.xml 0.20 versiyasidan oldin) ushbu standart rejimda bo'sh:





Uning asosiy qo'llanilishi MapReduce dasturining dastur mantig'ini demonlar bilan ishlashning qo'shimcha murakkabligisiz ishlab chiqish va disk raskadrovka qilishdir.
Pseudo-tarqatilgan rejim
Pseudo-tarqatilgan rejim Hadoop-ni "bitta klasterda" boshqaradi, barcha demonlar bitta mashinada ishlaydi. Ushbu rejim bizga xotiradan foydalanishni, HDFS kiritish/chiqarish muammolarini va boshqa daemon o'zaro ta'sirini tekshirishga imkon beradi. Listing 2.1 ushbu rejimda bitta serverni sozlash uchun oddiy XML fayllarini taqdim etadi.
hdfs-site.xml




dfs.replication
1
Haqiqiy replikatsiyalar soni fayl yaratilganda aniqlanishi mumkin.