Rivojlantirish vazirligi muhammad al xorazmiy nomidagi toshkent axborot texnologiyalari universiteti

Sqoop – tuzilgan do'konlar (masalan, aloqador ma'lumotlar bazalari) va HDFS o'rtasida samarali ommaviy ma'lumotlarni uzatish vositasidir .
Oozie — Hadoop ishga tushirish va ishni rejalashtirish xizmati ( shu jumladan MapRe¬duce, Pig, Hive va Sqoop jobs ishlar ).
Hadoop nashrlari
Hadoop qaysi versiyasi foydalanishga arziydimi? Albatta, bu savolga javob ¬vaqt o'tishi bilan o'zgaradi va sizga qanday funksionallik kerakligiga bog'liq. Ushbu bo'limda so'nggi Hadoop relizlar seriyasining yuqori darajadagi xususiyatlari qisqacha tasvirlangan .
Bir nechta faol relizlar seriyasi mavjud. Seriya 1. x 0.20 versiyasining davomi bo'lib, ¬Hadoopning eng barqaror versiyalarini o'z ichiga oladi hozirdan ¬mavjud. Ushbu seriya Kerberos autentifikatsiyasini qo'llab-quvvatlashni o'z ichiga oladi, Hadoop ma'lumotlariga ruxsatsiz kirishning oldini olish (sm.
"Xavfsizlik", p. 419 ). Ishlab chiqarishdagi deyarli barcha klasterlar ¬ushbu versiyalar yoki hosilalardan foydalanadi (masalan, tijorat tarqatish).
Seriya 0.22 va 2. x 1 hali barqaror emas (2012 yil boshida), lekin bu vaqt o'tishi bilan o'zgarishi mumkin, chunki ular haqiqiy ishda yaxshiroq sinovdan o'tgan ( oxirgi holat ma'lumotlari uchun Apache nashri sahifalariga qarang) Hadoop ). Seriya 2.x _ bir qator muhim yangi xususiyatlarni o'z ichiga oladi:
MapReduce deb nomlangan yangi MapReduce ish vaqti haqida 2 ¬yangi YARN tizimiga asoslangan ( Hali Boshqa manba Negotiator - tarqatilgan ilovalar uchun umumiy resurslarni boshqarish tizimi. MapReduce 2 oldingi versiyalarning "klassik" ish vaqtini almashtiradi. MapReduce -ning batafsil tavsifi 2 YARN da berilgan ( MapReduce 2)" bet. 265 .
HDFS haqida federatsiya - HDFS nom maydonini bo'lish mexanizmi juda ko'p sonli fayllarga ega klasterlarni qo'llab-quvvatlash uchun nom tuguniga ko'ra. HDFS ga qarang _ Federatsiya " bet . 84 .
HDFS High Availability Engine haqida arxitekturadan nom tugunlari ko'rinishidagi yagona nosozlik nuqtalarini yo'q qiladi; buning uchun sog'liqni tiklashni ta'minlash uchun kutish nomi tugunlari saqlanadi. HDFS High Availability sahifasiga qarang . 85 .
Jadvalda. 1.2 faqat HDFS xususiyatlarini ko'rsatadi va MapReduce . Boshqa Hadoop ekotizim mahsulotlari ham doimiy ravishda rivojlanib boradi va birgalikda yaxshi ishlaydigan komponentlar to'plamini tanlash qiyin bo'lishi mumkin. Yaxshiyamki , bu ishni o'zingiz qilishingiz shart emas ¬.
Hadoop va Linux paketlarini taqdim etadi ( RPM va Debian paketlari ) oson o'rnatish uchun. Bundan tashqari, ba'zi tijorat firmalari Hadoop tarqatishlarini taklif qilishadi. mos keladigan komponentlar to'plami bilan.
Jadvalda. 5.2 faqat HDFS va MapReduce xususiyatlariga ega. Hadoop ekotizimidagi boshqa mahsulotlar ham doimiy ravishda rivojlanib bormoqda va birgalikda yaxshi ishlaydigan komponentlar to'plamini tanlash qiyin bo'lishi mumkin. Yaxshiyamki, bu ishni o'zingiz qilishingiz shart emas.
Hadoop va oson o'rnatish uchun Linux paketlarini (RPM va Debian paketlari) taqdim etadi. Shuningdek, ba'zi tijorat kompaniyalari Hadoop-ni mos keladigan komponentlar to'plami bilan tarqatishni taklif qilishadi.