Kerakli xizmatlarni qanday ishga tushirish va virtual mashina ichida hamma narsa ishlayotganligini tekshirish

Kerakli xizmatlarni qanday ishga tushirish va virtual mashina ichida hamma narsa ishlayotganligini tekshirish. Doktor Leon Kos ushbu testlarni tushuntiradi.

Pastki chap tarafdagi qora belgini bosish orqali terminalni oching va yozing (esda tutingki, bu belgi $siz kiritgan buyruqning bir qismi emas, balki terminaldagi so'rovdi


RStudio GUI-ni ochish uchun. Biz R skript faylini ochishimiz va uni (masalan, init.R) mahalliy yoki biz tanlagan boshqa papkaga saqlashimiz kerak. Keyinchalik, quyidagi satrlarni skript fayliga nusxalash va ularni bajarish orqali tizim o'zgaruvchilarini o'rnatishimiz kerak:
Sys.setenv(HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib/native")
Sys.setenv(HADOOP_HOME="/usr/local/hadoop")
Sys.setenv(HADOOP_CMD="/usr/local/hadoop/bin/hadoop")
Sys.setenv(HADOOP_STREAMING="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar")
Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64")
Shu bilan bir qatorda, RStudio ning GUI terminalida yuqoridagi qatorlarni birma-bir bajarishimiz mumkin.
Biz (RStudio GUI terminalida) RHadoopni kutubxonalarni yuklash rhdfsva rmr2bajarish orqali yuklaymiz hdfs.init():
library(rhdfs)
library(rmr2)
hdfs.init()
Siz jurnalni va ba'zi ogohlantirish xabarlarini ko'rishingiz mumkin, lekin yuqoridagi buyruqlarni bajarishda fayl tizimi xatosi yo'q. Ba'zi gliflarni ko'rsatish xatolari bo'lishi mumkin, biz ularni e'tiborsiz qoldiramiz.
stop-yarn.shHadoop serverlaridan chiqish va stop-dfs.shterminalda o'xshash buyruqlar yordamida to'xtatishga harakat qiling .
//////////////////////////////////////////////////////////////////////////////
R Hadoop - Katta ma'lumotlar uchun juda mos keladi
Rhadoop, RHIVE, RHIPE va Hadoop Streaming kabi vositalar yordamida katta ma'lumotlar tahlili uchun R va Hadoopni qanday qilib birlashtirish mumkinligini tushuning.
Odamlar katta ma'lumotlar tahlili va Hadoop haqida gapirganda, ular ma'lumotlarni tahlil qilish uchun asosiy vositalar sifatida Pig, Hive va Impala kabi texnologiyalardan foydalanish haqida o'ylashadi . Ammo, agar siz ushbu vositalarni ma'lumotlar olimlari yoki ma'lumotlar tahlilchilari bilan muhokama qilsangiz, ular katta ma'lumotlar manbalari va Hadoop bilan ishlashda ularning asosiy va sevimli vositasi ochiq kodli statistik modellash tili ekanligini aytishadi - R. R dasturlash tili ma'lumotlar orasida afzal qilingan tanlovdir. katta ma'lumotlar loyihasining muhim tarkibiy qismlarini - ma'lumotlarni tayyorlash , tahlil qilish va korrelyatsiya qilish vazifalarini bajaradigan boy ekotizim tufayli tahlilchilar va ma'lumotlar olimlari

R va Hadoop tabiiy do'st emas edilar, lekin Rhadoop, RHIVE va RHIPE kabi yangi paketlar paydo bo'lishi bilan - ikki xil ko'rinadigan texnologiyalar, katta ma'lumotlarni tahlil qilish va vizualizatsiya qilish uchun bir-birini to'ldiradi. Hadoop - bu katta hajmdagi ma'lumotlarni iqtisodiy xarajatlar bilan saqlash uchun mo'ljallangan yirik ma'lumotlar texnologiyasi va R dasturlash tili statistik ma'lumotlarni tahlil qilish va vizualizatsiya qilish uchun ma'lumotlar fanining asosiy vositasidir . R va Hadoop birgalikda biznes uchun jiddiy katta ma'lumotlarni tahlil qilish uchun beqiyos ma'lumotlarni sindirish vositasi bo'lib chiqdi.


Aksariyat Hadoop foydalanuvchilari ko'pincha bu savolni berishadi - "Katta ma'lumotlar tahlili uchun R va Hadoopni birlashtirishning eng yaxshi usuli qanday?". Bunga javob turli omillarga bog'liq, masalan, ma'lumotlar to'plamining o'lchami, ko'nikmalar, byudjet, boshqaruv cheklovlari va boshqalar. Bu post kengayishi, barqarorligi va tezligiga erishish uchun katta ma'lumotlar tahlilini amalga oshirish uchun R va Hadoop'dan birgalikda foydalanishning turli usullarini umumlashtiradi.