Apache Pig pig dili

Apache Pig
PIG dili
Pig də həmçinin, Hadoop və MapReduce ilə istifadə edilən verilənlər manipulyasiyası üçün yüksək səviyyəli bir skript dili / platformasıdır. Pig, Hive ilə müqayisədə, verilənlər axınları üzərində daha çox nəzarəti təmin edir və beləliklə ETL kimi verilənlər axınlarına böyük nəzarət tələb edən problemləri həll etməkdə üstündür (Cədvəl 5.1).
Cədvəl 5.1. Apache Pig və Apache Hive
platformaları arasında müqayisə

Apache Pig	Apache HİVE
Pig, Pig Latın adlanan bir dil istifadə edir. Əvvəlcə Yahoo-da yaradılmışdır.	Hive, HiveQL adlı bir dil istifadə edir. Əvvəlcə Facebook-da yaradıldı.
Pig Latın məlumat axını dilidir.	HiveQL bir sorğu emal dilidir.
Pig Latın dili prosedur dildir və verilənlər axını kəmər (pipeline) paradiqmasına uyğundur.	HiveQL, SQL kimi deklarativ bir dildir.
Pig strukturlaşdırılmış, strukturlaşdırılmamış və yarı strukturlaşdırılmış verilənləri idarə edə bilər.	Hive daha çox strukturlaşdırılmış verilənlər üçün istifadə olunur.

Pig həmçinin müvəqqəti işləmə və sürətli prototipləşdirmə ilə əlaqəli tapşırıqları yerinə yetirmək üçün də istifadə olunur. Məsələn, veb qeydləri kimi nəhəng verilənlər mənbələrini işləmək və axtarış motorları üçün verilənlər emalını həyata keçirmək. Pig-in bir ssenari hissəsi və bir icra hissəsi var. Pig Latın dili yüksək səviyyəli kod hazırlamaq üçün ssenari dilidir. Verilənlər üzərində müxtəlif əməliyyatlar yerinə yetirmək üçün zəngin bir verilənlər tipi, funksiya və əməliyyatçı dəsti təmin edir. Bu skript daha sonra təhlil olunur, optimallaşdırılır və MapReduce kodu yaratmaq üçün Pigt Engine tərəfindən işə salınır və daha sonra işləyən istifadəçiyə nəticələri verir. Beləliklə, Pig, Big Datadan anlayışları çevik və səmərəli şəkildə çatdırmaq üçün gücün çatdırılmasına kömək edir.

Apache PIG arxitekturası şəkil 5.5-də göstərilmişdir.



Şəkil 5.5. Apache Pig arxitekturası
Təhlil edici (Parser), Pig Latın yazısının sintaksisini yoxlayır və Pig Latın ifadələrini və məntiqi operatorlarını təmsil edən bir DAG (yönəldilmiş tsiklik qrafik) istehsal edir. DAG-də, skriptin məntiqi operatorları qovşaq, məlumat axınları isə kənar kimi təmsil olunur. Optimizator DAG-da proyeksiya və itələmə kimi məntiqi optimallaşdırmaları həyata keçirir. Kompilyator optimallaşdırılmış məntiqi planı MapReduce işlərinin seriyasına tərtib edir. MapReduce işləri Hadoop-a sıralanmış bir qaydada təqdim olunur. Arzu olunan nəticələr istifadəçiyə qaytarılır.