Σε αυτήν την ανάρτηση, θα μιλήσω για Εγκατάσταση Apache Pig σε Linux . Ας ξεκινήσουμε με τον βασικό ορισμό των Apache Pig και Pig Latin.
Χοίρος Apache είναι ένα εργαλείο / πλατφόρμα για τη δημιουργία και την εκτέλεση του προγράμματος Map Reduce που χρησιμοποιείται με το Hadoop. Είναι ένα εργαλείο / πλατφόρμα για την ανάλυση μεγάλων συνόλων δεδομένων. Μπορείτε να πείτε ότι το Apache Pig είναι μια αφαίρεση του MapReduce. Οι προγραμματιστές που δεν είναι τόσο καλοί στη Java συνήθιζαν να δυσκολεύονται να δουλέψουν στο Hadoop, κυρίως κατά τη σύνταξη εργασιών του MapReduce.Έτσι, είναι ένα σημαντικό θέμα για να μάθετε και να μάθετε .Το Apache Pig έχει τη δική του γλώσσα Χοίρος Λατινικά που είναι ευεργετικό για τους φτωχούς προγραμματιστές.
Μια βασική εισαγωγή στο Pig Latin θα σας βοηθήσει να κατανοήσετε καλύτερα:
Η διαδικαστική γλώσσα υψηλού επιπέδου που χρησιμοποιείται στην πλατφόρμα Apache Pig ονομάζεται Χοίρος Λατινικά . Το Apache Pig διαθέτει το «Pig Latin» που είναι μια σχετικά απλούστερη γλώσσα που μπορεί να τρέξει πάνω από κατανεμημένα σύνολα δεδομένων στο Hadoop File System (HDFS). Στο Apache Pig, πρέπει να γράψετε σενάρια χοίρου χρησιμοποιώντας λατινική γλώσσα Pig, η οποία μετατρέπεται σε εργασία MapReduce όταν εκτελείτε το σενάριο Pig. Το Apache Pig έχει διάφορους χειριστές που χρησιμοποιούνται για την εκτέλεση εργασιών όπως ανάγνωση, συγγραφή, επεξεργασία δεδομένων. Για να μάθετε για τους χειριστές του Apache Pig, μεταβείτε στο ιστολόγιό μας “ Χειριστές στο Apache Pig: Μέρος 1- Σχεσιακοί χειριστές '.
Τώρα που έχετε βασική κατανόηση του Apache Pig, ας ξεκινήσουμε με την εγκατάσταση Apache Pig στο Linux.
Εγκατάσταση Apache Pig σε Linux:
Ακολουθούν τα βήματα για την εγκατάσταση του Apache Pig στο Linux (ubuntu / centos / windows χρησιμοποιώντας Linux VM). Χρησιμοποιώ το Ubuntu 16.04 στην παρακάτω εγκατάσταση.
Βήμα 1: Κατεβάστε Χοίρος πίσσα αρχείο.
Εντολή: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
sql διακομιστές ενοποίησης υπηρεσιών ssis βήμα προς βήμα φροντιστήριο
Βήμα 2: Εξαγάγετε το πίσσα αρχείο χρησιμοποιώντας την εντολή tar. Στην παρακάτω εντολή tar, Χ σημαίνει εξαγωγή αρχείου αρχειοθέτησης, με σημαίνει φιλτράρισμα ενός αρχείου μέσω του gzip, φά σημαίνει όνομα αρχείου ενός αρχείου αρχειοθέτησης.
Εντολή: tar -xzf pig-0.16.0.tar.gz
Εντολή: είναι
Βήμα 3: Επεξεργαστείτε το ' .bashrc Για να ενημερώσετε τις μεταβλητές περιβάλλοντος του Apache Pig. Το ρυθμίζουμε έτσι ώστε να έχουμε πρόσβαση σε χοίρους από οποιονδήποτε κατάλογο, δεν χρειάζεται να μεταβούμε στον κατάλογο χοίρων για να εκτελέσουμε εντολές χοίρου. Επίσης, εάν κάποια άλλη εφαρμογή αναζητά Pig, θα γνωρίσει τη διαδρομή του Apache Pig από αυτό το αρχείο.
Εντολή: sudo gedit .bashrc
Προσθέστε τα ακόλουθα στο τέλος του αρχείου:
# Ορίστε το PIG_HOME
εξαγωγή PIG_HOME = / home / edureka / pig-0.16.0
εξαγωγή PATH = $ PATH: /home/edureka/pig-0.16.0/bin
εξαγωγή PIG_CLASSPATH = $ HADOOP_CONF_DIR
Επίσης, βεβαιωθείτε ότι έχει ρυθμιστεί επίσης η διαδρομή hadoop.
Εκτελέστε την παρακάτω εντολή για να κάνετε τις αλλαγές ενημερωμένες στο ίδιο τερματικό.
Εντολή: πηγή .bashrc
Βήμα 4: Ελέγξτε την έκδοση χοίρου. Αυτό γίνεται για να ελεγχθεί ότι το Apache Pig εγκαταστάθηκε σωστά. Σε περίπτωση που δεν λάβετε την έκδοση Apache Pig, πρέπει να επαληθεύσετε εάν έχετε ακολουθήσει σωστά τα παραπάνω βήματα.
Εντολή: χοίρος-μετατροπή
Βήμα 5 :Ελέγξτε τη βοήθεια χοίρων για να δείτε όλες τις επιλογές εντολής χοίρου.
Εντολή: χοίρος - βοήθεια
συνάρτηση fibonacci c ++
Βήμα 6 :Εκτελέστε το χοίρο για να ξεκινήσετε το κέλυφος. Το Grunt shell χρησιμοποιείται για την εκτέλεση σεναρίων Pig Latin.
Εντολή: Χοίρος
Εάν κοιτάξετε σωστά την παραπάνω εικόνα, το Apache Pig έχει δύο τρόπους με τους οποίους μπορεί να εκτελεστεί, από προεπιλογή επιλέγει τη λειτουργία MapReduce. Ο άλλος τρόπος με τον οποίο μπορείτε να εκτελέσετε το Pig είναι το Local mode. Επιτρέψτε μου να σας πω περισσότερα για αυτό.
Λειτουργίες εκτέλεσης στο Apache Pig:
- Λειτουργία MapReduce - Αυτή είναι η προεπιλεγμένη λειτουργία, η οποία απαιτεί πρόσβαση σε ένα σύμπλεγμα Hadoop και εγκατάσταση HDFS. Επειδή, αυτή είναι μια προεπιλεγμένη λειτουργία, δεν είναι απαραίτητο να καθορίσετε το -x flag (μπορείτε να το εκτελέσετε Χοίρος Ή χοίρος -x mapreduce ). Η είσοδος και η έξοδος σε αυτήν τη λειτουργία υπάρχουν σε HDFS.
- Τοπική λειτουργία - Με πρόσβαση σε ένα μόνο μηχάνημα, όλα τα αρχεία εγκαθίστανται και εκτελούνται χρησιμοποιώντας έναν τοπικό κεντρικό υπολογιστή και σύστημα αρχείων. Εδώ καθορίζεται η τοπική λειτουργία χρησιμοποιώντας «-x flag» ( χοίρος -x τοπικό ). Η είσοδος και η έξοδος σε αυτήν τη λειτουργία υπάρχουν στο τοπικό σύστημα αρχείων.
Εντολή: χοίρος -x τοπικό
Μπορείτε να δείτε παρακάτω το βίντεο για να παρακολουθήσετε την εγκατάσταση Apache Pig Installation σε Linux:
Εγκατάσταση Apache Pig | Εγκατάσταση χοίρου σε Linux | Έντρεκα
Τώρα που τελειώσατε με την εγκατάσταση Apache Pig στο Linux, το επόμενο βήμα προς τα εμπρός είναι να δοκιμάσετε κάποιους σχετικούς χειριστές Pig στο κέλυφος Pig Grunt. Ως εκ τούτου, το επόμενο blog ' Χειριστές στο Apache Pig: Μέρος 1- Σχεσιακοί χειριστές Θα σας βοηθήσει να κυριαρχήσετε τους χειριστές χοίρων.
Τώρα που έχετε εγκαταστήσει το Apache Pig στο Linux, δείτε το από την Edureka, μια αξιόπιστη διαδικτυακή εταιρεία εκμάθησης με δίκτυο περισσότερων από 250.000 ικανοποιημένων μαθητών σε όλο τον κόσμο. Το εκπαιδευτικό πρόγραμμα Edureka Big Data Hadoop Certification βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Νήματα, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς Retail, Social Media, Aviation, Tourism, Finance.
Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.