Apache Falcon: Νέα πλατφόρμα διαχείρισης δεδομένων για το οικοσύστημα Hadoop

Το Apache Falcon είναι ένα πλαίσιο για τη διαχείριση του κύκλου ζωής δεδομένων σε συστάδες Hadoop. Καθιερώνει τη σχέση μεταξύ διαφόρων δεδομένων και στοιχείων επεξεργασίας σε ένα περιβάλλον Hadoop και παρέχει επίσης υπηρεσίες διαχείρισης ζωοτροφών, όπως διατήρηση ροής, αναπαραγωγές σε ομάδες, αρχειοθέτηση κ.λπ.

Ας συζητήσουμε πρώτα πώς να ρυθμίσουμε το Apache Falcon. Εκτελέστε την παρακάτω εντολή για λήψη του git repository του Falcon:

Εντολή: git clone https://git-wip-us.apache.org/repos/asf/falcon.git γεράκι

Για να τρέξετε γεράκι, πρέπει να το δημιουργήσετε πρώτα.

Εντολή: cd γεράκι

Εντολή: εξαγωγή MAVEN_OPTS = '- Xmx1024m -XX: MaxPermSize = 256m -noverify' && mvn clean install -DskipTests

Εντολή: καθαρή συναρμολόγηση mvn: συναρμολόγηση -DskipTests -DskipITs

Μόλις δημιουργήσετε το γεράκι, θα βρείτε ένα πακέτο γερακιού μέσα / falcon / distro / target / directory.

Οι εντολές για την κατασκευή γερακιού φαίνονται πολύ εύκολα, αλλά θα αντιμετωπίσετε πολλά προβλήματα προτού δείτε το μήνυμα Build Success. Αντιμετώπισα πολλά προβλήματα κατά τη δημιουργία του για Hadoop-2.2.0

Έτσι, για να παρακάμψετε τον πόνο της κατασκευής του Falcon, σας δίνω ένα επιτυχημένο πακέτο γερακιού, το οποίο μπορείτε να κατεβάσετε χρησιμοποιώντας τον παρακάτω σύνδεσμο.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Αποσυμπιέστε το αρχείο για να λάβετε τον κατάλογο falcon-0.10.

Εντολή: αποσυμπιέστε falcon-0.10-SNAPSHOT.zip

Ορίστε μεταβλητές περιβάλλοντος flacon στο αρχείο .bashrc.

Εντολή: sudo gedit .bashrc

Εντολή: πηγή .bashrc

Μπορείτε να μεταβείτε στον κατάλογο γερακιού και να δείτε τα αρχεία και τους καταλόγους μέσα σε αυτόν.

Εντολή: cd γεράκι-0,10-SNAPSHOT /

Εντολή: είναι

Μπορείτε να βρείτε σενάρια γερακιού μέσα στον κατάλογο bin.

Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε το Falcon.

Εντολή: ./bin/falcon-start

Θα δείτε έναν νέο δαίμονα FalconServer να τρέχει τώρα.

Εντολή: jps

Εντολή: ./bin/falcon admin -version

Ανοίξτε το πρόγραμμα περιήγησής σας και μεταβείτε στο localhost: 15000 . Μπορείτε να δείτε το ui web Falcon.

Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.

Σχετικές αναρτήσεις:

Διάτρηση στο Apache Drill

τι είναι η γλώσσα προγραμματισμού sas