Cloudera Hadoop: Ξεκινώντας με τη διανομή CDH

Με την αυξανόμενη ζήτηση για Big Data, και το Apache Hadoop είναιστοη καρδιά της επανάστασης, έχει αλλάξει τον τρόπο οργάνωσης και υπολογισμού των δεδομένων. Η ανάγκη για οργανισμούς να ευθυγραμμίσουν το Hadoop με τις επιχειρηματικές τους ανάγκες τροφοδότησε την εμφάνιση των εμπορικών διανομών. Οι εμπορικές διανομές Hadoop συνήθως συσκευάζονται με χαρακτηριστικά, σχεδιασμένα για να βελτιστοποιούν την ανάπτυξη του Hadoop. Το Cloudera Hadoop Distribution παρέχει μια επεκτάσιμη, ευέλικτη, ολοκληρωμένη πλατφόρμα που καθιστά εύκολη τη διαχείριση των ταχέως αυξανόμενων όγκων και ποικιλιών δεδομένων στην επιχείρησή σας.

Σε αυτό το ιστολόγιο στο Cloudera Hadoop Distribution, θα καλύψουμε τα ακόλουθα θέματα:

• • Εισαγωγή στο Hadoop
  • Διανομές Hadoop
  • Cloudera vs MapR εναντίον Hortonworks
  • Διανομή Cloudera
  • Διευθυντής Cloudera
  • Επίδειξη του διευθυντή της Cloudera
  • Δημιουργία ροής εργασίας Oozie

Cloudera Hadoop: Εισαγωγή στο Hadoop

Το Hadoop είναι ένα πλαίσιο ανοιχτού κώδικα Apache που αποθηκεύει και επεξεργάζεται Big Data σε κατανεμημένο περιβάλλονσε όλη τηνσύμπλεγμα χρησιμοποιώντας απλά μοντέλα προγραμματισμού. Το Hadoop παρέχει παράλληλο υπολογισμό πάνω από τον κατανεμημένο χώρο αποθήκευσης.Για να μάθετε περισσότερα για το Hadoop αναλυτικά από μπορείτε να αναφερθείτε σε αυτό

Μετά από αυτήν τη σύντομη εισαγωγή στο Hadoop, επιτρέψτε μου τώρα να εξηγήσω τους διαφορετικούς τύπους διανομής Hadoop.

Cloudera Hadoop: Διανομές Hadoop

Δεδομένου ότι το Apache Hadoop είναι ανοιχτού κώδικα, πολλές εταιρείες έχουν αναπτύξει διανομές που υπερβαίνουν τον αρχικό κώδικα ανοιχτού κώδικα. Αυτό μοιάζει πολύ με διανομές Linux όπως το RedHat, το Fedora και το Ubuntu. Κάθε μία από τις διανομές Linux υποστηρίζει τις δικές της λειτουργίες και δυνατότητες όπως το φιλικό προς το χρήστη GUI στο Ubuntu. Ομοίως, κόκκινο καπέλο είναι δημοφιλές στις επιχειρήσεις επειδή προσφέρει υποστήριξη και παρέχει επίσης ιδεολογία για να κάνει αλλαγές σε οποιοδήποτε μέρος του συστήματος κατά βούληση. Το Red Hat σας απαλλάσσει από προβλήματα συμβατότητας λογισμικού. Αυτό είναι συνήθως ένα μεγάλο ζήτημα για τους χρήστεςπου πραγματοποιούν μετάβαση από τα Windows.

Ομοίως, υπάρχουν 3 κύριοι τύποι διανομών Hadoop που έχουν το δικό τους σύνολο λειτουργιών και χαρακτηριστικών και είναι κατασκευασμένοι κάτω από τη βάση HDFS.

Cloudera vs MapR εναντίον Hortonworks

Σχήμα: MapR vs Hortonworks εναντίον Cloudera

Διανομή Cloudera Hadoop

Η Cloudera είναι η τάση της αγοράς στο χώρο Hadoop και είναι η πρώτη που κυκλοφόρησε την εμπορική διανομή Hadoop. Προσφέρει συμβουλευτικές υπηρεσίες για να γεφυρώσει το χάσμα μεταξύ - 'τι παρέχει το Apache Hadoop' και 'τι οργανισμοί χρειάζονται'.

Η διανομή Cloudera είναι:

πώς να εγκαταστήσετε το php στα Windows 10

• Γρήγορα για επιχειρήσεις : Από τα αναλυτικά στοιχεία μέχρι την επιστήμη των δεδομένων και όλα όσα ενδιάμεσα, η Cloudera προσφέρει την απόδοση που χρειάζεστε για να ξεκλειδώσετε τις δυνατότητες απεριόριστων δεδομένων.
• Κάνει το Hadoop εύκολο στη διαχείριση : Με το Cloudera Manager, οι αυτοματοποιημένοι μάγοι σάς επιτρέπουν να αναπτύξετε γρήγορα το σύμπλεγμα, ανεξάρτητα από την κλίμακα ή το περιβάλλον ανάπτυξης.
• Ασφαλής χωρίς συμβιβασμούς: Καλύπτει αυστηρές ανάγκες ασφάλειας και συμμόρφωσης δεδομένων χωρίς να θυσιάζει την ευελιξία των επιχειρήσεων Η Cloudera παρέχει μια ολοκληρωμένη προσέγγιση για την ασφάλεια και τη διακυβέρνηση των δεδομένων.

Horton-Works Κατανομή

Η πλατφόρμα δεδομένων Horton-Works (HDP) είναι εξ ολοκλήρου μια πλατφόρμα ανοιχτού κώδικα που έχει σχεδιαστεί για να χειρίζεται δεδομένα από πολλές πηγές και μορφές. Η πλατφόρμα περιλαμβάνει διάφορα εργαλεία Hadoop, όπως το Hadoop Distributed File System (HDFS), MapReduce, Zookeeper, HBase, Pig, Hive και πρόσθετα στοιχεία.

Υποστηρίζει επίσης χαρακτηριστικά όπως:

• Το HDP κάνει κυψέλη γρηγορότερα μέσω του νέου του έργου Stinger.
• HDP αποφεύγει το κλείδωμα του προμηθευτή δεσμεύοντας σε μια διχασμένη έκδοση του Hadoop.
• Το HDP επικεντρώνεται στην ενίσχυση του χρηστικότητα της πλατφόρμας Hadoop.

Κατανομή MapR

Το MapR είναι ένας πάροχος λύσεων Hadoop που εστιάζει στην πλατφόρμα, όπως οι HortonWorks και Cloudera. Το MapR ενσωματώνει το δικό του σύστημα βάσεων δεδομένων, γνωστό ως MapR-DB, ενώ προσφέρει υπηρεσίες διανομής Hadoop. Ο MapR-DB ισχυρίζεται ότι είναι τέσσερις έως επτά φορές γρηγορότερος από τη βασική βάση δεδομένων Hadoop, δηλαδή HBase, που εκτελείται σε άλλες διανομές.

Έχει τα ενδιαφέροντα χαρακτηριστικά του όπως:

• Είναι η μόνη διανομή Hadoop που περιλαμβάνει Pig, Hive και Sqoop χωρίς καμία εξάρτηση Java - αφού βασίζεται στο MapR-File System.
• Το MapR είναι η πιο έτοιμη διανομή Hadoop παραγωγής με πολλές βελτιώσεις που το καθιστούν πιο φιλικό προς το χρήστη, γρηγορότερο και αξιόπιστο.

Τώρα ας συζητήσουμε σε βάθος την κατανομή Cloudera Hadoop.

Εγγραφείτε στο κανάλι μας στο YouTube για να λαμβάνετε νέες ενημερώσεις ...

Cloudera Hadoop: Διανομή Cloudera

Η Cloudera είναι ο πιο γνωστός παίκτης στο χώρο Hadoop που κυκλοφόρησε την πρώτη εμπορική διανομή Hadoop.

Εικ: Διανομή Cloudera Hadoop

Το Cloudera Hadoop Distribution υποστηρίζει το ακόλουθο σύνολο χαρακτηριστικών:

1. Το CDH της Cloudera περιλαμβάνει όλα τα συστατικά ανοιχτού κώδικα, στοχεύει σε επιχειρηματικές κλάσεις και είναι μία από τις πιο δημοφιλείς εμπορικές διανομές Hadoop.
2. Γνωστή για τις καινοτομίες της, η Cloudera ήταν η πρώτη που προσφέρει SQL-για-Hadoop με τα Impala μηχανή αναζήτησης.
3. Η κονσόλα διαχείρισης - Διευθυντής Cloudera , είναι εύκολο στη χρήση και εφαρμογή με το πλούσιο περιβάλλον εργασίας χρήστη που εμφανίζει όλες τις πληροφορίες συμπλέγματος με οργανωμένο και καθαρό τρόπο.
4. Στο CDH μπορείτε να προσθέσετε υπηρεσίες στο σύμπλεγμα λειτουργίας και λειτουργίας χωρίς καμία διακοπή.
5. Άλλες προσθήκες του Cloudera περιλαμβάνουν ασφάλεια, περιβάλλον εργασίας χρήστη και διεπαφές για ενσωμάτωση με εφαρμογές τρίτων.
6. Το CDH παρέχει Πρότυπα κόμβου δηλαδή επιτρέπει τη δημιουργία μιας ομάδας κόμβων σε ένα σύμπλεγμα Hadoop με διαφορετική διαμόρφωση. Εξαλείφει τη χρήση της ίδιας διαμόρφωσης σε όλο το σύμπλεγμα Hadoop.
7. Υποστηρίζει επίσης:
   • Αξιοπιστία
     Οι προμηθευτές Hadoop ενεργούν αμέσως ως απάντηση κάθε φορά που εντοπίζεται ένα σφάλμα. Με την πρόθεση να κάνουμε τις εμπορικές λύσεις πιο σταθερές, οι ενημερώσεις κώδικα και οι διορθώσεις αναπτύσσονται αμέσως.

   • Υποστήριξη
     Οι προμηθευτές της Cloudera Hadoop παρέχουν τεχνική καθοδήγηση και βοήθεια που διευκολύνει τους πελάτες να υιοθετήσουν Hadoop για εργασίες σε επίπεδο επιχείρησης και κρίσιμες εφαρμογές.

   • Πληρότητα
     Οι προμηθευτές Hadoop συνδυάζουν τις διανομές τους με διάφορα άλλα πρόσθετα εργαλεία που βοηθούν τους πελάτες να προσαρμόσουν την εφαρμογή Hadoop για να αντιμετωπίσουν τις συγκεκριμένες εργασίες τους.

Οι διανομές Cloudera διαθέτουν 2 διαφορετικούς τύπους εκδόσεων.

1. Cloudera Express Edition
2. Cloudera Enterprise Edition

Τώρα ας δούμε τις διαφορές μεταξύ τους.

Cloudera Hadoop: Διευθυντής Cloudera

Σύμφωνα με την Cloudera, ο Cloudera Manager είναι ο καλύτερος τρόπος να το κάνετε εγκαθιστώ , Διαμορφώστε , διαχειρίζονται , και οθόνη η στοίβα Hadoop.

Παρέχει:

1. Αυτοματοποιημένη ανάπτυξη και διαμόρφωση
2. Προσαρμόσιμη παρακολούθηση και αναφορά
3. Εύκολη και ισχυρή αντιμετώπιση προβλημάτων
4. Μηδενική συντήρηση

Λάβετε σε βάθος γνώσεις για την Cloudera Hadoop και τα διάφορα εργαλεία της

Επίδειξη του διευθυντή της Cloudera

Ας εξερευνήσουμε τον Cloudera Manager.

1. Το παρακάτω σχήμα δείχνει τον αριθμό των υπηρεσιών που εκτελούνται αυτήν τη στιγμή στο Cloudera Manager. Μπορείτε επίσης να δείτε τα γραφήματα σχετικά με τη χρήση CPU συμπλέγματος, τη χρήση δίσκου IO κ.λπ.

Εικ: Αρχική σελίδα του Cloudera Manager

2. Η παρακάτω εικόνα δείχνει το σύμπλεγμα HBase. Σας δίνει διαγράμματα και γραφήματα σχετικά με τις συνθήκες υγείας του τρέχοντος διακομιστή HBase REST.

Εικ: Συνθήκες υγείας του διακομιστή HBase

3. Τώρα, ας ρίξουμε μια ματιά στην καρτέλα Instances του συμπλέγματος HBase όπου μπορείτε να ελέγξετε την κατάσταση και τη διαμόρφωση IP.

Σχήμα: Κατάσταση και διεύθυνση IP του κεντρικού διακομιστή του συμπλέγματος HBase

4. Στη συνέχεια, έχετε την καρτέλα Διαμόρφωση. Εδώ μπορείτε να δείτε όλες τις παραμέτρους διαμόρφωσης και να αλλάξετε τις τιμές τους.

Σχήμα: Διαμόρφωση του συμπλέγματος HBase

Τώρα, ας καταλάβουμε τι είναι τα δέματα στην Cloudera.

Cloudera Hadoop: Αγροτεμάχια

Ένα δέμα είναι μια μορφή δυαδικής διανομής που περιέχει τα αρχεία προγράμματος, μαζί με επιπλέον μεταδεδομένα που χρησιμοποιούνται από το Cloudera Manager.

Τα δέματα είναι αυτόνομα και εγκαθίστανται σε έναν εκδομένο κατάλογο, πράγμα που σημαίνει ότι πολλαπλές εκδόσεις μιας δεδομένης υπηρεσίας μπορούν να εγκατασταθούν δίπλα-δίπλα.

Ακολουθούν τα οφέλη από τη χρήση του δέματος:

• Παρέχει διανομή του CDH ως ένα μόνο αντικείμενο, δηλαδή αντί να έχει ένα ξεχωριστό πακέτο για κάθε μέρος του CDH, τα δέματα έχουν ένα μόνο αντικείμενο για εγκατάσταση.

• Προσφέρει εσωτερική συνέπεια (καθώς το πλήρες CDH διανέμεται ως ενιαίο δέμα, όλα τα εξαρτήματα του CDH ταιριάζουν και δεν υπάρχει κίνδυνος να προέρχονται διαφορετικά μέρη από διαφορετικές εκδόσεις του CDH).

• Μπορείτε να εγκαταστήσετε, να αναβαθμίσετε, να υποβαθμίσετε, να διανείμετε και να ενεργοποιήσετε τα δέματα σε CDH χρησιμοποιώντας λίγα κλικ.

Τώρα, ας δούμε πώς να εγκαταστήσετε και να ενεργοποιήσετε την υπηρεσία Kafka στο CDH χρησιμοποιώντας τα δέματα.

pl sql για αρχάριους με παραδείγματα

1. Μεταβείτε στην αρχική σελίδα του Cloudera manager >> Hosts >> δέματα όπως φαίνεται παρακάτω

   Εικ: Επιλογή αγροτεμαχίων από τους κεντρικούς υπολογιστές

2. Εάν δεν βλέπετε το Kafka στη λίστα των δεμάτων, μπορείτε να προσθέσετε το δέμα στη λίστα.

1. Βρείτε το δέμα της έκδοσης Kafka που θέλετε να χρησιμοποιήσετε. Εάν δεν το βλέπετε, μπορείτε να προσθέσετε το αποθετήριο δεμάτων στη λίστα.
2. Βρείτε το δέμα για την έκδοση του Kafka που θέλετε να εγκαταστήσετε - Cloudera Διανομή Apache Kafka Versions .
   Το παρακάτω σχήμα δείχνει το ίδιο.

Εικ: Διαδρομή αποθετηρίου για το δέμα.

3. Αντιγράψτε το σύνδεσμο όπως φαίνεται στην παραπάνω εικόνα και προσθέστε τον στο Απομακρυσμένο Αποθετήριο Δεμάτων όπως φαίνεται παρακάτω.

Εικ: Προσθήκη της διαδρομής Kafka από το αποθετήριο

Τέσσερα.Μετά την προσθήκη της διαδρομής, η Kafka θα είναι έτοιμη για λήψη. Μπορείτε απλά να κάνετε κλικ στο κουμπί λήψης και να κατεβάσετε το Kafka.

Εικ: Λήψη του Kafka

5. Μετά τη λήψη του Kafka, το μόνο που χρειάζεται να κάνετε είναι να το διανείμετε και να το ενεργοποιήσετε.

Εικ: Ενεργοποίηση του Kafka

Μόλις ενεργοποιηθεί, μπορείτε να προχωρήσετε και να προβάλετε το Kafka στην καρτέλα υπηρεσιών στο Cloudera manager.

Εικ: Υπηρεσία Kafka

Cloudera Hadoop: Δημιουργία ροής εργασίας Oozie

Η δημιουργία μιας ροής εργασίας γράφοντας χειροκίνητα τον κώδικα XML και στη συνέχεια την εκτέλεση του, είναι περίπλοκη. Μπορείτε να το αναφέρετε Προγραμματισμός της δουλειάς του Oozie blog, για να μάθετε για την παραδοσιακή προσέγγιση.

Μπορείτε να δείτε την παρακάτω εικόνα, όπου έχουμε γράψει ένα αρχείο XML για να δημιουργήσουμε μια απλή ροή εργασίας Oozie. Εικόνα: Δημιουργία ροής εργασίας Oozie χρησιμοποιώντας μια παραδοσιακή προσέγγιση

Όπως μπορείτε να δείτε ακόμη και για να δημιουργήσουμε έναν απλό προγραμματιστή Oozie, έπρεπε να γράψουμε τεράστιο κώδικα XML που είναι χρονοβόρος και ο εντοπισμός σφαλμάτων κάθε γραμμής γίνεται δυσκίνητος. Για να ξεπεραστεί αυτό, η Cloudera Manager παρουσίασε ένα νέο χαρακτηριστικό που ονομάζεται Απόχρωση το οποίο παρέχει ένα GUI και μια απλή δυνατότητα μεταφοράς και απόθεσης για τη δημιουργία και εκτέλεση ροών εργασίας Oozie.

Τώρα ας δούμε πώς η Hue εκτελεί την ίδια εργασία με απλοποιημένο τρόπο.

Πριν δημιουργήσετε μια ροή εργασίας, ας δημιουργήσουμε πρώτα αρχεία εισαγωγής, δηλαδή clickstream.txt και user.txt.
Στο αρχείο user.txt, έχουμε το αναγνωριστικό χρήστη, το όνομα, την ηλικία, τη χώρα, το φύλο όπως φαίνεται παρακάτω. Χρειαζόμαστε αυτό το αρχείο χρήστη για να γνωρίζουμε τον αριθμό των χρηστών και τα κλικ στη διεύθυνση URL (αναφέρεται στο αρχείο ροής κλικ) με βάση το αναγνωριστικό χρήστη.

Εικ: Δημιουργία αρχείου κειμένου

Για να γνωρίζουμε τον αριθμό των κλικ από τον χρήστη σε κάθε διεύθυνση URL, έχουμε μια ροή κλικ που περιέχει το αναγνωριστικό χρήστη και τη διεύθυνση URL.

Εικόνα: Αρχείο Clickstream

διαφορά μεταξύ μεταβλητών και αμετάβλητων

Ας γράψουμε τα ερωτήματα στο αρχείο σεναρίου.

Σχήμα: Αρχείο σεναρίου

Αφού δημιουργήσουμε το αρχείο χρήστη, το αρχείο ροής κλικ και το αρχείο σεναρίου στη συνέχεια, μπορούμε να προχωρήσουμε και να δημιουργήσουμε τη ροή εργασίας Oozie.

1. Μπορείτε απλά να μεταφέρετε και να ρίξετε τη ροή εργασίας του Oozie όπως φαίνεται στην εικόνα.

Εικ: Λειτουργία μεταφοράς και απόθεσης της δημιουργίας της ροής εργασίας Oozie

2. Λίγο μετά τη διακοπή της δράσης σας, πρέπει να καθορίσετε τις διαδρομές στο αρχείο σεναρίου και να προσθέσετε τις παραμέτρους που αναφέρονται στο αρχείο σεναρίου. Εδώ πρέπει να προσθέσετε τις παραμέτρους OUTPUT, CLICKSTREAM και USER και να καθορίσετε τη διαδρομή σε καθεμία από τις παραμέτρους.

Εικ: Προσθήκη ενός αρχείου σεναρίου και των απαιτούμενων παραμέτρων για την εκτέλεση της ενέργειας

3. Μόλις καθορίσετε τις διαδρομές και προσθέσετε τις παραμέτρους, τώρα απλώς αποθηκεύστε και υποβάλετε τη ροή εργασίας όπως φαίνεται στην παρακάτω εικόνα.

Εικόνα: Αποθήκευση και υποβολή της ενέργειας Oozie

4. Μόλις υποβάλετε την εργασία, η εργασία σας ολοκληρώνεται. Η εκτέλεση και τα άλλα βήματα αναλαμβάνονται από τον Hue.

Εικ: Κατάσταση εκτέλεσης της εργασίας Oozie

5.Τώρα που έχουμε εκτελέσει τη δουλειά Oozie, ας ρίξουμε μια ματιά στην καρτέλα δράσης. Περιέχει το αναγνωριστικό χρήστη και την κατάσταση της ροής εργασίας. Εμφανίζει επίσης κωδικούς σφάλματος εάν είναι, την ώρα έναρξης και λήξης του στοιχείου ενέργειας.

Σχήμα: Στοιχεία που υπάρχουν στην καρτέλα δράσης της ροής εργασίας Oozie

6. Δίπλα στην καρτέλα δράσης βρίσκεται η καρτέλα λεπτομερειών. Σε αυτό, μπορούμε να δούμε την ώρα έναρξης και την τελευταία τροποποιημένη ώρα της εργασίας.

Εικόνα: Λεπτομέρειες σχετικά με τη ροή εργασίας του Oozie.

7. Δίπλα στην καρτέλα Λεπτομέρειες, έχουμε την καρτέλα Διαμόρφωση της ροής εργασίας.

Εικ: Ρυθμίσεις διαμόρφωσης της ροής εργασίας του Oozie

7. Κατά την εκτέλεση του στοιχείου ενέργειας, εάν υπάρχουν σφάλματα, θα εμφανίζεται στην καρτέλα Log. Μπορείτε να ανατρέξετε στις δηλώσεις σφαλμάτων και να το διορθώσετε αναλόγως.

Εικ: Αρχείο καταγραφής που περιέχει κωδικούς σφάλματος και δηλώσεις σφαλμάτων

8. Εδώ είναι ο κωδικός XML της ροής εργασίας που δημιουργείται αυτόματα από το Hue.

Εικ: Κωδικός XML της ροής εργασίας Oozie

9.1. Όπως έχετε ήδη καθορίσει τη διαδρομή για τον κατάλογο εξόδου στο βήμα 2, εδώ έχετε τον κατάλογο εξόδου στο πρόγραμμα περιήγησης HDFS όπως φαίνεται παρακάτω.

Εικόνα: Κατάλογος εξόδου του προγράμματος περιήγησης HDFS

9.2 Μόλις κάνετε κλικ στον κατάλογο εξόδου, θα βρείτε ένα αρχείο κειμένου που ονομάζεται output.txt και αυτό το αρχείο κειμένου περιέχει την πραγματική έξοδο, όπως φαίνεται στο παρακάτω σχήμα.

Σχήμα: Τελικό κείμενο εξόδου

Με αυτόν τον τρόπο η Hue κάνει τη δουλειά μας απλή, παρέχοντας τις επιλογές μεταφοράς και απόθεσης για τη δημιουργία μιας ροής εργασίας Oozie.

Ελπίζω ότι αυτό το blog ήταν χρήσιμο για την κατανόηση της Διανομής Cloudera και των διαφόρων στοιχείων της Cloudera.

Τώρα που έχετε καταλάβει το Cloudera Hadoop Distribution δείτε το από την Edureka, μια αξιόπιστη διαδικτυακή εταιρεία εκμάθησης με δίκτυο περισσότερων από 250.000 ικανοποιημένων μαθητών σε όλο τον κόσμο. Το εκπαιδευτικό πρόγραμμα Edureka Big Data Hadoop Certification βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Νήματα, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς Retail, Social Media, Aviation, Tourism, Finance.

Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.