Εγκατάσταση Hadoop: Ρύθμιση ενός συμπλέγματος Hadoop ενός κόμβου
Από τα προηγούμενα ιστολόγιά μας στις , πρέπει να έχετε μια θεωρητική ιδέα για το Hadoop, το HDFS και την αρχιτεκτονική του.Αλλά για να πάρει χρειάζεστε καλή πρακτική γνώση.Ελπίζω να σας άρεσε το προηγούμενο blog μας , τώρα θα σας καθοδηγήσω στις πρακτικές γνώσεις για το Hadoop και το HDFS. Το πρώτο βήμα προς τα εμπρός είναι η εγκατάσταση του Hadoop.
Υπάρχουν δύο τρόποι για να εγκαταστήσετε το Hadoop, δηλαδή Ένας κόμβος και Πολλοί κόμβοι .
αφαίρεση δεδομένων c ++
Σύμπλεγμα ενός κόμβου σημαίνει μόνο ένα DataNode που τρέχει και ρυθμίζει όλα τα NameNode, DataNode, ResourceManager και NodeManager σε ένα μόνο μηχάνημα. Χρησιμοποιείται για σκοπούς μελέτης και δοκιμής. Για παράδειγμα, ας εξετάσουμε ένα δείγμα συνόλου δεδομένων σε μια βιομηχανία υγειονομικής περίθαλψης. Έτσι, για να ελέγξουμε εάν οι εργασίες του Oozie έχουν προγραμματίσει όλες τις διαδικασίες όπως η συλλογή, η συγκέντρωση, η αποθήκευση και η επεξεργασία των δεδομένων με τη σωστή σειρά, χρησιμοποιούμε ένα σύμπλεγμα ενός κόμβου. Μπορεί εύκολα και αποτελεσματικά να δοκιμάσει τη διαδοχική ροή εργασίας σε μικρότερο περιβάλλον σε σύγκριση με μεγάλα περιβάλλοντα που περιέχουν terabyte δεδομένων που διανέμονται σε εκατοντάδες μηχανήματα.
Ενώ σε ένα Σύμπλεγμα πολλαπλών κόμβων , υπάρχουν περισσότερα από ένα δεδομένα DataNode και κάθε DataNode εκτελείται σε διαφορετικά μηχανήματα. Το σύμπλεγμα πολλαπλών κόμβων χρησιμοποιείται πρακτικά σε οργανισμούς για την ανάλυση Big Data. Λαμβάνοντας υπόψη το παραπάνω παράδειγμα, σε πραγματικό χρόνο όταν ασχολούμαστε με petabytes δεδομένων, πρέπει να διανέμεται σε εκατοντάδες μηχανήματα για επεξεργασία. Έτσι, εδώ χρησιμοποιούμε σύμπλεγμα πολλαπλών κόμβων.
Σε αυτό το blog, θα σας δείξω πώς να εγκαταστήσετε το Hadoop σε ένα σύμπλεγμα ενός κόμβου.
Προαπαιτούμενα
- ΕΙΚΟΝΙΚΟ ΚΟΥΤΙ : χρησιμοποιείται για την εγκατάσταση του λειτουργικού συστήματος σε αυτό.
- ΛΕΙΤΟΥΡΓΙΚΟ ΣΥΣΤΗΜΑ : Μπορείτε να εγκαταστήσετε το Hadoop σε λειτουργικά συστήματα που βασίζονται σε Linux. Το Ubuntu και το CentOS χρησιμοποιούνται πολύ συχνά. Σε αυτό το σεμινάριο, χρησιμοποιούμε το CentOS.
- ΙΑΒΑ : Πρέπει να εγκαταστήσετε το πακέτο Java 8 στο σύστημά σας.
- ΧΑΝΤΟΠ : Χρειάζεστε πακέτο Hadoop 2.7.3.
Εγκαταστήστε το Hadoop
Βήμα 1: Κάντε κλικ ΕΔΩ για λήψη του πακέτου Java 8. Αποθηκεύστε αυτό το αρχείο στον αρχικό σας κατάλογο.
Βήμα 2: Εξαγάγετε το αρχείο Java Tar.
Εντολή : tar -xvf jdk-8u101-linux-i586.tar.gz
Εικ: Εγκατάσταση Hadoop - Εξαγωγή αρχείων Java
Βήμα 3: Κατεβάστε το πακέτο Hadoop 2.7.3.
Εντολή : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Εικόνα: Εγκατάσταση Hadoop - Λήψη του Hadoop
Βήμα 4: Εξαγάγετε το αρχείο Hadoop tar.
Εντολή : tar -xvf hadoop-2.7.3.tar.gz
Εικ: Εγκατάσταση Hadoop - Εξαγωγή αρχείων Hadoop
Βήμα 5: Προσθέστε τις διαδρομές Hadoop και Java στο αρχείο bash (.bashrc).
Ανοιξε . bashrc αρχείο. Τώρα, προσθέστε Hadoop και Java Path όπως φαίνεται παρακάτω.
Εντολή : vi .bashrc
Εικ: Εγκατάσταση Hadoop - Ρύθμιση μεταβλητής περιβάλλοντος
Στη συνέχεια, αποθηκεύστε το αρχείο bash και κλείστε το.
Για την εφαρμογή όλων αυτών των αλλαγών στο τρέχον τερματικό, εκτελέστε την εντολή προέλευσης.
Εντολή : πηγή .bashrc
Εικ: Εγκατάσταση Hadoop - Ανανέωση μεταβλητών περιβάλλοντος
Για να βεβαιωθείτε ότι η Java και το Hadoop έχουν εγκατασταθεί σωστά στο σύστημά σας και μπορείτε να έχετε πρόσβαση μέσω του τερματικού, π.χ.εκτελέστε τις εντολές έκδοσης java-version και hadoop.
Εντολή : Ιάβα-εκδοχή
Εικ: Εγκατάσταση Hadoop - Έλεγχος έκδοσης Java
Εντολή : Χάοουπεκδοχή
Εικ: Εγκατάσταση Hadoop - Έλεγχος της έκδοσης Hadoop
Βήμα 6 : Επεξεργαστείτε το .
Εντολή: cd hadoop-2.7.3 / etc / hadoop /
Εντολή: είναι
Όλα τα αρχεία διαμόρφωσης Hadoop βρίσκονται στο hadoop-2.7.3 / etc / hadoop κατάλογο όπως μπορείτε να δείτε στο παρακάτω στιγμιότυπο:
Εικόνα: Εγκατάσταση Hadoop - Αρχεία διαμόρφωσης Hadoop
Βήμα 7 : Ανοιξε core-site.xml και επεξεργαστείτε την ιδιότητα που αναφέρεται παρακάτω στην ετικέτα διαμόρφωσης:
core-site.xml ενημερώνει τον δαίμονα Hadoop όπου τρέχει το NameNode στο σύμπλεγμα. Περιέχει ρυθμίσεις διαμόρφωσης του Hadoop core όπως ρυθμίσεις I / O που είναι κοινές για HDFS & MapReduce.
Εντολή : vi core-site.xml
Εικόνα: Εγκατάσταση Hadoop - Διαμόρφωση core-site.xml
fs.default.name hdfs: // localhost: 9000
Βήμα 8: Επεξεργασία hdfs-site.xml και επεξεργαστείτε την ιδιότητα που αναφέρεται παρακάτω στην ετικέτα διαμόρφωσης:
hdfs-site.xml περιέχει ρυθμίσεις διαμόρφωσης HDFS δαίμονες (δηλαδή NameNode, DataNode, Secondary NameNode). Περιλαμβάνει επίσης τον παράγοντα αναπαραγωγής και το μέγεθος μπλοκ του HDFS.
Εντολή : vi hdfs-site.xml
Εικόνα: Εγκατάσταση Hadoop - Διαμόρφωση hdfs-site.xml
dfs.replication 1 dfs.permission false
Βήμα 9 : Επεξεργαστείτε το mapred-site.xml αρχειοθετήστε και επεξεργαστείτε την ιδιότητα που αναφέρεται παρακάτω μέσα στην ετικέτα διαμόρφωσης:
mapred-site.xml περιέχει ρυθμίσεις διαμόρφωσης της εφαρμογής MapReduce, όπως αριθμός JVM που μπορούν να εκτελεστούν παράλληλα, το μέγεθος του χαρτογράφου και τη διαδικασία μείωσης, οι πυρήνες CPU είναι διαθέσιμοι για μια διαδικασία κ.λπ.
Σε ορισμένες περιπτώσεις, το αρχείο mapred-site.xml δεν είναι διαθέσιμο. Πρέπει λοιπόν να δημιουργήσουμε το αρχείο mapred-site.xmlχρησιμοποιώντας το πρότυπο mapred-site.xml.
Εντολή : cp mapred-site.xml.template mapred-site.xml
Εντολή : εμείς χαρτογραφημένος-ιστοσελίδα.xml.
Εικόνα: Εγκατάσταση Hadoop - Διαμόρφωση mapred-site.xml
νήματα mapreduce.framework.name
Βήμα 10: Επεξεργασία νήματα-site.xml και επεξεργαστείτε την ιδιότητα που αναφέρεται παρακάτω στην ετικέτα διαμόρφωσης:
νήματα-site.xml περιέχει ρυθμίσεις διαμόρφωσης ResourceManager και NodeManager όπως μέγεθος διαχείρισης μνήμης εφαρμογών, τη λειτουργία που απαιτείται στο πρόγραμμα και τον αλγόριθμο κ.λπ.
Εντολή : vi νήματα-site.xml
Εικ: Εγκατάσταση Hadoop - Διαμόρφωση νήματος-site.xml
τάξη python __init__
yarn.nodemanager.aux-υπηρεσίες mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
Βήμα 11: Επεξεργασία hadoop-env.sh και προσθέστε τη διαδρομή Java όπως αναφέρεται παρακάτω:
hadoop-env.sh περιέχει τις μεταβλητές περιβάλλοντος που χρησιμοποιούνται στο σενάριο για την εκτέλεση του Hadoop, όπως η αρχική διαδρομή Java κ.λπ.
Εντολή : εμείς Χάοουπ-envSH
Εικόνα: Εγκατάσταση Hadoop - Διαμόρφωση hadoop-env.sh
Βήμα 12: Μεταβείτε στον αρχικό κατάλογο Hadoop και μορφοποιήστε το NameNode.
Εντολή : CD
Εντολή : cd hadoop-2.7.3
Εντολή : bin / hadoop σκοπός-μορφή
Εικ: Εγκατάσταση Hadoop - Μορφοποίηση NameNode
Αυτό μορφοποιεί το HDFS μέσω NameNode. Αυτή η εντολή εκτελείται μόνο για πρώτη φορά. Η μορφοποίηση του συστήματος αρχείων σημαίνει αρχικοποίηση του καταλόγου που καθορίζεται από τη μεταβλητή dfs.name.dir.
Ποτέ μην μορφοποιείτε, ενεργοποιείτε και εκτελείτε το σύστημα αρχείων Hadoop. Θα χάσετε όλα τα δεδομένα σας που είναι αποθηκευμένα στο HDFS.
Βήμα 13: Μόλις διαμορφωθεί το NameNode, μεταβείτε στον κατάλογο hadoop-2.7.3 / sbin και ξεκινήστε όλους τους δαίμονες.
Εντολή: cd hadoop-2.7.3 / sbin
Είτε μπορείτε να ξεκινήσετε όλους τους δαίμονες με μία μόνο εντολή είτε να το κάνετε ξεχωριστά.
Εντολή: ./ start-all.sh
Η παραπάνω εντολή είναι ένας συνδυασμός του start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Ή μπορείτε να εκτελέσετε όλες τις υπηρεσίες μεμονωμένα όπως παρακάτω:
καλύτερο ιδανικό για την ανάπτυξη java
Έναρξη NameNode:
Το NameNode είναι το επίκεντρο ενός συστήματος αρχείων HDFS. Διατηρεί το δέντρο καταλόγου όλων των αρχείων που είναι αποθηκευμένα στο HDFS και παρακολουθεί όλα τα αρχεία που είναι αποθηκευμένα στο σύμπλεγμα.
Εντολή: ./σκοπός έναρξης hadoop-daemon.sh
Εικ: Εγκατάσταση Hadoop - Έναρξη NameNode
Έναρξη DataNode:
Κατά την εκκίνηση, ένα DataNode συνδέεται με το Namenode και ανταποκρίνεται στα αιτήματα του Namenode για διαφορετικές λειτουργίες.
Εντολή: ./hadoop-daemon.sh ξεκινήστε το datanode
Εικ: Εγκατάσταση Hadoop - Έναρξη DataNode
Έναρξη ResourceManager:
Το ResourceManager είναι ο κύριος που διαιτητίζει όλους τους διαθέσιμους πόρους συμπλέγματος και έτσι βοηθά στη διαχείριση των κατανεμημένων εφαρμογών που εκτελούνται στο σύστημα YARN. Η δουλειά του είναι να διαχειρίζεται κάθε NodeManagers και το ApplicationMaster κάθε εφαρμογής.
Εντολή: ./νήμα-daemon.sh ξεκινήστε το resourcemanager
Εικόνα: Εγκατάσταση Hadoop - Έναρξη ResourceManager
Έναρξη NodeManager:
Το NodeManager σε κάθε πλαίσιο μηχανής είναι ο πράκτορας που είναι υπεύθυνος για τη διαχείριση κοντέινερ, την παρακολούθηση της χρήσης των πόρων τους και την ίδια αναφορά στο ResourceManager.
Εντολή: ./νήμα-daemon.sh ξεκινήστε το νεκροταφείο
Εικόνα: Εγκατάσταση Hadoop - Έναρξη του NodeManager
Ξεκινήστε JobHistoryServer:
Το JobHistoryServer είναι υπεύθυνο για την εξυπηρέτηση όλων των αιτημάτων που σχετίζονται με το ιστορικό εργασίας από τον πελάτη.
Εντολή : ./mr-jobhistory-daemon.sh έναρξη ιστορικού διακομιστή
Βήμα 14: Για να ελέγξετε ότι όλες οι υπηρεσίες Hadoop είναι σε λειτουργία και εκτελέστε, εκτελέστε την παρακάτω εντολή.
Εντολή: jps
Εικ: Εγκατάσταση Hadoop - Έλεγχος δαιμόνων
Βήμα 15: Τώρα ανοίξτε το πρόγραμμα περιήγησης Mozilla και μεταβείτε στο localhost : 50070 / dfshealth.html για να ελέγξετε τη διεπαφή NameNode.
Εικόνα: Εγκατάσταση Hadoop - Έναρξη WebUI
Συγχαρητήρια, έχετε εγκαταστήσει με επιτυχία ένα σύμπλεγμα Hadoop ενός κόμβου με μία κίνηση.Στο επόμενο blog μας του , θα καλύψουμε τον τρόπο εγκατάστασης του Hadoop σε ένα σύμπλεγμα πολλαπλών κόμβων.
Τώρα που έχετε καταλάβει πώς να εγκαταστήσετε το Hadoop, ρίξτε μια ματιά στο από την Edureka, μια αξιόπιστη διαδικτυακή εταιρεία εκμάθησης με δίκτυο περισσότερων από 250.000 ικανοποιημένων μαθητών σε όλο τον κόσμο. Το εκπαιδευτικό πρόγραμμα Edureka Big Data Hadoop Certification βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Νήματα, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς Retail, Social Media, Aviation, Tourism, Finance.
Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.