Ένα από τα πιο ελκυστικά χαρακτηριστικά του πλαισίου Hadoop είναι το αξιοποίηση υλικού εξοπλισμού . Ωστόσο, αυτό οδηγεί σε συχνές διακοπές δεδομένων του DataNode σε ένα σύμπλεγμα Hadoop. Ένα άλλο εντυπωσιακό χαρακτηριστικό του Hadoop Framework είναι το ευκολία κλίμακας σύμφωνα με την ταχεία αύξηση του όγκου δεδομένων . Λόγω αυτών των δύο λόγων, ένα από τα πιο κοινά καθήκοντα ενός διαχειριστή Hadoop είναι να επιτροπή (Προσθήκη) και παροπλισμός (Κατάργηση) Κόμβοι δεδομένων σε ένα σύμπλεγμα Hadoop.
απλή εφαρμογή κατακερματισμού στην Java
Κόμβοι θέσης σε λειτουργία και παροπλισμού σε ένα σύμπλεγμα Hadoop:
Το παραπάνω διάγραμμα δείχνει μια διαδικασία βήμα προς βήμα για τον παροπλισμό ενός DataNode στο σύμπλεγμα.
Η πρώτη εργασία είναι να ενημερώσετε το « αποκλείω «Αρχεία και για τα δύο HDFS (hdfs-site.xml) και ΜΕΙΩΣΗ ΧΑΡΤΗ (mapred-site.xml).
Το αρχείο 'εξαίρεση':
- για jobtracker περιέχει τη λίστα των κεντρικών υπολογιστών που πρέπει να εξαιρεθούν από το jobtracker. Εάν η τιμή είναι κενή, δεν αποκλείονται κεντρικοί υπολογιστές.
- για το Namenode περιέχει μια λίστα κεντρικών υπολογιστών στους οποίους δεν επιτρέπεται η σύνδεση στο Όνομα.
Ακολουθεί το δείγμα διαμόρφωσης για το αρχείο εξαίρεσης σε hdfs-site.xml και mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / εξαιρούνται
αληθής
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / εξαιρούνται
αληθής
Σημείωση: Πρέπει να καθοριστεί το πλήρες όνομα διαδρομής των αρχείων.
Ομοίως, έχουμε τα αρχεία «include»:
- για jobtracker που περιέχει τη λίστα κόμβων που ενδέχεται να συνδεθούν με το JobTracker. Εάν η τιμή είναι κενή, επιτρέπονται όλοι οι κεντρικοί υπολογιστές.
- για το Namenode που περιέχει μια λίστα κεντρικών υπολογιστών στους οποίους επιτρέπεται η σύνδεση στο όνομα χρήστη. Εάν η τιμή είναι κενή, επιτρέπονται όλοι οι κεντρικοί υπολογιστές.
Ο ' dfsadmin ' και ' mradmin Οι εντολές ανανεώνουν τη διαμόρφωση με τις αλλαγές για να τις ενημερώσουν για τον νέο κόμβο.
Ο ' σκλάβοι Το αρχείο στον κύριο διακομιστή περιέχει τη λίστα όλων των κόμβων δεδομένων. Αυτό πρέπει επίσης να ενημερωθεί για να εξασφαλίσει τυχόν προβλήματα στο μελλοντικό hadoop daemon start / stop.
Το σημαντικό βήμα στη διαδικασία προμήθειας κόμβων δεδομένων είναι η εκτέλεση του Cluster Balancer.
> hadoop εξισορρόπηση-κατώτατο όριο 40
Ισορροπητής προσπαθεί να παρέχει μια ισορροπία σε ένα ορισμένο όριο μεταξύ των κόμβων δεδομένων, αντιγράφοντας δεδομένα μπλοκ από παλαιότερους κόμβους σε κόμβους που τέθηκαν σε λειτουργία.
Έτσι, μπορείτε να κάνετε - Ανάθεση και Παροπλισμός Κόμβοι σε ένα σύμπλεγμα Hadoop.
Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.
Σχετικοί σύνδεσμοι: