Hadoop Job Tacker
Το Job Tracker είναι ο κύριος δαίμονας τόσο για τη διαχείριση πόρων εργασίας όσο και για τον προγραμματισμό / παρακολούθηση εργασιών. Λειτουργεί ως σύνδεσμος μεταξύ του Hadoop και της εφαρμογής σας.
Η διαδικασία
Ο χρήστης αντιγράφει πρώτα αρχεία στο Διανεμημένο σύστημα αρχείων (DFS), πριν υποβάλει μια εργασία στον πελάτη. Στη συνέχεια, ο πελάτης λαμβάνει αυτά τα αρχεία εισόδου. Ο χρήστης θα λάβει τα διαχωριστικά ή μπλοκ με βάση τα αρχεία εισαγωγής.Ο πελάτης θα μπορούσεδημιουργήστε τα χωρίσματα ή τα μπλοκ σε έναν άνδρανωρίτεραγιατί υπάρχουν ορισμένες σκέψεις πίσω από αυτό. Εάν γίνει ανάλυση στα πλήρη δεδομένα, θα χωρίσετε τα δεδομένα σε διαχωρισμούς. Τα αρχεία δεν αντιγράφονται μέσω πελάτη, αλλά αντιγράφονται χρησιμοποιώντας flume ή Sqoop ή οποιονδήποτε εξωτερικό πελάτη.
Μόλις αντιγραφούν τα αρχεία στο DFS και ο πελάτης αλληλεπιδρά με το DFS,οι διαχωρισμοί θα εκτελέσουν ένα MapReduce jομ. Η εργασία υποβάλλεται μέσω εντοπισμού εργασίας. Το tracker εργασίας είναι ο κύριος δαίμονας που τρέχει στον ίδιο κόμβοτρέχειαυτές τις πολλαπλές εργασίες σε κόμβους δεδομένων. Αυτά τα δεδομένα θα βρίσκονται σε διάφορους κόμβους δεδομένων, αλλά είναι ευθύνη του ανιχνευτή εργασίας να το φροντίσει.
Μετά την υποβολή ενός πελάτητο tracker εργασίας, η εργασία αρχικοποιείται στην ουρά εργασίας και το tracker εργασίας δημιουργεί χάρτες και μειώνει. Με βάση το πρόγραμμα που περιλαμβάνεται στη λειτουργία χάρτη και τη λειτουργία μείωσης, θα δημιουργήσει την εργασία χάρτη και θα μειώσει την εργασία. Αυτά τα δύο θα τρέχουν στα διαχωριστικά εισόδου. Σημείωση: Όταν δημιουργείται από τους πελάτες, αυτός ο διαχωρισμός εισόδου περιέχει ολόκληρα τα δεδομένα.
πόσες δεσμευμένες λέξεις στην Java
Κάθε διαχωρισμός εισόδου έχει μια εργασία χάρτη σε αυτήν και η έξοδος της εργασίας χαρτών πηγαίνει στην εργασία μείωσης. Το Job tracker εκτελεί το κομμάτι σε συγκεκριμένα δεδομένα. Μπορεί να υπάρχουν πολλές επαναλήψεις αυτού, ώστε να επιλέγει τα τοπικά δεδομένα και να εκτελεί την εργασία σε αυτό το συγκεκριμένο πρόγραμμα παρακολούθησης εργασιών. Ο εντοπιστής εργασιών είναι αυτός που εκτελεί πραγματικά την εργασία στον κόμβο δεδομένων. Ο ιχνηλάτης εργασίας θα περάσει τοπληροφορίεςστο πρόγραμμα παρακολούθησης εργασιών και το πρόγραμμα παρακολούθησης εργασιών θα εκτελέσει την εργασία στον κόμβο δεδομένων.
Μόλις η εργασία έχει ανατεθεί στον εντοπιστή εργασιών, υπάρχει ένας καρδιακός παλμός που σχετίζεται με κάθε πρόγραμμα παρακολούθησης εργασιών και παρακολούθησης εργασίας. Στέλνει σήματα για να ανακαλύψει εάν οι κόμβοι δεδομένων είναι ακόμα ζωντανές. Οι δύο είναι συχνά συγχρονισμένοι, καθώς υπάρχει η πιθανότητα να εξασθενίσουν οι κόμβοι.
Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.
Σχετικές αναρτήσεις:
διαφορά μεταξύ τελικού τελικά και οριστικοποίησης σε java