Με την αυξημένη υιοθέτηση του Hadoop σε παραδοσιακές εταιρικές λύσεις πληροφορικής και τον αυξημένο αριθμό εφαρμογών Hadoop σε περιβάλλον παραγωγής, η ανάγκη των εμπειρογνωμόνων Hadoop Operations and Administration να φροντίσουν τα μεγάλα Hadoop Clusters καθίσταται ζωτικής σημασίας.
Ευθύνες διαχειριστή Hadoop:
- Υπεύθυνος για την εφαρμογή και τη συνεχή διαχείριση της υποδομής Hadoop.
- Ευθυγράμμιση με την ομάδα μηχανικής συστημάτων για να προτείνει και να αναπτύξει νέα περιβάλλοντα υλικού και λογισμικού που απαιτούνται για το Hadoop και να επεκτείνει τα υπάρχοντα περιβάλλοντα.
- Συνεργασία με ομάδες παράδοσης δεδομένων για τη ρύθμιση νέων χρηστών Hadoop. Αυτή η εργασία περιλαμβάνει τη ρύθμιση των χρηστών Linux, τη ρύθμιση των αρχών Kerberos και τη δοκιμή πρόσβασης HDFS, Hive, Pig και MapReduce για τους νέους χρήστες.
- Συντήρηση συμπλέγματος καθώς και δημιουργία και αφαίρεση κόμβων χρησιμοποιώντας εργαλεία όπως τα Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage και άλλα εργαλεία.
- Ρύθμιση απόδοσης συστάδων Hadoop και ρουτίνες Hadoop MapReduce.
- Screen Hadoop cluster δουλειές απόδοσης και σχεδιασμός χωρητικότητας
- Παρακολούθηση συνδεσιμότητας και ασφάλειας συμπλέγματος Hadoop
- Διαχείριση και έλεγχος αρχείων καταγραφής Hadoop.
- Διαχείριση και παρακολούθηση συστήματος αρχείων.
- Υποστήριξη και συντήρηση HDFS.
- Ομαδικά συνεργαστείτε με τις ομάδες υποδομής, δικτύου, βάσης δεδομένων, εφαρμογών και επιχειρηματικής ευφυΐας για να εξασφαλίσετε υψηλή ποιότητα και διαθεσιμότητα δεδομένων
- Συνεργασία με ομάδες εφαρμογών για την εγκατάσταση του λειτουργικού συστήματος και ενημερώσεις Hadoop, ενημερώσεις κώδικα, αναβαθμίσεις έκδοσης όταν απαιτείται.
- Σημείο επαφής για κλιμάκωση προμηθευτή
Το Hadoop Administration είναι μια ικανοποιητική και προσοδοφόρα καριέρα με πολλές ευκαιρίες ανάπτυξης. Εάν οι ευθύνες εργασίας που αναφέρονται παραπάνω σας ενδιαφέρουν, τότε ήρθε η ώρα να βελτιώσετε τις δεξιότητές σας με το Hadoop Administration και να ακολουθήσετε την καριέρα του διαχειριστή Hadoop.
tutorial ssis για αρχάριους 2012 με παραδείγματα
Ευθύνες DBA που εκτελούνται από έναν διαχειριστή Hadoop:
- Μοντελοποίηση, σχεδιασμός και υλοποίηση δεδομένων με βάση αναγνωρισμένα πρότυπα.
- Εγκατάσταση και διαμόρφωση λογισμικού.
- Δημιουργία αντιγράφων ασφαλείας και ανάκτηση βάσης δεδομένων.
- Συνδεσιμότητα και ασφάλεια βάσης δεδομένων.
- Παρακολούθηση και συντονισμός απόδοσης.
- Διαχείριση χώρου στο δίσκο.
- Διορθώσεις λογισμικού και αναβαθμίσεις.
- Αυτοματοποιήστε χειροκίνητες εργασίες.
Ευθύνες ανάπτυξης DWH που εκτελούνται από τον διαχειριστή Hadoop:
Οι ευθύνες εργασίας των διαχειριστών της DWH περιλαμβάνουν την ανάπτυξη, τον έλεγχο και την παρακολούθηση παρτίδων για τις ακόλουθες εργασίες:
- Διασφάλιση ακεραιότητας αναφοράς.
- Εκτελέστε την εκτέλεση του πρωτεύοντος κλειδιού.
- Ολοκληρώστε τις επαναδιατυπώσεις δεδομένων.
- Φόρτωση μεγάλου όγκου δεδομένων εγκαίρως.
Τώρα που γνωρίζετε για τις ευθύνες εργασίας ενός διαχειριστή Hadoop, ας ρίξουμε μια ματιά στις δεξιότητες που απαιτούνται για να είσαι ένας.
Απαιτούμενες δεξιότητες για να γίνετε διαχειριστής Hadoop:
- Γενική επιχειρησιακή εμπειρία όπως καλές δεξιότητες αντιμετώπισης προβλημάτων, κατανόηση της χωρητικότητας του συστήματος, σημεία συμφόρησης, βασικά στοιχεία της μνήμης, CPU, OS, αποθήκευση και δίκτυα.
- Δεξιότητες Hadoop όπως HBase, Hive, Pig, Mahout κ.λπ.
- Οι πιο βασικές απαιτήσεις είναι: Πρέπει να είναι σε θέση να αναπτύξουν το σύμπλεγμα Hadoop, να προσθέσουν και να αφαιρέσουν κόμβους, να παρακολουθούν τις εργασίες, να παρακολουθούν κρίσιμα τμήματα του συμπλέγματος, να διαμορφώνουν την υψηλή διαθεσιμότητα του κόμβου ονόματος, να προγραμματίζουν και να το διαμορφώνουν και να λαμβάνουν αντίγραφα ασφαλείας.
- Καλή γνώση του Linux καθώς το Hadoop τρέχει στο Linux.
- Εξοικείωση με τη διαχείριση διαμόρφωσης ανοιχτού κώδικα και εργαλεία ανάπτυξης όπως scripting Puppet ή Chef και Linux.
- Η γνώση για την αντιμετώπιση προβλημάτων Core Java Applications είναι ένα πλεονέκτημα.
Η Edureka έχει επιμεληθεί ειδικά ένα μάθημα στο Hadoop Administration. Κάντε κλικ στο παρακάτω κουμπί για να ξεκινήσετε με το Hadoop Administration και μάθετε πώς το μάθημα σας βοηθά να γίνετε διαχειριστής Hadoop.
Σχετικές αναρτήσεις:
πώς να μεταγλωττίσετε το πρόγραμμα java