Όταν ήμουν νεότερος, μου άρεσε πολύ η ταινία Star Wars. Μου άρεσε τόσο πολύ που είχα αυτές τις κασέτες βίντεο για κάθε μία από αυτές. Συνήθιζα να τα παρακολουθώ ξανά και ξανά. Τότε ήρθε η ώρα των DVD player και έπρεπε να πάρω ξανά αυτές τις ταινίες σε DVD. Δεν είχα κανένα πρόβλημα να αγοράσω ολόκληρο το σετ ξανά σε DVD καθώς ήθελα να ζήσω τη νέα τεχνολογία και να συνεχίσω να απολαμβάνω τις αγαπημένες μου ταινίες. Τα πράγματα ήταν υπέροχα μέχρι να εμφανιστεί μια άλλη νέα τεχνολογία, το Blu-ray. Έχοντας ήδη αγοράσει τις ταινίες δύο φορές, δεν ανυπομονούσα να τις αγοράσω ξανά. Για λίγο καιρό δεν προσπάθησα να «ενημερώσω» τον εαυτό μου, νομίζοντας ότι θα τα πήγαινα καλά χωρίς αυτήν την τεχνολογία. Και τα πήγα καλά. Δεν επηρέασε τη ζωή μου ούτως ή άλλως. Αλλά μπορούσα να δω μια αλλαγή στην τάση και δεν μπορούσα να μοιραστώ τις ταινίες μου με τους φίλους μου, όπως έκαναν μεταξύ τους. Αισθάνθηκα πραγματικά να μένω.
Τελικά βγήκα έξω και πήρα την ταινία σε Blu-ray. Το θυμάμαι όχι επειδή μου αρέσει η ταινία, αλλά λόγω του γεγονότος ότι η ποιότητα του βίντεο ήταν εντυπωσιακή. Και για να το ολοκληρώσω, πήρα ολόκληρο το σετ ταινιών σε έναν δίσκο Blu-ray.
Η ανάγκη ή η επιθυμία για ενημέρωση είναι ισχυρότερη όσον αφορά το επάγγελμά μας καθώς οι κίνδυνοι είναι μεγαλύτεροι. Έχει καταστεί απαραίτητο να παραμείνετε στην κορυφή του παιχνιδιού σας.
4 Πρακτικοί λόγοι για την εκμάθηση Hadoop 2.0:
Όσο αναπόφευκτα μπορεί να είναι, το να παραμένουμε ενημερωμένοι στο επάγγελμά μας έχει γίνει σημαντικό κομμάτι της ζωής μας. Όσο τρομακτικό όσο ακούγεται, δεν χρειάζεται να ανησυχείτε, καθώς οι τεχνολογίες δεν αλλάζουν πραγματικά τόσο γρήγορα ή δραστικά. Αλλά οι συνομιλίες και οι πληροφορίες για αυτές τις τεχνολογίες και τα πράγματα που μπορούμε να κάνουμε μαζί τους αποκτούν ορατότητα. Ακολουθούν ορισμένοι λόγοι για τους οποίους πρέπει να είστε ενημερωμένοι:
# 1: Μην πιάσετε
Το να μην προσέχετε την τελευταία ενημέρωση μιας τεχνολογίας μπορεί να σας κάνει να μοιάζετε με ένα ελάφι που παγιδεύεται στον προβολέα. Όχι ακριβώς μια λαμπρή εικόνα των επαγγελματικών σας ικανοτήτων. Η ενημέρωση θα σας κάνει σεβαστούς από τους συνομηλίκους σας για τις επαγγελματικές σας δεξιότητες. Ίσως να μην χρειάζεται να εφαρμόσετε κάθε νέο πράγμα που μαθαίνετε, αλλά είναι απαραίτητο να γνωρίζετε τις ενημερώσεις.
Για παράδειγμα, όταν υπάρχει μια συζήτηση για το Hadoop, μπορείτε να ενημερώσετε τους συνομηλίκους σας ότι το Hadoop 2.5.0 έχει βελτιώσεις ελέγχου ταυτότητας όταν χρησιμοποιείτε διακομιστή μεσολάβησης HTTP. Και επίσης στην ίδια έκδοση του Hadoop, υπάρχει πρόβλεψη για γραφή απευθείας στο Graphite.
Καθίσταται απαραίτητο να είστε ενημερωμένοι για τις τελευταίες ενημερώσεις όταν οι οργανισμοί σκέφτονται να μεταναστεύσουν στο Hadoop. Και η «γνώση» μπορεί να κάνει τεράστια διαφορά στην καριέρα σας.
# 2: Έχοντας ένα ανταγωνιστικό πλεονέκτημα
Οι επαγγελματίες που είναι ειδικευμένοι στους τομείς τους γίνονται σεβαστοί. Και η ενημέρωση είναι ο καλύτερος τρόπος για να είστε στην κορυφή. Η ανάγκη σας για ενημέρωση αντικατοπτρίζει το πάθος σας για τη δουλειά σας. Με την ανάπτυξη εμπειρογνωμοσύνης στη δουλειά σας και στον κλάδο σας, θα κερδίσετε την εμπιστοσύνη και τον σεβασμό των ανθρώπων γύρω σας. Από ηγετική άποψη, αυτό είναι πολύτιμο!
πώς να κάνετε δοκιμές βάσης δεδομένων
Ακόμα κι αν ο οργανισμός σας εξακολουθεί να λειτουργεί με το Hadoop 1.0, γνωρίζοντας όλες τις τελευταίες δυνατότητες του Hadoop 2 θα σας κρατήσει σε καλό δρόμο καθώς είναι σχετικά νέο και σίγουρα καλύτερο. Όντας ο πρώτος που θα μάθει αυτό θα σας δώσει ένα πλεονέκτημα από τους συνομηλίκους σας.
# 3: Νέες ευκαιρίες
Είναι μια θλιβερή πραγματικότητα που ο τρέχων ρόλος μας αλλάζει. Με την πάροδο του χρόνου έρχονται πρόσθετες ευθύνες και ευκαιρίες να κάνουν νέα καθήκοντα. Διατηρώντας ενημερωμένους τις τάσεις του κλάδου, είστε στην καλύτερη θέση για να εκμεταλλευτείτε αυτές τις ευκαιρίες.
Εταιρείες όπως οι Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory και πολλά άλλα αναζητούν άτομα με εξειδίκευση στις τελευταίες δυνατότητες του Hadoop 2, όπως το YARN.
# 4: Λάβετε καλύτερες αποφάσεις
Οι επιπλέον πληροφορίες θα σας επιτρέψουν να λάβετε ενημερωμένες επιλογές και καλύτερες αποφάσεις. Θα σας βοηθήσει να αναγνωρίσετε ευκαιρίες και να προσθέσετε αξία στη στρατηγική του οργανισμού σας.
Το Hadoop 2 διαθέτει χαρακτηριστικά που βελτιώνουν την ταχύτητα και μειώνουν το κόστος. Η πρόταση επιλογών για βελτίωση της απόδοσης και αύξηση της ταχύτητας μπορεί σίγουρα να ενισχύσει την παραγωγικότητα του οργανισμού. Ακολουθούν ορισμένες δυνατότητες του Hadoop 2 που θα ωφελήσουν τον οργανισμό και υποδηλώνουν ότι θα ενισχύσουν την καριέρα σας επίσης.
Υποστήριξη για την εκτέλεση του Hadoop στα Microsoft Windows
Απλοποιημένη διανομή δυαδικών αρχείων MapReduce μέσω HDFS στο YARN Distributed Cache.
Βελτιωμένη υποστήριξη για νέες εφαρμογές στο YARN με το Application History Server και το Application Timeline Server
Πλήρης υποστήριξη HTTPS σε HDFS
Ενσωμάτωση Kerberos για το κατάστημα λωρίδας χρόνου του YARN.
Υποστήριξη για ετερογενή ιεραρχία αποθήκευσης σε HDFS.
Προσωρινή μνήμη cache για δεδομένα HDFS με κεντρική διαχείριση και διαχείριση.
Απλοποιημένη διανομή δυαδικών αρχείων MapReduce μέσω HDFS στο YARN Distributed Cache.
Υπάρχουν περισσότεροι από απλοί πρακτικοί λόγοι για να μείνετε ενημερωμένοι. Υπάρχουν επίσης τεχνικοί λόγοι. Το Hadoop έχει πολλές δυνατότητες που είναι επωφελείς για τους οργανισμούς. Ρίξτε μια εις βάθος ματιά σε αυτά θα σας δώσει σαφή εικόνα για το τι είναι τα πλεονεκτικά.
Ποια είναι η τελευταία ενημέρωση στο Hadoop;
Κάθε προϊόν περνάει από διάφορα στάδια κυκλοφορίας και διαθέτει διάφορες εκδόσεις του. Το Hadoop δεν αποτελεί εξαίρεση και έχει δημιουργήσει το Hadoop 2.0. Το ίδρυμα Apache έχει παρουσιάσει επακόλουθες εκδόσεις του Hadoop όπως το Hadoop 2.1.0, Hadoop 2.4.0 και έχει φτάσει στο Hadoop 2.5.1, το οποίο είναι η τελευταία έκδοση που κυκλοφόρησε τον Σεπτέμβριο του 2014.
Γιατί κυκλοφόρησε το Hadoop 2;
Με τη νέα έκδοση έρχονται πρόσθετα χαρακτηριστικά και διορθωμένα σφάλματα. Έτσι, κάθε φορά που χρησιμοποιείτε μια συγκεκριμένη έκδοση του Hadoop και πιστεύετε ότι μπορεί να προστεθεί ένα συγκεκριμένο χαρακτηριστικό ή κάποια σφάλματα πρέπει να διορθωθούν, ενημερώνετε τα παιδιά στο Ίδρυμα Apache για αυτό. Αυτοί οι τύποι με τη σειρά τους το δουλεύουν και σας δίνουν ένα καλύτερο προϊόν στην επόμενη έκδοση.
Hadoop 2 - Όχι μόνο ένας αριθμός
Το Hadoop 2 δεν είναι μόνο η τελευταία έκδοση του Hadoop. Σε γενικές γραμμές, είναι μια αρχιτεκτονική δεύτερης γενιάς. Ο Arun Murthy, ιδρυτής και αρχιτέκτονας του διανομέα Hadoop, Hortonworks, επιμένει ότι η διάκριση είναι σημαντική, διότι ο απαιτούμενος επανασχεδιασμός που απαιτείται για τη μετακίνηση του Hadoop πέρα από την επεξεργασία παρτίδων και στον κόσμο των αναλυτικών στοιχείων σε πραγματικό χρόνο ήταν σημαντικός.
Ας συζητήσουμε πόσο διαφορετικό είναι το Hadoop 2.0 από το προηγούμενο Hadoop 1.0. Προφανώς, η έκδοση που κυκλοφόρησε αργότερα θα είναι ανώτερη από την προηγούμενη έκδοση. Ακολουθούν οι τέσσερις σημαντικές βελτιώσεις στο Hadoop 2.0 έναντι του Hadoop 1.x:
HDFS Federation - Οριζόντια επεκτασιμότητα του NameNode
NameNode Υψηλή διαθεσιμότητα - Το NameNode δεν είναι πλέον ένα μοναδικό σημείο αποτυχίας
YARN - Δυνατότητα επεξεργασίας Terabytes και Petabytes δεδομένων διαθέσιμων σε HDFS χρησιμοποιώντας εφαρμογές Non-MapReduce όπως MPI, GIRAPH
Resource Manager - Διαχωρίζει τις δύο βασικές λειτουργίες του υπερβολικού φόρτου JobTracker (διαχείριση πόρων και προγραμματισμός / παρακολούθηση εργασίας) σε δύο ξεχωριστούς δαίμονες: έναν παγκόσμιο Διαχειριστή πόρων και ανά εφαρμογή ApplicationMaster
Υπάρχουν πρόσθετες δυνατότητες, όπως το Capacity Scheduler (Ενεργοποίηση υποστήριξης πολλαπλών ενοικίων στο Hadoop), Στιγμιότυπο δεδομένων, Υποστήριξη για Windows, πρόσβαση NFS, επιτρέποντας αυξημένη υιοθέτηση Hadoop στον κλάδο για την επίλυση προβλημάτων Big Data.
Hadoop 2.X έναντι Hadoop 1.X
Ας κάνουμε μια μικρή σύγκριση και να δούμε με ποιους τρόπους το Hadoop 2.0 είναι καλύτερο και διαφορετικό από το Hadoop 1.0
Γιατί προτιμάται το Hadoop 2 από το Hadoop 1.0;
Το Hadoop 2.0 προσφέρει βελτιώσεις απόδοσης που ωφελούν τις σχετικές τεχνολογίες στο οικοσύστημα Hadoop. Εκτός από τις πρωτοποριακές δυνατότητες του HDFS και της αρχιτεκτονικής δεύτερης γενιάς (YARN), υπάρχουν ακόμα περισσότεροι λόγοι για την προτίμηση του Hadoop 2 από το Hadoop 1.0:
Το Hadoop 2 δεν έχει πλέον περιορισμό στη γλώσσα. Δηλαδή, ένα ευρύ φάσμα επαγγελματιών μπορούν πλέον να χρησιμοποιούν το Hadoop.
Με το Hadoop 2, ξεπερνούν εμπόδια όπως η έλλειψη κωδικοποιητών MapReduce.
2 φορές πιο γρήγορα από το Hadoop 1.0
2 φορές το ROI με το υπάρχον υλικό.
Με το YARN, η διεπαφή προγραμματισμού εφαρμογών είναι πολύ πιο ανοιχτή και ευέλικτη.
Το Hadoop 2 επεκτείνει τις δυνατότητες χρήσης του Hadoop σε έργα Big Data.
Με το Hadoop 2, οι προγραμματιστές μπορούν πλέον να εκτελούν μια τεράστια ποικιλία εργασιών μείωσης δεδομένων, πέρα από το προηγούμενο πεδίο επεξεργασίας παρτίδας της Hadoop.
Προσφέρει νέες ευκαιρίες για διαχειριστές πληροφοριών και αντιμετωπίζει ελλείψεις σε προηγούμενες εκδόσεις.
Αυτή η νέα έκδοση έχει τη μοναδική δυνατότητα εκτέλεσης πολλαπλών φόρτων εργασίας στο ίδιο σύμπλεγμα Hadoop.
Το Hadoop δεν περιορίζεται πλέον σε ένα χαρακτηριστικό. Η εφαρμογή του εκτείνεται πλέον πέρα από το HDFS και το MapReduce.
Βασικά οφέλη του YARN
Γνωρίζουμε ότι το YARN είναι αρχιτεκτονική δεύτερης γενιάς, ας δούμε τι το κάνει τόσο υπέροχο.
Κλίμακα
Νέα μοντέλα και υπηρεσίες προγραμματισμού
Βελτιωμένη χρήση συμπλέγματος
Ευκινησία
Πολύ περισσότερο από την Java
Και πολλά άλλα
Απαίτηση για δεξιότητες Hadoop 2
Οι οργανισμοί ξεκινούν τώρα ή πειραματίζονται με το Hadoop 2. Κατά συνέπεια, υπάρχει ανάγκη για επαγγελματίες με ειδίκευση στο Hadoop 2. Πολλοί οργανισμοί έχουν ήδη αρχίσει να αναζητούν εσωτερικά άτομα που να συνεργάζονται με το Hadoop. Υπάρχουν σαφείς ενδείξεις ότι το YARN αυξάνεται και τελικά θα αντικαταστήσει τη ζήτηση για δεξιότητες MapReduce.
Ακολουθούν ορισμένες απόψεις σχετικά με την τρέχουσα και προβλεπόμενη ζήτηση για δεξιότητες Hadoop:
Σύμφωνα με αναλυτές από το Gartner, το Hadoop 2 είναι μια ζωτική εξέλιξη, καθώς μεγάλες επιχειρήσεις σε όλο τον κόσμο έχουν βρει το Hadoop να είναι ένα παιχνίδι αλλαγής στη διαχείριση των Big Data.
Σύμφωνα με τον Eric Kavanagh, από την ομάδα Bloor, το Hadoop 2.0 έχει κερδίσει έλξη μεταξύ των εργαζομένων πληροφοριών που επιδιώκουν να αντιμετωπίσουν το Big Data.
Η υιοθέτηση του Hadoop 2.0 συνεχίζει να αυξάνεται και τώρα μπαίνει στο στάδιο της ωριμότητας.
Οι οργανισμοί γνωρίζουν τα οφέλη του YARN και είναι ενθουσιασμένοι με αυτό.
Ακολουθεί ένα στιγμιότυπο εργασιών για το Hadoop 2.0 / YARN in Πράγματι. Com
Ποιος μετακομίζει στο Hadoop 2 ή έχει ήδη;
Yahoo:
Yahoo! , ο ηγέτης σε όλα όσα η Hadoop έχει εφαρμόσει το YARN (0.23.x). Σύμφωνα με τον Murthy, το σύμπλεγμα 35.000 κόμβων της Yahoo επεξεργάζεται τώρα 130-150 θέσεις εργασίας ανά ημέρα σε σύγκριση με 50-60 πριν από το YARN.
Όταν μιλάμε για την αστρική απόδοση, ο Murthy αναφέρει: «Όταν έχετε 2x πάνω από 35.000 έως 40.000 κόμβους, αυτό είναι εκπληκτικό». Πρόσθεσε επίσης, 'Είναι μια πολύ συναρπαστική ιστορία για να πείτε σε ένα CIO ότι εάν απλώς αναβαθμίσετε το λογισμικό σας από Hadoop 1 σε Hadoop 2, θα δείτε 2 φορές βελτιώσεις απόδοσης στις εργασίες σας.'
eBay:
Το eBay διαθέτει ένα από τα μεγαλύτερα συμπλέγματα Hadoop στον κλάδο, όπου τα δεδομένα είναι σε petabytes. Έχουν επίσης μεταναστεύσει τις συστάδες τους στο Hadoop 2.
Συμπέρασμα:
Με το Hadoop 2 να είναι ώριμο και ευκολότερο να εφαρμοστεί, πείθουν ακόμη και τους σκεπτικιστές και όλο και περισσότεροι οργανισμοί μεταναστεύουν στο Hadoop 2.0. Υπάρχουν έγκυροι λόγοι για να αποφύγετε τις εκδόσεις 1.x. Αλλά με το Hadoop 2, ακόμη και οι άπιστοι το θεωρούν ότι μπορεί να χρησιμοποιηθεί για ένα ευρύ φάσμα χρήσεων. Μαθαίνοντας το Hadoop 2.0 και εφαρμόζοντάς το για να εκτελεί υπολογισμούς στο Big Data, θα ανοίξετε τις πύλες σε μια τεχνικά προηγμένη και οικονομικά αποδοτική καριέρα.
Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.
Σχετικές αναρτήσεις: