Εάν είστε ήδη από το Βιομηχανία πληροφορικής , πρέπει να το γνωρίζετε αυτό Μεγάλα δεδομένα είναι η συζήτηση της ημέρας. Είτε πρόκειται, νέες νεοσύστατες εταιρείες με καινοτόμα επιχειρηματικά μοντέλα, είτε οι συνάδελφοί σας προχωρούν για να συμμετάσχουν σε αυτές τις επιχειρήσεις, για κάποιο λόγο, σήμερα πιο πράσινα λιβάδια φαίνεται να είναι το Μεγάλα δεδομένα βιομηχανία.
Εάν αναρωτιέστε γιατί, τότε σας συνιστώ να το διαβάσετε μέχρι το τέλος, επειδή μπορεί να είναι ένα αυτοεξερευνητικό ιστολόγιο, που σας οδηγεί σε αυτό που προορίζεστε.
Λοιπόν, γιατί όλα αυτάΔΗΜΟΣΙΟΤΗΤΑπεριβάλλων ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ?
Είναι απλώς ένας άλλος τομέας που προσγειώνει πρόσφυγες από όλους τους άλλους τομείς σε προσωρινή βάση; Ή, θα είναι εδώ για μεγάλες αποστάσεις;
Αν έπρεπε να μαντέψω, θα έλεγα ότι, όχι μόνο θα είναι εδώ για μεγάλο χρονικό διάστημα, αλλά και η βιομηχανία Big Data θα βρίσκεται στο επίκεντρο της τεχνολογικής προόδου.
Επειδή όλα είναι σχετικάΔΕΔΟΜΕΝΑ!
Ακριβώς όπως ο Ήλιοςανεβαίνειαπό τοΑνατολήκαισκηνικάστοδυτικά, η συνεχής χρήση υπολογιστικών / μη υπολογιστικών συσκευών θα έχει ως αποτέλεσμα έκρηξη μη διαχειρίσιμων δεδομένων.
Όταν αυτά τα δεδομένα υπερβαίνουν το κατώφλι, το χειρισμό τους από το Excel ή οποιοδήποτε Σύστημα Διαχείρισης Βάσεων Δεδομένων, το ονομάζουμε ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ .
Σκεφτείτε, ποιο ήταν το τελευταίο προϊόν που αγοράσατε από την Amazon; Ποιο μπορεί να είναι το επόμενο προϊόν που ενδέχεται να αγοράσετε βάσει προηγούμενης δραστηριότητας; Οι απαντήσεις σε τέτοιες ερωτήσεις αποθηκεύονται στα Big Data.
Υπάρχει μια αυξανόμενη τάση πίσω από ένα προϊόν; Ή, υπάρχει πτωτική τάση; Θα αγοράσει ένας πελάτης «Κάλτσες» όταν αγοράζει «Παπούτσια»; Αυτές είναι επιχειρηματικές ερωτήσεις επίλυσης προβλημάτων.
Και, αυτές οι ερωτήσεις μπορούν να είναι εύκολα απάντησε με τη χρήση Big Data Analytics .
Σε τελική ανάλυση, ποια είναι η χρήση των δεδομένων, όταν δεν είστε ανάλυση το?
Έτσι, είναι τα Big DataεντελώςΑνάλυση;Όχι εντελώς, αλλά το Analytics είναι το απόλυτο βραβείο.
Άλλες σημαντικές ροές στα Big Data είναιΑποθήκευσηκαιΔιαχείριση.
Εδώ μπορείτε να συνεισφέρετε ως επαγγελματίας. Μπορείτε να αναλάβετε τον ρόλο είτε:
- Μεγάλος Μηχανικός Δεδομένων
- Αρχιτέκτονας Big Data Solution
Και βεβαιωθείτε ότι τα μεγάλα δεδομένα που δημιουργούνται, είναι πάντα διαθέσιμα και μπορούν να χρησιμοποιηθούν για αναλυτικά στοιχεία αργότερα. Αυτό μας φέρνει στην ερώτηση & hellip
Πού αποθηκεύονται τα Big Data;
Μπορεί να αποθηκευτεί σεΑρχείο Excel; Μπορεί να αποθηκευτεί σεσχεσιακό σύστημα βάσεων δεδομένων;
Ούτε καν!
Αν θα μπορούσε να είναι, τότε θα ήταν!
Και να λέγεται κάτι διαφορετικό μαζί. Ίσως κάτι σανΔεδομένα ExcelήΔεδομένα RDBMS:ΡΕ
Και αυτό θα μας πήγαινε πίσω ΒΗΜΑ 1 : - Γιατί δεν είναι δυνατή η διαχείριση Big Data χρησιμοποιώντας το Excel; ΕπειδήΤο Big Data είναι πολύ ζεστό για να το χειριστεί το Excel. Και ακόμη και άλλα συστήματα διαχείρισης βάσεων δεδομένων στην πραγματικότητα.
Λοιπόν, ποια είναι η εναλλακτική λύση;
Για τον χειρισμό Big Data, έχουμε ΧΑΝΤΟΠ . Ίσως γνωρίζετε και αυτή τη λέξη. Όμως, ίσως αναρωτιέστε, πώς ακριβώς λειτουργεί;
Για αρχάριους, το HADOOP είναι προϊόν τηςΊδρυμα APACHE. Το Apache είναι ένας αμερικανικός μη κερδοσκοπικός οργανισμός που υποστηρίζει την ανάπτυξη λογισμικού ανοιχτού κώδικα.
πώς μπορώ να εγκαταστήσω το php
Το Hadoop ορίζεται ως ένα πλαίσιο προγραμματισμού ανοιχτού κώδικα Java που υποστηρίζει την επεξεργασία και αποθήκευση εξαιρετικά μεγάλων συνόλων δεδομένων σε ένα κατανεμημένο περιβάλλον υπολογιστών.
Τι μπορεί να κάνει το Hadoop, αλλά δεν μπορεί το Excel;
Επεξεργασία και κατανόηση μη δομημένων δεδομένων!Δομημένα δεδομένα που είναι σε μορφή πίνακα ή αλλιώς μπορούν να αντιμετωπιστούν εύκολα. Το Excel μπορεί να το κάνει, όπως και κάθε άλλο RDBMS.
Αλλά όταν η αναγνωσιμότητα μειώνεται και τα δεδομένα δεν είναι δομημένα, εκεί είναι το Big Dataεργαλεία όπως το Hadoopσκορ. Ένα παράδειγμα μη δομημένων δεδομένων είναι ημερολόγιο . Ένα δείγμα εικόνας είναι παρακάτω.
Τέτοια αρχεία καταγραφής δεν είναι σίγουρα ερωτήματα χρησιμοποιώντας το Excel.
Το Hadoop, όπως τα εργαλεία Big Data, μπορεί να κατανοήσει τα δεδομένα όπως είναι, ανακαλύπτοντας μοτίβα και σχηματίζοντας σχέσεις μεταξύ διαφόρων τομέων. Και όταν τα δεδομένα έχουν σχεσιακή πινελιά, είναιAnalytics-έτοιμο.
Το Analytics είναι αυτό που θα επηρεάσει μια επιχείρηση σε έναν οργανισμό! Η καριέρα σας θα ωφεληθεί σε μεγάλο βαθμό από τη συμμετοχή της σε αυτόν τον τομέα Big Data.
' Μπορώ να το κάνω ως Hadoop-er; '
… Μπορεί να είναι η επόμενη ερώτηση στο μυαλό σας. Και σωστά, το Big Data είναι μια αγορά που είναι τόσο καυτή όσο ποτέ, και τόσο σημαντική όσο ποτέ.
Χωρίς Hadoop, οι εταιρείες θα δυσκολευτούν να αντιμετωπίσουν το Big Data. Και χωρίς εξειδικευμένους επαγγελματίες όπως εσείς, οι εταιρείες θα δυσκολευτούν να αντιμετωπίσουν το Hadoop.
Υπάρχει μια έκθεση που λέει, υπάρχει έλλειμμα ταλέντων σε αυτόν τον τομέα. Το έλλειμμα τουendend σημαίνει λιγότερους επαγγελματίες αλλά υψηλή ζήτηση. Και αυτό είναι σε παγκόσμια κλίμακα και δεν περιορίζεται σε μια συγκεκριμένη γεωγραφία.
Θέλετε αριθμούς;
ΠΡΟΣ ΤΟ Παγκόσμιο Ινστιτούτο McKinsey Η μελέτη αναφέρει ότι οι ΗΠΑ θα αντιμετωπίσουν έλλειψη περίπου 190.000 επιστημόνων δεδομένων και 1,5 εκατομμυρίων διευθυντών και αναλυτών που μπορούν να κατανοήσουν και να λάβουν αποφάσεις χρησιμοποιώντας τα Big Data έως το 2018.
Συμβουλές καριέρας σε εσάς; Σερφάρετε όταν οι παλίρροιες είναι χαμηλές!
Αλλά είσαι εσύ περιορισμένος μόνο Χάδοπ ;
Όχι πραγματικά. Υπάρχουν πολλά εργαλεία για την επεξεργασία Big Data και το Hadoop θεωρείται ένα από τα καλύτερα. Όμως, όχι κάθε φορά!
Υπάρχουν στιγμές που το Hadoop δεν είναι το πιο κατάλληλο. Για παράδειγμα, εάν είστε μη τεχνικό άτομο που δεν είναι πολύ καλός στη σύνταξη προγραμμάτων MapReduce.
Σε τέτοιες περιπτώσεις, μπορείτε να χρησιμοποιήσετεΤΑΛΕΝΤ, το οποίο σας δίνει μια γραφική διεπαφή χρήστη για να κάνετε ό, τι θα κάνατε διαφορετικά με το MapReduce.
Για τη σύνταξη απλούστερων κωδικών Java, μπορείτε να χρησιμοποιήσετεΧΟΙΡΟΣ.
Εάν θέλετε να εκτελέσετε ερωτήματα τύπου SQL σε Big Data, τότεΚΥΨΕΛΗμπορεί να χρησιμοποιηθεί.
Εάν θέλετε να χρησιμοποιήσετε δεδομένα που είναι αποθηκευμένα σε βάση δεδομένων NoSQL, τότεHBaseμπορεί να χρησιμοποιηθεί.
Για την εκτέλεση αναλυτικών στοιχείων σε πραγματικό χρόνο, μπορείτε να το χρησιμοποιήσετεΣΠΙΘΑ.
Αυτά είναι εργαλεία Big Data, τα οποία συμβαδίζουν με το Hadoop, αλλά δεν αντικαθιστούν καθόλου το Hadoop. Πρόκειται για πρόσθετα Hadoop για Big Data.
Εκτός αυτού, υπάρχουν μερικά ακόμη εργαλεία όπως SQOOP, FLUME, OOZIE κ.λπ. που μπορούν να ενσωματωθούν στο πλαίσιο Hadoop για την επίλυση διαφόρων επιχειρηματικών προβλημάτων.
Τι περιμένει ο κλάδος από εσάς ως Big Data Expert;
Η βιομηχανία χρειάζεται απόλυτα ΑΡΧΙΤΕΚΤΟΝΕΣ ΜΕΓΑΛΩΝ ΔΕΔΟΜΕΝΩΝ ποιος μπορεί να δημιουργήσει μια ολοκληρωμένη λύση μεγάλων δεδομένων για τους οργανισμούς τους. Οι μεγάλοι αρχιτέκτονες δεδομένων είναι αυτοί με εμπειρία σε όλα τα εργαλεία που προαναφέρθηκαν.
Εδώ είναι μια μαρτυρία ενός μαθητή Edureka σειρά μαθημάτων:
Γίνετε α ξεκινώντας από την εκπαίδευση πιστοποίησης Big Data And Hadoop της Edureka που βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Νήματα, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς λιανικής, κοινωνικής δικτύωσης, αεροπορίας, τουρισμού, οικονομικών .