Όντας ένα πακέτο αποθήκευσης δεδομένων που δημιουργήθηκε πάνω από το Hadoop, το Apache Hive χρησιμοποιείται όλο και περισσότερο για την ανάλυση δεδομένων, την εξόρυξη δεδομένων και την προγνωστική μοντελοποίηση. Οι οργανισμοί αναζητούν επαγγελματίες με σταθερή επιμονή . Σε αυτήν την ανάρτηση, ας δούμε πώς μπορείτε να εκτελέσετε Hive Scripts. Σε γενικές γραμμές, χρησιμοποιούμε τα σενάρια για την εκτέλεση ενός συνόλου δηλώσεων ταυτόχρονα. Τα σενάρια Hive χρησιμοποιούνται σχεδόν με τον ίδιο τρόπο. Θα μειώσει το χρόνο και την προσπάθεια που καταβάλλουμε για τη σύνταξη και την εκτέλεση κάθε εντολής χειροκίνητα.
Τα σενάρια Hive υποστηρίζονται στις εκδόσεις Hive 0.10.0 και παραπάνω. Καθώς η έκδοση Hive 0.90 είναι εγκατεστημένη στο CDH3, δεν μπορούμε να εκτελέσουμε Hive Scripts στο CDH3. Μπορείτε να δοκιμάσετε τα παρακάτω βήματα στο CDH4 καθώς έχει εγκατεστημένη την έκδοση Hive 0.10.0. Γνωρίζετε πώς να δημιουργήσετε ένα σενάριο Hive; Εάν όχι, κάντε κλικ στο για περισσότερες διευκρινίσεις.
Τώρα, ας δούμε πώς να γράψουμε τα σενάρια στο Hive και να τα τρέξουμε στο CDH4:
Βήμα 1: Σύνταξη σεναρίου Hive.
Για να γράψετε το Hive Script το αρχείο πρέπει να αποθηκευτεί με επέκταση .sql. Ανοίξτε ένα τερματικό στη διανομή Cloudera CDH4 και δώστε την ακόλουθη εντολή για να δημιουργήσετε ένα Hive Script.
Εντολή: sudo gedit sample.sql
Κατά την εκτέλεση της παραπάνω εντολής, θα ανοίξει το αρχείο με τη λίστα όλων των εντολών Hive που πρέπει να εκτελεστούν.
Σε αυτό το σενάριο, θα δημιουργηθεί ένας πίνακας, θα περιγραφεί και θα φορτωθούν και θα ανακτηθούν δεδομένα από τον πίνακα.
1. Δημιουργία του πίνακα στην κυψέλη:
Εντολή: δημιουργία επιτραπέζιου προϊόντος (productid: int, productname: string, price: float, category: string) μορφές σειρών οριοθετημένα πεδία που τερματίζονται με ','
Εδώ, το προϊόν είναι το όνομα του πίνακα και το {productid, productname, price, category} είναι οι στήλες αυτού του πίνακα.
Τα πεδία που τερματίζονται με ',' υποδηλώνουν ότι οι στήλες στο αρχείο εισαγωγής διαχωρίζονται από το σύμβολο ','.
Από προεπιλογή, οι εγγραφές στο αρχείο εισαγωγής διαχωρίζονται από μια νέα γραμμή.
2. Περιγράφοντας τον πίνακα:
Εντολή: περιγράψτε το προϊόν
3. Φόρτωση των δεδομένων στον πίνακα.
Για να φορτώσουμε τα δεδομένα στον πίνακα πρώτα πρέπει να δημιουργήσουμε ένα αρχείο εισόδου που περιέχει τις εγγραφές που πρέπει να εισαχθούν στον πίνακα.
Ας δημιουργήσουμε ένα αρχείο εισαγωγής.
Εντολή: sudo gedit input.txt
φροντιστήριο υπηρεσιών ενοποίησης διακομιστή sql
Επεξεργαστείτε τα περιεχόμενα στο αρχείο όπως φαίνεται στο σχήμα.
4. Ανάκτηση των δεδομένων:
Για να ανακτήσετε τα δεδομένα, χρησιμοποιείται η εντολή select.
Εντολή: Επιλέξτε * από το προϊόν
Η παραπάνω εντολή χρησιμοποιείται για την ανάκτηση της τιμής όλων των στηλών που υπάρχουν στον πίνακα. Το σενάριο πρέπει να είναι όπως φαίνεται στην παρακάτω εικόνα.
Τώρα, τελειώσαμε με τη σύνταξη του σεναρίου Hive. Το αρχείο sample.sql μπορεί πλέον να αποθηκευτεί.
Βήμα 2: Εκτέλεση του Hive Script
Ακολουθεί η εντολή για εκτέλεση του σεναρίου Hive:
Εντολή: κυψέλη –f /home/cloudera/sample.sql
Κατά την εκτέλεση του σεναρίου, βεβαιωθείτε ότι υπάρχει ολόκληρη η διαδρομή της θέσης του αρχείου δέσμης ενεργειών.
Μπορούμε να δούμε ότι όλες οι εντολές εκτελούνται με επιτυχία.
Έτσι εκτελούνται και εκτελούνται σενάρια Hive στο CDH4.
τι είναι το mvc στην Ιάβα
Το Hive είναι ένα κρίσιμο συστατικό του Hadoop και η εμπειρία σας στο Hive μπορεί να σας προσδώσει θέσεις εργασίας με τις υψηλότερες πληρωμές! Το Edureka έχει ένα ειδικά επιμελημένο μάθημα Hadoop που σας βοηθά να αποκτήσετε γνώσεις όπως MapReduce, Yarn, Pig, Hive, HBase, Oozie, Flume και Sqoop. Κάντε κλικ στο παρακάτω κουμπί για να ξεκινήσετε.
Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.
Σχετικές αναρτήσεις: