Το Apache Hive είναι ένα από τα πιο σημαντικά πλαίσια στο οικοσύστημα Hadoop, το οποίο με τη σειρά του το καθιστά πολύ σημαντικό για . Σε αυτό το blog, θα μάθουμε για την εγκατάσταση Apache Hive και Hive στο Ubuntu.
Τι είναι το Apache Hive;
Κυψέλη Apache είναι μια υποδομή αποθήκης δεδομένων που διευκολύνει την αναζήτηση και τη διαχείριση μεγάλων συνόλων δεδομένων που βρίσκονται σε κατανεμημένο σύστημα αποθήκευσης. Είναι χτισμένο στην κορυφή του Hadoop και αναπτύχθηκε από το Facebook. Κυψέλη παρέχει έναν τρόπο ερωτήματος των δεδομένων χρησιμοποιώντας μια γλώσσα ερωτήματος τύπου SQL που ονομάζεται HiveQL (Γλώσσα ερωτήματος Hive).
Εσωτερικά, ένας μεταγλωττιστής μεταφράζει HiveQL δηλώσεις σε ΜΕΙΩΣΗ ΧΑΡΤΗ θέσεις εργασίας, οι οποίες στη συνέχεια υποβάλλονται Πλαίσιο Hadoop για εκτέλεση.
Διαφορά μεταξύ Hive και SQL:
Κυψέλη μοιάζει πολύ με την παραδοσιακή βάση δεδομένων με SQL πρόσβαση. Ωστόσο, επειδή Κυψέλη βασίζεται σε Χάδοπ και ΜΕΙΩΣΗ ΧΑΡΤΗ λειτουργίες, υπάρχουν πολλές βασικές διαφορές:
Καθώς το Hadoop προορίζεται για μεγάλες διαδοχικές σαρώσεις και Κυψέλη βασίζεται σε Χάδοπ , θα περιμένατε τα ερωτήματα να έχουν πολύ υψηλή καθυστέρηση. Σημαίνει ότι Κυψέλη δεν θα ήταν κατάλληλο για εφαρμογές που χρειάζονται πολύ γρήγορους χρόνους απόκρισης, όπως μπορείτε να περιμένετε με μια παραδοσιακή βάση δεδομένων RDBMS.
Τελικά, Κυψέλη βασίζεται σε ανάγνωση και επομένως δεν είναι κατάλληλο για επεξεργασία συναλλαγών που συνήθως περιλαμβάνει υψηλό ποσοστό λειτουργιών εγγραφής.
τρόποι δημιουργίας ενός μαθήματος στην Ιάβα
Εγκατάσταση κυψέλης στο Ubuntu:
Ακολουθήστε τα παρακάτω βήματα για εγκατάσταση Κυψέλη Apache στο Ubuntu:
Βήμα 1: Κατεβάστε Κυψέλη πίσσα.
Εντολή: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Βήμα 2: Εξαγάγετε το πίσσα αρχείο.
Εντολή: tar -xzf apache-hive-2.1.0-bin.tar.gz
Εντολή: είναι
Βήμα 3: Επεξεργαστείτε το '.Bashrc' αρχείο για να ενημερώσετε τις μεταβλητές περιβάλλοντος για το χρήστη.
Εντολή: sudo gedit .bashrc
Προσθέστε τα ακόλουθα στο τέλος του αρχείου:
# Ορίστε το HIVE_HOME
εξαγωγή HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
εξαγωγή PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Επίσης, βεβαιωθείτε ότι έχει ρυθμιστεί επίσης η διαδρομή hadoop.
Εκτελέστε την παρακάτω εντολή για να κάνετε τις αλλαγές στο ίδιο τερματικό.
Εντολή: πηγή .bashrc
Βήμα 4: Ελέγξτε την έκδοση κυψέλης.
python __init__ εαυτό
Βήμα 5: Δημιουργώ Κυψέλη καταλόγους εντός HDFS . Ο κατάλογος 'αποθήκη' είναι η τοποθεσία αποθήκευσης του πίνακα ή των δεδομένων που σχετίζονται με την ομάδα.
Εντολή:
- hdfs dfs -mkdir -p / user / hive / αποθήκη
- hdfs dfs -mkdir / tmp
Βήμα 6: Ορίστε δικαιώματα ανάγνωσης / εγγραφής για πίνακα.
Εντολή:
Σε αυτήν την εντολή, δίνουμε άδεια εγγραφής στην ομάδα:
- hdfs dfs -chmod g + w / user / hive / αποθήκη
- hdfs dfs -chmod g + w / tmp
Βήμα 7: Σειρά Χάδοπ διαδρομή μέσα η ive-env.sh
Εντολή: cd apache-hive-2.1.0-bin /
Εντολή: gedit conf / hive-env.sh
Ορίστε τις παραμέτρους όπως φαίνεται στο παρακάτω στιγμιότυπο.
Βήμα 8: Επεξεργασία hive-site.xml
Εντολή: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = πραγματική συμβολοσειρά σύνδεσης JDBC για ένα μεταστατικό JDBC. Για να χρησιμοποιήσετε το SSL για κρυπτογράφηση / έλεγχο ταυτότητας της σύνδεσης, καταχωρίστε τη σημαία SSL για συγκεκριμένη βάση δεδομένων στη διεύθυνση URL σύνδεσης. Για παράδειγμα, jdbc: postgresql: // myhost / db? Ssl = true για τη βάση δεδομένων postgres. hive.metastore.warehouse.dir / user / hive / αποθήκη τοποθεσία της προεπιλεγμένης βάσης δεδομένων για την αποθήκη hive.metastore.uris Thrift URI για το απομακρυσμένο metastore. Χρησιμοποιείται από πελάτη metastore για σύνδεση σε απομακρυσμένο metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Όνομα κλάσης προγράμματος οδήγησης για ένα JDBC metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory class που εφαρμόζει την jdo
Βήμα 9: Από προεπιλογή, η ομάδα χρησιμοποιεί Καπέλο ημίψηλο βάση δεδομένων. Αρχικοποιήστε τη βάση δεδομένων Derby.
Εντολή: bin / schematool -initSchema -dbΤύπος ντέρμπι
Βήμα 10 :Εκτόξευση Κυψέλη.
Εντολή: κυψέλη
Βήμα 11 :Εκτελέστε λίγα ερωτήματα στο κέλυφος Hive.
άθροισμα ψηφίων ενός αριθμού σε java χρησιμοποιώντας για βρόχο
Εντολή: εμφάνιση βάσεων δεδομένων
Εντολή: δημιουργία υπαλλήλου πίνακα (συμβολοσειρά id, συμβολοσειρά ονόματος, συμβολοσειρά dept) οριοθετημένα πεδία μορφής σειράς που τερματίζονται με '' αποθηκευμένο ως αρχείο κειμένου
Εντολή: εμφάνιση πινάκων
Βήμα 12: Για έξοδο από Κυψέλη:
Εντολή: έξοδος
Τώρα που τελειώσατε με την εγκατάσταση Hive, το επόμενο βήμα προς τα εμπρός είναι να δοκιμάσετε τις εντολές Hive στο κέλυφος Hive. Ως εκ τούτου, το επόμενο blog μας « Κορυφαίες εντολές κυψελών με παραδείγματα σε HQL Θα σας βοηθήσει να ελέγξετε τις εντολές Hive.
Σχετικές αναρτήσεις: