Apache Sqoop Tutorial - Εισαγωγή / Εξαγωγή δεδομένων μεταξύ HDFS και RDBMS



Apache Sqoop Tutorial: Το Sqoop είναι ένα εργαλείο για τη μεταφορά δεδομένων μεταξύ Hadoop και σχεσιακών βάσεων δεδομένων. Αυτό το ιστολόγιο καλύπτει την εισαγωγή και εξαγωγή Sooop από τη MySQL.

Πριν ξεκινήσετε με αυτό το σεμινάριο Apache Sqoop, ας κάνουμε ένα βήμα πίσω. Μπορείτε να θυμηθείτε τη σημασία της απορρόφησης δεδομένων, όπως το συζητήσαμε στο προηγούμενο ιστολόγιό μας στο Apache Flume . Τώρα, όπως γνωρίζουμε ότι το Apache Flume είναι ένα εργαλείο απορρόφησης δεδομένων για μη δομημένες πηγές, αλλά οι οργανισμοί αποθηκεύουν τα λειτουργικά τους δεδομένα σε σχεσιακές βάσεις δεδομένων. Έτσι, υπήρχε η ανάγκη ενός εργαλείου που να εισάγει και να εξάγει δεδομένα από σχεσιακές βάσεις δεδομένων. Γι 'αυτό γεννήθηκε η Apache Sqoop. Το Sqoop μπορεί εύκολα να ενσωματωθεί στο Hadoop και να απορρίψει δομημένα δεδομένα από σχετικές βάσεις δεδομένων σε HDFS, συγχαίροντας τη δύναμη του Hadoop. Αυτός είναι ο λόγος, εξουσιοδοτεί μια καλή γνώση των Apache Sqoop και Flume.

Αρχικά, το Sqoop αναπτύχθηκε και συντηρήθηκε από την Cloudera. Αργότερα, στις 23 Ιουλίου 2011, επωάστηκε από τον Apache. Τον Απρίλιο του 2012, το έργο Sqoop προωθήθηκε ως έργο ανώτατου επιπέδου του Apache.





Σε αυτό το blog εκμάθησης Apache Flume, θα καλύψουμε:



Θα ξεκινήσουμε αυτό το σεμινάριο Apache Sqoop εισάγοντας το Apache Sqoop. Στη συνέχεια, θα καταλάβουμε τα πλεονεκτήματα της χρήσης του Apache Sqoop.

Apache Sqoop Tutorial: Sqoop Εισαγωγή

Apache Sqoop - Apache Sqoop Tutorial - EdurekaΓενικά, οι εφαρμογές αλληλεπιδρούν με τη σχεσιακή βάση δεδομένων χρησιμοποιώντας RDBMS, και έτσι αυτό καθιστά τις σχεσιακές βάσεις δεδομένων μία από τις πιο σημαντικές πηγές που δημιουργούν Big Data. Τέτοια δεδομένα αποθηκεύονται σε διακομιστές RDB στη σχεσιακή δομή. Εδώ, το Apache Sqoop παίζει σημαντικό ρόλο , παρέχοντας εφικτή αλληλεπίδραση μεταξύ του σχεσιακού διακομιστή βάσεων δεδομένων και του HDFS.

Έτσι, το Apache Sqoop είναι ένα εργαλείο στο που έχει σχεδιαστεί για τη μεταφορά δεδομένων μεταξύ HDFS (Hadoop storage) και σχεσιακοί διακομιστές βάσεων δεδομένων όπως MySQL, Oracle RDB, SQLite, Teradata, Netezza, Postgres κ.λπ. Το Apache Sqoop εισάγει δεδομένα από σχεσιακές βάσεις δεδομένων σε HDFS και εξάγει δεδομένα από HDFS σε σχεσιακές βάσεις δεδομένων. Μεταφέρει αποτελεσματικά μαζικά δεδομένα μεταξύ Hadoop και εξωτερικών αποθηκών δεδομένων, όπως αποθήκες δεδομένων επιχειρήσεων, σχεσιακές βάσεις δεδομένων κ.λπ.



Έτσι πήρε το όνομά της η Sqoop - « SQ Λ προς Χαντ Άνοιξε & Hadoop σε SQL ».

Επιπλέον, το Sqoop χρησιμοποιείται για την εισαγωγή δεδομένων από εξωτερικούς σταθμούς δεδομένων στα εργαλεία του οικοσυστήματος Hadoop όπως Κυψέλη & HBase .

Τώρα, όπως γνωρίζουμε τι είναι το Apache Sqoop. Ας προχωρήσουμε λοιπόν στο μάθημα Apache Sqoop και να καταλάβουμε γιατί το Sqoop χρησιμοποιείται εκτενώς από οργανισμούς.

Apache Sqoop Tutorial: Γιατί το Sqoop;

Για τον προγραμματιστή Hadoop, το πραγματικό παιχνίδι ξεκινά μετά τη φόρτωση των δεδομένων σε HDFS. Παίζουν γύρω από αυτά τα δεδομένα προκειμένου να αποκτήσουν διάφορες πληροφορίες που κρύβονται στα δεδομένα που είναι αποθηκευμένα σε HDFS.

Έτσι, για αυτήν την ανάλυση, τα δεδομένα που βρίσκονται στα σχεσιακά συστήματα διαχείρισης βάσεων δεδομένων πρέπει να μεταφερθούν στο HDFS. Το έργο της γραφής Ο κωδικός για την εισαγωγή και εξαγωγή δεδομένων από τη σχεσιακή βάση δεδομένων σε HDFS δεν είναι ενδιαφέρουσα και κουραστική. Εδώ έρχεται το Apache Sqoop για να σώσει και να αφαιρέσει τον πόνο τους. Αυτοματοποιεί τη διαδικασία εισαγωγής και εξαγωγής των δεδομένων.

Το Sqoop διευκολύνει τη ζωή των προγραμματιστών παρέχοντας CLI για εισαγωγή και εξαγωγή δεδομένων. Απλώς πρέπει να παρέχουν βασικές πληροφορίες όπως έλεγχο ταυτότητας βάσης δεδομένων, πηγή, προορισμό, λειτουργίες κ.λπ. Φροντίζει για το υπόλοιπο μέρος.

Το Sqoop μετατρέπει εσωτερικά την εντολή σε εργασίες MapReduce, οι οποίες στη συνέχεια εκτελούνται μέσω HDFS. Χρησιμοποιεί το πλαίσιο YARN για την εισαγωγή και εξαγωγή των δεδομένων, το οποίο παρέχει ανοχή σφαλμάτων παράλληλα με τον παραλληλισμό.

Προχωρώντας μπροστά σε αυτό το ιστολόγιο Sqoop Tutorial, θα κατανοήσουμε τα βασικά χαρακτηριστικά του Sqoop και μετά θα προχωρήσουμε στην αρχιτεκτονική Apache Sqoop.

Apache Sqoop Tutorial: Βασικά χαρακτηριστικά του Sqoop

Το Sqoop παρέχει πολλές βασικές δυνατότητες όπως:

  1. Πλήρες φορτίο : Το Apache Sqoop μπορεί να φορτώσει ολόκληρο τον πίνακα με μία μόνο εντολή. Μπορείτε επίσης να φορτώσετε όλους τους πίνακες από μια βάση δεδομένων χρησιμοποιώντας μία μόνο εντολή.
  2. Σταδιακή Φορτώνω : Το Apache Sqoop παρέχει επίσης τη δυνατότητα αυξητικού φορτίου όπου μπορείτε να φορτώνετε τμήματα του πίνακα όποτε ενημερώνεται.
  3. Παράλληλο εισαγωγή εξαγωγή : Το Sqoop χρησιμοποιεί το πλαίσιο YARN για εισαγωγή και εξαγωγή δεδομένων, το οποίο παρέχει ανοχή σφαλμάτων παράλληλα με τον παραλληλισμό.
  4. Εισαγωγή Αποτελέσματα του SQL ερώτηση : Μπορείτε επίσης να εισαγάγετε το αποτέλεσμα που επιστρέφεται από ένα ερώτημα SQL σε HDFS.
  5. Συμπίεση : Μπορείτε να συμπιέσετε τα δεδομένα σας χρησιμοποιώντας τον αλγόριθμο deflate (gzip) με το όρισμα –συμπίεση, ή καθορίζοντας το όρισμα –συμπίεση-κωδικοποιητή. Μπορείτε επίσης να φορτώσετε τον συμπιεσμένο πίνακα Κυψέλη Apache .
  6. Συνδετήρες Για όλα μείζων RDBMS Βάσεις δεδομένων : Το Apache Sqoop παρέχει συνδέσεις για πολλές βάσεις δεδομένων RDBMS, καλύπτοντας σχεδόν ολόκληρη την περιφέρεια.
  7. Kerberos Ασφάλεια Ενσωμάτωση : Το Kerberos είναι ένα πρωτόκολλο ελέγχου ταυτότητας δικτύου υπολογιστών που λειτουργεί με βάση «εισιτήρια» για να επιτρέψει στους κόμβους να επικοινωνούν μέσω ενός μη ασφαλούς δικτύου για να αποδείξουν την ταυτότητά τους μεταξύ τους με ασφαλή τρόπο. Το Sqoop υποστηρίζει έλεγχο ταυτότητας Kerberos.
  8. Φορτώνω δεδομένα κατευθείαν σε HIVE / HBase : Μπορείτε να φορτώσετε δεδομένα απευθείας σε Κυψέλη Apache για ανάλυση και επίσης απόρριψη των δεδομένων σας στο HBase, η οποία είναι μια βάση δεδομένων NoSQL.
  9. Υποστήριξη Για Συσσώρευση : Μπορείτε επίσης να δώσετε εντολή στο Sqoop να εισαγάγει τον πίνακα στο Accumulo αντί για έναν κατάλογο σε HDFS.

Η αρχιτεκτονική είναι αυτή που ενδυναμώνει το Apache Sqoop με αυτά τα οφέλη. Τώρα, καθώς γνωρίζουμε τα χαρακτηριστικά του Apache Sqoop, ας προχωρήσουμε και να κατανοήσουμε την αρχιτεκτονική και τη λειτουργία του Apache Sqoop.

Apache Sqoop Tutorial: Sqoop Αρχιτεκτονική & Εργασία

Ας καταλάβουμε πώς λειτουργεί το Apache Sqoop χρησιμοποιώντας το παρακάτω διάγραμμα:

Το εργαλείο εισαγωγής εισάγει μεμονωμένους πίνακες από RDBMS σε HDFS. Κάθε σειρά σε έναν πίνακα αντιμετωπίζεται ως εγγραφή σε HDFS.

Όταν υποβάλλουμε την εντολή Sqoop, η κύρια εργασία μας χωρίζεται σε δευτερεύουσες εργασίες που διαχειρίζεται από μεμονωμένη εργασία χάρτη εσωτερικά. Το Map Task είναι η δευτερεύουσα εργασία, η οποία εισάγει μέρος των δεδομένων στο Hadoop Ecosystem. Συλλογικά, όλες οι εργασίες χαρτών εισάγουν ολόκληρα τα δεδομένα.

Η εξαγωγή λειτουργεί επίσης με παρόμοιο τρόπο.

Το εργαλείο εξαγωγής εξάγει ένα σύνολο αρχείων από HDFS πίσω σε RDBMS. Τα αρχεία που δίνονται ως είσοδος στο Sqoop περιέχουν εγγραφές, οι οποίες καλούνται ως σειρές στον πίνακα.

Όταν υποβάλλουμε την εργασία μας, χαρτογραφείται στο Map Tasks που φέρνει το κομμάτι των δεδομένων από το HDFS. Αυτά τα κομμάτια εξάγονται σε έναν προορισμό δομημένων δεδομένων. Συνδυάζοντας όλα αυτά τα εξαγόμενα κομμάτια δεδομένων, λαμβάνουμε ολόκληρα τα δεδομένα στον προορισμό, το οποίο στις περισσότερες περιπτώσεις είναι RDBMS (MYSQL / Oracle / SQL Server).

Απαιτείται φάση μείωσης σε περίπτωση συσσωματώσεων. Όμως, το Apache Sqoop εισάγει και εξάγει μόνο τα δεδομένα που δεν πραγματοποιεί συγκεντρώσεις. Η εργασία χαρτών ξεκινά πολλούς χαρτογράφους ανάλογα με τον αριθμό που ορίζει ο χρήστης. Για την εισαγωγή Sqoop, κάθε εργασία χαρτογράφησης θα εκχωρηθεί με ένα μέρος των δεδομένων που θα εισαχθούν. Η Sqoop διανέμει τα δεδομένα εισόδου μεταξύ των χαρτογράφων για να επιτύχει υψηλή απόδοση. Στη συνέχεια, κάθε χαρτογράφος δημιουργεί μια σύνδεση με τη βάση δεδομένων χρησιμοποιώντας το JDBC και παίρνει το μέρος των δεδομένων που εκχωρούνται από την Sqoop και το γράφει σε HDFS ή Hive ή HBase με βάση τα επιχειρήματα που παρέχονται στο CLI.

Τώρα που κατανοούμε την αρχιτεκτονική και τη λειτουργία του Apache Sqoop, ας καταλάβουμε τη διαφορά μεταξύ Apache Flume και Apache Sqoop.

Εκμάθηση Apache Sqoop: Flume vs Sqoop

Η κύρια διαφορά μεταξύ Flume και Sqoop είναι ότι:

φροντιστήριο διακομιστή sql για αρχάριους
  • Το Flume απορροφά μόνο μη δομημένα δεδομένα ή ημι-δομημένα δεδομένα σε HDFS.
  • Ενώ το Sqoop μπορεί να εισάγει καθώς και να εξάγει δομημένα δεδομένα από αποθήκες δεδομένων RDBMS ή Enterprise σε HDFS ή αντίστροφα.

Τώρα, προχωρώντας στο Apache Sqoop Tutorial είναι καιρός να περάσουμε από τις εντολές Apache Sqoop.

Εκμάθηση Apache Sqoop: Εντολές Sqoop

  • Εντολή Sqoop - IMPORT

Η εντολή Εισαγωγή χρησιμοποιείται για την εισαγωγή πίνακα από σχεσιακές βάσεις δεδομένων σε HDFS. Στην περίπτωσή μας, πρόκειται να εισαγάγουμε πίνακες από βάσεις δεδομένων MySQL σε HDFS.

Όπως μπορείτε να δείτε στην παρακάτω εικόνα, έχουμε έναν πίνακα υπαλλήλων στη βάση δεδομένων εργαζομένων που θα εισαγάγουμε σε HDFS.

Η εντολή για εισαγωγή πίνακα είναι:

εισαγωγή sqoop --σύνδεση jdbc: mysql: // localhost / Υπάλληλοι - όνομα χρήστη edureka - πίνακες υπαλλήλων

Όπως μπορείτε να δείτε στην παρακάτω εικόνα, μετά την εκτέλεση αυτής της εντολής οι εργασίες του χάρτη θα εκτελεστούν στο πίσω μέρος.

Μετά την εκτέλεση του κώδικα, μπορείτε να ελέγξετε το περιβάλλον εργασίας χρήστη του HDFS, δηλαδή localhost: 50070 όπου εισάγονται τα δεδομένα.

  • Sqoop - ΕΙΣΑΓΩΓΗ Εντολή με κατάλογο στόχων

Μπορείτε επίσης να εισαγάγετε τον πίνακα σε έναν συγκεκριμένο κατάλογο σε HDFS χρησιμοποιώντας την παρακάτω εντολή:

sqoop import --connect jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka - πίνακες υπαλλήλων - m 1 --target-dir / υπαλλήλους

Η Sqoop εισάγει δεδομένα παράλληλα από τις περισσότερες πηγές βάσης δεδομένων. Η ιδιότητα χρησιμοποιείται για τον καθορισμό του αριθμού χαρτών που θα εκτελεστούν.

Η Sqoop εισάγει δεδομένα παράλληλα από τις περισσότερες πηγές βάσης δεδομένων. Μπορείτε να καθορίσετε τον αριθμό των εργασιών χάρτη (παράλληλες διεργασίες) που θα χρησιμοποιήσετε για να εκτελέσετε την εισαγωγή χρησιμοποιώντας το ή - χάρτες αριθμών διαφωνία. Κάθε ένα από αυτά τα επιχειρήματα παίρνει μια ακέραια τιμή που αντιστοιχεί στον βαθμό παραλληλισμού που πρέπει να χρησιμοποιηθεί.

Μπορείτε να ελέγξετε τον αριθμό των χαρτογράφων ανεξάρτητα από τον αριθμό των αρχείων που υπάρχουν στον κατάλογο. Η απόδοση των εξαγωγών εξαρτάται από τον βαθμό παραλληλισμού. Από προεπιλογή, το Sqoop θα χρησιμοποιεί τέσσερις εργασίες παράλληλα για τη διαδικασία εξαγωγής. Αυτό μπορεί να μην είναι βέλτιστο, θα πρέπει να πειραματιστείτε με τη δική σας συγκεκριμένη ρύθμιση. Πρόσθετες εργασίες μπορεί να προσφέρουν καλύτερη ταυτόχρονη ταυτότητα, αλλά εάν η βάση δεδομένων έχει ήδη περιοριστεί κατά την ενημέρωση δεικτών, την επίκληση σκανδάλης και ούτω καθεξής, τότε το πρόσθετο φορτίο μπορεί να μειώσει την απόδοση.

Στην παρακάτω εικόνα μπορείτε να δείτε ότι ο αριθμός της εργασίας χαρτογράφησης είναι 1.

Ο αριθμός των αρχείων που δημιουργούνται κατά την εισαγωγή πινάκων MySQL είναι ίσος με τον αριθμό των χαρτών που δημιουργήθηκαν.

  • Sqoop - Εντολή ΕΙΣΑΓΩΓΗΣ με Ρήτρα Where

Μπορείτε να εισαγάγετε ένα υποσύνολο πίνακα χρησιμοποιώντας τη ρήτρα «όπου» στο εργαλείο εισαγωγής Sqoop. Εκτελεί το αντίστοιχο ερώτημα SQL στον αντίστοιχο διακομιστή βάσης δεδομένων και αποθηκεύει το αποτέλεσμα σε έναν κατάλογο προορισμού σε HDFS. Μπορείτε να χρησιμοποιήσετε την ακόλουθη εντολή για εισαγωγή δεδομένων με το ' που «Ρήτρα:

sqoop import --connect jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka - πίνακες υπαλλήλων --m 3 - όπου 'emp_no & gt 49000' --target-dir / Latest_Em Employees

  • Sqoop - Αύξηση εισαγωγής

Το Sqoop παρέχει μια σταδιακή λειτουργία εισαγωγής που μπορεί να χρησιμοποιηθεί για την ανάκτηση μόνο σειρών νεότερων από κάποιες σειρές που έχουν εισαχθεί στο παρελθόν. Η Sqoop υποστηρίζει δύο τύπους αυξητικών εισαγωγών: προσαρτώ και τελευταία τροποποίηση . Μπορείτε να χρησιμοποιήσετε το όρισμα – incremental για να καθορίσετε τον τύπο της στοιχειώδους εισαγωγής που θα εκτελεστεί.

Πρέπει να καθορίσετε προσαρτώ λειτουργία κατά την εισαγωγή ενός πίνακα όπου νέες σειρές προστίθενται συνεχώς με αυξανόμενες τιμές αναγνωριστικού σειράς. Καθορίζετε τη στήλη που περιέχει το αναγνωριστικό της γραμμής με –Ελέγξτε-στήλη . Το Sqoop εισάγει σειρές όπου η στήλη ελέγχου έχει τιμή μεγαλύτερη από αυτήν που καθορίζεται με - τελευταία τιμή .

Μια εναλλακτική στρατηγική ενημέρωσης πίνακα που υποστηρίζεται από το Sqoop καλείται τελευταία τροποποίηση τρόπος. Θα πρέπει να το χρησιμοποιήσετε όταν ενδέχεται να ενημερωθούν οι σειρές του πίνακα προέλευσης και κάθε τέτοια ενημέρωση θα ορίσει την τιμή μιας τελευταίας τροποποιημένης στήλης στην τρέχουσα χρονική σήμανση.

τι είναι η διαδικασία στο sql

Κατά την εκτέλεση μιας επόμενης εισαγωγής, πρέπει να καθορίσετε - τελευταία τιμή με αυτόν τον τρόπο για να διασφαλίσετε ότι εισάγετε μόνο τα νέα ή ενημερωμένα δεδομένα. Αυτό αντιμετωπίζεται αυτόματα δημιουργώντας μια σταδιακή εισαγωγή ως αποθηκευμένη εργασία, η οποία είναι ο προτιμώμενος μηχανισμός για την εκτέλεση επαναλαμβανόμενης στοιχειώδους εισαγωγής.

Πρώτον, εισάγουμε μια νέα σειρά που θα ενημερωθεί στο HDFS μας.

Η εντολή για σταδιακή εισαγωγή είναι:

sqoop import --connect jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka - πίνακες υπαλλήλων --target-dir / Latest_Em Employees - incremental append - check-στήλη emp_no --last-value 499999

Μπορείτε να δείτε στην παρακάτω εικόνα, δημιουργείται ένα νέο αρχείο με τα ενημερωμένα δεδομένα.

  • Sqoop - Εισαγωγή όλων των πινάκων

Μπορείτε να εισαγάγετε όλους τους πίνακες από το διακομιστή βάσης δεδομένων RDBMS στο HDFS. Κάθε δεδομένα πίνακα αποθηκεύεται σε ξεχωριστό κατάλογο και το όνομα καταλόγου είναι ίδιο με το όνομα πίνακα. Είναι υποχρεωτικό κάθε πίνακας σε αυτήν τη βάση δεδομένων να έχει ένα κύριο πεδίο κλειδιού. Η εντολή εισαγωγής όλου του πίνακα από μια βάση δεδομένων είναι:

sqoop import-all-tables --σύνδεση jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka

  • Sqoop - Λίστα βάσεων δεδομένων

Μπορείτε να παραθέσετε τις βάσεις δεδομένων που υπάρχουν σε σχέση δεδομένων χρησιμοποιώντας το Sqoop. Το εργαλείο Sqoop list-βάσεων δεδομένων αναλύει και εκτελεί το ερώτημα «ΔΕΙΞΤΕ ΔΕΔΟΜΕΝΕΣ» έναντι του διακομιστή βάσης δεδομένων. Η εντολή για την εισαγωγή βάσεων δεδομένων είναι:

sqoop list-βάσεις δεδομένων --σύνδεση jdbc: mysql: // localhost / - όνομα χρήστη edureka

  • Sqoop - Λίστα πινάκων

Μπορείτε επίσης να παραθέσετε τους πίνακες μιας συγκεκριμένης βάσης δεδομένων στο διακομιστή βάσεων δεδομένων MySQL χρησιμοποιώντας το Sqoop. Το εργαλείο Sqoop list-tables αναλύει και εκτελεί το ερώτημα 'SHOW TABLES'. Η εντολή για την εισαγωγή πινάκων είναι μια βάση δεδομένων είναι:

sqoop list-tables --σύνδεση jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka

  • Sqoop - Εξαγωγή

Όπως συζητήσαμε παραπάνω, μπορείτε επίσης να εξαγάγετε δεδομένα από το HDFS στη βάση δεδομένων RDBMS. Ο πίνακας προορισμού πρέπει να υπάρχει στη βάση δεδομένων προορισμού.Τα δεδομένα αποθηκεύονται ως εγγραφές σε HDFS. Αυτές οι εγγραφές διαβάζονται και αναλύονται και οριοθετούνται με καθορισμένο από τον χρήστη οριοθέτη.Η προεπιλεγμένη λειτουργία είναι να εισαγάγετε όλη την εγγραφή από τα αρχεία εισαγωγής στον πίνακα βάσης δεδομένων χρησιμοποιώντας τη δήλωση INSERT. Στη λειτουργία ενημέρωσης, το Sqoop δημιουργεί τη δήλωση ΕΝΗΜΕΡΩΣΗΣ που αντικαθιστά την υπάρχουσα εγγραφή στη βάση δεδομένων.

Έτσι, πρώτα δημιουργούμε έναν κενό πίνακα, όπου θα εξάγουμε τα δεδομένα μας.

Η εντολή για εξαγωγή δεδομένων από HDFS στη σχεσιακή βάση δεδομένων είναι:

sqoop εξαγωγή --σύνδεση jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka --table emp --export-dir / user / edureka / karyawan

  • Sqoop - Codegen

Σε αντικειμενοστρεφή εφαρμογή, κάθε πίνακας βάσης δεδομένων έχει μία κλάση αντικειμένων πρόσβασης δεδομένων που περιέχει μεθόδους «getter» και «setter» για την προετοιμασία αντικειμένων. Το Codegen δημιουργεί αυτόματα την κλάση DAO. Δημιουργεί τάξη DAO σε Java, με βάση τη δομή του πίνακα σχήματος.

Η εντολή για τη δημιουργία κώδικα java είναι:

sqoop codegen --σύνδεση jdbc: mysql: // localhost / karyawan - όνομα χρήστη edureka - πίνακες υπαλλήλων

Μπορείτε να δείτε τη διαδρομή στην παραπάνω εικόνα όπου δημιουργείται ο κώδικας. Ας ακολουθήσουμε τη διαδρομή και να ελέγξουμε τα αρχεία που έχουν δημιουργηθεί.

Ελπίζω ότι αυτό το blog είναι ενημερωτικό και προστιθέμενη αξία για εσάς. Εάν σας ενδιαφέρει να μάθετε περισσότερα, μπορείτε να το διαβάσετε το οποίο σας λέει για τα Big Data και πώς η Hadoop επιλύει προκλήσεις που σχετίζονται με τα Big Data.

Τώρα που έχετε κατανοήσει το Apache Sqoop, ρίξτε μια ματιά στο από την Edureka, μια αξιόπιστη διαδικτυακή εταιρεία εκμάθησης με δίκτυο περισσότερων από 250.000 ικανοποιημένων μαθητών σε όλο τον κόσμο. Το πρόγραμμα εκπαίδευσης Edureka Big Data Hadoop Certification βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς λιανικής, κοινωνικής δικτύωσης, αεροπορίας, τουρισμού, χρηματοοικονομικών.

Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.