Έχουμε μάθει πώς να Δημιουργήστε κυψέλη και νήματα στο Spark . Τώρα ας δοκιμάσουμε παραδείγματα κυψελών και νημάτων στο Spark.
Παράδειγμα κυψέλης στο Spark
Θα τρέξουμε ένα παράδειγμα Hive on Spark. Θα δημιουργήσουμε έναν πίνακα, θα φορτώσουμε δεδομένα σε αυτόν τον πίνακα και θα εκτελέσουμε ένα απλό ερώτημα. Όταν εργάζεστε με την κυψέλη, πρέπει να δημιουργήσετε ένα HiveContext που κληρονομεί από Περιεχόμενο SQLC .
Εντολή: cd σπινθήρας-1.1.1
Εντολή: ./bin/spark-shell
Δημιουργήστε ένα αρχείο εισαγωγής 'δείγμα' στον αρχικό σας κατάλογο, όπως το παρακάτω στιγμιότυπο (διαχωρισμένη με καρτέλα).
Εντολή: val sqlContext = νέο org.apache.spark.sql.hive.HiveContext (sc)
ποια είναι η κλάση σαρωτή στην Java
Εντολή: sqlContext.sql («ΔΗΜΙΟΥΡΓΙΑ ΠΙΝΑΚΑΣ ΕΑΝ ΔΕΝ ΥΠΑΡΧΕΙ δοκιμή (όνομα STRING, βαθμός INT) ΣΧΕΤΙΚΑ ΜΟΡΦΗ ΤΕΧΝΙΚΑ ΠΕΔΙΑ ΠΟΥ ΑΦΟΡΟΥΝ ΤΟ« «ΓΡΑΜΜΕΣ ΟΡΙΣΜΕΝΕΣ ΜΕ»
«»)
Εντολή: sqlContext.sql ('LOAD DATA LOCAL INPATH' / home / edureka / δείγμα 'INTO TABLE test')
Εντολή: sqlContext.sql ('SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Παράδειγμα νήματος στο Spark
Θα τρέξουμε το παράδειγμα SparkPi στο Νήμα. Μπορούμε να αναπτύξουμε το νήμα στο Spark σε δύο τρόπους: λειτουργία συμπλέγματος και λειτουργία πελάτη. Σε λειτουργία νήματος-συμπλέγματος, το πρόγραμμα οδήγησης Spark εκτελείται μέσα σε μια κύρια διαδικασία εφαρμογής που διαχειρίζεται το Νήμα στο σύμπλεγμα και ο πελάτης μπορεί να φύγει μετά την έναρξη της εφαρμογής. Στη λειτουργία νήματος-πελάτη, το πρόγραμμα οδήγησης εκτελείται στη διαδικασία του πελάτη και ο κύριος της εφαρμογής χρησιμοποιείται μόνο για το αίτημα πόρων από το Νήμα.
Εντολή: cd σπινθήρας-1.1.1
Εντολή: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-Assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-core 1 παραδείγματα / στόχος / scala-2.10 / σπινθήρα-παραδείγματα-1.1.1-hadoop2.2.0.jar
Αφού εκτελέσετε την παραπάνω εντολή, περιμένετε λίγο έως ότου λάβετε ΕΠΙΤΥΧΕΤΑΙ μήνυμα.
Ξεφυλλίζω localhost: 8088 / σύμπλεγμα και κάντε κλικ στην εφαρμογή Spark.
δομή δεδομένων λεξικού στην Ιάβα
Κάντε κλικ στο αρχεία καταγραφής .
Κάντε κλικ στο stdout για να ελέγξετε την έξοδο.
Για την ανάπτυξη του Νήματος στο Spark σε λειτουργία πελάτη, απλώς κάντε το - λειτουργία ανάπτυξης όπως και 'πελάτης'. Τώρα, ξέρετε πώς να χτίσετε την κυψέλη και το νήμα στο Spark. Κάναμε επίσης πρακτικά σε αυτά.
Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.
σχετικές αναρτήσεις
Apache Spark με Hadoop-Γιατί έχει σημασία;
Κυψέλη & Νήματα Ηλεκτριστείτε από το Spark