Σε αυτό το ιστολόγιο, ας δούμε πώς να δημιουργήσουμε το Spark για μια συγκεκριμένη έκδοση Hadoop.
Θα μάθουμε επίσης πώς να φτιάχνουμε το Spark με το HIVE και το YARN.
προϋποθέσεις για το μάθημα τεχνητής νοημοσύνης
Λαμβάνοντας υπόψη ότι έχετε Hadoop, jdk, mvn και πηγαίνω προεγκατεστημένο και προεπιλεγμένο στο σύστημά σας.
Ανοιξε Πρόγραμμα περιήγησης Mozilla και λήψη Σπίθα χρησιμοποιώντας τον παρακάτω σύνδεσμο.
https://edureka.wistia.com/medias/k14eamzaza/
Ανοίξτε το τερματικό.
Εντολή: tar -xvf Λήψεις / σπινθήρας-1.1.1.tgz
Εντολή: ls
Ανοίξτε τον κατάλογο spark-1.1.1.
Μπορείτε να ανοίξετε pom.xml αρχείο. Αυτό το αρχείο σας παρέχει τις πληροφορίες για όλα τα εξαρτήσεις χρειάζεσαι.
Μην το επεξεργαστείτε για να μείνετε μακριά από προβλήματα.
Εντολή: cd spark-1.1.1 /
Εντολή: sudo gedit sbt / sbt-launch-lib.bash
Επεξεργαστείτε το αρχείο όπως φαίνεται παρακάτω, αποθηκεύστε το και κλείστε το.
Μειώνουμε τη μνήμη για να αποφύγουμε το θέμα του χώρου σωρού αντικειμένων όπως αναφέρεται στο παρακάτω στιγμιότυπο.
Τώρα, εκτελέστε την παρακάτω εντολή στο τερματικό για να δημιουργήσετε σπινθήρα για το Hadoop 2.2.0 με HIVE και YARN.
Εντολή: ./sbt/sbt -P νήμα -Π κυψέλη -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests συνέλευση
Σημείωση: Η έκδοση Hadoop μου είναι 2.2.0, μπορείτε να την αλλάξετε σύμφωνα με την έκδοση Hadoop.
Για άλλες εκδόσεις Hadoop
# Apache Hadoop 2.0.5-άλφα
-Dhadoop.version = 2.0.5-άλφα
# Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Θα χρειαστεί λίγος χρόνος για τη συλλογή και τη συσκευασία, περιμένετε μέχρι να ολοκληρωθεί.
Δύο βάζα σπινθήρα-συγκρότημα-1.1.1-hadoop2.2.0.jar και σπινθήρα-παραδείγματα-1.1.1-hadoop2.2.0.jar δημιουργείται.
Διαδρομή του σπινθήρα-συγκρότημα-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Διαδρομή του σπινθήρα-παραδείγματα-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Συγχαρητήρια, δημιουργήσατε με επιτυχία το Spark for Hive & Yarn.
Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.
Σχετικές αναρτήσεις:
Apache Spark με Hadoop-Γιατί έχει σημασία;