Εντολές HDFS
Σε μου προηγούμενα ιστολόγια Έχω ήδη συζητήσει τι είναι το HDFS, τα χαρακτηριστικά του και την αρχιτεκτονική του. Το πρώτο βήμα προς το ταξίδι προς εκτελεί εντολές HDFS και διερευνά τον τρόπο λειτουργίας του HDFS. Σε αυτό το blog, θα μιλήσω για τις εντολές HDFS χρησιμοποιώντας τις οποίες μπορείτε να αποκτήσετε πρόσβαση στο Hadoop File System.
Λοιπόν, επιτρέψτε μου να σας πω τις σημαντικές εντολές HDFS και τη λειτουργία τους που χρησιμοποιούνται συχνότερα όταν εργάζεστε με το Hadoop File System.
fsck
Εντολή HDFS για έλεγχο της υγείας του συστήματος αρχείων Hadoop.
Εντολή: hdfs fsck /
είναι
Εντολή HDFS για εμφάνιση της λίστας αρχείων και καταλόγων σε HDFS.
Εντολή: hdfsdfs –Ls /
mkdir
Εντολή HDFS για τη δημιουργία του καταλόγου σε HDFS.
Χρήση: hdfs dfs –mkdir / directory_name
Εντολή: hdfs dfs –mkdir / new_edureka
Σημείωση: Εδώ προσπαθούμε να δημιουργήσουμε έναν κατάλογο με το όνομα 'new_edureka' σε HDFS.
αφή
Εντολή HDFS για δημιουργία αρχείου σε HDFS με μέγεθος αρχείου 0 byte.
Χρήση: hdfs dfs –touchz / κατάλογος / όνομα αρχείου
Εντολή: hdfs dfs –touchz / new_edureka / δείγμα
ποια είναι τα φίλτρα περιβάλλοντος στον πίνακα
Σημείωση: Εδώ προσπαθούμε να δημιουργήσουμε ένα αρχείο με το όνομα 'sample' στον κατάλογο 'new_edureka' των hdfs με μέγεθος αρχείου 0 byte.
του
Εντολή HDFS για έλεγχο του μεγέθους του αρχείου.
Χρήση: hdfs dfs –du –s / κατάλογος / όνομα αρχείου
Εντολή: hdfs dfs –du –s / new_edureka / δείγμα
Γάτα
Εντολή HDFS που διαβάζει ένα αρχείο σε HDFS και εκτυπώνει το περιεχόμενο αυτού του αρχείου στην τυπική έξοδο.
Χρήση: hdfs dfs –cat / path / to / file_in_hdfs
Εντολή: hdfs dfs –cat / new_edureka / δοκιμή
κείμενο
Εντολή HDFS που λαμβάνει ένα αρχείο προέλευσης και εξάγει το αρχείο σε μορφή κειμένου.
Χρήση: hdfs dfs - κείμενο / κατάλογος / όνομα αρχείου
Εντολή: hdfs dfs –xtxt / new_edureka / δοκιμή
copyFromLocal
Εντολή HDFS για αντιγραφή του αρχείου από ένα τοπικό σύστημα αρχείων σε HDFS.
Χρήση: hdfs dfs -copyFromLocal
Εντολή: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka
Σημείωση: Εδώ το τεστ είναι το αρχείο που υπάρχει στον τοπικό κατάλογο / home / edureka και μετά την εκτέλεση της εντολής το αρχείο δοκιμής θα αντιγραφεί στον κατάλογο / new_edureka του HDFS.
copyToLocal
Εντολή HDFS για αντιγραφή του αρχείου από το HDFS στο τοπικό σύστημα αρχείων.
Χρήση: hdfs dfs -copyToLocal
Εντολή: hdfs dfs –copyToLocal / new_edureka / test / home / edureka
Σημείωση: Εδώ το τεστ είναι ένα αρχείο που υπάρχει στον κατάλογο new_edureka του HDFS και μετά την εκτέλεση της εντολής, το δοκιμαστικό αρχείο θα αντιγραφεί στον τοπικό κατάλογο / home / edureka
βάζω
Εντολή HDFS για αντιγραφή μίας ή πολλαπλών πηγών από το τοπικό σύστημα αρχείων στο σύστημα αρχείων προορισμού.
Χρήση: hdfs dfs - είσοδος
Εντολή: hdfs dfs –put / home / edureka / test / χρήστης
Σημείωση: Η εντολή copyFromLocal είναι παρόμοια με την εντολή put, εκτός από το ότι η πηγή περιορίζεται σε μια τοπική αναφορά αρχείου.
παίρνω
Εντολή HDFS για αντιγραφή αρχείων από hdfs στο τοπικό σύστημα αρχείων.
Χρήση: hdfs dfs -get
Εντολή: hdfs dfs –get / user / test / home / edureka
Σημείωση: Η εντολή copyToLocal είναι παρόμοια με την εντολή get, εκτός από το ότι ο προορισμός περιορίζεται σε μια τοπική αναφορά αρχείου.
μετρώ
Εντολή HDFS για μέτρηση του αριθμού καταλόγων, αρχείων και byte κάτω από τις διαδρομές που ταιριάζουν με το καθορισμένο μοτίβο αρχείων.
Χρήση: hdfsdfs -count
Εντολή: hdfs dfs –count / χρήστης
rm
Εντολή HDFS για κατάργηση του αρχείου από το HDFS.
Χρήση: hdfs dfs –rm
Εντολή: hdfs dfs –rm / new_edureka / δοκιμή
rm -r
Εντολή HDFS για κατάργηση ολόκληρου του καταλόγου και όλου του περιεχομένου του από HDFS.
Χρήση: hdfs dfs -rm -r
Εντολή: hdfs dfs -rm -r / new_edureka
cp
Εντολή HDFS για αντιγραφή αρχείων από πηγή σε προορισμό. Αυτή η εντολή επιτρέπει επίσης πολλές πηγές, οπότε ο προορισμός πρέπει να είναι κατάλογος.
Χρήση: hdfs dfs -cp
Εντολή: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2
Εντολή: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir
mv
Εντολή HDFS για μετακίνηση αρχείων από πηγή σε προορισμό. Αυτή η εντολή επιτρέπει επίσης πολλές πηγές, οπότε ο προορισμός πρέπει να είναι κατάλογος.
Χρήση: hdfs dfs -mv
Εντολή: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2
απαλείφω
Εντολή HDFS που καθιστά τον κάδο άδειο.
Εντολή: hdfsdfs-απαλείφω
rmdir
Εντολή HDFS για κατάργηση του καταλόγου.
Χρήση: hdfs dfs -rmdir
τι είναι εκτύπωση σε python
Εντολή: hdfs dfs –rmdir / user / hadoop
χρήση
Εντολή HDFS που επιστρέφει τη βοήθεια για μια μεμονωμένη εντολή.
Χρήση: hdfs dfs - χρήση
Εντολή: hdfs dfs -usage mkdir
Σημείωση: Χρησιμοποιώντας την εντολή χρήσης μπορείτε να λάβετε πληροφορίες σχετικά με οποιαδήποτε εντολή.
βοήθεια
Εντολή HDFS που εμφανίζει βοήθεια για δεδομένη εντολή ή όλες τις εντολές εάν δεν έχει καθοριστεί καμία.
Εντολή: hdfs dfs - βοήθεια
Αυτό είναι το τέλος του ιστολογίου HDFS Commands, ελπίζω ότι ήταν ενημερωτικό και θα μπορούσατε να εκτελέσετε όλες τις εντολές. Για περισσότερες εντολές HDFS, μπορείτε να ανατρέξετε στο Apache Hadoopτεκμηρίωση εδώ.
Τώρα που έχετε εκτελέσει τις παραπάνω εντολές HDFS, δείτε το από την Edureka, μια αξιόπιστη διαδικτυακή εταιρεία εκμάθησης με δίκτυο περισσότερων από 250.000 ικανοποιημένων μαθητών σε όλο τον κόσμο. Το εκπαιδευτικό πρόγραμμα Edureka Big Data Hadoop Certification βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Νήματα, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς λιανικής, κοινωνικής δικτύωσης, αεροπορίας, τουρισμού, χρηματοδότησης.
Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.