hadoop
Hadoop-Befehle

Syntax

• Hadoop v1-Befehle: hadoop fs -<command>

• Hadoop v2-Befehle: hdfs dfs -<command>

Hadoop v1-Befehle

1. Drucken Sie die Hadoop-Version

hadoop version

2. Listen Sie den Inhalt des Stammverzeichnisses in HDFS auf

hadoop fs -ls /

3. Melden Sie den belegten Speicherplatz und

verfügbar für aktuell eingehängtes Dateisystem

hadoop fs -df hdfs:/

4. Zählen Sie die Anzahl der Verzeichnisse, Dateien und Bytes unter

die Pfade, die dem angegebenen Dateimuster entsprechen

hadoop fs -count hdfs:/

5. Führen Sie ein DFS-Dateisystem-Überprüfungsprogramm aus

hadoop fsck – /

6. Führen Sie ein Cluster-Balancing-Dienstprogramm aus

hadoop balancer

7. Erstellen Sie ein neues Verzeichnis mit dem Namen „hadoop“ unter dem

/ user / training-Verzeichnis in HDFS. Da bist du

derzeit mit der Benutzer-ID "training" angemeldet,

/ user / training ist Ihr Basisverzeichnis in HDFS.

hadoop fs -mkdir /user/training/hadoop

8. Fügen Sie eine Beispieltextdatei aus dem lokalen Verzeichnis hinzu

benannte "Daten" für das neue Verzeichnis, das Sie in HDFS erstellt haben

im vorherigen Schritt.

hadoop fs -put data/sample.txt /user/training/hadoop

9. Listen Sie den Inhalt dieses neuen Verzeichnisses in HDFS auf.

hadoop fs -ls /user/training/hadoop

10. Fügen Sie das gesamte lokale Verzeichnis namens "retail" zum hinzu

/ user / training-Verzeichnis in HDFS.

hadoop fs -put data/retail /user/training/hadoop

11. Da / user / training Ihr Heimatverzeichnis in HDFS ist,

Jeder Befehl, der keinen absoluten Pfad hat, ist

als relativ zu diesem Verzeichnis interpretiert. Der nächste

Der Befehl listet daher Ihr Heimatverzeichnis auf und

sollte die Elemente anzeigen, die Sie gerade dort hinzugefügt haben.

hadoop fs -ls

12. Sehen Sie, wie viel Speicherplatz dieses Verzeichnis in HDFS belegt.

hadoop fs -du -s -h hadoop/retail

13. Löschen Sie eine Datei 'Kunden' aus dem 'Einzelhandelsverzeichnis'.

hadoop fs -rm hadoop/retail/customers

14. Stellen Sie sicher, dass sich diese Datei nicht mehr in HDFS befindet.

hadoop fs -ls hadoop/retail/customers

15. Löschen Sie alle Dateien mit einem Platzhalter aus dem Retail-Verzeichnis.

hadoop fs -rm hadoop/retail/*

16. Den Papierkorb leeren

hadoop fs -expunge

17. Entfernen Sie schließlich das gesamte Einzelhandelsverzeichnis und alles

seines Inhalts in HDFS.

hadoop fs -rm -r hadoop/retail

18. Listen Sie das hadoop-Verzeichnis erneut auf

hadoop fs -ls hadoop

19. Fügen Sie die Datei buyings.txt aus dem lokalen Verzeichnis hinzu

benannte "/ home / training /" für das hadoop-Verzeichnis, das Sie in HDFS erstellt haben

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. So zeigen Sie den Inhalt Ihrer Textdatei einkäufen.txt an

welches in Ihrem hadoop-Verzeichnis vorhanden ist.

hadoop fs -cat hadoop/purchases.txt

21. Fügen Sie die Datei buyings.txt aus dem Verzeichnis "hadoop" hinzu, das sich im HDFS-Verzeichnis befindet

in das Verzeichnis "data", das sich in Ihrem lokalen Verzeichnis befindet

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp wird verwendet, um Dateien zwischen in HDFS vorhandenen Verzeichnissen zu kopieren

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. Der Befehl '-get' kann alternativ zum Befehl '-copyToLocal' verwendet werden

hadoop fs -get hadoop/sample.txt /home/training/

24. Zeigt das letzte Kilobyte der Datei „Purchases.txt“ in stdout an.

hadoop fs -tail hadoop/purchases.txt

25. Die Standarddateiberechtigungen in HDFS sind 666

Verwenden Sie den Befehl '-chmod', um die Berechtigungen einer Datei zu ändern

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. Die Standardnamen des Inhabers und der Gruppe lauten Training, Training

Verwenden Sie '-chown', um den Besitzernamen und den Gruppennamen gleichzeitig zu ändern

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. Der Standardname der Gruppe lautet training

Verwenden Sie den Befehl '-chgrp', um den Gruppennamen zu ändern

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. Verschieben Sie ein Verzeichnis von einem Ort an einen anderen

hadoop fs -mv hadoop apache_hadoop

29. Der Standardreplikationsfaktor für eine Datei ist 3.

Verwenden Sie den Befehl '-setrep', um den Replikationsfaktor einer Datei zu ändern

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. Kopieren Sie ein Verzeichnis von einem Knoten im Cluster auf einen anderen

Verwenden Sie den Befehl '-distcp' zum Kopieren.

-overwrite Option zum Überschreiben in vorhandenen Dateien

-update-Befehl zum Synchronisieren beider Verzeichnisse

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. Befehl, damit der Namensknoten den abgesicherten Modus verlässt

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. Listen Sie alle Shell-Befehle des hadoop-Dateisystems auf

hadoop fs

33. Holen Sie sich die Hdfs-Quota-Werte und die aktuelle Anzahl der verwendeten Namen und Bytes.

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. Last but not least, bitte immer um Hilfe!

hadoop fs -help

Hadoop v2-Befehle

appendToFile: Hängen Sie einzelne oder mehrere srcs aus dem lokalen Dateisystem an das Zieldateisystem an. Liest auch Eingaben von stdin und hängt sie an das Zieldateisystem an. Behalte das als -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat: Kopiert Quellpfade nach stdout.

 hdfs dfs -cat URI [URI …]

chgrp: Ändert die Gruppenzuordnung von Dateien. Mit -R erfolgt die Änderung rekursiv über die Verzeichnisstruktur. Der Benutzer muss der Dateieigentümer oder der Superuser sein.

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: Ändert die Berechtigungen von Dateien. Mit -R erfolgt die Änderung rekursiv über die Verzeichnisstruktur. Der Benutzer muss der Dateieigentümer oder der Superuser sein

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: Ändert den Besitzer der Dateien. Mit -R erfolgt die Änderung rekursiv über die Verzeichnisstruktur. Der Benutzer muss der Superuser sein.

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: Funktioniert ähnlich wie der put-Befehl, nur dass die Quelle auf einen lokalen Dateiverweis beschränkt ist.

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: Funktioniert ähnlich wie der get-Befehl, nur dass das Ziel auf einen lokalen Dateiverweis beschränkt ist.

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count: Zählt die Anzahl der Verzeichnisse, Dateien und Bytes unter den Pfaden, die dem angegebenen Dateimuster entsprechen.

 hdfs dfs -count [-q] [-h] <paths>

cp: Kopiert eine oder mehrere Dateien von einer angegebenen Quelle an ein angegebenes Ziel. Wenn Sie mehrere Quellen angeben, muss das angegebene Ziel ein Verzeichnis sein.

 hdfs dfs -cp URI [URI …] <dest>

du: Zeigt die Größe der angegebenen Datei oder die Größe der Dateien und Verzeichnisse an, die im angegebenen Verzeichnis enthalten sind. Wenn Sie die Option -s angeben, wird eine Zusammenfassung der Dateigrößen anstelle der einzelnen Dateigrößen angezeigt. Wenn Sie die Option -h angeben, werden die Dateigrößen "lesbar" formatiert.

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: Zeigt eine Zusammenfassung der Dateigrößen an. entspricht hdfs dfs -du –s.

 hdfs dfs -dus <args>

Expunge: Leert den Müll. Wenn Sie eine Datei löschen, wird sie nicht sofort aus HDFS entfernt, sondern in eine Datei im Verzeichnis / trash umbenannt. Solange die Datei dort verbleibt, können Sie sie wiederherstellen, wenn Sie Ihre Meinung ändern, obwohl nur die letzte Kopie der gelöschten Datei wiederhergestellt werden kann.

 hdfs dfs –expunge

get: Kopiert Dateien in das lokale Dateisystem. Dateien, die eine zyklische Redundanzprüfung (CRC) nicht bestehen, können weiterhin kopiert werden, wenn Sie die Option -ignorecrc angeben. Die CRC ist eine übliche Technik zum Erkennen von Datenübertragungsfehlern. CRC-Prüfsummendateien haben die Erweiterung .crc und werden zum Überprüfen der Datenintegrität einer anderen Datei verwendet. Diese Dateien werden kopiert, wenn Sie die Option -crc angeben.

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: Verkettet die Dateien in src und schreibt das Ergebnis in die angegebene lokale Zieldatei . Geben Sie die Option addnl an, um am Ende jeder Datei ein Zeilenvorschubzeichen hinzuzufügen.

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: Gibt Statistiken für die angegebenen Dateien oder Verzeichnisse zurück.

 hdfs dfs -ls <args>

lsr: Dient als rekursive Version von ls; ähnlich dem Unix-Befehl ls -R.

 hdfs dfs -lsr <args>

mkdir: Erstellt Verzeichnisse in einem oder mehreren angegebenen Pfaden. Sein Verhalten ähnelt dem Unix-Befehl mkdir -p, mit dem alle Verzeichnisse erstellt werden, die zum angegebenen Verzeichnis führen, falls sie nicht bereits vorhanden sind.

 hdfs dfs -mkdir <paths>

moveFromLocal: Funktioniert ähnlich wie der put-Befehl, nur dass die Quelle nach dem Kopieren gelöscht wird.

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: Verschiebt eine oder mehrere Dateien von einer angegebenen Quelle zu einem angegebenen Ziel. Wenn Sie mehrere Quellen angeben, muss das angegebene Ziel ein Verzeichnis sein. Das Verschieben von Dateien zwischen Dateisystemen ist nicht zulässig.

 hdfs dfs -mv URI [URI …] <dest>

put: Kopiert Dateien vom lokalen Dateisystem in das Zieldateisystem. Dieser Befehl kann auch Eingaben von stdin lesen und in das Zieldateisystem schreiben.

 hdfs dfs -put <localsrc> ... <dest>

rm: Löscht eine oder mehrere angegebene Dateien. Dieser Befehl löscht keine leeren Verzeichnisse oder Dateien. Um den Papierkorb zu umgehen (falls aktiviert) und die angegebenen Dateien sofort zu löschen, geben Sie die Option -skipTrash an.

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: Dient als rekursive Version von –rm.

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: Ändert den Replikationsfaktor für eine angegebene Datei oder ein Verzeichnis. Mit -R erfolgt die Änderung rekursiv über die Verzeichnisstruktur.

 hdfs dfs -setrep <rep> [-R] <path>

stat: Zeigt Informationen zum angegebenen Pfad an.

 hdfs dfs -stat URI [URI …]

tail: Zeigt den letzten Kilobyte einer angegebenen Datei in stdout an. Die Syntax unterstützt die Unix -f-Option, mit der die angegebene Datei überwacht werden kann. Wenn neue Zeilen von einem anderen Prozess zur Datei hinzugefügt werden, aktualisiert tail die Anzeige.

 hdfs dfs -tail [-f] URI

test: Gibt Attribute der angegebenen Datei oder des angegebenen Verzeichnisses zurück. Gibt -e an, um festzustellen, ob die Datei oder das Verzeichnis vorhanden ist. -z, um festzustellen, ob die Datei oder das Verzeichnis leer ist; und -d, um festzustellen, ob der URI ein Verzeichnis ist.

 hdfs dfs -test -[ezd] URI

text: Gibt eine angegebene Quelldatei im Textformat aus. Gültige Eingabedateiformate sind zip und TextRecordInputStream.

 hdfs dfs -text <src>

touchz: Erstellt eine neue, leere Datei der Größe 0 im angegebenen Pfad.

 hdfs dfs -touchz <path>