hadoop
Comandi Hadoop

Sintassi

• Comandi Hadoop v1: hadoop fs -<command>

• Comandi Hadoop v2: hdfs dfs -<command>

Hadoop v1 Comandi

1. Stampa la versione di Hadoop

hadoop version

2. Elencare i contenuti della directory root in HDFS

hadoop fs -ls /

3. Segnala la quantità di spazio utilizzato e

disponibile sul filesystem attualmente montato

hadoop fs -df hdfs:/

4. Contare il numero di directory, file e byte sotto

i percorsi che corrispondono al modello di file specificato

hadoop fs -count hdfs:/

5. Eseguire un'utilità di controllo del filesystem DFS

hadoop fsck – /

6. Eseguire un'utilità di bilanciamento del cluster

hadoop balancer

7. Crea una nuova directory chiamata "hadoop" sotto il

/ directory utente / formazione in HDFS. Dal momento che lo sei

attualmente connesso con l'ID utente "training",

/ user / training è la tua directory home in HDFS.

hadoop fs -mkdir /user/training/hadoop

8. Aggiungi un file di testo di esempio dalla directory locale

chiamato "dati" nella nuova directory creata in HDFS

durante il passaggio precedente.

hadoop fs -put data/sample.txt /user/training/hadoop

9. Elencare il contenuto di questa nuova directory in HDFS.

hadoop fs -ls /user/training/hadoop

10. Aggiungi l'intera directory locale chiamata "retail" al

/ directory utente / formazione in HDFS.

hadoop fs -put data/retail /user/training/hadoop

11. Poiché / user / training è la tua directory home in HDFS,

qualsiasi comando che non ha un percorso assoluto è

interpretato come relativo a quella directory. Il prossimo

comando quindi elenca la tua home directory, e

dovrebbe mostrare gli oggetti che hai appena aggiunto lì.

hadoop fs -ls

12. Scopri quanto spazio occupa questa directory in HDFS.

hadoop fs -du -s -h hadoop/retail

13. Eliminare un file "clienti" dalla directory "vendita al dettaglio".

hadoop fs -rm hadoop/retail/customers

14. Assicurarsi che questo file non sia più in HDFS.

hadoop fs -ls hadoop/retail/customers

15. Elimina tutti i file dalla directory "retail" utilizzando un carattere jolly.

hadoop fs -rm hadoop/retail/*

16. Per svuotare il cestino

hadoop fs -expunge

17. Infine, rimuovere l'intera directory di vendita e tutto

dei suoi contenuti in HDFS.

hadoop fs -rm -r hadoop/retail

18. Elenca nuovamente la directory hadoop

hadoop fs -ls hadoop

19. Aggiungi il file purchasing.txt dalla directory locale

chiamato "/ home / training /" alla directory hadoop che hai creato in HDFS

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. Per visualizzare i contenuti del tuo file di testo purchase.txt

che è presente nella tua directory hadoop.

hadoop fs -cat hadoop/purchases.txt

21. Aggiungi il file purchasing.txt dalla directory "hadoop" che è presente nella directory HDFS

alla directory "data" che è presente nella tua directory locale

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp è usato per copiare file tra le directory presenti in HDFS

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. Il comando '-get' può essere usato alternativamente al comando '-copyToLocal'

hadoop fs -get hadoop/sample.txt /home/training/

24. Mostra l'ultimo kilobyte del file "orders.txt" allo stdout.

hadoop fs -tail hadoop/purchases.txt

25. Le autorizzazioni file predefinite sono 666 in HDFS

Utilizzare il comando '-chmod' per modificare i permessi di un file

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. I nomi predefiniti del proprietario e del gruppo sono addestramento, addestramento

Usa '-chown' per cambiare il nome del proprietario e il nome del gruppo simultaneamente

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. Il nome predefinito del gruppo è la formazione

Utilizzare il comando '-chgrp' per cambiare il nome del gruppo

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. Spostare una directory da una posizione all'altra

hadoop fs -mv hadoop apache_hadoop

29. Il fattore di replica predefinito in un file è 3.

Utilizzare il comando '-setrep' per modificare il fattore di replicazione di un file

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. Copia una directory da un nodo nel cluster a un altro

Usa il comando '-distcp' per copiare,

-overwrite l'opzione per sovrascrivere in un file esistente

-aggiornamento del comando per sincronizzare entrambe le directory

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. Comando per fare in modo che il nodo del nome lasci la modalità sicura

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. Elenca tutti i comandi della shell del file system hadoop

hadoop fs

33. Ottieni valori quota hdf e il numero corrente di nomi e byte in uso.

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. Ultimo ma non meno importante, chiedi sempre aiuto!

hadoop fs -help

Comandi Hadoop v2

appendToFile: aggiungi singolo src o più srcs dal file system locale al file system di destinazione. Legge anche l'input da stdin e aggiunge al file system di destinazione. Mantieni il come -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat: copia i percorsi di origine su stdout.

 hdfs dfs -cat URI [URI …]

chgrp: cambia l'associazione di gruppo dei file. Con -R, rende la modifica in modo ricorsivo tramite la struttura della directory. L'utente deve essere il proprietario del file o il superutente.

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: modifica le autorizzazioni dei file. Con -R, rende la modifica in modo ricorsivo tramite la struttura della directory. L'utente deve essere il proprietario del file o il superutente

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: cambia il proprietario dei file. Con -R, rende la modifica in modo ricorsivo tramite la struttura della directory. L'utente deve essere il superutente.

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: funziona in modo simile al comando put, tranne per il fatto che l'origine è limitata a un riferimento al file locale.

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: funziona in modo simile al comando get, tranne per il fatto che la destinazione è limitata a un riferimento al file locale.

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

conteggio: conta il numero di directory, file e byte sotto i percorsi che corrispondono al modello di file specificato.

 hdfs dfs -count [-q] [-h] <paths>

cp: copia uno o più file da un'origine specificata a una destinazione specificata. Se si specificano più origini, la destinazione specificata deve essere una directory.

 hdfs dfs -cp URI [URI …] <dest>

du: visualizza la dimensione del file specificato o le dimensioni dei file e delle directory contenuti nella directory specificata. Se si specifica l'opzione -s, viene visualizzato un riepilogo aggregato delle dimensioni dei file anziché delle dimensioni dei singoli file. Se si specifica l'opzione -h, formatta le dimensioni del file in un modo "leggibile".

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: visualizza un riepilogo delle dimensioni del file; equivalente a hdfs dfs -du -s.

 hdfs dfs -dus <args>

expunge: svuota la spazzatura. Quando elimini un file, non viene rimosso immediatamente da HDFS, ma viene rinominato in un file nella directory / trash. Finché il file rimane lì, è possibile ripristinarlo se si cambia idea, anche se è possibile ripristinare solo l'ultima copia del file eliminato.

 hdfs dfs –expunge

get: copia i file nel file system locale. I file che non superano un controllo di ridondanza ciclico (CRC) possono ancora essere copiati se si specifica l'opzione -ignorecrc. Il CRC è una tecnica comune per rilevare errori di trasmissione dei dati. I file di checksum CRC hanno l'estensione .crc e sono utilizzati per verificare l'integrità dei dati di un altro file. Questi file vengono copiati se si specifica l'opzione -crc.

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: concatena i file in src e scrive il risultato nel file di destinazione locale specificato. Per aggiungere un carattere di fine riga alla fine di ogni file, specificare l'opzione addnl.

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: restituisce le statistiche per i file o le directory specificati.

 hdfs dfs -ls <args>

lsr: funge da versione ricorsiva di ls; simile al comando Unix ls -R.

 hdfs dfs -lsr <args>

mkdir: crea directory su uno o più percorsi specificati. Il suo comportamento è simile al comando mkdir -p di Unix, che crea tutte le directory che portano alla directory specificata se non esistono già.

 hdfs dfs -mkdir <paths>

moveFromLocal: funziona in modo simile al comando put, tranne per il fatto che la sorgente viene cancellata dopo essere stata copiata.

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: sposta uno o più file da un'origine specificata a una destinazione specificata. Se si specificano più origini, la destinazione specificata deve essere una directory. Lo spostamento di file tra file system non è consentito.

 hdfs dfs -mv URI [URI …] <dest>

put: copia i file dal file system locale al file system di destinazione. Questo comando può anche leggere l'input da stdin e scrivere nel file system di destinazione.

 hdfs dfs -put <localsrc> ... <dest>

rm: elimina uno o più file specificati. Questo comando non cancella directory o file vuoti. Per ignorare il cestino (se è abilitato) ed eliminare immediatamente i file specificati, specificare l'opzione -skipTrash.

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: funge da versione ricorsiva di -rm.

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: modifica il fattore di replicazione per un file o una directory specificati. Con -R, rende la modifica in modo ricorsivo tramite la struttura della directory.

 hdfs dfs -setrep <rep> [-R] <path>

stat: visualizza le informazioni sul percorso specificato.

 hdfs dfs -stat URI [URI …]

tail: visualizza l'ultimo kilobyte di un file specificato su stdout. La sintassi supporta l'opzione Unix -f, che consente di monitorare il file specificato. Quando nuove righe vengono aggiunte al file da un altro processo, tail aggiorna il display.

 hdfs dfs -tail [-f] URI

test: restituisce gli attributi del file o della directory specificati. Specifica -e per determinare se il file o la directory esiste; -z per determinare se il file o la directory è vuota; e -d per determinare se l'URI è una directory.

 hdfs dfs -test -[ezd] URI

testo: emette un file sorgente specificato in formato testo. I formati di file di input validi sono zip e TextRecordInputStream.

 hdfs dfs -text <src>

touchz: crea un nuovo file vuoto di dimensione 0 nel percorso specificato.

 hdfs dfs -touchz <path>