hadoop
Comandos de Hadoop

Sintaxis

• Comandos de Hadoop v1: hadoop fs -<command>

• Comandos de Hadoop v2: hdfs dfs -<command>

Comandos Hadoop v1

1. Imprime la versión de Hadoop

hadoop version

2. Listar los contenidos del directorio raíz en HDFS

hadoop fs -ls /

3. Reportar la cantidad de espacio utilizado y

disponible en el sistema de archivos montado actualmente

hadoop fs -df hdfs:/

4. Cuente el número de directorios, archivos y bytes bajo

las rutas que coinciden con el patrón de archivo especificado

hadoop fs -count hdfs:/

5. Ejecutar una utilidad de comprobación del sistema de archivos DFS

hadoop fsck – /

6. Ejecutar una utilidad de equilibrio de clúster

hadoop balancer

7. Cree un nuevo directorio llamado "hadoop" debajo del

/ user / training directory en HDFS. Ya que eres

actualmente iniciado sesión con el "entrenamiento" ID de usuario,

/ user / training es su directorio home en HDFS.

hadoop fs -mkdir /user/training/hadoop

8. Agregue un archivo de texto de muestra desde el directorio local

llamado "datos" al nuevo directorio que creó en HDFS

durante el paso anterior.

hadoop fs -put data/sample.txt /user/training/hadoop

9. Listar los contenidos de este nuevo directorio en HDFS.

hadoop fs -ls /user/training/hadoop

10. Agregue el directorio local completo llamado "minorista" al

/ user / training directory en HDFS.

hadoop fs -put data/retail /user/training/hadoop

11. Dado que / user / training es su directorio personal en HDFS,

Cualquier comando que no tenga una ruta absoluta es

interpretado como relativo a ese directorio. El siguiente

Por lo tanto, el comando listará su directorio de inicio, y

debe mostrar los elementos que acaba de agregar allí.

hadoop fs -ls

12. Ver cuánto espacio ocupa este directorio en HDFS.

hadoop fs -du -s -h hadoop/retail

13. Elimine un archivo 'clientes' del directorio "minorista".

hadoop fs -rm hadoop/retail/customers

14. Asegúrese de que este archivo ya no esté en HDFS.

hadoop fs -ls hadoop/retail/customers

15. Elimine todos los archivos del directorio "minorista" utilizando un comodín.

hadoop fs -rm hadoop/retail/*

16. Vaciar la basura.

hadoop fs -expunge

17. Finalmente, elimine todo el directorio minorista y todos

de sus contenidos en HDFS.

hadoop fs -rm -r hadoop/retail

18. Listar el directorio hadoop de nuevo

hadoop fs -ls hadoop

19. Agregue el archivo adquisiciones.txt desde el directorio local

nombrado "/ home / training /" en el directorio hadoop que creó en HDFS

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. Para ver el contenido de tu archivo de texto adquisiciones.txt

que está presente en su directorio hadoop.

hadoop fs -cat hadoop/purchases.txt

21. Agregue el archivo adquisiciones.txt del directorio "hadoop" que está presente en el directorio HDFS

al directorio “datos” que está presente en su directorio local

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp se utiliza para copiar archivos entre directorios presentes en HDFS

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. El comando '-get' se puede usar alternativamente al comando '-copyToLocal'

hadoop fs -get hadoop/sample.txt /home/training/

24. Muestra el último kilobyte del archivo "purchase.txt" a la salida estándar.

hadoop fs -tail hadoop/purchases.txt

25. Los permisos de archivo predeterminados son 666 en HDFS

Use el comando '-chmod' para cambiar los permisos de un archivo

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. Los nombres predeterminados de propietario y grupo son entrenamiento, entrenamiento

Use '-chown' para cambiar el nombre del propietario y el nombre del grupo simultáneamente

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. El nombre predeterminado del grupo es entrenamiento.

Use el comando '-chgrp' para cambiar el nombre del grupo

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. Mover un directorio de una ubicación a otra

hadoop fs -mv hadoop apache_hadoop

29. El factor de replicación predeterminado para un archivo es 3.

Use el comando '-setrep' para cambiar el factor de replicación de un archivo

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. Copie un directorio de un nodo en el cluster a otro

Utilice el comando '-distcp' para copiar,

Opción de sobrescritura para sobrescribir en archivos existentes.

-Actualizar el comando para sincronizar ambos directorios.

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. Comando para hacer que el nodo nombre salga del modo seguro

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. Listar todos los comandos de shell del sistema de archivos hadoop

hadoop fs

33. Obtenga los valores de cuota de hdfs y el recuento actual de nombres y bytes en uso.

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. Por último, pero no menos importante, ¡siempre pide ayuda!

hadoop fs -help

Comandos Hadoop v2

appendToFile: anexar una fuente única o varias fuentes del sistema de archivos local al sistema de archivos de destino. También lee la entrada de la entrada estándar y se agrega al sistema de archivos de destino. Mantenga el que -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat: copia las rutas de origen a la salida estándar.

 hdfs dfs -cat URI [URI …]

chgrp: Cambia la asociación de grupo de archivos. Con -R, realiza el cambio de forma recursiva a través de la estructura del directorio. El usuario debe ser el propietario del archivo o el superusuario.

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: cambia los permisos de los archivos. Con -R, realiza el cambio de forma recursiva a través de la estructura del directorio. El usuario debe ser el propietario del archivo o el superusuario.

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: Cambia el propietario de los archivos. Con -R, realiza el cambio de forma recursiva a través de la estructura del directorio. El usuario debe ser el superusuario.

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: funciona de manera similar al comando put, excepto que la fuente está restringida a una referencia de archivo local.

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: funciona de manera similar al comando get, excepto que el destino está restringido a una referencia de archivo local.

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

recuento: cuenta el número de directorios, archivos y bytes en las rutas que coinciden con el patrón de archivo especificado.

 hdfs dfs -count [-q] [-h] <paths>

cp: copia uno o más archivos de un origen específico a un destino específico. Si especifica varias fuentes, el destino especificado debe ser un directorio.

 hdfs dfs -cp URI [URI …] <dest>

du: muestra el tamaño del archivo especificado o el tamaño de los archivos y directorios que se encuentran en el directorio especificado. Si especifica la opción -s, muestra un resumen agregado de tamaños de archivo en lugar de tamaños de archivo individuales. Si especifica la opción -h, dé formato a los tamaños de archivo de forma "legible para los humanos".

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: muestra un resumen de los tamaños de archivo; equivalente a hdfs dfs -du –s.

 hdfs dfs -dus <args>

expunge : Vacía la basura. Cuando elimina un archivo, no se elimina inmediatamente de HDFS, pero se le cambia el nombre a un archivo en el directorio / trash. Mientras el archivo permanezca allí, puede recuperarlo si cambia de opinión, aunque solo se puede restaurar la última copia del archivo eliminado.

 hdfs dfs –expunge

obtener: copia los archivos al sistema de archivos local. Los archivos que fallan en una verificación de redundancia cíclica (CRC) aún se pueden copiar si especifica la opción -ignorecrc. El CRC es una técnica común para detectar errores de transmisión de datos. Los archivos de suma de comprobación CRC tienen la extensión .crc y se usan para verificar la integridad de los datos de otro archivo. Estos archivos se copian si especifica la opción -crc.

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: Concatena los archivos en src y escribe el resultado en el archivo de destino local especificado. Para agregar un carácter de nueva línea al final de cada archivo, especifique la opción addnl.

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: devuelve estadísticas para los archivos o directorios especificados.

 hdfs dfs -ls <args>

lsr: sirve como la versión recursiva de ls; similar al comando de Unix ls -R.

 hdfs dfs -lsr <args>

mkdir: crea directorios en una o más rutas especificadas. Su comportamiento es similar al comando mkdir -p de Unix, que crea todos los directorios que conducen al directorio especificado si aún no existen.

 hdfs dfs -mkdir <paths>

moveFromLocal: Funciona de manera similar al comando put, excepto que la fuente se elimina después de que se copia.

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: Mueve uno o más archivos de un origen específico a un destino específico. Si especifica varias fuentes, el destino especificado debe ser un directorio. No se permite mover archivos a través de sistemas de archivos.

 hdfs dfs -mv URI [URI …] <dest>

put: copia los archivos del sistema de archivos local al sistema de archivos de destino. Este comando también puede leer la entrada de stdin y escribir en el sistema de archivos de destino.

 hdfs dfs -put <localsrc> ... <dest>

rm: borra uno o más archivos especificados. Este comando no elimina directorios o archivos vacíos. Para omitir la papelera (si está habilitada) y eliminar los archivos especificados inmediatamente, especifique la opción -skipTrash.

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: Sirve como la versión recursiva de –rm.

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: cambia el factor de replicación para un archivo o directorio específico. Con -R, realiza el cambio de forma recursiva a través de la estructura del directorio.

 hdfs dfs -setrep <rep> [-R] <path>

stat: muestra información sobre la ruta especificada.

 hdfs dfs -stat URI [URI …]

cola: muestra el último kilobyte de un archivo especificado a la salida estándar. La sintaxis admite la opción Unix -f, que permite supervisar el archivo especificado. A medida que se agregan nuevas líneas al archivo mediante otro proceso, tail actualiza la pantalla.

 hdfs dfs -tail [-f] URI

prueba: devuelve atributos del archivo o directorio especificado. Especifica -e para determinar si el archivo o directorio existe; -z para determinar si el archivo o directorio está vacío; y -d para determinar si el URI es un directorio.

 hdfs dfs -test -[ezd] URI

texto: genera un archivo de origen especificado en formato de texto. Los formatos de archivo de entrada válidos son zip y TextRecordInputStream.

 hdfs dfs -text <src>

touchz: crea un nuevo archivo vacío de tamaño 0 en la ruta especificada.

 hdfs dfs -touchz <path>