hadoop
Datos de carga de Hadoop

Cargar datos en hadoop hdfs

PASO 1: CREAR UN DIRECTORIO EN HDFS, CARGAR UN ARCHIVO Y CONTENIDO DE LA LISTA

Aprendamos escribiendo la sintaxis. Podrá copiar y pegar los siguientes comandos de ejemplo en su terminal:

hadoop fs -mkdir:

Toma la ruta de URI como un argumento y crea un directorio o varios directorios.

Uso:

    # hadoop fs -mkdir <paths>

Ejemplo:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Copia un solo archivo src o varios archivos src del sistema de archivos local al Sistema de archivos distribuidos de Hadoop.

Uso:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Ejemplo:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Copia un solo archivo src o varios archivos src del sistema de archivos local al Sistema de archivos distribuidos de Hadoop.

Uso:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Ejemplo:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Similar al comando put, excepto que el origen localsrc se elimina después de copiarlo.

Uso:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Ejemplo:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

HERRAMIENTA DE TRANSFERENCIA DE DATOS SQOOP:

También podemos cargar datos en HDFS directamente desde bases de datos relacionales usando Sqoop (una herramienta de línea de comandos para la transferencia de datos de RDBMS a HDFS y viceversa).

Uso:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Ejemplo:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST