hadoop
Hadoop carica i dati

Carica i dati in hadoop hdfs

PASSO 1: CREARE UNA DIRECTORY IN HDFS, CARICARE UN CONTENUTO DI FILE E LISTA

Impariamo scrivendo la sintassi. Sarai in grado di copiare e incollare i seguenti comandi di esempio nel tuo terminale:

hadoop fs -mkdir:

Prende l'URI del percorso come argomento e crea una directory o più directory.

Uso:

    # hadoop fs -mkdir <paths>

Esempio:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Copia il singolo file src o più file src dal file system locale al file system distribuito Hadoop.

Uso:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Esempio:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Copia il singolo file src o più file src dal file system locale al file system distribuito Hadoop.

Uso:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Esempio:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Simile al comando put, tranne per il fatto che la fonte localsrc viene cancellata dopo essere stata copiata.

Uso:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Esempio:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

STRUMENTO DI TRASFERIMENTO DATI SQOOP:

Possiamo anche caricare i dati in HDFS direttamente dai database relazionali usando Sqoop (uno strumento da riga di comando per il trasferimento dei dati da RDBMS a HDFS e viceversa).

Uso:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Esempio:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST