hadoop
Hadoop-laddningsdata

Ladda data i hadoop hdfs

STEG 1: SKAPA EN DIRECTORY I HDFS, UPPLADA EN FIL OCH LISTAINNEHÅLL

Låt oss lära oss genom att skriva syntaxen. Du kommer att kunna kopiera och klistra in följande exempelkommandon i din terminal:

hadoop fs -mkdir:

Tar banan URI som ett argument och skapar en katalog eller flera kataloger.

Användande:

    # hadoop fs -mkdir <paths>

Exempel:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs-output:

Kopierar en enda src-fil eller flera src-filer från det lokala filsystemet till Hadoop Distribuerade filsystem.

Användande:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Exempel:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Kopierar en enda src-fil eller flera src-filer från det lokala filsystemet till Hadoop Distribuerade filsystem.

Användande:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Exempel:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Liknar kommando-kommando, förutom att källen localsrc tas bort efter att den har kopierats.

Användande:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Exempel:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOP DATA TRANSFER TOOL:

Vi kan också ladda data i HDFS direkt från relationella databaser med Sqoop (ett kommandoradsverktyg för dataöverföring från RDBMS till HDFS och vice versa).

Användande:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Exempel:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST