hadoop
Hadoop-Ladedaten

Laden Sie Daten in hadoop hdfs

SCHRITT 1: ERSTELLEN EINES VERZEICHNISS IN HDFS, HOCHLADEN EINER DATEI UND INHALTE DER LISTE

Lassen Sie uns lernen, indem Sie die Syntax schreiben. Sie können die folgenden Beispielbefehle kopieren und in Ihr Terminal einfügen:

hadoop fs -mkdir:

Verwendet die Pfad-URIs als Argument und erstellt ein Verzeichnis oder mehrere Verzeichnisse.

Verwendungszweck:

    # hadoop fs -mkdir <paths>

Beispiel:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Kopiert einzelne SRC-Dateien oder mehrere SRC-Dateien aus dem lokalen Dateisystem in das Hadoop Distributed File System.

Verwendungszweck:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Beispiel:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Kopiert einzelne SRC-Dateien oder mehrere SRC-Dateien aus dem lokalen Dateisystem in das Hadoop Distributed File System.

Verwendungszweck:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Beispiel:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Ähnlich wie der put-Befehl, nur dass die Quell-Localsrc nach dem Kopieren gelöscht wird.

Verwendungszweck:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Beispiel:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOP-DATENTRANSFER-TOOL:

Wir können Daten auch direkt aus relationalen Datenbanken in HDFS laden, indem wir Sqoop (ein Befehlszeilentool für die Datenübertragung von RDBMS nach HDFS und umgekehrt) verwenden.

Verwendungszweck:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Beispiel:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST