hadoop
Hadoop laad gegevens

Laad gegevens in hadoop hdfs

STAP 1: MAAK EEN DIRECTORIE IN HDFS, UPLOAD EEN BESTAND EN INHOUD LIJST

Laten we leren door de syntaxis te schrijven. U kunt de volgende voorbeeldopdrachten naar uw terminal kopiëren en plakken:

hadoop fs -mkdir:

Neemt het pad URI's als argument en maakt een map of meerdere mappen aan.

Gebruik:

    # hadoop fs -mkdir <paths>

Voorbeeld:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Kopieert een enkel src-bestand of meerdere src-bestanden van het lokale bestandssysteem naar het Hadoop Distributed File System.

Gebruik:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Voorbeeld:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Kopieert een enkel src-bestand of meerdere src-bestanden van het lokale bestandssysteem naar het Hadoop Distributed File System.

Gebruik:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Voorbeeld:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Gelijk aan put command, behalve dat de bronlocalsrc wordt verwijderd nadat deze is gekopieerd.

Gebruik:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Voorbeeld:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOP DATA TRANSFER TOOL:

We kunnen ook gegevens rechtstreeks in HDFS laden vanuit Relational-databases met behulp van Sqoop (een opdrachtregelprogramma voor gegevensoverdracht van RDBMS naar HDFS en vice versa).

Gebruik:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Voorbeeld:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST