hadoop
Données de chargement Hadoop

Charger des données dans hadoop hdfs

ÉTAPE 1: CRÉER UN ANNUAIRE DANS HDFS, TÉLÉCHARGER UN FICHIER ET LISTE DE CONTENUS

Apprenons en écrivant la syntaxe. Vous pourrez copier et coller les exemples de commandes suivants dans votre terminal:

hadoop fs -mkdir:

Prend l'URI du chemin comme argument et crée un répertoire ou plusieurs répertoires.

Usage:

    # hadoop fs -mkdir <paths>

Exemple:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Copie un seul fichier src ou plusieurs fichiers src du système de fichiers local vers le système de fichiers distribué Hadoop.

Usage:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Exemple:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Copie un seul fichier src ou plusieurs fichiers src du système de fichiers local vers le système de fichiers distribué Hadoop.

Usage:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Exemple:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Semblable à la commande put, sauf que la source locale est supprimée après sa copie.

Usage:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Exemple:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

OUTIL DE TRANSFERT DE DONNÉES SQOOP:

Nous pouvons également charger des données dans HDFS directement à partir de bases de données relationnelles à l'aide de Sqoop (un outil de ligne de commande pour le transfert de données du SGBDR vers HDFS et inversement).

Usage:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Exemple:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST