hadoop
Данные загрузки Hadoop

Загрузка данных в hoods hadoop

ШАГ 1: СОЗДАТЬ СПРАВОЧНИК В HDFS, ЗАГРУЗИТЬ ФАЙЛ И СПИСОК СОДЕРЖАНИЕ

Давайте узнаем, написав синтаксис. Вы сможете скопировать и вставить следующие примеры команд в ваш терминал:

hadoop fs -mkdir:

Принимает URI пути в качестве аргумента и создает каталог или несколько каталогов.

Использование:

    # hadoop fs -mkdir <paths>

Пример:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Копирует один файл src или несколько файлов src из локальной файловой системы в распределенную файловую систему Hadoop.

Использование:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Пример:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Копирует один файл src или несколько файлов src из локальной файловой системы в распределенную файловую систему Hadoop.

Использование:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Пример:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Аналогично команде put, за исключением того, что исходный localsrc удаляется после его копирования.

Использование:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Пример:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOP DATA TRANSFER TOOL:

Мы также можем загружать данные в HDFS непосредственно из реляционных баз данных, используя Sqoop (инструмент командной строки для передачи данных из РСУБД в HDFS и наоборот).

Использование:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Пример:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST