hadoop
Ładowanie danych Hadoop

Załaduj dane do hadoop HDF

KROK 1: STWÓRZ KATALOG W HDFS, PRZEŚLIJ PLIK I ZAWARTOŚĆ LISTY

Nauczmy się, pisząc składnię. Będziesz mógł skopiować i wkleić następujące przykładowe polecenia do swojego terminala:

hadoop fs -mkdir:

Traktuje identyfikator URI ścieżki jako argument i tworzy katalog lub wiele katalogów.

Stosowanie:

    # hadoop fs -mkdir <paths>

Przykład:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put:

Kopiuje pojedynczy plik src lub wiele plików src z lokalnego systemu plików do rozproszonego systemu plików Hadoop.

Stosowanie:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

Przykład:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal:

Kopiuje pojedynczy plik src lub wiele plików src z lokalnego systemu plików do rozproszonego systemu plików Hadoop.

Stosowanie:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

Przykład:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal:

Podobne do polecenia put, z tym że źródłowy localsrc jest usuwany po skopiowaniu.

Stosowanie:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

Przykład:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

NARZĘDZIE TRANSFERU DANYCH SQOOP:

Możemy również ładować dane do HDFS bezpośrednio z relacyjnych baz danych za pomocą Sqoop (narzędzie wiersza poleceń do przesyłania danych z RDBMS do HDFS i odwrotnie).

Stosowanie:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

Przykład:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST