hadoop
Hadoopのロードデータ

hadoop hdfsにデータをロードする

ステップ1：HDFSでディレクトリを作成し、ファイルとリストの内容をアップロードする

構文を書くことで学びましょう。次のコマンド例をコピーして端末に貼り付けることができます：

hadoop fs -mkdir：

パスURIを引数としてとり、1つまたは複数のディレクトリを作成します。

使用法：

    # hadoop fs -mkdir <paths>

例：

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put：

単一のsrcファイルまたは複数のsrcファイルをローカルファイルシステムからHadoop分散ファイルシステムにコピーします。

使用法：

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

例：

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal：

単一のsrcファイルまたは複数のsrcファイルをローカルファイルシステムからHadoop分散ファイルシステムにコピーします。

使用法：

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

例：

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal：

put localercがコピーされた後に削除されることを除けば、putコマンドと同様です。

使用法：

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

例：

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOPデータ転送ツール：

Sqoop（RDBMSからHDFSへのデータ転送用のコマンドラインツール、またはその逆）を使用して、Relationalデータベースから直接HDFSにデータをロードすることもできます。

使用法：

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

例：

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST