hadoop
Hadoopコマンド

構文

• Hadoop v1コマンド： hadoop fs -<command>

• Hadoop v2コマンド： hdfs dfs -<command>

Hadoop v1コマンド

1. Hadoop版を印刷する

hadoop version

2. HDFSのルートディレクトリの内容を一覧表示する

hadoop fs -ls /

3.使用されたスペースの量を報告し、

現在マウントされているファイルシステムで利用可能

hadoop fs -df hdfs:/

4.ディレクトリ、ファイル、およびバイト数を数えます。

指定されたファイルパターンに一致するパス

hadoop fs -count hdfs:/

5. DFSファイルシステム検査ユーティリティを実行する

hadoop fsck – /

6.クラスタバランシングユーティリティを実行します。

hadoop balancer

7.下に "hadoop"という名前の新しいディレクトリを作成します。

/ user / trainingディレクトリに移動します。あなたは

現在「トレーニング」ユーザーIDでログインしていますが、

/ user / trainingはHDFSのホームディレクトリです。

hadoop fs -mkdir /user/training/hadoop

8.ローカルディレクトリからサンプルテキストファイルを追加します。

HDFSで作成した新しいディレクトリに "data"という名前を付けます

前のステップでは

hadoop fs -put data/sample.txt /user/training/hadoop

9.この新しいディレクトリの内容をHDFSに一覧表示します。

hadoop fs -ls /user/training/hadoop

10. "retail"というローカルディレクトリ全体を

/ user / trainingディレクトリに移動します。

hadoop fs -put data/retail /user/training/hadoop

11. / user / trainingはHDFSのホームディレクトリであるため、

絶対パスを持たないコマンドはすべて

そのディレクトリに相対的なものとして解釈されます。次の

コマンドはあなたのホームディレクトリを一覧表示します

ちょうどそこに追加したアイテムが表示されます。

hadoop fs -ls

12.このディレクトリがHDFSでどのくらいのスペースを占めるかを確認します。

hadoop fs -du -s -h hadoop/retail

13.「retail」ディレクトリからファイル「customers」を削除します。

hadoop fs -rm hadoop/retail/customers

14.このファイルがHDFSに存在しないことを確認します。

hadoop fs -ls hadoop/retail/customers

15.ワイルドカードを使用して、 "retail"ディレクトリからすべてのファイルを削除します。

hadoop fs -rm hadoop/retail/*

16.ゴミ箱を空にするには

hadoop fs -expunge

17.最後に、小売ディレクトリ全体をすべて削除します。

そのコンテンツのHDFSでの。

hadoop fs -rm -r hadoop/retail

18. hadoopディレクトリを再度一覧表示する

hadoop fs -ls hadoop

19.ローカルディレクトリからpurchases.txtファイルを追加します。

HDFSで作成したhadoopディレクトリに "/ home / training /"という名前を付けました

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20.テキストファイルpurchases.txtの内容を表示するには

これはあなたのhadoopディレクトリにあります。

hadoop fs -cat hadoop/purchases.txt

21. HDFSディレクトリにある "hadoop"ディレクトリのpurchases.txtファイルを追加します。

あなたのローカルディレクトリに存在するディレクトリ "data"

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cpは、HDFSに存在するディレクトリ間でファイルをコピーするために使用されます。

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. '-get'コマンドを '-copyToLocal'コマンドと交互に使用することができます。

hadoop fs -get hadoop/sample.txt /home/training/

24.ファイル "purchases.txt"の最後のキロバイトをstdoutに表示します。

hadoop fs -tail hadoop/purchases.txt

25.デフォルトのファイルパーミッションはHDFSでは666です

ファイルのパーミッションを変更するには、 '-chmod'コマンドを使用します。

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26.所有者とグループのデフォルト名は、トレーニング、トレーニング

所有者名とグループ名を同時に変更するには '-chown'を使用します

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27.グループのデフォルト名はトレーニングです

グループ名を変更するには '-chgrp'コマンドを使用します

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28.ディレクトリをある場所から別の場所に移動する

hadoop fs -mv hadoop apache_hadoop

29.ファイルへのデフォルトの複製係数は3です。

ファイルの複製係数を変更するには、 '-setrep'コマンドを使用します

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30.クラスタ内のあるノードから別のノードにディレクトリをコピーする

'-distcp'コマンドを使用して、

既存のファイルを上書きする-overwriteオプション

両方のディレクトリを同期する-updateコマンド

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31.名前ノードをセーフモードから離れるようにするコマンド

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32.すべてのhadoopファイルシステムシェルコマンドを一覧表示する

hadoop fs

33. hdfsのクォータ値と、現在使用されている名前とバイトの数を取得します。

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34.最後に、いつも助けを求めています！

hadoop fs -help

Hadoop v2コマンド

appendToFile：単一のsrcまたは複数のsrcsをローカルファイルシステムから宛先ファイルシステムに追加します。また、stdinからの入力を読み取り、宛先ファイルシステムに追加します。キープとして-

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat：ソースパスをstdoutにコピーします。

 hdfs dfs -cat URI [URI …]

chgrp：ファイルのグループ関連を変更します。 -Rを指定すると、ディレクトリ構造を使用して再帰的に変更が行われます。ユーザーはファイル所有者またはスーパーユーザーでなければなりません。

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod：ファイルのパーミッションを変更します。 -Rを指定すると、ディレクトリ構造を使用して再帰的に変更が行われます。ユーザーはファイル所有者またはスーパーユーザーでなければなりません

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown：ファイルの所有者を変更します。 -Rを指定すると、ディレクトリ構造を使用して再帰的に変更が行われます。ユーザーはスーパーユーザーでなければなりません。

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal：ソースがローカルファイル参照に制限されていることを除いて、putコマンドと同様に機能します。

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal：宛先がローカルファイル参照に制限されていることを除いて、getコマンドと同様に機能します。

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count：指定されたファイルパターンに一致するパスの下のディレクトリ、ファイル、およびバイトの数をカウントします。

 hdfs dfs -count [-q] [-h] <paths>

cp：指定されたソースから指定された宛先に1つまたは複数のファイルをコピーします。複数のソースを指定する場合、指定された宛先はディレクトリでなければなりません。

 hdfs dfs -cp URI [URI …] <dest>

du：指定されたファイルのサイズ、または指定されたディレクトリに含まれるファイルとディレクトリのサイズを表示します。 -sオプションを指定すると、個々のファイルサイズではなく、ファイルサイズの集計サマリーが表示されます。 -hオプションを指定すると、ファイルサイズを人間が判読可能な形式でフォーマットします。

 hdfs dfs -du [-s] [-h] URI [URI …]

dus：ファイルサイズの概要を表示します。 hdfs dfs -du -sに相当します。

 hdfs dfs -dus <args>

expunge ：ゴミ箱を空にします。ファイルを削除すると、HDFSからすぐには削除されませんが、/ trashディレクトリ内のファイルに名前が変更されます。削除されたファイルの最新のコピーだけを復元することはできますが、ファイルがそこに残っている限り、あなたが気が変わったら元に戻すことができます。

 hdfs dfs –expunge

get：ファイルをローカルファイルシステムにコピーします。 -ignorecrcオプションを指定すると、巡回冗長検査（CRC）に失敗したファイルをコピーすることができます。 CRCは、データ伝送エラーを検出するための一般的な手法です。 CRCチェックサムファイルは拡張子が.crcで、別のファイルのデータの整合性を検証するために使用されます。これらのファイルは、-crcオプションを指定するとコピーされます。

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge： src内のファイルを連結し、結果を指定されたローカル宛先ファイルに書き込みます。各ファイルの末尾に改行文字を追加するには、addnlオプションを指定します。

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls：指定されたファイルまたはディレクトリの統計情報を返します。

 hdfs dfs -ls <args>

lsr： lsの再帰的バージョンとして機能します。 Unixのコマンドls -Rと同様です。

 hdfs dfs -lsr <args>

mkdir：指定された1つまたは複数のパスにディレクトリを作成します。その動作は、Unixのmkdir -pコマンドと似ています。これは、指定されたディレクトリが存在しない場合は、すべてのディレクトリを作成します。

 hdfs dfs -mkdir <paths>

moveFromLocal：コピー後にソースが削除されることを除いて、putコマンドと同様に機能します。

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv： 1つ以上のファイルを指定されたソースから指定された宛先に移動します。複数のソースを指定する場合、指定された宛先はディレクトリでなければなりません。ファイルシステム間でファイルを移動することはできません。

 hdfs dfs -mv URI [URI …] <dest>

put：ファイルをローカルファイルシステムからコピー先のファイルシステムにコピーします。このコマンドは、stdinからの入力を読み取り、宛先ファイルシステムに書き込むこともできます。

 hdfs dfs -put <localsrc> ... <dest>

rm： 1つまたは複数の指定ファイルを削除します。このコマンドは空のディレクトリやファイルを削除しません。ごみ箱をバイパスする（有効になっている場合）、指定したファイルを直ちに削除するには、-skipTrashオプションを指定します。

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r： -rmの再帰バージョンとして機能します。

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep：指定したファイルまたはディレクトリのレプリケーションファクタを変更します。 -Rを指定すると、ディレクトリ構造を使用して再帰的に変更が行われます。

 hdfs dfs -setrep <rep> [-R] <path>

stat：指定されたパスに関する情報を表示します。

 hdfs dfs -stat URI [URI …]

tail：指定されたファイルの最後のキロバイトをstdoutに表示します。構文はUnix -fオプションをサポートしており、指定されたファイルを監視できます。新しい行が別のプロセスによってファイルに追加されると、tailが表示を更新します。

 hdfs dfs -tail [-f] URI

test：指定されたファイルまたはディレクトリの属性を返します。ファイルまたはディレクトリが存在するかどうかを判断するには-eを指定します。 -zファイルまたはディレクトリが空であるかどうかを判断します。 URIがディレクトリかどうかを判断するには-dを使用します。

 hdfs dfs -test -[ezd] URI

text：指定されたソースファイルをテキスト形式で出力します。有効な入力ファイル形式は、zipおよびTextRecordInputStreamです。

 hdfs dfs -text <src>

touchz：指定されたパスにサイズ0の新しい空のファイルを作成します。

 hdfs dfs -touchz <path>