hadoop
Hadoop 명령
수색…
통사론
Hadoop v1 명령 :
hadoop fs -<command>Hadoop v2 명령 :
hdfs dfs -<command>
Hadoop v1 명령어
1. Hadoop 버전 인쇄
hadoop version
2. HDFS에서 루트 디렉토리의 내용 나열
hadoop fs -ls /
3. 사용 된 공간의 양을보고하고
현재 마운트 된 파일 시스템에서 사용 가능
hadoop fs -df hdfs:/
4. 디렉토리, 파일 및 바이트 수를 계산합니다.
지정된 파일 패턴과 일치하는 경로
hadoop fs -count hdfs:/
5. DFS 파일 시스템 검사 유틸리티 실행
hadoop fsck – /
클러스터 균형 조정 유틸리티 실행
hadoop balancer
7. 아래에 "hadoop"이라는 새 디렉토리를 만듭니다.
/ user / training 디렉토리에 복사하십시오. 너부터
현재 "훈련"사용자 ID로 로그인되어 있습니다.
/ user / training은 HDFS의 홈 디렉토리입니다.
hadoop fs -mkdir /user/training/hadoop
8. 로컬 디렉토리에서 샘플 텍스트 파일 추가
HDFS에서 생성 한 새 디렉토리에 "data"라는 이름을 붙입니다.
이전 단계에서
hadoop fs -put data/sample.txt /user/training/hadoop
9. HDFS에이 새 디렉토리의 내용을 나열하십시오.
hadoop fs -ls /user/training/hadoop
10. "retail"이라는 전체 로컬 디렉토리를
/ user / training 디렉토리에 복사하십시오.
hadoop fs -put data/retail /user/training/hadoop
11. / user / training은 HDFS의 홈 디렉토리이기 때문에,
절대 경로가없는 명령은 다음과 같습니다.
해당 디렉토리와 관련된 것으로 해석됩니다. 다음
명령은 홈 디렉토리를 나열합니다.
방금 추가 한 항목이 표시되어야합니다.
hadoop fs -ls
12.이 디렉토리가 HDFS에서 차지하는 공간을 확인하십시오.
hadoop fs -du -s -h hadoop/retail
13. "retail"디렉토리에서 'customers'파일을 삭제하십시오.
hadoop fs -rm hadoop/retail/customers
14.이 파일이 HDFS에 없는지 확인하십시오.
hadoop fs -ls hadoop/retail/customers
15. 와일드 카드를 사용하여 "retail"디렉토리에서 모든 파일을 삭제하십시오.
hadoop fs -rm hadoop/retail/*
16. 휴지통 비우기
hadoop fs -expunge
17. 마지막으로 전체 소매 디렉토리를 모두 제거합니다.
HDFS에서 그 내용을
hadoop fs -rm -r hadoop/retail
18. hadoop 디렉토리를 다시 나열하십시오.
hadoop fs -ls hadoop
19. 로컬 디렉토리에서 purchases.txt 파일을 추가하십시오
HDFS에서 생성 한 hadoop 디렉토리에 "/ home / training /"
hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/
20. 텍스트 파일 purchases.txt의 내용을 보려면
당신의 hadoop 디렉토리에 있습니다.
hadoop fs -cat hadoop/purchases.txt
21. HDFS 디렉토리에있는 "hadoop"디렉토리의 purchases.txt 파일을 추가하십시오
로컬 디렉토리에있는 "data"디렉토리로 이동하십시오.
hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data
22. cp는 HDFS에있는 디렉토리간에 파일을 복사하는 데 사용됩니다.
hadoop fs -cp /user/training/*.txt /user/training/hadoop
23. '-get'명령은 '-copyToLocal'명령에 번갈아 사용할 수 있습니다.
hadoop fs -get hadoop/sample.txt /home/training/
24. "purchases.txt"파일의 마지막 킬로바이트를 stdout에 표시하십시오.
hadoop fs -tail hadoop/purchases.txt
25. 기본 파일 사용 권한은 HDFS에서 666입니다.
'-chmod'명령을 사용하여 파일 사용 권한 변경
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt
26. 소유자와 그룹의 기본 이름은 훈련, 훈련입니다.
소유자 이름과 그룹 이름을 동시에 변경하려면 '-chown'을 사용하십시오.
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt
27. 그룹의 기본 이름은 훈련입니다.
그룹 이름을 변경하려면 '-chgrp'명령을 사용하십시오.
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt
28. 한 위치에서 다른 위치로 디렉토리 이동
hadoop fs -mv hadoop apache_hadoop
29. 파일에 대한 기본 복제 인수는 3입니다.
'-setrep'명령을 사용하여 파일의 복제 요소 변경
hadoop fs -setrep -w 2 apache_hadoop/sample.txt
30. 클러스터의 한 노드에서 다른 노드로 디렉토리 복사
'-distcp'명령을 사용하여 복사,
-overwrite 기존 파일에서 덮어 쓰기 옵션
-update 명령을 사용하여 두 디렉토리를 동기화합니다.
hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop
31. 이름 노드가 안전 모드를 종료하도록하는 명령
hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave
32. 모든 hadoop 파일 시스템 쉘 명령을 나열하십시오.
hadoop fs
33. hdfs 할당량 값과 사용중인 이름 및 바이트의 현재 수를 가져옵니다.
hadoop fs -count -q [-h] [-v] <directory>...<directory>
34. 마지막으로, 항상 도움을 요청하십시오!
hadoop fs -help
Hadoop v2 명령어
appendToFile : 로컬 파일 시스템에서 대상 파일 시스템으로 단일 src 또는 여러 srcs를 추가합니다. 또한 stdin에서 입력을 읽고 대상 파일 시스템에 추가합니다. 그대로 -
hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]
cat : 소스 경로를 stdout으로 복사합니다.
hdfs dfs -cat URI [URI …]
chgrp : 파일의 그룹 연관을 변경합니다. -R을 사용하면 디렉토리 구조를 통해 재귀 적으로 변경됩니다. 사용자는 파일 소유자 또는 수퍼 유저 여야합니다.
hdfs dfs -chgrp [-R] GROUP URI [URI …]
chmod : 파일의 권한을 변경합니다. -R을 사용하면 디렉토리 구조를 통해 재귀 적으로 변경됩니다. 사용자는 파일 소유자이거나 수퍼 유저 여야합니다.
hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
chown : 파일의 소유자를 변경합니다. -R을 사용하면 디렉토리 구조를 통해 재귀 적으로 변경됩니다. 사용자는 수퍼 유저 여야합니다.
hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
copyFromLocal : 소스가 로컬 파일 참조로 제한된다는 점을 제외하고는 put 명령과 유사하게 작동합니다.
hdfs dfs -copyFromLocal <localsrc> URI
copyToLocal : 대상이 로컬 파일 참조로 제한된다는 점을 제외하고는 get 명령과 유사하게 작동합니다.
hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
count : 지정된 파일 패턴과 일치하는 경로 아래의 디렉토리, 파일 및 바이트의 수를 계산합니다.
hdfs dfs -count [-q] [-h] <paths>
cp : 하나 이상의 파일을 지정된 소스에서 지정된 대상으로 복사합니다. 여러 소스를 지정할 경우 지정된 대상은 디렉토리 여야합니다.
hdfs dfs -cp URI [URI …] <dest>
du : 지정된 파일의 크기 또는 지정된 디렉토리에 포함 된 파일 및 디렉토리의 크기를 표시합니다. -s 옵션을 지정하면 개별 파일 크기가 아닌 파일 크기의 요약 요약을 표시합니다. -h 옵션을 지정하면 "사람이 읽을 수있는"방식으로 파일 크기를 형식화합니다.
hdfs dfs -du [-s] [-h] URI [URI …]
dus : 파일 크기 요약을 표시합니다. hdfs dfs -du -s와 같습니다.
hdfs dfs -dus <args>
삭제 : 휴지통을 비 웁니다. 파일을 삭제하면 HDFS에서 즉시 제거되지는 않지만 / trash 디렉토리의 파일로 이름이 바뀝니다. 삭제 된 파일의 최신 복사본 만 복원 할 수 있지만 파일이 남아있는 한 마음이 바뀌면 파일을 삭제 취소 할 수 있습니다.
hdfs dfs –expunge
get : 파일을 로컬 파일 시스템에 복사합니다. -ignorecrc 옵션을 지정하면 순환 중복 검사 (CRC)에 실패한 파일을 복사 할 수 있습니다. CRC는 데이터 전송 오류를 탐지하는 일반적인 기술입니다. CRC 체크섬 파일은 확장자가 .crc이며 다른 파일의 데이터 무결성을 확인하는 데 사용됩니다. 이 파일은 -crc 옵션을 지정하면 복사됩니다.
hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
getmerge : src에있는 파일을 연결하고 결과를 지정된 로컬 대상 파일에 씁니다. 각 파일의 끝에 개행 문자를 추가하려면 addnl 옵션을 지정하십시오.
hdfs dfs -getmerge <src> <localdst> [addnl]
ls : 지정된 파일 또는 디렉토리에 대한 통계를 리턴합니다.
hdfs dfs -ls <args>
lsr : ls의 재귀 버전으로 사용됩니다. 유닉스 명령 ls -R과 비슷합니다.
hdfs dfs -lsr <args>
mkdir : 하나 이상의 지정된 경로에 디렉토리를 작성합니다. 그 동작은 Unix mkdir -p 명령과 유사합니다.이 명령은 이미 존재하지 않는 경우 지정된 디렉토리까지 이어지는 모든 디렉토리를 만듭니다.
hdfs dfs -mkdir <paths>
moveFromLocal : 소스가 복사 된 후에 삭제된다는 점을 제외하고는 put 명령과 유사하게 작동 합니다 .
hdfs dfs -moveFromLocal <localsrc> <dest>
mv : 하나 이상의 파일을 지정된 소스에서 지정된 대상으로 이동합니다. 여러 소스를 지정할 경우 지정된 대상은 디렉토리 여야합니다. 파일 시스템간에 파일을 이동할 수 없습니다.
hdfs dfs -mv URI [URI …] <dest>
put : 로컬 파일 시스템에서 대상 파일 시스템으로 파일을 복사합니다. 이 명령은 stdin에서 입력을 읽고 대상 파일 시스템에 쓸 수도 있습니다.
hdfs dfs -put <localsrc> ... <dest>
rm : 하나 이상의 지정된 파일을 삭제합니다. 이 명령은 빈 디렉토리 나 파일을 삭제하지 않습니다. 휴지통을 사용하지 않으려면 (사용하는 경우) 지정된 파일을 즉시 삭제하려면 -skipTrash 옵션을 지정하십시오.
hdfs dfs -rm [-skipTrash] URI [URI …]
rm r : 재귀 적 버전의 -rm 역할을합니다.
hdfs dfs -rm -r [-skipTrash] URI [URI …]
setrep : 지정된 파일 또는 디렉토리의 복제 인수를 변경합니다. -R을 사용하면 디렉토리 구조를 통해 재귀 적으로 변경됩니다.
hdfs dfs -setrep <rep> [-R] <path>
stat : 지정된 경로에 대한 정보를 표시합니다.
hdfs dfs -stat URI [URI …]
tail : 지정된 파일의 마지막 킬로바이트를 stdout에 표시합니다. 구문은 지정된 파일을 모니터 할 수있게하는 Unix -f 옵션을 지원합니다. 새로운 라인이 다른 프로세스에 의해 파일에 추가되면 tail은 디스플레이를 업데이트합니다.
hdfs dfs -tail [-f] URI
test : 지정된 파일 또는 디렉토리의 속성을 반환합니다. 파일 또는 디렉토리의 존재 여부를 판별하려면 -e를 지정하십시오. -z 파일 또는 디렉토리가 비어 있는지 판별합니다. 및 -d를 사용하여 URI가 디렉토리인지 확인합니다.
hdfs dfs -test -[ezd] URI
text : 지정된 소스 파일을 텍스트 형식으로 출력합니다. 유효한 입력 파일 형식은 zip 및 TextRecordInputStream입니다.
hdfs dfs -text <src>
touchz : 지정된 경로에 크기 0의 비어있는 새 파일을 만듭니다.
hdfs dfs -touchz <path>