hadoop
Hadoop kommandon
Sök…
Syntax
Hadoop v1-kommandon:
hadoop fs -<command>Hadoop v2-kommandon:
hdfs dfs -<command>
Hadoop v1-kommandon
1. Skriv ut Hadoop-versionen
hadoop version
2. Lista innehållet i rotkatalogen i HDFS
hadoop fs -ls /
3. Rapportera mängden utrymme som används och
tillgängligt på för närvarande monterat filsystem
hadoop fs -df hdfs:/
4. Räkna antalet kataloger, filer och byte under
sökvägarna som matchar det angivna filmönstret
hadoop fs -count hdfs:/
5. Kör ett DFS-filsystemskontrollverktyg
hadoop fsck – /
6. Kör ett klusterbalanseringsverktyg
hadoop balancer
7. Skapa en ny katalog med namnet “hadoop” under
/ användare / utbildningskatalog i HDFS. Eftersom du är
för närvarande inloggad med användar-ID för "träning"
/ user / training är din hemmakatalog i HDFS.
hadoop fs -mkdir /user/training/hadoop
8. Lägg till en exempeltextfil från den lokala katalogen
heter "data" till den nya katalogen du skapade i HDFS
under föregående steg.
hadoop fs -put data/sample.txt /user/training/hadoop
9. Lista innehållet i den nya katalogen i HDFS.
hadoop fs -ls /user/training/hadoop
10. Lägg till hela den lokala katalogen som heter "detaljhandel" i
/ användare / utbildningskatalog i HDFS.
hadoop fs -put data/retail /user/training/hadoop
11. Eftersom / användare / utbildning är din hemmakatalog i HDFS,
alla kommandon som inte har en absolut väg är
tolkas som relativt till den katalogen. Nästa
kommandot kommer därför att lista din hemkatalog, och
ska visa de artiklar du just har lagt till där.
hadoop fs -ls
12. Se hur mycket utrymme den här katalogen upptar i HDFS.
hadoop fs -du -s -h hadoop/retail
13. Radera en fil "kunder" från katalogen "detaljhandel".
hadoop fs -rm hadoop/retail/customers
14. Se till att den här filen inte längre finns i HDFS.
hadoop fs -ls hadoop/retail/customers
15. Ta bort alla filer från katalogen "detaljhandel" med hjälp av ett jokertecken.
hadoop fs -rm hadoop/retail/*
16. För att tömma papperskorgen
hadoop fs -expunge
17. Ta slutligen bort hela detaljhandelskatalogen och allt
av dess innehåll i HDFS.
hadoop fs -rm -r hadoop/retail
18. Lista Hadoop-katalogen igen
hadoop fs -ls hadoop
19. Lägg till filen purchase.txt från den lokala katalogen
heter "/ home / training /" till hadoopkatalogen du skapade i HDFS
hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/
20. För att se innehållet i din textfil purchase.txt
som finns i din hadoop-katalog.
hadoop fs -cat hadoop/purchases.txt
21. Lägg till filen purchase.txt från "hadoop" -katalogen som finns i HDFS-katalogen
till katalogen "data" som finns i din lokala katalog
hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data
22. cp används för att kopiera filer mellan kataloger som finns i HDFS
hadoop fs -cp /user/training/*.txt /user/training/hadoop
23. "-get" -kommando kan användas alternativt till "-copyToLocal" -kommandot
hadoop fs -get hadoop/sample.txt /home/training/
24. Visa den sista kilobyten av filen "köp.txt" till stdout.
hadoop fs -tail hadoop/purchases.txt
25. Standardfilbehörigheter är 666 i HDFS
Använd '-chmod' -kommandot för att ändra behörigheter för en fil
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt
26. Standardnamn för ägare och grupp är träning, träning
Använd '-chown' för att ändra ägarnamn och gruppnamn samtidigt
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt
27. Standardnamnet på gruppen är träning
Använd '-chgrp' -kommandot för att ändra gruppnamn
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt
28. Flytta en katalog från en plats till en annan
hadoop fs -mv hadoop apache_hadoop
29. Standardreplikationsfaktor till en fil är 3.
Använd kommandot -setrep för att ändra en replikationsfaktor för en fil
hadoop fs -setrep -w 2 apache_hadoop/sample.txt
30. Kopiera en katalog från en nod i klustret till en annan
Använd "-distcp" -kommandot för att kopiera,
-överskrivningsalternativ för att skriva över i befintliga filer
-uppdatera kommando för att synkronisera båda katalogerna
hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop
31. Kommando för att låta namnnoden lämna säkert läge
hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave
32. Lista alla shell-kommandon för hadoop-filsystem
hadoop fs
33. Få hdfs-kvotvärden och det aktuella antalet namn och byte som används.
hadoop fs -count -q [-h] [-v] <directory>...<directory>
34. Sist men inte minst, be alltid om hjälp!
hadoop fs -help
Hadoop v2-kommandon
appendToFile: Lägg till en enda src eller flera srcs från lokalt filsystem till destinationsfilsystemet. Läser också inmatning från stdin och lägger till destinationsfilsystemet. Behåll den som -
hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]
cat: Kopierar källvägar till stdout.
hdfs dfs -cat URI [URI …]
chgrp: Ändrar gruppföreningen för filer. Med -R gör ändringen rekursivt med katalogstrukturen. Användaren måste vara filägaren eller superanvändaren.
hdfs dfs -chgrp [-R] GROUP URI [URI …]
chmod: Ändrar behörigheterna för filer. Med -R gör ändringen rekursivt med katalogstrukturen. Användaren måste vara filägaren eller superanvändaren
hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
chown: Ändrar ägaren till filer. Med -R gör ändringen rekursivt med katalogstrukturen. Användaren måste vara superanvändaren.
hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
copyFromLocal: Fungerar på samma sätt som kommandot put, förutom att källan är begränsad till en lokal filreferens.
hdfs dfs -copyFromLocal <localsrc> URI
copyToLocal: Fungerar på samma sätt som kommandot get, förutom att destinationen är begränsad till en lokal filreferens.
hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
räkna: Räknar antalet kataloger, filer och byte under banorna som matchar det angivna filmönstret.
hdfs dfs -count [-q] [-h] <paths>
cp: Kopierar en eller flera filer från en specifik källa till en specifik destination. Om du anger flera källor måste den angivna destinationen vara en katalog.
hdfs dfs -cp URI [URI …] <dest>
du: Visar storleken på den angivna filen eller storleken på filer och kataloger som finns i den angivna katalogen. Om du anger alternativet -s, visar en sammanfattning av filstorlekar snarare än enskilda filstorlekar. Om du anger alternativet -h, formaterar du filstorlekarna på ett "läsbart" sätt.
hdfs dfs -du [-s] [-h] URI [URI …]
dus: Visar en sammanfattning av filstorlekar; motsvarar hdfs dfs -du –s.
hdfs dfs -dus <args>
expunge: tömmer papperskorgen. När du tar bort en fil tas den inte direkt bort från HDFS, utan byter namn till en fil i katalogen / trash. Så länge filen förblir där kan du ta bort den om du ändrar dig, men bara den senaste kopian av den raderade filen kan återställas.
hdfs dfs –expunge
get: Kopierar filer till det lokala filsystemet. Filer som misslyckas med en cyklisk redundanskontroll (CRC) kan fortfarande kopieras om du anger alternativet -ignorecrc. CRC är en vanlig teknik för att upptäcka dataöverföringsfel. CRC-kontrollsumma-filer har filtillägget .crc och används för att verifiera dataintegriteten för en annan fil. Dessa filer kopieras om du anger alternativet -crc.
hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
getmerge: Sammanfogar filerna i src och skriver resultatet till den angivna lokala destinationsfilen. Om du vill lägga till ett nylinjetecken i slutet av varje fil anger du alternativet addnl.
hdfs dfs -getmerge <src> <localdst> [addnl]
ls: Returnerar statistik för de angivna filerna eller katalogerna.
hdfs dfs -ls <args>
lsr: Fungerar som den rekursiva versionen av ls; liknar Unix-kommandot ls -R.
hdfs dfs -lsr <args>
mkdir: Skapar kataloger på en eller flera angivna sökvägar. Dess beteende liknar Unix mkdir -p-kommandot, som skapar alla kataloger som leder upp till den angivna katalogen om de inte redan finns.
hdfs dfs -mkdir <paths>
moveFromLocal: Fungerar på samma sätt som kommandot put, förutom att källan raderas efter att den har kopierats.
hdfs dfs -moveFromLocal <localsrc> <dest>
mv: Flyttar en eller flera filer från en specificerad källa till en specifik destination. Om du anger flera källor måste den angivna destinationen vara en katalog. Att flytta filer över filsystem är inte tillåtet.
hdfs dfs -mv URI [URI …] <dest>
put: Kopierar filer från det lokala filsystemet till destinationsfilsystemet. Detta kommando kan också läsa inmatning från stdin och skriva till destinationsfilsystemet.
hdfs dfs -put <localsrc> ... <dest>
rm: Tar bort en eller flera specificerade filer. Detta kommando raderar inte tomma kataloger eller filer. Om du vill gå förbi papperskorgen (om det är aktiverat) och radera de angivna filerna omedelbart anger du alternativet -skipTrash.
hdfs dfs -rm [-skipTrash] URI [URI …]
rm r: Fungerar som den rekursiva versionen av –rm.
hdfs dfs -rm -r [-skipTrash] URI [URI …]
setrep: Ändrar replikeringsfaktorn för en specifik fil eller katalog. Med -R gör ändringen rekursivt med katalogstrukturen.
hdfs dfs -setrep <rep> [-R] <path>
stat: Visar information om den angivna sökvägen.
hdfs dfs -stat URI [URI …]
tail: Visar den sista kilobyten för en specificerad fil till stdout. Syntaxen stöder alternativet Unix -f, som gör det möjligt att övervaka den angivna filen. När nya rader läggs till filen genom en annan process, uppdaterar svansen skärmen.
hdfs dfs -tail [-f] URI
test: Returnerar attribut för den angivna filen eller katalogen. Anger -e för att avgöra om filen eller katalogen finns; -z för att avgöra om filen eller katalogen är tom; och -d för att avgöra om URI är en katalog.
hdfs dfs -test -[ezd] URI
text: matar ut en angiven källfil i textformat. Giltiga inmatningsfilformat är zip och TextRecordInputStream.
hdfs dfs -text <src>
touchz: Skapar en ny, tom fil med storlek 0 i den angivna sökvägen.
hdfs dfs -touchz <path>