hadoop
Hadoop-commando's

Syntaxis

• Hadoop v1-opdrachten: hadoop fs -<command>

• Hadoop v2-opdrachten: hdfs dfs -<command>

Hadoop v1-opdrachten

1. Druk de Hadoop-versie af

hadoop version

2. Geef de inhoud van de hoofdmap op in HDFS

hadoop fs -ls /

3. Rapporteer de hoeveelheid gebruikte ruimte en

beschikbaar op het momenteel aangekoppelde bestandssysteem

hadoop fs -df hdfs:/

4. Tel het aantal mappen, bestanden en bytes eronder

de paden die overeenkomen met het opgegeven bestandspatroon

hadoop fs -count hdfs:/

5. Voer een DFS-bestandssysteemcontroleprogramma uit

hadoop fsck – /

6. Voer een clusterbalansprogramma uit

hadoop balancer

7. Maak een nieuwe map met de naam "hadoop" onder de

/ user / trainingsmap in HDFS. Omdat jij dat bent

momenteel aangemeld met het gebruikers-ID "training",

/ user / training is je thuismap in HDFS.

hadoop fs -mkdir /user/training/hadoop

8. Voeg een voorbeeldtekstbestand uit de lokale map toe

genaamd "data" naar de nieuwe map die u in HDFS hebt gemaakt

tijdens de vorige stap.

hadoop fs -put data/sample.txt /user/training/hadoop

9. Geef de inhoud van deze nieuwe map weer in HDFS.

hadoop fs -ls /user/training/hadoop

10. Voeg de volledige lokale map genaamd “retail” toe aan de

/ user / trainingsmap in HDFS.

hadoop fs -put data/retail /user/training/hadoop

11. Aangezien / user / training uw homedirectory is in HDFS,

elk commando dat geen absoluut pad heeft is

geïnterpreteerd als relatief ten opzichte van die map. De volgende

commando zal daarom uw thuismap weergeven, en

moeten de items weergeven die u daar zojuist hebt toegevoegd.

hadoop fs -ls

12. Bekijk hoeveel ruimte deze map inneemt in HDFS.

hadoop fs -du -s -h hadoop/retail

13. Verwijder een bestand 'klanten' uit de map 'retail'.

hadoop fs -rm hadoop/retail/customers

14. Zorg ervoor dat dit bestand niet langer in HDFS is.

hadoop fs -ls hadoop/retail/customers

15. Verwijder alle bestanden uit de map "retail" met een jokerteken.

hadoop fs -rm hadoop/retail/*

16. Om de prullenbak te legen

hadoop fs -expunge

17. Verwijder ten slotte de hele winkelmap en alle

van de inhoud ervan in HDFS.

hadoop fs -rm -r hadoop/retail

18. Maak een lijst van de Hadoop-directory

hadoop fs -ls hadoop

19. Voeg het aankopen aankopen.txt-bestand uit de lokale map toe

genaamd "/ home / training /" naar de hadoop-directory die u in HDFS hebt gemaakt

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. Om de inhoud van uw tekstbestand aankopen.txt te bekijken

die aanwezig is in uw hadoop-directory.

hadoop fs -cat hadoop/purchases.txt

21. Voeg het aankopen.txt-bestand toe uit de "hadoop" -map die aanwezig is in de HDFS-map

naar de directory 'data' die aanwezig is in uw lokale directory

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp wordt gebruikt om bestanden tussen mappen in HDFS te kopiëren

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. '-get' commando kan alternatief worden gebruikt voor '-copyToLocal' commando

hadoop fs -get hadoop/sample.txt /home/training/

24. Laat de laatste kilobyte van het bestand “aankopen.txt” zien aan stdout.

hadoop fs -tail hadoop/purchases.txt

25. Standaard bestandsrechten zijn 666 in HDFS

Gebruik de opdracht '-chmod' om de machtigingen van een bestand te wijzigen

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. Standaardnamen van eigenaar en groep zijn training, training

Gebruik '-chown' om de naam van de eigenaar en de groep tegelijkertijd te wijzigen

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. Standaardnaam van de groep is training

Gebruik de opdracht '-chgrp' om de groepsnaam te wijzigen

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. Verplaats een map van de ene locatie naar de andere

hadoop fs -mv hadoop apache_hadoop

29. Standaard replicatiefactor voor een bestand is 3.

Gebruik de opdracht '-setrep' om de replicatiefactor van een bestand te wijzigen

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. Kopieer een map van het ene knooppunt in het cluster naar het andere

Gebruik de opdracht '-distcp' om te kopiëren,

- overschrijfoptie om in bestaande bestanden te overschrijven

-update-opdracht om beide mappen te synchroniseren

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. Commando om het naamknooppunt de veilige modus te laten verlaten

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. Lijst van alle shell-commando's van het hadoop-bestandssysteem

hadoop fs

33. Verkrijg hdfs-quotawaarden en het huidige aantal gebruikte namen en bytes.

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. Last but not least, vraag altijd om hulp!

hadoop fs -help

Hadoop v2-opdrachten

appendToFile: voeg één src of meerdere srcs van het lokale bestandssysteem toe aan het doelbestandssysteem. Leest ook invoer van stdin en voegt deze toe aan het doelbestandssysteem. Houd de als -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat: kopieert bronpaden naar stdout.

 hdfs dfs -cat URI [URI …]

chgrp: Wijzigt de groepskoppeling van bestanden. Met -R maakt de wijziging recursief via de mapstructuur. De gebruiker moet de eigenaar van het bestand of de superuser zijn.

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: wijzigt de rechten van bestanden. Met -R maakt de wijziging recursief via de mapstructuur. De gebruiker moet de eigenaar van het bestand of de superuser zijn

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: wijzigt de eigenaar van bestanden. Met -R maakt de wijziging recursief via de mapstructuur. De gebruiker moet de superuser zijn.

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: Werkt op dezelfde manier als de put-opdracht, behalve dat de bron beperkt is tot een lokale bestandsverwijzing.

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: Werkt op dezelfde manier als de opdracht get, behalve dat de bestemming beperkt is tot een lokale bestandsreferentie.

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count: Telt het aantal mappen, bestanden en bytes onder de paden die overeenkomen met het opgegeven bestandspatroon.

 hdfs dfs -count [-q] [-h] <paths>

cp: kopieert een of meer bestanden van een opgegeven bron naar een opgegeven bestemming. Als u meerdere bronnen opgeeft, moet de opgegeven bestemming een map zijn.

 hdfs dfs -cp URI [URI …] <dest>

du: geeft de grootte van het opgegeven bestand weer, of de grootte van bestanden en mappen die zich in de opgegeven map bevinden. Als u de optie -s opgeeft, wordt een geaggregeerd overzicht van bestandsgroottes weergegeven in plaats van individuele bestandsgroottes. Als u de optie -h opgeeft, worden de bestandsgroottes op een "voor mensen leesbare" manier opgemaakt.

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: geeft een samenvatting van de bestandsgroottes weer; gelijk aan hdfs dfs -du –s.

 hdfs dfs -dus <args>

uitwerpen: maakt de prullenbak leeg. Wanneer u een bestand verwijdert, wordt het niet onmiddellijk verwijderd uit HDFS, maar wordt het hernoemd naar een bestand in de map / trash. Zolang het bestand daar blijft, kunt u de verwijdering ongedaan maken als u van gedachten verandert, hoewel alleen de laatste kopie van het verwijderde bestand kan worden hersteld.

 hdfs dfs –expunge

get: kopieert bestanden naar het lokale bestandssysteem. Bestanden die niet voldoen aan een cyclische redundantiecontrole (CRC) kunnen nog steeds worden gekopieerd als u de optie -ignorecrc opgeeft. De CRC is een veel voorkomende techniek voor het detecteren van fouten in de gegevensoverdracht. CRC checksum-bestanden hebben de extensie .crc en worden gebruikt om de gegevensintegriteit van een ander bestand te verifiëren. Deze bestanden worden gekopieerd als u de optie -crc opgeeft.

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: voegt de bestanden in src samen en schrijft het resultaat naar het opgegeven lokale doelbestand. Om een teken voor een nieuwe regel aan het einde van elk bestand toe te voegen, geeft u de optie addnl op.

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: Retourneert statistieken voor de opgegeven bestanden of mappen.

 hdfs dfs -ls <args>

lsr: fungeert als de recursieve versie van ls; vergelijkbaar met het Unix-commando ls -R.

 hdfs dfs -lsr <args>

mkdir: maakt mappen op een of meer opgegeven paden. Het gedrag is vergelijkbaar met de opdracht Unix mkdir -p, die alle mappen maakt die naar de opgegeven map leiden als ze nog niet bestaan.

 hdfs dfs -mkdir <paths>

moveFromLocal: Werkt op dezelfde manier als de put-opdracht, behalve dat de bron wordt verwijderd nadat deze is gekopieerd.

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: Verplaatst een of meer bestanden van een opgegeven bron naar een opgegeven bestemming. Als u meerdere bronnen opgeeft, moet de opgegeven bestemming een map zijn. Bestanden verplaatsen naar bestandssystemen is niet toegestaan.

 hdfs dfs -mv URI [URI …] <dest>

put: kopieert bestanden van het lokale bestandssysteem naar het doelbestandssysteem. Deze opdracht kan ook de invoer van stdin lezen en naar het doelbestandssysteem schrijven.

 hdfs dfs -put <localsrc> ... <dest>

rm: verwijdert een of meer opgegeven bestanden. Met deze opdracht worden geen lege mappen of bestanden verwijderd. Om de prullenbak te omzeilen (indien ingeschakeld) en de opgegeven bestanden onmiddellijk te verwijderen, geeft u de optie -skipTrash op.

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: fungeert als de recursieve versie van –rm.

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: wijzigt de replicatiefactor voor een opgegeven bestand of map. Met -R maakt de wijziging recursief via de mapstructuur.

 hdfs dfs -setrep <rep> [-R] <path>

stat: geeft informatie weer over het opgegeven pad.

 hdfs dfs -stat URI [URI …]

tail: Toont de laatste kilobyte van een gespecificeerd bestand naar stdout. De syntaxis ondersteunt de optie Unix -f, waarmee het opgegeven bestand kan worden gecontroleerd. Wanneer nieuwe regels aan het bestand worden toegevoegd door een ander proces, werkt tail de weergave bij.

 hdfs dfs -tail [-f] URI

test: Retourneert kenmerken van het opgegeven bestand of de opgegeven map. Geeft -e op om te bepalen of het bestand of de map bestaat; -z om te bepalen of het bestand of de map leeg is; en -d om te bepalen of de URI een map is.

 hdfs dfs -test -[ezd] URI

tekst: voert een gespecificeerd bronbestand uit in tekstformaat. Geldige invoerbestandsindelingen zijn zip en TextRecordInputStream.

 hdfs dfs -text <src>

touchz: Creëert een nieuw, leeg bestand van grootte 0 in het opgegeven pad.

 hdfs dfs -touchz <path>