hadoop
Polecenia Hadoop
Szukaj…
Składnia
Polecenia Hadoop v1:
hadoop fs -<command>Polecenia Hadoop v2:
hdfs dfs -<command>
Polecenia Hadoop v1
1. Wydrukuj wersję Hadoop
hadoop version
2. Wyświetl zawartość katalogu głównego w HDFS
hadoop fs -ls /
3. Podaj ilość wykorzystanego miejsca i
dostępne w aktualnie zamontowanym systemie plików
hadoop fs -df hdfs:/
4. Policz liczbę katalogów, plików i bajtów poniżej
ścieżki, które pasują do określonego wzorca pliku
hadoop fs -count hdfs:/
5. Uruchom narzędzie sprawdzające system plików DFS
hadoop fsck – /
6. Uruchom narzędzie do równoważenia klastra
hadoop balancer
7. Utwórz nowy katalog o nazwie „hadoop” poniżej
/ user / training directory in HDFS. Skoro jesteś
aktualnie zalogowany przy użyciu identyfikatora użytkownika „szkoleniowego”,
/ user / training to katalog domowy w HDFS.
hadoop fs -mkdir /user/training/hadoop
8. Dodaj przykładowy plik tekstowy z katalogu lokalnego
o nazwie „dane” do nowego katalogu utworzonego w HDFS
podczas poprzedniego kroku.
hadoop fs -put data/sample.txt /user/training/hadoop
9. Wyświetl zawartość tego nowego katalogu w HDFS.
hadoop fs -ls /user/training/hadoop
10. Dodaj cały lokalny katalog o nazwie „sprzedaż detaliczna” do
/ user / training directory in HDFS.
hadoop fs -put data/retail /user/training/hadoop
11. Ponieważ / user / training jest twoim katalogiem domowym w HDFS,
każde polecenie, które nie ma ścieżki bezwzględnej, to
interpretowane jako względne w stosunku do tego katalogu. Następny
polecenie wyświetli zatem katalog domowy, a
powinien pokazać elementy, które właśnie tam dodałeś.
hadoop fs -ls
12. Zobacz, ile miejsca zajmuje ten katalog w HDFS.
hadoop fs -du -s -h hadoop/retail
13. Usuń plik „klienci” z katalogu „sprzedaż detaliczna”.
hadoop fs -rm hadoop/retail/customers
14. Upewnij się, że ten plik nie jest już w HDFS.
hadoop fs -ls hadoop/retail/customers
15. Usuń wszystkie pliki z katalogu „retail”, używając symbolu wieloznacznego.
hadoop fs -rm hadoop/retail/*
16. Aby opróżnić kosz
hadoop fs -expunge
17. Na koniec usuń cały katalog detaliczny i wszystkie
jego zawartości w HDFS.
hadoop fs -rm -r hadoop/retail
18. Ponownie wypisz katalog hadoop
hadoop fs -ls hadoop
19. Dodaj plik zakupowy.txt z katalogu lokalnego
o nazwie „/ home / training /” do katalogu hadoop utworzonego w HDFS
hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/
20. Aby wyświetlić zawartość pliku tekstowego shopping.txt
który jest obecny w twoim katalogu hadoop.
hadoop fs -cat hadoop/purchases.txt
21. Dodaj plik zakupowy.txt z katalogu „hadoop”, który znajduje się w katalogu HDFS
do katalogu „dane”, który znajduje się w katalogu lokalnym
hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data
22. cp służy do kopiowania plików między katalogami obecnymi w HDFS
hadoop fs -cp /user/training/*.txt /user/training/hadoop
23. Komendy „-get” można używać alternatywnie do komendy „-copyToLocal”
hadoop fs -get hadoop/sample.txt /home/training/
24. Wyświetl ostatni kilobajt pliku „shopping.txt” na standardowe wyjście.
hadoop fs -tail hadoop/purchases.txt
25. Domyślne uprawnienia do plików to 666 w HDFS
Użyj komendy „-chmod”, aby zmienić uprawnienia do pliku
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt
26. Domyślne nazwy właściciela i grupy to szkolenie, szkolenie
Użyj „-chown”, aby jednocześnie zmienić nazwę właściciela i nazwę grupy
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt
27. Domyślną nazwą grupy jest szkolenie
Użyj polecenia -chgrp, aby zmienić nazwę grupy
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt
28. Przenieś katalog z jednej lokalizacji do drugiej
hadoop fs -mv hadoop apache_hadoop
29. Domyślny współczynnik replikacji do pliku to 3.
Użyj polecenia -setrep, aby zmienić współczynnik replikacji pliku
hadoop fs -setrep -w 2 apache_hadoop/sample.txt
30. Skopiuj katalog z jednego węzła w klastrze do drugiego
Użyj polecenia „-distcp”, aby skopiować,
-overwrite opcja zastępowania w istniejących plikach
Komenda -update do synchronizacji obu katalogów
hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop
31. Polecenie, aby węzeł nazwy opuścił tryb awaryjny
hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave
32. Lista wszystkich poleceń powłoki systemu plików hadoop
hadoop fs
33. Uzyskaj wartości przydziału hdfs oraz bieżącą liczbę używanych nazw i bajtów.
hadoop fs -count -q [-h] [-v] <directory>...<directory>
34. Na koniec zawsze proś o pomoc!
hadoop fs -help
Polecenia Hadoop v2
appendToFile: dołącz pojedynczy src lub wiele srcs z lokalnego systemu plików do docelowego systemu plików. Odczytuje również dane wejściowe ze standardowego wejścia i dołącza do docelowego systemu plików. Zachowaj jako -
hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]
cat: Kopiuje ścieżki źródłowe na standardowe wyjście.
hdfs dfs -cat URI [URI …]
chgrp: Zmienia powiązanie grupowe plików. Przy pomocy -R dokonuje rekurencyjnej zmiany poprzez strukturę katalogów. Użytkownik musi być właścicielem pliku lub superużytkownikiem.
hdfs dfs -chgrp [-R] GROUP URI [URI …]
chmod: Zmienia uprawnienia do plików. Przy pomocy -R dokonuje rekurencyjnej zmiany poprzez strukturę katalogów. Użytkownik musi być właścicielem pliku lub superużytkownikiem
hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
chown: zmienia właściciela plików. Przy pomocy -R dokonuje rekurencyjnej zmiany poprzez strukturę katalogów. Użytkownik musi być superużytkownikiem.
hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
copyFromLocal: Działa podobnie do polecenia put, z tym że źródło jest ograniczone do lokalnego odwołania do pliku.
hdfs dfs -copyFromLocal <localsrc> URI
copyToLocal: Działa podobnie do polecenia get, z tym że miejsce docelowe jest ograniczone do lokalnego odwołania do pliku.
hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
count: Zlicza liczbę katalogów, plików i bajtów pod ścieżkami, które pasują do określonego wzorca pliku.
hdfs dfs -count [-q] [-h] <paths>
cp: Kopiuje jeden lub więcej plików z określonego źródła do określonego miejsca docelowego. Jeśli podasz wiele źródeł, miejscem docelowym musi być katalog.
hdfs dfs -cp URI [URI …] <dest>
du: Wyświetla rozmiar określonego pliku lub rozmiary plików i katalogów zawartych w określonym katalogu. Jeśli podasz opcję -s, wyświetli się zbiorcze podsumowanie rozmiarów plików zamiast poszczególnych rozmiarów plików. Jeśli podasz opcję -h, formatuje rozmiary plików w sposób „czytelny dla człowieka”.
hdfs dfs -du [-s] [-h] URI [URI …]
dus: wyświetla podsumowanie rozmiarów plików; odpowiednik hdfs dfs -du –s.
hdfs dfs -dus <args>
expunge: Opróżnia kosz. Po usunięciu pliku nie jest on natychmiast usuwany z HDFS, ale zostaje przemianowany na plik w katalogu / trash. Tak długo, jak plik pozostaje, możesz go cofnąć, jeśli zmienisz zdanie, ale tylko najnowszą kopię usuniętego pliku można przywrócić.
hdfs dfs –expunge
get: kopiuje pliki do lokalnego systemu plików. Pliki, które nie przejdą cyklicznego sprawdzania nadmiarowości (CRC), mogą być nadal kopiowane, jeśli podasz opcję -ignorecrc. CRC jest popularną techniką wykrywania błędów transmisji danych. Pliki sum kontrolnych CRC mają rozszerzenie .crc i służą do weryfikacji integralności danych innego pliku. Pliki te są kopiowane, jeśli podasz opcję -crc.
hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
getmerge: Łączy pliki w src i zapisuje wynik w określonym lokalnym pliku docelowym. Aby dodać znak nowej linii na końcu każdego pliku, określ opcję addnl.
hdfs dfs -getmerge <src> <localdst> [addnl]
ls: zwraca statystyki dla określonych plików lub katalogów.
hdfs dfs -ls <args>
lsr: Służy jako rekurencyjna wersja ls; podobne do komendy Unix ls -R.
hdfs dfs -lsr <args>
mkdir: Tworzy katalogi na co najmniej jednej określonej ścieżce. Jego zachowanie jest podobne do uniksowej komendy mkdir -p, która tworzy wszystkie katalogi prowadzące do określonego katalogu, jeśli jeszcze nie istnieją.
hdfs dfs -mkdir <paths>
moveFromLocal: Działa podobnie do polecenia put, z tym wyjątkiem, że źródło jest usuwane po skopiowaniu.
hdfs dfs -moveFromLocal <localsrc> <dest>
mv: Przenosi jeden lub więcej plików z określonego źródła do określonego miejsca docelowego. Jeśli podasz wiele źródeł, miejscem docelowym musi być katalog. Przenoszenie plików między systemami plików jest niedozwolone.
hdfs dfs -mv URI [URI …] <dest>
put: Kopiuje pliki z lokalnego systemu plików do docelowego systemu plików. To polecenie może również odczytać dane wejściowe ze standardowego wejścia i zapisać w docelowym systemie plików.
hdfs dfs -put <localsrc> ... <dest>
rm: usuwa jeden lub więcej określonych plików. To polecenie nie usuwa pustych katalogów ani plików. Aby ominąć kosz (jeśli jest włączony) i natychmiast usunąć określone pliki, określ opcję -skipTrash.
hdfs dfs -rm [-skipTrash] URI [URI …]
rm r: Służy jako rekurencyjna wersja –rm.
hdfs dfs -rm -r [-skipTrash] URI [URI …]
setrep: Zmienia współczynnik replikacji dla określonego pliku lub katalogu. Przy pomocy -R dokonuje rekurencyjnej zmiany poprzez strukturę katalogów.
hdfs dfs -setrep <rep> [-R] <path>
stat: Wyświetla informacje o określonej ścieżce.
hdfs dfs -stat URI [URI …]
tail: Wyświetla ostatni kilobajt określonego pliku na standardowe wyjście. Składnia obsługuje opcję Unix -f, która umożliwia monitorowanie określonego pliku. Gdy nowe wiersze są dodawane do pliku w innym procesie, tail aktualizuje wyświetlanie.
hdfs dfs -tail [-f] URI
test: zwraca atrybuty określonego pliku lub katalogu. Określa -e, aby ustalić, czy plik lub katalog istnieje; -z, aby ustalić, czy plik lub katalog jest pusty; i -d, aby ustalić, czy identyfikator URI jest katalogiem.
hdfs dfs -test -[ezd] URI
tekst: Wysyła określony plik źródłowy w formacie tekstowym. Prawidłowe formaty plików wejściowych to zip i TextRecordInputStream.
hdfs dfs -text <src>
touchz: Tworzy nowy, pusty plik o rozmiarze 0 w określonej ścieżce.
hdfs dfs -touchz <path>