hadoop
Команды Hadoop

Синтаксис

• Команды Hadoop v1: hadoop fs -<command>

• Команды Hadoop v2: hdfs dfs -<command>

Команды Hadoop v1

1. Распечатайте версию Hadoop

hadoop version

2. Перечислите содержимое корневого каталога в HDFS

hadoop fs -ls /

3. Сообщите объем используемого пространства и

доступный в текущей файловой системе

hadoop fs -df hdfs:/

4. Подсчитайте количество каталогов, файлов и байтов в

пути, соответствующие указанному шаблону файла

hadoop fs -count hdfs:/

5. Запустите утилиту проверки файловой системы DFS.

hadoop fsck – /

6. Запустите утилиту балансировки кластера

hadoop balancer

7. Создайте новый каталог с именем «hadoop» ниже

/ user / training в HDFS. Поскольку вы

в настоящее время вошел в систему с идентификатором пользователя обучения,

/ user / training - ваш домашний каталог в HDFS.

hadoop fs -mkdir /user/training/hadoop

8. Добавьте образец текстового файла из локального каталога

назвали «данные» в новый каталог, созданный в HDFS

во время предыдущего шага.

hadoop fs -put data/sample.txt /user/training/hadoop

9. Перечислите содержимое этого нового каталога в HDFS.

hadoop fs -ls /user/training/hadoop

10. Добавьте весь локальный каталог под названием «розничная торговля» в

/ user / training в HDFS.

hadoop fs -put data/retail /user/training/hadoop

11. Поскольку / user / training - ваш домашний каталог в HDFS,

любая команда, которая не имеет абсолютного пути,

интерпретируется как относительно этого каталога. Следующий

поэтому команда перечислит ваш домашний каталог и

должен показать предметы, которые вы только что добавили.

hadoop fs -ls

12. Посмотрите, сколько места занимает этот каталог в HDFS.

hadoop fs -du -s -h hadoop/retail

13. Удалите файл «клиентов» из каталога «retail».

hadoop fs -rm hadoop/retail/customers

14. Убедитесь, что этот файл больше не находится в HDFS.

hadoop fs -ls hadoop/retail/customers

15. Удалите все файлы из каталога «retail» с помощью шаблона.

hadoop fs -rm hadoop/retail/*

16. Чтобы очистить корзину

hadoop fs -expunge

17. Наконец, удалите весь розничный каталог и все

его содержимого в HDFS.

hadoop fs -rm -r hadoop/retail

18. Перечислите каталог hadoop еще раз.

hadoop fs -ls hadoop

19. Добавьте файл purchase.txt из локального каталога

названный «/ home / training /» в каталог hadoop, который вы создали в HDFS

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. Чтобы просмотреть содержимое вашего текстового файла purchase.txt

который присутствует в вашем каталоге hadoop.

hadoop fs -cat hadoop/purchases.txt

21. Добавьте файл purchase.txt из каталога «hadoop», который присутствует в каталоге HDFS

к каталогу «данные», который присутствует в вашем локальном каталоге

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp используется для копирования файлов между каталогами, присутствующими в HDFS

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. Команда «-get» может использоваться альтернативно для команды «-copyToLocal»

hadoop fs -get hadoop/sample.txt /home/training/

24. Отобразите последний килобайт файла «purchase.txt» в stdout.

hadoop fs -tail hadoop/purchases.txt

25. Разрешения файла по умолчанию - 666 в HDFS

Используйте команду -chmod для изменения разрешений файла

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. По умолчанию имена владельца и группы - это обучение, обучение

Используйте «-chown» для одновременного изменения имени владельца и имени группы.

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. Имя по умолчанию группы - это обучение

Используйте команду -chgrp для изменения имени группы

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. Переместите каталог из одного места в другое

hadoop fs -mv hadoop apache_hadoop

29. Фактор репликации по умолчанию для файла равен 3.

Используйте команду -setrep для изменения коэффициента репликации файла

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. Скопируйте каталог с одного узла в кластере на другой.

Используйте команду «-distcp» для копирования,

-overwrite для перезаписывания в существующих файлах

-update для синхронизации обоих каталогов

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. Команда, чтобы узел имени покинул безопасный режим

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. Перечислите все команды оболочки файловой системы hasoop

hadoop fs

33. Получите значения квот hdfs и текущий счет используемых имен и байтов.

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. И последнее, но не менее важное: всегда просите о помощи!

hadoop fs -help

Команды Hadoop v2

appendToFile: добавить одиночный src или несколько srcs из локальной файловой системы в целевую файловую систему. Также читает ввод от stdin и добавляет в целевую файловую систему. Храните как -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat: копирует исходные пути в stdout.

 hdfs dfs -cat URI [URI …]

chgrp: Изменяет групповую ассоциацию файлов. С -R рекурсивно изменяет структуру каталогов. Пользователь должен быть владельцем файла или суперпользователем.

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: Изменяет разрешения файлов. С -R рекурсивно изменяет структуру каталогов. Пользователь должен быть владельцем файла или суперпользователем

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: Изменяет владельца файлов. С -R рекурсивно изменяет структуру каталогов. Пользователь должен быть суперпользователем.

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: работает аналогично команде put, за исключением того, что источник ограничен локальной ссылкой на файл.

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: работает аналогично команде get, за исключением того, что место назначения ограничено локальной ссылкой на файл.

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count: подсчитывает количество каталогов, файлов и байтов под путями, соответствующими указанному шаблону файла.

 hdfs dfs -count [-q] [-h] <paths>

cp: копирует один или несколько файлов из указанного источника в указанное место назначения. Если вы укажете несколько источников, указанный адрес назначения должен быть каталогом.

 hdfs dfs -cp URI [URI …] <dest>

du: отображает размер указанного файла или размеры файлов и каталогов, которые содержатся в указанном каталоге. Если вы укажете опцию -s, отобразится сводная сводка размеров файлов, а не отдельных размеров файлов. Если вы укажете опцию -h, форматирует размер файла «человеком».

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: отображает сводку размеров файлов; эквивалентно hdfs dfs -du -s.

 hdfs dfs -dus <args>

expunge: Опорожняет мусор. Когда вы удаляете файл, он не сразу удаляется из HDFS, а переименовывается в файл в каталоге / trash. Пока файл остается там, вы можете восстановить его, если передумаете, хотя можно восстановить только последнюю копию удаленного файла.

 hdfs dfs –expunge

get: копирует файлы в локальную файловую систему. Файлы, которые не выполняют проверку циклического избыточности (CRC), могут быть скопированы, если вы укажете опцию -ignorecrc. CRC является распространенным методом обнаружения ошибок передачи данных. Файлы контрольной суммы CRC имеют расширение .crc и используются для проверки целостности данных другого файла. Эти файлы копируются, если вы укажете опцию -crc.

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: объединяет файлы в src и записывает результат в указанный локальный файл назначения. Чтобы добавить символ новой строки в конце каждого файла, укажите параметр addnl.

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: возвращает статистику для указанных файлов или каталогов.

 hdfs dfs -ls <args>

lsr: Служит рекурсивной версией ls; подобно команде Unix ls -R.

 hdfs dfs -lsr <args>

mkdir: Создает каталоги на одном или нескольких указанных путях. Его поведение аналогично команде Unix mkdir -p, которая создает все каталоги, которые приводят к указанному каталогу, если они уже не существуют.

 hdfs dfs -mkdir <paths>

moveFromLocal: работает аналогично команде put, за исключением того, что источник удаляется после его копирования.

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: перемещает один или несколько файлов из указанного источника в указанное место назначения. Если вы укажете несколько источников, указанный адрес назначения должен быть каталогом. Перемещение файлов в файловых системах запрещено.

 hdfs dfs -mv URI [URI …] <dest>

put: копирует файлы из локальной файловой системы в целевую файловую систему. Эта команда также может считывать входные данные из stdin и записывать в целевую файловую систему.

 hdfs dfs -put <localsrc> ... <dest>

rm: Удаляет один или несколько указанных файлов. Эта команда не удаляет пустые каталоги или файлы. Чтобы обойти корзину (если она включена) и немедленно удалить указанные файлы, укажите параметр -skipTrash.

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: Служит рекурсивной версией -rm.

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: Изменяет коэффициент репликации для указанного файла или каталога. С -R рекурсивно изменяет структуру каталогов.

 hdfs dfs -setrep <rep> [-R] <path>

stat: отображает информацию о указанном пути.

 hdfs dfs -stat URI [URI …]

tail: отображает последний килобайт указанного файла в stdout. Синтаксис поддерживает параметр Unix -f, который позволяет контролировать указанный файл. Когда новые строки добавляются в файл другим процессом, хвост обновляет отображение.

 hdfs dfs -tail [-f] URI

test: Возвращает атрибуты указанного файла или каталога. Определяет -e, чтобы определить, существует ли файл или каталог; -z, чтобы определить, пуст ли файл или каталог; и -d, чтобы определить, является ли URI каталогом.

 hdfs dfs -test -[ezd] URI

text: выводит указанный исходный файл в текстовом формате. Допустимые форматы входных файлов - zip и TextRecordInputStream.

 hdfs dfs -text <src>

touchz: Создает новый пустой файл размером 0 по указанному пути.

 hdfs dfs -touchz <path>