hadoop
Commandes Hadoop

Syntaxe

• Commandes Hadoop v1: hadoop fs -<command>

• Commandes Hadoop v2: hdfs dfs -<command>

Commandes Hadoop v1

1. Imprimez la version Hadoop

hadoop version

2. Lister le contenu du répertoire racine dans HDFS

hadoop fs -ls /

3. Indiquez la quantité d'espace utilisée et

disponible sur le système de fichiers actuellement monté

hadoop fs -df hdfs:/

4. Comptez le nombre de répertoires, fichiers et octets sous

les chemins correspondant au motif de fichier spécifié

hadoop fs -count hdfs:/

5. Exécutez un utilitaire de vérification du système de fichiers DFS

hadoop fsck – /

6. Exécutez un utilitaire d'équilibrage de cluster

hadoop balancer

7. Créez un nouveau répertoire nommé “hadoop” en dessous du

/ user / répertoire de formation dans HDFS. Puisque tu es

actuellement connecté avec l'ID utilisateur «training»,

/ user / training est votre répertoire personnel dans HDFS.

hadoop fs -mkdir /user/training/hadoop

8. Ajoutez un exemple de fichier texte à partir du répertoire local

nommé «données» dans le nouveau répertoire que vous avez créé dans HDFS

lors de l'étape précédente.

hadoop fs -put data/sample.txt /user/training/hadoop

9. Répertorie le contenu de ce nouveau répertoire dans HDFS.

hadoop fs -ls /user/training/hadoop

10. Ajoutez l’ensemble du répertoire local appelé “retail” au

/ user / répertoire de formation dans HDFS.

hadoop fs -put data/retail /user/training/hadoop

11. Puisque / user / training est votre répertoire personnel dans HDFS,

toute commande qui n'a pas de chemin absolu est

interprété comme relatif à ce répertoire. Le suivant

commande listera donc votre répertoire personnel, et

devrait montrer les éléments que vous venez d'ajouter là-bas.

hadoop fs -ls

12. Voir combien d'espace ce répertoire occupe dans HDFS.

hadoop fs -du -s -h hadoop/retail

13. Supprimez un fichier "clients" du répertoire "retail".

hadoop fs -rm hadoop/retail/customers

14. Assurez-vous que ce fichier n'est plus dans HDFS.

hadoop fs -ls hadoop/retail/customers

15. Supprimez tous les fichiers du répertoire «retail» en utilisant un caractère générique.

hadoop fs -rm hadoop/retail/*

16. Vider la poubelle

hadoop fs -expunge

17. Enfin, supprimez tout le répertoire de vente au détail et tous les

de son contenu dans HDFS.

hadoop fs -rm -r hadoop/retail

18. Répertorie le répertoire de hadoop à nouveau

hadoop fs -ls hadoop

19. Ajoutez le fichier achats.txt à partir du répertoire local

nommé "/ home / training /" dans le répertoire hadoop que vous avez créé dans HDFS

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. Pour afficher le contenu de votre fichier texte payments.txt

qui est présent dans votre répertoire hadoop.

hadoop fs -cat hadoop/purchases.txt

21. Ajoutez le fichier achats.txt du répertoire «hadoop» présent dans le répertoire HDFS

dans le répertoire "data" présent dans votre répertoire local

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp est utilisé pour copier des fichiers entre les répertoires présents dans HDFS

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. La commande '-get' peut être utilisée alternativement pour la commande '-copyToLocal'

hadoop fs -get hadoop/sample.txt /home/training/

24. Affiche le dernier kilo-octet du fichier «achats.txt» à la sortie standard.

hadoop fs -tail hadoop/purchases.txt

25. Les autorisations de fichier par défaut sont 666 dans HDFS

Utilisez la commande '-chmod' pour modifier les autorisations d'un fichier

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. Les noms par défaut du propriétaire et du groupe sont la formation, la formation

Utilisez '-chown' pour changer le nom du propriétaire et le nom du groupe simultanément

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. Le nom par défaut du groupe est l'entraînement

Utilisez la commande '-chgrp' pour changer le nom du groupe

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. Déplacer un répertoire d'un endroit à un autre

hadoop fs -mv hadoop apache_hadoop

29. Le facteur de réplication par défaut dans un fichier est 3.

Utilisez la commande '-setrep' pour modifier le facteur de réplication d'un fichier

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. Copiez un répertoire d'un nœud du cluster vers un autre

Utilisez la commande '-distcp' pour copier,

Option -overwrite pour remplacer les fichiers existants

-update commande pour synchroniser les deux répertoires

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. Commande pour que le nœud de nom quitte le mode sécurisé

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. Liste toutes les commandes du shell du système de fichiers hadoop

hadoop fs

33. Obtenez les valeurs de quota hdfs et le nombre actuel de noms et d'octets utilisés.

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. Last but not least, demandez toujours de l'aide!

hadoop fs -help

Commandes Hadoop v2

appendToFile: Ajoute un seul src ou plusieurs srcs du système de fichiers local au système de fichiers de destination. Lit également l'entrée de stdin et ajoute au système de fichiers de destination. Gardez le comme -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

cat: copie les chemins source vers la sortie standard.

 hdfs dfs -cat URI [URI …]

chgrp: modifie l'association de groupe de fichiers. Avec -R, effectue la modification de manière récursive au moyen de la structure de répertoires. L'utilisateur doit être le propriétaire du fichier ou le superutilisateur.

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: modifie les permissions des fichiers. Avec -R, effectue la modification de manière récursive au moyen de la structure de répertoires. L'utilisateur doit être le propriétaire du fichier ou le superutilisateur

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: modifie le propriétaire des fichiers. Avec -R, effectue la modification de manière récursive au moyen de la structure de répertoires. L'utilisateur doit être le superutilisateur.

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: Fonctionne de manière similaire à la commande put, sauf que la source est limitée à une référence de fichier local.

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: Fonctionne de manière similaire à la commande get, sauf que la destination est limitée à une référence de fichier local.

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count: Compte le nombre de répertoires, de fichiers et d'octets sous les chemins correspondant au modèle de fichier spécifié.

 hdfs dfs -count [-q] [-h] <paths>

cp: copie un ou plusieurs fichiers d'une source spécifiée vers une destination spécifiée. Si vous spécifiez plusieurs sources, la destination spécifiée doit être un répertoire.

 hdfs dfs -cp URI [URI …] <dest>

du: Affiche la taille du fichier spécifié ou la taille des fichiers et des répertoires contenus dans le répertoire spécifié. Si vous spécifiez l'option -s, affiche un résumé agrégé des tailles de fichiers plutôt que des tailles de fichiers individuelles. Si vous spécifiez l'option -h, formatez les tailles de fichier de manière "lisible par l'homme".

 hdfs dfs -du [-s] [-h] URI [URI …]

dus: affiche un résumé des tailles de fichiers; équivalent à hdfs dfs -du –s.

 hdfs dfs -dus <args>

expulsion: vide la corbeille. Lorsque vous supprimez un fichier, il n'est pas supprimé immédiatement de HDFS, mais est renommé en un fichier dans le répertoire / trash. Tant que le fichier y reste, vous pouvez le supprimer si vous changez d'avis, même si seule la dernière copie du fichier supprimé peut être restaurée.

 hdfs dfs –expunge

get: copie les fichiers sur le système de fichiers local. Les fichiers qui échouent à un contrôle de redondance cyclique (CRC) peuvent toujours être copiés si vous spécifiez l'option -ignorecrc. Le CRC est une technique courante pour détecter les erreurs de transmission de données. Les fichiers de somme de contrôle CRC ont l'extension .crc et sont utilisés pour vérifier l'intégrité des données d'un autre fichier. Ces fichiers sont copiés si vous spécifiez l'option -crc.

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: Concatène les fichiers dans src et écrit le résultat dans le fichier de destination local spécifié. Pour ajouter un caractère de nouvelle ligne à la fin de chaque fichier, spécifiez l’option addnl.

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: renvoie des statistiques pour les fichiers ou répertoires spécifiés.

 hdfs dfs -ls <args>

lsr: Sert de version récursive de ls; similaire à la commande Unix ls -R.

 hdfs dfs -lsr <args>

mkdir: Crée des répertoires sur un ou plusieurs chemins spécifiés. Son comportement est similaire à la commande Unix mkdir -p, qui crée tous les répertoires qui mènent au répertoire spécifié s'ils n'existent pas déjà.

 hdfs dfs -mkdir <paths>

moveFromLocal: Fonctionne de la même manière que la commande put, sauf que la source est supprimée après sa copie.

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: déplace un ou plusieurs fichiers d'une source spécifiée vers une destination spécifiée. Si vous spécifiez plusieurs sources, la destination spécifiée doit être un répertoire. Le déplacement de fichiers entre systèmes de fichiers n'est pas autorisé.

 hdfs dfs -mv URI [URI …] <dest>

put: copie les fichiers du système de fichiers local vers le système de fichiers de destination. Cette commande peut également lire les entrées de stdin et écrire dans le système de fichiers de destination.

 hdfs dfs -put <localsrc> ... <dest>

rm: Supprime un ou plusieurs fichiers spécifiés. Cette commande ne supprime pas les répertoires ou fichiers vides. Pour contourner la corbeille (si elle est activée) et supprimer immédiatement les fichiers spécifiés, spécifiez l'option -skipTrash.

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: Sert de version récursive de –rm.

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: modifie le facteur de réplication pour un fichier ou un répertoire spécifié. Avec -R, effectue la modification de manière récursive au moyen de la structure de répertoires.

 hdfs dfs -setrep <rep> [-R] <path>

stat: affiche des informations sur le chemin spécifié.

 hdfs dfs -stat URI [URI …]

tail: Affiche le dernier kilo-octet d'un fichier spécifié à stdout. La syntaxe prend en charge l'option Unix -f, qui permet de surveiller le fichier spécifié. Lorsque de nouvelles lignes sont ajoutées au fichier par un autre processus, tail met à jour l'affichage.

 hdfs dfs -tail [-f] URI

test: renvoie les attributs du fichier ou du répertoire spécifié. Spécifie -e pour déterminer si le fichier ou le répertoire existe; -z pour déterminer si le fichier ou le répertoire est vide; et -d pour déterminer si l'URI est un répertoire.

 hdfs dfs -test -[ezd] URI

text: génère un fichier source spécifié au format texte. Les formats de fichier d'entrée valides sont zip et TextRecordInputStream.

 hdfs dfs -text <src>

touchz: Crée un nouveau fichier vide de taille 0 dans le chemin spécifié.

 hdfs dfs -touchz <path>