hadoop
हडपप आज्ञा

वाक्य - विन्यास

• Hadoop v1 कमांड: hadoop fs -<command>

• Hadoop v2 कमांड: hdfs dfs -<command>

Hadoop v1 कमानों

1. Hadoop संस्करण मुद्रित करें

hadoop version

2. HDFS में रूट डायरेक्टरी की सामग्री को सूचीबद्ध करें

hadoop fs -ls /

3. इस्तेमाल की गई जगह की मात्रा और रिपोर्ट करें

वर्तमान में उपलब्ध फाइल सिस्टम पर उपलब्ध है

hadoop fs -df hdfs:/

4. निर्देशिका, फ़ाइलों और बाइट्स की संख्या के तहत गणना करें

पथ जो निर्दिष्ट फ़ाइल पैटर्न से मेल खाते हैं

hadoop fs -count hdfs:/

5. एक DFS फाइलसिस्टम को उपयोगिता की जाँच करें

hadoop fsck – /

6. क्लस्टर बैलेंसिंग यूटिलिटी चलाएं

hadoop balancer

7. नीचे एक नई निर्देशिका "हडॉप" बनाएं

/ HDFS में उपयोगकर्ता / प्रशिक्षण निर्देशिका। जब से तुम हो

वर्तमान में "प्रशिक्षण" उपयोगकर्ता आईडी के साथ लॉग इन किया गया है,

/ उपयोगकर्ता / प्रशिक्षण HDFS में आपकी होम डायरेक्टरी है।

hadoop fs -mkdir /user/training/hadoop

8. स्थानीय निर्देशिका से एक नमूना पाठ फ़ाइल जोड़ें

HDFS में आपके द्वारा बनाई गई नई निर्देशिका को "डेटा" नाम दिया गया है

पिछले चरण के दौरान।

hadoop fs -put data/sample.txt /user/training/hadoop

9. इस नई निर्देशिका की सामग्री को एचडीएफएस में सूचीबद्ध करें।

hadoop fs -ls /user/training/hadoop

10. "खुदरा" नामक संपूर्ण स्थानीय निर्देशिका को इसमें जोड़ें

/ HDFS में उपयोगकर्ता / प्रशिक्षण निर्देशिका।

hadoop fs -put data/retail /user/training/hadoop

11. चूंकि एचडीएफएस में आपका होम डायरेक्टरी / यूजर / ट्रेनिंग है,

कोई भी कमांड जिसमें निरपेक्ष पथ नहीं है

उस निर्देशिका के सापेक्ष व्याख्या की गई। अगला

इसलिए कमांड आपके होम डायरेक्टरी को सूचीबद्ध करेगा, और

आपके द्वारा अभी-अभी जोड़े गए आइटमों को दिखाना चाहिए।

hadoop fs -ls

12. देखें कि यह निर्देशिका HDFS में कितनी जगह घेरती है।

hadoop fs -du -s -h hadoop/retail

13. "खुदरा" निर्देशिका से एक फ़ाइल 'ग्राहकों' को हटा दें।

hadoop fs -rm hadoop/retail/customers

14. सुनिश्चित करें कि यह फ़ाइल अब HDFS में नहीं है।

hadoop fs -ls hadoop/retail/customers

15. वाइल्डकार्ड का उपयोग करके "खुदरा" निर्देशिका से सभी फ़ाइलों को हटा दें।

hadoop fs -rm hadoop/retail/*

16. कचरा खाली करने के लिए

hadoop fs -expunge

17. अंत में, पूरे रिटेल डायरेक्टरी और सभी को हटा दें

एचडीएफएस में इसकी सामग्री।

hadoop fs -rm -r hadoop/retail

18. हैडूप निर्देशिका को फिर से सूचीबद्ध करें

hadoop fs -ls hadoop

19. स्थानीय निर्देशिका से खरीद.टेक्स्ट फ़ाइल जोड़ें

HDFS में आपके द्वारा बनाए गए हडॉप डायरेक्टरी को “/ होम / ट्रेनिंग /” नाम दिया गया है

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20. अपनी पाठ फ़ाइल की सामग्री को देखने के लिए खरीद

जो आपके हडूप डायरेक्टरी में मौजूद है।

hadoop fs -cat hadoop/purchases.txt

21. “हैडऑप” डायरेक्टरी से खरीद.टेक्स्ट फ़ाइल को जोड़ें जो एचडीएफएस डायरेक्टरी में मौजूद है

निर्देशिका "डेटा" जो आपके स्थानीय निर्देशिका में मौजूद है

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. एचडीएसएफ में मौजूद निर्देशिकाओं के बीच फ़ाइलों को कॉपी करने के लिए cp का उपयोग किया जाता है

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23. '-get' कमांड को '-copyToLocal' कमांड के लिए वैकल्पिक रूप से इस्तेमाल किया जा सकता है

hadoop fs -get hadoop/sample.txt /home/training/

24. स्टडआउट करने के लिए फ़ाइल "buy.txt" का अंतिम किलोबाइट प्रदर्शित करें।

hadoop fs -tail hadoop/purchases.txt

25. एचडीएफएस में डिफ़ॉल्ट फ़ाइल अनुमतियां 666 हैं

किसी फ़ाइल की अनुमतियाँ बदलने के लिए '-chmod' कमांड का उपयोग करें

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26. मालिक और समूह के डिफ़ॉल्ट नाम प्रशिक्षण, प्रशिक्षण हैं

एक साथ मालिक का नाम और समूह का नाम बदलने के लिए '-own' का उपयोग करें

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27. समूह का डिफ़ॉल्ट नाम प्रशिक्षण है

समूह नाम बदलने के लिए '-chgrp' कमांड का उपयोग करें

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28. एक निर्देशिका को एक स्थान से दूसरे स्थान पर ले जाएं

hadoop fs -mv hadoop apache_hadoop

29. किसी फ़ाइल में डिफ़ॉल्ट प्रतिकृति कारक 3 है।

किसी फ़ाइल के प्रतिकृति कारक को बदलने के लिए '-setrep' कमांड का उपयोग करें

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30. निर्देशिका को एक नोड से दूसरे क्लस्टर में कॉपी करें

कॉपी करने के लिए '-distcp' कमांड का उपयोग करें,

एक मौजूदा फ़ाइलों में अधिलेखित करने के लिए -overwrite विकल्प

दोनों निर्देशिकाओं को सिंक्रनाइज़ करने के लिए -update कमांड

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31. नाम नोड सुरक्षित मोड छोड़ने के लिए आदेश

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32. सभी हडूप फाइल सिस्टम शेल कमांड को सूचीबद्ध करें

hadoop fs

33. एचडीएफएस कोटा मान और उपयोग में नाम और बाइट की वर्तमान गणना प्राप्त करें।

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34. अंतिम लेकिन कम से कम, हमेशा मदद के लिए पूछें!

hadoop fs -help

Hadoop v2 Commands

appendToFile: एकल src, या कई srcs स्थानीय फ़ाइल सिस्टम से गंतव्य फ़ाइल सिस्टम में जोड़ें। स्टडिन से इनपुट भी पढ़ता है और डेस्टिनेशन फाइल सिस्टम को अप्लाई करता है। इस प्रकार रखें -

 hdfs dfs -appendToFile [localfile1 localfile2 ..] [/HDFS/FILE/PATH..]

बिल्ली: प्रतिलिपि स्रोत पथ पथभ्रष्ट करने के लिए।

 hdfs dfs -cat URI [URI …]

chgrp: फ़ाइलों के समूह संघ को बदलता है। -R के साथ, निर्देशिका संरचना के माध्यम से परिवर्तन को पुनरावर्ती बनाता है। उपयोगकर्ता को फ़ाइल स्वामी या सुपरयुसर होना चाहिए।

 hdfs dfs -chgrp [-R] GROUP URI [URI …]

chmod: फ़ाइलों की अनुमतियों को बदलता है। -R के साथ, निर्देशिका संरचना के माध्यम से परिवर्तन को पुनरावर्ती बनाता है। उपयोगकर्ता को फ़ाइल स्वामी या सुपरयुसर होना चाहिए

 hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

chown: फाइलों के मालिक को बदलता है। -R के साथ, निर्देशिका संरचना के माध्यम से परिवर्तन को पुनरावर्ती बनाता है। उपयोगकर्ता को सुपरयुसर होना चाहिए।

 hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal: पुट कमांड के समान काम करता है, सिवाय इसके कि स्रोत एक स्थानीय फ़ाइल संदर्भ के लिए प्रतिबंधित है।

 hdfs dfs -copyFromLocal <localsrc> URI

copyToLocal: समान रूप से प्राप्त कमांड के लिए काम करता है, सिवाय इसके कि गंतव्य एक स्थानीय फ़ाइल संदर्भ में प्रतिबंधित है।

 hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

गणना: निर्दिष्ट फ़ाइल पैटर्न से मेल खाने वाले रास्तों के अंतर्गत निर्देशिकाओं, फ़ाइलों और बाइट्स की संख्या गिना जाता है।

 hdfs dfs -count [-q] [-h] <paths>

cp: निर्दिष्ट स्रोत से एक या अधिक फ़ाइलों को एक निर्दिष्ट गंतव्य पर कॉपी करता है। यदि आप कई स्रोत निर्दिष्ट करते हैं, तो निर्दिष्ट गंतव्य एक निर्देशिका होना चाहिए।

 hdfs dfs -cp URI [URI …] <dest>

du: निर्दिष्ट फ़ाइल का आकार, या निर्दिष्ट निर्देशिका में निहित फ़ाइलों और निर्देशिकाओं के आकार को प्रदर्शित करता है। यदि आप -s विकल्प निर्दिष्ट करते हैं, तो अलग-अलग फ़ाइल आकारों के बजाय फ़ाइल आकारों का एक कुल सारांश प्रदर्शित करता है। यदि आप -h विकल्प निर्दिष्ट करते हैं, तो फ़ाइल आकार को "मानव-पठनीय" तरीके से प्रारूपित करें।

 hdfs dfs -du [-s] [-h] URI [URI …]

डस: फ़ाइल आकारों का सारांश प्रदर्शित करता है; hdfs dfs -du -s के बराबर।

 hdfs dfs -dus <args>

expunge: कचरा खाली करता है। जब आप किसी फ़ाइल को हटाते हैं, तो उसे तुरंत HDFS से नहीं हटाया जाता है, लेकिन उसका नाम बदलकर / ट्रैश निर्देशिका में फ़ाइल में रख दिया जाता है। जब तक फ़ाइल रहती है, तब तक आप अपना दिमाग बदल सकते हैं, हालांकि इसे हटा सकते हैं, हालांकि हटाए गए फ़ाइल की केवल नवीनतम प्रतिलिपि को पुनर्स्थापित किया जा सकता है।

 hdfs dfs –expunge

प्राप्त करें: फ़ाइलों को स्थानीय फ़ाइल सिस्टम में कॉपी करता है। यदि आप -ignorecrc विकल्प निर्दिष्ट करते हैं, तो एक चक्रीय अतिरेक जांच (CRC) को विफल करने वाली फ़ाइलों को अभी भी कॉपी किया जा सकता है। सीआरसी डेटा ट्रांसमिशन त्रुटियों का पता लगाने के लिए एक सामान्य तकनीक है। CRC चेकसम फ़ाइलों में .crc एक्सटेंशन होता है और इसका उपयोग किसी अन्य फ़ाइल की डेटा अखंडता को सत्यापित करने के लिए किया जाता है। यदि आप -crc विकल्प निर्दिष्ट करते हैं, तो इन फ़ाइलों की प्रतिलिपि बनाई जाती है।

 hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge: फाइलों को src में सम्‍मिलित करता है और परिणाम को निर्दिष्ट स्थानीय गंतव्य फ़ाइल में लिखता है। प्रत्येक फ़ाइल के अंत में एक नया वर्ण जोड़ने के लिए, Addnl विकल्प निर्दिष्ट करें।

 hdfs dfs -getmerge <src> <localdst> [addnl]

ls: निर्दिष्ट फ़ाइलों या निर्देशिकाओं के लिए आंकड़े लौटाता है।

 hdfs dfs -ls <args>

lsr: ls के पुनरावर्ती संस्करण के रूप में कार्य करता है; यूनिक्स कमांड ls -R के समान।

 hdfs dfs -lsr <args>

mkdir: एक या अधिक निर्दिष्ट पथ पर निर्देशिका बनाता है। इसका व्यवहार यूनिक्स mkdir -p कमांड के समान है, जो सभी निर्देशिकाओं को बनाता है जो निर्दिष्ट निर्देशिका तक ले जाती हैं यदि वे पहले से मौजूद नहीं हैं।

 hdfs dfs -mkdir <paths>

MoveFromLocal: पुट कमांड के समान काम करता है, सिवाय इसके कि स्रोत को कॉपी करने के बाद डिलीट कर दिया जाए।

 hdfs dfs -moveFromLocal <localsrc> <dest>

mv: एक निर्दिष्ट स्रोत से एक या अधिक फ़ाइलों को एक निर्दिष्ट गंतव्य तक ले जाता है। यदि आप कई स्रोत निर्दिष्ट करते हैं, तो निर्दिष्ट गंतव्य एक निर्देशिका होना चाहिए। फ़ाइल सिस्टम में फ़ाइल ले जाने की अनुमति नहीं है।

 hdfs dfs -mv URI [URI …] <dest>

put: लोकल फाइल सिस्टम से फाइल को फाइल फाइल सिस्टम में कॉपी करता है। यह कमांड स्टड से इनपुट भी पढ़ सकता है और डेस्टिनेशन फाइल सिस्टम को लिख सकता है।

 hdfs dfs -put <localsrc> ... <dest>

rm: एक या अधिक निर्दिष्ट फ़ाइलों को हटाता है। यह आदेश खाली निर्देशिका या फ़ाइलों को नष्ट नहीं करता है। ट्रैश को बायपास करने के लिए (यदि यह सक्षम है) और निर्दिष्ट फ़ाइलों को तुरंत हटा दें, -स्क्रीप विकल्प को निर्दिष्ट करें।

 hdfs dfs -rm [-skipTrash] URI [URI …]

rm r: –rm के पुनरावर्ती संस्करण के रूप में कार्य करता है।

 hdfs dfs -rm -r [-skipTrash] URI [URI …]

setrep: एक निर्दिष्ट फ़ाइल या निर्देशिका के लिए प्रतिकृति कारक को बदलता है। -R के साथ, निर्देशिका संरचना के माध्यम से परिवर्तन को पुनरावर्ती बनाता है।

 hdfs dfs -setrep <rep> [-R] <path>

स्टेट: निर्दिष्ट पथ के बारे में जानकारी प्रदर्शित करता है।

 hdfs dfs -stat URI [URI …]

पूंछ: किसी निर्दिष्ट फ़ाइल के अंतिम किलोबाइट को स्टडआउट में प्रदर्शित करता है। वाक्यविन्यास यूनिक्स-एफ विकल्प का समर्थन करता है, जो निर्दिष्ट फ़ाइल को मॉनिटर करने में सक्षम बनाता है। चूंकि नई लाइनों को फ़ाइल में किसी अन्य प्रक्रिया से जोड़ा जाता है, इसलिए पूंछ प्रदर्शन को अपडेट करती है।

 hdfs dfs -tail [-f] URI

परीक्षण: निर्दिष्ट फ़ाइल या निर्देशिका का विवरण देता है। निर्दिष्ट करता है कि फ़ाइल या निर्देशिका मौजूद है या नहीं यह निर्धारित करने के लिए; यह निर्धारित करने के लिए कि फ़ाइल या निर्देशिका खाली है; और यह निर्धारित करने के लिए कि क्या URI एक निर्देशिका है।

 hdfs dfs -test -[ezd] URI

पाठ: पाठ प्रारूप में एक निर्दिष्ट स्रोत फ़ाइल आउटपुट करता है। मान्य इनपुट फ़ाइल प्रारूप ज़िप और TextRecordInputStream हैं।

 hdfs dfs -text <src>

टचज़: निर्दिष्ट पथ में आकार 0 की एक नई, खाली फ़ाइल बनाता है।

 hdfs dfs -touchz <path>