apache-spark
क्लाइंट मोड और क्लस्टर मोड
खोज…
स्पार्क क्लाइंट और क्लस्टर मोड की व्याख्या की
आइए स्पार्क के क्लाइंट और क्लस्टर मोड के बीच अंतर को देखने की कोशिश करते हैं।
क्लाइंट : स्पार्क को क्लाइंट मोड में चलाने पर, स्पार्ककेंटेक्स्ट और ड्राइवर प्रोग्राम क्लस्टर के लिए बाहरी चलाते हैं; उदाहरण के लिए, आपके लैपटॉप से। स्थानीय मोड केवल उस स्थिति के लिए है जब आप क्लस्टर का उपयोग नहीं करना चाहते हैं और इसके बजाय एक मशीन पर सब कुछ चलाना चाहते हैं। इसलिए ड्राइवर एप्लिकेशन और स्पार्क एप्लिकेशन दोनों उपयोगकर्ता के समान मशीन पर हैं। ड्राइवर एक समर्पित सर्वर के अंदर एक समर्पित प्रक्रिया पर चलता है। इसका मतलब यह है कि इसमें सभी उपलब्ध संसाधन हैं जो काम को अंजाम देने के लिए निपटान है। क्योंकि मास्टर नोड के पास स्वयं के समर्पित संसाधन हैं, आपको ड्राइवर प्रोग्राम के लिए कार्यकर्ता संसाधनों को "खर्च" करने की आवश्यकता नहीं है। यदि ड्राइवर प्रक्रिया मर जाती है, तो आपको इसे निष्पादित करने के लिए एक बाहरी निगरानी प्रणाली की आवश्यकता होती है।
क्लस्टर: ड्राइवर क्लस्टर के कार्यकर्ता नोड्स में से एक पर चलता है। यह कार्यकर्ता के अंदर एक समर्पित, स्टैंडअलोन प्रक्रिया के रूप में चलता है। क्लस्टर मोड में काम करते समय, आपके एप्लिकेशन के निष्पादन से संबंधित सभी JAR को सभी श्रमिकों के लिए सार्वजनिक रूप से उपलब्ध होने की आवश्यकता होती है। इसका मतलब है कि आप या तो उन्हें मैन्युअल रूप से एक साझा स्थान पर या प्रत्येक कार्यकर्ता के लिए एक फ़ोल्डर में रख सकते हैं। प्रत्येक एप्लिकेशन को अपने स्वयं के निष्पादक प्रक्रियाएं मिलती हैं, जो पूरे आवेदन की अवधि तक रहती हैं और कई थ्रेड्स में कार्य चलाती हैं। इससे शेड्यूलिंग साइड (प्रत्येक ड्राइवर अपने कार्यों को शेड्यूल करता है) और निष्पादक पक्ष (अलग-अलग JVM में चलने वाले अलग-अलग एप्लिकेशन से कार्य) दोनों पर एक दूसरे से अनुप्रयोगों को अलग करने का लाभ होता है
क्लस्टर प्रबंधक प्रकार
Apache Mesos - एक सामान्य क्लस्टर प्रबंधक जो Hadoop MapReduce और सेवा अनुप्रयोग भी चला सकता है। Hadoop YARN - Hadoop में संसाधन प्रबंधक।
कुबेरनेट्स- कंटेनर-केंद्रित बुनियादी ढांचा। यह अभी तक प्रायोगिक है।