apache-spark
Klientläge och Cluster Mode
Sök…
Spark Client och Cluster-läget förklaras
Låt oss försöka titta på skillnaderna mellan klient- och klusterläge för Spark.
Klient : När Spark körs i klientläget körs SparkContext och Driver-programmet externt till klustret; till exempel från din bärbara dator. Lokalt läge är endast fallet när du inte vill använda ett kluster och istället vill köra allt på en enda maskin. Så Driver Application och Spark Application finns båda på samma maskin som användaren. Driver körs på en dedikerad server (Master node) i en dedicerad process. Detta innebär att den har alla tillgängliga resurser till sitt förfogande för att utföra arbete. Eftersom Master-noden har dedikerade egna resurser behöver du inte "spendera" arbetarresurser för Driver-programmet. Om drivrutinen dör, behöver du ett externt övervakningssystem för att återställa körningen.
Cluster: Driver körs på en av klustrets Worker-noder. Den körs som en dedikerad, fristående process inuti Worker. När du arbetar i klusterläge måste alla JAR-relaterade till utförandet av din ansökan vara offentligt tillgängliga för alla arbetare. Det betyder att du antingen kan placera dem manuellt på en delad plats eller i en mapp för var och en av arbetarna. Varje applikation har sina egna exekveringsprocesser, som håller sig under hela ansökan och kör uppgifter i flera trådar. Detta har fördelen med att isolera applikationer från varandra, både på schemaläggningssidan (varje drivrutin schemalägger sina egna uppgifter) och exekutorsidan (uppgifter från olika applikationer körs i olika JVM: er
Cluster Manager Typer
Apache Mesos - en generell klusterhanterare som också kan köra Hadoop MapReduce och serviceapplikationer. Hadoop YARN - resurschefen i Hadoop.
Kubernetes- container-centrerad infrastruktur.Det är experimentellt ännu.