apache-spark
Client-modus en Cluster-modus
Zoeken…
Spark Client en Cluster-modus uitgelegd
Laten we eens kijken naar de verschillen tussen de client- en clustermodus van Spark.
Client : Wanneer Spark in de clientmodus wordt uitgevoerd, worden het SparkContext- en Driver-programma extern van het cluster uitgevoerd; bijvoorbeeld vanaf uw laptop. De lokale modus is alleen voor het geval dat u geen cluster wilt gebruiken en in plaats daarvan alles op één machine wilt uitvoeren. Dus Driver Application en Spark Application bevinden zich beide op dezelfde machine als de gebruiker. Driver draait op een dedicated server (Master node) binnen een dedicated proces. Dit betekent dat het over alle beschikbare middelen beschikt om werkzaamheden uit te voeren. Omdat het Master-knooppunt eigen bronnen heeft, hoeft u geen werknemersresources te "besteden" voor het Driver-programma. Als het stuurprogramma sterft, hebt u een extern controlesysteem nodig om de uitvoering te resetten.
Cluster: stuurprogramma wordt uitgevoerd op een van de Worker-knooppunten van het cluster. Het wordt uitgevoerd als een specifiek, op zichzelf staand proces binnen de Worker. Wanneer u in Cluster-modus werkt, moeten alle JAR's die betrekking hebben op de uitvoering van uw applicatie openbaar beschikbaar zijn voor alle werknemers. Dit betekent dat u ze handmatig op een gedeelde plaats of in een map voor elk van de werknemers kunt plaatsen. Elke applicatie krijgt zijn eigen executorprocessen, die gedurende de hele applicatie actief blijven en taken in meerdere threads uitvoeren. Dit heeft het voordeel dat applicaties van elkaar worden geïsoleerd, zowel aan de planningszijde (elke bestuurder plant zijn eigen taken) als aan de uitvoerderszijde (taken van verschillende applicaties die in verschillende JVM's worden uitgevoerd)
Cluster Manager-typen
Apache Mesos - een algemene clustermanager die ook Hadoop MapReduce- en servicetoepassingen kan uitvoeren. Hadoop YARN - de resource manager in Hadoop.
Kubernetes- container-centric infrastructure.it is nog experimenteel.