apache-spark
Modalità cliente e Modalità cluster
Ricerca…
Spark Client e Cluster mode spiegate
Proviamo a guardare le differenze tra client e modalità cluster di Spark.
Client : quando si esegue Spark in modalità client, il programma SparkContext e Driver viene eseguito all'esterno del cluster; per esempio, dal tuo portatile. La modalità locale è solo per il caso in cui non si desidera utilizzare un cluster e invece si desidera eseguire tutto su una singola macchina. Quindi Driver Application e Spark Application sono entrambi sullo stesso computer dell'utente. Il driver gira su un server dedicato (nodo Master) all'interno di un processo dedicato. Ciò significa che ha tutte le risorse disponibili a disposizione per eseguire il lavoro. Poiché il nodo Master ha risorse dedicate di sua proprietà, non è necessario "spendere" risorse di lavoro per il programma Driver. Se il processo del driver muore, è necessario un sistema di monitoraggio esterno per ripristinarne l'esecuzione.
Cluster: il driver viene eseguito su uno dei nodi Worker del cluster. Viene eseguito come processo autonomo dedicato all'interno del Worker. Quando si lavora in modalità Cluster, tutti i JAR relativi all'esecuzione della propria applicazione devono essere disponibili pubblicamente a tutti i lavoratori. Ciò significa che puoi posizionarli manualmente in un posto condiviso o in una cartella per ciascuno dei lavoratori. Ogni applicazione ottiene i propri processi esecutore, che rimangono attivi per tutta la durata dell'intera applicazione ed eseguono attività in più thread. Ciò ha il vantaggio di isolare le applicazioni l'una dall'altra, sia dal lato della pianificazione (ogni driver pianifica le proprie attività) sia dal lato dell'esecutore (le attività di diverse applicazioni vengono eseguite in JVM diverse
Tipi di Cluster Manager
Apache Mesos - un gestore cluster generale che può anche eseguire Hadoop MapReduce e applicazioni di servizio. Hadoop YARN - il gestore delle risorse in Hadoop.
Kubernetes- infrastructure-centric infrastructure.it è ancora sperimentale.