apache-spark
クライアントモードとクラスタモード

スパーククライアントとクラスタモードの説明

Sparkのクライアントモードとクラスタモードの違いを見てみましょう。

クライアント ：Sparkをクライアントモードで実行する場合、SparkContextおよびDriverプログラムはクラスタの外部で実行されます。例えば、あなたのラップトップから。ローカルモードは、クラスタを使用したくない場合と、1台のマシンですべてを実行したい場合にのみ使用します。したがって、ドライバアプリケーションとスパークアプリケーションは、両方ともユーザと同じマシン上にあります。ドライバは、専用プロセス内の専用サーバ（マスタノード）上で動作します。これは、作業を実行するために利用可能なすべてのリソースを持っていることを意味します。マスターノードには専用のリソースがあるため、ドライバプログラムにワーカーリソースを "費やす"必要はありません。ドライバプロセスが停止した場合、実行をリセットするために外部監視システムが必要です。

クラスタ：ドライバは、クラスタのWorkerノードの1つで動作します。Worker内の専用スタンドアロンプ​​ロセスとして実行されます。クラスタモードで作業する場合は、アプリケーションの実行に関連するすべてのJARをすべてのワーカーに公開する必要があります。つまり、手動で共有場所に置くか、各作業者のフォルダに置くことができます。各アプリケーションは独自のエグゼキュータ・プロセスを取得します。これらのプロセスは、アプリケーション全体の中で動作し、複数のスレッドでタスクを実行します。これは、スケジューリング側（各ドライバが独自のタスクをスケジューリングする）とエグゼキュータ側（異なるアプリケーションからのタスクが異なるJVMで実行される）の両方で、アプリケーションを互いに分離する利点があります

クラスター・マネージャーのタイプ

Apache Mesos - Hadoop MapReduceとサービスアプリケーションを実行できる一般的なクラスタマネージャ。 Hadoop YARN - Hadoopのリソースマネージャー。
Kubernetes-コンテナ中心のインフラストラクチャ。それはまだ実験的です。