サーチ…


スパーククライアントとクラスタモードの説明

Sparkのクライアントモードとクラスタモードの違いを見てみましょう。

クライアント :Sparkをクライアントモードで実行する場合、SparkContextおよびDriverプログラムはクラスタの外部で実行されます。例えば、あなたのラップトップから。ローカルモードは、クラスタを使用したくない場合と、1台のマシンですべてを実行したい場合にのみ使用します。したがって、ドライバアプリケーションとスパークアプリケーションは、両方ともユーザと同じマシン上にあります。ドライバは、専用プロセス内の専用サーバ(マスタノード)上で動作します。これは、作業を実行するために利用可能なすべてのリソースを持っていることを意味します。マスターノードには専用のリソースがあるため、ドライバプログラムにワーカーリソースを "費やす"必要はありません。ドライバプロセスが停止した場合、実行をリセットするために外部監視システムが必要です。

クラスタ:ドライバは、クラスタのWorkerノードの1つで動作します。Worker内の専用スタンドアロンプ​​ロセスとして実行されます。クラスタモードで作業する場合は、アプリケーションの実行に関連するすべてのJARをすべてのワーカーに公開する必要があります。つまり、手動で共有場所に置くか、各作業者のフォルダに置くことができます。各アプリケーションは独自のエグゼキュータ・プロセスを取得します。これらのプロセスは、アプリケーション全体の中で動作し、複数のスレッドでタスクを実行します。これは、スケジューリング側(各ドライバが独自のタスクをスケジューリングする)とエグゼキュータ側(異なるアプリケーションからのタスクが異なるJVMで実行される)の両方で、アプリケーションを互いに分離する利点があります

クラスター・マネージャーのタイプ

Apache Mesos - Hadoop MapReduceとサービスアプリケーションを実行できる一般的なクラスタマネージャ。 Hadoop YARN - Hadoopのリソースマネージャー。
Kubernetes-コンテナ中心のインフラストラクチャ。それはまだ実験的です。



Modified text is an extract of the original Stack Overflow Documentation
ライセンスを受けた CC BY-SA 3.0
所属していない Stack Overflow