1

すべての「Spark」の部分が SnappyData の「統合クラスター モード」展開トポロジのどこに収まるかを理解しようとしています。

これを読むと、ドキュメントはいくつかの点について不明確です:

http://snappydatainc.github.io/snappydata/deployment/#unified-cluster-mode-aka-embedded-store-mode

  1. マスター - リードまたはロケーターは誰ですか?
  2. スレーブ/ワーカーの実行先... - リードまたはサーバー?
  3. Executor execute on... - サーバー (これはドキュメントでは簡単に見えます)
  4. アプリは次で実行されます... - リードまたはサーバー?
  5. ジョブは次の場所で実行されます... - リードまたはサーバー?
  6. ストリームは次の場所で実行されます... - リードまたはサーバー?
4

1 に答える 1

4

SnappyData はピア ツー ピア クラスターであり、独自のクラスター管理を行います。したがって、Spark ドライバーとエグゼキューターを開始/停止するために、Spark スタンドアロン クラスター マネージャーや Yarn などのクラスター マネージャーは必要ありません。SnappyData リード ノードが開始されると、その内部で Spark ドライバーが開始され、すべての SnappyData サーバー内で Spark エグゼキューターが開始されます。今あなたの質問に答えます:

マスター - リードまたはロケーターは誰ですか?

SnappyData にはマスターがありません。

スレーブ/ワーカーの実行先... - リードまたはサーバー?

SnappyData にはスレーブ/ワーカーがありません。

Executor execute on... - サーバー (これはドキュメントでは簡単に見えます)

正しい。

アプリは次で実行されます... - リードまたはサーバー? ジョブは次の場所で実行されます... - リードまたはサーバー?

Spark のアプリケーションは、自己完結型の計算セットです。すべての Spark アプリケーションに対して、Spark コンテキストを開始するドライバーが起動されます。Spark コンテキストは、アプリケーションを調整します。アプリケーションが終了すると、コンテキストとドライバーはなくなります。ある意味では、SnappyData は、Spark コンテキストを開始し、リード ノード内で実行し続けるため、実行時間の長い Spark アプリと呼ぶことができます。SnappyData ジョブは、すでに実行中の Spark コンテキストによって実行されるリード ノードに送信できます。そのため、リード ノード (Spark ドライバー) は、実際にタスクを実行するサーバー (Spark エグゼキューター) でジョブをスケジュールします。

ストリームは次の場所で実行されます... - リードまたはサーバー?

Spark の実行は変更されません。ストリーム ジョブがリード ノードに送信されると、利用可能なサーバーの 1 つに受信者が作成され、受信したデータのジョブがスケジュールされます。

于 2016-08-10T03:45:03.173 に答える