mapreduce - Spark Master が実行されていたマシンに障害が発生した場合に Spark Master を回復する方法

Question

マシン A に 1 つの Spark マスターがあり、別のマシン B と C に 2 つの Spark ワーカーがあります。何らかの理由でマシン A に障害が発生した場合、この場合、Spark マスターは停止します。

Spark Master を回復する方法、または別のマシンで新しい Spark Master を自動的に作成する方法はありますか?

誰でもこれを解決するのを手伝ってもらえますか?

前もって感謝します。

よろしく、 アユシュ

Answer 1

最近のプル リクエストでは、ZooKeeper を使用したスタンドアロン マスターのフォールト トレランスのサポートが追加されました。そのプル リクエストはマスター ブランチにマージされたばかりなので、この機能は 0.9.0 リリースに組み込まれる必要があります。それまでの間、Spark の開発バージョンをビルドして試すことができます。