apache-spark - Spark に関連して、いくつの Shark サーバーが必要ですか?

Question

私は Spark/Shark を初めて使用し、3 つの Spark ワーカーでクラスターを作成しました。同じ 3 台のサーバーに Shark のインストールを開始しましたが、おそらくそれは不要であり、必要な Shark サーバーは 1 つだけであるという結論に達しています。これについて説明しているドキュメントは見つかりません。Spark/Hive が重い作業を行うため、必要な Shark サーバーは 1 つだけですか? それとも、Spark が存在するすべてのサーバーに配布する必要がありますか?

Answer 1

Shark は Spark アプリケーションです。WordCount や Spark Shell のようなものです。クエリを送信するクライアント マシンにそれが必要です。

Shark JARS がワーカー マシンに存在しない場合は、Spark コンテキストにアタッチする必要があります。

Shark サーバーは、UNIX システムの「スクリーン」のように機能します。この場合、Shark サーバーは Spark のアプリケーションです。Shark コンソールで Shark サーバーに接続し、クエリを送信すると、ユーザーに代わって Spark 上の Shark サーバーによってクエリが実行されます。

Answer 2

Shark が ThriftServer を意味すると仮定すると、(Spark) クラスターごとに必要な Shark は 1 つだけです。

これは、ThriftServer が Spark コア自体に組み込まれたため、Shark が廃止された Spark 1.0.1 にも引き継がれます。