hadoop - 神経節を拡張するには？

Question

ganglia をインストールした後、Web UI には、次のように、ディスクに関する基本的なメトリック情報が表示されます。

しかし、ganglia のデモ Web サイトでは、ここを参照してください。次のように、ディスク iostat に関する多くのメトリックが 表示されます。

github に多くの ganglia モジュールがあることは知っていますが、使い方がわかりません。私は神経節の初心者です。どうすればよいか教えてもらえますか? どうもありがとうございました。

Answer 1

神経節に Spark メトリクスを表示する 2 つの手順:

1. 神経節をサポートしてスパークを再構築する

   Spark のプレリリースには、ライセンスの問題、Spark の Apache 2.0、および ganglia の LGPL に対する ganglia のサポートは含まれていません。

   通常、build/mvn -Pspark-ganglia-lgpl -Pother_profiles_to_enable -DskipTests clean package自分で再構築しても問題ないはずです。ここで、spark ビルドのカスタマイズに関する詳細情報を見つけることができます。

2. を使用してメトリクスを設定するconf/metrics.properties

   まず、モニタリングとインストルメンテーション、およびメトリクス構成テンプレートを読むことをお勧めします。

   メトリクス システムは、内部コンポーネントに対応するインスタンスに分割されます。各インスタンスは、そのメトリックを 1 つ以上のシンクに報告するように構成できます。[instance] に使用できる値は、「master」、「worker」、「executor」、「driver」、および「applications」です。

   「シンク」は、メトリックの配信先を指定します。各インスタンスには、1 つ以上のシンクを割り当てることができます。

ganglia はシンクの 1 つであり、次のように構成できます。

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink
*.sink.ganglia.host=239.2.11.71
*.sink.ganglia.port=8636
*.sink.ganglia.period=10
*.sink.ganglia.unit=seconds
*.sink.ganglia.ttl=1
*.sink.ganglia.mode=multicast