最近Airflow、タスクを実行するように構成しました。タスクを実行するマスター ノードと 2 つのワーカーがあります。と を使用してクラスターを監視したいと考えていGraphiteますGrafana。私がしたことは、マスターノードにインストールGraphiteして、単純な bash コマンドでテストすることだけでした。ここで、タスクの実行中にクラスターGrafanaを監視したいと考えています。Airflow私はそれを作成 metrics.propertiesして配置しましたspark/conf：
# Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=192.168.2.241
*.sink.graphite.port=2003
*.sink.graphite.period=10
# Enable jvm source for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource
そして、次のフラグを my に追加しましたspark-submit:
--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties
開いた後に見つけることができるのGraphite uiはGraphite->carbon->agents->cluster1-a、いくつかのグラフだけです。私のAirflowクラスターではなく、何か他のものを監視していると確信しています。
多分私はインストールする必要がありgrafana-spark-dashboardsますか？しかし、それはすべてについてYARNであり、私はAirflow管理システムを使用しています。
またはブロックをに追加しCarbonますstorage-schemas.confか？
このブロックはGraphiteダッシュボードに表示されます:
[carbon]
pattern = ^carbon\.
retentions = 60:90d
どのメトリクスSparkが に送信されるかをどうにかして確認できますGraphiteか?