1

Apache Spark で一般的なメトリクスを有効にする方法に関するドキュメントは、かなり薄いものです。

インスタンス内で、「ソース」はグループ化されたメトリックの特定のセットを指定します。ソースには次の 2 種類があります。

Spark コンポーネントの内部状態を収集する、MasterSource、WorkerSource などの Spark 内部ソース。各インスタンスは、自動的に追加される Spark ソースとペアになります。

低レベルの状態を収集する JvmSource などの一般的なソース。これらは構成オプションを介して追加でき、リフレクションを使用してロードされます。

すべての例は次の形式です。

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

ただし、これに関するもっともらしいと思われるバリエーションのいずれも、で生成されたメトリックを公開することを許可しませんでしたExecutorAllocationManagerSource

クラスは単体テストされておらず、他のドキュメントや例を見つけることができません。

4

1 に答える 1

1

実際、これらのメトリックは、特別な構成なしで公開されていますExecutorAllocationManagerSource。ただし、関連するコード パスがアクティブな場合にのみ現れます。この場合、それは動的エグゼキュータ割り当てを有効にすることを意味します。

私のクラスターは、動的エグゼキューター割り当てなしで誤って構成されていました。これがオンになっている場合、これらのメトリックは、特別な構成を行わなくても、ドライバー メトリックの下で公開されます。

于 2016-08-25T23:27:54.393 に答える