ETL カスケード ジョブの最後に、Elasticsearch -hadoopがHadoop カウンターを使用して公開するHadoop メトリックを使用して、Elasticsearch の取り込みに関するメトリックを抽出しています。
Spark を使用して同じことを行いたいのですが、Spark コネクタを使用したメトリックに関連するドキュメントが見つかりません。
常にではありませんが、通常は EMR (Hadoop) でジョブを実行するため、Spark コネクタは Cascading コネクタと同じ方法で Hadoop を使用している可能性があります。とにかくCascadingのような「MapReduceコネクタ型」だけだと思うので、そんなことはないと思います。
だから私の質問は：
- Elasticsearch Spark コネクタからメトリックを抽出する方法は?
- コネクタが Hadoop カウンターを使用している場合、Hadoop Yarn で実行しているときに Spark から Hadoop カウンターにアクセスする方法を教えてください。
バージョン:
- スカラ 2.11.8
- スパーク 2.1
- ハドゥープ 2.7.2
- エラスティックサーチ-スパーク-20_2.11 5.2.2