問題タブ [codahale-metrics]

を metrics-json パッケージと組み合わせてSlf4jReporterログに JSON を生成する方法はありますか?

metrics-json をレポーター/ロガーに登録する例はありますか。

タスクまたはジョブが完了した直後にコンソール (Spark Shell または Spark 送信ジョブ) でこれらのメトリクスを収集するにはどうすればよいですか?

Spark を使用して Mysql から Cassandra にデータをロードしていますが、非常に巨大です (例: ~200 GB と 600M 行)。タスクが完了したら、spark が処理した行数を正確に確認したいと思います。Spark UI から番号を取得できますが、spark シェルまたは spark-submit ジョブからその番号 ("Output Records Written") を取得するにはどうすればよいでしょうか。

Mysql から Cassandra にロードするサンプル コマンド。

上記のタスクのすべての Spark UI メトリックを主に出力サイズと書き込みレコードを取得したいと考えています。

助けてください。

御時間ありがとうございます！

com.codahale.metrics.JmxReporter を使用して、アプリケーションのカスタム ゲージ タイプ メトリックを JMX にプッシュしようとしています。
JMXReporter はデフォルトでメトリックをエンドポイント/metricsにプッシュし、.valueという属性をメトリック名に追加するようです。たとえば、カスタム メトリック名が app.test.count の場合、JMXReporterはこのメトリック名をapp.test.count として報告します。値(エンドポイントメトリックの下)。

では、この.value属性をメトリック名に追加しないように JMXReporter を作成する方法はありますか? ここで、InfluxDBReporter のすべてのゲージ タイプのメトリックに .value が追加されることがわかりました。それで、これはJMXReporterと同じですか？

その場合、メトリック名 I need を使用してメトリックを JMX にレポートする方法は他にありますか。

metrics-clojure http://metrics-clojure.readthedocs.io/en/latest/リストのゲージ、カウンター、メーター、タイマー、ヒストグラムを使用しています。

私が望むのは、代わりに番号を報告することです。カウンターにそっくりだけどセット付き！inc!/dec! の代わりに演算 または値を受け入れるメーター。

1 つの使用例は、イベントのバッチを処理することです。バッチを監視するメーターを作成できますが、レポート側で正しい単位を使用できるようにバッチ サイズを含めることをお勧めします (したがって、バッチ数ではなく処理されたイベント数をプロットできます)。

もう 1 つの使用例は、時間の経過とともに変化する数値のプロットを生成することです。繰り返しますが、イベントを処理していて、これまでに見たイベントの一意の組み合わせをイベントごとにプロットしたいと思いました。

これはゲージで少し偽装できます。アトムを作成し、ゲージにアトム値を報告させ、コードにアトム値を設定することはできますが、ゲージがいつ値を報告するかを制御することはできません。したがって、値はゲージがクエリされた時点でのみプロットされますが、より具体的な時点 (バッチの終わり、バッチの間隔、またはすべてのイベントなど) で値を記​​録したい場合があります。

そしてそれは複雑なようです。

助言がありますか？

私は、インストルメンテーションに codehale メトリクスを多用するシングル ボックス アプリケーションに取り組んできました。現在、クラウドに移行しており、アプリケーションが分散されているときにメトリックを監視する方法について、以下の質問があります。

• メトリクス データを Cassandra に書き込めるメトリクス レポーターはありますか?
• データベース内のサーバーごとにレコードがある場合、集計はいつ、どのように行われますか?
• メトリック データがデータベースに保存される時間間隔を定義できますか?
• これを達成するために利用できる組み込みのフレームワークはありますか?

たくさんのおかげで、あなたのすべての助けに感謝します.

タイトルが示すように、私は上記のスタックを使用して、時間の経過に伴う特定のメソッド呼び出しの頻度を把握しています。

これは、コードでメトリクスの収集を設定する方法です。

これは、Grafana でグラフを構成する方法です。

結果のグラフは次のようになります。

ご覧のとおり、メソッド呼び出しがない場合、行は最新の値でスタックしています。アプリケーションを停止したときに発生した 0 へのドロップがいくつかあります (最初に 2 つの大きな「こぶ」と最後にもう 1 つの「こぶ」の直後)。

最後のマークから時間が経過すると、ラインが 0 に落ちるべきではありませんか? たとえば、アプリケーションが開始され、いくつかのメソッド呼び出しが発生し、各メソッド呼び出しの間に 1 秒が経過し、約 30 秒後に行が 0 に戻り、そこにとどまります。このような：

• 00:00アプリケーションの開始 (ラインは0にあります)
• 00:01メソッド呼び出し (行は1に移動)
• 00:02メソッド呼び出し (行は2に進みます)
• 00:03メソッド呼び出し (行は3に進みます)
• 00:04 何も起こりません(行は3のままです)
• 00:05 何も起こりません(行は3のままです)
• ...
• 00:30 何も起こらない(行が0に落ちる)

代わりに、この場合のメーターはカウンターと同じように動作するように見えます-アプリケーションのライフサイクル全体の値を増やします。

編集:表示スタイル -> ヌル ポイント モード -> ゼロが設定されている場合でもグラフがどのように見えるかを次に示します。表示スタイル→ヌルポイントモード→ヌル設定でもグラフは全く同じように見えます。

更新: 応答が遅れて申し訳ありません - 最近、この問題に戻ってきました。問題の根本的な原因を突き止めました - 基盤となるデータベースがカスタム メトリクス レポーターを備えた InfluxDB であり (InfluxDB の公式レポーターはありません)、レポーター ロジックにバグがあったことが原因でした。

助けてくれてありがとう。