問題タブ [graphite-carbon]

マイナーな処理を行った後、Logstash を使用して AWS CloudFront ログを S3 バケットから Graphite にストリーミングするアラート ソリューションに取り組んでいます。同じタイムスタンプを持つ複数のイベントが発生する可能性があるため (1 秒以内に複数のイベント)、Carbon Aggregator を使用してこれらのイベントを 1 秒あたりにカウントすることにしました。

私が直面している問題は、集約されたウィスパー データベースがデータを削除しているように見えることです。通常のウィスパー ファイルはそのすべてを認識しますが、もちろん、1 秒あたり 1 つ以上のイベントを説明することはできません。

EC2 インスタンスの docker でこのセットアップを実行していますが、これはどのような制限 (CPU、メモリ、ネットワーク、ディスク) にも達していません。

docker インスタンスで見つけたすべてのログを確認し、docker ログを確認しましたが、何も飛び出していません。

私はlogstash出力を設定して、上の行を表示しstdout（欠落していない）、カーボンアグリゲーター用にport 2023設定されているグラファイトに送信します：line-by-line receiver

aggregation-rules.conf非常に単純な 1 秒あたりのカウントに設定されています。

storage-schemas.conf:

リクエストに応じて、私の構成をさらに共有していただければ幸いです。

私はこれでレンガの壁にぶつかりました。さまざまなことを試してきましたが、集約されたささやきデータベースのすべてのデータを見ることができません。

どんな助けでも大歓迎です。

Apache Storm から Graphite まで、うまくメトリックを収集していました。次に、IScheduler インターフェイスを実装するカスタマイズされたスケジューラを開発しましたが、今ではメトリックを収集できません。

これが私のスケジューラです：

storm.yaml ファイル:

このライブラリを使用してメトリックを収集し、Graphite サーバーに送信しています。

IScheduler の「準備」メソッドには TopologyContext がないため、新しいスケジュールでメトリックをインスタンス化する場所がわかりません。

ヒントはありますか？ありがとうフェリペ

私の元のカーボン ストレージ スキーマ構成は 10s:1w、60s:1y に設定され、数か月間正常に動作していました。最近、1s:7d、10s:30d、60s、1y に更新しました。次の bash を使用して、すべてのウィスパー ファイルのサイズを変更し、新しい保持スキーマを反映させました。

whisper-info.py を使用して、正しい保持とデータ ポイントで更新されていることを確認しました。また、ストレージ スキーマ検証スクリプトを使用して、ストレージ スキーマが有効であることを確認しました。

carbon-cache{1..8}、carbon-relay、carbon-aggregator、および collectd サービスは、ウィスパーのサイズ変更前に停止され、サイズ変更が完了すると開始されました。

しかし、Grafana ダッシュボードにチェックインすると、collectd プラグイン グラフに正しいデータ ポイント (1 秒あたりのデータはありますが、データはありません) を含む空のグラフが表示されます。しかし、データを提供しているグラフでは、1 秒ではなく 10 秒ごと (古い保持期間) にデータとデータ ポイントが表示されます。

/var/log/carbon/console.log は問題ないようで、collectd whisper ファイルにはすべて carbon ユーザー アクセス権があるため、書き込み時にアクセス許可が拒否されることはありません。

グラファイト ホストのポート 2003 で ngrep を実行すると、リレーへの接続と送信されているメトリックが表示されます。これらのメトリクスは、8 つのキャッシュのプールから pickle ポートに中継されます。

他の誰かが同様の問題を経験しましたか、または問題をさらに診断するのに役立つ可能性がありますか? ここで何かを見逃しましたか？