マイナーな処理を行った後、Logstash を使用して AWS CloudFront ログを S3 バケットから Graphite にストリーミングするアラート ソリューションに取り組んでいます。同じタイムスタンプを持つ複数のイベントが発生する可能性があるため (1 秒以内に複数のイベント)、Carbon Aggregator を使用してこれらのイベントを 1 秒あたりにカウントすることにしました。
私が直面している問題は、集約されたウィスパー データベースがデータを削除しているように見えることです。通常のウィスパー ファイルはそのすべてを認識しますが、もちろん、1 秒あたり 1 つ以上のイベントを説明することはできません。
EC2 インスタンスの docker でこのセットアップを実行していますが、これはどのような制限 (CPU、メモリ、ネットワーク、ディスク) にも達していません。
docker インスタンスで見つけたすべてのログを確認し、docker ログを確認しましたが、何も飛び出していません。
私はlogstash出力を設定して、上の行を表示しstdout（欠落していない）、カーボンアグリゲーター用にport 2023設定されているグラファイトに送信します：line-by-line receiver
[aggregator]
LINE_RECEIVER_INTERFACE = 0.0.0.0
LINE_RECEIVER_PORT = 2023
aggregation-rules.conf非常に単純な 1 秒あたりのカウントに設定されています。
test.<user>.total1s (1) = count test.<user>.total
storage-schemas.conf:
[default]
pattern = .*
retentions = 1s:24h
リクエストに応じて、私の構成をさらに共有していただければ幸いです。
私はこれでレンガの壁にぶつかりました。さまざまなことを試してきましたが、集約されたささやきデータベースのすべてのデータを見ることができません。
どんな助けでも大歓迎です。