問題タブ [collectd]

理解するのを手伝ってください。RRDTool ベースの更新に関する簡単なスクリプトをオフサイトで見つけました。

しかし、私にとっては、すべてのサーバーに対して 1 つの rrd ベースを作成する必要があります。最善の方法を理解し、これを行う方法をいくつか教えてください。すべてのサーバーからデータを rrdtool ベースに送信して更新しますか? または、サーバーからすべてのデータを取得して、rrdtool をローカル レベルで更新しようとしますか?

AWS の自動スケーリング グループにインスタンスをセットアップしました。スケーラビリティのニーズを判断するために、メトリックを収集したいと考えています。Collectd、これまでのところ、同じマシンで統計を収集し、すべてを RRD ファイルに入れることがわかっています。ただし、自動スケーリング クラスターのシナリオで、別のインスタンスが生成され、それが生成された AMI が既に collectd を持っていると仮定すると、グループ内のその 2 番目のインスタンスの統計をどのように収集すればよいでしょうか? 5 ～ 6 分間稼働したまま停止する場合もありますが、停止する前にログが必要です。これらのログを同じクラスターまたは類似のものにクラブ化する方法はありますか? または、collectd でオンラインのどこかに報告できるとしたら?

statsd と collectd の使い方について質問があります。

インターネットでどこを見ても、statsd/collectdを使用してアプリケーション/システムに関するメトリック情報を収集する例しか得られません。

私の質問は: statsd/collectd を使用して、システム パフォーマンス関連のデータではない他のデータセットに関する統計情報を収集できますか?

これを使用して、時系列分析 (過去 15 分間または過去 15 日間など) で、Web サイトにアクセスしている上位 10 または上位 15 のユーザー/URL の情報を取得できますか?

この点に関する関連リンクやドキュメントは大歓迎です。

また、このデータを Elastic Search にも保存できるかどうか知りたかったのです。これに関するドキュメントも私にとって最も関連性があり、大歓迎です。

ありがとう

StatsD と Riemann の違いは何ですか? また、大規模な分散システムでどちらがより優れたパフォーマンスを発揮するでしょうか? Java で構築された分散プラットフォームがあり、アプリケーションのメトリックと、おそらくいくつかのアラートを監視したいと考えています。インストルメンテーションは無料ではないことを理解しているため、理想的には、プラットフォーム/アプリに最小限のインストルメンテーション コストを追加し、あらゆる種類の集計などを実行できる、非常にスケーラブルなアプリケーション監視フレームワークを探しています。また、両方を組み合わせたものを構築できることも理解していますが、その理由が思いつきません。どちらも集計などを行っているようですが、どちらがより適しているか、または一方が他方よりも優れている理由を特定できません。誰かが業界でこれらのツールに関する経験を共有できれば、大きな助けになります。

私のcollectdはポート25826でlogstashにデータを送信していますが、logstashを実行するとこのエラーが表示されます

ここで解決策を知っている人はいますか？

300Mのメモリ制限と CPU-1 コアでデプロイされた Docker コンテナがあります。コンテナが起動してプログラムが実行されると、メモリ制限が 300M に、CPU が 1 番目の CPU コアに適用されます。

ただし、コンテナー内で実行される collectd は、制限されたコンテナー (300MB RAM) ではなく、実際のボックス ( 16 GB RAM ) のメモリとスワップ メモリのメトリックをプッシュします。

不足している構成はありますか?

Docker 実行コマンド:

グラファイト メトリック:

グラフに見られるように、メトリクスは 300MB を超える RAM に対してプッシュされています。実際のボックスで (4 GB を超える RAM を使用する) 高性能コードを実行すると、コンテナー内の collectd も使用される RAM を急増させます。

そのため、docker コンテナー内からメトリックを収集してプッシュすることはありません。

collectd.conf:

collectd_perf.conf:

小さなクラスターのグローバル リソース モニタリングを導入しようとしています。選択されたスタック: - データ収集用のノード上の collectd - 公式の docker コンテナを使用したバックエンドとしての influxdb - 公式のコンテナを使用したフロントエンドとしての grafana コンテナは中央サーバーで起動されます。Grafana は influxdb ソースに接続でき、collectd エージェント (collectd.conf のネットワーク プラグイン) と influxdb (collectd プラグインを含む influxdb.conf) を更新して、それらが相互に通信できるようにしました。

しかし、データが表示されません...確認するログはあまりありませんが、確かにinfluxdbデータファイルは空であり、クエリ時に何も表示されません.

そのような文脈を経験した人はいますか？どこを掘ればいいの？

collectd conf の抜粋:

流入データベース設定: