そのため、ユーザーが大量のデータを「読み取り可能」にするためのアプローチを考え出す必要があり、elasticsearch + kibana を使用するアプローチと MRTG などを使用するアプローチの違いを誰かが指摘できるかどうか疑問に思っていました。より傾向に焦点を当てたデータ分析に適しているのはどれですか?
2 に答える
Elasticsearch は、テキストなどの構造化データの保存に効果的です。Logstash のユース ケースは、効果的なクエリのためにデータを構造化する方法の一例です。
MRTG/RRD は、時間間隔データを測定するために使用されるツールです。X時間単位ごと、ログ値Y。MRTG/RRDはテキストの保存には効果的ではなく、その仕事はElasticsearchのユースケースに触れていません。
すでに Logstash をインストールして実行している場合は、Graphite を検討することをお勧めします。Logstash は、Graphite または Statsd に対してイベントを発生させたり、イベント データを ElasticSearch に保存したりできます。Graphite/Carbon の良いところは、MRTG のように時間間隔に縛られていないことです。好きなだけ、または頻繁に、Graphite に情報を送信することができます。
他の回答で示した使用例は、グラファイトまたは同様のツールの優れた使用法です。Graphite で多くの値ベースのイベントをグラフ化してレポートし、Elasticsearch を使用してデータをイベントに関連付けることができます。(ES や Graphite との統合があるという意味ではありません。Logstash を使用してイベントをプッシュすると、時刻を簡単に見つけることができます。)
あなたが言及した2つのアプローチは、根本的に異なるタイプのデータに対するものです。
データが、ルーター インターフェイスからのトラフィック レートの 5 分間のサンプルや温度センサーからの 1 分間のサンプルなど、定期的なタイムスタンプ付きの一連のメトリック値で構成されている場合、MRTG (または、バックエンド データベースである RRDTool) )はこれを行うのに優れています。データが不規則である場合でも可能ですが、RRDTool データベースの設定をカスタマイズして、「不明な」領域が大きくならないようにする必要があります。RRDTool は、ログに記録しているメトリックのトレンド分析を行うことができますが、これは MRTG 経由では行われません。RRDTool 関数を直接呼び出す必要があります。
データがテキスト ログ エントリ (イベント) の不規則なシーケンスであり、解析可能な位置データを含む可能性があり、ドリルダウンして個々のイベントを表示する前に、イベントの数またはレートに関心がある場合は、Logstash/Kibana がその方法です。行く。時間の経過に伴うイベント率のグラフが表示されますが、傾向分析は提供できないと思います。また、イベント ログ テキスト内に埋め込まれた解析済みデータのグラフ分析も提供しません。Logstash/kibana は、Syslog、Eventlog、アプリケーション ログ (Apache ログなど) など、特定のパターンに一致するイベントが時間の経過とともに発生した回数のパターンを確認することに関心がある場合に最適です。
データの実際の性質や、ユーザーが必要とする「読み取り可能な」分析の種類について十分な情報を提供していないため、これは必然的に機能の概要です。