Logstash、redis、elastic search、kibana を使用してデモ環境を作成しました。( http://indico.cern.ch/getFile .....
ここで、logstash シッパーは、syslog-ng を使用して一元化したログ ファイルからログを読み取っています。Loogstash シッパーはそれを redis に転送し、次に Logstash インデクサー (フィルター) に転送し、最後に Elasticsearch に転送します。
ここで、logstash シッパーと redis の部分をスキップしたいと思います。これは良い考えですか？または redis が必須または重い負荷を処理する必要があります。私はそれについてはよく分かりません。
上記のpdfリンクで、Logstashのバッファリングが低く、redisが使用される理由であるログの流れをredisが管理していることを読みました。redis はデータをメモリに保持するため、メモリがいっぱいになるとどうなりますか? また、Logstash と Elasticsearch は、RAM の使用量に関して非常に空腹になる可能性があることもお読みください。JVM オプションを適切に調整する必要があります。もしそうなら、JVMを調整する方法は?
エラスティックサーチのデータ/インデックスをパージ/ローテーションする必要はありますか?
では、重い負荷に最も適しているのはどれでしょうか? [システム (OS およびデーモン) ログ、syslog、Web サーバー ログ (apache、lighttpd)、アプリケーション サーバー ログ (tomcat)、データベース サーバー ログ (mysql)、いくつかのアプリケーション ログ (ログファイル経由)] などのログを解析したいと考えています。
改善のための提案をしてください。ありがとう ！！！。
IMAGE の次のリンクを見つけてください。
( http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg )
