問題タブ [logstash]

Python ログ ファイルの解析に logtash を使用したいのですが、それを行うのに役立つリソースはどこにありますか。例えば：

20131113T052627.769: myapp.py: 240: 情報: ユーザー Niranjan ログイン

ここでは、時間情報といくつかのデータ情報を取得する必要があります。

logstash が提供するドキュメントを読んでも、まだ少し混乱しています。Android アプリの作成を計画しており、アプリのアクティビティをログに記録したいと考えています。ログはネットワーク経由で送信されます。logstash は適切なソリューションではありませんか? ログを生成するシステムに「エージェント」をインストールする必要があるためです。

アプリのアクティビティからログを保存できるシステムが必要ですが、収集したログをプレーン テキスト ファイルにエクスポートできる必要もあります。logstashがelasticsearchに出力できることは知っていますが、同時にプレーンテキストファイルにエクスポートできるかどうかはわかりません。それとも、これは ElasticSearch が行うべきタスクですか?

あなたが提供できる情報に感謝します

Logstash を使用して Glassfish 4 ログファイルを ElasticSearch シンクに送信しています。Logstash でメッセージ フィールドの末尾の改行を削除するにはどうすればよいですか?

私のイベントは次のようになります。

cygwin を使用して Windows に redis-2.6.16 をインストールしようとしています。エラーを下回っています。
どんな助けにも感謝します。ありがとう。

Elasticsearch サーバーでの平均クエリ時間とフェッチ時間の計算方法を教えてください。http://mysearver.com:9200/_statsで、query_time と fetch_time がわかります。ただし、この値は検索ごとに増加し続けます。クエリの平均クエリ時間とフェッチ時間が必要で、グラフにプロットします。

query_time/query_total を試しましたが、この値もクエリごとに増加し、クエリが停止した後もそのままです。

これは私がこれまでに試したことです

Logstash、redis、elastic search、kibana を使用してデモ環境を作成しました。( http://indico.cern.ch/getFile .....

ここで、logstash シッパーは、syslog-ng を使用して一元化したログ ファイルからログを読み取っています。Loogstash シッパーはそれを redis に転送し、次に Logstash インデクサー (フィルター) に転送し、最後に Elasticsearch に転送します。

ここで、logstash シッパーと redis の部分をスキップしたいと思います。これは良い考えですか？または redis が必須または重い負荷を処理する必要があります。私はそれについてはよく分かりません。

上記のpdfリンクで、Logstashのバッファリングが低く、redisが使用される理由であるログの流れをredisが管理していることを読みました。redis はデータをメモリに保持するため、メモリがいっぱいになるとどうなりますか? また、Logstash と Elasticsearch は、RAM の使用量に関して非常に空腹になる可能性があることもお読みください。JVM オプションを適切に調整する必要があります。もしそうなら、JVMを調整する方法は?

エラスティックサーチのデータ/インデックスをパージ/ローテーションする必要はありますか?

では、重い負荷に最も適しているのはどれでしょうか? [システム (OS およびデーモン) ログ、syslog、Web サーバー ログ (apache、lighttpd)、アプリケーション サーバー ログ (tomcat)、データベース サーバー ログ (mysql)、いくつかのアプリケーション ログ (ログファイル経由)] などのログを解析したいと考えています。

改善のための提案をしてください。ありがとう ！！！。

IMAGE の次のリンクを見つけてください。

( http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg )

私のLogstashシッパーでは、ハッシュ文字でコメントされた行を除外したい:

フィルターを使用することはできましたが、推奨されていない (廃止予定) ため、代わりにフィルターをgrep取得しようとしています。grokこのフィルタは機能していません:

また、正規表現をカスタム パターン ファイルに配置しようとしましたが、役に立ちませんでした。何か案は？

I am trying to read log files using logstash. I used grok to parse a number in the message into a number and store it as a field. But as far i see, i only got Kibana to graph the number of times a message occured over time.

I didnt have any luck using Kibana to graph more than just the number of times a message occurs.

Example of my message :

I extract/create COUNT and TIME fields to store the corresponding values 58 and 2392..I want to graph the different values of COUNT and TIME over the last 5mins or 10mins rather than the number of times they occured in the log files over time.

Tried it on the live demo but on my kibana localost console i get this error

Any help is greatly appreciated.