問題タブ [filebeat]

私はいくつかの奇妙な問題を抱えていますfilebeat

Cloud Formation を使用してスタックを実行しており、その一部をfilebeatログ集約のためにインストールして実行しています。

をマシンに挿入して/etc/filebeat/filebeat.ymlから、再起動する必要がありfilebeatます。

問題はfilebeatハングすることです。プロビジョニング全体がスタックしています（マシンに ssh して「自分自身を発行すると、プロビジョニング全体がスタックしなくなり、続行することに注意してください）。セクションとcloudformation::init のセクションのsudo service filebeat restart両方を介して再起動しようとしましたが、両方とも下がる。servicescommands

経由で試したことはありuserdataませんが、それは考えられる最悪の解決策です。

理由はありますか？

テンプレートのスニペット。前述のように、これらは両方ともハングします。

私Filebeatはファイルを適切に追跡しています（私が望んでいたので、Logstashフォワーダーからに切り替えましたFilebeat）。

しかし、ログファイルに更新が導入されるたびに、それらは my によって動的に独自に送信されるわけではありませFilebeatんLogstash。

Filebeatターミナルで「sudo service Filebeatrestart」と再度入力して、サービスを再起動する必要があります。

だから私は次の質問があります -

• 1. これが起こっている理由は何ですか??
• 2. FilebeatTCPまたはUDPのどのようなサービスを使用しますか??
• 3. logstash フォワーダーのように送信さFilebeatれるイベントの数を監視するにはどうすればよいですか??Logstash

次の方法でlogstashを構成できるかどうか疑問に思います。

背景情報:

• 毎日、解析する必要がある xml ファイルがサーバーにプッシュされます。

• 後で完全なファイル転送を示すために、同じフォルダーに転送された空の .ctl (カスタム ファイル) を取得します。

• どちらのファイルにも、「feedback_{年}{年日}_UTC{時分秒}_51.{拡張子}」という名前のスキーマがあります (例: feedback_16002_UTC235953_51.xml)。したがって、ファイル名は同じですが、1 つは .xml で、もう 1 つは .ctl ファイルです。

質問：

対応する .ctl ファイルが存在するまで xml ファイルの解析を待機するように logstash を構成する方法はありますか?

編集: filebeat でそれをアーカイブする方法はありますか?

EDIT2: 新しいファイルの処理を開始する前に x 分待機するように logstash を構成できれば十分です。

事前に助けてくれてありがとう

私はelasticsearch、kibana、logstashを1つのvmマシンで使用し、filebeatをスレーブマシンで使用してセットアップしています。hereのチュートリアルに従って、auth.logファイルからsyslogメッセージとログを送信できました。filebeat ログで、メッセージが公開されていることを確認しましたが、json ファイルを送信しようとすると、公開イベントが表示されません (タイムアウトのためにフラッシュ スプーラーのみが表示されます。フラッシュされたイベント: 0)。私のfilebeat.ymlファイルは

まず、私の英語についてお詫び申し上げます。

私は会社のインターンで、Filebeat を使用してログを送信するソリューション ELK を作成しました。

問題は、一度回復すると syslog_pri が常に通知と重大度コード 5 を表示することです。

これが私の構成です：

ログスタッシュ入力:

私のフィルター :

そして、私は次のようなログを受け取ります:

これを投稿しているのは、ドキュメンテーションを見て回ったアイデアが本当に不足しているためですが、何も見つかりませんでした。

このリンク ：

[ https://serverfault.com/questions/735230/why-cant-the-logstash-syslog-pri-filter-see-the-priority-in-syslog-messages] この人も同じ問題を抱えており、成功しました。

誰かがアイデアを持っているなら、それを共有してください。

ありがとう

クライアントで filebeat を使用して ELK サーバーを構成しました。構成は問題ないようですが、kibana でログを検索すると、すべての syslog エントリが次のように 2000 年に参照されます。

/var/log/syslog ファイルを調べると、次のような行があります。

ラインスタートに年はありません。

私の質問は、年を追加する方法またはタイムスタンプを変更する方法です。Debian 8.2 を使用しています ありがとう

Filebeatを使用して、Logstash パイプライン経由でいくつかのログ エントリを Elasticsearch サーバーに送信しています。問題は、ログ ファイルに新しい行を追加するたびに、ファイルのすべてのログ イベントが送信されることです。filebeat 構成ファイルで input_type を stdin に設定してみました。しかし、その場合、ログ ファイルに新しい行を追加しても何も転送されません。

ログ ファイルの内容全体ではなく、新しいログ エントリのみを送信する方法はありますか?

ELK スタックを本番環境に正常にセットアップしました。また、Kibana サーバーでログ (ログは構造化されていません) 出力を確認することもできます。

すべてがうまくいっています。しかし、唯一気になる点は、kibana 内のメッセージが、特定のログ ファイルに書き込まれる 1 行ごとに構造化されていることです。

質問：

そのため、ElasticSearch / Kibana / Logstashで1つのイベントと見なされる最大行数（logstashまたはエラスティック検索に送信する前のファイルビート）でログメッセージをマージ（行のクラブ）する方法はありますか.

注:ログ メッセージは構造化されていないことに注意してください (特定の正規表現パターンはありません)。だからこれは使えません。しかし、max-linesアプローチを試しましたが、kibana のイベントは単一行のドキュメントを示しています。

例。

ログ (ログ ファイル) に次のようなエントリがある場合

ファイル ビートでそれらをグループ化してほしい (ワード マージしたほうがよい)

(例: それらをマージする filebeat の構成。)

最終的に、logstash/elastic に送信されるイベントは次のようになります。

1 イベント (メッセージは ..)

2 イベント (メッセージは .. )

等々 ...

しかし残念ながら、それは各行のイベントを作成するだけです. 添付のスクリーンショットを参照してください。

ここで、私の Filebeat 構成は次のようになります(ログは一般に構造化されていないため、ここでも正規表現を使用できません。上記のログは単なる例です。)

考え ？

注:ファイル ビート バージョン 1.1.0