問題タブ [logstash-forwarder]

複数のサーバーに散在するドッキングされたアプリケーションのセットがあり、ELK を使用して本番レベルの集中​​ログをセットアップしようとしています。ELK 部分自体には問題ありませんが、ログをログスタッシュに転送する方法について少し混乱しています。負荷分散機能があるため、Filebeat を使用しようとしています。また、Filebeat (またはその他のもの) をすべての Docker にパックすることを避け、Docker 化するかどうかにかかわらず、分離したままにします。

どうすれば続行できますか？

私は次のことを試してきました。私のDockersはstdoutにログオンするので、docker化されていないFilebeatがstdinから読み取るように構成されているため、次のようにします。

docker ログ -f mycontainer | ./filebeat -e -c filebeat.yml

それは最初はうまくいくようです。最初のログはログスタッシュに転送されます。私が推測するキャッシュされたもの。しかし、ある時点でスタックし、同じイベントを送信し続けます

それは単なるバグですか、それとも間違った方向に向かっていますか? どのようなソリューションをセットアップしましたか?

次のようにファイルに複数行のログが書き込まれています。

ただし、以下の行は、最初のトレースの各行にあります。

情報 | jvm 1 | メイン | 2014/11/06 13:41:30.112 |

この行を最初の「ERROR」の近くに残し、行のこの部分を grok でトレースにドロップし、Logstash で単一のメッセージとして完全なトレースを取得する方法を知っている人はいますか? 他のソリューションは大歓迎です。

logstash フォワーダー クライアントからのログのフローを制御したいのですが、今のところ、ログ ファイル全体を最初から読み取るため、プロジェクトでは必要ありません。

2015 年 11 月 10 日より前のログを logstash サーバーに転送しないようにします。できる方法はありますか。

Azure プラットフォームでホストされている Web アプリと、Azure の仮想マシン (同じサブスクリプション) でホストされている ELK スタックがあり、アプリからログスタッシュにログを送信する方法を見つけるのに苦労しています。

Web アプリは、logstash に入力プラグインがない FTP 経由でのみアクセス可能なストレージにすべてのファイルを保存します。

Web アプリから ELK にログを送信するために人々は何を使用しますか? VM として実行されている場合は NXlog を使用しますが、それは Web アプリでは不可能です。

また、Log4Net を使用し、パブリック UDP エンドポイントを追加したにもかかわらず、ローカルの ELK スタックで動作する UDP フォワーダーを試しましたが、Azure でホストされたスタックでは動作しませんでした。

ダミーのログファイル:

複数行から同じ ID の行をマージし、単一のイベントと見なすと予想される結果。