問題タブ [filebeat]

ELKスタックは初めてです。Windows（ELKサーバー）とVagrant Unix CentOS VM（Filebeat Shipper）を使用して実装しようとしています

手始めに、Unix SyslogをELKサーバーに出荷して、それがどのように機能するかを確認しようとしています

Windows マシンで Logstash の central.conf ファイルを次のように構成しました。

Unix (CentOS - 7) 上の Filebeat YAML は次のように構成されます。

Elasticsearch と Logstash が Windows マシンで正しく実行されている

私は現在、次の2つの問題に直面しています。

1. Unix で filebeat shipper を実行しようとすると、以下のエラーが表示されます

2. Logstash ログを見たとき、「127.0.0.1:5044」ではなく「0.0.0.0:5044」で Beats 入力をリッスンしようとしていることがわかりました。

これら2つの問題は相互に関連していますか、どうすれば解決できますか、誰かが私を助けて、これを機能させるために正しい方向に向けてください。

あなたが提供できる助けに本当に感謝します。

私は現在、ログをログ スタッシュ インデクサー インスタンスに送信し、次に AWS のマネージド エラスティック サーチに送信するログ シッパーとして filebeat を使用するアーキテクチャを使用しています。永続的な TCP 接続が原因で、AWS ELB 複数のログ スタッシュ インデクサー インスタンスを使用して負荷分散を行うことができません。これは、filebeats が常にインスタンスを選択してそこに送信するためです。そこで、redis を使用することにしました。redis をスケーリングし、ELK スタックで可用性の高いコンポーネントにすることがどれほど難しいかを見て、redis のポイントさえ何かを尋ねたいと思います。私は何百万回も読みましたが、それはバッファとして機能しますが、logstash が負荷を処理できない場合に filebeats が logstash へのログの送信を停止した場合、なぜバッファが必要になるのでしょうか。Filebeat は、ログの送信を停止することを知っているほどスマートです。Logstash は、エラスティック サーチがダウンした場合、エラスティック サーチへのログの送信を停止するほどスマートです。したがって、パイプラインは停止します。私は本当にしません

クライアントサーバーからリモートlogstashサーバーにログを送信するFilebeatのようなシッパーをプログラムで作成するにはどうすればよいですか。

ELK と log4j は初めてです。ログ ファイルを 1 行ずつ読み続け、すべての行 (および新しい行) を定義済みの logstash サーバーに送信する Daemonize Java プログラムまたはシェル スクリプトを作成しようとしています。

ファイルを1行ずつ読み取ることができますが、EOFに達するとすぐに閉じます。

さらに、ログファイルを監視し続け、各行をTCP経由でLogstashに送信するデーモン化されたプロセスにしたいと考えています。

誰かが私を正しい方向に導いてくれますか?

ELK スタックやその他の機能を実行しているローカル クラスターに dockerbeats をセットアップしました。dockers (kubernetes を介して制御されるすべてのコンテナー)。Ingensi ( Ingensi dockerbeat Dashboard ) から kibana 用のダッシュボードをセットアップしましたが、グラフのセットアップ中に containerNames フィールドで問題が発生しました。ここで、コンテキストのために、私の docker コンテナーには次のような名前があります。

(同様のコンテナー名を持つ kubernetes のコンテナーのサポートも) [2]: http://i.stack.imgur.com/hvIUG.png k8s_POD.6d00e006_dockerbeats-796n9_default_472faa11-1b3a-11e6-8bf4-28924a2bffbf_3ddcfe44

Kibana でダッシュボードをセットアップすると、同じコンテナーから複数の containerNames を取得するという問題が発生します。たとえば、単一の containerName 出力の代わりに、containerName を小さなセグメントに分割します。

等々...

コンテナー名の形式がダッシュボードを混乱させていると思います (おそらく、名前情報を解析する方法で)。おそらく、すべてのコンテナーの名前をより適切な名前に変更することができます。

しかし、それを行う前に、最初の画像のようにコンテナ名の文字列が壊れないように、コンテナ名の文字列全体を読み込むようにダッシュボードを構成する方法はありますか? (上記のリポジトリから .json ファイルを掘り下げる必要があると仮定します)

誰かがこれに答えたら、前もって感謝します。

私のユースケースは、Kibana からログ ファイルを表示できるように、さまざまなアプリケーションから Elasticsearch にログ ファイルを送信することです。

Filebeat を grok 式用に構成して、アプリケーション チームが最後にログ解析を管理し、中央ログ システム/展開が影響を受けないようにすることはできますか? 可能であれば、Logstash の必要性は疑問です。Filebeat が複数行の式をサポートしていることはわかりますが、メッセージを解析して他の grok 式を定義し、フィールドを追加/削除することはできますか?

ログ ファイルを監視し、ログ スタッシュに送信する filebeat を使用して ELK スタック サーバーを構成しています。監視対象のログが書き込まれなくなった場合にアラートを受け取るように、フィルビートまたはログ スタッシュ レベルでアラート メカニズムを構成することは可能ですか。

サーバーは Solaris(OS) でホストされていますが、Solaris では Filebeat がサポートされていないため、Filebeat をインストールしてログを目的のポートに転送することはできません。ここで誰かがこの問題を解決する方法を提案できますか? サーバーがホストするマシンに Logstash をインストールしないように指示されていることに注意してください。

あなたのアドバイスは非常に期待されています。必要なことをしてください。