問題タブ [filebeat]

docker コンテナーを介して Mesos にデプロイされ、stdout および stderr にログを記録する一連のサービスがあります。現在 ELK を導入しているため、このログ データを Logstash に送信する必要があります。

私が検討している解決策の 1 つは、サービス プロセスを開始し、stdout と stderr をキャッチし、それをファイル (時間の経過とともに切り詰められる) に書き込み、FileBeat にそのファイルを LogStash に送信させるラッパー プロセスを用意することです。私は車輪の考えを再発明しているように感じます.同じことを達成するためのより直接的な方法はありますか?

私は Kafka から消費し、Hadoop と Elasticsearch にデータを保存しようとしています。私は現在これを行う 2 つの方法を見てきました: Filebeat を使用して Kafka から消費し、それを ES に送信する方法と、Kafka-Connect フレームワークを使用する方法です。Kafka-Connect-HDFS および Kafka-Connect-Elasticsearch モジュールがあります。

ストリーミング データの送信にどちらを使用すればよいかわかりません。ある時点で Kafka からデータを取得して Cassandra に配置したい場合は、そのために Kafka-Connect モジュールを使用できますが、Filebeat にはそのような機能はありません。

Zabbix のログ データを ELK スタックにフィードして、タイミングの相関関係を調べようとしています。ただし、Logstash 集中サーバー構成によって指定されたフィルターを取得していません。Filebeat を使用して、処理のためにログ エントリを Logstash に送信しています。ただし、このfields.tags行は Logstash によって認識されていませんが、Elasticsearch/Kibana では表示されています。ここに私の設定があります。

そして、私のLogstash構成ファイル

Logstash は行に作用しておらずfields.tags、Filebeat から渡されたログ行をフィルタリング/カットしています。これらの変数に正しくアクセスしていますか? 他のファイルでも同様のことを行いますが、Logstash がエージェントとして機能し、ファイルから直接読み取りを行っている場合のみです。

ログファイルでいっぱいのディレクトリがあり、それぞれに「log.2016-09-26」という名前が付けられていますが、それらはずっと前にさかのぼります。私は filebeat を使用してこのディレクトリからこれらのログを取得していますが、私の問題は、過去 2 週間または 14 日間しか取得できないことです。Filebeat は、正規表現を使用して、除外するファイルを除外することを望んでいます。これらのログをフィルタリングする最良の方法は何ですか?

filebeatこれを配送ログのパスとして使用しています。出力はelasticsearchです。

ログは既に JSON でフォーマットされています。ログの出所をインデックスに反映させたいだけです。私のシナリオでは、誰でもabcd.logログ フォルダーにファイルを配置できます。これらのログをインデックスfilebeat-abcd-19.05.2016などに送信したい。ログは事前にフォーマットされているため、間にログスタッシュは必要ありません。現在、それらはfilebeat-dd.mm.yyyy形式になっています。基本的には間にファイル名を含めたいです。Logstashなしでそれを行うにはどうすればよいですか?

ログ集計・分析用に ELS と Kibana を導入しています。それを使用する最初のシステムはグリーンフィールドであるため、システムを構成するサービスから構造化ログを出力します。ログに構造を追加する必要がないことを考えると、FileBeat を使用してログを ELS に直接送信し、LogStash を使用しないことを計画していました。これは賢明なオプションですか、それとも LogStash には必要な解析以上の価値がありますか? LogStash を使用する場合、それを使用してログ ファイルを収集できますか、それとも FileBeat を使用してログを LogStash に送り込む必要がありますか?

次のように、単一のファイルから入力を取得する filebeat.yml で Filebeat の複数行パターンを使用しています。

ファイルビート.yml

上記の構成を使用して、行の「識別子」を一致させます。出力は希望どおりにする必要があります

1 つのサーバーで複数のアプリケーションを実行しています。filebeat を使用して、それぞれのログを logstash に送信したいと考えています。ただし、構成管理のために、アプリごとに個別に filebeat に構成を追加できるようにしたいと考えています。

Logstash はconf.dディレクトリから構成を読み取ります。そこにファイルを追加でき、logstashがそれらをロードするときにそれらが結合されることは私の理解です。filebeat に同様の機能はありますか? filebeat.ymlそれとも、サーバーごとに 1 つのファイルを維持することにこだわっていますか?

エラスティックのリポジトリの yum/rpm パッケージを使用して、CentOS 7 でサービスとして filebeat と logstash の両方を実行しています。Filebeat はバージョン 1.3.1 で、logstash はバージョン 2.4.0 です。