問題タブ [filebeat]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - filebeat カスタム フィールドの生成
エラスティックサーチ クラスター (ELK) があり、いくつかのノードが filebeat を使用してログを logstash に送信しています。私の環境のすべてのサーバーは CentOS 6.5 です。
各サーバーの filebeat.yml ファイルは、Puppet モジュールによって適用されます (実稼働サーバーとテスト サーバーの両方が同じ構成になっています)。
各ドキュメントに、本番/テストサーバーからのものかどうかを示すフィールドが必要です。
filebeat.yml ファイルを使用して、すべてのドキュメントで環境 (本番/テスト) を示す動的カスタム フィールドを生成したいと考えていました。
これを解決するために、環境を返すコマンドを実行することを考えました (環境を知ることは可能です)。 filebeat.yml ファイルの「環境」カスタム フィールドの下に追加しますが、何も見つかりませんでした。その方法。
filebeat.yml からコマンドを実行できますか? 私の目標を達成する他の方法はありますか？
elasticsearch - filebeat はファイル内の新しいコンテンツをどのようにチェックしますか?
filebeat は tail -f を使用してファイル内の新しいコンテンツをチェックし、それを目的の出力にフラッシュしますか? または、ファイル内の新しいコンテンツをチェックする他の方法はありますか?
json - NGINX ログ フィルター $upstream_response_time JSON ELK "-" parsefailure
JSON 形式の NGINX ログがあります。
私のログは filebeat によって取得され、次の構成を持つ Logstash に送信されます。
私が抱えている問題は $upstream_response_time です。応答時間がない場合、NGINX はこの投稿に「-」を付けます。ご覧のとおり、$upstream_response_time の前後に "" を付けていません。これは、Kibana でこれを使用して計算を実行して表示できるように、数値として使用したいためです。「-」が送信されると、数値ではないため、Logstash で jsonparsefailure を取得します。
すべての「-」を 0 に設定したいのですが、これを行う最善の方法は何ですか? nginx-configでフィルタリングしようとしても成功しませんでした。parsefailure が発生する場所であるため、Logstash に出荷される前に行う必要があると思います。
何か案は？
elasticsearch - Filebeat > Logstash なしで Filebeat を使用して Elasticsearch にデータを送信することは可能ですか
ELK初心者です。Logstash なしで最初に Elasticsearch と Filebeat をインストールしました。Filebeat から Elasticsearch にデータを送信したいと考えています。Filebeat をインストールし、ログ ファイルと Elasticsearch ホストを構成した後、Filebeat を起動しましたが、Filebeats が予測するログ ファイルに多数の行があるにもかかわらず、何も起こりませんでした。
Logstash をまったく使用せずに、ログ データを Elasticsearch ホストに直接転送することは可能ですか? 私
elasticsearch - 再インストールされた Filebeat が以前のログがすでに Elasticsearch にロードされていることを認識している理由
以前は Filebeat を使用して、logstash を介して Elasticsearch にログ データをロードしていましたが、もう一度試してみたいと思います。そこで、Filebeat を再インストールして Elasticsearch のデータを空にしてから、Filebeat でログ データを Elasticsearch にリロードしようとしました。ただし、Filebeat は、Elasticsearch データ ストレージが空になっても、データが 1 回読み込まれたことを認識しています。Filebeat は、ログ データが以前にロードされたことをどのように認識していますか? また、すべてのログ データを再度読み込みたい場合は、どうすればよいですか?
elasticsearch - Filebeat with ELK > ログ ファイルごとに効率的にインデックスを作成する方法
Filebeat(s) を使用して、Logstash を使用して、各ノードの所定のディレクトリから共通の Elasticsearch データベースにログ ファイルをコピーする予定です。たとえば、ソース ディレクトリには同じログ形式の10 個のログ ファイルがあり、それらは毎日高速で拡大しています。
これら 10 個のログ ファイルのログ形式は同じですが、10 個の異なるプログラムによって生成されます。したがって、長期的には、ログ ファイルごとに 1 つのインデックスを作成することをお勧めします。つまり、それぞれが 1 つのログ ファイルに対応する10 個のインデックスを作成することです。まず、これは適切なプランですか? それとも、インデックスは毎日生成されるため、すべてのログ データに対して 1 つのインデックスだけで十分ですか?
ログ ファイルごとにインデックスを作成するのが賢明な場合、この目標を達成するにはどうすればよいでしょうか? filebeat.yml では 1 つのインデックスしか定義できないようです。したがって、1 つの Filebeat を使用して複数のインデックスを生成することは不可能です。そのための良い解決策はありますか？