Graylog の使用に問題があります。メッセージ行を含むプレーン ログ ファイルを取り込もうとしています。しかし、Graylog がログ ファイルの内容を完全に消費していないことがわかりました。つまり、Graylog はログ ファイル内の 1000 行のメッセージから 800 行しか消費しません。
すべてのコンポーネントのログを調べましたが、エラー メッセージは見つかりませんでした。
Web コンソールで確認しました。緑色の状態ですべて問題ありません (Elasticsearch シャード)
以下は、単一ノードマシンでの私のセットアップです
マシン情報
- CentOS リリース 6.7 (最終版)
- CPUコア：3
- メモリ合計: 12GB
ただし、このマシンでは複数のアプリケーションが実行されているため、ここではリソースが限られていますが、POC 目的で Graylog をセットアップしようとしていたため、おそらく問題ありません。
申請の流れ
約 60 のリモート マシン クライアントがあり、それぞれがログ ファイル (約 24MB/ファイル/時間) を生成します。このログ ファイルには、サポート サービスのニーズのために Graylog によって取り込まれる必要があるメッセージが含まれています。
本番モードに関しては、Nifi を使用してログ ファイルを ftp 経由で Graylog サーバーにフェッチするカスタム コレクターについて考えました。POC では、Graylog コアと Web UI、MongoDB、ElasticSearch を展開するために単一のマシンを使用します。必要なのは、Graylog サーバーのローカル ディレクトリに既に存在するログ ファイルの取り込みをシミュレートすることだけです。NX Log を使用してファイルを消費し、後で Graylog コアによって処理される出力として GELF をスローします。
ログ ファイルは、Graylog によって迅速に (リアルタイムで) 取り込まれると想定されますが、前に述べたように、Graylog はタスクの途中で停止したように見えます。この問題は以前に発生し、すべてを再起動しただけで、Graylog はタスクを再開しましたが、残念ながら私はそうしませんでした。完全性をチェックしないでください。
Graylog の構成ファイル
elasticsearch.yml : http://pastebin.com/eerR9LNb
nxlog.conf : http://pastebin.com/cN20rFnr
server.conf : http://pastebin.com/Nqp44wBH
コレクターサイドカー.yml : http://pastebin.com/YkbX4Mh9
Web コンソールを介した Graylog の構成セットアップ
入力
Raw / Plain GELF UDP 受信バッファ サイズ 1048576 解凍サイズ制限 8388608
コレクターのサイドカー構成
ここに NX ログの入力と出力を追加し、URL、ポート、入力ファイル形式 (正規表現) などの構成依存変数のみを追加し、チェックリスト ボックスには触れませんでした。
デコレータ
私のパートナーは、書式文字列 +${ORIG_ADDRESS_ADDRESS} とターゲット フィールド ORIG_ADDRESS_ADDRESS のデコレータを使用しました
抽出器
ここでも、私のパートナーはエクストラクターを使用していましたが、この現在の問題に気付いたとき、彼はエクストラクターを削除しましたが、この問題がまだ発生していることに気付きました