問題タブ [logstash]

Apache ファイルを解析するために Logstash をインストールしました。設定を正しく行うのにかなりの時間がかかり、常に実際のログを試していました。（ドキュメントにあるように）logstash がファイル内の場所を「記憶」していることに気付きました。これで私の設定はOKです。Logstashを「忘れる」ようにしたいと思います。これは私より難しいようですが。私はすでに次のことをしました：

• 使用済み：start_position => "beginning"

• elastissearchから完全な「データ」フォルダーを削除しました（そして最初に停止しました）

• logstash で開かれたファイルを確認しlsof -p PID、有望なすべてのものを削除しました (私の場合/tmp/jffi*.tmp)

それでも Logstash は、ログが保存されているフォルダー内の「新しい」ファイルのみを忘れずに解析します。

何か案は？

私は開発中に単一のelasticsearchノードを使用しています。

PUT短時間に約10,000件のリクエスト (約 64MB のデータ) を実行すると、別のノードが自動的に作成されます。

なぜこれが起こるのですか？

これが発生した後、このノードを手動でシャットダウンしない限り、クラスターは黄色の状態になります。

データをelasticsearchに入れるためにlogstashを使用しています。

Windows 7 環境で Logstash、Elasticsearch、および Kibana の組み合わせを機能させるのに苦労しています。

3 つすべてをセットアップしましたが、すべて正常に動作しているようです。Logstash と Elasticsearch は Windows サービスとして実行され、Kibana は IIS の Web サイトとして実行されています。

Logstashはから実行されていますhttp://localhost:9200

次の形式で .txt にログ ファイルを作成する Web アプリケーションがあります。

日時=[日時]、値=[xxx]

ログ ファイルは次のディレクトリに作成されます。

D:\wwwroot\Logs\Errors\

私の logstash.conf ファイルは次のようになります。

私の Kibana config.js ファイルは次のようになります。

Kibana を表示すると、次のエラーが表示されます。

にインデックスが見つかりませんhttp://localhost:9200/_all/_mapping。少なくとも 1 つのインデックスを作成してください。プロキシを使用している場合は、正しく構成されていることを確認してください。

インデックスの作成方法がわからないので、誰かが私が間違っていることに光を当てることができれば、それは素晴らしいことです.

Logstash を使用してエラスティックサーチにタプルを挿入しています。タプルの形式は次のとおりです。

753469038|4057|1|0|99031479997|0|350771|1|47382594591370772|6050143149551329|2400|+|3.5

753453038|5345|1|0|23543643667|0|346661|1|47382594591370772|6050143149551329|2200|-|4.5

...

Logstash は各フィールドを正常に解析します。それらはすべて ES に正しくインポートされます。Kibana を使用してデータをクエリしていますが、最後から 2 番目のフィールド(+ または -)のクエリに問題があります。これらのシンボルを照会するためにさまざまな方法を試しましたが、それらを取得できないようです。

どんな助けでも大歓迎です。
ありがとうございました。

集中化されたログスタッシュ アグリゲーターで Elasticsearch をログスタッシュに接続しようとしています

ポート 80 で kibana を使用して、logstash Web インターフェイスを実行しています。

これは、logstash を開始するために使用しているコマンドです。

これは私が使用しているconfです：

また、logstash エージェント (別のホストにインストールされている) からデータを受信して​​いるように見えます。init スクリプトを使用して logstash を開始すると、ログ エントリがストリーミングされます。

Nagios サーバーがベータ ホスト ( beta は、logstash エージェントがインストールされて実行されている外部ホスト) といくつかの FTP セッション (FTP が好きというわけではありませんが、何ができるでしょうか?) に接続しているのを確認できます。

それでも、ブラウザーで logstash サーバーを参照すると、次のメッセージが表示されます。

これはelasticsearch.yamlの私のクラスター設定です

elasticsearch.yaml の私のホスト grep -i host /etc/elasticsearch/elasticsearch.yml

次のカールを使用してインデックスを追加しようとしました：

しかし、ページをリロードすると、同じエラー メッセージが表示されます。この時点で少し行き詰まりました。誰にでもアドバイスをいただければ幸いです。

ありがとう！

Logstash からデータが入ってきて、熱心に分析されています。基本的に、フィールドは、 、および"OS X 10.8"に分割されます。既存のデータのマッピングと再インデックスを変更するだけでよいことはわかっていますが、将来のデータでこの問題を回避するには、デフォルトのアナライザー (ElasticSearch または LogStash のいずれか) をどのように変更すればよいでしょうか?"OS""X""10.8"

具体的な解決策: 新しいクラスターに初めてデータを送信する前に、型のマッピングを作成しました。

IRC からの解決策:インデックス テンプレートを作成する