search - お勧めの非構造化データ インデックス作成ソフトウェアを教えてください。

Question

いくつかのカスタムメイドのアプリケーションからログを収集しています。各アプリケーションには独自のログ形式があります。私が探しているのは、すべてのログを検索できる中心的なツールです。これは、ツールがログ ファイルごとに異なる正規表現 (または同様のもの) を定義できる必要があることを意味します (レコードの開始位置、終了位置、およびフィールドをマークします)。Splunk を試してみましたが、満足できません。パフォーマンスが遅いため、1 日あたりのインデックス データの量が制限されており (無料バージョン)、希望するほど柔軟ではありません。 . タスクに適したソフトウェア (できれば無料または安価) をお勧めできますか?

Answer 1

Luceneを試すことができます。これは無料。Javaで記述されており、大量のデータを全文検索できます。これは完全なアプリケーションではなく、ライブラリであるため、ログのインデックス作成と検索に使用するコードを作成する必要があります。ログに対して異なるドキュメントタイプまたは少なくとも異なるインデックス機能を定義する必要があるかもしれませんが、そうすれば検索はうまく機能します。

Answer 2

http://www.splunk.com/

使用したことはありませんが、聞いたことはあります。

Answer 3

Windowsを使用できる場合は、Microsoftの最高のツールであるLogparserを試してみてください。Unix用のこのような単純なツールがあればいいのにと思います。しかし、ありません。そして、私はLogparserのUnixバージョンを作成することに取り掛かりたいと思っていましたが、時間がありませんでした。

注：これは、時間のある人やどこかの卒業生にとって素晴らしいプロジェクトになります。