ログ ファイルをリアルタイムで解析するツールを作成したいと考えています。ログ ファイルは非常に高速に書き込むことができます (たとえば、1 秒あたり最大 10k 行)。各行を取得し、1 つの正規表現を実行して結果を DB に書き込むだけです。速度の関係で、ファイル全体を読み取るだけでは実行できなかったので、 のような代替を記述する必要がありますtail -f
。教えてください、どのように、どのテクノロジーを使用してこれを行うことができますか?
PS 下手な英語で申し訳ありません。
ログを RAM パーティションに保存できます。ログ ローテーションは 512 MB に制限されています。そのため、高速な RAM の容量によって制限されます。
ログを生成するアプリケーションを指定していただければ、さらに詳しく知ることができます。タスクhttp://goaccess.io/を試しましたか?