ログ分析を実行していますが、これを自動化し、毎日実行して結果を報告するようにしたいと考えています。分析は、標準ワークステーション、8 コア、最大 32 GB の空き RAM で実行されます。プロトタイピングは、GNU Grep (--mmap)、Sqlite (RAM ディスク上)、および Bash (パラメーター用) に基づいています。
これに関する 1 つの問題は、ファイルを複数回調べる必要があることです。パターン マッチが見つかったら、関連するものを上方向に検索します。これは再帰的になる可能性があり、毎回ギガバイトのデータを再読み取りします。
メモリでバックアップされたセグメントごとのマルチスレッドファイルの読み取り/書き込みのための C の / lib の高速な方法はありますか?
「メモリ内」検索 (ロードされたセグメント内で上下に移動する、または必要に応じてさらにロードする) を見ると、これは非常に一般的な要件であると感じます。