filesystems - WindowsNT で何百万ものファイルを読み取って解析する最良の方法は何ですか?

Question

私は1つのディレクトリ(多くの子ディレクトリを持つディレクトリ)に何百万ものファイルを持っています.これらのファイルはすべて小さなファイルです.

私は2つの課題があると思います：

1. ディレクトリをトラバースしてすべてのファイルを見つける方法。「FindFirstFile/FindNextFile」の方法を試してみましたが、遅すぎるように感じます。Windows Change Journalを使用する必要がありますか?

2. すべてのファイル名を見つけたら、ファイル全体をメモリに読み込んで解析する必要があります。FILE_FLAG_SEQUENTIAL_SCAN フラグを使用する必要がありますか? またはより効率的な方法はありますか？

Answer 1

NTFS、または実際には特殊化されていないファイルシステムは、何百万もの小さなファイルで遅くなります。それがデータベースの領域です。

ファイルが実際に小さい場合、ファイルをどのように読むかはまったく問題ではありません。間接費が支配的になります。2 番目のスレッドを使用する価値はあるかもしれませんが、3 番目のスレッドがさらに役立つ可能性は低いです。

また、FindFirstFileEx検索を高速化するために使用します。別のファイル名は必要ありませんが、より大きなバッファーを好むでしょう。

Answer 2

キックするためのいくつかのアイデア..

• Text Crawler - Windows に欠かせない素晴らしい検索ツール - http://digitalvolcano.co.uk/textcrawler.html
• Microsoft ログ パーサー - http://technet.microsoft.com/en-us/scriptcenter/dd919274.aspx
• 十分なスペースがある SQL (または MySQL) サーバーがある場合は、SQL ジョブをセットアップして問題のファイルをインポート/リンクし、それらを照会できます。

私が恐れているのは、ファイルのコンテンツをメモリにロードすると、サーバーのメモリがすぐに不足することです。問題のファイルを見つけて、結果を解析して解釈できるログまたはレポートに書き込む必要があります。