python - フォルダー内の非常に多数のファイルを反復処理する

Question

ディレクトリ内のファイル数が 2.500.000 より大きい場合、NTFS と Windows 7 を使用してディレクトリ内のすべてのファイルを反復処理する最速の方法は何ですか? すべてのファイルは最上位ディレクトリの下にフラットにあります。

現在私は使用しています

for root, subFolders, files in os.walk(rootdir):
    for file in files:
        f = os.path.join(root,file)
        with open(f) as cf:
            [...]

しかし、それは非常に遅いです。プロセスは約 1 時間実行されており、まだ 1 つのファイルを処理していませんが、1 秒あたり約 2kB のメモリ使用量で増加しています。