問題タブ [directory-walk]

ネットワーク経由で保存されているファイルを一度に 1 つずつ処理しようとしています。バッファリングが問題ではないため、ファイルの読み取りは高速です。私が抱えている問題は、フォルダー内のディレクトリをリストすることだけです。多くのフォルダーで、フォルダーごとに少なくとも 10,000 個のファイルがあります。

File.list() は iterable ではなく配列を返すため、パフォーマンスが非常に遅くなります。Java はオフになり、フォルダー内のすべての名前を収集し、それを配列にパックしてから返します。

このバグ エントリはhttp://bugs.sun.com/view_bug.do;jsessionid=db7fcf25bcce13541c4289edeb4?bug_id=4285834であり、回避策はありません。彼らは、これがJDK7で修正されたと言っています。

いくつかの質問：

1. このパフォーマンスのボトルネックに対する回避策はありますか?
2. 私は不可能を達成しようとしていますか？ディレクトリを反復するだけでもパフォーマンスは低下しますか?
3. プロジェクト全体をビルドしなくても、この機能を備えたベータ JDK7 ビルドを使用できますか?

Pypi パッケージなどのファイル ツリーを表示する URLの場合、URL ツリーをたどって次のように一覧表示する小さな堅牢なモジュールはありますls -lRか?
私は、ファイル属性、リンクの種類、サイズ、日付などの標準エンコーディングが html<A属性にないことを収集します (訂正します)
。
でも、きっとこのホイール（Unix file tree -> html -> treewalk API -> ls -lR or find）はできているのでは？
(いくつかのスパイダー/Web クローラー/スクレーパーが存在するようですが、解析用の BeautifulSoup にもかかわらず、これまでのところ見苦しくアドホックに見えます)。

そのブランチの下にあるすべてのサブディレクトリを含め、そのままにしておきたいディレクトリのトラバースを無視するように指示できるファイルシステムウォーカーが必要です。os.walkとos.path.walkはそれを行いません。

PHPを使用してWindows共有のコンテンツを一覧表示するにはどうすればよいですか？

Print（opendir（$ SearchFolder））; このエラーが発生します：

警告：opendir（\ 192.168.1.100 \ pdfoutput）[function.opendir]：dirを開けませんでした：227行目のC：\ Users \ gary \ Webserver \ QuickMail\maildetails.phpにエラーはありません

これは期待どおりに機能していません。何かご意見は？

私は自分のアプリケーションでglibを使用していますが、GlibにはCとの便利なラッパーがあることがわかりremoveます。ただし、これらは一度に1つのファイルまたはディレクトリでのみ機能します。unlinkrmdir

私が見る限り、C標準もglibも、再帰的なディレクトリウォーク機能を含んでいません。また、のように、ディレクトリツリー全体を一度に削除する特定の方法もわかりませんrm -rf。

私がこれを行っていることについては、アクセス許可、ツリーをバックアップするシンボリックリンク（無限再帰）、または非常に単純な実装を除外するものなどの複雑さについては心配していません...したがって、私は自分自身を書くことを嫌いではありませんそのための機能。

しかし、この機能が標準ライブラリのgtkまたはglib（または他の簡単に再利用できるCライブラリ）のどこかにすでにあるのかどうか知りたいのですが、私はそれを見つけたことがありません。このトピックをグーグルで検索すると、多くの誤ったリードが生成されます。

それ以外の場合、私の計画はこのタイプのアルゴリズムを使用することです。

明らかに、致命的なエラーが発生するとすぐにプロセスを中止するために、いくつかのエラー処理などを組み込みます。

リストしようとしているディレクトリ内に読み取り不可能なサブディレクトリがある場合に、このコードがUnexpectedValueException「dirを開けませんでした：アクセスが拒否されました」をスローしない方法はありますか？

アップデート

ラップインに変換foreach()しwhile()て明示的に呼び出すこと は役に立ちません。このコード：Iterator::next()try() catch {}

読み取り不可能なサブディレクトリがある場合、は無限ループです。

では、フォルダーを再帰的に検索し、ディレクトリ内のすべてのファイルとサブフォルダーを非表示にするにはどうすればよいですか? 各ファイルと各フォルダーをチェックするように...それらが非表示の場合..非表示を解除します。運が悪いので、午前中ずっといじっていました...すべてのフォルダーを通常の状態に戻しましたが、それで終わりです。

ファイルやフォルダを割り当てたり、+=[item]の部分を実行したりするのは少しハックだと思います。助言がありますか？Python3.2を使用しています

大容量のハードディスクで Python のファイル検索をいじっています。私はos.walkとglobを見てきました。私は通常 os.walk を使用します。これは、(通常のサイズのディレクトリの場合) はるかにきれいで、より高速であるように思われるためです。

誰かが両方の経験を持っていて、どちらがより効率的であるかを言うことができますか? 私が言うように、グロブは遅いようですが、ワイルドカードなどを使用できますが、ウォークと同様に、結果をフィルタリングする必要があります。コア ダンプを検索する例を次に示します。

または

Scala 継続 (2.8 で導入) を使用してディレクトリを再帰的にウォークすることは可能ですか?

私のディレクトリには何百万ものファイルが含まれているため、メモリ不足になるためaを使用できません。ワーカー アクターにファイルを並行して処理させるディスパッチStreamを作成しようとしています。Actor

誰にも例がありますか？