問題タブ [listdir]

ではos.listdir(some_dir)、 からすべてのファイルを取得できますがsome_dir、 の下に 2,000 万個のファイル (サブディレクトリなし) が存在する場合があり、some_dirから 2,000 万個の文字列を返すのに長い時間がかかりますos.listdir()。

(20M のファイルを 1 つのディレクトリの下に置くのは賢明な選択肢ではないと思いますが、実際にはそこにあり、私には制御できません...)

次のようなリスト操作を行うジェネレーターのような方法は他にありますか? ファイルを見つけたら、yieldそれを取得してから次のファイルを取得します。

試してみos.walk()ましたが、実際にはジェネレータースタイルのツールですがos.listdir()、リスト操作を行うために呼び出しも行い、Unicode ファイル名 (GBK 名に加えて UTF-8 名) をうまく処理できません。

フォルダー内の各ファイルから特定の行を抽出しようとしています。私が書いたコードは、各ファイルを開き、新しい出力ファイルを開きますが、各ファイル内でループし、場合によってはデータを 2 回出力します。すべてのファイル間に約 800,000 行以内に 15 個のファイルがあります。

python とdropobox-apiについて質問があります。

特定のドロップボックス フォルダーのコンテンツ全体をダウンロードする必要があります。標準の python sftp ライブラリを使用すると、これを行うことができますがsftp.listdir()、dropbox-api はこの機能をサポートしていないようです。を使用できますがDropoxClient.get_file(from_path, rev=None, start=None, length=None)、これは from_path 値を知っていることを意味します (それは fileである必要があり、 folder ではありません)。

以下のソリューションを使用して機能を実現する正しい方法であるかどうか疑問に思っていsftp.listdir()ます。

以下は疑似コードであることに注意してください。簡潔にするために、クライアントの初期化は投稿しませんでした。

ここに何か提案はありますか？

アレッシオ

フォルダーにアクセスして、その中のテキスト ファイルを読み込もうとしています。最終的には、JSON にダンプする基本的な辞書にそれらを構築するつもりですが、ファイルで何かが起こっています。次のエラー メッセージが表示されます。

問題は、このコードは私のテストファイルで動作していることです...おそらくファイルの問題でしょうか?

これらは、「見つかった/読み取られなかった」テキスト ファイルです: https://drive.google.com/open?id=0B4zJC6biI6jERDFHSzZvUUJaRE0

他の誰かがこの問題に遭遇したか、うまくいく可能性のある解決策を見つけましたか?

Python 2.7 ではos.listdir、フォルダー内のファイルのリストを生成するために使用しています。たくさんのファイルがあり、フォルダーへの接続が遅いため、完了するまでに最大 30 秒かかる場合があります。次に例を示します。

これは私が取り組んでいる Tkinter GUI 用です。長い時間 (約 30 秒) かかるこのステップの残り時間またはパーセンテージを示すステータス バーを作成したいと思います。

ステップを完了するまでの残り時間または残りのパーセンテージを表示する方法はありますfile_list = os.listdir(dir_path)か?

サフィックスとディレクトリ パスを指定すると、指定したサフィックスで終わるディレクトリ内のファイルのフル パスを抽出する必要があります。

現在、私はそのようにやっています：

私もそれを行うことができますglob：

pathlibを使用してサフィックスをチェックできるものもあることは理解してPurePathいますが、その構文が何であるかはわかりません。

ファイルへの完全なパスの同じフィルター処理されたリストを実現する他の方法はありますか?