リモート ファイルの場所と最終的に配置したいローカル パスの大きなリストがあります。各ファイルは小さいですが、非常に多くのファイルがあります。このリストを Python 内で生成しています。
これらのファイルを解凍して処理する前に、できるだけ早く (並行して) すべてのファイルをダウンロードしたいと考えています。私が使用するのに最適なライブラリまたは Linux コマンドライン ユーティリティは何ですか? multiprocessing.pool を使用してこれを実装しようとしましたが、FTP ライブラリでは機能しませんでした。
私は pycurl を調べましたが、それは私が望んでいるように見えましたが、Windows 7 x64 で実行することはできませんでした。
私は通常pscp、このようなことをしてから、subprocess.Popen
例えば：
pscp_command = '''"c:\program files\putty\pscp.exe" -pw <pwd> -p -scp -unsafe <file location on my linux machine including machine name and login, can use wildcards here> <where you want the files to go on a windows machine>'''
p = subprocess.Popen( pscp_command, stdout=subprocess.PIPE, stderr=subprocess.PIPE )
stdout, stderr = p.communicate()
p.wait()
もちろん、Linux --> Windows を想定しています