問題タブ [download]

(scrAPI を使用して) 400 以上の Web ページの ruby​​ をスクレイピングする必要があります。実際のコードは非常に連続しています。

実際、コードは少し異なります (例外処理など)。

どうすれば速くなりますか？ダウンロードを並列化するにはどうすればよいですか?

Web サーバーにアクセスできない場所からダウンロードするために、大きなファイル (500 MB 以上) を提供する必要があります。Serving large files with PHPという質問を見つけましたが、これは私の状況と同じですが、PHP の代わりに Perl を使用しています。

ファイルを1行ずつ単純に印刷しようとしましたが、これにより、ブラウザはファイル全体を取得する前にダウンロードを要求しません。

Perl には PHP のreadfile()関数 (PHP で提案されている) と同等のものがありますか、それとも私がここでやろうとしていることを達成する方法はありますか?

私のコード：

しかし、ダウンロードされた画像は壊れています。Whtatはこのソリューションで間違っていますか？

インターネットからアプリのバイナリ ファイル (ビデオ) をダウンロードする際に問題が発生しています。Quicktime では、直接ダウンロードすると問題なく動作しますが、私のアプリではどういうわけかめちゃくちゃになります (テキスト エディターではまったく同じように見えますが)。以下に例を示します。

サイトから mp3 ファイルを強制的にダウンロードするスクリプトを作成します。コードは問題なく動作していますが、問題は大きなファイルをダウンロードできないことです。9.21MB のファイルで試してみたところ、正しくダウンロードされましたが、コードを使用して 25MB のファイルをダウンロードしようとすると、サーバー ページが見つからないか、ウェブサイトがページを表示できません。そのため、大きなファイルのダウンロードに問題があることがわかりました。以下は、ファイルのダウンロードを行うコード スニペットです。

表示されるエラー: HTTP 500 Internal Server Error

時間をありがとうございました。

asp.net/C# を使用しています。リモート サーバー上のフォルダーへの URL があります。そのフォルダーには、すべて .jpg の画像があります。ファイルの名前はわかりませんが、すべて .jpg です。asp.net/C# を使用してすべての .jpg 画像をローカル ハード ドライブのフォルダーにダウンロードするにはどうすればよいですか。

明確にするために。リモート サーバーからファイルをプルして、ローカル マシンに保存しています。私は Web URL を与えられ、必要なファイルは .jpg 画像ファイルであると毎晩プルダウンする必要があると言われました。言われたのはそれだけです。フォルダへのURLだけでリモートサーバー上のファイルのリストを取得する方法がわかりません。

ありがとう

サーバー上にファイルを受信者に送信するための php スクリプトがあります。受信者は一意のリンクを取得し、大きなファイルをダウンロードできます。転送に問題があり、ファイルが破損したり、終了しない場合があります。大きなファイルを送信するためのより良い方法があるかどうか疑問に思っています

コード：

私は次のような機能を見てきました

しかし、それらが機能するかどうかはわかりません。

この問題を解決する最善の方法は何ですか?

よろしく
エルウィング

次のコードを含む膨大なファイル セットをループでダウンロードしています。

接続の開始時にサーバーが URL url2download でタイムアウトした場合、最後の例外は適切に処理されます。ただし、サーバーが応答してダウンロードが開始されることもありますが、サーバーが非常に遅いため、1 つのファイルでも数時間かかり、最終的に次のような結果が返されます。

そこでハングアップするだけです（ただし、同じリンクがブラウザからダウンロードされた場合、ユーザー名/パスワードは要求されません）。

この状況での私の意図は、このファイルをスキップして次のファイルに進むことです。問題は、それをどのように行うかです。Python で 1 つのファイルのダウンロードにどれだけの時間を使用できるかを指定する方法はありますか?

ファイルのダウンロードに使用webClient.DownloadFile()していますが、ファイルにアクセスできない場合でもそれほど時間がかからないように、タイムアウトを設定できますか？