ruby - 遅延を伴う Ruby スレッドの使用

Question

ダウンロードするファイル (~250) のリストを含む ruby​​ スクリプトを作成しました。順次ダウンロードには時間がかかるためです。各ファイルを個別のスレッドでダウンロードすることを考えました。遅延を 20 に設定しましたが、すべてのスレッドが一度にサーバーにヒットしているように見えます。したがって、502 エラーが発生し、ファイルがダウンロードされません。サーバーに過負荷をかけることなく、すべてのファイルを並行してダウンロードするにはどうすればよいですか。

#list of fiiles
files = []
threads = []  
files.each do |file|
   threads  << Thread.new(file){ | file |
     sleep(20)  
     #Download the file using either curb or Net::HTTP
     sleep(20)
}
end

threads.each(&:join)

Answer 1

これをバックグラウンドで使用することを検討する必要があります。

実際にブロックせず、バックグラウンドで処理を実行するいくつかのgemを確認してください（DelayedJobなど）。また、いくつかのrailscastをチェックしてください：

http://railscasts.com/episodes/128-starling-and-workling

http://railscasts.com/episodes/128-starling-and-workling

Answer 2

新しいスレッドが作成されるスレッドプールを作成します。このようにして、プールで提供されているものを超えて作成することはなく、アプリ/サーバーのクラッシュを回避できます。または、SideKiqをご覧ください。これは、DelayedJobやResqueなどのバックグラウンドキュープロセッサのマルチスレッド代替手段です。

Answer 3

threads.each {|thread| thread.join; sleep 1}