重複の可能性:
C# で多数の Web リクエストをマルチスレッド化する
私はスクレーパーに取り組んでおり、Web サイトから約 12000 ページをスクレイピングする必要があります。現在、1時間に1500ページしか取得できませんが、これは遅すぎます.
一度に 1 ページではなく 10 ページをリクエストする方法を知りたいですか?
private void backgroundWorker1_DoWork(object sender,
DoWorkEventArgs e)
{
//Page IDs - Start request loops
for (int i = 0; i < 12000; i++)
{
Get(url + i);
}
}
コードの例は素晴らしいでしょう
ありがとう!