0

重複の可能性:
C# で多数の Web リクエストをマルチスレッド化する

私はスクレーパーに取り組んでおり、Web サイトから約 12000 ページをスクレイピングする必要があります。現在、1時間に1500ページしか取得できませんが、これは遅すぎます.

一度に 1 ページではなく 10 ページをリクエストする方法を知りたいですか?

private void backgroundWorker1_DoWork(object sender,
    DoWorkEventArgs e)
{ 
    //Page IDs - Start request loops
    for (int i = 0; i < 12000; i++)
    {
        Get(url + i);
    }
}

コードの例は素晴らしいでしょう

ありがとう!

4

0 に答える 0