2

認証中にサイトをクロールするスパイダーに取り組んでおり、複数のユーザーと複数のプロキシを使用しています。Cookie、プロキシ、およびセッションを処理して、各ユーザーが特定のプロキシで特定の Cookie を使用して、クロールに問題がないようにする方法はありますか?

現時点では、認証された単一の IP で 1 人のユーザーでクロールできますが、より多くのユーザーでこれを行いたいと考えています。

4

1 に答える 1

1

可能ですが、多少の作業が必要です。

これを実現するには、次の 2 つの方法が考えられます。

  1. より簡単に見えるかもしれませんが、すべて手動でRequest微調整しますResponse
  2. より複雑だがより普遍的なミドルウェアを書く

どちらの場合も、次の情報が役立ちます。

于 2012-06-27T04:03:05.513 に答える