java - マルチスレッド プログラムで Jsoup を使用すると 400 HTTP エラーが発生する

Question

HTMLページを解析するプログラムを作成しました。ThreadPool 内の呼び出し可能なクラス内で jsoup connect 関数を使用します。問題は、同じ Web サイトに接続していて、スレッド プール サイズが 5 以上の場合、IO Exceptions - 400 エラーが発生することです。

どうすればそれが起こらないのですか？

Answer 1

400 HTTP 応答を取得している場合は、応答の内容でエラー メッセージを確認してください。400 は、何らかの不適切なリクエストを意味します。必要な情報がすべて含まれていないか、不正な形式の情報が含まれています。一部の人々は、クライアントが気に入らないことをしたときのキャッチオールのようなものとしても使用します. 多数の異なるリクエストを行っている場合は、400 の原因となったリクエストを調べて、何か問題があるかどうかを確認します。それらがすべて正しいように見える場合、または同じリクエストを繰り返し送信している場合は、ヒットしているサイトに何らかのレート制限があり、特定の時間枠内で同時に多数のリクエストを作成したり、多数のリクエストを作成したりすることを禁止している可能性があります。そのような場合は、応答に何が起こっているかを伝えるメッセージがあると思います。