java - JSOUP は Eclipse で URL ステータス 503 をスローしますが、URL はブラウザで正常に動作します

Question

特に、これは具体的にはウェブサイト amazon.com に当てはまります。ドメインの 503 エラーを受け取りましたが、他のドメインは正常に解析できました。

ラインを使っています

Document doc = Jsoup.connect(url).timeout(30000).get();

URLに接続します。

Answer 1

ユーザー エージェントを設定する必要があります。

Document doc = Jsoup.connect(url).timeout(30000).userAgent("Mozilla/17.0").get();

(またはその他。ブラウザのユーザー エージェントを選択するのが最適です)

そうしないと、ブロックされます。

以下も参照してください: Jsoup: select(div[class=rslt prod]) が null を返すべきでない場合

Answer 2

you can try

val ret=Jsoup.connect(url)
  .userAgent("Mozilla/5.0 Chrome/26.0.1410.64 Safari/537.31")
  .timeout(2*1000)
  .followRedirects(true)
  .maxBodySize(1024*1024*3)    //3Mb Max
  //.ignoreContentType(true) //for download xml, json, etc
  .get()

it maybe works, maybe amazon.com need followRedirects set to true.