私は、Webページにアクセスし、すべての画像と一般的なドキュメント(.docx .pdfなど)を検索してダウンロードし、ページ上の各リンクにアクセスして同じことを行うプログラムを作成しています。私が遭遇している問題は、リンクの解析に深く入り込むと、jsoupで400のエラーが発生することです。
Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=400, URL=http://www.somerandomurl.com
コード:
Document doc = Jsoup.connect(urlstring).userAgent("Chrome").get();
ヘルプ?