楽しみのために、JSOUP がページのコンテンツを取得するのにどれだけ優れているかをテストしていますが、そのパフォーマンスには非常に失望しています。
JSOUP では、Chrome でソース コード全体を問題なく表示できますが、ASK.com ページからソース コードを取得する際に問題が発生しているようです。
JSOUP がここで不足しているか、何か間違っていると思います。どっちなのかはっきりさせたい…
ページからドキュメント全体を取得するために以下が機能しない理由を教えてください:
String url = "http://www.ask.com/answers/428870481/what-are-some-remedies-to-put-a-toddler-to-sleep";
String ua = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2";
Document doc = Jsoup.connect(url).userAgent(ua).ignoreHttpErrors(true).timeout(30 * 1000).get();
ドキュメントの内容を確認すると、末尾が「…」で切れています。コード全体ではなく、部分的なコンテンツのみが読み込まれました。なんで？