jsoupとjavaの組み合わせを使用して、Webサイトのコンテンツの一部をクロールしようとしました。関連する詳細をデータベースに保存し、同じアクティビティを毎日実行します。
しかし、これが取引です。ブラウザでWebサイトを開くと、HTMLがレンダリングされます（すべての要素タグが表示されます）。私がそれをテストするときのjavascript部分は、うまく機能します（正しいデータを抽出するために使用することになっている部分）。
しかし、（Javaクラスからの）jsoupを使用して解析/取得を行うと、解析のために最初のWebサイトのみがダウンロードされます。つまり、Webサイトには動的な部分がいくつかあり、そのデータを取得したいのですが、取得後にレンダリングされるため、Webサイトで非同期にjsoupでデータをキャプチャできません。
誰かがこれを回避する方法を知っていますか？適切なツールセットを使用していますか？より経験豊富な方、アドバイスをお願いします。