dom - 動的ページを含む Web サイトのクロール

Question

Web サイトをクロールし、フォームの送信後に動的に作成されたページから情報を抽出する必要があります。

クロールする必要がある情報は、ほとんどの場合、これらのサイトのデータベースから取得されます。

追加した：

クローラーは、通常、あるハイパーリンクから別のハイパーリンクにジャンプすることによって機能します。したがって、これらはほとんど静的ページです。静的に存在するのではなく、その場で作成されたページをクロールする場合はどうでしょうか。

Answer 1

クローラーの観点からは、大きな違いはありません。あなたはまだ生成されたHTMLを取得しています。

注意が必要なのは、無限の数のページにつながるリンクです。たとえば、動的に生成され、翌月/前月/年へのリンクがあるカレンダーなどです。