javascript - Ajax/JavaScript を使用した Web クローラー

Question

HtmlUnit を使用して、Ajax リクエストと JavaScript の実行によって生成された結果を取得できるクローラーを実装しようとしましたが、HtmlUnit は、実行によって生成されたすべてのレンダリングされた DOM 要素を取得できないため、私の要求を満たすにはそれほど強力ではありません。 JavaScript または AJax。そして、pywebkitgtkとpyQtwebkitも使用しようとしましたが、動的DOM要素が生成されました.しかし、それらは安定して動作せず、それに取り組む方法がわかりません. 誰かがセレンの使用についても言及しているようです.Ajaxクローラーを実装するための提案を誰か教えてもらえますか? どうもありがとう！

Answer 1

PhantomJSは、あなたの問題に対する良い解決策かもしれません。また、これを簡素化するために、Unicrawlerなどのクローラー API を利用することもできます。それがうまくいくことを願っています。