問題タブ [scrapy-splash]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
444 参照

python - Scrapy と CasperJS を組み合わせる

Scrapy-Splash を使用して Splash を試してみると、実際のブラウザーのようなナビゲーションはサポートされていません。HTML のみをレンダリングしますが、ボタンをクリックしても、ナビゲートする次のページはレンダリングしません。

私の簡単な調査によると、ナビゲーションを使用した Web スクレイピングは CasperJS でのみサポートされています。しかし、Scrapy と CasperJS を組み合わせることは可能ですか?

0 投票する
1 に答える
1831 参照

scrapy - Scrapy-splash がページ全体を正常にレンダリングしたことを確認するにはどうすればよいですか

スプラッシュを使用してターゲット ページ全体をレンダリングすることにより、Web サイト全体をクロールしたときに問題が発生しました。一部のページはランダムに成功しなかったため、レンダリング ジョブが完了したときに存在することをサポートする情報を取得するのに誤りがありました。つまり、一部を取得しただけです。他のレンダリング結果からすべての情報を取得できますが、レンダリング結果からの情報の。

これが私のコードです: