問題タブ [splash-js-render]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
javascript - Scrapy と Splash を使用して AJAX ベースの Web サイトをスクレイピングする方法は?
AJAX Web サイトを含むあらゆるタイプの Web サイトからすべてのデータをクロールおよびスクレイピングできる汎用スクレーパーを作成したいと考えています。私はインターネットを広範囲に検索しましたが、Scrapy と Splash が一緒になって AJAX Web サイトをスクレイピングする方法を説明できる適切なリンクを見つけることができませんでした (ページネーション、フォームデータ、およびページが表示される前のボタンのクリックが含まれます)。私が参照したすべてのリンクは、Splash を使用して Javascript Web サイトをレンダリングできることを示していますが、Splash を使用して JS Web サイトをレンダリングする方法についての適切なチュートリアル/説明はありません。ブラウザーの使用に関連する解決策を私に教えないでください (私はすべてをプログラムで実行したいのですが、ヘッドレス ブラウザーの提案は大歓迎です..しかし、Splash を使用したいのです)。