問題タブ [splash-js-render]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
web-scraping - Scrapy シェルと Scrapy スプラッシュ
scrapy-splashミドルウェアを使用しSplashて、ドッカー コンテナー内で実行されている JavaScript エンジンを介してスクレイピングされた HTML ソースを渡してきました。
スパイダーでスプラッシュを使用する場合は、いくつかの必要なプロジェクト設定を構成し、Request特定のmeta引数を指定します。
これは文書化されているとおりに機能します。しかし、Scrapy Shellscrapy-splash内でどのように使用できますか?
python - 複数のクリックと訪問を行うスプラッシュ lua スクリプト
Google Scholar の検索結果をクロールして、検索に一致する各結果のすべての BiBTeX 形式を取得しようとしています。現在、Splash を備えた Scrapy クローラーを使用しています。href引用のBibTeX形式を取得する前に、「引用」リンクをクリックしてモーダルウィンドウをロードするluaスクリプトがあります。しかし、複数の検索結果と複数の「引用」リンクがあることを確認すると、それらすべてをクリックして、個々の BibTeX ページをロードする必要があります。
ここに私が持っているものがあります:
呼び出しを実行するときに「Cite」リンクのインデックスを lua スクリプトに渡す必要があると考えていquerySelectorAllますが、関数に別の変数を渡す方法が見つからないようです。history.back()また、BibTeX を取得した後、元の結果ページに戻るには、汚い JavaScript を実行する必要があると思いますが、これを処理するよりエレガントな方法があると思います。
web-scraping - スプラッシュでポップアップコンテンツを取得する方法
スプラッシュでスクレイピーを使い始めましたが、スプラッシュが複数のウィンドウとポップアップを処理できるかどうか疑問に思っていました。例として、その lua スクリプトを使用して、Google ウィンドウのコンテンツを取得しようとします。
scrapy - スクレイピースプラッシュは無限スクロールをどのように処理しますか?
Webページを下にスクロールして生成されたコンテンツをリバースエンジニアリングしたい。問題は url にありhttps://www.crowdfunder.com/user/following_page/80159?user_id=80159&limit=0&per_page=20&screwrand=933ます。screwrandパターンに従っていないように見えるため、URL の反転は機能しません。Splashを使った自動レンダリングを検討しています。Splash を使用してブラウザのようにスクロールするには? どうもありがとう！2 つのリクエストのコードは次のとおりです。
