問題タブ [splash-js-render]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

141 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
83 参照

python - 要素がjavascriptによって作成されたWebページからデータを抽出するSplashを使用したScrapyに関する問題

最近、私は Scrapy とスプラッシュを使用して、動的な Web サイトをクロールする方法を学んでいます。

これが私のスパイダーのコンテンツです：

ただし、スプラッシュによって返された応答は、ブラウザーで調べたものと同じではありません。

localhost:8050 でテストしたので、スプラッシュの設定は正しいです。これが私のコンテンツですsetting.py

powershell での出力:

ドッカーでの出力:

コードの何が問題なのかわかりません。要素は、スプラッシュによって取得される最終的な html コードには表示されません。あなたのアドバイスは非常に高く評価されます。

0 投票する
1 に答える
92 参照

scrapy - Scrapy-splash python プロジェクトから .exe を取得します

私はスクレイピースプラッシュプロジェクトを持っていて.exe、この setup.py スクリプトでファイルを取得しようとしています:

今pyinstallerは.exeファイルを与えますが、問題はスプラッシュがドッカーで実行されており、エンドユーザーのコンピューターにインストールする方法がわからないことです。誰でもこれで私を助けることができますか？

0 投票する
1 に答える
445 参照

python - Scrapy-splash xpath セレクターはシェルでは機能しますが、スパイダーでは機能しません

問題:
私は、scrapy-splash を使用して YouTube ビデオ ページをスクレイピングしています。ただし、要素を除いて、xpathは要素を返さないようkeywordsです。(xpath はすべて Chrome から直接コピーされます)

私が試したこと:
最初は、解析が呼び出されたときにページが完全に読み込まれていないためだと思ったので、SplashRequest の待機引数を変更しましたが、役に立ちませんでした。また、スプラッシュ GUI ( http://localhost:8050 )から html 応答のコピーをダウンロードし、ダウンロードしたコピーでxpath/selector がすべて正常に機能することを確認しました。ここで、この html はまさに Scrapy がパースで見るものであると仮定したので、なぜそれが Scrapy スクリプト内で機能しないのか理解できませんでした。

また、scrapy シェルを試してみましたが、すべて正常に動作します。
scrapy shell 'http://localhost:8050/render.html?url=https://www.youtube.com/watch?v=HOfTrhmIXIM&wait=2.0'

応答：

コード:
これが私のコードです:


12345678910