問題タブ [splash-js-render]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Scrapy と Incapsula
Scrapy と Splash を使用して、Web サイト「whoscored.com」からデータを取得しようとしています。ここに私の設定があります:
これ以前は、Splash のみを使用していましたが、Incapsula によってブロックされる前に、少なくとも 2 つか 3 つのページをリクエストできました。しかし、Scrapy では、最初のリクエストの直後にブロックされました。
なんで簡単にブロックされるの?設定を変更する必要がありますか?
前もって感謝します。
lua - 文字列内でスラッシュを使用するとエラーが発生する
文字列内でスラッシュを使用しようとすると、エラーが発生します。
スプラッシュを取り除いても問題ありません。スラッシュをエスケープする必要がありますか?
編集
私はDOMコンテキストでevaljsでそれを使用しています。エラーは次のとおりです:「SyntaxError:Dom exception 12」
python - エスケープ スプラッシュ: lua コード内のクエリ セレクターを選択
ピリオドをエスケープする正しい方法がわかりませんsplash:select
特定の要素を待機するためにluaを使用しているscrapyのスプラッシュリクエストがあります。この要素は、ID にピリオドを含む ID です。ピリオドを正しくエスケープできないようです。シングルとダブルの両方のバックスラッシュ (\
と\\
)を試しました
期待される結果は、要求されたページから完全に読み込まれた html です
実際の結果は次のとおりです。
\
またはを使用する場合\\
そのような文字列をエスケープしようとするとsplash:select
:
コードは継続的に実行されます (これは正しい方向への一歩だと思いますが、この段階ではコードは正しく実行されると思いますが、ピリオドを含む ID を持つ div ではなく、マルチクラスの div を見つけようとしています)
docker - Google App Engine: Scrapy + Splash 用に別の Docker イメージをロードする
Google App Engine で Scrapy + Splash を使用して JavaScript Web サイトをスクレイピングしたいと考えています。Splash プラグインは Docker イメージです。これを Google App Engine 内で使用する方法はありますか? App Engine 自体は Docker イメージを使用していますが、セカンダリ イメージを読み込んでアクセスする方法がわかりません (これが Splash の使用方法です)。スプラッシュのインストール手順は次のとおりです