問題タブ [scrapy-splash]

を使用して要素を選択した後、splash:selectその下に子として見つかったすべてのアンカー要素をどのように選択しますか?

luaこのスクリプトをスクレイピー/スプラッシュで試しました:

しかし、Splash エラーに対して次の悪い要求が表示されます。

splash:select('.class-list')が有効な要素オブジェクトを返すことを確認しました。

AJAX Web サイトを含むあらゆるタイプの Web サイトからすべてのデータをクロールおよびスクレイピングできる汎用スクレーパーを作成したいと考えています。私はインターネットを広範囲に検索しましたが、Scrapy と Splash が一緒になって AJAX Web サイトをスクレイピングする方法を説明できる適切なリンクを見つけることができませんでした (ページネーション、フォームデータ、およびページが表示される前のボタンのクリックが含まれます)。私が参照したすべてのリンクは、Splash を使用して Javascript Web サイトをレンダリングできることを示していますが、Splash を使用して JS Web サイトをレンダリングする方法についての適切なチュートリアル/説明はありません。ブラウザーの使用に関連する解決策を私に教えないでください (私はすべてをプログラムで実行したいのですが、ヘッドレス ブラウザーの提案は大歓迎です..しかし、Splash を使用したいのです)。