Scrapy を 1 か月使用しています。パイプラインで指定されたキーワードに基づいて、いくつかの Web サイト (実際には 900 の Web サイトをクロールしました) をクロールしてスクレイピングすることができます。次のコードSelenium コードを使用して、scrapyを使用して ajax ページをスクレイピングし、適切な変更を加えてajax ページをスクレイピングしようとしています。
スクレイピーを使用してJavaページをスクレイピングするための良いアイデアはありますか
2番目の問題、私が直面しているのはスクレイピーであり、ログインページをスクレイピングしません