問題タブ [pyspider]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
35 問題
0
投票する
0
に答える
23
参照
python - PySpiderには、スクレイピングでクリックまたは値の設定APIがありますか?
何度もスクレイピングしながら、エンドサイトに値を設定する必要があり、検索をクリックしてより多くの結果を得る必要があります。
0
投票する
1
に答える
278
参照
python - CrawlerProcess を使用して 2 つのスパイダーを連続して実行すると、ReactorNotRestartable エラーが発生する
2 つのスパイダーを順番に実行しようとしています。これが私のモジュールの構造です。
これを実行すると、次のエラーが発生します。
ターミナルをスクロールすると、2 つのスパイダーが正常に実行され、取得したいデータが正常にスクレイピングされていることがわかります。しかし、最後にエラーが発生し、プロセスが終了できないためでしょうか？process.stop を試しましたが、うまくいきません。公式ガイドライン ( https://docs.scrapy.org/en/latest/topics/practices.html )のコードも試してみましたが、スパイダーが見つからないというエラーが発生します。それを修正する方法はありますか？
0
投票する
1
に答える
317
参照