3

プロジェクトに複数のスパイダーがあったので、scrapydサーバーにアップロードして実行することにしました。プロジェクトを正常にアップロードしました。コマンドを実行すると、すべてのスパイダーが表示されます。

curl http://localhost:6800/listspiders.json?project=myproject

次のコマンドを実行すると

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

与えられたスパイダーが1つしかないため、1つのスパイダーしか実行されませんが、ここで複数のスパイダーを実行したいので、次のコマンドは、scrapydで複数のスパイダーを実行するのに適していますか?

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider1,spider2,spider3........

そして後で、cronジョブを使用してこのコマンドを実行します。つまり、これを頻繁に実行するようにスケジュールします。

4

1 に答える 1

2

sparkydを使用して複数のスパイダーを実行する場合は、それらを1つずつスケジュールします。sparkydはそれらを同じ順序で実行しますが、同時には実行しません。

参照:ScrapyのScrapydがスパイダーのスケジューリングで遅すぎる

于 2012-07-09T07:58:58.043 に答える