1

私はこれがおそらくばかげているように見えることを知っています。私はWindowsのscrapydの実装をあきらめ、ubuntuマシンをセットアップして、すべてがうまく機能するようにしました. 私はそれぞれ独自のスパイダーを持つ 3 つのプロジェクトを持っています。以下を使用して、端末からスパイダーを実行できます。

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

上記のコードを実行すると、スクレイプされたアイテムが正しい場所に表示され、Web UI でもすべてが機能するようです。

プロジェクト 1 を毎日午前 12:00 に実行し、プロジェクト 2 を 2 日おきに午前 2:00 に実行し、プロジェクト 3 を 2 週間ごとに午前 4:00 に実行したいと考えています。これを行う方法を学ぶのを手伝ってください。

このタスクの適切なソリューションでさえ、scrapyd はありますか?

4

1 に答える 1

1

スケジュールされたタスクはうまくいくようです。Windowsでscrapyクロールコマンドをスケジュールできたときに、scrapydを実行するためだけにubuntuマシンをセットアップする努力が本当に価値があるかどうか疑問に思っていると言わざるを得ませんschtasks。

于 2013-11-16T15:40:39.777 に答える