python - 複数のscrapydサーバーを実行する方法は？

Question

Scrapyd Serviceに関するドキュメントを探していましたが、非常にスリムです。同じスケジュールキューを指す複数のScrapydサーバーを設定する方法を誰かが知っているかどうか疑問に思っていましたか？

Answer 1

「保存スケジュールキュー」については知りませんが、いくつかの画面を開いて実行することで、複数のscrapydを簡単に実行できますscrapy server.

PROJECT_DIRECTORY/scrapyd.conf で次のオプションを設定/変更することで、scrapyd のポート番号を調整できます。

[scrapyd]
http_port = 6969

http://doc.scrapy.org/en/latest/topics/scrapyd.html#starting-scrapyd経由

Answer 2

同じsqliteデータベースを使用するのはどうですか? dbs_dir は で設定されscrapyd.script._get_config()ます。