scrapy - Scrapyd を使用する利点は何ですか?

Question

スクレイピードキュメントは次のように述べています：

Scrapy には「Scrapyd」と呼ばれる組み込みサービスが付属しており、JSON Web サービスを使用してプロジェクトをデプロイ (別名、アップロード) し、スパイダーを制御できます。

適合性にscrapydを使用する利点はありますか?

Answer 1

Scrapyd を使用すると、便利な Web API を介して、使用しているマシンとは別のマシンで Scrapy を実行できます。つまりcurl、Web ブラウザーを使用するだけで、新しいプロジェクト バージョンをアップロードして実行できます。それ以外の場合、どこかのクラウドで Scrapy を実行したい場合はscp、新しいスパイダー コードをコピーしてからログインしてssh、scrapy crawl myspider.

多くのスパイダーを並行して実行したい場合、Scrapyd はプロセスも管理します。しかし、ローカル マシンに Scrapy があり、コマンドラインにアクセスできるか、スパイダーを実行する方法があり、一度に 1 つのスパイダーを実行したい場合は、スパイダーを手動で実行した方がよいでしょう。

scrapydスパイダーを開発している場合、複雑なレイヤーが追加されるだけなので、コンパイル/テストの迅速な反復には使用したくないことは確かです。