7

プロジェクトフォルダに複数のスパイダーがあり、すべてのスパイダーを一度に実行したいので、scrapydサービスを使用して実行することにしました。私はここを見てこれを始めました

まず第一に、私は現在のプロジェクトフォルダにいます

  1. ファイルを開いて、scrapy.cfg後にURL行のコメントを外しました

    [配備]

  2. 私はscrapy serverコマンドを実行しました、それはうまく動作し、scrapydサーバーは実行されます

  3. このコマンドを試しましたscrapy deploy -l

    結果 ： default http://localhost:6800/

  4. このコマンドを試したscrapy deploy -L scrapydところ、次の出力が得られました

結果：

Usage
=====
  scrapy deploy [options] [ [target] | -l | -L <target> ]

deploy: error: Unknown target: scrapyd

このコマンドでプロジェクトをデプロイしようとすると、scrapy deploy scrapyd -p default次のエラーが発生しました

Usage
=====
  scrapy deploy [options] [ [target] | -l | -L <target> ]

deploy: error: Unknown target: scrapyd

私は本当にscrapydが上記のエラーを示していることを特定できません。プロジェクトをscrapydにデプロイする正しい方法に私を導くことができます

前もって感謝します..........

編集されたコード：

Peter Kirbyの答えを見た後、scrapy.cfgでtargetという名前を付け、プロジェクトフォルダーで次のコマンドを試しました。

コマンド：

scrapy deploy ebsite -p ebsite

次に、以下のエラーが発生しました

Building egg of ebsite-1341808241
'build/lib' does not exist -- can't clean it
'build/bdist.linux-x86_64' does not exist -- can't clean it
'build/scripts-2.7' does not exist -- can't clean it
zip_safe flag not set; analyzing archive contents...
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json
Deploy failed: <urlopen error [Errno 111] Connection refused>

これを解決する方法.....

4

4 に答える 4

10

Scrapydサービスのドキュメントから：（http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?highlight=scrapyd）

プロジェクトのscrapy.cfgファイルにターゲットを追加することでターゲットを定義できます...HTTP基本認証によるアクセスが制限された新しいターゲットscrapyd2を定義する例を次に示します。

[deploy:scrapyd2]
url = http://scrapyd.mydomain.com/api/scrapyd/
username = john
password = secret

基本的に、エラーが意味するのは、「ターゲット」名が正しくないということです。私の記憶が正しければ、scrapy.cfgファイルは初期ターゲット名を「デフォルト」に設定します。入力する必要があるのは次のようなものです。

scrapy deploy default -p project_name
于 2012-07-08T05:28:23.770 に答える
1

scrapy deploy名前付きターゲットがなく、デフォルトで設定を残している場合は、入力するだけです。

于 2012-07-06T13:20:21.777 に答える
0

これはscrapydprocに許可がありません！procを強制終了してから、rootユーザーを使用する必要があります。次のように入力するだけです。

scrapy server

その後、新しいscrapydが実行されます。その後、 scrapydのドキュメントにあるように実行できます。

于 2013-04-16T07:38:33.500 に答える
0

スクレイプを実行せずにプロジェクトをデプロイしようとすると、このエラーが発生したので、単純に実行します

scrapyd

別の端末でエラーを修正しました

于 2016-04-29T04:15:43.827 に答える