問題タブ [scrapyd]

このようにscrapydをインストールしました

Scrapyd-deploy を使いたい

私がscrapydと入力したとき

私はcmdでこの例外を受け取りました:

「scrapyd」は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されません。

Python 2.7でscrapy 0.20を使用しています。

自分のスクレイピー プロジェクトをスクレイピー クラウドにデプロイしたい

1. シンプルなスパイダーでスクレイピープロジェクトを開発しました。
2. 私のスクレイピープロジェクトフォルダーに移動します。
3. scrapy deploy scrapyd -d koooraspidercmdに入力しました。koooraspider私のプロジェクトの名前はどこにあり、scrapyd私のターゲットはどこですか。

次のエラーが発生しました。

スクレイピー.cfg

ノート

前の手順を実行すると、project.egg-infoフォルダー、buildフォルダー、およびsetup.pyスクリプトが生成されました。

どんな助けでも大歓迎です。

私は、同じドメインで複数のスパイダーをジョブとして実行するために、scrapyd を使用しています。スクレイピーには、クロール時に他のスパイダーと共有および調整する、訪問した URL のハッシュテーブルがあると思いました。同じスパイダーのインスタンスを作成するとき

むしろ同じ URL をクロールし、重複データがスクレイピングされています。誰かが以前に同様の問題に対処したことがありますか?

私はスパイダーの実行をスケジュールしようとしています、私は書いた：

戻る：

Scrapyd.log に次のように表示されます。

誰でも私を助けることができますか？

よろしく

デニス

私は、いくつかのWebサイトをスクラップして、そのデータを取得するスクレイピースパイダープロジェクトを持っています。私のスパイダーは、スクレイピングされたすべてのデータが保存されている 2 つの JSON ファイルを生成します。

さて、ユーザーの要求を満たすために上記の 2 つの JSON ファイルを使用するフラスコ Web サービスがあります。

このフラスコ Web サービスを heroku にデプロイしましたが、正常に動作します。

ここでの問題は、ローカル マシンで毎日スクレイピー スパイダーを実行し、heroku で 2 つの JSON ファイルを手動で更新することです。

スクレイピープロジェクトは毎日実行され、生成された JSON ファイルは自動的に更新される必要があるこのプロセスを自動化したいと考えています。

ここで見つけた解決策は、scrapy スパイダーと Web サービスが単一のプロジェクトとしてデプロイされている場合、希望どおりに動作することです....しかし、それが可能かどうかはわかりません。

Scrapy プロジェクトの展開に関するトピックを検索したところ、scrapyd やさらには Scrapy-heroku が見つかりましたが、それらがどのように役立つのか、特定の要件を満たすためにどのように使用すればよいのかわかりません。