問題タブ [scrapyd]

メインファイル

アイテムファイル

私が実行したときの出力：スクレイピークロールブロガーx -o items.json -t json

生成された出力ファイルは空で、個々の hxs.select ステートメントは、scrapy シェルで試したときに正常に動作します。私がしている愚かなことはありますか？

Scrapyプロジェクトをデプロイしようとしていますが、行き詰まっています

私は間違いなく作業プロジェクトといくつかのスパイダーを持っています：

スクレイプリストを実行すると、すべてのスパイダーのリストが表示されます。

私はscrapy.cfgファイルを次のように変更しました。

それから私はします：

したがって、すべてが正常であるように見えますが、次のステップでは、利用可能なプロジェクトが表示されません。

直接入力してみました：

しかし、それは役に立ちませんでした。

私が間違っていることを提案しますか？

.aspx ページをクロールしようとしていますが、存在しないページにリダイレクトされます。これを解決するために、'dont_merge_cookies': True および 'dont_redirect': True を設定して、start_requests を上書きしようとしましたが、"'Response' オブジェクトに属性 'body_as_unicode' がありません" というエラーが表示され、応答クラス タイプが表示されます。 「scrapy.http.response.Response」です。

これが私のコードです：

IISサーバーがあり、その上にASP.NETMVCアプリケーションがあります。MVCアプリケーションは、スクレイピングされたデータを中心に展開します。IISでScrapy（Pythonで構築されたツール）を実行する方法はありますか？IISでPHPとWordPressを実行する方法と同様です。

Amazon S3 で Scrapy を使用するのは非常に簡単で、次のように設定します。

• FEED_URI = 's3://MYBUCKET/feeds/%(名前)s/%(時間)s.jl'
• FEED_FORMAT = 'jsonlines'
• AWS_ACCESS_KEY_ID = [アクセスキー]
• AWS_SECRET_ACCESS_KEY = [秘密鍵]

すべてがうまく機能します。

しかし、Scrapyd はその設定をオーバーライドし、アイテムをサーバーに保存するようです (Web サイト内のリンクを使用)。

「items_dir =」設定を追加しても何も変わらないようです。

どのような設定で機能しますか？

編集: 関連する可能性のある追加情報 - Scrapy-Heroku を使用しています。

スクレイピードキュメントは次のように述べています：

Scrapy には「Scrapyd」と呼ばれる組み込みサービスが付属しており、JSON Web サービスを使用してプロジェクトをデプロイ (別名、アップロード) し、スパイダーを制御できます。

適合性にscrapydを使用する利点はありますか?

scrapydにアイテムを保存しようとしていJSON fileます。実際には、デフォルトで項目を json ファイルに保存しますが、次のようにします: File_1:

そして、スクレイピークロールでスパイダーを実行すると、 Spidername -o fileName -t json

次のようなアイテムを保存します: File_2:

File_1 の貼り付け内容を jsonParser にコピーしようとすると、予想されるというエラーが表示されます[ が、File_2 は正常に動作します。Scrapyd を使用してアイテムを適切な JSON 形式で保存する方法を教えてもらえますか

freeBSDにscrapydをインストールしようとしていますが、次のエラーが発生します:

このコマンドを使用してスクレイピーをインストールしました：

freeBSDにscrapydをインストールする方法を教えてください。

私はscrapydを使用してscrapyプロジェクトをデプロイしようとしていますが、エラーが発生しています...

以前はプロジェクトを適切にデプロイできましたが、今はそうではありません.....しかし、スクレイピークロールスパイダーネームを使用してクロールスパイダーを使用する場合、問題はありません...誰か助けてください....