問題タブ [scrapinghub]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Scraping Hub Periodic Script / IOError No such file or directory
定期的なスクリプトを実行して、プロジェクト内の json ファイルに接続しようとしています。これを試しました ( https://support.scrapinghub.com/support/solutions/articles/22000200416-deploying-non-code-files ) が、うまくいきません。スクレイピング ハブからインポートされた構造が大きく異なります。このファイルを呼び出す必要があるまで、スクリプトは正常に機能しています。
私が得たエラーは次のとおりです。
これで setup.py ：
どうもありがとうございました。
web-scraping - Scrapy 0 ページがクロールされましたが、目に見える問題はありませんか?
Portia を使用してスパイダーを作成し、scrapy プロジェクトとしてダウンロードしました。スパイダーは正常に実行されますが、ログに次のように表示されます: Scrapy Crawled 0 pages (at 0 pages/min) and also get's saves. ただし、200 応答でクロールされたすべてのページも表示され、最後にデータのバイトが表示されます。
スパイダーコード
パイプライン コード クロール時にアイテムを json 行に書き込む openSpider および closeSpider 関数を追加しました。jl ファイルが作成されるため、機能すると思います。
パイプラインが機能するように、設定コード も設定でパイプラインを有効にします。
スパイダーを実行すると、次のログが作成されます。
アイテムを集めない理由がわかりません。最初に 0 個のアイテムがクロールされ、次にページに対して 200 件の成功応答が表示されたと言いました。ありがとうございました