問題タブ [scrapyd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Scrapy IMAGES_STORE 相対パスを設定する方法
IMAGES_STORE相対パスとして設定しようとしていますが、エラーが発生しIMAGES_STORE、フルパスとして指定している場合は正常に動作しています/home/vaibhav/scrapyprog/comparison/eScraperInterface/images
リンクでエラーが発生しています
実際にはRuntimeError: OSError: [Errno 20] Not a directory: '/tmp/eScraper-1371463750-Lm8HLh.egg/images'エラーが発生していますが、完全な IMAGE_STORE パスを設定すると正常に動作しますが、相対パスを指定する方法を教えてください...このプロジェクトをさまざまなシステムに展開する必要があるため...そのため、相対パスが必要です....
私のプロジェクト構造:
web-scraping - 動的スパイダーを管理する Scrapy
さまざまな Web ページのリストをクロールする Web クローラーが必要なプロジェクトを構築しています。このリストはいつでも変更できます。これをスクレイピーでどのように実装するのが最適ですか? すべての Web サイトに対して 1 つのスパイダーを作成するか、動的にスパイダーを作成する必要がありますか?
私はScrapydについて読んだことがありますが、スパイダーを動的に作成することが最善の方法であると思います。ただし、それを実装する方法についてのヒントが必要です。
python - スクレイピングされたアイテムがデータベースに保存されない
私のスクレイピーはデータベースにデータを保存していません。提案してください。データをスクレイピングしていますが、それらのデータをデータベースに追加していません..コードを調べて、何かを提案してください..
私の Spider.py ファイル
そして私のpipelines.pyファイル::
データベースにデータを保存できません 助けてください
python - MySQL がスクレイピング中のデータを保存しない
Scrapy を使用して小さなプロジェクトを作成しました。問題は、私のスクレイピーがページをクロールしてデータをスクレイピングしていることです。しかし、それは私のデータベースに保存されていません。データベースとして MySQL を使用しています。
私のpipelines.pyファイルに欠けているものがあると思います
スクレイピングしたデータをデータベースに保存する方法を教えてください。
python - 最新の Scrapyd パッケージをインストールするには?
scrapyの最新の安定版が先週 (2013-08-09) リリースされたことに気付きました。Scrapy をバージョン 0.18 に更新した後、以前scrapyd-0.17にインストールしたものはapt-get(Ubuntu 12.04) によって自動的にアンインストールされました。ありscrapyd-0.18ますか？インストール方法は？
python - Pythonを学習し、scrapyを実装しようとしています..このエラーが発生しています
私はスクレイピー チュートリアルhttp://doc.scrapy.org/en/latest/intro/tutorial.html を実行しており、このコマンドを実行するまでそれに従いました。
そして、それは私にエラーで出力を与えました
私はPythonにあまり慣れていないので、何について不平を言っているのかわかりません
ここに私のdomz_spider.pyファイルがあります
ここにディレクトリ構造があります
ここにsettings.pyファイルがあります