1

EC2 でクローラーをスケジュールし、出力を csv ファイル cppages-nov.csv にエクスポートしようとしていますが、クロールを一時停止する必要があるジョブディレクトリ エンケースを作成していますが、ファイルが作成されていません。正しいフィード エクスポートを使用していますか?

curl http://awsserver:6800/schedule.json -d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawls/cppages-nov -d FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/cppages-nov.csv -d FEED_FORMAT=csv
4

2 に答える 2

5

curl http://amazonaws.com:6800/schedule.json -d project=wallspider -d spider=cppages -d setting=FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/results/cppages.csv -d setting=FEED_FORMAT=csv -d setting=JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawl/cppages-nov

于 2014-10-02T16:48:47.670 に答える