python - スクレイピーからcsvファイルをエクスポートします（コマンドライン経由ではありません）

Question

次のように、コマンド ラインからアイテムを csv ファイルに正常にエクスポートしようとしました。

   scrapy crawl spiderName -o filename.csv

私の質問は次のとおりです。コードで同じことを行う最も簡単な解決策は何ですか? 別のファイルからファイル名を抽出するので、これが必要です。エンドシナリオは、私が呼ぶべきものです

  scrapy crawl spiderName

項目を filename.csv に書き込みます

Answer 1

それがフィード エクスポートの目的です: http://doc.scrapy.org/en/latest/topics/feed-exports.html

スクレイパーを実装する際に最も頻繁に必要とされる機能の 1 つは、スクレイピングされたデータを適切に保存できることです。これは、多くの場合、スクレイピングされたデータ (一般に「エクスポート フィード」と呼ばれる) を含む「エクスポート ファイル」を生成して、他のシステムで使用できるようにすることを意味します。 .

Scrapy は、フィード エクスポートを使用してこの機能をそのまま提供します。これにより、複数のシリアル化形式とストレージ バックエンドを使用して、スクレイピングされたアイテムでフィードを生成できます。