python - Scrapy のクロール コマンド出力を保存する方法

Question

試したスクレイピークロールコマンドの出力を保存しようとしていますが、 うまくいきscrapy crawl someSpider -o some.json -t json >> some.text ません...出力をテキストファイルに保存する方法を教えてください....によって出力されたログと情報を意味しますスクレイピー...

Answer 1

次の行を に追加できますsettings.py。

LOG_STDOUT = True
LOG_FILE = '/tmp/scrapy_output.txt'

そして、通常どおりクロールを開始します。

scrapy crawl someSpider

Answer 2

ファイルにログを記録するためにscrapy追加できるすべてのコマンドについて--logfile NAME_OF_FILE

scrapy crawl someSpider -o some.json --logfile some.text

ロギングには、他に 2 つの便利なコマンド ライン オプションがあります。

• -Lまたは--loglevelロギングレベルを制御し-L INFOます（デフォルトは ですDEBUG）

• --nologロギングを完全に無効にする

これらのコマンドは、ここに記載されています。