プロジェクト構成ファイルに余分な行を追加して、クロールスパイダーのユーザーエージェントをオーバーライドしようとしました。コードは次のとおりです。
[settings]
default = myproject.settings
USER_AGENT = "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
[deploy]
#url = http://localhost:6800/
project = myproject
しかし、自分の Web に対してクローラーを実行すると、スパイダーがカスタマイズされたユーザー エージェントではなく、デフォルトの "Scrapy/0.18.2 (+ http://scrapy.org )" を取得していることに気付きました。私が間違ったことを誰でも説明できますか。
ノート：
(1)。ユーザーエージェントをグローバルにオーバーライドしようとしたときに機能します：
scrapy crawl myproject.com -o output.csv -t csv -s USER_AGENT="Mozilla...."
(2)。設定ファイルから「default = myproject.setting」という行を削除して、myproject.com のスクレイピー クロールを実行すると、「スパイダーが見つかりません..」と表示されるので、この場合はデフォルト設定を削除すべきではないように感じます。
事前に助けてくれてありがとう。