スクレイプでクロール速度が遅くなります（約1ページ/秒）。私はawsサーバーから主要なウェブサイトをクロールしているので、ネットワークの問題ではないと思います。CPU使用率は100に近くなく、複数のスクレイププロセスを開始すると、クロール速度がはるかに速くなります。
Scrapyは大量のページをクロールし、数秒間ハングしてから繰り返します。
私は遊んでみました：CONCURRENT_REQUESTS = CONCURRENT_REQUESTS_PER_DOMAIN = 500
しかし、これは実際には針を約20を超えて動かすようには見えません。