python - Scrapy のスパイダー ミドルウェアとダウンローダ ミドルウェアの違いは何ですか?

Question

どちらのミドルウェアもリクエストとレスポンスを処理できます。しかし、違いは何ですか？

Answer 1

インターフェースはほとんど同じですが、目的が異なります。

• ダウンローダ ミドルウェアは、リクエストとレスポンスを変更するか、レスポンスに応じてリクエストを生成します。彼らはクモと直接対話しません。いくつかの例は、Cookie、キャッシング、プロキシ、リダイレクト、ユーザー エージェント ヘッダーの設定などを実装するミドルウェアです。これらはダウンローダー システムに機能を追加するだけです。

• スパイダー ミドルウェアは、リクエスト、アイテム、例外、start_requests. ダウンローダ ミドルウェアといくつかの基本的な機能を共有していますが、応答に応じて要求を生成することはできません。彼らはスパイダーとダウンローダの間に立っています。1 つの例は、不適切な HTTP ステータス コードを含む応答を除外することです。

一部のミドルウェアは、ダウンローダ ミドルウェアまたはスパイダー ミドルウェアのいずれかとして機能しますが、それらは多くの場合些細なものであり、より複雑な機能を追加すると、いずれかのカテゴリに強制されます。