これが私の状況です: 別のページをクロールしたいので、別のダウンローダを使用します: 異なる url-lib を使用して、異なる Web ページ (urllib2/httplib など) をロードできるためです。そのため、ダウンローダ ミドルウェア ファイルにさらに 2 つのダウンロード関数を作成したいと考えています。
def downloader1():
use urllib2 to open url-type1
def downloader2():
use scrapy default downloader to open url-type2
以下のようなURL解析ルールのような方法があるかどうか考えてみますか? 別の URL に対して、別の downloader1 または downloader2 を呼び出してページをダウンロードできます。
別の質問ですが、同じプロジェクト内の異なるスパイダーに異なるダウンローダーを使用できますか?