python - Scrapy - Scrapy を使用して https Web サイトにログインすることは可能ですか

Question

資格情報を使用して https Web サイトにログインし、サイトの特定の部分をクロールする Web クローラーを作成しようとしています。私はPythonでScraptyを使用していますが、ウェブサイトではhttpsについて何も表示されないため、それが可能かどうかは100％確信が持てません:

*cookies and session handling
*HTTP compression
*HTTP authentication 
*HTTP cache

もしそうなら、どのように始めるかについてのアイデアはありますか？

Answer 1

Scrapy はデフォルトで https をサポートしますが、スクレイパーを起動するときは URL で正しいプロトコルを使用してください。