私は正常に動作するスクレイピークローラーを持っています。「parse」関数を使用して、特定の URL を解析したいと考えています。コマンドを使用して単一のURLに対してこれを行うコマンドラインユーティリティが存在しますが:
scrapy parse <options> <url>
しかし、私は自分のpythonコード内でこれを行いたいです(そして、すべてのURLに対して新しいプロセスを開始することはオプションではありません)
これに必要なものは、基本的に、URLを指定してResponseを作成する方法です。Scrapy が受け取る応答は HTTPResponse と同じではないため、URL を指定してその応答を取得する方法がわかりません。
明らかなことを行うメソッドmake_reqests_from_urlを見つけましたが、解析関数に渡すことができるスクレイピーリクエストからスクレイピーレスポンスに取得する方法がわかりません。