データベース (mySQL) でのクロールの全体像を取得しようとしています。
errbackしたがって、データベースにログを記録するには何かが必要です。
errbackパイプラインに渡すことは可能ですか? 現在、次のように設定しています。
応答 -> (アイテム) -> パイプライン
パイプラインが開始すると、そのクロールのエントリが作成されます ( を介してopen_spider)。次に、そのエントリのテーブル ID が変数としてパイプラインに格納されます。errbackこれが、スパイダー自体を介してログに記録できない理由です。
crawl_idまたは、 ID をパイプラインからスパイダーに渡す方法はありerrbackますか?