スクレイピーフレームワークの停止条件を理解しようとしています。誰かが私にそれを説明できますか？私は全体像を探しています。
これまでのところ、私はそれを知っています：
- パース メソッドでスクレイピング/パースする URL のキューまたはプールがいくつかあります。指定したり、URL を特定のメソッドにバインドしたり、デフォルトの「解析」に任せたりすることができます。
- これらのメソッド内で、別のリクエストまたはアイテムを返す/生成する必要があります
- 手動で例外を発生させるか、シグナルを外部に取得できます (キャプチャする必要があります)。