start_requests 関数をオーバーライドしてリクエストをトリガーするスパイダーを作成しています。私の目標は、X リクエストをトリガーし、それらが完了するのを待ってから、リクエストが不要になるまで X リクエストをさらにトリガーすることです。
そのような目標をどのように実装することをお勧めしますか?
私の考えは、DB から X リクエストを読み取る start_requests 内でループを使用し、yield を使用して、DB で使用可能なリクエストがなくなるまでリクエストをトリガーすることでした。
それはうまくいくでしょうか？