PHPを使用してWebサイトをクロールしています。phpをCGIに変換し、コマンドラインから実行することについてはよくわからないので、選択した方法は、1回の反復が成功した後、同じphpファイルにリダイレクトして再度実行することです(無限ループではありません)。 cookieとtimestampチェックの両方を使用して、設定された時間内または数百回の反復後に終了することを確認します)。
私が繰り返し発生する問題は、20回ほど繰り返すと、次のエラーメッセージが表示されることです。
リダイレクトループ
このURLのリダイレクト制限を超えました。要求されたページを読み込めません。これは、ブロックされているCookieが原因である可能性があります。
apache / php(ローカルホストでxamppを使用しています)がループを妨げないようにするにはどうすればよいですか?