Google 検索結果から URL のリストをダウンロードしようとしています。基本的に、検索クエリ「site:www.mywebsite.com」で 6,500 件の結果が返されます。これらすべての結果への URL が必要です。最初の 1,000 件を取得する方法がいくつかあることは知っていますが (これが Google の制限です)、6,500 件すべての結果が必要です。
これを行う方法はありますか？Google の CustomSearch API を使用して実行できますか?
これに関するヘルプは大歓迎です。