ほとんどの言語には Web スクレイピング機能が組み込まれているか、他の言語によって作成されていることを考えると、これはより一般的な Web スクレイピングの問題です。
約 6 つの異なるページから情報を取得したいサイトがあります。これは通常、それほど悪くはありません。残念ながら、これらのページの情報はおよそ 10 秒ごとに変化します。つまり、1 時間に 2000 件を超えるクエリが発生する可能性があります (これは問題です)。私が考えているウェブサイトへのAPIもありません。必要な量の情報をリクエストであふれさせずに取得する効率的な方法はありますか?それとも運が悪いのでしょうか?