curl - curl を介した Web サービス呼び出しで問題を作成するボットを検索する

Question

ユーザーが製品詳細ページを開いたときに、ベンダー Web サービスからライブ在庫を取得するための curl コードを実装しました。

しかし、検索エンジン ボットがページにアクセスしているため、毎秒 1000 回の Web サービスへの curl 呼び出しが発生します。

この問題を修正する方法。Googleで検索しましたが、正確な答えはまだ見つかりませんでした。

Answer 1

少なくとも、ページが呼び出されたときに User-Agent と IP アドレスを検出する必要があります。受信した引数がボットのデータと一致した場合は、Web サービスを呼び出さず、永続的な静的データを使用します (ボットのみ)。

さらに、人間によるチェック (captcha など) 用のツールを使用できます。チェックに失敗した場合は、Web サービスを呼び出さないでください。

また、キャッシュを使用して、キャッシュの更新にのみ Web サービスを呼び出すこともできます (例: 1 時間に 1 回)。データが更新されてから 1 時間以内の場合、ページはキャッシュされたデータを使用する必要があります。