OK、API を呼び出して製品に関する情報を返す一連のボタンがある Web サイトがあります。私が抱えている問題は、Googleが約10分ごとにAPIにアクセスしてフォローしていることです。これは、1日に大量の検索を行っていることを意味します.
Googleボットがこれを行うのを止めることはできますか??
私は robots.txt ファイルを持っていますが、フォロー メタはありませんが、あまり効果がないようです。
アドバイスをいただければ幸いです。
User-Agent: *
Disallow:/index/
Disallow /manufacturer/
ページに拡張子がないことに気付きました。つまり、メーカーはmanufacturer.phpでなければなりません
ありがとう