bots - Webサイトからボットをブラックリストに登録する

Question

APIにサインアップしました。そのドキュメントには、「使用コストを削減するために、Webサイトからボットをブラックリストに登録することをお勧めします」と書かれています。

それはどういう意味ですか、そしてそれをどのように行うのですか？

Answer 1

ボットが何であるか、そして何が許可されていないかについての指示を与えるrobots.txtファイルを設定する必要があります。

http://www.robotstxt.org/を参照してください。