最近、サーバーで多くの CPU スパイクが発生していますが、どういうわけか、それは実際のトラフィックではないか、その一部が実際のものではないと思います。したがって、今のところ、Google ボット、MSN、および Yahoo のみを許可したいと考えています。次の robots.txt ファイルが私の要件に合っているかどうかを教えてください。
ユーザー エージェント: Googlebot ユーザーエージェント: スラープ ユーザーエージェント: msnbot ユーザー エージェント: Mediapartners-Google* ユーザー エージェント: Googlebot-Image ユーザーエージェント: Yahoo-MMCrawler 許可しない: ユーザーエージェント： * 許可しない: /
ありがとう。