サイトが Google、Yahoo! からの訪問のみを受け入れるように robots.txt を構成する方法はありますか? とMSNスパイダー？
24869 次
4 に答える
34
ユーザーエージェント： * 許可しない: / ユーザー エージェント: Googlebot 許可する： / ユーザーエージェント: スラープ 許可する： / ユーザーエージェント: msnbot 許可しない:
Slurpは Yahoo のロボットです
于 2009-03-22T19:38:08.787 に答える
18
なんで？
悪いことをする人 (たとえば、電子メール アドレスをスパムに収集するなど) は、robots.txt を無視します。robots.txt への準拠は任意であるため、正当な検索エンジンのみをブロックすることになります。
しかし — どうせやりたいなら — User-Agent:robots.txt の行はそのためのものです。
User-agent: googlebot
Disallow:
User-agent: *
Disallow: /
もちろん、トラフィックを獲得したい他のすべての検索エンジンの行もあります。Robotstxt.orgには部分的なリストがあります。
于 2009-03-22T19:35:01.617 に答える
0
誰もが知っているように、robots.txtはクローラーが従うべき標準であるため、行儀の良いエージェントだけが従います。だから、それを置くかどうかは関係ありません。
サイトにも表示されないデータがある場合は、権限を変更してセキュリティを向上させることができます。
于 2012-10-23T19:07:18.087 に答える