0

これは、Googleと共同以外のすべてのボットのセクションです。

# Every bot that might possibly read and respect this file.
User-agent: *
Allow: /search
Disallow: /search/users
Disallow: /search/*/grid

Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauth

「Dissallow：/ *？」すべてのURLを禁止します。この場合、以下のルールは冗長です。または、疑問符を含むURLのみを禁止しますか？

より一般的には、個人のプロフィールページにアクセスして、個人のWebサイトへのリンクを自動的にたどることが許可されているかどうかを知りたいと思っています。リンクをたどるだけで、途中でこすり落とすことはありません。

ありがとう、

ラズ

4

1 に答える 1

1

robots.txt仕様で*はワイルドカードとしてのみ許可されているため/*?、空のクエリ文字列で終わるすべてのURLは許可されていません。?はワイルドカードではないため/*?、すべてのURLを禁止するのではなく、。で終わるURLのみを禁止し?ます。

于 2012-10-06T15:39:56.977 に答える