1

次のような同じパターンを持つ特定のページでのクロールを禁止する必要がある状況があります。

/folder1/folder2/folder3/review

リストはどこ/folder1/folder2/folder3/にあり、追加/reviewはクロールを禁止したいものになります。

追加されたこの行robots.txtは、リストやその他のものではなく、レビューページで有効でブロックされますか?

Disallow: /folder1/*/*/review

ありがとう

4

1 に答える 1

0

二重の * は冗長です。シンプルな

/フォルダ1/*/レビュー

あるいは

/*/レビュー

しましょう。

「レビュー」URL の前に 3 フォルダーの長いパスが必要であると述べようとしている場合、これは robots.txt では実行できないと思います。少なくともワイルドカードではなく、* は任意の文字列と任意の数のフォルダーを意味する可能性があるためです。

代わりに htaccess で RegEx を使用してみてください。

于 2012-10-09T10:04:26.430 に答える