3

エラーの原因となるいくつかのURLのグーグルクロールを停止するのに問題があります。

やめたい

  • / project / 123984932842 / download / pdf
  • / project / 123984932842 / download / zip

しかし、許可します

  • / project / 123984932842
  • / project / 123984932842 / flat

project / * / download / pdfを試しましたが、機能しないようです。誰かが何を知っていますか？

4

2 に答える 2

4

/行頭に はありますかDisallow:？

User-agent: googlebot
Disallow: /project/*/download/pdf
于 2013-01-10T00:40:33.640 に答える
0

オリジナルのrobots.txt仕様ではワイルドカードは定義されていませんが、Google (およびその他の一部) はワイルドカードをパーサーに追加しました。ただし、とにかくあなたのケースではそれらは必要ないと思います（ジムが指摘したように、これは間違っていました）. 次の robots.txt (*ワイルドカードを使用) は、その仕事を行う必要があります。

User-agent: Googlebot
Disallow: /project/*/download
于 2013-01-11T00:55:02.227 に答える