1

わかりました、これについて少し混乱しています。周りを見回しても答えが見つからなかったので、ここにいます。im複数のサブディレクトリをブロックしようとしています(動的URL)

例:

/virtual-news/itemlist/allo/
/online-news/itemlist/hi/
/blahblah-news/itemlist/goodbye/
/something-news/itemlist/allllo/

スパイダーが /itemlist/ ディレクトリを含む URL のインデックス作成をブロックするには、これを使用できますか?

Disallow: /*/itemlist/*

それは理にかなっていますか?しかし、私は確信が持てず、これに関する多くの情報を見つけることができません

4

1 に答える 1

0

ボットがあなたのサイトのコンテンツをまだインデックスしていない場合は、からのアクセスをブロックしてrobots.txtも問題ありません。彼らがすでにコンテンツにインデックスを付けていて、それを削除したい場合は、アクセスをブロックせず、代わりに 404 または 410 を返してください ( https://youtu.be/G29Zt-UH_Koから)。

于 2015-09-09T19:11:17.920 に答える