2

動的コンテンツを提供するページがあります

/for-sale

ページには常に少なくとも 1 つのパラメータが必要です

/for-sale?id=1

禁止したい 

/for-sale

しかし許可する

/for-sale?id=*

サイトをクロールするボットの機能や、SERP に悪影響を与える可能性に影響を与えることなく。

これは可能ですか？

4

2 に答える 2

3

あなたが望むものは、使用して動作しませんrobots.txt:

  1. M. Koster によって書かれた RFC はそのように示唆していますが (一部のクローラーはそれをサポートしているようです) Allow:、ロボット除外基準のようなものはありません。
  2. クエリ文字列やワイルドカードなどはサポートされていないため、「ネイキッド」バージョンを許可しないとすべてが許可されなくなります。確かにあなたが望むものではありません。
  3. の内容robots.txtは完全にオプションであり、単なるヒントです。そのファイルを要求したり、あなたの言うことを尊重したりするロボットはまったく必要ありません。
  4. ほとんどの場合、上記のいずれかまたはすべてが間違っている 1 つまたは複数の Web クローラーが見つかりますが、それを知る方法はありません。

実際の問題に対処するには、書き換えルールを Apache 構成ファイルに入れることができます。クエリ文字列を含む URL を通常の URL に変換するためのすぐに利用できるコードがあります (クイック Web 検索の例)。

(または、クエリ文字列をそのままにしておくこともできidます。トラフィックの 85% を占める 1 つの検索エンジンは問題なくそれらを消費し、Google 以外の 90% を占める他の 2 つの検索エンジンも同様です
。恐怖は、実際には誰も使用していない検索エンジンと、スパム ハーベスターに関するものだけです。)

于 2012-11-26T17:33:43.443 に答える
0

これはうまくいくはずだと思います

Disallow: /for-sale    
Allow: /for-sale?id=*&*
Allow: /for-sale?id=*
于 2012-11-26T16:40:10.210 に答える