0

負荷分散された環境にUmbracoサイトがあり、実際のURLのみがクロールされ、異なる本番URLはクロールされないようにする必要があります。

example.comロードバランサーがである場合とそうでない場合にのみ、インデックスが作成さproduction1.example.comれますproduction2.example.com

これらのURLの禁止ルールをrobots.txtに追加しますか、それともnofollowヘッドにメタタグを追加しますか?または、負荷分散URLをクローラーによってインデックス付けされないようにする別の方法はありますか?

4

1 に答える 1

0

最善の解決策: ノード固有の URL を公開しないでください (通常、ローカル IP/ポートを使用して特定のノード上のサイトをチェックします)。

これらのドメインがあるため、ドメインに応じて異なる robots.txt を提供できます (URL 書き換えを使用)。

于 2012-05-18T06:39:00.003 に答える