負荷分散された環境にUmbracoサイトがあり、実際のURLのみがクロールされ、異なる本番URLはクロールされないようにする必要があります。
example.com
ロードバランサーがである場合とそうでない場合にのみ、インデックスが作成さproduction1.example.com
れますproduction2.example.com
。
これらのURLの禁止ルールをrobots.txtに追加しますか、それともnofollow
ヘッドにメタタグを追加しますか?または、負荷分散URLをクローラーによってインデックス付けされないようにする別の方法はありますか?