サイトにメタ データ キー (AvoidSearchEngineIndexing) を追加して解決しました。各ページが使用するマスターページで、設定されているかどうかを確認し、robots メタタグの内容を調整します。
コードビハインド
protected void Page_Load(object sender, EventArgs e)
{
MetaRobotsContent = "index, follow";
object avoidSearchEngineIndexing;
if (Site.MetaData.TryGetValue("AvoidSearchEngineIndexing", out avoidSearchEngineIndexing) && ((avoidSearchEngineIndexing as bool?) ?? false))
{
MetaRobotsContent = "noindex, nofollow";
}
}
protected string MetaRobotsContent { get; set; }
マークアップ
<meta name="robots" content="<%= MetaRobotsContent %>