私の手には、グーグル（またはそのことについてはyahoo / bing）が特定のコンテンツをインデックスに登録しないことを非常に確信している必要がある場合があります。したがって、冗長性が高いほど良いです。
私が知る限り、それを達成するための3つの方法がありますが、もっとあるのではないかと思います（ここでは冗長性が重要です）：
ですから、それがすべての方法であるなら、それは良いことですが、誰かがさらに確実にする方法について何らかのアイデアを持っているなら、それはただのダンディでしょう：D
（私はそれが少し狂っているのを知っています、しかしコンテンツがどういうわけかグーグルに現れるならば、それは私の会社にとって本当に高価になるでしょう：'-（）
ええと、もっとたくさんあります
a）googlebotを特定します（他のボットと同様に機能します） http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=80553 コンテンツを表示しないでください
b）HTTP200の代わりにHTTP404 /HTTP410ヘッダーでこれらのページを返す
c）これらのページをCookie/セッションのあるクライアントにのみ表示する
d）コンテンツ全体を画像としてレンダリングします（その後、画像を非表示にします）
e）コンテンツ全体を画像データURLとしてレンダリングします（その後、否認は必要ありません）
f）ユーザーパイプ| URL構造内（グーグルで動作し、他のページについては知らない）
g）たとえば5分間しか機能しない動的URLを使用する
そして、これらは私の頭の上のほんの少しです...おそらくもっとあります
さて、コンテンツを表示するには、何らかの登録/認証が必要になる可能性があると思います。
私の仕事では、ajaxメソッドを介してポストロードコンテンツを使用していますが、これは非常にうまく機能します。xhrヘッダーなしで同じajaxルートがヒットした場合は、何も返さないことを確認する必要があります。（ただし、承認と組み合わせて使用しています。）
ある種の認証の背後にあるデータを実際にロックダウンせずに完全に確信できる方法はないと思います。そして、それがあなたの会社にとってそれがそこに出た場合に高価になるだろうなら、あなたはそれを真剣に検討したいかもしれません。
.htaccessの検索エンジンユーザーエージェントで検索エンジンとリクエストからのIPをブロックするのはどうですか？
IPとユーザーエージェントのリストのメンテナンスがさらに必要になる場合がありますが、機能します。