私はphpmysqlWebサイトを持っており、ユーザーは最初のページ（ホームページ）でサインアップする必要があります。そうすれば、ユーザーだけがWebサイトのコンテンツを閲覧できます。ユーザーがログインしていない場合、すべてのページでログインフォームが生成され、コンテンツはログイン時にのみ表示されます。登録できるIPは、大学のワイヤレスネットワークのIPのみです。
したがって、クローラー（すべての検索エンジン）がログインが必要なWebサイトのコンテンツを表示できるように、サイトマップまたはその他の方法が必要です。 受け入れられた、または倫理的な方法でのみ投稿してください。
私は現在、自分のWebサイト内で検索を行っていないため、ユーザーはWebサイトからコンテンツを見つけることができません。そのため、「searchtextmydomain.com」などを使用して検索エンジンを簡単に検索できるようにしたいと思います。
私はこれをこのstackoverflowの質問を読みまし たが、解決策を見つけることができませんでした。
多分Googleカスタム/サイト/エンタープライズ検索はオプションです：
http://www.google.com/enterprise/search/products_gss.html
保護されたコンテンツにアクセスできます。
http://support.google.com/gsa/bin/answer.py?hl=en&answer=15855
あなたはイントラネットについて言及していると思います。特定のユーザーのみが表示できるドメインのXMLサイトマップ、メタタグ、またはrobots.txtファイルを作成することは完全に不要です。あなたは単にそうする必要はありません。ログインアカウントを持っている場合は、サイトが存在することを知っている必要があります。
それはあなたの架空の友人に名前を付けるようなものです。;）
許可されたユーザーにのみ表示されるコンテンツは、検索エンジンを含む他のユーザーには表示されないようにする必要があります。
ユーザーがサイトを検索できるようにする場合は、ユーザーエリアに検索機能を追加する必要があります。これは、Goodleやその他の検索エンジンとは何の関係もありません。