ユーザーが自分のプロファイルを入力し、特定の詳細をパスワードで保護できるサイトがあります。プロファイルの「保護されていない」部分（ユーザーごとに異なります）を検索エンジンでクロールしたいと思います。Facebookにユーザーの名前を入力した場合と同様に、ユーザーのFacebookプロファイルが検索結果に表示されます。ボットがパスワードで保護されたセクションをクロールしないようにするために特別なことをする必要がありますが、それでも（常に公開されている）ユーザー名をクロールしますか？これが問題であるかどうかはわかりませんが、robots.txtを更新してこれを可能にしたいと思います。
また、ボットがユーザー名を（安全に）利用できるようにするにはどうすればよいですか？名前のリストを使用して別のディレクトリを作成する必要がありますか、それともより良い方法がありますか？
アドバイスありがとうございます
検索エンジンは、匿名ユーザーが見たものだけをインデックスに登録します。まだお持ちでない場合は、必要なデータのみを表示するユーザー プロファイルを閲覧するためのリスト ページを作成します。これにより、すべてのリンクが存在することが保証されuserProfile.aspx?uid=XXXXXXます。検索エンジンのスパイダーは、パスワードで保護されたデータを見ることができません。
検索エンジンのスパイダーがリスト ページに確実にアクセスできるように、サイト マップも追加します。通常、Google はコンテンツへのリンクに基づいて検索しますが、Google が魔法のようにすべてのページを検索するとは考えないでください。Google にサイト マップを送信します。
サイト マップと検索結果に関する編集
スパイダーが検索結果をクロールできるようにするには、すべてを表示する検索結果ページにスパイダーを向けるサイト マップのエントリを指定します (例: search.aspx?param=all)。
何もする必要はありません。robots.txt で明示的に禁止しない限り、検索ボットは保護されたページにアクセスできませんが、パブリック コンテンツには問題なくアクセスできます。