サイトの重要なアクティビティを出力する txt ログ ファイルがいくつかあります。これらのファイルは私のサイト内のどのリンクからも参照されていないため、URL を知っているのは私だけです (ファイル名に現在の日付が含まれているため、毎日 1 つ持っています)。
質問: Google はこれらの種類のファイルをインデックスに登録しますか? Google は、URL がサイトにあるページのみをインデックスに登録していると思います。
私の仮定を確認できますか？他の人にGoogleなどからのリンクを見つけてほしくないだけです:)
理論的には、そうすべきではありません。それらがどこからでもリンクされていない場合、それらを見つけることができないはずです。ただし、Google ツールバーがインストールされているおかげで、コンテンツがインデックスに登録されるかどうかはわかりません。確かに、検索エンジンで予期しないものが表示されたことがあります。唯一の安全な方法は、フォルダーをパスワードで保護することです。
Google は、存在を認識していないページをインデックスに登録できないため、誰かが URL を Google に投稿するか、ウェブサイトに配置しない限り、これらのページをインデックスに登録することはありません。
確認したい場合は、ファイル (/robots.txt 内) のインデックス作成を禁止してください。