web-crawler - アクセスを拒否しますが、ロボット、つまりGoogleからsitemap.xmlへのアクセスを許可します

Question

http://www.mywebsite.com/sitemap.xmlにある私のサイトマップにGoogle、Yahoo、またはその他の検索エンジンロボットなどのロボットのみを許可できる方法はありますか。これは、ユーザーによる直接アクセスを許可せず、ロボットのみにアクセスを許可することは可能ですか？

Answer 1

基本的にはありませんが、ユーザーエージェント文字列を使用して何かを実行し、アクセスを禁止することができます（Apacheを想定）

<Location /sitemap.xml>
  SetEnvIf User-Agent GodBot GoAway=1
  Order allow,deny
  Allow from all
  Deny from env=!GoAway
</Location>

しかし、ここで言うように（私が構文を見つけた場所）

警告：

User-Agentによるアクセス制御は、エンドユーザーの気まぐれでUser-Agentヘッダーを何にでも設定できるため、信頼性の低い手法です。

Answer 2

私の情報源では赤で表示されています。

$ip = $_SERVER["REMOTE_PORT"];
$host = gethostbyaddr($ip);

if(strpos($host, ".googlebot.com") !== false){
    readfile("sitemap.xml");
}else{
    header("Location: /");

Answer 3

sitemap.php

<?php

    $ip = $_SERVER["REMOTE_PORT"];
    $host = gethostbyaddr($ip);

    if(strpos($host, ".googlebot.com") !== false){
        readfile("sitemap.xml");
    }else{
        header("Location: /");
    }