subdomain - 不要なサブドメインのクロールを無効にする

Question

subdomain.domain.comクロールされ、alexa や他のクローラーにリストされることを無効にして削除するにはどうすればよいですか? 特にcpanel.domain.comとwebmail.domain.comそれは私のアレクサ情報ページにリストされていて迷惑です :/ .

Answer 1

この記事から: https://alexa.zendesk.com/hc/en-us/articles/200450194-Alexa-s-Web-and-Site-Audit-Crawlers

Alexa Web クローラー (ロボット) は、HTTP の「User-agent」ヘッダー フィールドで自身を「ia_archiver」として識別します。Alexa Internet ia_archiver クローラーは、robots.txt ルールに厳密に従っています。

ia_archiver がサイトのどの部分にもアクセスできないようにするには、robots.txt ファイルを次のようにする必要があります。

User-agent: ia_archiver
Disallow: /

特定のディレクトリのクロールを制限することもできます。たとえば、ia_archiver が images ディレクトリ (およびそのサブディレクトリ) にアクセスできないようにするには、次のようにします。

User-agent: ia_archiver
Disallow: /images/

robots.txt可能であれば、クロールしたくないサブドメインのルートにa を配置できます。これらのページがあなたの管理外にある場合。ホスティングサービスは、これらまたは同様の制限を行うべきでした/行うことができました.