seo - 複数ドメインの robots.txt

Question

言語ごとに異なるドメインがあります

1. www.abc.com
2. www.abc.se
3. www.abc.de

そして、サイトごとに異なる sitemap.xml があります。robots.txt に、各ドメインのサイトマップ参照を追加したい。

1. 1 つの robots.txt で各ドメインに複数のサイトマップ参照を含めることはできますか?
2. 複数ある場合、どれを選択しますか?

Answer 1

robots.txt は、独自のドメインのサイトマップのみを検索エンジンに通知できます。そのため、そのドメインの robots.txt をクロールするときに、その 1 つだけが尊重されます。3 つのドメインすべてが同じ Web サイトにマッピングされ、robots.txt を共有している場合、検索エンジンは効果的に各サイトマップを見つけます。