robots.txt - noindex は robots.txt で有効ですか?

Question

noindex は robots.txt ファイルのオプションのディレクティブですか、それともオプションは user-agent、disallow、allow、crawl-delay だけですか?
たとえば、これは robots.txt ファイルの内容に対して有効ですか?

user-agent: *  
disallow: /  
noindex: /

Answer 1

noindexはrobots.txtファイルの有効なディレクティブではありません。ただし、これはMETAロボットタグの有効なディレクティブです。

robots.txtの標準ディレクティブは、「User-agent」と「Disallow」のみです。一部のブラウザは、「Crawl-delay」、「Allow」、「Sitemap」などの一連の拡張ディレクティブをサポートしています。http://rield.com/cheat-sheets/robots-exclusion-standard-protocolには、標準ディレクティブと拡張ディレクティブの詳細な説明があるようです。