http-headers - robots.txtのリクエストにHTTPコード418AKA「私はティーポットです」で応答すると、検索エンジンは私を嫌いますか？

Question

HTML5のCanvas内で実行される非常に単純なWebアプリがあり、検索エンジンでインデックスを作成する必要のあるパブリックファイルはありません（必要なすべてのリソースへの呼び出しを含むフロントページのHTMLファイル以外）。robots.txtそのため、公開ファイルが表示されるだけなので、ファイルは必要ありません。

冗談として、Webクローラーが要求するたびにHTTP-418AKA「私はティーポットです」という応答を返したいと思いますrobots.txt。しかし、これが検索結果での私の位置に関して私を台無しにすることになった場合、これは私にとって非常に価値のある冗談ではありません。

さまざまなWebクローラーが非標準（この場合は技術的には標準ですが）のHTTPコードにどのように応答するかについて誰かが知っていますか？

また、もっと深刻なことに、robots.txt「すべてが索引付け可能です！」というファイルを作成する理由はありますか。ファイルがないだけでなく？

Answer 1

1. 空白の robots.txt ファイルがあると、すべてのコンテンツをインデックスに登録する必要があることもクローラーに伝えられます。robots.txtのディレクティブがありallowますが、これは非標準であり、依存するべきではありません。検索エンジンがサイトから存在しない robots.txt をリクエストしようとするたびに、アクセス ログに 404 エラーが蓄積されるのを防ぐため、これは有効です。

2. 非標準の HTTP コードを送信することは、検索エンジンがどのように応答するかまったくわからないため、お勧めできません。彼らがそれを受け入れない場合、彼らはフォールバックとして 404 ヘッダーを使用する可能性があり、それは明らかにあなたが望んでいることではありません。基本的に、ここで冗談を言うのはよくありません。