Apache 2 を使用してコンテンツを提供しています。Bing Bot は HTTP/0.9 を使用して、直接 IP ホストを提供しないサーバーからページを要求しています。
スパイダーがどのホストを必要としているのかわからないが、サイトをインデックス化する必要がある場合、スパイダーをどのように処理すればよいですか?
現在、400 Bad Request を返していますが、自分のサイトが Bing や Yahoo のインデックスに登録されないことに不安を感じています。
ありがとう
Apache 2 を使用してコンテンツを提供しています。Bing Bot は HTTP/0.9 を使用して、直接 IP ホストを提供しないサーバーからページを要求しています。
スパイダーがどのホストを必要としているのかわからないが、サイトをインデックス化する必要がある場合、スパイダーをどのように処理すればよいですか?
現在、400 Bad Request を返していますが、自分のサイトが Bing や Yahoo のインデックスに登録されないことに不安を感じています。
ありがとう