一部のページ アドレスにæ、ø、の文字を使用する Web サイトを維持しています。åそして、これは初期のIEの問題を除いて、今までうまく機能しています. ここ数週間の問題は、検索エンジンのクローラー、特に Bing が何度も何度も文字をエンコードしているように見えることです。
そのため、クローラーが/butikk/m%C3%83%C6%92%C3%86%E2%80%99%C3%83%E2%80%A0%C3%A2%E2%82%AC%E2%84%A2%C3%83%C6%92%C3%A2%E2%82%AC%C5%A1%C3%83%E2%80%9A%C3%82%C2%A3%C3%83%C6%92%C3%86%E2%80%99%C3%83%C2%A2%C3%A2%E2%80%9A%C2%AC%C3%82%C2%A0%C3%83%C6%92%C3%82%C2%A2%C3%83%C2%A2%C3%A2%E2%82%AC%C5%A1%C3%82%C2%AC%C3%83%C2%A2%C3%A2%E2%82%AC%C5%BE%C3%82%C2%A2%C3%83%C6%92%C3%86%E2%80%99%C3%83%E2%80%A0%C3%A2%E2%82%AC%E2%84%A2%C3%83%C6%92%C3%A2%E2%82%AC%C5%A1%C3%83%E2%80%9A%C3%82%C2%A2%C3%83%C6%92%C3%86%E2%80%99%C3%83%C2%A2%C3%A2%E2%80%9A%C2%AC%C3%85%C2%A1%C3%83%C6%92%C3%A2%E2%82%AC%C5%A1%C3%83%E2%80%9A%C3%82%C2%B8blerではなくアドレス にアクセスしようとすると、404 エラーが発生します/butikk/møbler。を使用/butikk/m%c3%b8blerすると、適切なページに移動することもできます。また、Play フレームワークを使用しているため、コントローラーは 250 文字を超えることができないため、サイト エラーも発生しますが、これはここでの本当の問題ではありません。
当初、サイトにはサイトマップがありませんでした。UTF-8 でエンコードされたアドレスを使用して、ボットを正しい方向に導くことを期待して追加しましたが、これまでのところ何もありません。
同様の問題が発生して解決した人はいますか? または、Bing Bot に正しいアドレスを使用させるためにできることについて何か提案はありますか? どんな助けでも大歓迎です。
追加情報: Bing Webmaster Tools を見ると、Bing が正しいアドレスと、"ø" ではなく "ø" を使用したバージョンの両方にインデックスを付けていることがわかります。したがって、問題のあるアドレスをインデックスから削除することで、問題を解決できることを願っています。