2 つの異なる Web クローラー (Sistrix とhttp://ssitemap.com ) を試しました。/
どちらのクローラーも、 や などの URL の重複コンテンツに関するエラーを報告します/?katID=12
。
クローラーがその URL を呼び出すと、/projekte/index.php?katID=12
見つけた URL<a href="/">Home</a>
を へのリンクとして追加することがわかりました/?katID=12
。?katID=12
パラメータを持たないページ上のすべてのリンクに、URL のパラメータが追加されているようです。
ブラウザまたは wget を使用すると、必要に応じて単純な html リンクが表示さ/
れます。
私は何か間違ったことをしましたか?サーバー構成?
これはバグですか、それともクローラーの機能ですか?