誰か (多くの IP アドレスを使用している) が以下を使用して私のショップ全体をブラウジングしているという問題があります。
example.com/catalog/category/view/id/$i
URL 書き換えをオンにしているので、通常の人間のブラウジングは「フレンドリー」に見えます。
example.com/category_name.html
したがって、問題は、「古い」(書き換えられていない) URL を使用してショップを閲覧するのを防ぎ、「フレンドリーな」URL のみを許可する方法です。
何百ものスレッドを使用しているため、ショップの動作が非常に遅くなるため、これは非常に重要です。
スパイダーが指定されたパターンのすべての URL をクロールする場合:
example.com/catalog/category/view/id/$i
次に、これらの URL を.htaccess. 書き換えは内部で行われるcategory.html -> /catalog/category/view/id/$iため、ボットのみをブロックします。
多数のランダムな IP アドレスが存在するため、単一または少数のアドレス グループからのアクセスを単にブロックすることはできません。このクローラーを何らかの方法で一意に識別するログを実装する必要がある場合があります (おそらくブラウザー エージェントによって、または Modernizr JavaScript ライブラリの巧妙な使用によって)。
このクローラーのいくつかの一意の識別子を区別できるようになったら、(ユーザー エージェントの場合は) ルールを使用し.htaccessてリダイレクトするか、サーバーの能力を消費するのを防ぐことができます。
この SO の質問は、ユーザー エージェントのルールの詳細を提供します。
書き換えがそこにあると...彼らはそこにあります。それらは多くの理由でMageデータベースに保存されます。1つは、サイトをクロールするようなクローラーです。もう1つは、古いページをブックマークしている可能性のあるユーザーです。個人がリダイレクトを実行してクリーンアップするために思いついた方法はたくさんあります（Google） ...しかし、現状では、Magentoでは、一度そこに到達すると、Magentoを使用して簡単に管理することはできません。
site map新しいものを生成して、サイトに影響を与えるクローラーに送信することをお勧めします。このクローラーは、必要のない大量のページをクロールするだけでなく、重複するコンテンツを表示します（bad juju）。