apache - Web スパイダーのブロック

Question

すべての Web スパイダーをブロックして、自分の Web サイトをバキューム処理したいと考えています。

方法はありますか？

2008年からいくつかのApacheルールを見つけただけです（このような） http://perishablepress.com/ultimate-htaccess-blacklist/

Answer 1

残念ながら、すべてのスクリプトがサイトにアクセスするのをブロックする方法はありません。人間ができるのであれば、人間と同じように動作し、すべてのページを表示できるスパイダーを作成することを妨げるものは何もありません。特定のロボットがサイトにアクセスするのを防ぐ方法を調べることはできますが (大部分の検索エンジンで実行できます)、サイトが十分に長く維持され、アクセスがあれば、最終的に何らかのデータベースに登録される可能性があります。

こちらをご覧ください。