リモート jQuery テンプレートをサポートするために、JavaScript で表示されるリンクがいくつかあります。お気に入り：
<script type="text/javascript">
var catalog = {};
catalog['key1'] = 'somepath/template_1.html';
catalog['key2'] = 'anotherpath/template_2.html';
//and so on
</script>
現在、クローラーはこれらのリンクをたどろうとしています。これを防ぐ方法は？
何よりもまず、どのクローラーがこれらのパスにアクセスしようとしていますか？それらは人気がありますか（たとえば、Google Bot、Bing Bot、Yahoo！Slurp）、または他のいくつかのボットですか？最善の策は、どのクローラーが「違反者」であるかを特定し、それらがそれらのリンクをたどっている理由を理解することです。たくさんの仮定をせずにこれを防ぐ方法を教えるのは非常に難しいです。
そこに2つのタイプのクローラーがあると仮定します。
http://link.to.other/javascript/stuff.js）をクロールしようとしても無意味な試みになる可能性があるためです。ただし、これらのクローラーはJavaScriptを実行している可能性があります。クローラーにJavaScript実行機能を持たせることは非常に複雑なので、そのような機能を備えているクローラーはごくわずかだと思います。そうであれば、プロ級のクローラーです。彼らがプロ級のクローラーである場合は、robots.txtや、アンカー要素のrel属性の「nofollow」などをサポートする可能性が高いと思われるかもしれません。
<a href="http://www.example.com/" rel="nofollow">Link text</a>
私は「スマート」クローラーグループのそれらをバケツに入れます。人気のあるボットのほとんどはかなりスマートで、礼儀正しいので、それほど心配する必要はありません。
JavaScriptはドキュメントを変更しますか？その結果、ある種のハイパーリンクが作成されますか？はいの場合、スマートクローラーはリンクを取得できますが、ダムクローラーはJavaScriptを実行する可能性がはるかに低いため、取得できません。
では、あなたはそれで何ができるでしょうか？スマートクローラーの場合は、robots.txt、 "nofollow"などの標準的なポライトネスポリシーをすべて適用する必要があります。ほとんどの場合、これらのリンクをクロールするのを防ぐのに十分なはずです。彼らはおそらくあなたのサイトに役立つので、あなたはとにかく彼らに親切になりたいです（つまり、彼らはあなたのコンテンツに基づいてそれにトラフィックを誘導するでしょう）。
ダムクローラーの場合、いくつかの異なる解決策をテストする必要があるかもしれません。URLを難読化するか、いくつかの戦略の1つを使用してそれらを検出します。それらを検出すると、あらゆる種類のことを実行できます。良いものもあれば、それほど良くないものもあります:)。
繰り返しになりますが、これ以上の情報がなければ、多くの仮定を立てる必要があることがわかります。したがって、より多くの情報を提供するか、少なくとも自分で情報を分析して、上記の質問/アイデアを念頭に置いてください。
リンクのように見えないようにする
var catalog = {
'key1': {'path':'somepath', 'page':'template_1.html'},
'key2': {'path':'anotherpath','page':'template_2.html'}
}
//and so on