私はレールアプリケーションを持っています。私のコメント セクションでは、サイトのいくつかの (記事) ページに不快なコンテンツとして報告するリンクがあります。特定のリンクではなく、検索エンジンから記事を集めたいreport as offensive content。
簡単に言えば、私の質問は - スパイダー/検索エンジンが私のサイトの「不快なコンテンツとして報告」リンクをたどらないようにする方法は?
1249 次
2 に答える
1
私は1つの答えを見つけました
長所：-簡単です。たった一行
<a href="mypage.html" rel="nofollow" />
しかし短所：-
私たちのテストは、いくつかの検索エンジンがnofollowリンクをクロールしてインデックスを作成することを示しています。nofollowタグは、リンクが提供するランキング値をおそらく低下させますが、検索エンジンがリンクをたどるのを確実に阻止するために使用することはできません。
于 2012-10-11T06:50:43.200 に答える
1
Web クローラーがファイルをクロールしないリンクを指定できrobots.txtます。
詳細はこちら:
これが例です。robots.txtアプリケーションの最上位ディレクトリに を作成して、domain.com/robots.txt からアクセスできるようにします。
User-agent: *
Disallow: /offensive
これは、すべての User-Agent について、/offensiveURL を無視することを意味します。
于 2012-10-11T06:09:26.697 に答える