2

重複の可能性:
偽のユーザー (クローラー) と cURL を検出する方法

私の Web サイトの一部のページが望ましくないクロールを受けています。

のようなページを言う

abc.com/smarty/templates/1.html

abc.com/smarty/templates/2.html

abc.com/images/1.jpg

abc.com/images

  • これらのページのインデックス登録を避けたい
  • また、これらのページを Google のインデックス登録から削除したいと考えています。

Apache設定を使用してこれを行うことはわかっていますが、共有ネットワークを使用しているため、これらへのhvアクセスはできません。

助けてください

4

3 に答える 3

3

テキストファイルrobots.txtを使用できます。このファイルは、検索モーターが検出し、Webサイトでインデックスを作成できるページとインデックスを作成できないページを示します。

このファイルの書き方についての良い記事は次のとおりです 。Robots.txt：内容、使用理由、書き方

Googleからページを削除することはここで議論されました

于 2012-12-11T16:55:03.500 に答える
0

www.google.com/webmasters/tools/

ウェブマスターツールの写真！

あなたはグーグルとしてページをフェッチすることができますあなたはあなたのサイトマップなどをアップロードすることができるグーグルのインデックスからページを削除することができます。これがまさにあなたが探しているものだと思います。

于 2012-12-11T17:06:25.377 に答える
0

robots.txt に次のようなルールを追加します

User-agent:    *
Disallow:   /smarty/*
Disallow:   /images/*
于 2012-12-11T17:01:57.673 に答える