7

Googleカスタム検索エンジンを使用しているサイトがあります。Google CSEに自分のサイトをクロールさせたいのですが、通常のGoogle検索の結果から除外したいのです。設定でGoogleCSEにクロールさせたいページを指定したので、GoogleCSEボットがそれを無視することを期待してrobots.txtファイルにこれを入れました

User-agent: *
Disallow: /

GoogleCSEボットもrobots.txtに従わなければならないと思います。それで、私のページを検索エンジン検索から除外する方法はありますが、Google CSEはそれでもインデックスを作成できますか？TIA！

4

1 に答える 1

1

あなたが望むものに適合するこの質問に対する解決策はありません。私も、カスタム検索のみが必要な同じ状況にあります。残念ながら、Google のクローラーのリストには、Google カスタム検索用の特定のボットは表示されません。Googlebot をブロックすると、ネイティブ検索とカスタム検索の両方が停止します。

于 2013-10-22T14:27:06.187 に答える