こんにちは、Google が検索エンジンでフォルダーを表示しないようにする最善の方法は何ですか?たとえば、 www.example.com/support のように、サポート フォルダーを Google で非表示にしたい場合はどうすればよいですか? 私が最初にしたことは、「robots.txt」ファイルを配置し、このコードを含めることでした
User-agent: *
Disallow: /support/etc
しかし、結果は最悪でした。robots.txt を削除しない限り、サポート ページを使用できません。どうすればよいですか?
robots.txtは、ページの機能に影響を与えるべきではありません。疑わしい場合は、 http：//www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.phpまたはhttp://www.seochat.com/seo-toolsのようなツールを使用して生成できます。 / robots-generator /
ロボットファイルを許可しない場合は、フォルダーだけでなく、ファイルまたはサブフォルダーを明示的に指定できます。
ドキュメントでメタタグを使用して、クローラーにメタタグを使用しないように指示することもできます
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Google が検索エンジンでフォルダを表示しないようにする最善の方法は何ですか?
ファイルはこれrobots.txtを行う正しい方法です。/support/etcあなたの例は、ディレクトリとその子孫をブロックするのに正しいです。
robots.txt を削除しない限り、サポート ページを使用できません
robots.txt ファイルがサイトの機能に影響を与えるというのは理にかなっていません。人間がアクセスできるページに影響を与えるべきではありません。他に問題があると思われます。サーバー ログをチェックして、記録されているエラーの種類を確認してください。
ロボットのアクセスを制限する好ましい方法ではありませんが、Google はここでnoindex メタ タグの使用について説明しています。これにより、自分のサイト以外からリンクされている場合に、さまざまなページが表示されなくなります。
サイトにアクセスするボットを制限するための適切な議論については、こちらを参照してください。