public_html にある ( beta ) という名前のフォルダーを検索エンジンから非表示にしたいのですが、そのサブフォルダーとファイルもすべて隠したいのですが、ファイルをルート フォルダー ( / ) に置き、robots.txt の内容を次のようにする必要がありますか?
User-agent: *
Disallow: /public_html/beta
また
public_html に robots.txt を配置し、次のようにコンテンツを実行します。
User-agent: *
Disallow: /beta
robots.txt はルートにある必要があります。
www.yoursite.com/robots.txt
これはあなたが必要とするものです：
ユーザーエージェント： *
許可しない: /folder/something
禁止したいフォルダの名前を何かで
また、something という名前のサブフォルダーのみをブロックすることに注意してください。許可したくない名前のファイルもある場合は、次のようにします。
ユーザーエージェント： *
許可しない: /folder/something/
重要なのは、サーバーの実際の物理フォルダーではなく、パブリック URL です。
したがって、サイトが にある場合example.com/cooking/index.html、robots.txt は にある必要がありますexample.com/robots.txt。それsports.example.com/football/blogはsports.example.com/robots.txt.
最善の解決策は、すべてのサブフォルダーとファイルをベータ版から非表示にすることです。次のようにrobots.txtを定義できます。
ユーザーエージェント： *
禁止：/ beta * /
現在、すべての検索エンジンがすべてのサブディレクトリとファイルをクロールするわけではなく、その後にベータ版が続きます。