DNS設定を変更したので、フォルダー/forumはサブディレクトリではなくサブドメインになりました。robots.txt ファイルを実行して次のように言うと:
User-agent: *
Disallow: /forum
サブディレクトリとサブドメインのクロールを禁止しますか?
サブディレクトリのクロールを禁止したいのですが、サブドメインのクロールは許可します。 注:これは共有ホスティング上にあるため、サブディレクトリとサブドメインの両方にアクセスできます。これが私がこの問題を抱えている理由です。
では、サブドメインのクロールのみを許可するにはどうすればよいでしょうか?
クロールをやめたい場合は、これが正しい方法です。ただし、注意: URL が既にインデックスに登録されている場合、 は削除されません。
私が好む方法は、メタタグを介してすべてのページを「noindex/follow」に設定するか、「正規タグ」を使用して検索エンジンのトラフィックをサブドメインの URL に送信することです 。
「http://www.yourdomain.com/directoryname/post-of-theday」のような特定の URL で
<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" />
最新のURLはSERPの唯一のものになります