/node/ パターンを持つ URL をインデックスに登録しないようにクローラー / ボットに指示するにはどうすればよいですか? 以下は初日からのものですが、Google がまだ /node/ を含む多くの URL をインデックスしていることに気付きました。たとえば、www.mywebsite.com/node/123/32
許可しない: /node/
/node/ を含む URL のインデックスを作成しないと述べているものはありますか? 次のように書く必要があります: Disallow: /node/*
更新: 実際の問題は次のとおりです: Disallow: /node/ in robots.txt, Google はこの URL の下のページをインデックスに登録しました (例: www.mywebsite.com/node/123/32)
/node/ は物理ディレクトリではありません。これは drupal 6 がそのコンテンツを表示する方法です。これは、ノードがディレクトリではなく、コンテンツ用に drupal によって生成される URL の一部にすぎないという私の問題だと思います。これを処理するにはどうすればよいですか? これは機能しますか?
許可しない: /*ノード
ありがとう