リンクが次のような多くのページがあります。
http://site.com/school_flower/
http://site.com/school_rose/
http://site.com/school_pink/
など。手動でブロックすることはできません。上記のタイプのリンクが何百もあり、リンクごとに各行を書きたくないのに、どうすればこれらの種類のページをブロックできますか。
質問する
967 次
2 に答える
0
できません。
robots.txtは非常にシンプルな形式です。ただし、そのファイルを生成するツールを作成することはできます。ブロックする URL のリストが 1 行に 1 つずつある場合は、Disallow:各行の先頭に追加するだけで済みます。
とはいえ、多くの URL をブロックしたいという事実は警告です。おそらく、あなたは何か間違ったことをしています。最終的な目標について質問していただければ、より良い解決策を提供します。
于 2013-06-07T10:34:23.843 に答える
0
私のコメントの続き：
user-agent: *
Disallow: /folder/
もちろん、サイト全体をブロックしない限り、ロボットにアクセスさせたくないすべてのファイルを 1 つのディレクトリに配置する必要があります。Disallow: /
あなたのコメントに応えて、キレラギンは正しい答えを提供しました.
于 2013-06-07T10:34:35.963 に答える