0

1回限りのスクレイプを実行したいサイトのrobots.txtファイルを見ていますが、次の行があります。

User-agent: spider

Disallow: /

これは彼らがクモを欲しくないという意味ですか？すべての蜘蛛に*が使われている印象を受けました。もし本当なら、これはもちろんグーグルのようなクモを止めます。

4

1 に答える 1

2

spiderこれは、サイトを閲覧しないように穏やかに自分自身を呼び出すエージェントに通知するだけです。

これには特別な意味はありません。

robots.txtファイルはロボットによってのみ使用されるため、すべてのロボットを除外する方法は、*：を使用することです。

User-Agent: *
Disallow: /
于 2011-08-28T09:39:25.777 に答える