Web クローラーは GET 要求のみを追跡し、POST 要求を追跡しないと聞いたことがあります。
現実の世界では、これは有効な仮定ですか?
2343 次
3 に答える
2
通常、それらは POST 要求を行いません。これはあくまで現状であり、どこにも指示されていないと思います。一部の検索エンジンはフォームのクロールを実験していますが、これらはまだ GET リクエストです。
于 2009-06-19T19:08:50.507 に答える
1
丁寧なクローラーはGETリクエストのみを使用します。丁寧なクローラーがbots.txtに従うのと同じように。
ただし、グーグルが丁寧な定義で速くて緩いプレーをしているとしても、彼らのクローラーはスタックオーバーフローを含むいくつかのサイトに深刻な帯域幅のダメージを与えています。
于 2009-06-19T20:37:53.510 に答える
1
クローラーがフォーム タグから URL を解析して追跡するかどうかを尋ねていますか? いくつかはそうするでしょう。ただし、常にGET動詞を使用することはかなり安全な仮定です。
スパムボットは別の話です。
于 2009-06-19T19:07:55.093 に答える