私はpythonクローラーを作っていて、ユーザーエージェントを考えています。
誰でもユーザーエージェントを思いつくことができますか?
または/および誰かがスキームを持っていますか
「urllib (互換性あり; owi bot; +owi.tk/bot)」(これは googlebot が書き直したものです) のようなものです。
だから誰かが私を助けることができます
質問する
839 次
1 に答える
3
ただ1つを作ります。ボットが何か間違った/悪い/愚かな/素晴らしいことをした場合にあなたに連絡できるようにするためのボーナスポイント。仕様はRFC2616秒にあります。14.43（HTTP / 1.1）。
そして、何かをコピーするだけではいけません！
また、悪いリンクのためにStackoverflowと友達をクロールしている間に学んだいくつかの実用的なもの：
0日目から、適切なユーザーエージェント文字列を設定します。
于 2012-07-12T15:37:28.930 に答える