Pythonで書かれたクローラーでSNSをクロールしています
長い間機能しますが、数日前、私のサーバーから取得したWebページはERROR403FORBIDDENでした。
Cookieを変更し、ブラウザを変更し、アカウントを変更しようとしましたが、すべて失敗しました。
禁止されているサーバーが同じネットワークセグメントにあるようです。
私に何ができる？他の誰かのIPを盗む？==..。
ありがとう
2059 次
1 に答える
1
おそらく、あなた (またはサブネット内の他の誰か) が利用規約、robots.txt、サイトマップで指定されている最大クロール頻度などに違反していたため、そのサブネットのルーター レベルでブラックリストに登録されたようです。それ。
解決策は技術的なものではありませんが、社会的なものです。ウェブマスターに連絡し、適切に謝罪し、あなた (またはあなたの仲間の 1 人) が間違ったことを正確に学び、二度と同じことをしないと説得力を持って約束し、彼らがブラックリストから削除されるまでもう一度謝罪します。そのウェブマスターがあなたにそのサイトのクロールを許可したい理由(たとえば、あなたのクロールがトラフィックをもたらす検索エンジンにフィードする、またはこのようなもの)をその Web マスターに与えることができれば、なおさらです!-)
于 2010-09-06T02:41:52.417 に答える