1

このページをスクレイピーでスクレイピングしようとしています:

http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=7391

私が得た応答は、ブラウザに表示されるものとは異なります。ブラウザの応答には正しいページがありますが、スクレイピーの応答は次のとおりです。

http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=1

ページ。urllib2 を試してみましたが、まだ同じ問題があります。どんな助けでも大歓迎です。

4

1 に答える 1

4

私は問題をよく理解していませんが、通常、ブラウザーとスクレイピーの異なる応答は、次のいずれかによって引き起こされます。

  • サーバーはヘッダーを分析User-Agentし、モバイル クライアントまたはボット用に特別に細工されたページを返します。
  • サーバーは Cookie を分析し、初めてアクセスしたように見えるときに特別な処理を行います。
  • ブラウザのようにスクレイピー経由で POST リクエストを送信しようとしていますが、フォーム フィールドをいくつか忘れているか、間違った値を入力しています
  • 等

何が問題なのかを判断する普遍的な方法はありません。それは、あなたが知らないサーバー ロジックに依存するためです。運が良ければ、前述の問題をすべて分析して修正し、機能させることができます。

于 2012-12-12T07:50:33.910 に答える