5

データベースでこの問題を調査し、質問をグーグルで調べたところ、2 つの異なるエラーが見つかりました。503 エラーは Amazon が私をブロックしていると判断しましたが、同じ行に沿った別のエラーが表示されますが、503 リターンは含まれていません。私は違いを解読することができません。誰でも助けることができますか?私が得ているエラーは以下のとおりです。私が使用している html パーサーは、HTML Agility Pack と Just Agile です。

http://www.amazon.com/gp/offer-listing/1902915208エラー リモート サーバーがエラーを返しました: (503) サーバーを利用できません。

Scrape Offers は結果を返しませんでした。

エラーは一貫していないため、トラップするのは簡単ではありません。次のスクラップでエラーが返されます。これは非常にランダムであり、同じ製品で一貫して発生するわけではありません。私は毎日これらを大量に受け取っており、価格を更新して顧客に正しい情報を提供することを妨げています.

4

2 に答える 2

3

私が知ったように、問題はAmazonに送信されたUser-Agentでした。次のコマンドを CURL オプションに追加したところ、US プロキシがなくても機能するようになりました。

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
于 2013-02-16T09:21:24.487 に答える