c# - HttpWebRequest が Web ブラウザーとは異なる結果を返す

Question

Web サイトをクロールして、そのページのデータを取得しようとしています。ビューソースにあるものとは異なるデータを取得し始めた時点まで、すべてうまくいきました（私が期待していたものです）。私は html-agility-pack を使用していますが、すべてのヘッダーを変更するために HttpWebRequest も使用しようとしましたが、うまくいきませんでした。ビュー ソースのデータから、これが JavaScript のトリックではないことはわかっています。誰かが可能な説明や解決策を考えていることを願っています。

Answer 1

サーバーから送信される html に影響を与える可能性のある要因は多数あります。fiddler などのツールを使用して、リクエスト ヘッダーをより詳しく調べることをお勧めします。

私の経験からすると、このような問題の通常の原因は、ドキュメントの非表示フィールドとして保存され、リクエスト本文の一部として各リクエストとともに送信される Cookie とセッション情報です。