2

私はしばらく答えを探していましたが、完全に困惑しています。スクリーン スクレーパーを作成していますが、C# WebClient を使用すると 500 内部エラーが発生します。WebClient クラスをオーバーライドして、Cookie のサポートを含めました。

Firefox には HTTP Resource Test というプラグインがインストールされており、このプラグインを使用して投稿データと正しいヘッダーを送信することで、私がやろうとしていることを正確に再現できます。C# WebClient を動作させられない理由を理解する最善の方法は、WebClient がサーバーに対して行っている実際の要求を確認できることだと思います。

スクレイピングしようとしている Web サーバーに対して WebClient が行っている要求を文字列形式で表示するにはどうすればよいですか?

4

1 に答える 1

0

Fiddler2を使用してトラフィックを表示できます。最も簡単な方法は、 WebClient.Headersにユーザー エージェントを追加して、問題が解決するかどうかを確認することです。

string userAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E; MS-RTC LM 8)";

client.Headers[HttpRequestHeader.UserAgent] = userAgent;
于 2012-08-07T20:04:08.277 に答える