問題タブ [httpwebresponse]

HTTP サーバーの応答を完了するために何バイト/バイトを送信しますか?

HttpWebResponse.GetResponse（）とStreamreader.ReadToEnd（）を使用してC＃（数百のサイトのみ）で制限付きWebクローラーを実装しようとしています。また、StreamReader.Read（）とループを使用してHTML文字列を作成しようとしています。

約5〜10Kのページのみをダウンロードしています。

それはすべて非常に遅いです！たとえば、GetResponse（）の平均時間は約0.5秒ですが、StreamREader.ReadToEnd（）の平均時間は約5秒です。

すべてのサイトは私の場所に非常に近く、サーバーが高速であるため、非常に高速である必要があります。（Explorerでは実質的にD / Lには何もかかりません）そして私はプロキシを使用していません。

私のクローラーには、同じサイトから同時に読み取る約20のスレッドがあります。これが問題を引き起こしている可能性がありますか？

StreamReader.ReadToEnd時間を大幅に短縮するにはどうすればよいですか？

以下のことができるアプリを探しています

a）すでに指定されたユーザー名とパスワードを使用して、 HttpWebResponseを使用してページ（login.asxp）にプログラムで自動ログインします。

b) ログインが成功した場合、リダイレクト URL を検出します。

c) 別のフォーム (settings.aspx) を送信して、データベース内の特定のフィールドを更新します。

必要なコーディングには、asp.net を使用する必要があります

アプリケーションは、同じセッション Cookie でこのプロセス全体を完了する必要があります。

インターネットから大量のHTMLファイルをダウンロードし、HttpWebRequestを使用して取得しようとしています。

しかし、私が使用するとき

WebRequest.Create（ " http://www.stackoverflow.com/ "）; WebRequest.GetResponse（）;

HttpWebResponse.ContentLengthは常に-1です。これらのページのダウンロードの進行状況を表示する必要があります。既存のVB6バージョンでは、inetコントロールを使用しており、進行状況が適切に報告されます。

私のコードはこれに非常に似ています：

http://www.geekpedia.com/tutorial179_Creating-a-download-manager-in-Csharp.html

（つまり、「ダウンロード」メソッド）

何が間違っているのか、それが正常かどうかはわかりません。WebサーバーからContent-Lengthヘッダーが送信されていません。この場合、どのように進捗状況を計算しますか？

ありがとう、

データベースからファイルを提供する場合、次の asp.net コードが非常に役立つことがわかりました。

これにより、ブラウザがファイルを使用しようとする代わりに、ユーザーはファイルを自分のコンピューターに保存してから、その使用方法を決定できます。

content-disposition 応答ヘッダーで他に何ができますか?

私が見つけた最も近いものはSystem.Net.Mime.MediaTypeNames、電子メールの添付ファイルに焦点を当てているように見えるため、（jsonのように）すべてが揃っているわけではないようです。

CookieContainer も使用して、いくつかの HttpWebRequests と HttpWebResponses を連鎖させています。

このコードは、Cookie 情報を設定する 3 つの異なる「同意する」ページを通過するユーザーをシミュレートし、4 番目のページでユーザー名とパスワードを使用してログインし、5 番目のページで POST (検索) を実行して応答を文字列として返します。

ユーザーが検索を実行するたびにこれらの手順を実行しないように、HttpWebRequest オブジェクトを「ログイン済み」として維持する方法はありますか?

静的として設定できますか? null または Cookie 情報がない場合は、すべての手順を実行できます。これに適したパターンは何ですか?

最初のリクエストにログインするCookieContainerを再利用する次のコードがありますが、その後のリクエストにはCookieコンテナを使用します。

しばらくすると、サイトがアイドル状態になるとセッションタイムアウトが発生しますが、再度ログインを実行する必要があります。

Q：タイムアウトが発生したかどうかを（Cookieコンテナオブジェクトを使用して）判断できますか、それとも「セッションタイムアウト」などのテキストを含むHttpWebResponseからタイムアウトが発生したかどうかを判断するのが最善ですか。これを行うための最良の方法は何ですか？

そして、このメソッドはコンテナを呼び出します。