WebClient
WinForms アプリケーションを使用して Web からファイルをダウンロードしようとしています。しかし、私は本当にHTMLファイルをダウンロードしたいだけです。私が無視したい他のタイプ。
をチェックしましたWebResponse.ContentType
が、その値は常にnull
です。
何が原因か考えられる人はいますか?
更新があれば、GetWebRequest の .Method を変更することでこれを行うことができます。
using System;
using System.Net;
static class Program
{
static void Main()
{
using (MyClient client = new MyClient())
{
client.HeadOnly = true;
string uri = "http://www.google.com";
byte[] body = client.DownloadData(uri); // note should be 0-length
string type = client.ResponseHeaders["content-type"];
client.HeadOnly = false;
// check 'tis not binary... we'll use text/, but could
// check for text/html
if (type.StartsWith(@"text/"))
{
string text = client.DownloadString(uri);
Console.WriteLine(text);
}
}
}
}
class MyClient : WebClient
{
public bool HeadOnly { get; set; }
protected override WebRequest GetWebRequest(Uri address)
{
WebRequest req = base.GetWebRequest(address);
if (HeadOnly && req.Method == "GET")
{
req.Method = "HEAD";
}
return req;
}
}
別の方法として、GetWebRespons() をオーバーライドするときにヘッダーをチェックして、必要な結果でない場合は例外をスローすることもできます。
protected override WebResponse GetWebResponse(WebRequest request)
{
WebResponse resp = base.GetWebResponse(request);
string type = resp.Headers["content-type"];
// do something with type
return resp;
}
原因はわかりませんが、まだ何もダウンロードしていない可能性があります。これは、リモート ファイル/ページのコンテンツ タイプを取得するための怠惰な方法です (ネットワーク上でこれが効率的かどうかは確認していません。私が知っている限りでは、コンテンツの巨大なチャンクをダウンロードする可能性があります)。
Stream connection = new MemoryStream(""); // Just a placeholder
WebClient wc = new WebClient();
string contentType;
try
{
connection = wc.OpenRead(current.Url);
contentType = wc.ResponseHeaders["content-type"];
}
catch (Exception)
{
// 404 or what have you
}
finally
{
connection.Close();
}
WebResponse は抽象クラスであり、ContentType プロパティは継承クラスで定義されます。たとえば、HttpWebRequest オブジェクトでは、このメソッドはコンテンツ タイプ ヘッダーを提供するためにオーバーロードされます。WebClient が使用している WebResponse のインスタンスがわかりません。HTML ファイルのみが必要な場合は、HttpWebRequest オブジェクトを直接使用することをお勧めします。
あまり明確でなかったことをお詫びします。WebClient を拡張するラッパー クラスを作成しました。このラッパー クラスでは、Cookie コンテナーを追加し、WebRequest のタイムアウト プロパティを公開しました。
このラッパー クラスから DownloadDataAsync() を使用していましたが、このラッパー クラスの WebResponse からコンテンツ タイプを取得できませんでした。私の主な意図は、応答を傍受し、それが text/html の性質であるかどうかを判断することです。そうでない場合は、このリクエストを中止します。
WebClient.GetWebResponse(WebRequest, IAsyncResult) メソッドをオーバーライドした後、コンテンツ タイプを取得できました。
以下は、私のラッパー クラスのサンプルです。
public class MyWebClient : WebClient
{
private CookieContainer _cookieContainer;
private string _userAgent;
private int _timeout;
private WebReponse _response;
public MyWebClient()
{
this._cookieContainer = new CookieContainer();
this.SetTimeout(60 * 1000);
}
public MyWebClient SetTimeout(int timeout)
{
this.Timeout = timeout;
return this;
}
public WebResponse Response
{
get { return this._response; }
}
protected override WebRequest GetWebRequest(Uri address)
{
WebRequest request = base.GetWebRequest(address);
if (request.GetType() == typeof(HttpWebRequest))
{
((HttpWebRequest)request).CookieContainer = this._cookieContainer;
((HttpWebRequest)request).UserAgent = this._userAgent;
((HttpWebRequest)request).Timeout = this._timeout;
}
this._request = request;
return request;
}
protected override WebResponse GetWebResponse(WebRequest request)
{
this._response = base.GetWebResponse(request);
return this._response;
}
protected override WebResponse GetWebResponse(WebRequest request, IAsyncResult result)
{
this._response = base.GetWebResponse(request, result);
return this._response;
}
public MyWebClient ServerCertValidation(bool validate)
{
if (!validate) ServicePointManager.ServerCertificateValidationCallback += delegate(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors sslPolicyErrors) { return true; };
return this;
}
}
HEAD 動詞を使用して最初の要求を発行し、コンテンツ タイプの応答ヘッダーを確認できますか? [編集] ただし、これには HttpWebRequest を使用する必要があるようです。
あなたの質問は少し紛らわしいです: Net.WebClient クラスのインスタンスを使用している場合、Net.WebResponse は方程式に入りません (それが実際に抽象クラスであり、使用しているという事実は別として)別の応答で指摘されているように、HttpWebResponse などの具体的な実装)。
とにかく、WebClient を使用する場合は、次のようにして目的を達成できます。
Dim wc As New Net.WebClient()
Dim LocalFile As String = IO.Path.Combine(Environment.GetEnvironmentVariable("TEMP"), Guid.NewGuid.ToString)
wc.DownloadFile("http://example.com/somefile", LocalFile)
If Not wc.ResponseHeaders("Content-Type") Is Nothing AndAlso wc.ResponseHeaders("Content-Type") <> "text/html" Then
IO.File.Delete(LocalFile)
Else
'//Process the file
End If
サーバーがそれを返すことが保証されていないため、Content-Type ヘッダーの存在を確認する必要があることに注意してください (ただし、ほとんどの最新の HTTP サーバーには常に含まれています)。Content-Type ヘッダーが存在しない場合は、別の HTML 検出方法にフォールバックできます。たとえば、ファイルを開き、最初の 1,000 文字程度を文字列に読み取り、部分文字列 <html> が含まれているかどうかを確認します。
また、必要かどうかを決定する前に常に完全なファイルを転送するため、これは少し無駄であることに注意してください。これを回避するには、Net.HttpWebRequest/Response クラスに切り替えると役立つ場合がありますが、追加のコードに価値があるかどうかは、アプリケーションによって異なります...