奇妙なことに、私はそこにあるさまざまな Web サイトの <Head> セクションを読み取ろうとしていますが、ある特定のタイプのサーバーである Apache では、コード 403 が禁止されていることがあります。すべての apache サーバーがこれを行うわけではないため、構成設定またはサーバーの特定のバージョンである可能性があります。
次に、Web ブラウザー (Firefox など) で URL を確認すると、ページが正常に読み込まれます。コードは次のようになります。
var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));
通常、403 はアクセス許可に失敗したようなものですが、これらは通常、安全でないページです。わざわざ作成する必要がないので、Apache がリクエスト ヘッダー内の何かをフィルタリングしていると考えています。
Apache について詳しく知っている人が、ヘッダーに何が欠けているかについてのアイデアを教えてくれるかもしれません。帯域幅を最小限に抑えるために、ヘッダーをできるだけ小さくしたいと思います。
ありがとう