問題タブ [urlopen]

Python で urllib と urllib2 を使用して Web ページを開いたり読んだりしていますが、取得したテキストが読めないことがあります。たとえば、これを実行すると:

読めないテキストが表示されます。私はこれらの投稿を読みました：

urlopen から意味不明

Python urllib2 は Web ページから取得した gzip データを自動的に解凍しますか?

しかし、私の答えが見つからないようです。

よろしくお願いします。

更新：ユーザーエージェントがクローラーではなくブラウザーであることをサーバーに「納得させる」ことで問題を修正しました。

返信ありがとうございます。

次のように、この可読性 APIにテキストを渡そうとしています。

ただし、最後の行でこのエラーが発生します。

[Errno 2] そのようなファイルまたはディレクトリはありません: 'http://ipeirotis.appspot.com/readability/GetReadabilityScores?format=json&text=this+reminds+me+of+the+Dutch+2001a+caravan+full+of+smoky +人+Auld+Lang+Syne'

ただし、エラーの URL は有効であり、アクセスすると応答が返されます。urlopen を使用できるように URL をエンコードするにはどうすればよいですか? どうもありがとう。

Python 2.4.4 ではurllib2.urlopen()、リソースを要求するために使用しています。リクエストを行う前に、次のようにタイムアウトを設定しています。

(このバージョンの Python は古すぎて、urlopen()ビルトイン タイムアウト付きのバージョンはありません。)

ほとんどの場合、これでうまくいくようです。ただし、要求に応じてハングするサーバーに遭遇しました。Chrome では、ブラウザがあきらめて次のように言うまでに 5 分近くかかります。

SERVERNAME の応答に時間がかかりすぎたため、Google Chrome はウェブページを読み込めませんでした。Web サイトがダウンしているか、インターネット接続に問題が発生している可能性があります。

Python では、urlopen短いタイムアウトを設定しているにもかかわらず、リクエストが無期限にハングしているように見えます。正確には何がsocket.setdefaulttimeout()制御され、これらの接続にハードタイムアウトを強制する方法はありますか (他に何が起こっているかに関係なく、10 秒が経過すると、試行を終了します)?

だから私はウェブサイトからいくつかのJSONデータを取得し、urllib2から標準のurlopen（）を使用しています：

コード：

結果：

この結果は間違っています。ブラウザにURLを手動で入力した場合：

入力：

私は得る：

}

また、CURLを使用してデータを取得すると、次のようになります。

}

つまり、同じWebリクエストに対して3つの異なる結果が得られます。ここでの問題は何ですか？見落としているキャッシュメカニズムはありますか、それとも何かが足りませんか？

このコードの何が問題になっていますか？

私は python urllib2.urlopen を使用して html コンテンツを取得していますが、gzip された応答を取得しています。
圧縮されないようにヘッダーを設定できますか?

私のコード

Tichodromaが提案したように、これを試してみてください

今それは働いています

Pythonurlopenを使用してhtmlサイトをフェッチしようとしています。
このエラーが発生します：

HTTPError：HTTPエラー302：HTTPサーバーがリダイレクトエラーを返しました。これにより、無限ループが発生します。

コード：

サーバーが別のURLにリダイレクトし、Cookieを探していることを理解しました。
探しているCookieを設定して、HTMLを読み取れるようにするにはどうすればよいですか？

geventを使用して同時ダウンロードを実行しています。この
例 に基づくと、これは次のコードです。

私の問題は、上記のコードがシリアルバージョンよりもはるかに時間がかかり、ほとんどの場合タイムアウトになることです。これがはるかに高速なシリアルバージョンです。

これは、上記のアドレスを開こうとしたときに urllib.urlopen から得られるエラーです (明らかな理由で API キーに星印を付けましたが、実際のエラー メッセージには存在します)。

コードは次のとおりです。

問題を診断するために追加した最初の 2 行。url には、実際にはエラー メッセージによって返された文字列が正確に含まれており、実際には文字列オブジェクト (str) です。

Mac で同じ URL を試してみるとうまくいきます (このコードはどこかのクラウド サーバーで実行されています)。そのサーバーの Python ターミナルで同じ URL を試してみると、うまくいきます。しかし、何らかの理由で、そのコード行がそのスクリプトで実行されると、実行されません。何か案は？

URLが保存されているWebページのプレーンテキストを取得し、同じテーブルでテキストを追加して更新したいと考えています。何らかの理由で、約 800 のリンクを開くと、プログラムが終了します。コードの一部を次に示します。