問題タブ [urlopen]

私は Python と Django のまったくの初心者であり、http ポストを介して単純な Web アプリにデータを渡して遊んでいます。私は Django のチュートリアルを読み、何が教えられているかをよく理解していましたが、urls.py 正規表現のフィルタリングを完全には理解していません。http get として urlopen() を正常に使用しました。POSTに使用してもあまり成功しません。私のアプリの urls.py (プロジェクトの urls.py ではない) が、POST が私のアプリの views.py に到達することを許可していないように見えます。最終的には、POST を介してパッシブなデータを取得し、応答で返したいと考えています。ここに私が持っているものがあります:

私のプロジェクトurls.py:

データシンク/urls.py:

datasink/views.py

クライアント側

サーバー側のエラー:

例外 AttributeError: AttributeError("'_DummyThread' オブジェクトには属性 ' Thread _block' がありません",) は無視されました [02/Apr/2013 05:15:57] "POST /datasink HTTP/1.1" 500 54048

クライアントへのメッセージ:

サーバーにアクセスできませんでした。理由: 内部サーバー エラー

どんなガイダンスでも大歓迎です。私はさまざまな正規表現を試してみましたが、うまくいきませんでした。

非推奨のため、shutil/urlopen で画像をダウンロードしようとしていますか? 非推奨かどうかはわかりませんが、urlretrieve はファイルをダウンロードせず、代わりに画像名のフォルダーを作成するだけです。他の質問を見た後、このコードを提供するものを見ましたが、これでもエラーが発生します。

出力

特定のWebサイトが存在するかどうかを確認したかったのですが、これが私がやっていることです:

page = ...ページが存在しない場合 (エラー 402 またはその他のエラー)、読んでいるページが終了していることを確認するために行で何ができますか?

Web スクレイピングにBeautifulSoupを使用していますが、特定のタイプの Web サイトでurlopenを使用すると問題が発生します。ウェブサイトのすべてのアイテムには独自のページがあり、アイテムはさまざまな形式 (例: 500 mL、1L、2L、... ) で提供されます。

インターネット ブラウザを使用して製品の URL ( www.example.com/product1 ) を開くと、500 mL フォーマットの写真、それに関する情報 (価格、数量、フレーバーなど)、および製品のリストが表示されます。この特定のアイテムで利用可能な他のすべての形式。別の形式 (例: 1L ) をクリックすると、画像とアイテムに関する情報が変更されますが、ブラウザーの上部にある URL は同じままです ( www.example.com/product1 )。ただし、ページの HTML コードを調べると、すべての形式に固有の URL があることがわかります ( 500 mL : www.example.com/product1/123; 1L : www.example.com/product1/456, ...）。インターネット ブラウザで 1L 形式の固有の URL を使用すると、自動的にページwww.example.com/product1にリダイレクトされますが、ページに表示される画像と情報は 1L 形式に対応しています。HTML コードには、1L 形式について必要な情報も含まれています。

urlopenを使用してこれらの一意の URL を開くと、問題が発生します。

スープに含まれる情報は、インターネット ブラウザを使用して固有の URL www.example.com/product1/456で表示される情報とは一致しません。www.example.com/product1にデフォルトで表示される項目フォーマットに関する情報が表示されます。これは常に 500 mL フォーマットです。

このリダイレクトを防止して、固有の URL の HTML コードに含まれる情報を BeautifulSoup で取得できるようにする方法はありますか?

URL のリストを読み取り、それぞれをurlopenで個別に開くPythonコードを実行しています。一部の URL はリスト内で繰り返されます。リストの例は次のようになります。

• www.example.com/page1
• www.example.com/page1
• www.example.com/page2
• www.example.com/page2
• www.example.com/page2
• www.example.com/page3
• www.example.com/page4
• www.example.com/page4
• [...]

一意の URL がコードによって以前に開かれた回数を教えてくれるカウンターを実装する方法があるかどうかを知りたいです。リスト内の各 URL に対して太字で示されているものを返すカウンターを取得したいと考えています。

• www.example.com/page1 : 0
• www.example.com/page1 : 1
• www.example.com/page2 : 0
• www.example.com/page2 : 1
• www.example.com/page2 : 2
• www.example.com/page3 : 0
• www.example.com/page4 : 0
• www.example.com/page4 : 1

ありがとう！

Python 2.7 について質問があります。インターネットのurlopen状態が悪いため、機能が接続に失敗することがあります。そのため、タイマーを追加して、接続がタイムアウトすると、以前の接続を閉じて再接続を試みるようにします。ここで私の実装では、デッドループに陥り、何度も「再接続しようとしています」...誰かが私を助けてくれますか? どうもありがとうございました！

これが私が得た例外です：

アクセスしようとしている API によって認証されようとしています。URL に入るパラメーターをエンコードするために urllib.parse.urlencode を使用しています。urllib.request.urlopen を使用してコンテンツを取得しています。

これにより、サーバーから次のような 3 つの値が返されます。

問題は、最初の値と末尾の改行文字のみを返すことです。

そして、msgが印刷されます

私はそれが非常に醜いコードであることを知っています。私はPythonで約1週間です。どんな助けでも大歓迎です。