問題タブ [gevent]

geventでpythonの標準libsxmlrpclibを使用することは可能ですか？現在、monkey.patch_all（）を使用しようとしていますが、成功しません。

urllib2.urlopenはサーバーをブロックしています。私には、monkey.patch_allがソケットにパッチを適用しなかったように見えます。そのため、ブロックされます。

私は現在、いくつかのイベントコードを書いています（geventを使用するpythonで）。nginxをWebサーバーとして使用していますが、どちらも素晴らしいと感じています。イベントにはトレードオフがあると言われましたが、見ることができませんでした。誰かが光を当てることができますか？

ジェームズ

私はポーランド語のブロゴスフィア監視 Web サイトを開発しており、Python で大量のコンテンツのダウンロードを処理する「ベスト プラクティス」を探しています。

ワークフローのサンプル スキームを次に示します。

説明：

RSS フィード (約 1000) のデータベースを分類しました。新しいアイテムが投稿されていないかどうか、約 1 時間ごとにフィードをチェックする必要があります。もしそうなら、私はそれぞれの新しいアイテムを分析する必要があります. 分析プロセスは、各ドキュメントのメタデータを処理し、内部にあるすべての画像をダウンロードします。

コードの単純化された 1 スレッド バージョン:

そのため、RSS フィードを反復処理し、新しいアイテムを含むフィードのみをダウンロードします。フィードから各新しいアイテムをダウンロードします。アイテム内の各画像をダウンロードして分析します。

HTTR リクエストは次の段階で表示されます: - RSS xml ドキュメントのダウンロード - RSS で見つかった x 個のアイテムのダウンロード - 各アイテムのすべての画像のダウンロード

複数の URL コンテンツのダウンロードを処理するために、python gevent (www.gevent.org) ライブラリを試すことにしました。

結果として得たいもの: - 外部 http リクエストの数を制限する機能 - リストされたすべてのコンテンツ アイテムを並列ダウンロードする機能。

それを行う最善の方法は何ですか？

私は並列プログラミングにまったく慣れていないため（この非同期要求はおそらく並列プログラミングとはまったく関係がないため）、成熟した世界でそのようなタスクがどのように行われるかまだわかりません。

私の頭に浮かんだ唯一のアイデアは、次の手法を使用することです。 - cronjob を介して 45 分ごとに処理スクリプトを実行します。ロックに失敗した場合は、プロセス リストでこの pid を確認します。pid が見つからない場合は、プロセスが何らかの時点で失敗した可能性があり、新しいプロセスを安全に開始できます。- rss フィード ダウンロード用の gevent プール実行タスクのラッパーを介して、すべての段階 (新しいアイテムが見つかった) で新しいジョブを quique に追加してアイテムをダウンロードし、ダウンロードされたすべてのアイテムで画像ダウンロード用のタスクを追加します。- 現在実行中のジョブの状態を数秒ごとに確認し、FIFO モードで空きスロットがある場合は quique から新しいジョブを実行します。

私には問題ないように聞こえますが、おそらくこの種のタスクには「ベスト プラクティス」があり、私は今車輪を再発明しています。そのため、ここに質問を投稿しています。

どうも！

どのような状況下で、eventlet / geventのようなものはツイストよりも優れていますか？ツイストが最もよく使われているように見えますが、eventlet /geventにはいくつかの利点があるはずです...私は特定のシナリオに対する答えを探しているのではなく、一般的なものだけを探しています。

クライアントが切断されたときにリクエストの処理を停止しない安定した wsgi サーバーを見つける必要があります。

uWSGI または gunicorn がこの基準に適合するかどうかはわかりません。

これを追加するのを忘れました：

また、リクエストが処理される前にレスポンスを返そうとしています。

何か案は？

誰かがgeventでPyQtを使用しましたか？PyQtループをgeventにリンクする方法は？

http://www.gevent.org/-コルーチンベースのPythonネットワークライブラリ。グリーンレットを使用して、libeventイベントループの上に高レベルの同期APIを提供します。

ただし、geventはgreenletに依存しており、私が見つけた.msiバージョンはインストールに失敗し、2.6のeggはインストールを拒否します。

msiバージョンは次のように失敗します。

これは、VSのバージョンが間違っていることを意味していると思います。

他に使えるものはありますか？

データベースに到達できない場合や応答に時間がかかる場合にGUIがロックされないように、PyQt4を入手したいと思います。

ローカルホストでサービスを実行しています127.0.01:8000

そして私はこれを使用してプロキシしています：

問題は、ユーザーのIPアドレスをサービスに渡す必要があることです。

何か案は？

私は既存のcherrypyアプリケーションを持っていますが、それをgevent wsgiサーバーで実行できるかどうかを知りたいです。できると思いますが、Linuxサーバーにアクセスしてgeventをテストすることができず、Macで実行できませんでした。

各側が wsgi 仕様に従っているため、これが可能であるという印象を受けています。

誰もこれを試しましたか？

例は次のようになると思います。

Windows XPでgeventがパッチされたurllib2でURLを開こうとしています：

opener.openそして、通話中にこの例外が発生します。

gevent socket.pyのソースコードを見ると、Windows上のIPV6に関連しているようです...

この問題を解決するためのアイデアや提案はありますか？

編集：他のURL（例：http： //www.bing.com ）では問題は発生しません。グーグルはIPV6を使用しているようです。IPV4応答を強制する方法はありますか？