Python用の分散ジョブキューを知っていますか/使用していますか?リンクやツールを共有できますか
9 に答える
Pyresは、Pythonで構築されたresqueクローンです。Resqueは、Githubによってメッセージキューとして使用されます。どちらもキューバックエンドとしてRedisを使用し、Webベースの監視アプリケーションを提供します。
マルチプロセッシングに加えて、Djangoを使用している場合はCeleryプロジェクトもあります。
Sylvain Hellegouarchによる「バッカー」もあります。これはここで見つけることができます:
それはこのようにそれ自身を説明します:
- buckerは、キューの複数のストレージ(memcached、現時点ではAmazon SQS)をサポートするキューシステムであり、クライアントとキューサーバー間のTCP接続を介して送信されるXMLメッセージによって駆動されます。
Beanstalkdを見てください
レッドキュー?python + tornadoフレームワークで実装され、memcachedプロトコルを話し、オプションでログファイルに永続化します。現在、beanstalkdのように動作することもできます。これは、memcacheプロトコルの予約/削除方法でもあります。
Celeryがニーズに対して重すぎると思われる場合は、単純な分散タスクキューを確認することをお勧めします。
1年遅れか何かですが、これは私が一緒にハッキングして、一度にX個だけを実行するプロセスのキューを作成したものです。http://github.com/goosemo/job_queue
マルチプロセッシングのキューを見たいと思うかもしれません。Python 2.6に含まれており、以前のバージョンのPythonのPyPIで入手できます。
標準ライブラリのドキュメント:http ://docs.python.org/library/multiprocessing.html PyPIの場合:http://pypi.python.org/pypi/multiprocessing
また、Unix'at'があります
詳細については:man at