問題タブ [python-huey]

Python 用の Huey タスク キューを実行しようとしています (これは Celery の代替手段です)。huey_consumer が Python のどこかで構成ファイルを探していることは知っていますが、チュートリアルに従って動作させることができず、構成ファイルを作成して (ファイルではなく) モジュールとしてロードする必要がある理由がわかりません。

実行するhuey_consumer.py main.Configurationと が返されますUnable to import "main"。

ヒューイもこの問題を共通のピットルに書いていますが、それも実際には役に立ちません.

Hueyを使っている人がいたら、助けてください。

ビッグデータ テクノロジーや Hadoop エコシステムは初めてです。

課題の一環として、単一ノードの Hadoop クラスター [Apache ディストリビューション Hadoop2.6.0] に Hue をインストールして実行しようとしています。

多くの Web サイトで提供されている指示に従って、hue をインストールしました。

1. ダウンロードした最新のhue tarファイル
2. ある場所で解凍した
3. ランsudo make install
4. /usr/local/hueディレクトリにhueをインストールしました
5. クラスターの必要な詳細を含む hue.ini ファイルを更新しました。
6. 「:8888」を使用して Web UI から新しくインストールした色相にアクセスしようとすると、次のエラー ページが表示されます。

1198、通信 req.respond() ファイル "/usr/local/hue/desktop/core/src/desktop/lib/wsgiserver.py"、568 行、応答 self._respond() ファイル "/usr/local/ hue/desktop/core/src/desktop/lib/wsgiserver.py"、580 行目、_respond 応答 = self.wsgi_app(self.environ, self.start_response) ファイル "/usr/local/hue/build/env/lib /python2.6/site-packages/Django-1.6.10-py2.6.egg/django/core/handlers/wsgi.py"、206 行目、呼び出し中 response = self.get_response(request) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/core/handlers/base .py"、194 行目、get_response 応答 = self.handle_uncaught_exception(request, resolver, sys.exc_info()) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django- 1.6.10-py2.6.egg/django/core/handlers/base.py"、236 行目、handle_uncaught_exception の return callback(request, **param_dict) ファイル "/usr/local/hue/desktop/core/src/ desktop/views.py", line 304, in serve_500_error return render("500.mako", request, {'traceback': traceback.extract_tb(exc_info[2])}) ファイル "/usr/local/hue/desktop/ core/src/desktop/lib/django_util.py」、225行目、in render **kwargs) File "/usr/local/hue/desktop/core/src/desktop/lib/django_util.py", line 146, in _render_to_response return django_mako.render_to_response(template, *args, **kwargs) File "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py"、125 行目、render_to_response で HttpResponse(render_to_string(template_name, data_dictionary), **kwargs) ファイル "/usr/local/hue /desktop/core/src/desktop/lib/django_mako.py"、114 行目、render_to_string_normal 結果 = template.render(**data_dict) ファイル "/usr/local/hue/build/env/lib/python2.6/ site-packages/Mako-0.8.1-py2.6.egg/mako/template.py"、443 行目、レンダー リターン ランタイム。146 行目 _render_to_response で django_mako.render_to_response(template, *args, **kwargs) ファイル "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py" 125 行目 render_to_response で HttpResponse (render_to_string(template_name, data_dictionary), **kwargs) ファイル "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py"、114 行目、render_to_string_normal 内 結果 = template.render(**data_dict ) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py"、443 行目、レンダー リターン ランタイム.146 行目 _render_to_response で django_mako.render_to_response(template, *args, **kwargs) ファイル "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py" 125 行目 render_to_response で HttpResponse (render_to_string(template_name, data_dictionary), **kwargs) ファイル "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py"、114 行目、render_to_string_normal 内 結果 = template.render(**data_dict ) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py"、443 行目、レンダー リターン ランタイム.render_to_response return HttpResponse(render_to_string(template_name, data_dictionary), **kwargs) File "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py", 114行目, in render_to_string_normal result = template.render (**data_dict) ファイル「/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py」、443行目、レンダー リターン ランタイムで。render_to_response return HttpResponse(render_to_string(template_name, data_dictionary), **kwargs) File "/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py", 114行目, in render_to_string_normal result = template.render (**data_dict) ファイル「/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py」、443行目、レンダー リターン ランタイムで。レンダー リターン ランタイムの 443 行目。レンダー リターン ランタイムの 443 行目。render(self, self.callable , args, data) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/runtime .py"、786 行目、_render 内 **_kwargs_for_callable(callable_, data)) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6 .egg/mako/runtime.py"、818 行目、_render_context _exec_template(inherit, lclcontext, args=args, kwargs=kwargs) 内のファイル "/usr/local/hue/build/env/lib/python2.6/site- packages/Mako-0.8.1-py2.6.egg/mako/runtime.py」、844 行目、_exec_template callable_(context, *args, **kwargs) ファイル内「/tmp/tmpjqe8jG/desktop/500.mako. py"、103 行目、render_body 内 M_writer(unicode( commonfooter(messages) )) File "/usr/local/hue/desktop/core/src/desktop/views.py", line 388, in commonfooter hue_settings = Settings.get_settings() File "/usr/local /hue/desktop/core/src/desktop/models.py"、59 行目、get_settings 設定で、作成された = Settings.objects.get_or_create(id=1) ファイル "/usr/local/hue/build/env/lib/ python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/manager.py"、154 行目、get_or_create で self.get_queryset().get_or_create(**kwargs) ファイルを返す「/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/query.py」、行 391、get_or_create 内six.reraise(*exc_info) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/query.py"、383 行目、get_or_create obj.save(force_insert=True, using=self.db) ファイル "/usr/local/hue/build/env /lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/base.py"、545 行目、保存先 force_update=force_update、update_fields=update_fields) ファイル"/ usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/base.py"、573 行目、save_base で更新 = self._save_table(raw, cls, force_insert, force_update, using, update_fields) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg /django/db/models/base.py"、654 行目、_save_table 結果 = self._do_insert(cls._base_manager、using、fields、update_pk、raw) ファイル"/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/base.py"、687 行目、_do_insert を使用=using, raw=raw) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/manager. py"、232 行目、_insert return insert_query(self.model, objs, fields, **kwargs) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6. 10-py2.6.egg/django/db/models/query.py"、1514 行目、insert_query return query.get_compiler(using=using).execute_sql(return_id) ファイル"/usr/local/hue/build/env /lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/sql/compiler.py"、903 行目、execute_sql cursor.execute(sql, params) ファイル内"/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/backends/util.py"、53 行目、実行時にリターンself.cursor.execute(sql, params) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/utils .py"、99 行目、__exit 内 six.reraise(dj_exc_type, dj_exc_value, traceback) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/backends /util.py"、53 行目、実行中 return self.cursor.execute(sql, params) ファイル "/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10 -py2.6.egg/django/db/backends/sqlite3/base.py", line 452, in execute return Database.Cursor.execute(self, query, params) OperationalError: 読み取り専用データベースに書き込もうとしています

それが何を意味するのかわからない、この問題を解決するのを手伝ってください

よろしく、ブペシュ

標準の Django ロギング設定では、 Hueyタスク で例外のロギングをキャッチしません。

これは、重要なタスクがデフォルトでサイレントに失敗することを意味します。

例外がログに記録されていることを確認するにはどうすればよいですか?

スケジュールタスクのテストを書いていますが、task_id は常に None を返します

テスト ケースを作成するためにヒューイをモックまたはエミュレートするにはどうすればよいですか?

Flask アプリで必要なエラスティック Beanstalk でヒューイタスク キューを実行しようとしています。しかし、huey をデーモン プロセスとして実行する組み込みの方法はありません。huey の作成者は、huey をスーパーバイザー(このリンク) で実行することを勧めています。エラスティック Beanstalk は既にスーパーバイザーを使用しているため、スーパーバイザーによって管理されるプログラムを追加するだけでよいと考えました。しかし、これをプログラムで行う方法がわかりません。現在、構成ファイルでcontainer_commands( ref link ) キーを使用してこれを実行していますが、エラスティック Beanstalk はフォアグラウンドで実行されるため、しばらくするとタイムアウト エラーが発生します。以下は、私が使用している設定ファイルです。

Here's what I want to achieve:
1. huey should run as a background process when my Flask app is deployed.
2. supervisor should handle automatic start/stop of the huey process.

Hueyを単純なピラミッド アプリと統合しています。アプリでグローバル SQLAlchemy セッションを使用していません (最新の Alchemy scaffold を使用しています)。ただし、定期的なタスクにセッションを提供する簡単な方法は他にないようです。

Huey は、タスクの完了時に DB 接続を閉じるためのフックを提供しますか? これらのタスクにスレッドセーフな接続を提供する最善の方法は何ですか?

前もって感謝します！