4

luigi1人のワーカーをタスクに配置すると、完全に正常に機能するデータパイプラインがあります。ただし、1 つ以上のワーカーを配置すると、2 つの依存関係のある段階で (予期せず終了コード -11 で) 終了します。コードはかなり複雑なので、最小限の例を挙げるのは難しいでしょう。問題の要点は、私が次のことをやっているということですgensim:

  1. いくつかのテキストから辞書を作成します。
  2. 上記のテキストと辞書からコーパスを構築する ((1) が必要)。
  3. コーパスと辞書から LDA モデルをトレーニングします ((1) と (2) が必要です)。

何らかの理由で、(1) と (2) が既に完了しているにもかかわらず、複数のワーカーを配置するたびにステップ (3) がクラッシュします...

どんな助けでも大歓迎です！

編集:これはログ情報の例です。TrainLDA はタスク (3) です。その後、TrainLDA を必要とするタスクが 2 つあります。以前のタスクはすべて正常に終了しました。...出力が読みやすくなるように、TrainLDA の引数を置き換えました。追加情報は、print何が起こっているのかを知るのに役立つように記載したものです。

DEB

UG: Pending tasks: 3
DEBUG: Asking scheduler for work...
INFO: [pid 28851] Worker Worker(salt=514562349, workers=4, host=felipe.local, username=Felipe, pid=28825) running   TrainLDA(...)
INFO: Done
INFO: There are no more tasks to run at this time
INFO: TrainLDA(...) is currently run by worker Worker(salt=514562349, workers=4, host=felipe.local, username=Felipe, pid=28825)
==============================
Corriendo LDA de spanish con nivel de limpieza stopwords
==============================
Número de tópicos: 40
DEBUG: Asking scheduler for work...
INFO: Done
INFO: There are no more tasks to run at this time
INFO: TrainLDA(...) is currently run by worker Worker(salt=514562349, workers=4, host=felipe.local, username=Felipe, pid=28825)
DEBUG: Asking scheduler for work...
INFO: Done
INFO: There are no more tasks to run at this time
INFO: TrainLDA(...) is currently run by worker Worker(salt=514562349, workers=4, host=felipe.local, username=Felipe, pid=28825)
INFO: Worker task TrainLDA(...) died unexpectedly with exit code -11
DEBUG: Asking scheduler for work...
INFO: Done
INFO: There are no more tasks to run at this time
INFO: There are 2 pending tasks possibly being run by other workers
INFO: There are 2 pending tasks unique to this worker
INFO: Worker Worker(salt=514562349, workers=4, host=felipe.local, username=Felipe, pid=28825) was stopped. Shutting down Keep-Alive thread
4

0 に答える 0