ワークフローに Luigi を使用しています。私のワークフローは、インポート、分析、エクスポートの 3 つの一般的な部分に分かれています。各パーツ内には、複数のルイージ タスクがあります。
1 つのファイルにすべてを含めることができます。しかしdata_import.py
、 、analysis.py
、およびexport.py
.
たとえば、data_import.py
次のようになります。
import luigi
class import_task_A(luigi.Task):
def requires(self):
return []
def output(self):
return luigi.LocalTarget('myfile.txt')
def run(self):
my import stuff
if __name__ == '__main__':
luigi.run()
しかし、export.py のタスクが import.py のタスクに依存している場合はどうでしょう。私はしますか:
from data_import import import_task_A
import luigi
class export_task_A(luigi.Task):
def requires(self):
return import_task_A()
def output(self):
return luigi.LocalTarget('myfile.txt')
def run(self):
my import stuff
if __name__ == '__main__':
luigi.run()
大きなプロジェクトが複数のファイルに分割されている.py
場合、Luigi に必要なタスクがどのファイルにあるかを伝える最良の方法は何ですか? この方法は面倒になりそうです。