5

ワークフローに Luigi を使用しています。私のワークフローは、インポート、分析、エクスポートの 3 つの一般的な部分に分かれています。各パーツ内には、複数のルイージ タスクがあります。

1 つのファイルにすべてを含めることができます。しかしdata_import.py、 、analysis.py、およびexport.py.

たとえば、data_import.py次のようになります。

import luigi

class import_task_A(luigi.Task):
    def requires(self):
        return []
    def output(self):
        return luigi.LocalTarget('myfile.txt')
    def run(self):
        my import stuff

if __name__ == '__main__':
    luigi.run()

しかし、export.py のタスクが import.py のタスクに依存している場合はどうでしょう。私はしますか:

from data_import import import_task_A
import luigi

class export_task_A(luigi.Task):
    def requires(self):
        return import_task_A()
    def output(self):
        return luigi.LocalTarget('myfile.txt')
    def run(self):
        my import stuff

if __name__ == '__main__':
    luigi.run()

大きなプロジェクトが複数のファイルに分割されている.py場合、Luigi に必要なタスクがどのファイルにあるかを伝える最良の方法は何ですか? この方法は面倒になりそうです。

4

2 に答える 2