luigiを使用して etl パイプラインを作成しようとしています。ドキュメントから私が理解している限り、luigi のタスクは、ある種のファイル ストレージまたはデータベースのいずれかであるターゲットを生成できます。処理時間を短縮するには、メモリ内リストを出力したいと考えています。これは可能ですか？カスタム ターゲットを作成する必要がありますか?
2515 次
1 に答える
8
MockFile をターゲットとして使用できることがわかりました。良い例:
http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html
于 2016-07-18T11:21:06.870 に答える