azure - Incremental loading of files from On-prem file server to Azure Data Lake

Question

We would like to do incremental loading of files from our on-premises file server to Azure Data Lake using Azure Data Factory v2.

Files are supposed to store on daily basis in the on-prem fileserver and we will have to run the ADFv2 pipeline on regular intervals during the day and only the new un-processed files from the folder should be captured.

Answer 1

ソース データセットでは、ファイル フィルターを実行できます。たとえば、時間 (式言語で datetime 関数を呼び出す) または新しいファイルを定義する何かで実行できます。 https://docs.microsoft.com/en-us/azure/data-factory/control-flow-expression-language-functions 次に、スケジュールされたトリガーを使用して、パイプラインを 1 日に n 回実行できます。