Azure Data Factory のコピー アクティビティを使用して、日次フォルダーから BLOB ストレージ内の区切りテキスト ファイルを取得しています。列がマップされ、Table Storage エンティティにコピーされます。これはすべてうまくいきます。
エンティティの各セットを正しいデータ スライス (SliceStart) で、理想的には複合パーティション キー (SliceStart と他のプロパティが追加されたもの) の一部として分割するか、それが失敗した場合はテーブル エンティティ自体のプロパティで分割したいと考えています。
これは、パイプラインの次のステップ (.NET カスタム アクティビティ) で正しい日次データ セットを取得できるようにするためです。現在の SliceStart を拡張プロパティとして .NET カスタム アクティビティに渡すことができることはわかっていますが、このアクティビティはどのように SliceStart 値を使用して Table Storage データをクエリし、一致する日のエンティティだけを分離するのでしょうか?
スライスがキューに入れられたり遅延したりして、同じ日に複数のスライスが一緒に処理される可能性があるため、TimeStamp を確実に使用することはできません。この場合、それらはすべて同じ TimeStamp を持つため、さまざまな日を区別することはできません。