問題タブ [azure-data-factory]

Azure Data Factory のコピー アクティビティを使用して、日次フォルダーから BLOB ストレージ内の区切りテキスト ファイルを取得しています。列がマップされ、Table Storage エンティティにコピーされます。これはすべてうまくいきます。

エンティティの各セットを正しいデータ スライス (SliceStart) で、理想的には複合パーティション キー (SliceStart と他のプロパティが追加されたもの) の一部として分割するか、それが失敗した場合はテーブル エンティティ自体のプロパティで分割したいと考えています。

これは、パイプラインの次のステップ (.NET カスタム アクティビティ) で正しい日次データ セットを取得できるようにするためです。現在の SliceStart を拡張プロパティとして .NET カスタム アクティビティに渡すことができることはわかっていますが、このアクティビティはどのように SliceStart 値を使用して Table Storage データをクエリし、一致する日のエンティティだけを分離するのでしょうか?

スライスがキューに入れられたり遅延したりして、同じ日に複数のスライスが一緒に処理される可能性があるため、TimeStamp を確実に使用することはできません。この場合、それらはすべて同じ TimeStamp を持つため、さまざまな日を区別することはできません。

Data Factory のコピー アクティビティを使用して区切りテキスト ファイルを Blob Storage から Table Storage に取得する場合、入力スキーマと出力スキーマ、および関連する 1 対 1 の列マッピングを指定できます。

ソース スキーマで 1 つまたは複数の列を連結またはフォーマットし (おそらく $$Text.Format?)、これらを宛先の単一の列にマップすることは可能ですか?

可能であれば、同様のアプローチ (2 つ以上のソース列の値から取得した複合キー、またはさらに良いのは、SliceStart と連結されたソース列の値) を使用してパーティション キーを設定できる場合、これは特に役立ちます。

Azure Data Factory を使用して REST API からデータを取得し、それを Azure データベース テーブルに挿入することはできますか?

データを取得したいオンプレミスの SQL データベースがあります。データベースには、行が最後に更新されたときに関する情報を含む last_update という列があります。パイプラインを初めて実行するときに、オンプレミスのデータベースから Azure データベースにすべてをコピーしたいと考えています。次回は、前回の実行以降に更新された行のみをコピーします。したがって、last_update が前回の実行時間よりも大きいすべてをコピーしたいと考えています。パイプラインでの最後の実行時間に関する情報を使用する方法はありますか? 私が欲しいものを作成する他の良い方法はありますか?

myblobcontainer/{Year}/{Month}/{Day}形式または類似の BLOB でスライスが実行されるオンラインのデモが多数あります(つまり、 https://azure.microsoft.com/en-gb/documentation/articles/data-factory-scheduling-and-execution/ )。

これで明らかに、年、月、日のパラメータが明確に定義されているため、データを非常に簡単にスライスできます。

私が持っているのは、次のようなファイルです。

これは明らかにYYYYMMDD_HHMMSS。

ファイルを 1 時間ごとに処理し、何も再処理しないようにしたいと考えています。理想的には、BLOB の再構築をあまりいじる必要はありません。

私の時間スライス内にあるこれらのファイルのみを「読み取る」方法を知っている人はいますか?