問題タブ [azure-data-factory]

Table Storage から SQL Azure にデータを移動する際、Azure Data Factory を使用してデルタ (まだ移動されていないデータ) のみを取得することはできますか?

より詳細な説明: 定期的に更新されるデータを含む Azure Storage テーブルがあります。そして、このデータを SQL Azure データベースに移動する Data Factory パイプラインを作成したいと考えています。しかし、移動するたびに、新しく追加されたデータのみを SQL DB に書き込む必要があります。Azure Data Factory で可能ですか?

次のエラーが表示されます。エラーコード 4815 は何を意味しますか? そのエラー コードに関するドキュメントは見つかりませんでした。

SQL テーブルから Azure テーブルにデータを移動するために、Azure Data Factory サービスにいくつかのパイプラインを作成しました。しかし、彼らは決して走り始めません。代わりに、 Azure Portal でボタンpending validationをクリックした後でも、ソース データ セットが残ります。runプロパティは既に確認済みで、externalすべて として設定されていtrueます。他に考えられる理由はないのだろうか。

そして、ここに私のテーブルソースがあります

Data Factory を使用して、Blob Storage で利用可能な csv ファイルから Azure SQL DB にデータを移動していました。プロセスが完了したら、処理済みの csv ファイルを BLOB ストレージ内の別の場所に移動する必要があります。

このタスクを実行するために使用する必要があるアクティビティとタイプ。

MapReduce ジョブを実行する場合、出力フォルダーが存在しないようにする必要があります。存在しない場合、ジョブは失敗します。Azure データ ファクトリを定義するときに、既存の出力フォルダーを削除するアクティビティを定義するにはどうすればよいでしょうか。Oozie には、フォルダーを削除するために使用できる前処理アクティビティがありますが、データ ファクトリでそれを行う方法がわかりません。

Azure データ ファクトリでオンデマンドで hdinsight を使用すると、実行するたびに新しい BLOB コンテナーが作成されます。既存の BLOB ストレージを指すようにするか、少なくとも、実行するたびに新しい BLOB ストレージが作成されないようにしたいと考えています。それをしてもいいですか？

4 つの異なるアクティビティで構成されるパイプラインがあります。各アクティビティは、次のアクティビティの前提条件です。つまり、最初のアクティビティは 2 番目のアクティビティの入力を生成し、2 番目のアクティビティは 3 番目のアクティビティの入力を生成します。すべての入力フォルダーと出力フォルダーをテーブルとして定義し、パイプラインで各ジョブの出力を次のように追加しました。次へのインプット。

私の仮定では、各アクティビティが実行されて出力フォルダーが生成され、次のアクティビティがそれを入力として受け取ります。ただし、パイプラインを実行すると、最初のアクティビティは正常に終了しますが、2 番目のアクティビティを実行すると、最初のアクティビティが実行されているように見えます。必要なパラメーターを渡しませんでした)! アクティビティの実行方法に何か欠けていますか?

私のアクティビティは HDInsight アクティビティです。

私は Oozie のバックグラウンドを持っており、パイプラインを Oozie ワークフローと考えています。

HDInsight オンデマンドのリンクされたリソースを作成すると、Data Factory によって hdinsight 用の新しいコンテナーが作成されます。そのコンテナを指すテーブルを作成する方法を知りたいですか? これが私のテーブル定義です

「????」の代わりに何を入れるべきか 私がそこに入れたこと？のキーワードは受け入れられません。