問題タブ [azure-data-factory]

Azure Data Lake Factory を使用してパイプラインを作成しています。パイプラインには、1 つのデータ レイク分析 U-SQL アクティビティがあります。これは以前は正常に機能していましたが、資格情報トークンの更新が必要であると述べて機能しなくなりました。

再度自動化してデプロイすると、「プロビジョニングに失敗しました。内部サーバー エラーです。リクエスト ID :....」というエラーが表示されます。

}

ブラウザー セッションを再起動しようとしましたが、新しいサービスを作成しても失敗します。

他に欠けているものはありますか？

ブログで csv ファイルを取得して Azure SQL に読み込むパイプラインをデータ ファクトリで作成しています。csv ファイルの一部の行には、区切り文字がありません/余分です。そのため、その特定の行について、csv ファイルと Azure SQL テーブルの行数は一致しません。プロセスが作業を続行し、障害のある行をエラー テーブルに格納して、プロセスが作業を終了できるようにしたいと考えています。助けてください。乾杯。

アクティビティ/パイプラインの "parameters" プロパティを介して、パイプラインのスライス開始/終了時間プロパティを U-SQL アクティビティに渡したいと考えています。

目的は、スライスの開始日に基づいて動的なファイル名を生成し、プロセスを調整して毎日実行し、その日付のファイルを処理することです。

それは可能ですか？

エラー: コピー アクティビティは、'ソース' 側でストレージ操作に失敗しました。ストレージ実行からのエラー メッセージ: 要求された値 'AppendBlob' が見つかりませんでした..

もともと blob をオンプレミス SQL にコピーしようとしていたところ、上記のエラーが発生しました。テストのために、ブロブをブロブにコピーしようとしていますが、それでも同じエラーが発生します。

コンテナー内にブロブが表示されます。しかし、Azure データ ファクトリのコピー アクティビティではアクセスできないようです。AppendBlobs はAzureデータ ファクトリのコピー アクティビティで機能しますか? 他にこの問題に遭遇した人はいますか?解決方法についてのアイデアはありますか?

ありがとう。

Azure Data Factory JSON 定義ファイル:

入力ブロブ:

出力ブロブ:

パイプライン:

こんにちは、コピー アクティビティに Azure Data Factory を使用しています。コピーをコンテナー全体で再帰的にしたいのですが、サブフォルダーは次のようになります: myfolder/Year/Month/Day/Hour}/New_Generated_File.csv

生成してフォルダーにインポートするファイルには、常に異なる名前が付けられています。

問題は、活動がいつまでも待っているように見えることです。

パイプラインは 1 時間ごとにスケジュールされます。

データセットとリンクされたサービスの json コードを添付しています。

データセット:

}

連携サービス：

}

Visual Studio 2015 ソリューションにある adl-adf パイプラインがあります。先週末まですべてが機能していましたが、環境が役に立たなくなる不思議な更新が発生しました。エラーvsが発生していたのは、不可解な「vs 2015が機能しなくなった」という種類のエラーでした。「vs 用の adl ツール」ログを掘り下げて、gac のバージョン管理の問題であると推測しました。データレイクツールをアンインストールして再インストールしたところ、少なくとも私のvsが起動しました。

ただし、プロセスに沿って、ソリューション内のプロジェクトがこのようなエラーでロードに失敗しているため、adf コンポーネントに対して何かを行ったに違いありません。

これに遭遇した人はいますか？私はあなたの助けに感謝します！

ここにいくつかの関連するバージョン情報があります

Microsoft Visual Studio Community 2015 バージョン 14.0.25123.00 Update 2 Microsoft .NET Framework バージョン 4.6.01038

インストール済みバージョン: コミュニティ

.....

Azure Data Lake Node 1.0 このパッケージには、サーバー エクスプローラー用の Data Lake 統合ノードが含まれています。

Visual Studio 2.0.8000.0 用 Azure データ レイク ツール Visual Studio 用 Microsoft Azure データ レイク ツール

Common Azure Tools 1.7 Azure Mobile Services と Microsoft Azure Tools で使用する共通サービスを提供します。

DataFactoryProject 1.0 Microsoft データ ファクトリ パッケージ

....

Microsoft Azure Data Factory Node Node 1.0 Visual Studio Server Explorer 用の Azure Data Factory 拡張機能。

....

Microsoft Azure ツール 2.9 Microsoft Visual Studio 2015 用の Microsoft Azure ツール - v2.9.40323.3

Microsoft Azure ツール 2.8 Microsoft Visual Studio 2015 用の Microsoft Azure ツール - v2.8.40211.2

....

人の名前と生年月日を含む CSV ファイルがあります。現在の日付と生年月日 (CSV ファイルから) を使用して計算する必要がある年齢の列を追加して、Azure SQL データベースに保存したいと考えています。このファイルからパイプライン アクティビティの年齢を見つけてデータベースに保存する方法を提案してください。ありがとう