問題タブ [azure-data-lake]

このアセンブリをjsonエクストラクタとして使用していますが、すべて正常に機能しています。私の入力であるjsonファイルは、今では単なるjsonです。私がやろうとしているのは、暗号化されたコンテンツを含むファイルを読み取ることです。

したがって、エクストラクタでは、文字列を復号化する C# メソッドを使用したいのですが、文字列をどこにも取得していないため、これを機能させる方法がわかりません。抽出方法はこちら。

そして、これが私の復号化方法です

誰かが私を正しい方向に向けることができますか? ありがとう！

次のような単純な U-SQL 移行スクリプトがあります。

1. ADL データベースのステージング テーブルからデータを選択します
2. ステージング テーブルを切り捨てる
3. ADL の永続化されたテーブルに内容を挿入します

ステージング テーブルの読み込みスクリプトを実行した後にこのスクリプトを実行すると、スクリプトが正常に実行され、データが挿入されます。ただし、この同じ移行スクリプトを 2 回目に実行すると、次のエラーが発生します。

"diagnosticCode":195887168,"severity":"Error","component":"RUNTIME","source":"System","errorId":"E_RUNTIME_SYSTEM_INTERNALISSUE","message":"内部エラーが報告されました [アサーションが失敗しました: 'partitionDimension < vertexIndices.size()' at ScopeEngine::GetPartitionIndex(1020),]"

最後に、再度ロード スクリプトを実行し、続いて移行スクリプトを実行すると、すべてが正常に戻ります。何が間違っている可能性があるかについて、誰かがより多くの情報を提供できますか?

要件は、作成された新しいファイルの ADLS ディレクトリを監視することです。その場合は、適切にキャプチャしてアクションを実行できるトリガーを作成します。

コア Webjobs SDK が Trigger : BlobTrigger と Binding : Blob を提供していることに気付きました。

すぐに使える実装があるのか​​、それともコーディングする必要があるのか​​ 疑問に思っていましたか? これがコード化する必要があるものである場合、コードサンプルまたは役立つリンクを教えていただけますか?

開発中のアプリケーションのデータ レイクをテストしています。私は U-SQL とデータ レイクを初めて使用し、JSON ファイル内のすべてのレコードに対してクエリを実行しようとしています。現在、1 つのレコードしか返されていませんが、ファイルには約 200 のレコードがあるため、その理由はわかりません。

私のコードは次のとおりです。

データ例:

事前に助けてくれてありがとう

このユースケースでは、構成可能な入力を Azure Data Factory を介して U-SQL スクリプトに渡す必要があります。実現可能性を評価しており、アクティビティのタイム スライスの間隔に応じて、U-SQL スクリプトに渡される変数の数を自動化する必要があります。

たとえば、U-SQL スクリプトを 4 時間ごとに実行する場合、1 時間ごとに 1 つずつ、4 つの異なるファイルからデータを読み取る必要があります。間隔が 5 時間に変更された場合、U-SQL スクリプトを更新しなくても、5 つの異なるファイルから自動的に読み取られるように、これを自動化する必要があります。

ファイル パスは次の形式になります: Source\YYYY-MM-DD\hh.csv

この動的性は、データ ファクトリまたはデータ レイクが提供する現在の機能と一連の機能で達成できますか? または、データ ファクトリ パイプラインのデプロイを自動化できるようにするための回避策はありますか?

ノード js を使用して Azure AD への認証を行い、データ レイク ストレージ アカウントを作成しています。ログインしますが、アカウントの作成で次のエラーが発生します: コード: 'InvalidAuthenticationTokenTenant'、 メッセージ: 'アクセス トークンは間違った発行者からのものです \' https://sts.windows.n et\'. このサブスク リプションに関連付けられているテナント \' https://sts.windows.net/ \' と一致する必要があります。

私は U-SQL スクリプトを作成しようとしてきましたが、以下の例も使用しました。

ただし、これをビルドすると、次のエラーが発生します。

E_CSC_USER_NOTAUTHORIZED: このステートメントには、データベース 'master' に対する USE 権限が必要です

なぜこれを持っているのかわかりません。彼が同じプロジェクトを構築するとき、私の他の同僚は何の問題もありません。以前はビルドできたのですが、なぜかビルドできなくなりました。

理由を知っている人はいますか？

ありがとう。

結合しようとしているファイルがたくさんあります。これらの各ファイルの列の多くには null 値しか含まれていないことをたまたま知っています。U-SQL ステートメントを記述して、ファイルからデータを抽出し、null のみの列をチェックして除外するにはどうすればよいですか?

ありがとう！