問題タブ [azure-data-lake]

上位 n パーセンテージの行を取得するために u-sql クエリを作成する際に助けが必要です。行の合計数を取得し、col1 に基づいてデータセットから上位 3% の行を取得する必要がある 1 つのデータセットがあります。私が書いたコードは次のとおりです。

@telData は私の基本的なデータセットです。助けてくれてありがとう。

Outputterss.Csv() 関数を使用して、ある csv ファイルから別の csv ファイルにデータをダンプする u-sql クエリでは、列名を含むヘッダー行がファイルの先頭ではなく末尾に表示されます。以下のコードを見つけてください。助けてくれてありがとう。

• 各Data Lakes MSIをダウンロードしてインストールしました
• コンソール アプリケーションを作成し、必要なパッケージをインストールしました
• また、Azure のデータ レイクにもアクセスできます (お見せしませんが)。

何か不足していますか？

DOOD、私のタブはどこ?

このように表示されるはずです...そうですか？

ADLA からテーブルを作成して使用する場合と比較して、ローカル U-SQL テーブルへの挿入/クエリは非常に高速です。並列処理を使用せずに約 8 分で CSV から 3 つのテーブルにデータをローカルに挿入することができ、並列処理が 10 の ADLA で同じジョブに約 10 分かかりました (並列処理ジョブを設定しないと、はるかに長い時間がかかりました)。同じパフォーマンスを実現できますか?

U-SQL テーブルへのデータの挿入に時間がかかりすぎています。分割されたテーブルを使用して、以前に処理されたデータを再計算しています。11、5、および 1 のパーティションを持つ 3 つのテーブルで、最初の挿入には約 10 ～ 12 分かかり、並列処理は 10 に設定されました。同じデータの 2 回目の挿入には、約 4 時間かかりました。現在、年ベースのパーティションを使用しています。パーティションを追加せずに挿入とクエリをテストしたところ、パフォーマンスが大幅に向上しました。これは分割されたテーブルの問題ですか?

u-sqlクエリを書いている間、Order by句FETCH句を使用する必要がありますが、限られた数の行をフェッチしたくないが、行セットからすべての行を取得したくない場合は、何を書くべきですか。手伝ってくれてありがとう

Data Factory を使用して、テーブルをストレージ アカウントから Data Lake に転送しようとしています。Microsoft は、「任意のサイズと形式のファイルを Data Lake に保存する」ことができると主張しています。オンライン ウィザードを使用して、パイプラインを作成しようとしています。パイプラインが作成されますが、常に次のエラーが表示されます。

コピー アクティビティでユーザー エラーが発生しました。

Data Factory を使用してストレージ アカウント テーブルから Data Lake にデータを転送できるようにするためにできることはありますか?

ありがとう。