azure-data-lake - U-SQL テーブルへのデータの挿入に時間がかかりすぎていますか?

Question

U-SQL テーブルへのデータの挿入に時間がかかりすぎています。分割されたテーブルを使用して、以前に処理されたデータを再計算しています。11、5、および 1 のパーティションを持つ 3 つのテーブルで、最初の挿入には約 10 ～ 12 分かかり、並列処理は 10 に設定されました。同じデータの 2 回目の挿入には、約 4 時間かかりました。現在、年ベースのパーティションを使用しています。パーティションを追加せずに挿入とクエリをテストしたところ、パフォーマンスが大幅に向上しました。これは分割されたテーブルの問題ですか?

Answer 1

同じデータと同じ程度の並列処理で実行されるスクリプトに対して、同じジョブがそれほど長くかかるのは非常に奇妙です。VisualStudio 内からジョブ グラフ (または頂点実行情報) を見ると、どこに時間が費やされているかがわかりますか?

(粗粒度の) パーティションは、テーブルの個々のパーティションに対処できるデータ ライフサイクル管理機能であり、必ずしもパフォーマンス機能ではないことに注意してください (ただし、パーティションの削除はクエリのパフォーマンスに役立ちます)。ただし、同じスクリプト、リソース、およびデータを使用して、数分から数時間かかることはありません。