問題タブ [azure-data-lake-gen2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - ADLS2 からコンピューティング ターゲットへの転送が非常に遅い Azure Machine Learning
コンピューティング ターゲットで実行されるトレーニング スクリプト中に、登録済みのデータセットを ADLS2 データストアからダウンロードしようとしています。問題は、次の方法でコンピューティング ターゲットに ~1.5Gb (~8500 ファイルに分割) をダウンロードするのに数時間かかることです。
重要な注意:データセットは、約 170Kb の小さなファイルを含む多くのサブフォルダー (およびサブサブフォルダーなど) を含む Datalake のパスに登録されます。
注:az copy Storage Explorerを使用して、数分以内に完全なデータセットをローカル コンピューターにダウンロードできます。また、データセットは、サブフォルダーをスキャンするための ** ワイルドカードを使用して、フォルダー ステージで定義されます。datalake/relative/path/to/folder/**
それは既知の問題ですか？転送速度を改善するにはどうすればよいですか?
ありがとう ！