I am just getting started with HDInsight. I have some files stored in Azure storage that I want to copy into HDFS. I am trying to use fs -copyFromLocal. When I copy from the C Drive it works OK when I try to copy from blob storage using a wasb path to the blob container I get a wrong FS error. I suspect copy from Local is the wrong tool. How do I copy from a container to HDFS.
1523 次
2 に答える
1
Azure Storage から HDInsight の HDFS にファイルをコピーすることは、おそらくお勧めできません。これは、HDInsight クラスター上の HDFS 内のすべてのものが、そのクラスターを構成する一時的なインスタンスに格納され、基本的に一時ストレージであるためです。
おそらく、ファイルを含むストレージ アカウントを HDInsight クラスターに追加して、wasb:// スペースの一部として Hadoop からファイルにアクセスできるようにすることをお勧めします。
クラスターの作成時にアクセスするファイルを含むストレージ アカウントを追加するか、http://blogs.msdn.com/b/cindygross/archive/2013/04/25/access-azure-blobで説明されているプロセスを使用して、ストレージ アカウントを追加できます。 -stores-from-hdinsight.aspx . 使用することもできます
azure hdinsight cluster config storage add
または同等の PowerShell:
Add-AzureHDInsightStorage
copyFromLocal コマンドは、コマンドを実行しているマシン上にファイルがある場合にのみ機能するため、もちろん Azure ファイルをそのローカル ディスクにダウンロードできますが、コンピューティング クラスターをリンクするだけでデータを移動する必要はありません。上記で？
于 2013-11-21T18:32:00.857 に答える