問題タブ [azure-hdinsight]

新しいストレージ アカウントを作成し、Windows Azure で HDInsight クラスターをプロビジョニングしました。ただし、Windows Azure Powershell でクラスターに関連するコマンドを実行しようとすると、次のエラーが発生します。

私は HDInsight をまったく初めて使用しますが、このコマンドの前にスクリプトを実行して Azure アカウントを追加し、このページからサブスクリプション名、ストレージ アカウント名、およびコンテナー名の変数を作成しました。

このエラーの意味を知っていますか? そして、それを修正する方法は？このWeb サイトをフォローした後、Pig コマンドでスクリプトを実行しようとしています。

大量のデータをオンプレミス データ センターから Windows Azure Blob Storage にコピー/移動することを目的とした、スケジュールされたタスクをセットアップする必要があります。

私が検討したオプションは WebHDFS と Flume です (後者は現在 HDInsight でサポートされていないようです)。

非構造化ファイルをデータ センターから Windows Azure Blob Storage に転送する最も効率的な方法は何ですか?

Windows 8 システムに単一ノードの HDInsight エミュレーターをインストールしました。HDInsight エミュレーターでプログラムによってハイブ クエリを送信したいと考えています。C#を使用して Hive クエリを送信する方法をいくつか教えてください。

I'm new to HDInsight. I want to learn and practice machine learning, HDInsight is just what i want, but there seems no direct API to mahout. Since mahout recommendation will translate to mapredure job essentially, so I followed some mapreduce example on Windows Azure documentation and write the following code：</p> #xA;

I have already upload the "mahout-core-0.9-job.jar" to /example/jars in the specified Azure blob storage container.

But I received the following error message:

14/04/03 12:04:28 ERROR security.UserGroupInformation: PriviledgedActionException as:johnny cause:java.io.IOException: Exception reading file:/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= java.security.PrivilegedActionException: java.io.IOException: Exception reading file:/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1233) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:951) at org.apache.hadoop.mapreduce.Job.submit(Job.java:550) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:580) at org.apache.mahout.cf.taste.hadoop.preparation.PreparePreferenceMatrixJob.run(PreparePreferenceMatrixJob.java:77) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.run(RecommenderJob.java:164) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.main(RecommenderJob.java:322) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:601) at org.apache.hadoop.util.RunJar.main(RunJar.java:160) Caused by: java.io.IOException: Exception reading file:/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:136) at org.apache.hadoop.mapred.JobClient.readTokensFromFiles(JobClient.java:2149) at org.apache.hadoop.mapred.JobClient.populateTokenCache(JobClient.java:2185) at org.apache.hadoop.mapred.JobClient.access$300(JobClient.java:179) at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:964) at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:951) ... 16 more Caused by: java.io.FileNotFoundException: File file:/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= does not exist. at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:427) at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:254) at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.(ChecksumFileSystem.java:125) at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:436) at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:130) ... 21 more Exception in thread "main" java.io.IOException: Exception reading file:/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:136) at org.apache.hadoop.mapred.JobClient.readTokensFromFiles(JobClient.java:2149) at org.apache.hadoop.mapred.JobClient.populateTokenCache(JobClient.java:2185) at org.apache.hadoop.mapred.JobClient.access$300(JobClient.java:179) at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:964) at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:951) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1233) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:951) at org.apache.hadoop.mapreduce.Job.submit(Job.java:550) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:580) at org.apache.mahout.cf.taste.hadoop.preparation.PreparePreferenceMatrixJob.run(PreparePreferenceMatrixJob.java:77) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.run(RecommenderJob.java:164) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.main(RecommenderJob.java:322) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:601) at org.apache.hadoop.util.RunJar.main(RunJar.java:160) Caused by: java.io.FileNotFoundException: File file:/c:/apps/temp/hdfs/mapred/local/taskTracker/johnny/jobcache/job_201404031203_0001/jobToken= does not exist. at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:427) at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:254) at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.(ChecksumFileSystem.java:125) at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:436) at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:130) ... 21 more Shutting down watcher/keep alive thread pool forcefully templeton: job failed with exit code 1

After I Googled on the internet, it seems some change should be made to mapred-site.xml or other hadoop config files.But I'm totally new to Apache hadoop and doesn't have much knowledge about Linux and Java.

Any help or direction would be much appreciate.

"azure hdinsight cluster create --help" には、HDInsight の特定のバージョンを選択するオプションが表示されません。API レベルのサポートはありますか?

Invoke-RestMethod : HTTP ステータス 400 - タイプ ステータス レポート メッセージの説明 クライアントから送信されたリクエストが構文的に正しくありませんでした。

C# で記述された 4 ノードの HDInsight クラスターで M/R ジョブを実行しています。Mapper クラスの 1 つは、Azure テーブル ストレージを使用してビジネス固有のルールを適用します。

CloudTable、CloudTableClient、および CloudStorageAccount オブジェクトが作成されていない場合、M/R ジョブは正しく実行されます。

ただし、同じオブジェクト参照を追加すると、エラーが発生し、ジョブの実行が停止します。コード スニペットの一部を以下に示します。

上記のように、マッパーの ctor 内のコードは、オブジェクト参照が作成されていない場合でも、実行エラーとしてコメントされています。

MapReduceResult オブジェクト (Info.ExitCode) から受け取ったエラー コードは 1 で、M/R コードの問題を示しています。ただし、残りのコードは問題なく実行され、上記の参照オブジェクトが作成されていない場合でも正しい出力が生成されます。

これに関するヘルプは大歓迎です。必要に応じて、追加の詳細を提供します。

よろしくお願いします、 Subho

Hive と Azure Blob Storage に読み込まれたデータを備えた HDInsight を検討しています。
過去のデータと変化するデータの両方が組み合わされています。Update に
記載されているソリューション、Hive の SET オプションはBLOB ストレージでも機能しますか? 以下の Hive ステートメントは、私の要件でもあるブロブ ストレージ内のデータを変更しますか?