Azure HDInsight (Hadoop) で単純な Map/Reduce ジョブを実行しています。マッパーは次のエラーで失敗します (JobTracker ログから)...

Hadoop.Connect メソッドを使用してクラスターに接続しています...

ジョブが開始されてログに記録されているので、接続は成功していると思います。簡単なテストとして、少量のデータを出力しています...

完全に困惑、ビル

Update This MapReduce は 2 つのジョブを生成します。これは最初は正常に完了し、2 番目は次の例外で失敗します...

Microsoft.Hadoop.MapReduce.MapperMain.Main() で Microsoft.HdInsight.MapDriver.Program.Main(String[] args

Hadoop 用の Microsoft .NET SDK があることを確認しました。Map/Reduce プログラムを HDInsight 用の .NET で記述できるようになりました。
HDInsight 用にも Hive UDF を作成する方法はありますか?

このコードが機能していました：

しかし、Nuget を使用して dll を更新すると、次の例外が発生し始めました。

{"ファイルまたはアセンブリ 'Microsoft.WindowsAzure.Storage, Version=2.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35' またはその依存関係の 1 つを読み込めませんでした。見つかったアセンブリのマニフェスト定義がアセンブリ参照と一致しません。 HRESULT: 0x80131040)":"Microsoft.WindowsAzure.Storage、バージョン = 2.0.0.0、カルチャ = ニュートラル、PublicKeyToken = 31bf3856ad364e35"}

これが私のpackages.configです：

bin ディレクトリ内のすべての dll を手動でチェックして、バージョンが一致していることを確認しました。また、それらがすべて Nuget の最新バージョンと一致することも確認しました。

私はこれにバリエーションを追加しようとしました:

app.config に追加しますが、コードの別の部分に新しい例外を作成するだけです。

このコードは、次の例外で失敗します。

{"値を null にすることはできません。\r\nパラメーター名: プロバイダー"}

これは、使用するように指示した dll のバージョンに関係なく発生します。これ以外にSDKのv2.2をインストールしました。アンインストールしましたが、解決しませんでした。

この時点で、私はアイデアが尽きており、それが原因で締め切りに遅れをとっています。誰もこれに遭遇したことがありますか？誰かがそれを修正する方法について何か考えを持っていますか?

以下に示すリンクの手順に従って、HDInsight で Hadoop 2.2 クラスターを使用しています。http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-30/

「Word Count Map Reduce ジョブを実行する」セクションで、手順 4 のメッセージを取得するのに苦労しています。PowerShell で次のコマンドを入力します。

ジョブを送信する

Select-AzureSubscription $subscriptionName $wordCountJob = Start-AzureHDInsightJob -Cluster $clusterName -JobDefinition $wordCountJobDefinition

ParameterArgumentValidationError があるというエラーが表示され続けます。これらのエラーを回避するには、どのコマンドを使用できますか?

私は Azure を使用するのが初めてで、実際にいくつかの助けを借りることができます :)

BLOB ストレージ アカウントに関連付けられた HDinsight クラスターを作成した後、Hive テーブルを作成し、Hive クエリを使用して問題なくそれにアクセスしました。ただし、クラスターを削除して新しいクラスターを作成する (同じブロブ ストレージに関連付けられている) 場合、ハイブ テーブルはこれから表示されません。ハイブ クエリを実行すると、次のエラー メッセージが表示されます。

ファイルの構成を使用して初期化されたロギング:/C:/apps/dist/hive-0.12.0.2.0.7.0-1559/conf/hive-log4j.properties FAILED: SemanticException [エラー 10001]: 行 1:14 テーブルが見つかりません 'テーブル名'

クラスターから作成されたハイブ テーブルが別のクラスターで問題なく実行される可能性はありますか? または、クラスターでテーブルが作成されると、別のクラスターでは機能しませんか?

ありがとうございました。

Oozie サーバーは例外なく開始されます。以下のコマンドを使用してステータスを取得しようとすると、404 エラーが発生します。

サーバーからのエラー メッセージ:

Invoke-RestMethod : HTTP ステータス 404 - /oozie/v2/admin/status タイプ ステータス レポート メッセージ /oozie/v2/admin/status 説明 要求されたリソースは利用できません。Apache Tomcat/6.0.36 行:1 文字:13 + $response = Invoke-RestMethod -Method Get -Uri $clusterUriStatus -Credential $cr ... + ~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ + CategoryInfo : InvalidOperation: (System.Net.HttpWebRequest:HttpWebRequest) [Invoke-RestMethod]、WebExc e ption + FullyQualifiedErrorId : WebCmdletWebResponseException、Microsoft.PowerShell.Commands.InvokeRestMethodCommand

HDInsight クラスターで、Unicode csv ファイルに Hive テーブルを作成しようとしています。

しかし、Hive は Unicode 文字列を正しく認識していません。また、すべての整数フィールドは NULL としてロードされます。