問題タブ [azure-hdinsight]

HDInsight を勉強し始めたばかりですが、うまく動作しません..

HDInsight を新規インストールすると正常に動作しますが、システムを再起動または再起動すると、サーバーがクラスターを認識できません。

「クラスター "ローカル (hdfs)" が応答していません。クラスターに移動するには、ここをクリックしてください」のようなメッセージが表示されます。そして何も働かない。

どうすればこの問題を解決できますか?

applicationpoolidentity のいくつかの問題を知っているので、powershell を使用して変更するのに疲れましたが、それでも機能しません..

IIS 7.5を搭載したWin7 Ultimateで実行しています

私を助けてください

Windows で Hadoop の HDInsight インストールを使用しており、パラメーターを pig スクリプトに渡そうとしています。さまざまなマシンでいくつかのスクリプトを使用したので、Windows のものである可能性があります。スクリプト内でパラメーターが機能することを確認するために、デフォルト値を入力しました

スクリプト例:

コマンドラインから test への予行演習として実行: pig -r testSub.pig

結果:

ただし、コマンドラインから値を指定しようとしています:

エラーをスローします：

そしてログファイルは同じことを言います：

「-param」を使用して、物事を一重引用符と二重引用符で囲み、順序を移動しようとしましたが、うまくいきませんでした。次に何を試すかについてのアイデアはありますか? Windows コマンド プロンプトに追加する必要がある奇妙なエスケープはありますか?

Linux から HDInsight VM に接続するにはどうすればよいですか? rdesktop に接続しようとすると、以下のエラーが表示されます。

HDInsight に公開されている SQL Azure DB からデータをインポートしようとしています。どちらも同じサブスクリプションの一部です。

HDInsight コマンド プロンプトで次のクエリを実行します。 -target-dir /data -m 1

プロンプトにメッセージを表示せず、プロンプトを返します。場所を参照すると、何も見つかりません。また、SQLサーバーのアドレスを操作してダミーテキストを挿入しようとしましたが、例外をスローする代わりに、まだメッセージが表示されず、空白が返されます。

誰かが私がやっていることの問題を指摘できますか?

Azure Table Storage を HDInsight クラスターの Map/Reduce タスクのデータ ソースとして使用できるかどうか疑問に思っています。

明らかに、データを Table Storage からフラット ファイルにエクスポートしてから HDInsight にインポートできますが、よりシームレスな統合が望まれます。

Hadoop は、インターネットから見つけた膨大な量のデータから特定の情報を照会するためによく使用されます。これに関する情報、または同じことに関する良い記事を教えてください。

具体的には、Microsoft Azure で実行されている HDInsight クラスターのノードごとに、マッパーの最大数とリデューサーの最大数を変更したいと考えています。

リモート デスクトップを使用して、ヘッド ノードにログインしました。ヘッド ノードの mapred-site.xml ファイルを編集し、mapred.tasktracker.map.tasks.maximum と mapred.tasktracker.reduce.tasks.maximum の値を変更しました。ヘッド ノードを再起動しようとしましたが、再起動できませんでした。start-onebox.cmd スクリプトと stop-onebox.cmd スクリプトを使用して、HDInsight の開始と停止を試みました。

次に、必要な数のレデューサーを hadoop-streaming.jar に渡してストリーミング mapreduce を実行しましたが、レデューサーの数は以前の mapred.tasktracker.reduce.tasks.maximum の値によって依然として制限されていました。私のレデューサーのほとんどは実行待ちでした。

すべてのノードで mapred-site.xml ファイルを変更する必要がありますか? これを変更する簡単な方法はありますか、それともすべてのノードにリモート デスクトップする必要がありますか? 新しい値が使用されるようにクラスターを再起動または再起動するにはどうすればよいですか?

ありがとう

C# を使用してプログラムでローカル HDFS クラスターにデータをロードする方法はありますか?

SDK を使用して C# コードを使用して Azure にデータを読み込む方法に関するチュートリアルを見つけましたが、これには BLOB ストレージが必要であり、ローカル クラスター用ではありません。回避策はありますか？

Javascript コンソールまたは Hadoop コマンド ラインを使用してデータをロードできることは理解していますが、具体的にはコードを使用してこれを実現しようと考えています。

いくつかのフォーラムを調べたところ、HDInsight Azure サービスを使用しているかどうかに関係なく、Hive 接続には現在 Azure ストレージ アカウントが必要であることがわかりました。これは、HDFS にデータをロードする場合にも当てはまりますか?

どんなポインタも役に立ちます。

ありがとう！