問題タブ [azure-hdinsight]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c# - HDInsight エミュレーターへの接続
私はc#で接続しようとしています。
これは、Hive クエリをリモート HDInsight クラスターに正常に送信するクラスです。ローカル エミュレーターに接続するには、ここで何を変更する必要がありますか
powershell - Hadoop Hive クエリでの二重引用符
次のクエリで二重引用符を使用できます->
しかし、次の PowerShell コマンドで引用符を使用できません -
次のエラーが表示されます-
この散発的な動作の理由を教えてください。両方の実装がジョブを作成します。次に、一方の実装が二重引用符を受け入れ、もう一方の実装が受け入れない理由。
hadoop - ハイブに存在しない場所に挿入
ansi sqlでこれに相当するハイブ構文が必要です
そのため、tablea には重複が含まれず、tableb からの新しい ID のみが挿入されます。
azure - Azure HDInsight パラメーターが正しく引用されていません
Hadoop (HDInsight) で Azure SQL データベースのデータを使用しようとしています。
データを取得してジョブを実行するために、C# コンソール プログラムで次のコードを実行します。
エラーメッセージ：
注意事項:
- --query パラメータなしで動作します。つまり、単純にテーブル全体を選択した場合
- コマンドは Powershell で実行すると機能します
- クエリにスペースが含まれていない場合 (つまり --query \"SELECT\" )、エラーは発生しませんが、明らかにあまり役に立ちません。
- 一重引用符 (--query 'SELECT ... $Conditions' ) は機能しますが、ジョブは出力を生成しません
- @ と二重引用符の使用が機能しない
- 問題はHadoop Hive Query の Double quotes に似ているようですが、答え (ジョブ名の指定) は役に立ちませんでした
質問: クエリ内のスペースでこのエラーが発生するのはなぜですか?
よろしくお願いいたします。
hive - Azure Storage 使用時の HDInsight のスケーラビリティ
こんにちは、HDInsight をいじっています。ログ ファイルを Azure ストレージに配置し、Hive 外部テーブルを使用してそれらにマップしています。データを失うことなくクラスターを削除して再作成できるように、Microsoft は HDFS に Azure ストレージを推奨していると思います。スケーラビリティと HDFS の比較。HDFS についての私の理解では、HDFS は複数のノードに分散されており、並列処理を可能にしています。これは Azure ストレージとどのように比較されますか。
.net - プログラムによる HDInsight ジョブの実行 - BLOB ストレージではなく、クラスター ノード上の .jar ファイル
このチュートリアルに従って、mapreduce ジョブを .NET コンソール アプリから HDInsight に送信しました。
正常に動作しますが、次の行について疑問に思っています:
"wasb:///example/jars/hadoop-examples.jar" は、Azure ストレージ アカウントを新しい HDInsight クラスターに接続したときに自動的に配置された、Azure ストレージ アカウント内の jar を指します。
例を超えて (Mahout を使用したい)... クラスター ノードに追加した jar を参照できますか? RDP で mahout を apps/dist ディレクトリにインストールしました。そこから Mahout ジョブを問題なく実行できますが、これら 2 つのステップをまとめることはできません。
jar ファイルを使用するために blob ストレージに追加する必要はないように思えます。
powershell - HDInsight PowerShell ジョブの送信では、ストリーミング C# ジョブでカスタム libjar を定義する方法がありません
Microsoft Azure HDInsight サービスによってホストされている Hadoop クラスターで C# ジョブを実行しています。カスタム Java 入力形式を使用するには、hdinsight サーバーで hadoop コマンド ラインを直接使用する必要がありました。
bin\hadoop jar lib\hadoop-streaming.jar -D "mapred.max.split.size=33554432" を呼び出します -libjars "../mycustom-hadoop-streaming.jar" -inputformat "mycustom.hadoop.CombinedInputFormat" .. .(コマンドの残りをカットしました)
今、私はpowershellコマンドライン（別のAzureマシンからのリモートジョブ送信）を介したジョブ送信で同じことをしようとしています：
$jobDefinition = New-AzureHDInsightStreamingMapReduceJobDefinition -Defines @{ "mapred.max.split.size"="33554432", "mapred.input.format.class"="mycustom.hadoop.CombinedInputFormat" } ... (残りはカットしましたコマンドの）
しかし、powershell コマンドラインで -libjars を定義する方法はどこにありますか? Microsoft はその機能について考えていなかったようです: http://msdn.microsoft.com/en-us/library/windowsazure/dn527638.aspx
誰かがそれを実行しようとしましたか、または HDInsight ストリーミング ジョブの送信で libjars を定義するための回避策がありますか?