問題タブ [azure-hdinsight]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
azure - HDInsight で HQL ファイルを使用する場合の ParseExceptions
このチュートリアルhttp://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-hive/に従っていますが、ファイルを使用するようにクエリのソースを変更すると行き詰まりました。
使用するとすべて問題なく動作しますが、BLOB コンテナーの「ルート」に保存New-AzureHDInsightHiveJobDefinition -Query $queryStringしようNew-AzureHDInsightHiveJobDefinition -File "/example.hql"とするexample.hqlと、ExitCode 40000 が表示され、標準エラーで次のようになります。
hqlファイル名のスペルを意図的に間違えた場合でも、上記のエラーは予想されるファイルが見つからないというエラーとともに生成されるため、エラーの原因はhqlの内容ではありません。
ブロブ ストアで hive-log4j.properties を見つけて、破損しているかどうかを確認できませんでした。HDInsight クラスターを破棄し、関連するブロブ ストアを削除して、もう一度開始しましたが、結果は同じでした。
助けていただければ幸いです。
oozie - 「データベースがサイズ クォータに達しました」
以前は完全に機能していた Oozie ジョブを実行しようとしています。しかし、今では次のエラーが発生します。
原因: org.apache.openjpa.persistence.PersistenceException: データベース 'v0201xxxxxxxxxxxxxxxxxxxxooziemetastore' がサイズ クォータに達しました。データを分割または削除するか、インデックスを削除するか、考えられる解決策についてドキュメントを参照してください。{prepstmnt 1642246000 UPDATE WF_ACTIONS SET error_code = ?, error_message = ?, external_status = ?, last_check_time = ?, pending_age = ?, status = ? WHERE id = ? [params=?, ?, ?, ?, ?, ?, ?]} [code=40544, state=S0001]
FailedObject: org.apache.oozie.WorkflowActionBean-0014872-140428144646972-oozie-hdp-W@RunHiveScript at org .apache.openjpa.jdbc.sql.DBDictionary.narrow(DBDictionary.java:4869)
org.apache.openjpa.jdbc.sql.DBDictionary.newStoreException(DBDictionary.java:4829)
org.apache.openjpa.jdbc.sql.SQLExceptions.getStore(SQLExceptions.java:136) で
hadoop - HDInsight Hive が ADD JAR ステートメントで SerDe jar を見つけられない
json-serde-1.1.9.2.jar をパス「/lib/」のブロブ ストアにアップロードし、追加しました
しかし、得ています
パスなしで試してみましたが、ADD JARステートメントに完全な URL を提供しても同じ結果が得られました。
これについての助けを本当に感謝します、ありがとう!
azure - 年、月、日の形式によるハイブの外部パーティショニング
Microsoft azure HDInsight を使用しています。以下の形式のデータがあります。
コンテナ/フォルダ/年/月/日/ファイル1.csv
コンテナ/フォルダ/年/月/日/file2.csv . . 。等々。
以下のクエリを使用して、パーティションを含む外部テーブルを作成しました
送信されたクエリが成功し、外部テーブルが作成されたという出力が得られました。
次に、Alter コマンドでパーティションを追加します。
ここでもエラーは発生しませんでした。
次に、単純な選択ステートメントを指定すると、データ ファイルから何も取得できませんでした。
そしてまた試した
どちらの select ステートメントも何も返しませんでした。何が悪かったのか理解できません。何か提案はありますか？
c# - C# で Hadoop を接続する
HDInsight を使用して C# で Hadoop を接続したいと考えています。AZURE でクラスターを作成しましたが、正常に作成されました。また、リモートデスクトップ接続を有効にしました。C# で資格情報を入力してジョブを実行すると、接続エラーが発生します。パラメータの提供に混乱しています。親切に私を助けてください。
最後の行で例外が発生します。例外メッセージは次のとおりです。
1 つ以上のエラーが発生しました
そして、これは内部例外です:
リモートサーバーに接続できません
c# - コードを介して Hadoop ジョブに入力を与える
私はhadoopの初心者です。map reduce 関数の流れを理解したい。ファイルではなくコードを介してマップジョブに入力を与えるにはどうすればよいか、少し混乱しています。どのように設定すればよいですか。親切に私を助けてください。これが私のコードです。
ストリーミングユニットを介して正しい結果が得られます。今、私はこの仕事を紺碧で実行したいと思っています。では、ファイルではなくコードを介して入力するにはどうすればよいでしょうか。私はconfig ieを介して入力を与えました
しかし、ジョブを実行すると、この例外が発生します:
azure - HDInsight での豚のログへのアクセス
HDInsight で豚のログ ファイルにアクセスするにはどうすればよいですか?
Pig エラーが発生すると、出力は次のように表示されます。
ブロブ ストアでそのようなものを見つけることができず、そのパスにアクセスする方法がわかりません。
乾杯。
powershell - PowerShell を介して HDInsight クラスターへの RDP アクセスを有効にする
PowerShell を使用して HDInsight クラスターを作成し、Azure 管理ポータルにログインして RDP アクセスを有効にしました。ただし、PowerShell を介して HDInsight クラスターへの RDP アクセスを有効にできるかどうかを知りたいと思っていました。はいの場合、いくつかの指針を教えてください。