問題タブ [hadoop2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mapreduce - Hadoop 2 - Hadoop で PIG を使用した MapReduce の問題
Hadoop 2 (YARN) と Pig を使用して MapReduce プログラムを実行しているときに問題に直面しています。Pig スクリプトを使用して Cassandra からデータを読み取ることはできますが、MapReduce を実行すると、以下のように例外がスローされます。
hadoop - Hadoop gen1 と Hadoop gen2 の比較
Hadoop-2.x の tasktracker の場所について少し混乱しています。
Hadoop-1.x のデーモンはnamenode, datanode, jobtracker, taskracker and secondarynamenode
Hadoop-2.x のデーモンはnamenode, datanode, resourcemanager, applicationmaster, secondarynamenode.
これの意味はJobtracker has split up into: resourcemanager and applicationmaster
では、どこtasktrackerですか？
hadoop - Hadoop 2.2.0 Web UI にジョブの進行状況が表示されない
このリンクからシングル ノード Hadoop 2.2.0 をインストールしました。ターミナルからジョブを実行すると、出力で正常に動作します。私が使ったWeb UI
しかし、Resource Manager の Web UI (上図) からは、Submitted Jobs、Running Jobs などのジョブの進行状況を確認できません。
私の /etc/hosts ファイルは次のとおりです。
私のシステムには IP があります: 192.168.2.96 (この IP を削除してみましたが、それでもうまくいきませんでした)
私が言及した唯一のホスト：ポートはcore-site.xmlにあり、それは次のとおりです。
java - Driver の job.setOutputKeyClass と setOutputValueClass がレデューサーの context.write メソッドと一致しませんが、プログラムは正常に動作しています。
ドライバーコード:
レデューサーコード
ここでは、ドライバ クラスでは と を設定job.setOutputKeyClass(Text.class)しjob.setOutputValueClass(LongWritable.class)ましたが、リデューサ クラスでは string を記述していますcontext.write(new Text(key1), "ABC");。出力タイプが一致しないため、プログラムの実行中にエラーが発生するはずであり、レデューサーのキーも実装する必要がWritableComparableあり、値はWritableインターフェイスを実装する必要があると思います。不思議なことに、このプログラムは順調に進んでいます。例外がない理由がわかりません。
hadoop2 - Mysql から hdfs にデータをインポート中にエラーが発生しました
3 つのノードと sqoop 2 がインストールされた Hadoop 2.2.0 クラスターがあります。sqoop サーバーを起動すると、次の例外が発生します。
原因は何ですか？