問題タブ [hadoop2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Amazon クラウドへの Hadoop インストール
私は Hadoop を初めて使用します。Hadoop 管理ラインに入るのが好きなので、Hadoop の基本を学び、Hadoop を疑似分散モードでインストールしようとしましたが、正常にインストールされ、いくつかの基本的な例も実行しました。さらに改善する必要があるので、 Hadoop のインストールと構成をリアルタイムで学習する方法を試してみたので、Amazon マイクロ インスタンスを使用することにしました。Amazon クラウドに Hadoop をインストールして構成する方法を教えてください。前もって感謝します。
hadoop - このタイプのワークフローは Oozie で可能ですか?
このタイプのワークフローは Oozie で可能ですか?
または、oozieでこの種のことを行う方法に関する提案
添付の写真を見てください
http://s7.postimg.org/yj30wb0mj/oozie_Workflow.jpg
Task3 は、一度に 1 つのワークフローだけで実行する必要があります。他のワークフローは待機する必要があります。
Task3 は、一度にそのマシンにアクセスする必要がある ssh アクションです。
hadoop - リングバッファとキューの違い
リング (循環) バッファとキューの違いは何ですか? どちらも FIFO をサポートしているため、どのシナリオでキューを介してリング バッファーを使用する必要がありますか?また、その理由は?
Hadoop との関連性
マップ フェーズでは、リング バッファーを使用して、中間のキーと値のペアを格納します。待ち行列よりもこの選択の理由は何ですか?
hadoop - Hadoop クラスターでジョブを実行できません。LocalJobRunner を使用してのみ実行されます
CDH5 Beta 2 で次のコマンドを使用して、 hadoop jarコマンドを使用して MR ジョブを送信しました。
また、以下のように fs 名とジョブトラッカーの URL を明示的に提供しようとしましたが、成功しませんでした
ジョブは正常に実行されますが、クラスターに送信する代わりにLocalJobRunnerを使用しています。出力は HDFS に書き込まれ、正しいものです。ここで何が間違っているのかわからないので、ご意見をお寄せください。以下のようにfsとジョブトラッカーを明示的に指定しようとしましたが、同じ結果になりました
ドライバーコード
hadoop - レデューサーの出力は HDFS に送信されますが、マップの出力はデータ ノードのローカル ディスクに格納されますか?
HDFS ストレージとデータ ノード ストレージについて少し混乱しています。以下、私の疑問です。
Map 関数の出力はデータ ノードのローカル ディスクに保存され、リデューサーの出力は HDFS に送信されます。データ ブロックがデータ ノードのローカル ディスクに格納されていることは周知の事実ですが、データ ノードの HDFS に使用できる他のディスク領域はありますか??
レデューサー出力ファイル (part-nnnnn-r-00001) の物理的な保存場所は? 名前ノードのハードディスクに保存されますか?
したがって、データノードは HDFS の一部であると仮定し、データノードのローカルディスクも HDFS の一部であると仮定します。
よろしくSuresh
hadoop - Hadoop 2.2.0 の MapReduce が機能しない
my を疑似分散モードでインストールして構成すると、次のようにHadoop 2.2.0すべてが実行されますjps。
次に、ワードカウントの例を実行しました
そして、実行は次のようにフリーズ (?) します。
何か案は？