問題タブ [hadoop-yarn]

既存の MapReduce と YARN の違いを教えてください。これら 2 つの明確な違いがすべて見つからないためです。

PS: これらの比較のようなものを求めています。

ありがとう！

YARN の上にサービス指向アーキテクチャを構築することを検討しています。さまざまなアプリケーション タイプがあります。Storm のようなストリーミング モード (実行中のサービスに接続する) で動作するものもあれば、バッチ処理モード (要求ごとにアプリが開始されるとき) で動作するものもあります。

さらに、アプリケーションは頻繁に相互に通信する必要があり、YARN 内の異なるアプリケーション間で大量の内部トラフィックが必要になる場合があります。さまざまなアプリケーションのキャッシュも使用したいので、同じデータを持つリクエストが同じアプリに送信されるたびに、キャッシュされた応答を返すことができます。

YARN は、SOA フレームワークの基盤として良いソリューションですか、それとも悪いソリューションですか? Yarn は単なる自動スケーリング/デプロイのようなツールですか、それとも SOA に適していますか? YARNでこれを行うのに十分速いでしょうか?

Hadoop 2.0.5 (Alpha) を使用して比較的大きなジョブを実行していますが、次のエラーが発生しました。

コンテナ [pid=15023,containerID=container_1378641992707_0002_01_000029] が仮想メモリの制限を超えて実行されています。現在の使用量: 1 GBの 物理メモリのうち 492.4 MB が使用されています。2.1 GBの仮想メモリのうち 3.3 GB を使用。殺人コンテナ。

次に、次の 2 つのパラメーターについて学びました。

デフォルトで 2.1 に設定されているyarn.nodemanager.vmem-pmem-ratio プロパティ。

デフォルトで -Xmx1024mb (=1GB) に設定されているyarn.app.mapreduce.am.command-opts 。

これで、上記の制限が説明されました。

これらのパラメーターをより高い値に設定すると効果がありましたが、次のパラメーターを見つけました: yarn.app.mapreduce.am.resource.mbは、デフォルトで 1536 に設定されています。

また、Hadoop の既定の XML に記載されている説明から 3 つの違いを完全に理解することも、最適化のためにそれらを適切に設定する方法もわかりません。

説明または良い参考文献をいただければ幸いです

YARN クラスターで分散シェルの例を実行しようとしています。

しかし、それは失敗します:

サーバーログに表示される内容は次のとおりです。

問題は、何が問題なのかを特定するための詳細をどのように取得できるかです。

PS: HDP 2.0.5 を使用しています

次の動作は本来あるべきものなのだろうか (hadoop 2.1.0-beta):

hdfs-site.xml で dfs.blocksize を 64m に変更しました。ブロックサイズを介してファイルをアップロードすると、hdfs dfs -put src dst(Web インターフェイスで) 64mb と正しく表示されます。ただし、Java API (ここでは scala 経由) を使用すると、ファイルのブロックサイズは 128mb (デフォルト) になります。

アプリケーションのクラスパスに構成ファイルがありません。これは、名前ノードがそのブロックサイズを認識する必要があると予想していたためです。Java APIの使用方法は次のとおりです。

namenode が正しく構成されていないため、正しいブロックサイズが適用されませんか? それとも、これは予想される動作ですか?

追加：これは私が自分のnamenodeを開始する方法です：

hdfs-site.xml は指定されたフォルダーにあり、その中に次のプロパティがあります。

$HADOOP_CONF_DIR を指定しませんでした。これは、このマシンで複数の Hadoop インストールを切り替えるためです (必要だと思いますが、必要ないと思います)。