問題タブ [hadoop-yarn]

Hadoop アーキテクチャの Namenode は単一障害点です。

大規模な Hadoop クラスターを使用している人々は、この問題にどのように対処していますか?.

プライマリ Namenode に障害が発生した場合にセカンダリ Namenode が引き継ぐ、業界で受け入れられているソリューションはありますか?

分散シェルの例を実行しようとしています (Hadoop の SVN チェックアウトを使用しているため、バージョンが 3.0.0-SNAPSHOT に設定されています):

ただし、機能しません。

本質的な問題は、2 番目のトレースにあるようです。

Hadoops ProtoBufRPC のプロトコル登録がどのように機能するか知っている人はいますか? デバッグ方法について何か考えはありますか?

編集: Hadoop バージョン 2.0.1-alpha では、動作がわずかに改善されています。

そのため、私のビルドが正しく機能しなかった可能性があります。上記の問題の原因についてのアイデアはありますか (MapReduce 以外の低レベルの実験を計画しているので、HEAD を使用したいと思います)。または、HEAD が部分的に壊れていますか? HEAD 上の分散シェルは機能しますか?

私自身の（まだ動作していない...）クライアントは、まだ同じエラーで失敗します：

Hadoop / Yarn 2.x（具体的にはv0.23.3）を疑似分散モードでセットアップしました。

私は、多かれ少なかれそれを設定するための同じ処方箋を提供するいくつかのブログとウェブサイトの指示に従いました。また、O'reillyのHadoop本の第3版（皮肉なことに最も役に立たなかった）もフォローしました。

問題：

構成：

次の環境変数は、myとhadoopのUNIXアカウントプロファイルの両方に設定されています。〜/ .profile：

hadoop $ java -version

etc / hadoop / conf / hdfs-site.xmlでも指定されているNAMENODEおよびDATANODEディレクトリ：

次に、さまざまなXML構成ファイル（ここでもYARN / MRv2 / v0.23.3）：

core-site.xml

mapred-site.xml

hdfs-site.xml

ヤーンサイト.xml

etc / hadoop / conf / saves

その他のまとめのメモ：

ありがとうございました！

「バックグラウンド」の Hadoop クラスターをインストールすることは可能でしょうか。つまり、結局のところ、ノードが利用できない、または遅い場合があることに対処できるようにするためのものです。

したがって、ある大学にコンピューター室があると仮定します。たとえば、100 台のボックスにはすべて、高級デスクトップ ハードウェア、ギガビット イーサナー、おそらく同一のソフトウェア インストールが含まれています。ここでも Linux は非常に人気があります。

ただし、これらの 100 ボックスはもちろん、学生向けのデスクトップ システムを対象としています。ラボがいっぱいになる時もありますが、ラボが空になる時もあります。ユーザー データは主に中央ストレージ (NFS など) に保存されるため、ローカル ディスクはあまり使用されません。

アイドル時間にシステムを Hadoop クラスターとして使用することは、私には良い考えのように思えます。もちろん、最も単純なセットアップは、cron ジョブでクラスターを夜間に開始し、朝にシャットダウンすることです。ただし、日中も多くのコンピュータが使用されません。

しかし、Hadoop は、ユーザーがログインしたときにノードがシャットダウンされた場合などにどのように反応するのでしょうか? Hadoop でノードを簡単に「一時停止」(プリエンプト!) し、必要に応じてノードを移動してスワップすることは可能ですか? 理想的には、Hadoop に、タスクを一時停止する前に (メモリを解放するためにも) 計算を取り除く機会を与えます。このような設定を行うにはどうすればよいでしょうか。ノードが一時停止されることを Hadoop に通知する方法はありますか?

私が知る限り、データノードは停止すべきではなく、3 つ以上のコピーを持つようにレプリケーションを増やす必要があるかもしれません。YARN では、タスクトラッカーを任意のノードに移動することによって、ある時点で中断されるノードになる可能性があるという問題もあるかもしれません。しかし、常にオンになっており、タスク トラッカーを実行する少数のノード セットがあることを制御できる場合があります。

または を送信するだけstopで適切ですか(その後、 で再開します)? 1 つ目はおそらく Hadoop に反応する機会を与え、2 つ目はユーザーがすぐにログアウトすると (ジョブが続行できるため) より速く続行します。ヤーンはどうですか？tasktrackerSIGSTOPSIGCONT

Yarnは、インフラストラクチャレイヤーが元のマップリデュースアーキテクチャと次のように異なります。

Resource ManagerYARNでは、ジョブトラッカーはand Node Manager（ノード固有）と呼ばれる2つの異なるデーモンに分割されます。リソースマネージャーは、監視やステータスの更新を気にせずにスケジューリングジョブを処理するスケジューラーを構成することを除けば、さまざまなジョブへのリソースの割り当てのみを管理します。メモリ、CPU時間、ネットワーク帯域幅などのさまざまなリソースが、と呼ばれる1つのユニットに配置されResource Containerます。AppMastersこれらのリソースコンテナの数と通信し、それに応じて監視/ステータスの詳細でノードマネージャを更新する、さまざまなノードで実行されるさまざまなものがあります。

この種のアプローチを使用すると、map-reduceの観点からパフォーマンスがどのように向上するのか知りたいのですが。また、Yarnの背後にある動機と、Map-reduceの既存の実装に対するその利点について決定的な内容がある場合は、同じことを指摘してください。

現在、MapReduceV1および/またはYARN用に提供されているREST APIを介して外部にアプリケーションを送信する方法はありますか？カスタムサービスを追加せずにこれを行う方法を見つけたいと思っています。

これまでのところ、 YARNを使用してResourceManagerGETからアプリケーションステータスを取得する方法を理解しただけです。

たぶん私はこれを間違って見ています、そしてこれを外部で行うより良い方法がありますか？

最近、2 台のCentOS 6 マシンで構成された単純なクラスターをセットアップし、 hadoop-0.23.4ファイル システムをインストールしました。フォーマットはエラー メッセージなしで完了し、DataNode (所有している 1 台のスレーブ マシン上)、ResourceManager (マスター上)、および NodeManagers (再び各 (1) スレーブ上) を起動できます。

NameNode が起動しない理由がわかりません。コマンドを発行すると、次のようになります。

マスターでは、この出力が得られます

エラーメッセージはありません（少なくとも、私が見つけたものはありません）。ログにもエラーは含まれていません。

マスター jps リターンで

奴隷にいる間、私は得る

これをどこで調べる必要があるかについての手がかりはありますか? ありがとうございました

Whirr 0.8 を使用して、EC2 に CDH4 クラスター (MapReduce バージョン 2、YARN) をデプロイしました。MapReduce ジョブは正常に実行され、Web アプリケーションに問題なく接続できNameNodeますResource Manager。JobHistoryManagerしかし、 Web アプリケーションに接続できず、実行されていることを確認しました。この問題を解決する方法について何か考えはありますか?

Hadoop MR1 と MR2 の両方を同じクラスターで (少なくとも理論的には) 一緒に実行することは可能ですか?

はいの場合、どうすればそれを行うことができますか?

Yarn を使用して Hadoop 用の CDH4 tar をダウンロードしました。ジョブは正常に実行されていますが、ジョブのログを表示する場所がわかりません。MRv1 では、JobTracker Web アプリにアクセスするだけで、ジョブ履歴がありました。個々のジョブのログも、ここから、または logs/userlogs ディレクトリに移動してアクセスできました。

新しい Yarn セットアップ (1 台のコンピューターで実行するだけ) では、logs ディレクトリはありますが、logs/userlogs フォルダーはありません。

ResourceManager Web ページ localhost:8088 に移動すると、「すべてのアプリケーション」セクションがありますが、ここにはエントリが表示されません。JobHistory Web ページ localhost:19888 にアクセスすると、ジョブが一覧表示されません。

設定に問題がないか心配です。これが私の yarn-site.xml エントリです:

何をデバッグするかについてのヒントは大歓迎です。

更新: nodemanager ログ ディレクトリを確認しましたが、空です。さらに、ジョブ履歴ディレクトリは空です。奇妙な点の 1 つは、HadoopINFO mapreduce.Job: The url to track the job: http://localhost:8080/から「 」と表示されることですが、ブラウザから試してみると、そのアドレスは使用できません。

更新 #2:実行する各ジョブのジョブ ID ("job_local_0001") が同じであることに気付きました。これはどこかの設定の問題のようです。