問題タブ [hadoop2]

最近、hadoop-2.4.0 と hbase-0.95.18 を以下でコンパイルしてインストールしました。

以下の pom.xml オプションを使用します。

と

これが私の hbase-site.xml 情報です。

HMaster と Zookeeper は正常に起動していますが、リージョン サーバーは起動していません。マスターログに以下のエラーが表示されました。

誰かがこの問題を解決するのを手伝ってくれますか?

Hadoop のさまざまなバージョンを把握しようとしていますが、このページを読んだ後に混乱しました。

質問：

1. 0.xx で始まるリリースは、それがアルファ版であり、製品で使用されるべきではないことを意味すると思いますが、そうですか?
2. 0.23.X と 2.3.X の違いは何ですか? それらは似ていますが、namenodeがありませんか？高可用性? 0.23 と 2.3 の間に相関関係はありますか? PMCグループがコードを開発する際に、「おっさん！ 未熟すぎて0から始めた方がいいよ。同じ製品だから数字はそのままにしておくよ？」と言うからでしょうか。
3. 新しい Hadoop のソース コードを見ると、jobtracker クラスがダミー クラスであることがわかります。そして、私はジョブトラッカーとタスクトラッカーを思い描いています。Mapreduce1 は、Hadoop のロードマップ上でゆっくりと消えていきます。別のケースでは、Map Reduce ジョブのインターフェイスは同じままである可​​能性がありますが、Hadoop の第 2 世代 (YARN) では、Jobtracker と Tasktracker の概念が ResourceManager に完全に置き換えられます。等

バージョン番号に本当に混乱したので、この質問は少し整理されていないかもしれません。私はそれを理解した後、質問を変更します。

次の構成を使用して、マシンで単一ノードの Hadoop クラスターを実行しようとしています。

namenode を問題なくフォーマットできますが、次を使用して namenode を起動しようとすると:

次のエラーが表示されます。

Hadoop インストール用に別のユーザー「hduser」を作成しませんでした。既存のユーザー名を使用しています。それが私が問題に直面している理由かもしれません。誰かがこれで私を助けてくれませんか。

これを機能させるには、正確にどのアクセス許可を変更する必要がありますか?

更新 いじって許可の問題を回避した後、ここに投稿された新しい愚かなエラーに移りました: hadoop Nanenode が開始 されないこれに取り組みます。

とても基本的な質問があります！HBase 上の MapReduce に必要なライブラリは何ですか? 私は TableMapper を使用する必要があることを知っています。maven から hadoop-client 2.2.0 と hbase-client 0.98.2 を取得しましたが、API に TableMapper がありません。ありがとうございました。

2 ノードの Hadoop 2.2.0 クラスターで実行されている M/R ジョブでいくつかのテストを行っています。私が理解したいことの 1 つは、ジョブをローカル モード (ResourceManager によって管理されない) で実行し、YARN で実行する場合のパフォーマンスに関する考慮事項です。私が行ったテストでは、ジョブが YARN で管理されている場合よりも LocalJobRunner を介して実行されている場合の方がはるかに高速に実行されることが示されています。クラスターをセットアップするとき、ここで説明されている手順に従っていましたhttp://raseshmori.wordpress.com/2012/10/14/install-hadoop-nextgen-yarn-multi-node-cluster/、おそらくガイドにいくつかの構成があります言及するのを忘れましたか？

ありがとう！

Ubuntu 14.04 に Hadoop 2.4 をインストールしましたが、現在、既存のクラスターに内部 sata HD を追加しようとしています。

新しい hd を /mnt/hadoop にマウントし、その所有権を hadoop ユーザーに割り当てました

次に、次のように構成ファイルに追加しようとしました。

その後、hdfs を開始しました。

2番目のhdを起動しないようです

これは私のcore-site.xmlです

さらに、namenode を更新しようとしたところ、接続の問題が発生しました。

さらに、Hadoop Web インターフェイスに接続できません。私は2つの関連する問題を抱えているようです：

これらの問題は関連していますか? これらの問題を解決するにはどうすればよいですか?

ありがとう

編集

localhost に ping を実行すると、localhost:50090/status.jsp にアクセスできます。

しかし、50030 と 50070 にアクセスできません。

Hadoop v2 にフックする Java イベント システムを実装するクリーンな方法を探しています。通知 URL があることは知っており、過去にそれを使用したことがあります。私がやりたいことは、JobStatus にフックし、イベントをキュー サービスにポストして、イベントをクライアントに伝達することです。ジョブを拡張し、リフレクションを使用してステータスをカスタム JobStatus クラスに割り当てようとしましたが、これは機能しません。また、Yarn のイベント システムを大まかに調べて、Yarn イベントをリッスンし、それらを伝播できるようにするフックを追加しました。この種のタスクを達成する方法について、専門家の意見が本当に必要です。ログ メッセージ、ステータス変更イベントをリアルタイムで Web クライアントに取得したいと考えています。

事前にご支援いただきありがとうございます。

HDFS の既存のファイルにコンテンツを追加できません。次の行で例外がスローされます。

ここで、dirPath は「hdfs://master:54310/test/Readme.txt」です。

開発のために単一ノードで Hadoop を実行していることに注意してください。

例外ログを以下に示します。

また、同じ行で、時々この例外が発生することに注意してください

これらの例外がスローされる理由について、誰か詳しく教えてください。