問題タブ [cloudera-cdh]

Debian 7 に CDH5 をインストールしました。単一ノードの疑似分散モードで MapReduce1 を使用して Hadoop を使用しています。

R内でRhipeを実行したいと思います。ダウンロード後、インストールしました：

次に、環境変数をエクスポートしました。

Rを実行した後：

何か不足していますか？

システムで使用される Java:

Mesos 0.17 で CDH5 に対して Spark 0.9.1 を実行します。これまで、CDH シリーズの「mr1」バージョンを使用し続けてきたので、小さなファイルでfilecrushプロジェクトを実行できました。さまざまな理由から、MR-2 に自由にアップグレードできるようにしたいと考えています。

Hadoop の map/reduce 以外でこれを行うためのツールはありますか? 現在使用している filecrush ライブラリは自明ではないため、パターンを Spark に変換するのは簡単ではありませんでした。

CDH5 Beta 2 で次のコマンドを使用して、 hadoop jarコマンドを使用して MR ジョブを送信しました。

また、以下のように fs 名とジョブトラッカーの URL を明示的に提供しようとしましたが、成功しませんでした

ジョブは正常に実行されますが、クラスターに送信する代わりにLocalJobRunnerを使用しています。出力は HDFS に書き込まれ、正しいものです。ここで何が間違っているのかわからないので、ご意見をお寄せください。以下のようにfsとジョブトラッカーを明示的に指定しようとしましたが、同じ結果になりました

ドライバーコード

3+1 クラスターに Cloudera Manager と CDH4.2.2 を使用しています。cloudera manager でインストールを開始すると、自動的に JDK1.6 をダウンロードしてインストールします。私は便宜上、CDH で JDK1.7 を使用したいと考えています。クラスタに Hadoop をインストールしているときに、JDK1.7 で Hadoop を自動的にダウンロードしてインストールし、正常に実行する CDH のバージョンはありますか?

はいの場合、CDH のバージョンとダウンロード先を教えてください。

CDH に Apache Giraph をインストールしたいので、1.6 ではなく JDK1.7 を使用したいのですが、Giraph は JDK1.6 にうまく適合せず、JDK1.7 が必要なようです。

よろしくお願いします。

私のクラスターでは、Oozie Web コンソールが非常に遅いです。Web コンソールに移動すると、リクエストが Oozie サーバーに渡されるまでに 10 ～ 15 秒かかり、Oozie サーバーから取得した結果を公開するのにさらに 10 ～ 15 秒かかります。同じことがHueでもうまく機能しています。

これを経験した人はいますか？この問題は、CDH 4.4 と CDH 5.0.0 beta2 の両方で発生しています。

Oozie tomcat war ファイルに問題がある可能性があります。アイデアはありますか？

私は実際に、Hive on CDH 5.0 with Yarn を使用して、Hadoop でソリューションを実装しようとしています。したがって、私のアーキテクチャは次のとおりです: 1 Namenode 3 DataNode

私のノードは 2vCPU @2.27 と 8 GO RAM で仮想化されています

それで、いくつかのリクエストを試してみたところ、いくつかの結果が得られました。その後、結果を比較するために、同じデータセットを使用して基本的な MySQL で同じリクエストを試しました。

実際、MySQL は Hive よりも非常に高速です。だから私はその理由を理解しようとしています。ホストのせいでパフォーマンスが悪いことはわかっています。私の主な質問は次のとおりです。私のクラスターは適切にサイジングされていますか?

この量のデータに対して同じ DataNode を追加する必要がありますか (私の意見ではそれほど膨大ではありません)。

また、誰かがほぼ同じアーキテクチャでリクエストを試みた場合は、結果を共有してください。

ありがとう ！

組み込みデータベースのデータベース設定の構成を行う際に、cloudera manager サーバーをインストールしました。エラーは以下のとおりです。

提供された資格情報を使用して、ホスト「namenode.tarun.com」からホスト「 http://namenode.tarun.com:7432 」のデータベースに接続できません

これが私のdb.mgmt.propertiesです。以前はホスト名を認識していなかったため、変更しました。

次のようにログイン: root root@10.182.1.114 のパスワード: 最終ログイン: Mon Apr 28 14:29:55 2014 from n1.tarun.com [root@namenode ~]# vi /etc/cloudera-scm-server/db. mgmt.properties

20140424-144947
これらは、Cloudera Manager Management Services の「cloudera-scm-server-db」によって作成されたデータベースのデータベース資格情報であり、組み込みデータベース ルートが使用される場合にインストール ウィザードで使用されます。

これらの設定の信頼できる情報源は Cloudera Manager データベースであり、ここで行った変更は自動的には反映されません。

com.cloudera.cmf.ACTIVITYMONITOR.db.type=postgresql com.cloudera.cmf.ACTIVITYMONITOR.db.host=http://namenode.tarun.com:7432 com.cloudera.cmf.ACTIVITYMONITOR.db.name=amon com.cloudera.cmf.ACTIVITYMONITOR.db.user=amon com.cloudera.cmf.ACTIVITYMONITOR.db.password=TDBw6Cjo7y com.cloudera.cmf.REPORTSMANAGER.db.type=postgresql com.cloudera.cmf.REPORTSMANAGER.db.host=http://namenode.tarun.com com.cloudera.cmf.REPORTSMANAGER.db.name=rman com.cloudera.cmf.REPORTSMANAGER.db.user=rman
com.cloudera.cmf.REPORTSMANAGER.db.password=computer1 com.cloudera.cmf.NAVIGATOR.db.type=postgresql com.cloudera.cmf.NAVIGATOR.db.host=7432 com.cloudera.cmf.NAVIGATOR.db.name=nav com.cloudera.cmf.NAVIGATOR.db.user=nav com.cloudera.cmf.NAVIGATOR.db.password=MNWOjKZdVD com.cloudera.cmf.ACTIVITYMONITOR.db.type=postgresql com.cloudera.cmf.ACTIVITYMONITOR.db.host=http://namenode.tarun.com:7432 com.cloudera.cmf.ACTIVITYMONITOR.db.name=amon com.cloudera.cmf.ACTIVITYMONITOR.db.user=amon com.cloudera.cmf.ACTIVITYMONITOR.db.password=DBG22fU5Jr com.cloudera.cmf.REPORTSMANAGER.db.type=postgresql com.cloudera.cmf.REPORTSMANAGER.db.host=http://namenode.tarun.com com.cloudera.cmf.REPORTSMANAGER.db.name=rman com.cloudera.cmf.REPORTSMANAGER.db.user=rman com.cloudera.cmf.REPORTSMANAGER.db.password=computer1 com.cloudera.cmf.NAVIGATOR.db.type=postgresql com.cloudera.cmf.NAVIGATOR.db.host=:7432 com.cloudera.cmf.NAVIGATOR.db.name=nav com.cloudera.cmf.NAVIGATOR.db.user=nav com.cloudera.cmf.NAVIGATOR.db.password=a5gJFtI758