問題タブ [cloudera]

「DailyRollingFileAppender」では、MaxBackupIndexを指定できないため、JobTrackerおよびTaskTrackerデーモンログに「RollingFileAppender」を使用したいと思います。どうやってやるの？以下は私が使用しているlog4jです。（私はhadoop cdh4beta2を使用しています）

障害のあるテーブルの修復に少し行き詰まっています（Hbase 0.92.1-cdh4.0.0、Hadoop 2.0.0-cdh4.0.0）

終了しない移行中の領域があります。

実行するsudo -u hbase hbase hbck -repairと、次のようになります。

そしてそれはただループします。

私がしない場合-repair、私はこれを取得します：

私は-repair前に数回走ったことがあります、そしてそれは助けになりました。しかし、今回はもうありません。

わかりました。これは、これを修正するために手動で介入することを示しています。誰かがこれを行う方法について正しい方向に私を向けることができますか？レシピ、ウェブページ、例、何でも役に立ちます。

ありがとう、マリオ

Cloudera Manager を使用して、テスト クラスターに CDH4 (hdfs、hbase、hue、mapreduce、oozie、zookeeper) をセットアップしました。外部から eth0 経由でマネージャーにアクセスしながら、ノードがプライベート ネットワークで eth1 経由で通信する方法を理解できないことを除けば、すべて正常に動作します。それを設定する場所に関する提案はありますか?

返信ありがとうございます。

win7でoracleのjdk 1.7.0_05を使用して、Eclipse 3.81のmavenプロジェクトのcdh4 mavenリポジトリからclouderaのorg.apache.hadoop:hadoop-client:2.0.0-cdh4.0.0 、m2eプラグインをインポートしようとしています

ただし、次のエラーが表示されます。

より具体的には、maven は次のアーティファクトが欠落していると述べています

これを解決するには？

Cloudera Manager をインストールしてみてください。Hadoop ホストでのステップの自動インストールに失敗しました。

私はHadoopの初心者です。mapreduceを使用する基本的なワークフローを理解しています。私は、Hadoop APIを使用して、Eclipseでいくつかの基本的なスタンドアロンプ​​ログラムを作成しました。私は本物に触れて、いくつかの手を持っていたいです。今のところ、cloudera vmdkをダウンロードして、VMWareFusionにインストールしました。

誰かが私に、前進を続ける方法について明確な情報を見つけることができる正しい場所を教えてもらえますか？2台以上のマシンでhdfsを使用し、これらのシステムリソースを使用して並列コンピューティングを実行してタスクを解決するスタンドアロンアプリケーションを作成したいと考えています。インターネットのすべてのオーブンで、マップリデュースと多くの高度なトピックの理解を見つけましたが、私が探している具体的なものは何もありません。

チュートリアルやビデオ講義を見つけることができる適切な場所に案内してください。

clouderacdh4リリースをインストールしました。その上でmapreduceジョブを実行しようとしています。次のエラーが発生します->

hadoop-mapreduce-examples-2.0.0-cdh4.0.0.jarで指定されたサンプルプログラムを実行できます。しかし、ジョブがjobtrackerに正常に送信されると、このエラーが発生します。ローカルファイルシステムに再度アクセスしようとしているようです（分散キャッシュでジョブを実行するために必要なすべてのライブラリを設定しましたが、ローカルディレクトリにアクセスしようとしています）。この問題はユーザー権限に関連していますか？

I） Cloudera:~ # hadoop fs -ls hdfs://<MyClusterIP>:8020/ショー-

II）---次の結果はありません----

代わりに、新しい
APIでは、適切に設定した-> fs.defaultFS-> hdfs：// Cloudera：8020を使用していると思います。

「fs.default.name」の場合、hadoopクラスター0.20.2（非clouderaクラスター）のエントリを取得しましたが

cdh4のデフォルト設定では、このエントリをそれぞれのディレクトリに追加する必要があると思います。（バグの場合）。

プログラムを実行するために使用しているコマンド-

hdfs@Cloudera:/home/cloudera/yogesh/lib> java -classpath hbase-tools.jar:hbase.jar:slf4j-log4j12-1.6.1.jar:slf4j-api-1.6.1.jar:protobuf-java-2.4.0a.jar:hadoop-common-2.0.0-cdh4.0.0.jar:hadoop-hdfs-2.0.0-cdh4.0.0.jar:hadoop-mapreduce-client-common-2.0.0-cdh4.0.0.jar:hadoop-mapreduce-client-core-2.0.0-cdh4.0.0.jar:log4j-1.2.16.jar:commons-logging-1.0.4.jar:commons-lang-2.5.jar:commons-lang3-3.1.jar:commons-cli-1.2.jar:commons-configuration-1.6.jar:guava-11.0.2.jar:google-collect-1.0-rc2.jar:google-collect-1.0-rc1.jar:hadoop-auth-2.0.0-cdh4.0.0.jar:hadoop-auth.jar:jackson.jar:avro-1.5.4.jar:hadoop-yarn-common-2.0.0-cdh4.0.0.jar:hadoop-yarn-api-2.0.0-cdh4.0.0.jar:hadoop-yarn-server-common-2.0.0-cdh4.0.0.jar:commons-httpclient-3.0.1.jar:commons-io-1.4.jar:zookeeper-3.3.2.jar:jdom.jar:joda-time-1.5.2.jar com.hbase.xyz.MyClassName

疑似分散モードで Ubuntu 12.04 に HBase 0.92.1-cdh4.0.1 をインストールしました。
hbase-master、hbase-regionserver、およびZookeeper -serverがこのマシンで実行されています。HDFS が別のマシンで実行されている (それに応じてプロパティhbase.rootdirが設定されている)。

「hbaseシェル」に問題があります。次のようなテーブル作成ステートメントを送信するたびに

シェルがハングし (何も返さず、永遠に待機します)、ctrl+c でシェルを強制終了する必要があります。ただし、コマンドは常に実行され、「hbase shell」で「list」コマンドを送信すると、テーブルがリストされます。また、Web UI にはデフォルトのポート 60010 からアクセスでき、作成されたテーブルはユーザー テーブルの下に一覧表示されます。HDFS の hbase ディレクトリをクリーンアップし、Zookeeper ログをクリーンアップし、ホスト ファイルを修正しました (127.0.1.1 を 127.0.0.1 に変更)。この問題の原因は何ですか?

3ノードクラスターにCHD3をインストールしようとしています。ClouderaManagerを介してインストールを起動します。3つのインストールはすべて失敗します。

/var/log/cloudera-scm-agent/cloudera-scm-agent.outでClouderaのインストールが失敗した後、このエラーが表示されます。

どうやら、起動時に実行されているPythonインタープリターは、「free」、「buffers」、または「cached」がNoneTypeを持っていると見なし、このエラーによりインストール全体がロールバックします。

なぜこれが発生するのか、および/または問題を回避する方法について誰かがアドバイスできますか？

前もって感謝します。

SingleColumnValueFilter、scan、getScanner を使用して、hbase テーブルから値を取得しています。結果として得られる値は、行 Id-vise でソートされます。しかし、結果を値万力でソートしたいのです。

例：

ここで、Web UI (カスタマイズしたもの) で金額を選択すると。次に、Result を amount-vise でソートする必要があります。