問題タブ [cloudera]

彼の役割の 1 つは、HDFS 内の非常に大きなファイルを大量にコピーすることであるという仕事を書きました。FileUtil.copy() の使用は効率的ではないことがわかりました。

それを行うためのより効率的な方法はありますか？DistCp.java について聞きましたが、FileUtil.copy() よりも優れていますか? DistCp.java Cloudera の実装はありますか?

Hadoop プログラムを Streamer jar で実行する場合と、プログラムの jar ファイルで実行する場合の違いは何ですか?

ここからインストール手順に従いましたが、 Inspect Role Assignmentsステージに到達すると、管理対象ホストが 1 つしか表示されません: localhost.localdomain.

その後他のホストを追加しようとしても、結果は同じです。

• 各クラスタ ホストのインストールが成功する
• ホストが管理対象として表示されない

私は何が欠けていますか？

更新:私は自分の質問に答えるのが好きではないので、ここに自分の答えを書いています。

解決策は非常に明白であるため、私はそれを認識できず、いくつかのチェックを行っているときに問題が発生するまで、かなり長い間問題を未解決のままにしました。

hostnameインストール時に提供された は IP に設定されて/etc/hostsおり127.0.0.1、localhost.localdomain魔女は Cloudera の設定を誤解させ、基本的にすべてのホストが同じ IP とホスト名を持つようにしました。

でセットアップをやり直したhostname.domain.localところ、hostsファイルには特定の IP とホスト名を含む別の行があり、/etc/resolv.confファイルにはsearch domain.local.

この不快な経験の後でも、インストールのドキュメントにはこれらの小さな詳細が含まれるべきだと思いますが、それは明らかなことを述べているようなものです。

cloudera から hadoop-cdh3u2 をダウンロードしてセットアップしました。hadoop-0.20.2-cdh3u2/src/contrib 内で「eclipse-plugin」というプロジェクトを見つけ、それを eclipse にインポートしましたが、エラーが発生し、eclipse アプリケーションとして実行される hadoop-core.jar を追加しましたが、できません新しいサーバーを追加します (「MANIFEST.MF」で何かを更新する必要がありますか??. 次のエラーが表示されます。そして、このプロジェクトをjarにエクスポートするのは通常のプロセスなのか、それとも何か特別なことをする必要があるのか​​知りたいですか???

Eclipse のバージョンは indigo、プラットフォームは Ubuntu 11.10、Java のバージョンは 1.6 です。

Map タスクの出力が Reduce タスクで使用される前にディスクに保存される場所を見つけようとしています。

注: - 使用されるバージョンは、新しい API を備えた Hadoop 0.20.204 です。

たとえば、Map クラスの map メソッドを上書きする場合:

context.write() がデータを書き込む場所を知りたいです。これまでのところ、次のことに遭遇しました。

これにより、hdfs 上の次の場所が得られます。

別のジョブの入力として使用しようとすると、次のエラーが表示されます。

注:ジョブは Mapper で開始されるため、技術的には、Mapper タスクがその出力を書き込んでいる一時フォルダーは、新しいジョブの開始時に存在します。繰り返しますが、入力パスが存在しないとまだ言われています。

一時的な出力がどこに書き込まれるかについてのアイデアはありますか? または、Map ステージと Reduce ステージの両方を持つジョブ中に Map タスクの出力を見つけることができる場所はどこでしょうか?

私は Hadoop プログラムを書いていますが、廃止されたクラスで遊びたくありません。オンラインのどこでも、更新されたプログラムを見つけることができません

org.apache.hadoop.conf.Configuration

のクラス

org.apache.hadoop.mapred.JobConf

クラス。

これは私の main() がどのように見えるかです。誰でも私に更新された機能を提供してください。

Ubuntu 11.04 と Java 6 Sun で Hadoop インストールをセットアップしようとしています。Hadoop 0.20.203 rc1 ビルドで作業していました。java-6-sun を使用した Ubuntu 11.04 で繰り返し問題が発生しています。Hadoop を起動しようとすると、「ストレージにアクセスできません」という理由でデータノードが起動しません。

Apache から 0.20 ブランチのいくつかのバージョンへのアップグレードとダウングレードを試みました。cloudera も含め、hadoop を削除して再度インストールしました。しかし、それでも私はこの問題に直面しています。/tmp ディレクトリの *.pid ファイルを削除するなどの一般的な回避策も機能しません。誰かが私にこれの解決策を教えてもらえますか?

hadoopとhbasecdh3u2をインストールしました。hadoopでは、パスにファイルがあります/home/file.txt。それは次のようなデータを持っています

このファイルをhbaseにインポートしたいと思います。その中で、最初のフィールドは文字列として解析され、2番目のフィールドは整数として解析されてから、hbaseにプッシュされる必要があります。これを行うのを手伝ってください

よろしくお願いします。

バージョン: HBase Cloudera CDH3U2。

Java API を使用して long データ型の値を HBase に挿入しました。

ここでは、keyValueList.size() がゼロであることを取得しています。フィルターを適用しない場合、keyValueList.size() は 3 であり、値は (1,5,7) です。

5と7の結果が欲しいです。

これを行うのを手伝ってください。

前もって感謝します

コマンド ：

エラーメッセージ：