問題タブ [hadoop-plugins]

Hadoop 安定バージョンを正常にインストールしました。しかし、hadoop -2.0.0 バージョンのインストール中に混乱しました。

両方のマシンでフェデレーションを使用して、2 つのノードに hadoop-2.0.0-alpha をインストールしたいと考えています。rsi-1、rsi-2 はホスト名です。

フェデレーションを実装するために必要な以下のプロパティの値。どちらのマシンもデータノードにも使用されます。

fs.defaulFS dfs.federation.nameservices dfs.namenode.name.dir dfs.datanode.data.dir yarn.nodemanager.localizer.address yarn.resourcemanager.resource-tracker.address yarn.resourcemanager.scheduler.address yarn.resourcemanager.address

もう1点、Hadoopの安定版では、インストールディレクトリのconfフォルダーの下に構成ファイルがあります。

しかし、2.0.0-aplha バージョンでは、etc/hadoop ディレクトリがあり、mapred-site.xml、hadoop-env.sh がありません。share フォルダの下にある conf フォルダを hadoop-home ディレクトリにコピーする必要がありますか? または、これらのファイルを共有フォルダーから etc/hadoop ディレクトリにコピーする必要がありますか?

よろしく、ラシュミ

ストレージ システムとしての Hadoop について 2 つの質問があります。

1. 3 つのデータ ノードの Hadoop クラスターがあり、サイズが 128 MB (分割サイズが 64 MB であると仮定) の巨大なファイルの分割を、選択したデータ ノードに転送したいと考えています。これは、そのような場合にどの分割がどの DataNode に行くかを制御する方法です。つまり、3 つのデータ ノード (つまり、D1、D2、D3) があり、特定のデータ ノードに移動する特定の分割 (「A」としましょう) が必要だとします。それを D2 とします。

   どうすればこれを行うことができますか?

2. Hadoop ファイルシステムの可能な最小分割サイズは? 最小の分割サイズに設定するにはどうすればよいですか。

ノードのみの (テスト) モードで Flume を使用しています。私のフルームは次の方法で開始されます。

Flume node -1 -c $FQDN':amqp("exchangeName=[エクスチェンジ名]", "bindings=[バインディング名]", "host=127.0.0.1", "port=5672", "userName=[ユーザー] ", "password=[pass]", "exchangeType=direct", "durableExchange=false", "queueName=[キュー名]", "durableQueue=true", "exclusiveQueue=false", "autoDeleteQueue=false"," useMessageTimestamp=true")|collectorSink("s3n://[Amazon キー]:[Amazon シークレット]@[S3 のパス]","server");' -s "$@" > "$log" 2>&1

Flume で .csv ファイルを渡すことに興味があります。残念ながら、flume は .csv ファイルを .json に変換し、いくつかのフィールドを追加します。

例：

元のメッセージ:

Flume はメッセージを次のように変換します。

メッセージをそのまま渡すようにflumeを設定するにはどうすればよいですか?

誰でもmongodbからrdbsにサンプルコードを与えることができます...私はすでにmongodbからデータをフェッチし、mongodbの出力ストアを試しました。そのために、Javaジョブでhadoop構成を行う方法を知っていました。

知りたいことは3つ...

1. mongodb と rdbs の両方をサポートする Hadoop のバージョンはどれですか?
2. 複数のコレクションを入力として使用することは可能ですか? 可能であれば、どうすればそれを行うことができますか?
3. Hadoopでmongodbクエリを試してみましたが、正常に動作しています.しかし、ソートまたは制限を定義すると...正しく動作しません..mongodbからデータを取得していません...

ユーザーが自分の豚のコマンドを実行し、実行されたコマンドの履歴を表示できるSQLエディターに似た、hadoopの豚のエディターを構築しています。インテリジェンスもあります。

豚のコマンドを解析して実行する方法を知る必要があります。

前もって感謝します。

最近、Hadoop について勉強しています。Eclipse を使用して、Hadoop で MapReduce プログラムを実行したいと考えています。

環境は次のとおりです。

Hadoop 1.0.4;

日食 4.2.1;

しかし、Hadoop 1.0.4 には Eclipse プラグインが見つかりません。

eclipse プラグインの場所を教えてもらえますか?

次のチュートリアルhttp://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#formatting-theを使用して、ubuntu 12.04 LTS で Sudo ノード Hadoop 環境をセットアップして構成しました 。 -hdfs-filesystem-via-the-namenode

hadoop/bin $ start-all.sh と入力した後、すべてがうまくいき、Jps を確認した後、NameNode、JobTracker、TaskTracker、SecondaryNode が開始されましたが、DataNode は開始されませんでした ...

この問題を解決する方法を知っている人がいたら教えてください..

Eclipse で Hadoop1.0.4 用の MapReduce プログラムを作成する必要があります。

このバージョンの Hadoop には、Eclipse 用のプラグインが含まれていません。

ただし、build.xml ファイルは $HADOOP_HOME/src/contrib/eclipse-plugin にあります。

build.xml ファイルから Eclipse 用のプラグインを生成またはビルドするにはどうすればよいですか?

Eclipse を使用して Hadoop プラグインをビルドしています Hadoop のバージョンは 1.0.4 です Ant ビルダーを使用すると、次のようなエラーが発生しました

おそらくこれらの問題の原因は何ですか？どうも

Hadoop 用の Eclipse プラグインを使用していました。Hadoop サーバーを作成することで HDFS のすべてのファイルを表示できますが、Eclipse から wordcount.java ファイルを実行しようとすると例外が発生しますが、端末からはスムーズに実行されます。例外は以下です。