問題タブ [cloudera]

9 つのノードを持つ Linux クラスターがあり、hadoop 1.0.2 をインストールしました。複数のスレーブを使用して実行している GIS プログラムがあります。たとえば、1、2、3、4 .. 8 個のスレーブ ノードを使用して、プログラムのスピードアップを測定する必要があります。スレーブの数を変更して conf/slaves ファイルを変更したら、start-all.sh/stop-all.sh スクリプトを使用してクラスターを開始/停止します。しかし、そうしている間に奇妙なエラーが発生し、クラスター内のスレーブ ノードを追加/削除するための正しい手法を使用していないように感じます。

理想的な「スレーブファイルを変更してクラスターを再起動する手法」に関するヘルプをいただければ幸いです。

「マップのみ」（削減フェーズなし）プログラムがあります。入力ファイルのサイズは7つのマップタスクを作成するのに十分な大きさであり、生成された出力（part-000からpart006）を確認することで確認しました。現在、私のクラスターには8つのノードがあり、それぞれに8つのコアと8 GBのメモリがあり、共有ファイルシステムがヘッドノードでホストされています。

私の質問は、7つのマップタスクすべてを1つのノードでのみ実行するか、7つの異なるスレーブノードで7つのマップタスクを実行するか（ノードごとに1つのタスク）を選択できるかどうかです。そうすることができれば、コードと構成ファイルにどのような変更を加える必要があります。

コードでのみパラメータ「mapred.tasktracker.map.tasks.maximum」を1と7に設定しようとしましたが、感知できるほどの時間差は見つかりませんでした。私の設定ファイルでは、1に設定されています。

タスクトラッカーのポート番号を変更したり、hadoopのconfファイルを介して最大マップタスクの数を変更したりした場合、サーバー/デーモンを停止して再起動する必要がありますか？

ヘッドノードをマスターとして、他の7つのノードをスレーブとして構成したHadoopクラスターがあり、それぞれに8つのコアと8GBのメモリがあります。パラメータ「mapred.tasktracker.map.tasks.maximum」とスレーブ構成ファイル内のスレーブの数を変更して遊んでいます。今、私のプログラムがたとえば40のタスクを実行する必要がある場合、ログファイルまたはどこかで個々のスレーブノードで実行されたタスクの数を確認できますか？基本的に、異なるノード間でのマップタスクの分散を探しています。

私はC++で記述された比較的単純なプログラムを持っており、MapReduceジョブにHadoopストリーミングを使用しています（私のバージョンのHadoopはClouderaです）。

最近、多くのストリーミングタスクが失敗し続け、タスクトラッカーによって再起動され、最後に正常に終了することがわかりました。ユーザーログを追跡しましたが、一部のMapReduceタスクの入力がゼロになっているようです。具体的には、エラーメッセージは次のようになります。

エラー率がかなり高い場合があります（50％近く）。普通ではないと思います。誰か知っている

a）何が起こっているのですか？

b）どうすれば修正できますか？

ありがとう

マップリデュースプログラムを使用してSqoopを呼び出そうとしています

実行すると、次のエラーが発生します

/tmpのアクセス許可とHDFSのサブディレクトリを777に設定しました

を使用してコマンドラインから同じコマンドを正常に呼び出すことができますsudo -u hdfs sqoop ...

これはClouderaのHadoop分散であり、私はhdfsユーザーとしてジョブを実行しています。

VirtualBox と VMWarePlayer の両方に最新の Cloudera VM をダウンロードして起動しました。 https://ccp.cloudera.com/display/SUPPORT/Cloudera%27s+Hadoop+Demo+VM

ただし、hadoop のインストール以外には何も含まれていません (Eclipse など)。いつか Cloudera VM を試してみたときに、事前に構成されたインストール例、サンプル データ、Eclipse などが付属していたことをはっきりと覚えています。 -tutorial-part-1-setup-up-your-mapreduce-learning-playground/

私は何か間違ったことをしていますか??

古い VM を見つけることができる場所はありますか? SJ

私は Java が初めてで、HIPI を使用する MR を実行しようとしています: http://hipi.cs.virginia.edu/ http://hadoop.apache.org/common/で 説明されているコマンドを使用しました。 docs/r0.20.2/mapred_tutorial.html Hadoop 0.20.2 を使用しています

私のコマンドは次のようになります: hadoop jar grayscalefromfile_exc.jar grayscalefromfile_exc.StubDriver -libjars hipi-0.0.1.jar imgs imgsOut1

パスは次のようになります。

私が得るエラー: org.apache.hadoop.util.ToolRunner.run( での grayscalefromfile_exc.StubDriver.run(StubDriver.java:89) でのスレッド "main" java.lang.NoClassDefFoundError: hipi/imagebundle/mapreduce/ImageBundleInputFormat での例外: ToolRunner.java:65) で org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) で grayscalefromfile_exc.StubDriver.main(StubDriver.java:103) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) でorg の java.lang.reflect.Method.invoke(Method.java:597) でapache.hadoop.util.RunJar.main(RunJar.java:186) 原因: java.lang.ClassNotFoundException: hipi.imagebundle.mapreduce.ImageBundleInputFormat at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:190) java.lang .ClassLoader.loadClass(ClassLoader.java:306) at java.lang.ClassLoader.loadClass(ClassLoader.java:247) ... 9 詳細

言うまでもなく、hipi-0.0.1.jar にはパスが含まれています: hipi/imagebundle/mapreduce/ImageBundleInputFormat.java

TNX

hereの指示に従って「hadoop」をセットアップしました。ダウンロードして正常にデプロイし、historyserver を除くすべてのデーモンを実行して、サンプル プログラムを実行できます。sbin/yarn-daemon.sh start historyserver を実行すると、次のエラーが表示されます。

誰でもこの問題で私を助けることができますか?

Cloudera は webhdfs を最新の cd3u4 に組み込みましたが、この機能を有効にできる場所が見つかりません。hdfs-site.xml で手動で編集できるエントリ dfs.webhdfs.enabled があることを認識しています。cdh3 ディストリビューション内に、dfs.webhdfs.enabled 構成を配置できる安全な場所はありますか? 誰かが私を正しい方向に向けるのを助けることができますか?