0

Mac で単一ノードの Hadoop クラスターに関するいくつかの問題をデバッグしようとしています。すべてのセットアップ ドキュメントで、次のように追加するように指示されています。

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

このエラーを削除するには:

Unable to load realm info from SCDynamicStore

これは機能しますが、STDOUT でのみ機能するようです。Hadoop ログ ディレクトリを確認すると、「job_###/attempt_###/stderr」の下にまだエラーがあります。

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore

RVM Ruby を Hadoop 環境にロードして、Hadoop ストリーミングで Ruby コードを実行するのは非常に困難です。STDOUT は、RVM がロードされ、適切な Ruby/gemset を使用していることを出力していますが、私の STDERR ログ:

env: ruby_noexec_wrapper: No such file or directory

Hadoop が実際にジョブを実行するために使用しているパスを確認する方法はありますか、またはここで他の環境を呼び出しているかどうかを確認する方法はありますか?

さらなる背景:

Homebrew 経由でインストールされた Hadoop 1.1.1 を使用しています。「 MAC OSX LIONに HADOOP をインストールする 」と非常によく似た方法でセットアップし、Hadoop ジョブを実行するためのラッパーとしてwukong 3.0.0の実装をデバッグします。

4

1 に答える 1

0

自分の質問に答えて、他の人が見つけられるようにする。

hadoop-env に rvm をロードしているように見えましたが、クラスターを追加した後にクラスターを再起動していなかったに違いありません。ruby と gemset がロードされていることを確認するには、標準の rvm 句を hadoop-env.sh に追加します。何かのようなもの：

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm"

そして、クラスターを再起動して、それが取得されるようにしてください。奇妙なことに、再起動せずにログに rvm をロードしていたことが示されましたが、明らかにそのルビーは実行されておらず、それぞれの gemfile でした。再起動後、動作しました。

于 2013-02-08T16:55:56.320 に答える