1

xd-singlenode と xd-shell を使用して、Spring XD ストリームを Hortonworks サンドボックス バージョン 2.0 に保存しようとしています。xd ディレクトリは作成されず、ストリームは Hortonworks hadoop hdfs に保存されません。

環境: Apple OSX 10.9.3、Hortonworks Sandbox を Oracle Virtualbox (Red Hat 64 ビット) で実行、ブリッジ モード ネットワークを使用。WiFi ルーターで固定 IP アドレス (192.168.178.30) を Virtualbox の MAC アドレスに割り当てました。OSX Safari で 192.168.178.30:8000 を参照すると、ファイル ブラウザ、Pig、Beeswax (Hive) などの Hortonworks メニューを使用できます。

Configuration files located in /etc/hue/conf.empty 
All OK. Configuration check passed.

Homebrew を使用して Spring XD をインストールしました。OSX で /usr/local/Cellar/springxd/1.0.0.M6/libexec/xd/config/servers.yml ファイルをインクルードするように変更しました

# Hadoop properties
spring:
  hadoop:
   fsUri: hdfs://192.168.178.30:8020

と

#Zookeeper properties
# client connect string: host1:port1,host2:port2,...,hostN:portN
zk:
  client:
     connect: 192.168.178.30:2181

Virtualbox 内で、ファイル /etc/hadoop/conf.empty/hadoop-env.sh を次のように変更しました。

export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf=/dev/null"

次のコマンドを使用して、OSX で Spring XD を起動します。

./xd-singlenode --hadoopDistro hadoop22

そして2番目のOSXターミナルで：

./xd-shell --hadoopDistro hadoop22

xd-shell に次のように入力します。

 hadoop config fs --namenode hdfs://192.168.178.30:8020

xd-shell で「hadoop fs ls /」コマンドを実行すると、次のようになります。

Hadoop configuration changed, re-initializing shell...
2014-06-24 00:55:56.632 java[7804:5d03] Unable to load realm info from SCDynamicStore
00:55:56,672  WARN Spring Shell util.NativeCodeLoader:62 - Unable to load native-hadoop     library for your platform... using builtin-java classes where applicable
Found 6 items
drwxrwxrwt   - yarn   hadoop          0 2013-10-21 00:19 /app-logs
drwxr-xr-x   - hdfs   hdfs            0 2013-10-21 00:08 /apps
drwxr-xr-x   - mapred hdfs            0 2013-10-21 00:10 /mapred
drwxr-xr-x   - hdfs   hdfs            0 2013-10-21 00:10 /mr-history
drwxrwxrwx   - hdfs   hdfs            0 2013-10-28 16:34 /tmp
drwxr-xr-x   - hdfs   hdfs            0 2013-10-28 16:34 /user

コマンドでSpring XDストリームを作成すると

stream create --name twvoetbal --definition "twittersearch --consumerKey='<mykey>' --consumerSecret='<mysecret>' --query='voetbal' | file" --deploy

次に、OSX で /tmp/xd/output/twvoetbal.out ファイルが作成されます。Spring XD は、私の Twitter 開発者の秘密鍵を含めて動作します。

コマンドでSpring XDストリームを作成すると

stream create --name twvoetbal --definition "twittersearch --consumerKey='<mykey>' --consumerSecret='<mysecret>' --query='voetbal' | hdfs" --deploy

その場合、hadoop hdfs には xd ディレクトリもファイルも作成されません。

質問:

  1. xd-shell の「SCDynamicStore からレルム情報を読み込めません」というエラーを解決するにはどうすればよいですか?
  2. xd-shell の「WARN Spring Shell util.NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applied」エラーを解決するにはどうすればよいですか?
  3. 他に何が間違っていたでしょうか？
4

1 に答える 1