1

コマンド ライン オプションを使用して、カスタム Hadoop 実装 (>2.0) を Google Compute Engine にインストールしようとしています。bdutil_env.sh ファイルの変更されたパラメーターは次のとおりです。

GCE_IMAGE='ubuntu-14-04'
GCE_MACHINE_TYPE='n1-standard-1'
GCE_ZONE='us-central1-a'
DEFAULT_FS='hdfs'
HADOOP_TARBALL_URI='gs://<mybucket>/<my_hadoop_tar.gz>'

./bdutil デプロイが終了コード 1 で失敗します。結果の debug.info ファイルに次のエラーが見つかります。

    ssh: connect to host 130.211.161.181 port 22: Connection refused
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255].
ssh: connect to host 104.197.63.39 port 22: Connection refused
ssh: connect to host 104.197.7.106 port 22: Connection refused
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255].
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [255].
.....
.....
Connection to 104.197.7.106 closed.
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [123].
Connection to 104.197.63.39 closed.
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [123].
Connection to 130.211.161.181 closed.
ERROR: (gcloud.compute.ssh) [/usr/bin/ssh] exited with return code [123].
...
...
hadoop-w-1: ==> deploy-core-setup_deploy.stderr <==
....
....
hadoop-w-1: dpkg-query: package 'libsnappy1' is not installed and no information is available
hadoop-w-1: Use dpkg --info (= dpkg-deb --info) to examine archive files,
hadoop-w-1: and dpkg --contents (= dpkg-deb --contents) to list their contents.
hadoop-w-1: dpkg-preconfigure: unable to re-open stdin: No such file or directory
hadoop-w-1: dpkg-query: package 'libsnappy-dev' is not installed and no information is available
hadoop-w-1: Use dpkg --info (= dpkg-deb --info) to examine archive files,
hadoop-w-1: and dpkg --contents (= dpkg-deb --contents) to list their contents.
hadoop-w-1: dpkg-preconfigure: unable to re-open stdin: No such file or directory
hadoop-w-1: ./hadoop-env-setup.sh: line 612: Package:: command not found
....
....
hadoop-w-1: find: `/home/hadoop/hadoop-install/lib': No such file or directory

最初の ssh エラーが表示される理由がわかりません。VM を確認し、UI から適切にログインできます。私の tar.gz も適切な場所にコピーされます。

libsnappy がインストールされなかった理由もわかりません。私がしなければならないことは特にありますか？シェルスクリプトにはインストールするためのコマンドがあるようですが、どういうわけか失敗しています。

すべての VM をチェックしました。Hadoop が起動していません。

編集:sshの問題を解決するために、次のコマンドを実行しました:

gcutil --project= addfirewall --allowed=tcp:22 default-ssh

違いはありませんでした。

4

2 に答える 2

1

この場合、ssh と libsnappy のエラーは危険です。VM がすぐに SSH 対応にならなかった場合、bdutil は次のような出力が得られるまでしばらくの間ポーリングを行いました。

...Thu May 14 16:52:23 PDT 2015: Waiting on async 'wait_for_ssh' jobs to finish. Might take a while...
...
Thu May 14 16:52:33 PDT 2015: Instances all ssh-able

同様に、あなたが見たlibsnappydpkg -sエラーは、パッケージが実際にインストールされているかどうかを判断しようとする呼び出しから来ているため、赤いニシンでした。 /blob/master/libexec/bdutil_helpers.sh#L163

これらのエラー メッセージは誤解を招く可能性があるため、これらのエラー メッセージのクリーンアップに取り組みます。それまでの間、ここでの主な問題は、Ubuntu が歴史的にサポートされているイメージの 1 つではなかったことですbdutil。CentOS と Debian のイメージは徹底的に検証しますが、Ubuntu のイメージは2014 年 11 月に GCE オプションとして追加されたばかりなので、検証は行いません。debian-7 または centos-6 のイメージのカスタム tarball を使用すると、展開が正常に機能するはずです。bdutil の Ubuntu サポートを追跡するために、GitHub にイシューを提出しました: https://github.com/GoogleCloudPlatform/bdutil/issues/29

編集: この問題は、マスター リポジトリの先頭でサポートされるようになった Ubuntu で解決されました。この最新のコミットはこちらからダウンロードできます。

于 2015-05-15T00:18:55.397 に答える