0

Google Compute Engine で Hadoop クラスタをセットアップしようとしており、こちらの手順に従っています。私が走るまで、すべてがうまくいったようです：

./compute_cluster_for_hadoop.py setup <project ID> <bucket name>

プロジェクト ID と作成したバケット名を使用します。スクリプトは何かにアクセスできないようで、403 でクラッシュします。エラーメッセージを含む出力の末尾は次のとおりです。

Uploading   ...kages/ca-certificates-java_20121112+nmu2_all.deb: 14.57 KB/14.57 KB    
Uploading   ...duce/tmp/deb_packages/libnspr4_4.9.2-1_amd64.deb: 316 B/316 B    
Uploading   ...e/tmp/deb_packages/libnss3-1d_3.14.3-1_amd64.deb: 318 B/318 B    
Uploading   ...dk-6-jre-headless_6b27-1.12.6-1~deb7u1_amd64.deb: 366 B/366 B    
Uploading   ...duce/tmp/deb_packages/libnss3_3.14.3-1_amd64.deb: 315 B/315 B    
ResumableUploadAbortException: 403 Forbidden
AccessDeniedException: 403 Forbidden
AccessDeniedException: 403 Forbidden
AccessDeniedException: 403 Forbidden
AccessDeniedException: 403 Forbidden
ResumableUploadAbortException: 403 Forbidden
AccessDeniedException: 403 Forbidden
CommandException: 7 files/objects could not be transferred.

########## ERROR ##########
Failed to copy Hadoop and Java packages to Cloud Storage gs://<bucket name>/mapreduce/tmp/
###########################

Traceback (most recent call last):
  File "./compute_cluster_for_hadoop.py", line 230, in <module>
    main()
  File "./compute_cluster_for_hadoop.py", line 226, in main
    ComputeClusterForHadoop().ParseArgumentsAndExecute(sys.argv[1:])
  File "./compute_cluster_for_hadoop.py", line 222, in ParseArgumentsAndExecute
    params.handler(params)
  File "./compute_cluster_for_hadoop.py", line 36, in SetUp
    gce_cluster.GceCluster(flags).EnvironmentSetUp()
  File "/Path/To/solutions-google-compute-engine-cluster-for-hadoop/gce_cluster.py", line 149, in EnvironmentSetUp
    raise EnvironmentSetUpError('Environment set up failed.')
gce_cluster.EnvironmentSetUpError: Environment set up failed.
4

1 に答える 1

2

より更新され、ライブで維持されている Google の「bdutil」パッケージの使用に切り替えることをお勧めします。詳細については、 GCP Hadoop 発表フォーラムをご覧ください。

最新のアナウンスに移動すると、最新の「bdutil」パッケージ (現在は 0.36.4) へのリンクが見つかります。これにより、クラスターの展開が簡素化され、Hadoop クラスターと Spark クラスターの両方がサポートされます。

また、次のことをお勧めします。

  1. GCE のマシン内からクラスターをデプロイします。これにより、プロセスがより迅速かつ信頼できるものになります。

  2. ファイルbdutil_env.shで、パラメーターGCUTIL_SLEEP_TIME_BETWEEN_ASYNC_CALLS_SECONDSを 0.1 から 0.5 に変更します (私にとっては、繰り返し発生するデプロイ エラーが修正されました)。

于 2014-12-01T21:43:20.720 に答える