5

Google Cloud VM で実行されている Hadoop を Google Cloud Storage に接続しようとしています。私は持っている：

  • fs.gs.impl および fs.AbstractFileSystem.gs.impl のプロパティを含めるように core-site.xml を変更しました。
  • 生成された hadoop-env.sh で gcs-connector-latest-hadoop2.jar をダウンロードして参照しました
  • （サービス アカウントではなく）個人アカウントを使用して gcloud auth login 経由で認証されます。

問題なく gsutil -ls gs://mybucket/ を実行できますが、実行すると

hadoop fs -ls gs://mybucket/

出力が得られます：

14/09/30 23:29:31 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.2.9-hadoop2 

ls: Error getting access token from metadata server at: http://metadata/computeMetadata/v1/instance/service-accounts/default/token

Hadoop で Google ストレージを認識できるようにするために、どの手順が欠けているのでしょうか。

ありがとう！

4

3 に答える 3

4

お二方ともご回答誠にありがとうございました！あなたの回答により、ローカル Hadoop クラスタから Google Cloud Storage への 50 TB データの移行に記載されている構成にたどり着きました。

新しいサービス アカウントを生成し、サービス アカウントのメール アドレスと p12 キーを適用することで、fs.gs.auth.service.account.keyfile を利用することができました。

于 2014-10-01T05:07:12.957 に答える