私の Hadoop クラスタを一度に複数の Google Cloud プロジェクトに接続することは可能ですか?
このスレッドMigrating 50TB data from local Hadoop cluster to Google Cloud Storageで説明されているように、Google Cloud Storage Connector を介して単一の Google プロジェクトで任意の Google Storage バケットを簡単に使用できます。しかし、1 つの map-reduce ジョブから 2 つ以上の Google Cloud プロジェクトに接続する方法のドキュメントや例が見つかりません。提案/トリックはありますか？
どうもありがとう。
実際、クラスターを複数の異なるプロジェクトのバケットに一度に接続することは可能です。最終的に、サービス アカウント キーファイルを使用するための手順を使用している場合、GCS リクエストはそのサービス アカウントに代わって実行され、他のユーザーとほぼ同じように処理できます。your-service-account-email@developer.gserviceaccount.comcloud.google.com/consoleのセクションを使用して、処理したいバケットを所有するすべての異なるクラウド プロジェクトにサービス アカウントのメールを追加permissionsし、他のメンバーと同じようにそのメール アドレスを追加するか、GCS レベルを設定することができます。他のユーザーと同様に、そのサービス アカウントを追加するためのアクセス権。