2

Scala コード内から Google Cloud Dataproc に Spark ジョブを送信する方法はありますか?

  val Config = new SparkConf()
    .setMaster("...")

マスター URI はどのように見えるべきですか?

API キーまたはキーペアで認証するには、どのキーと値のペアを設定する必要がありますか?

4

1 に答える 1

1

この場合、別のアプローチを強くお勧めします。このタイプの接続は、いくつかの理由でテストも推奨もされていません。

  1. クラスターに接続するには、ファイアウォール ポートを開く必要があります。
  2. トンネルを使用しないと、データが公開される可能性があります
  3. 認証はデフォルトでは有効になっていません

マスターノード ( という名前のノードcluster-name-m) への SSH 接続は非スターターですか? マスター ノードに SSH で接続して、 Spark を直接使用するのは非常に簡単です。

于 2015-09-28T15:54:44.470 に答える