私のアプリケーションは、 https ://spark.apache.org/docs/latest/running-on-yarn.html のガイドによって、Kerberos キータブとプリンシパルを使用して、yarn-cluster モードで spark-submit を介してリモート PC から起動されます。このアプローチの利点は、任意のクラスターで独自のバージョンの Spark を使用できることです。
HADOOP_CONF_DIR/YARN_CONF_DIR 構成で bash スクリプトを実行するだけで、sftp/ssh を使用せずに Hadoop YARN クラスターに読み取り/書き込みでランダム アクセスする Ignite/Hazelcast/Accumulo/Kudu またはその他の NoSQL DB を自動的にデプロイすることは可能ですか?