問題タブ [spark-submit]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
kerberos - spark-submit がローカルモードでアイドル状態になる
spark-submit (Spark 1.6.0) を使用して、Kerberos が有効になっている Cloudera クラスターで jar をテストしようとしています。実際、このコマンドを起動すると、次のようになります。
local または local[*] では、プロセスは数段階後に停止します。ただし、yarn-client または yarn-cluster マスター モードを使用すると、プロセスは正しく終了します。このプロセスは、いくつかのファイルを読み込んで HDFS に書き込みます。
さらに、次のトレースが表示されます。
確かに設定の問題ですが、何が起こっているのかわかりません。何か案は？どの構成オプションを変更する必要がありますか?
apache-spark - IntelliJ IDEA からデバッグをオンにして spark-submit を実行し、それにアタッチする方法は?
ノードの MapR クラスターがあり、CentOs と MapR クライアントがインストールされた仮想ボックス VM があります。IntelliJ を使用して Spark/Scala コードを開発しています。IntelliJ (リモート デバッグ) からデバッグするために、MapR クライアントでこの行を実行できます。
したがって、spark-submit を実行した後、IntelliJ のデバッグ ボタンをクリックしてすべてを起動する必要があります。アプリケーションをデバッグするたびに Mapr クライアント VM で上記の行を実行するのは避けたいと思います。それで、IntelliJからすべてのデバッグを管理できるかどうか疑問に思います
何か考えはありますか？ありがとう