3 ノードの Spark 2.1.1 スタンドアロン クラスターを実行していspark.authenticate=trueますが、Livy サーバーが接続に失敗します。これが私の一部です livy.conf
livy.spark.authenticate = true
livy.spark.master = spark://HOSTNAME:25000
livy.spark.authenticate.secret = SECRET
ログでは、何らかの理由でセキュリティが次のように宣言されていることがわかりますDISABLED 。これがこのエラートレースにつながると思います...
INFO SecurityManager:54 - SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(vva); groups with view permissions: Set(); users with modify permissions: Set(vva); groups with modify permissions: Set()
INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://x.x.xxx.xx:25000...
INFO TransportClientFactory: Successfully created connection to /x.x.xxx.xx:25000 after 9 ms (0 ms spent in bootstraps)
WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master x.x.xxx.xx:25000
org.apache.spark.SparkException: Exception thrown in awaitResult:
.........
Caused by: java.lang.RuntimeException: java.lang.IllegalStateException: Expected SaslMessage, received something else (maybe your client does not have SASL enabled?)
PS。単一ノード環境で同じことをテストしたところ、問題なく動作するようです。
ありがとう。