次のエラー スタックを取得します。
クラスタで Spark セッションを作成できませんでした: org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:160) で org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) ) org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) で org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120) で org.apache.spark.deploy で。 SparkSubmit.main(SparkSubmit.scala) ) org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:466) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:234) at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.(SessionHiveMetaStoreClient.java:74) ... 35 詳細
UserGroupInformation.doAs() を機能させるには、hive.server2.enable.impersonation と hive.server2.enable.doAs を有効にする必要があることを理解していますか?
これらのパラメータを有効にしようとすると、Cloudera Manager にエラーが表示されます
Hive Server2 ロール 'HiveServer2 (ホスト名)' に対して Hive 偽装が有効になっています。Sentry を使用して Hive 承認を有効にするには、Hive 偽装を無効にする必要があります。
Spark-Hive が Sentry と衝突!?
環境: Hue 3.9 Spark Notebooks + Livy Server (マスターからビルド)。CDH 5.5。
これは、Sentry を使用した kerberized クラスターです。
Hueのユーザーは通常（CDHのデフォルトで）他のユーザーになりすますことが許可されているため、hueのキータブを使用していました。Spark ノートブックにとって非常に便利です。
これを解決するのに役立つ情報は高く評価されます。