apache-spark - Spark プロパティ (Spark 1.6) を介して spark-shell で Hive サポートを有効または無効にする方法は?

Question

spark 1.6 で明示的に spark-shell を介して Hive サポートを無効/有効にするために設定できる構成プロパティはありますか? すべての sqlContext 構成プロパティを取得しようとしましたが、

sqlContext.getAllConfs.foreach(println)

ただし、ハイブサポートを無効/有効にするために実際にどのプロパティが必要になるかはわかりません。またはこれを行う他の方法はありますか？

Answer 1

火花 >= 2.0

config で Hive コンテキストの有効化と無効化が可能 spark.sql.catalogImplementation

可能な値spark.sql.catalogImplementationは メモリ内またはハイブです

SPARK-16013 spark-shell/pyspark で HiveContext を無効にするオプションを追加

---

火花 < 2.0

このような Spark プロパティは、Spark 1.6では使用できません。

これを回避する 1 つの方法は、Hive 関連の jar を削除することです。これにより、Spark での Hive サポートが無効になります (必要な Hive クラスが利用可能な場合、Spark には Hive サポートがあるため)。