2

これは、CDH 5.3.2 によって提供される Hadoop 2.5.0、Spark 1.2.0、Scala 2.10 のクラスターです。コンパイル済みの spark-notebook ディストリビューションを使用しました

デフォルトでは、Spark-Notebook は Hive メタストアを見つけることができないようです。

hive-site.xmlHive メタストアをロードできるように、spark-notebookの場所を指定する方法は?

これが私が試したものです：

  1. hive-site.xml を含む /etc/hive/conf のすべてのファイルを現在のディレクトリにリンクします。

  2. bash で SPARK_CONF_DIR 変数を指定する

4

2 に答える 2

0

CDH 5.5.0 クイックスタート VM を使用した場合の解決策は次のとおりですhive-site.xml。ハイブ メタストアへのアクセス情報を提供するノートブックへの参照が必要です。デフォルトでは、spark-notebooks は内部メタストアを使用します。

で次の環境変数を定義できます~/.bash_profile。

HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/hive/conf.cloudera.hive/
export HADOOP_CON_DIR

source ~/.bash_profile(端末を新しく開かない場合は必ず実行してください)

(解決策はここにあります: https://github.com/andypetrella/spark-notebook/issues/351 )

于 2016-05-17T08:50:54.793 に答える