Spark で Zeppelin を正常に構成しました。しかし、マルチテナンシーを使いたいので、Livy と Spark で Zeppelin を構成したいと考えています。
Livy には、次の 2 つのパスを用意しました。
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
Zeppelin で次のコマンドを正常に実行できます。
%livy.spark
sc.version
ただし、次のコマンドは失敗します。
%livy.sql
select * from myDB.table1
次のエラーが表示されます。
<console>:14: error: not found: value sqlContext
sqlContext.sql("select * from datalake.combination2").show(1000)
Zeppelin の Shiro 認証をまだ有効にしていません。私は、Spark のホーム ディレクトリを提供するので、Livy はデフォルトのユーザーを使用して Spark にログインすると想定していました。上記の問題をどのように修正できますか?また、偽装を有効にするには、どのような構成を行う必要がありますか?