2

スタンドアロンモードでsparkを使用してspark-sqlを完全に実行できましたが、ヤーンモードになると、sparkはハイブクラス(org/apache/hadoop/hive/ql/plan/TableDescなどのいくつかの基本的なクラス)を見つけることができないと言いました.

そのため、compute-classpath.sh にハイブ ライブラリを追加しました。失敗した。次に、糸が機能せず、スタンドアロンが正常に機能するかどうかを考えました。たぶん、Hive lib を含めるように糸のクラスパスを変更する必要があります。

それから私は再び失敗しました。

ハイブ ライブラリがヤーン スタートアップ ログとスパーク出力で発生することを理解していないだけです。ハイブ sql が基本的なハイブ クラスが見つからないことを教えてくれたのはなぜですか?

私を助けてくれてありがとう

4

2 に答える 2

0

ほとんどの場合、クラスパスに問題があります。このトラブルシューティング ガイドの「クラスパスの問題」セクションを参照してください]( http://www.datastax.com/dev/blog/common-spark-troubleshooting )。--jars呼び出しのオプションを設定spark-submitし、作成時に追加の jar を渡すように注意してくださいSparkConfig

于 2015-01-20T09:44:38.183 に答える