scala IDE で spark を使用してローカル システムから Hive (クラスター内) に接続していましたが、最終的に hive-site.xml を Spark/conf フォルダーとクラス パスに適切に配置し、メタストアに接続できましたが、アクセスできませんでした。ハイブテーブル。
HiveContext のユーザーを変更する方法
15/12/22 10:28:42 INFO ParseDriver: 解析コマンド: テーブルを表示します 15/12/22 10:28:43 INFO ParseDriver: 解析が完了しました 15/12/22 10:28:45 INFO メタストア: URI thrift://Server.com:9083 15/12/22 10:28:46 のメタストア: INFO JniBasedUnixGroupsMapping: XXXX のグループを取得中にエラーが発生しました: ユーザー名が見つかりませんでした。
15/12/22 10:28:46 WARN UserGroupInformation: ユーザー XXXXX に使用できるグループがありません 15/12/22 10:28:46 INFO メタストア: メタストアに接続されました。
スレッド「メイン」の例外 java.lang.NoClassDefFoundError:org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:353) at org.apache.spark.sql.hive.HiveContext$$anonfun$4 .apply(HiveContext.scala:235) at org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:231) scala.Option.orElse(Option.scala:257) at org. apache.spark.sql.hive.HiveContext.x$3$lzycompute(HiveContext.scala:231) at org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229) at org.apache.spark. sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229) at org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:229) at org.apache.spark.sql.hive.HiveMetastoreCatalog. (HiveMetastoreCatalog.scala:55) org.apache.spark.sql.hive.HiveContext$$anon$1 で。(HiveContext.scala:253) org.apache.spark.sql.hive で。HiveContext.catalog$lzycompute(HiveContext.scala:253) at org.apache.spark.sql.hive.HiveContext.catalog(HiveContext.scala:253) at org.apache.spark.sql.hive.HiveContext$$anon$3. (HiveContext.scala:263) org.apache.spark.sql.hive.HiveContext.analyzer$lzycompute(HiveContext.scala:263) で org.apache.spark.sql.hive.HiveContext.analyzer(HiveContext.scala:262) で) org.apache.spark.sql.SQLContext$QueryExecution.analyzed$lzycompute(SQLContext.scala:411) で org.apache.spark.sql.SQLContext$QueryExecution.analyzed(SQLContext.scala:411) で org.apache. org.apache.spark.sql.SchemaRDD の spark.sql.SchemaRDDLike$class.$init$(SchemaRDDLike.scala:58)。org.apache.spark.sql.hive.HiveContext.hiveql の (SchemaRDD.scala:108) (HiveContext.scala:102) at org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:106) at com.Spark.ConnectToHadoop.CountWords$.main(CountWords.scala:50) at com.Spark.ConnectToHadoop.CountWords.main(CountWords.scala) 原因: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning at java .net.URLClassLoader$1.run(未知のソース) at java.net.URLClassLoader$1.run(未知のソース) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(未知のソース) at java .lang.ClassLoader.loadClass(不明なソース) at sun.misc.Launcher$AppClassLoader.loadClass(不明なソース) at java.lang.ClassLoader.loadClass(不明なソース) ... 23 詳細java.net.URLClassLoader$1.run(未知のソース) で java.net.URLClassLoader$1.run(未知のソース) java.security.AccessController.doPrivileged(ネイティブ メソッド) で java.net.URLClassLoader.findClass(未知のソース) で java.lang. ClassLoader.loadClass(不明なソース) at sun.misc.Launcher$AppClassLoader.loadClass(不明なソース) at java.lang.ClassLoader.loadClass(不明なソース) ... 23 詳細java.net.URLClassLoader$1.run(未知のソース) で java.net.URLClassLoader$1.run(未知のソース) java.security.AccessController.doPrivileged(ネイティブ メソッド) で java.net.URLClassLoader.findClass(未知のソース) で java.lang. ClassLoader.loadClass(不明なソース) at sun.misc.Launcher$AppClassLoader.loadClass(不明なソース) at java.lang.ClassLoader.loadClass(不明なソース) ... 23 詳細