問題タブ [hivecontext]

私は単体テストでこれをやろうとしています:

しかし、私はこれを取得します:

spark-submit を使用して実行すると、コードは完全に機能しますが、単体テストでは機能しません。単体テストでこれを修正するにはどうすればよいですか?

Spark Context オブジェクトを作成し、Hadoop サーバー (ローカルではない) のテキスト ファイルからテキストを取得しようとしましたが、取得できました。

Hive テーブル (スタンドアロン マシン、クラスター上にある) を取得しようとしても実行できませんでした。また、Hive テーブルを作成すると、metastore_db でローカルに作成されます。

objHiveContext.sql("テーブル yahoo_orc_table (date STRING, open_price FLOAT, high_price FLOAT, low_price FLOAT, close_price FLOAT, volume INT, adj_price FLOAT) を orc として保存")

メタストアを設定してみた

objHiveContext.setConf("hive.metastore.warehouse.dir", "hdfs://ServerIP:HiveportNum/apps/hive/warehouse")

&& また objHiveContext.hql("SET hive.metastore.warehouse.dir=hdfs://serverIp:portNumber/apps/hive/warehouse")

hive-site xml を spark マシンの conf フォルダーに配置しました。

hive-site.xml にアクセスしてその xml からメタストア情報を取得するように scala アプリケーションを作成する方法と、Hive-site.xml をどこに配置する必要があるか

ClassPath に追加することが提案されているすべての場所でアプリケーションに配置しました。追加したところ、 mypom.xml ファイルのすぐ上にあることがわかりますが、それでも私の scala アプリはローカル モードです。

テーブル (yahoo_orc_table ) は D:\user\hive\warehouse にローカルに作成されます

bluemix spark で HiveContext を使いたい

次のエラーが表示されます

Py4JJavaError: o45.parquet の呼び出し中にエラーが発生しました。: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.metastore.HiveMetaStoreClient をインスタンス化できません

scala IDE で spark を使用してローカル システムから Hive (クラスター内) に接続していましたが、最終的に hive-site.xml を Spark/conf フォルダーとクラス パスに適切に配置し、メタストアに接続できましたが、アクセスできませんでした。ハイブテーブル。

HiveContext のユーザーを変更する方法

15/12/22 10:28:42 INFO ParseDriver: 解析コマンド: テーブルを表示します 15/12/22 10:28:43 INFO ParseDriver: 解析が完了しました 15/12/22 10:28:45 INFO メタストア: URI thrift://Server.com:9083 15/12/22 10:28:46 のメタストア: INFO JniBasedUnixGroupsMapping: XXXX のグループを取得中にエラーが発生しました: ユーザー名が見つかりませんでした。

15/12/22 10:28:46 WARN UserGroupInformation: ユーザー XXXXX に使用できるグループがありません 15/12/22 10:28:46 INFO メタストア: メタストアに接続されました。

スレッド「メイン」の例外 java.lang.NoClassDefFoundError:org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:353) at org.apache.spark.sql.hive.HiveContext$$anonfun$4 .apply(HiveContext.scala:235) at org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:231) scala.Option.orElse(Option.scala:257) at org. apache.spark.sql.hive.HiveContext.x$3$lzycompute(HiveContext.scala:231) at org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229) at org.apache.spark. sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229) at org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:229) at org.apache.spark.sql.hive.HiveMetastoreCatalog. (HiveMetastoreCatalog.scala:55) org.apache.spark.sql.hive.HiveContext$$anon$1 で。(HiveContext.scala:253) org.apache.spark.sql.hive で。HiveContext.catalog$lzycompute(HiveContext.scala:253) at org.apache.spark.sql.hive.HiveContext.catalog(HiveContext.scala:253) at org.apache.spark.sql.hive.HiveContext$$anon$3. (HiveContext.scala:263) org.apache.spark.sql.hive.HiveContext.analyzer$lzycompute(HiveContext.scala:263) で org.apache.spark.sql.hive.HiveContext.analyzer(HiveContext.scala:262) で) org.apache.spark.sql.SQLContext$QueryExecution.analyzed$lzycompute(SQLContext.scala:411) で org.apache.spark.sql.SQLContext$QueryExecution.analyzed(SQLContext.scala:411) で org.apache. org.apache.spark.sql.SchemaRDD の spark.sql.SchemaRDDLike$class.$init$(SchemaRDDLike.scala:58)。org.apache.spark.sql.hive.HiveContext.hiveql の (SchemaRDD.scala:108) (HiveContext.scala:102) at org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:106) at com.Spark.ConnectToHadoop.CountWords$.main(CountWords.scala:50) at com.Spark.ConnectToHadoop.CountWords.main(CountWords.scala) 原因: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning at java .net.URLClassLoader$1.run(未知のソース) at java.net.URLClassLoader$1.run(未知のソース) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(未知のソース) at java .lang.ClassLoader.loadClass(不明なソース) at sun.misc.Launcher$AppClassLoader.loadClass(不明なソース) at java.lang.ClassLoader.loadClass(不明なソース) ... 23 詳細java.net.URLClassLoader$1.run(未知のソース) で java.net.URLClassLoader$1.run(未知のソース) java.security.AccessController.doPrivileged(ネイティブ メソッド) で java.net.URLClassLoader.findClass(未知のソース) で java.lang. ClassLoader.loadClass(不明なソース) at sun.misc.Launcher$AppClassLoader.loadClass(不明なソース) at java.lang.ClassLoader.loadClass(不明なソース) ... 23 詳細java.net.URLClassLoader$1.run(未知のソース) で java.net.URLClassLoader$1.run(未知のソース) java.security.AccessController.doPrivileged(ネイティブ メソッド) で java.net.URLClassLoader.findClass(未知のソース) で java.lang. ClassLoader.loadClass(不明なソース) at sun.misc.Launcher$AppClassLoader.loadClass(不明なソース) at java.lang.ClassLoader.loadClass(不明なソース) ... 23 詳細

別のテーブルからその列を上書きして、既存のテーブルの列を更新したいと考えています。

例：nameテーブルstudentに列がありますが、別のテーブルがあり、テーブルの列をテーブルからemployee列ごとに上書きしたい。HiveContext を使用して Spark SQL でこれを実行したいと考えています。namestudentnameemployee

このコマンドを実行できますか:

HiveContextを使用してSparkで?

orc 形式のハイブ テーブルを更新したいのですが、ambari ハイブ ビューから更新できますが、sacla (spark-shell) から同じ更新ステートメントを実行できません。

objHiveContext.sql("select * from table_name ") データを表示できますが、実行すると

objHiveContext.sql("update table_name set column_name='testing' ") を実行できません。Ambari ビュー (必要なすべての構成を設定したためつまり、TBLPROPERTIES "orc.compress"="NONE" transactional true など)

Insert into using case ステートメントで試してみましたが、できませんでした スパークからハイブ ORC テーブルを更新できますか? はいの場合、手順は何ですか？

以下にインポート

注: そのテーブルにパーティションまたはバケットを適用しませんでした。バケットを適用すると、ORC Hive バージョン:1.2.1 Spark バージョン:1.4.1 Scala バージョン:2.10.6 として保存されている場合、データを表示することさえできません。