1

Spark 1.6を使用しています。

次の方法で、spark-sql Java コードのテーブルに接続しようとしています。

JavaSparkContext js = new JavaSparkContext();
SQLContext sc = new SQLContext(js); 

DataFrame mainFile = sc.sql("Select * from db.table");

テーブルが見つからないという例外が発生します。

しかし、scala を使用して spark-shell でそれを行うと、正常に動作します。テーブルにアクセスし、データを出力することもできます。

この問題に関する意見はありますか？

4

1 に答える 1

3

Spark-shell は HiveContext を提供します。Java コードで HiveContext を使用する場合は、その依存関係をアプリケーションに追加してから、Java プログラムで使用します。http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#hive-tablesを参照してください。

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.10</artifactId>
        <version>1.6.2</version>
</dependency>
于 2016-09-28T08:34:13.560 に答える