を使用してOracleからデータフレームを派生Sqlcontextさせ、一時テーブルとして登録しましたtb1。

Hive using から派生した別のデータフレームがあり、HiveContextこれを table として登録しましたtb2。

を使用してこれら 2 つのテーブルにアクセスしようとすると、次HiveContextのようなエラーが発生しますUnable to find tb1 and when try it with sqlcontext。

のようなエラーが発生していますUnable to find tb2。

これについて何か助けてください。

もちろんScalaでやっています。

最近、バージョン 1.3 から 1.6 へのスパーク アップデートが行われました。このアップデートの後、"having count(distinct)" 条件を含むクエリが機能しなくなり、以下のエラーが発生します。

クエリ ::

「count(*) を持つクエリは正常に機能しています」

例:

これに対する解決策があればお知らせください。どうもありがとうございました

エラー：：

spark-submit を使用して spark プログラムを実行しているときに、以下のエラーが発生します。

私の spark-cluster はバージョン 2.0.0 で、sbt を使用してコードをコンパイルしています。以下は私の sbt 依存関係です。

私は次のようなものを含むHQLクエリを使用しています...

ハイブに入り、そのコマンドを使用すると、正常に機能します。

それをpyspark、hivecontextコマンドに入れると、代わりにエラーが発生します...

なぜこれが考えられるのでしょうか？

ファイルにハイブクエリがほとんどないことを考慮してください。私のモットーは、hivecontextまたはを使用してファイルを実行することですsparkcontext

コマンドラインを使用してそれを行うことができますが、hive -f 'filepath/filename' コードを介して実行する必要があります（hivecontextまたはsparkcontext）誰かこれについて助けてもらえますか?

単一のクエリの場合、次を使用できます。

しかし、クエリを持つファイルを実行する必要があります。

私はsparkバージョン1.6で作業しています。Spark で SQL クエリを使用して、CUBE、ROLLUP、GROUPING SETS などの OLAP 関数を実行したいと考えています。キューブ関数とロールアップ関数がデータフレーム API で使用できることは理解していますが、SQL クエリを介してそれらを実行するにはどうすればよいですか?

これには HiveContext を使用する必要がありますか? そのために Hive をセットアップする必要がありますか? HiveContext を使用して実行される SQL クエリによってアクセスできるテーブルとしてデータフレームを永続化するにはどうすればよいですか?

サンプルコードを見ていただければ幸いです。ありがとう。

HI Coders、また戻ってきました。scala コードで HIve コンテキストを使用してデータフレームからハイブ テーブルを作成しようとしていますが、sqlContext で作成できますが、HiveContext に関してはこのエラーがスローされます。

少し異なる宣言でも同じことを試しましたが、

sbt ライブラリの依存関係も追加しました。

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1"

私も「provided」で試しました。

ここに私のコードがあります

これに関する修正はありますか？この「アクセスできません」というエラーに遭遇したことはありません。

また、コードからtemptableを作成しようとしました

しかし、mdl_events テーブルはどこにありますか? これを探すことができるスパークのデフォルトデータベースはありますか? 私はスパークシェルが好きではありません。