問題タブ [spark-hive]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
dataframe - パッケージ ハイブ内のオブジェクト HiveContext にパッケージ内でアクセスできません
HI Coders、また戻ってきました。scala コードで HIve コンテキストを使用してデータフレームからハイブ テーブルを作成しようとしていますが、sqlContext で作成できますが、HiveContext に関してはこのエラーがスローされます。
少し異なる宣言でも同じことを試しましたが、
sbt ライブラリの依存関係も追加しました。
libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1"
私も「provided」で試しました。
ここに私のコードがあります
これに関する修正はありますか？この「アクセスできません」というエラーに遭遇したことはありません。
また、コードからtemptableを作成しようとしました
しかし、mdl_events テーブルはどこにありますか? これを探すことができるスパークのデフォルトデータベースはありますか? 私はスパークシェルが好きではありません。
scala - 同じキーを持つフィールドの配列を作成するSpark
スパークコンテキストの上に存在するハイブテーブルがあります。表のフォーマットは以下の通り
スキーマを使用して DataFrame を作成したかった
上表より
ファイナルテーブルになるように
データフレームを返すハイブコンテキスト（hiveContext.table（ "table_name"））を使用してテーブルをロードしています。
groupByを使用して、上記のようにデータフレームを使用してテーブルに変換しようとしています。しかし、できません。
scala - スパークのビルドに失敗しました
Apache サイトから spark ソースをダウンロードし、maven を使用してソースをビルドしました。
プロジェクトをビルドするために以下のコマンドを使用しました
バージョン - Phadoop-2.4、2.6 で試しましたが、ハイブのビルド時に毎回エラーが発生します -
プロジェクト spark-hive_2.10 でゴール net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) を実行できませんでした: ラップ: scala.reflect.internal.MissingRequirementError: object scala.runtimeコンパイラ ミラーに見つかりません。→【ヘルプ1】
scala - maven に spark-hive_2.10 依存関係を追加するときの maven インストール中のエラー
Scala IDE 4.6.0本から入手したアーキタイプを使用して、Maven プロジェクトを使用および作成していますSpark In Action。
と を使用する必要がScala 2.10.4ありSpark 1.6.2ます。
このアーキタイプを使用して基本的なプロジェクトを作成し、 に を追加しspark-hive dependencyましたPOM。結果POMは次のとおりです。
App.scalaまた、テスト用で使用していない1 つのソース ファイルもありますHive。
を実行するmaven installと、次のようなエラーが発生します。
同じものを使用してPOMも、spark-hive_2.10依存関係がなければ正常に動作します。しかし、私の場合、使用してテーブルを読み取って作成したいので、依存関係sparkを使用する必要があります。spark-hive
この問題を解決するのを手伝ってくれませんか?