問題タブ [hivecontext]

Hive 0.14 バージョンで作成されたテーブル「student」があります。そのテーブルを削除したい。そのためにDELETEコマンドを使用できますか？

現在、更新または削除するために、テーブル全体をデータフレームにロードし、更新して新しいデータフレームとして保存し、これを上書きモードで保存しています（以下はコマンドです）。テーブル全体のデータを読み込んで処理する必要がありますか??

objHiveContext.sql("update myTable set columnName='' ") を実行できません。Spark 1.4.1、Hive 1.2.1 を使用しています。

myData.write.format("orc").mode(SaveMode.Overwrite).saveAsTable("myTable") myData は更新されたデータフレームです。

ハイブ テーブルの 1 つのレコードを更新するためだけに、200 万から 300 万のレコード全体をロードする必要をなくすにはどうすればよいでしょうか。

hiveContextSpark のバージョンが 1.6.0 の IDEA を使用して Spark ローカル モデルを作成すると、プログラムは例外をスローします。例外は次のとおりです。

に気づいたjava oom permGen spaceので、permGen スペースが小さすぎるのではないかと思います。

だから私はグーグルとスタックオーバーフローで問題を検索し、permgenスペースを増やすことを提案し、次のようにスペースを増やそうとしました

動作しないようで、パラメータが有効にならず、エラーが引き続き発生します。spark 公式の方がおっしゃる通り、SparkConf で spark Java プロパティを設定できるので、sparkConf を使って permgen 領域を増やしたのですが、うまくいきません。

どのようにスパークでpermgenスペースを増やして効果的にするか.そして、他の同様の問題を抱えている人はいますか?それを修正する方法!

コードとpom.xmlを添付して、sparkとscalaで以下のコードを試しました

spark-core_2.10、spark-catalyst_2.10、spark-sql_2.10、spark-hive_2.10 の依存関係を追加しました さらに依存関係を追加する必要がありますか?

編集：

windows functionの使用法について議論している投稿を見たことがあります。しかし、いくつか質問があります。

1. HiveContextでしか使えないので。SparkSQLContext を既に使用している場合、SparkSQLContext と HiveContext を切り替えるにはどうすればよいですか?

2. ここでWindows関数を使用してHiveQLを実行するにはどうすればよいですか? 私は試した

   /li>

およびネイティブ Hive SQL

しかし、どちらも機能しません。

event_date Date でパーティション化されたテキストファイルとして格納されたハイブ外部テーブルを作成しました。

Hive テーブルから spark を読み込むときに、特定の形式の csv を指定するにはどうすればよいですか?

環境は

スカラスクリプト

ハイブテーブル

hdfsを見る

PSテーブルをorcとして保存すると、期待どおりにデータの書き込みと読み取りが行われます。

「終了するフィールド」がデフォルトの場合、Spark は期待どおりにデータを読み取ることができるため、これはバグだと思います。