問題タブ [hivecontext]

タイムスタンプとマシン ID を含む Spark データ フレームがあります。各グループから最も低いタイムスタンプ値を削除したいと考えています。次のコードを試しました：

しかし、次のエラーが発生しています。

何が問題ですか？HiveContext が EXCEPT キーワードをサポートしていない場合、HiveContext で同じことを行う同義の方法は何ですか?

spark-shell (scala) では、org.apache.spark.sql.hive.thriftserver._ をインポートして、HiveThriftServer2.startWithContext(hiveContext) として特定のハイブ コンテキストに対してプログラムで Hive Thrift サーバーを起動し、登録済みの一時テーブルを公開しますその特定のセッション。

Python を使用して同じことを行うにはどうすればよいでしょうか。HiveThriftServer をインポートするための Python のパッケージ/API はありますか? その他の考え/推奨事項をいただければ幸いです。

データフレームの作成に pyspark を使用しました

ありがとう

ラヴィ・ナラヤナン

Spark コードから HiveContext を使用してハイブ クエリを実行しています。実行するクエリとそのデータ量に関係なく、常に 31 個のパーティションが生成されます。誰も理由を知っていますか？定義済み/構成可能な設定はありますか? 基本的に、より多くのパーティションが必要です。

このコード スニペットを使用してハイブ クエリを実行します。

var pairedRDD = hqlContext.sql(hql).rdd.map(...)

Spark 1.3.1 を使用しています

ありがとう、ニティン

Scala でhiveContextin関数を作成しました。このパラメーターを他の関数に渡す必要があります。これが構造です。main()hiveContext

しかし、うまくいきません。関数read()は内部で呼び出されmain()ます。

何か案が？

スパークで hivecontext を使用しようとしています。次のステートメントは正常に実行されています。

しかし、以下のステートメントを実行すると、

次のエラーが表示されます。

Java Package オブジェクトを呼び出すことができません

何が問題なのですか？

Spark にキャッシュされたハイブ テーブル ("person") があります。

sqlContext はHiveContextです。

cacheTable("person")ステートメントの後に挿入されたエントリはキャッシュされますか? つまり、("Foo", 25) エントリが Spark にキャッシュされているかどうか。

そうでない場合、後で挿入されたエントリのみをキャッシュするにはどうすればよいですか? 最初にキャッシュを解除してから、テーブル全体を再度キャッシュしたくありません。

ハイブで完全な値を取得するにはどうすればよいですか? つまりcast('0024' as bigint)、与えるだけですが、出力として24完全なものが必要です。0024

これを行う方法はありますか？