問題タブ [apache-spark-dataset]

RDDApache Spark のとDataFrame (Spark 2.0.0 DataFrame は の単なるタイプ エイリアスですDataset[Row])の違いは何ですか?

一方を他方に変換できますか？

df次の列で構成されるDataFrameがあるとします。

名前、姓、サイズ、幅、長さ、重さ

次に、いくつかの操作を実行します。たとえば、Size と Width に関するデータを含む DataFrame をいくつか作成します。

お気づきのように、Length などの他の列はどこにも使用されていません。Spark はシャッフル フェーズの前に冗長な列を削除するほどスマートですか、それとも持ち越されますか? ウィルランニング：

グループ化が何らかの形でパフォーマンスに影響を与える前に？

DataFrame を Scala の Dataset に非常に簡単に変換できます。

しかし、Java バージョンでは、Dataframe を Dataset に変換する方法がわかりませんか? 何か案が？

私の努力は：

しかし、コンパイラは言う：

編集（解決策）：

@Leet-Falconの回答に基づくソリューション：

私はスパークジョブを書きました：

IDE で main 関数を実行すると、次の 2 つのエラーが発生します。

しかし、Spark Shell では、このジョブをエラーなしで実行できます。何が問題ですか？

をシリアル化するにはどうすればよいDataSetですか? Encoderを使用してバイナリ ファイルを作成する方法はありますか、それとも に変換してからDataFrame寄木細工として保存する必要がありますか?

MySQL で見つかるレコードのみを含むようにデータセットをフィルター処理したいと考えています。

データセットは次のとおりです。

MySQL のテーブルは次のとおりです。

これは私のコードです（spark-shellで実行しています）：

しかし、「java.lang.NullPointerException」が発生します

私はテストしました

正しい結果 1 と 0 を得ることができます。

フィルターの問題は何ですか？

count結果をDataFrameに変換せずに、操作の列の名前を変更するにはどうすればよいですか?

データをデータセットに変換したい。列名は、storyType (小、中、大、特大) です。したがって、この状況でケースクラスを作成する方法がわかりません