問題タブ [apache-spark-encoders]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - Encoder をパラメーターとしてデータフレームの as メソッドに渡す方法
別のケース クラスを使用して、dataFrame を dataSet に変換したいと考えています。今、私のコードは以下のようなものです。
それで、私の質問は、「とにかく、この関数への追加のパラメーターとしてパスケースクラスを使用して、これに 1 つの一般的な関数を使用できるものはありますか?」です。
scala - ADT / 封印された特性階層を Spark DataSet 列にエンコードする
代数データ型 (ADT) (つまり、Scala の封印された特性階層) を Spark DataSet列に格納したい場合、最適なエンコード戦略は何ですか?
たとえば、リーフ型がさまざまな種類のデータを格納する ADT があるとします。
構築する最良の方法は次のとおりです。
java - 行型 Spark データセットのエンコーダー
私が行っているマップ操作のために、DataSetのRowタイプのエンコーダーを書きたいと思います。基本的に、エンコーダーの書き方がわかりません。
以下は、マップ操作の例です。
In the example below, instead of returning Dataset<String>, I would like to return Dataset<Row>
文字列 Encoder の代わりに、次のように記述する必要があることを理解しています。
ただし、エンコーダーの clsTag() を理解していないため、似たようなもの (つまり、行型のエンコーダー) をデモできる実行例を見つけようとしています。
編集 - これは、言及された質問のコピーではありません:回答がSpark 2.xでSpark 1.xを使用することについて話しているため、データフレーム行を更新された行にマップしようとしているときにエンコーダーエラーが発生しました(私はそうしていません)、また私は探していますエラーを解決するのではなく、Row クラスのエンコーダーに対して。最後に、Scala ではなく Java で解決策を探していました。