問題タブ [flatmap]

スパークを使い始める方法flatmapまたはデータフレームを知りたいexplodeです。

を使用して作成されdf.groupBy("columName").count、収集すると次の構造になります。

しかし、私はむしろ次のようなものが欲しいです

このようなことを達成するための適切なツールは何ですか? フラットマップ、エクスプロージョンか何か？

コンテキスト: spark-jobserver を使用したいです。後者の形式でデータを提供した場合にのみ、意味のある結果（たとえば、機能するjsonシリアル化）を提供するようです

私は持っていclassます。このすべてのパラメーターをフラットに含むオブジェクトのリストを取得したいと考えています。とりあえずforeachでやっています。でそれを行う方法はありflatMapますか？

オブジェクトのリストが必要です:

flatMap次のようにrddでリストを平坦化するために使用する方法はありますか:

私の望む出力：

実際の出力:

配列を適切に平坦化することは理解flatMapしており、上記の実際の出力について混乱していませんが、内部リストを効果的に平坦化する方法があるかどうか知りたいです。

私は理解しようとしていますflatMap:flatMap(x->stream.of(x) )ストリームを平坦化せず、flatMap(x->x.stream())機能し、望ましい結果をもたらします。誰かが2つの違いを説明できますか?

出力:

構造体

dotSwift 2016 Demo で Chris Edihoff によって提供されたデモのコードを再作成しようとしました。これがコードです。

今のところすべて問題ないようです。しかし、ここで問題が発生します。彼は次のようなことをしました：

上記の行は、リスト オブジェクトの配列を返すことになっています。クリス・エディホフは問題なくやっているようですが、そうするとXcodeが警告します

- flatMap は、予想されるコンテキストの結果タイプ '_?' ではなく、'U?' を生成します。

また、List.initここには何がありますか？オブジェクトの初期化のこの方法を見たことがありません。そうあるべきList()か、ここで顧客の初期化を使用している場合、それは正しいはずList(json:someObject)ですか?

Chris Edihof トークへの参照: https://www.youtube.com/watch?v=ewk-XNzXzAA

PySpark で Jupyter Notebook を使用しています。その中に、それらの列の列名と型 (整数など) を持つスキーマを持つデータフレームがあります。今、私は flatMap のようなメソッドを使用していますが、これはもはや固定型を持たないタプルのリストを返します。それを達成する方法はありますか？

次に、flatMap を使用して評価値を計算します (ここでは難読化されています)。

そして今、私はエラーが発生します:

TypeError: 次の型のスキーマを推測できません:

スキーマを保持して map/flatMap/reduce を使用する方法はありますか? または、少なくとも特定の型の値を持つタプルを返しますか?