問題タブ [flatmap]

spark javaAPIを使用した次のコードの場合:

RDDという名前の を取り、それを のOriginalTypeキー タイプのペアにマップしますTypeOne。

OriginalTypeマップステップ中に、それを2種類のキーにマップすることは可能ですか? と のようTypeOneにTypeTwo。または、これを実現するには 2 つのマップ ステップを使用する必要があります...

mapとflatMapはどちらもImplicitlyUnwrappedOptionalで定義されていますが、ドキュメントによると定義が (明らかに) 異なります。

func map(f: @noescape (T) -> U) -> U!

自己 == nil の場合、nil を返します。それ以外の場合は、f(self!) を返します。

func flatMap(f: @noescape (T) -> U!) -> U!

f(自己) を返します! if self と f(self) は nil ではありません。

簡単な例でそれらを使用してみました：

しかし、それらは同じ結果numberをもたらしnil. ました どちらをいつ選択する必要がありますか?mapflatMapImplicitlyUnwrappedOptional

flatMap について少し混乱しています (Swift 1.2 に追加)

オプションのタイプの配列があるとします。

Swift 1.1 では、次のようなマップに続いてフィルターを実行します。

私はいくつかの方法で flatMap を使用してこれを実行しようとしました:

と

配列型を指定する必要があることを除いて、私は最後のアプローチを好みます (強制的なアンラップを行う必要がないため$0!... 私はこれらを恐れており、何としても避けています)。

コンテキストによってタイプを把握する代替手段はありますが、強制的なアンラップはありませんか?

私は次のScalaコードを持っています:

しかし、最後の行は冗長すぎるため、これらすべてを試しましたが、どれもコンパイルされません。

data flatMap f

data flatMap f.tupled

data flatMap Function.tupled(f)

data flatMap {f _}

data flatMap (f _).tupled

data flatMap f(_)

私は何を間違っていますか？機能する唯一のものはこれです：

(data map Function.tupled(f)).flatten

mapに続くaflattenは常に に置き換えることができると思いましたflatMapが、上記の行はコンパイルされますが、これはそうではありません。

data flatMap Function.tupled(f)

JavaでRDD.flatMap関数を使用しました。今、DataFrames を試しています。

彼らが言うには：

最初にこの DataFrame のすべての行に関数を適用し、次に結果を平坦化することにより、新しい RDD を返します。

定義: インターフェース RDDApi 内の flatMap

しかし、これを試してみるとFunction1、実装されていない多くのメソッドをオーバーライドする必要がありました。これは私が得るものです：

これは奇妙に見えますが、次のように作成evidence$4しました。

私の意図は、flatMap（もちろんRDDではなくDataFrameで）いじることです。だから私は変更する必要はありませんRow。入力を変更せずにそのまま返すことができます。

applyしたがって、メソッドのみを変更する必要があると思います。

しかし、繰り返しますが、どうやってTraversableOnce<Row>から取得する必要がありRowますか?

また、私が試している方法は正しいですか？または、何か不足していますか？

Apache Spark 1.3.1 を使用しています

spark を使用して scala で何かを行う方法に関する問題の支援を探しています。

私は持っている：

これは、次の RDD の形式で私のデータの一部を形成します。

要するに、私のデータセットは次のようになります。

私がやりたいことは、距離マップをフラットマップすることです（私ができることです）が、同時に、フラットマップされた各マップに対してDistanceMap、それに関連付けられた文字列を保持したいと考えています。したがって、結果のデータは次のようになります。

前述のように、次を使用して最初の部分を flatMap できます。

しかし、元のデータの 2 番目の部分から文字列を保持する方法にこだわっています。

誰かがこれをflatMapまたはfor-comprehensionに変換するのを手伝ってくれますか? ネストされたオプションのより些細なシナリオを処理する方法を知っています。