問題タブ [rdd]

Sparkの研究論文は、従来の Hadoop MapReduce に代わる新しい分散プログラミング モデルを規定しており、多くの場合、特に機械学習での簡素化と大幅なパフォーマンスの向上を主張しています。しかし、この論文では、internal mechanicsオンResilient Distributed Datasetsを明らかにするための資料が不足しているようです。Directed Acyclic Graph

ソースコードを調べて学ぶべきでしょうか？

RDDとして次のテーブルがあります。

からすべての重複を削除したいValue。

出力は次のようになります。

pyspark で作業している間、出力は次のようなキーと値のペアのリストとして表示されます。

forここでループを適用する方法がわかりません。通常の Python プログラムでは、非常に簡単でした。

同じ機能があるのだろうかpyspark。

私は Apache Spark の初心者です。重みの合計が RDD の定数値より大きいすべてのグループを除外したいと考えています。「重み」マップも RDD です。これは小さなサイズのデモです。フィルタリングするグループは「groups」に格納され、定数値は 12 です。

入力データが非常に大きい場合 (たとえば、10 GB を超える場合)、常に「Java ヒープがメモリ不足です」というエラーが発生します。分散RDDをJVMのJavaオブジェクトに変換するため、「weights.toArray.toMap」が原因かどうか疑問に思いました。だから私はRDDで直接フィルタリングしようとしました:

このスクリプトを Spark シェルにロードした後に実行するとresult.collect、「java.lang.NullPointerException」エラーが発生しました。RDD が別の RDD で操作されると、nullpointer 例外が発生するので、Redis に重みを入れることを提案する人がいます。

では、「重み」をマップに変換したり、Redis に入れたりせずに「結果」を取得するにはどうすればよいでしょうか? 外部データストア サービスの助けを借りずに、別のマップのような RDD に基づいて RDD をフィルター処理するソリューションがある場合は? ありがとう！

関数で作成されたキーの数を見つける Spark アプリケーションを作成しようとしていmapます。それを可能にする機能が見つかりませんでした。

私が考えた 1 つの方法は、reduce関数のアキュムレータ変数に 1 を追加するアキュムレータを使用することです。私の考えは、アキュムレータ変数がノード間でカウンターとして共有されるという仮定に基づいています。

ガイドしてください。

私は簡単な行を持っています:

要素が1つだけのRDDに変換したいと思います。私が試してみました

しかし、次のようになります。

何か案は？

Spark のコンテキストでの細粒度変換と粗粒度変換の違いを誰か説明してもらえますか? 私は RDD に関する論文 ( https://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf ) を読んでいましたが、粗いゲイン変換が効果的な方法でフォールト トレランスを提供する方法がよくわかりませんでした。