問題タブ [spark-dataframe]

Spark のサンプル Web サイトから次のコードを取得して、Eclipse から実行しようとしていますが、コードがコンパイルされていないようです。

しかし、その後、次のエラーが発生しました。ここで何か見逃しましたか？ありがとう！

同じエラー (テキストとして、IntelliJ から)

エラー:(18, 93) Person val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p = > Person(p(0), p(1).trim.toInt)).toDF() ^

Spark、Dataframes、および Python を使用しています。

非常に巨大なデータフレームがあり、すべての行にいくつかの JPG 画像がバイナリ データとして含まれているとします。すべての画像を順番に表示するブラウザを構築したいと考えています。

入力として単一の行を取り、次のようなことを行うビュー関数があります。

次のコードは、spark-submit オプション--master local[*]で正常に動作します。

明らかに、view関数はリモートの Spark エグゼキューターでは実行できません。したがって、上記のコードはyarn-clientモードでは失敗します。

次のコードを使用して、yarn-clientモードで作業できます。

欠点は、収集できるアイテムが少ないことです。一度に 10 個または 100 個を超えるアイテムを取得するには、データが大きすぎます。

だから私の質問は：

• エグゼキューターではなく、ドライバーでローカルに DF/RDD 操作を実行する手段はありますか?
• DFで11日から10個集められる何かってある？「ID」列をDFに追加して、それを反復処理する必要がありますか(醜い)?
• この結果を達成する他の方法はありますか?

手伝ってくれてありがとう ！

私は次のデータフレームを持っています:

私はそれを次のように変換したい:

• データフレーム操作で可能ですか?
• この場合、rdd 変換はどのようになりますか?

rdd.reduce が鍵だと思いますが、このシナリオに適応させる方法がわかりません。

各行の溶媒列の値をデータ フレームの num 列の数値に設定する方法に行き詰まっています。たとえば、溶媒がノナンの場合は num を 9 に、溶媒がオクタンの場合は num を 8 にする必要があります。