Scala コードで型をハードコーディングせずに SparkDataFrameから に移行する良い方法はありますか? EdgeRDD私が見た例では、ケース クラスを使用して の型を定義していEdgeRDDます。
DataFrameSparkにStructField ("dstID", LongType, false)and("srcID", LongType, false)と 0 から 22 の間の追加があると仮定しましょうStructField(TupleN を使用してそれらを表すことができるように、これを制限しています)。EdgeRdd[TupleN]から型を取得してを定義するきれいな方法はありDataFrameますか? 動機として、型情報を含む Parquet ファイルを読み込んでいると考えてください。
私は Spark と Scala に非常に慣れていないので、質問が間違っている可能性があることを認識しています。この場合、この問題についての「正しい」考え方を学んでいただければ幸いです。