apache-spark - カスタム データ ソースの自動 Spark スキーマ推論

Question

カスタム データ ソース (プロパティ ファイル) 用に spark(1.5.2) sql RelationProvider を実装しています。

自動推論アルゴリズムの実装方法を説明してください。

Answer 1

StructType一般に、スキーマを表すを作成する必要があります。AStructTypeにはArray[StructField]、配列の各要素がスキーマの列に対応する が含まれます。Aは、ネストされたスキーマの別のものを含めStructField、サポートされている任意のものです。DataTypeStructType

スキーマの作成は次のように簡単です。

val schema = StructType(Array(
  StructField("col1", StringType),
  StructField("col2", LongType)
))

ネストされたものを含む複雑なデータセットからスキーマを生成する場合はStructTypes、再帰関数を作成する必要があります。そのような関数がどのように見えるかの良い例は、spark-avro統合ライブラリにあります。関数toSqlTypeはAvroスキーマを受け取り、それを Spark に変換しますStructType。