1

spark データセット (spark 2.0.1) を学習しようとしています。左の外部結合の下では、Null ポインター例外が作成されています。

case class Employee(name: String, age: Int, departmentId: Int, salary: Double)
case class Department(id: Int, depname: String)
case class Record(name: String, age: Int, salary: Double, departmentId: Int, departmentName: String)
val employeeDataSet = sc.parallelize(Seq(Employee("Jax", 22, 5, 100000.0),Employee("Max", 22, 1, 100000.0))).toDS()
val departmentDataSet = sc.parallelize(Seq(Department(1, "Engineering"), Department(2, "Marketing"))).toDS()

val averageSalaryDataset = employeeDataset.joinWith(departmentDataSet, $"departmentId" === $"id", "left_outer")
                               .map(record => Record(record._1.name, record._1.age, record._1.salary, record._1.departmentId , record._2.depname))

averageSalaryDataset.show()

16/12/14 16:48:26 エラー Executor: ステージ 2.0 のタスク 0.0 で例外 (TID 12) java.lang.NullPointerException

これは、左外部結合を実行しているときに、record._2.depname に null 値が与えられているためです。

これをどのように処理しますか？ありがとう

4

2 に答える 2

1

--- を使用してこれを解決しました

val averageSalaryDataset1 = employeeDataSet.joinWith(departmentDataSet, $"departmentId" === $"id", "left_outer").selectExpr("nvl(_1.name, ' ') as name","nvl(_1.age, 0) as age","nvl(_1.salary, 0.0D) as salary","nvl(_1.departmentId, 0) as departmentId","nvl(_2.depname, ' ') as departmentName").as[Record]
averageSalaryDataset1.show()
于 2016-12-14T18:39:49.270 に答える