apache-spark - Apache Spark SQL で列が null 許容に変更されるのはなぜですか?

Question

nullable = trueに NaN 値がない場合でも、一部の関数が実行された後にWhy が使用されますDataFrame。

val myDf = Seq((2,"A"),(2,"B"),(1,"C"))
         .toDF("foo","bar")
         .withColumn("foo", 'foo.cast("Int"))

myDf.withColumn("foo_2", when($"foo" === 2 , 1).otherwise(0)).select("foo", "foo_2").show

がdf.printSchema呼び出されるnullableとfalse、両方の列が対象になります。

val foo: (Int => String) = (t: Int) => {
    fooMap.get(t) match {
      case Some(tt) => tt
      case None => "notFound"
    }
  }

val fooMap = Map(
    1 -> "small",
    2 -> "big"
 )
val fooUDF = udf(foo)

myDf
    .withColumn("foo", fooUDF(col("foo")))
    .withColumn("foo_2", when($"foo" === 2 , 1).otherwise(0)).select("foo", "foo_2")
    .select("foo", "foo_2")
    .printSchema

ただし、以前nullableはtrue少なくとも 1 つの列が対象でしfalseた。これはどのように説明できますか？