Spark を使用してデータベース テーブル (Teradata) からデータをロードする必要がありますが、テーブルのスキーマには精度とスケールのない NUMBER 型があります。ここでわかるようにhttps://github.com/apache/spark/pull/8780。
そのため、これらの列に Float 値を持つ「NUMBER」の列を含むテーブルをロードすると、spark データフレームでこれらの値の精度が NUMBER(38,0) として表示され、これらの値の精度が失われます。
例:
テラデータ:
values
50.00
94.30
23.30
20.01
データフレーム スパーク:
values
50
94
23
20
誰かが私を助けることができますか?