私は Spark バージョン 2.4.0 と scala バージョン 2.11.12 を持っています。次のコードでデータフレームを正常にロードできます。
val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")
ただし、次のように groupby を実行しようとすると、エラーが発生します。
df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()
エラーメッセージは次のとおりです。
エラー: 値 groupby は org.apache.spark.sql.DataFrame のメンバーではありません
何が欠けていますか。完全な Scala と Spark Newb。