次のエラーを解決しようとしています (databricks プラットフォームと spark 2.0 を使用しています)
tweets_cleaned.createOrReplaceTempView("tweets_cleanedSQL")
def Occ(keyword):
occurences = spark.sql("SELECT * \
FROM tweets_cleanedSQL \
WHERE LOWER(text) LIKE '%" + keyword + "%' \
")
return occurences.count()
occurences_udf = udf(Occ)
このコードを実行すると、次のエラーが表示されます。
py4j.Py4JException: メソッドgetnewargs ([]) が存在しません ==> エラーは、udf を定義しようとしたときにのみ発生します。