問題が updateFunc によるものかどうかを確認するために、updateStateByKey で使用する簡単な関数を作成しました。何か別の原因があるに違いないと思います。--master local[4] でこれを実行しています。
val updateFunc = (values: Seq[Int], state: Option[Int]) => {
Some(1)
}
val state = test.updateStateByKey[Int](updateFunc)
しばらくすると、警告が表示され、タスク サイズが増え続けます。
警告 TaskSetManager: ステージ x には非常に大きなサイズ (129 KB) のタスクが含まれています。推奨される最大タスク サイズは 100 KB です。
警告 TaskSetManager: ステージ x には非常に大きなサイズ (131 KB) のタスクが含まれています。推奨される最大タスク サイズは 100 KB です。