3

問題が updateFunc によるものかどうかを確認するために、updateStateByKey で使用する簡単な関数を作成しました。何か別の原因があるに違いないと思います。--master local[4] でこれを実行しています。

val updateFunc = (values: Seq[Int], state: Option[Int]) => {
  Some(1)
}

val state = test.updateStateByKey[Int](updateFunc)

しばらくすると、警告が表示され、タスク サイズが増え続けます。

警告 TaskSetManager: ステージ x には非常に大きなサイズ (129 KB) のタスクが含まれています。推奨される最大タスク サイズは 100 KB です。

警告 TaskSetManager: ステージ x には非常に大きなサイズ (131 KB) のタスクが含まれています。推奨される最大タスク サイズは 100 KB です。

4

1 に答える 1