私はscalaストリーミング単体テストに取り組んでいますが、csvファイルからの読み取り中にArrayOutOfBoundsExceptionを取得しています
コード :
import org.scalatest.matchers.should.Matchers
import org.scalatest.wordspec.AnyWordSpecLike
import org.apache.spark.sql.SparkSession
class StreamingTest extends AnyWordSpecLike with Matchers {
val sparkses = SparkSession.builder.appName("MyApp").config("spark.master","local").getOrCreate()
val df = sparkses.read.format("csv").load("file.csv")
df.printSchema()
}
このコードは AnyWordSpecLike を Matchers で拡張しなくても問題なく動作しますが、EmbeddedKafka を使用するにはそれが必要です。
どんなガイダンスも役に立ちます。