HBASE から alluxio メモリ ファイル システムに読み込まれた RDD をシリアル化し、定期的にキャッシュして更新し、インクリメンタル SPARK 計算で使用する必要があります。
コードはこのようなものですが、タイトル付きの例外が発生します
val inputTableNameEvent = HBaseTables.TABLE_XXX.tableName
val namedeRDDName = "EventAllCached2Update"
val alluxioPath = "alluxio://hadoop1:19998/"
val fileURI = alluxioPath + namedeRDDName
val path:AlluxioURI = new AlluxioURI("/"+namedeRDDName)
val fs:FileSystem = FileSystem.Factory.get()
val conf = HBaseConfiguration.create()
conf.set(TableInputFormat.INPUT_TABLE, inputTableNameEvent)
val rdd = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
classOf[org.apache.hadoop.hbase.client.Result])
numbers = rdd.count()
println("rdd count: " + numbers)
if( fs.exists(path))
fs.delete(path)
rdd.saveAsObjectFile(fileURI)
ImmutableBytesWritable を別の型にマップしてこの問題を回避する方法を教えてくれる人はいますか? また、後で objectFile を使用してこの保存されたオブジェクトを読み戻し、[(ImmutableBytesWritable, Result)] RDD に変換して後で更新と計算に使用する必要があるため、マップは元に戻すことができる必要があります。