9

Spark コンテキスト ('sc') から単一のデータ テーブルを削除したいと考えています。単一のキャッシュされたテーブルをキャッシュ解除できることは知っていますが、これは sc からオブジェクトを削除することと同じではありません - 私が収集できる限り。

library(sparklyr)
library(dplyr)
library(titanic)
library(Lahman)

spark_install(version = "2.0.0")
sc <- spark_connect(master = "local")

batting_tbl <- copy_to(sc, Lahman::Batting, "batting")
titanic_tbl <- copy_to(sc, titanic_train, "titanic", overwrite = TRUE)
src_tbls(sc) 
# [1] "batting" "titanic"

tbl_cache(sc, "batting") # Speeds up computations -- loaded into memory
src_tbls(sc) 
# [1] "batting" "titanic"

tbl_uncache(sc, "batting")
src_tbls(sc) 
# [1] "batting" "titanic"

完全な sc を切断するには、 を使用spark_disconnect(sc)しますが、この例では、sc 内に格納されている「タイタニック」テーブルと「バッティング」テーブルの両方が破棄されます。

むしろ、例えば「バッティング」を のようなもので削除したいのですspark_disconnect(sc, tableToRemove = "batting")が、これは不可能のようです。

4

2 に答える 2