r - SparklyR を使用してインデックスで Spark データ フレームを並べ替えたい

Question

library(sparklyr)
library(dplyr)
library(Lahman)

spark_install(version = "2.0.0")
sc <- spark_connect(master = "local")

batting_tbl <- copy_to(sc, Lahman::Batting, "batting"); batting_tbl

batting_tbl %>% arrange(-index())
# Error: org.apache.spark.sql.AnalysisException: Undefined function: 'INDEX'. 
# This function is neither a registered temporary 
# function nor a permanent function registered in the database 'default'.; line 3 pos 10

Spark (sparklyr) DataFrame で dplyr を使用してインデックスで並べ替える方法を知っている人はいますか?

Answer 1

これが私が思いつく最善の解決策です。正しいですが、sdf_with_unique_id関数は 62,000 行を超える非常に高い連続値を返します。とにかく、SparklyR を使用して分散インデックス列を作成する方法の 1 つです。

library(sparklyr)
library(dplyr)
library(Lahman)

options(tibble.width = Inf) 
options(dplyr.print_max = Inf) 

spark_install(version = "2.0.0")
sc <- spark_connect(master = "local")

batting_tbl <- copy_to(sc, Lahman::Batting, "batting"); batting_tbl
tbl_uncache(sc, "batting")

y <- Lahman::Batting

batting_tbl <- batting_tbl %>% sdf_with_unique_id(., id = "id") # Note 62300 threshold for higher values
batting_tbl %>% arrange(-id)