r - 複数の CSV ファイルから単一の ffdf オブジェクトにデータを読み取る

Question

複数のファイルのデータを一度に ff データ フレーム (ffdf) にロードすることはできますか? 私が持っているとしましょう

big_file_part1.csv
big_file_part2.csv
big_file_part3.csv

各csvファイルを個別のffdfオブジェクトにロードしてから、それらを一緒にffdfrbind.fillできることを知っています。しかし、それは非効率的な方法のように思えます。もっと直接的な方法はありますか？

Answer 1

これが私が行った方法です (ソース データにはヘッダーがないことに注意してください)。

最初のステップ - すべてのファイルが同じフォルダーにあることを確認します。作業ディレクトリをフォルダーに設定します。

#load the ffbase library
library(ffbase)

#create a vector of the files that I want to load
temp = list.files(pattern="*.csv")

#create the first ffdf object for i = 1, this is necessary to establish the ff dataframe to append the rest
for (i in 1)
  mydata <- read.csv.ffdf(file=temp[i], header=FALSE, VERBOSE=TRUE
          , first.rows=100000, next.rows=100000, colClasses=NA)

#loop through the remaining objects
for (i in 2:length(temp))
  mydata <- read.csv.ffdf(x = mydata, file=temp[i], header=FALSE, VERBOSE=TRUE
            , first.rows=100000, next.rows=100000)