私はRを使用していますが、この質問はRに固有のものではありません。反復ごとに URL をダウンロードするループを作成したとします。このデータを保存したいので、反復ごとに保存するか、情報を保持して n 回ごとに保存できます。これを行うための一般的な経験則はありますか? 常に書き込みのためにファイルを開いたり閉じたりするのはどれくらい遅いですか? 私が念頭に置いているのは
for (i in 1:1000) {
data <- url("http://...i")
write.table(data, file="file")
}
対このようなもの
data <- list()
length(data) <- 20
j <- 1
for (i in 1:1000) {
data[j] <-url("http://...i")
j <- j+1
if (j = 20) {j <-1}
if (i %% 20 == 0) {
write.table(data, file="file")
}
}