1

R を使用して大規模なデータセットに対して簡単な分析 (ビーガン パッケージ)を実行しようとしています。データセットが小さいローカル マシン (10 コア、16 GB RAM) で実行することに成功しました。ただし、分析を拡張してより大きなデータセットを含めると、コードは次のようなエラーで終了します。

error: cannot allocate vector of size XX gb

そこで、Amazon AWS インスタンス (より具体的には、r3.8xlarge インスタンス: 32 コア、244GB RAM) で同じ分析を試みたところ、今回は最も具体的には次のような同じエラーが発生しました。

error: cannot allocate vector of size 105.4 gb

私が試した両方のシステム（ローカルとAWS）はUbuntuボックスでありsessionInfo()、

R version 3.0.2 (2013-09-25)
Platform: x86_64-pc-linux-gnu (64-bit)

locale:
 [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C
 [3] LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8
 [5] LC_MONETARY=en_US.UTF-8    LC_MESSAGES=en_US.UTF-8
 [7] LC_PAPER=en_US.UTF-8       LC_NAME=C
 [9] LC_ADDRESS=C               LC_TELEPHONE=C
[11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

私が実行している関連するコード行は次のとおりです。

# read in data as DFs for mapping file
print("Loading mapping file...")
map_df = read.table(map, sep="\t", header=TRUE, strip.white=T)
rownames(map_df) = map_df[,1] # make first column the index so that we can join on it
map_df[,1] <- NULL # remove first column (we just turned it into the index)

# read in data as DF for biom file
print("Loading biom file...")
biom_df = data.frame(read.table(biom_file, sep="\t", header=TRUE), stringsAsFactors=FALSE)
biom_cols = dim(biom_df)[2] # number of columns in biom file, represents all the samples
otu_names <- as.vector(biom_df[,biom_cols]) # get otu taxonomy (last column) and save for later
biom_df[,biom_cols] <- NULL # remove taxonomy column
biom_df <- t(biom_df) # transpose to get OTUs as columns
biom_cols = dim(biom_df)[2] # number of columns in biom file, represents all the OTUs (now that we've transposed)

# merge our biom_df with map_df so that we reduce the samples down to those given in map_df
merged = merge(biom_df, map_df, by="row.names")
merged_cols = dim(merged)[2]

# clear some memory
rm(biom_df)
print("Total memory used:")
print(object.size(x=lapply(ls(), get)), units="Mb")


# simper analysis
print("Running simper analysis...")
sim <- simper(merged[,2:(biom_cols+1)], merged[,merged_cols], parallel=10)

何かご意見は？

4

1 に答える 1

0

あなたが提供した情報から、あなたのマシンがどの時点でメモリ不足になるかは明らかではありません。分析でベース R 関数を使用しているようです。data.table パッケージを試してみてください (read.table よりもはるかに高速な fread 関数を調べてください)。

于 2015-01-06T05:30:59.577 に答える