1

大きな data.table オブジェクト (元のファイルは約 30 GB、私は 80 GB の RAM を持っています) の各行に行列を返す関数を適用し、data.table オブジェクトを取得したいと考えています。効率よくやりたい。私の現在のアプローチは次のとおりです。

my.function <- function(x){
    alnRanges<-cigarToIRanges(x[6]);
    alnStarts<-start(alnRanges)+as.numeric(x[4])-1;
    alnEnds<-end(alnRanges)+as.numeric(x[4])-1;
    y<-x[-4];
    ys<-matrix(rep(y,length(alnRanges)),nrow=length(alnRanges),ncol=length(y),byrow=TRUE);
    ys<-cbind(ys,alnStarts,alnEnds);
    return(ys);     # ys is a matrix
}

    my.dt<-fread(my.file.name);
    my.list.of.matrices<-apply(my.dt,1,my.function);
    new.df<-do.call(rbind.data.frame,my.list.of.matrices);
    colnames(new.df)[1:14]<-colnames(my.dt)[-4];
    new.dt<-as.data.table(new.df);

注 1: my.function を指定して、それが行列を返すことを示すためだけに、適用行が行列のリストであることを示します。

注 2: 実行している操作がどれほど遅いかはわかりませんが、行数を減らすことができるようです。たとえば、データ フレームを大きなオブジェクトのデータ テーブルに変換するのに時間がかかりますか?

再現可能な例:

Arun と Roland のおかげで私はこの問題についてより深く考えるようになったので、私はまだそれに取り組んでいることに注意してください...これらの行は必要ないのかもしれません...

私は sam ファイルを取得し、CIGAR フィールドに従って各読み取りが分割される新しい座標ファイルを作成したいと考えています。

My sam file:
qname   rname   pos cigar
2218    chr1    24613476    42M2S
2067    chr1    87221030    44M
2129    chr1    79702717    44M
2165    chr1    43113438    44M
2086    chr1    52155089    4M921N40M

code:

library("data.table");
library("GenomicRanges");

sam2bed <- function(x){
    alnRanges<-cigarToIRanges(x[4]);
    alnStarts<-start(alnRanges)+as.numeric(x[3])-1;
    alnEnds<-end(alnRanges)+as.numeric(x[3])-1;
    #y<-as.data.frame(x[,pos:=NULL]);
    #ys<-y[rep(seq_len(nrow(y)),length(alnRanges)),];
    y<-x[-3];
    ys<-matrix(rep(y,length(alnRanges)),nrow=length(alnRanges),ncol=length(y),byrow=TRUE);
    ys<-cbind(ys,alnStarts,alnEnds);
    return(ys);
}


sam.chr.dt<-fread(sam.parent.chr.file);
setnames(sam.chr.dt,old=c("V1","V2","V3","V4"),new=c("qname","rname","pos","cigar"));
bed.chr.lom<-apply(sam.chr.dt,1,sam2bed);
> bed.chr.lom
[[1]]
                           alnStarts  alnEnds   
[1,] "2218" "chr1" "42M2S" "24613476" "24613517"

[[2]]
                         alnStarts  alnEnds   
[1,] "2067" "chr1" "44M" "87221030" "87221073"

[[3]]
                         alnStarts  alnEnds   
[1,] "2129" "chr1" "44M" "79702717" "79702760"

[[4]]
                         alnStarts  alnEnds   
[1,] "2165" "chr1" "44M" "43113438" "43113481"

[[5]]
                               alnStarts  alnEnds   
[1,] "2086" "chr1" "4M921N40M" "52155089" "52155092"
[2,] "2086" "chr1" "4M921N40M" "52156014" "52156053"

bed.chr.df<-do.call(rbind.data.frame,bed.chr.lom);

> bed.chr.df
    V1   V2        V3 alnStarts  alnEnds
1 2218 chr1     42M2S  24613476 24613517
2 2067 chr1       44M  87221030 87221073
3 2129 chr1       44M  79702717 79702760
4 2165 chr1       44M  43113438 43113481
5 2086 chr1 4M921N40M  52155089 52155092
6 2086 chr1 4M921N40M  52156014 52156053

bed.chr.dt<-as.data.table(bed.chr.df);

> bed.chr.dt
     V1   V2        V3 alnStarts  alnEnds
1: 2218 chr1     42M2S  24613476 24613517
2: 2067 chr1       44M  87221030 87221073
3: 2129 chr1       44M  79702717 79702760
4: 2165 chr1       44M  43113438 43113481
5: 2086 chr1 4M921N40M  52155089 52155092
6: 2086 chr1 4M921N40M  52156014 52156053
4

1 に答える 1