問題タブ [r-bigmemory]

AB ^Tを計算できるように、非常に大きな bigmemory big.matrix Bの転置を実行したいと思います。これはbigmemoryで可能ですか？さらに重要なことに、これに関するドキュメントをどのように見つけることができますか? bigmemory http://www.stat.yale.edu/~mjk56/temp/bigmemory-vignette.pdfに関するこの論文の 5 ページで、著者は、パッケージが prod()、colmean()、colsd などの操作もサポートしていると述べています。 () などですが、これに関するドキュメントが見つかりません。

k-means クラスタリングに R を使用するのは初めてで、2 つのファイルを一緒にクラスタリングするサンプル アプリケーションを試してみたところ、次のコードで成功しました。しかし、私が使用している元のファイルはこれらの最初のテスト ファイルよりもはるかに大きいため、以下のコードは RAM を使いすぎており、これを大きなファイルで使用するのは非効率的だと思います。

bigkmeans 関数を使用した bigmemory と biganalytics に出会いました。しかし、上記を翻訳してbigmatrixを使用するのに苦労しています。これが私が今取り組んでいるコードです。

NA をゼロに置き換えても機能しません。そのステップを無視すると、NA が原因で単一のクラスターが生成されます。また、cbinds、列の追加も機能しません。もっと簡単な方法が欠けていると思いますが、bigmemory/matrix のドキュメントからはあまり理解できませんでした。助けていただけますか？

問題の説明:

cRAMメモリにロードされた大きなマトリックスがあります。私の目標は、並列処理によって読み取り専用アクセスを取得することです。ただしdoSNOW、doMPI、big.matrix、 などを使用して接続を作成すると、使用される RAM の量が劇的に増加します。

すべてのデータのローカル コピーを作成せずに、すべてのプロセスが読み取り可能な共有メモリを適切に作成する方法はありますか?

例：

RAM: 上の画像では、メモリが終了して解放さ れるまでメモリが大幅に増加することがわかります。foreach

私は filebacked.big.matrix を使用して、非常に大きなマトリックス (~100 万 x 20,000) を格納しています。非常に高いメモリを備えたクラスターで作業していますが、それほど多くはありません。私は以前、うまく機能し、行列のサイズにもかかわらずメモリ使用量を一定に保つ ff パッケージを使用しましたが、行列の項目が 10^32 を超えたときに停止しました (R コミュニティは本当にその問題を修正する必要があります)。filebacked.big.matrix は最初は非常にうまく機能しているように見え、通常は問題なく実行されますが、メモリ使用量を確認すると、数百 GB に急上昇することがあります。一度に比較的少数の行だけを読み書きするように気をつけているので、一度に多くのメモリが必要ではないと思います。

ある種の自動メモリ キャッシングまたはメモリ使用量を増加させる何かを行いますか? もしそうなら、このキャッシングを無効にするか制限することができますか? 高いメモリ使用量がクラスタに厄介な副作用を引き起こしているため、メモリ ニュートラルでこれを行う方法が必要です。filebacked.big.matrix ヘルプ ページを確認しましたが、適切な情報が見つかりません。ありがとう！

更新:
bigmemoryExtras も使用しています。
以前は間違っていました。マトリックス全体をループして別の小さな file.backed マトリックスに読み込むと、次のように問題が発生します。

物理メモリの使用量は、最初は非常に低く (仮想メモリが非常に高く) なっています。しかし、このループの実行中、および終了後でも、ほとんどの行列が物理メモリに保持されているように見えます。一度にメモリに行列の小さなチャンクを 1 つだけ保持する必要があります。

更新 2:
ちょっとわかりにくいです: クラスター メトリックスとtopコマンドでは、大量のメモリ (~80GB) を使用していると言われていますが、gc() コマンドでは、メモリ使用量が 2GB を超えたことはありません。このfreeコマンドは、すべてのメモリが使用されていることを示していますが、-/+ buffers/cache 行では、合計で 7GB しか使用されていないことが示されています。

csv ファイルがあり、「bigmemory」パッケージで開きたいです。

R 2.15.3 を使用しています。

これはコードです：

これを行った後、R がクラッシュしました。データがどのように見えるかわかりません。

誰かが何かアイデアを持っていれば、それは本当に役に立ちます。また、R 2.15.3 がこれをサポートする唯一のバージョンであることも調査しました。そうでない場合は、知っておくとよいでしょう。ありがとう

R には 3 つの非常に大きなベクトルがあります (元金の 1 つ、金利の 1 つ、条件の 1 つ)。可能なすべての組み合わせを関数 (FinCal パッケージの pmt 関数) に渡す必要があります。各ベクトルを (bigmemory パッケージから) 大きな行列に入れましたが、大きな行列で mapply を実行できません (「この S4 クラスはサブセット化できません」を受け取ります)。大きなマトリックスの唯一のスロットはポインターであり、@ で指定することはできません。大きな行列をループして、このような計算やその他の提案を実行する方法はありますか? 組み合わせは約3億5000万通り。

Windows 7 32 ビット システムに biganalytics_1.1.3 をインストールできません。

cmdプロンプトで次のコマンドを試しました

エラー表示です

こちらもオプションでinstall.package

それでも同じエラーが表示されます