問題タブ [r-bigmemory]

Rがメモリ不足のデータを処理する方法を調べることに興味があります。私はbigmemoryパッケージと友達（bigtabulateとbiganalytics）を見つけましたが、誰かがこれらのパッケージでファイルバッキングを使用するうまくいった例を私に教えてくれることを望んでいました。その他のメモリ不足のヒントもいただければ幸いです。

最近、データ分析に R を使い始めました。今、大きなクエリ データセットをランク付けする際に問題が発生しました (ASCII モードで約 1 GB、バイナリ モードでラップトップの 4 GB RAM を超える)。このデータセットにを使用するのは良い解決策ですが、またはアルゴリズムbigmemory::big.matrixでそのような行列 'm' を提供すると、エラーが発生します。gbm()randomForest()

class(m) は次を出力します。

big.matrixこれらのアルゴリズムにインスタンスを正しく渡す方法はありますか?

randomForest と bigmemory ライブラリを使用して分類 (回帰ではない) を設定できた人はいますか? 「数式アプローチ」を使用できないことは承知しており、「x=予測子、y=応答アプローチ」に頼らなければなりません。ビッグ メモリ ライブラリは、カテゴリ値を持つ応答ベクトルを処理できないようです (私の場合、2 つのレベルがあり、どちらも文字として表されます。

bigmemoryのドキュメントによると...「データフレームには文字ベクトルが因子に変換され、次にすべての因子が数値因子レベルに変換されます」

randomForest分類をbigmemoryで動作させるための回避策はありますか?

全て、

64 ビット Windows 7 で R2.14 を使用しています。

big.matrix オブジェクトを二乗しようとしています (開発者に感謝します)。それをより高いべき乗にする必要があるかもしれません。

私の調査によると、bigalgebra パッケージはまさに私の通りですが、まだ作成中のようです。

big.matrix オブジェクトの代数に代わるものはありますか?

前もって感謝します。W.

を使用して、次元 3131875*5 のデータを r で読み取っていますread.big.matrix。私のデータには、日付変数を含む文字列と数値列の両方があります。私が使用すべきコマンドは

しかしtype = NA、この場合、R では受け入れられず、エラーが発生します。

ここに何があるべきかを知る必要がありtypeます。次のようなオプションを試しましdoubleたが、同じエラーが発生します。

私を助けてください。

私はRbigmemoryでパッケージを使おうとしていますが、最初から立ち往生しています。そうです：

文字行列を取得します。それで大丈夫です。しかし、私は試してみます：

NAでいっぱいのマトリックスと次のメッセージが表示されます。

何が起こっているのかわかりませんが、大きく見えます。matrixは、にもかかわらず、すべてのテキストを数値に変換しようとしますtype = "char"。それを機能させる方法は？

および関連パッケージは初めてですbig.matrix。次の例を再現しようとしています`` `

ドキュメントからですが、最後の行で次のエラーが発生します。

最後の行は次のようなものを言います"there is no method for transform this S4 class to a vector"

ポインタを教えていただけますか？

私のRバージョンは

Rのスノークラスターにbigmatrixをエクスポートすることに成功した人はいますか? bigmatrix と attach.resource の例のコメント行は、そうすることが可能だと言っていますが、私は成功していません。

ファイルでバックアップされた大きなマトリックスを使用してもクラッシュします（共有メモリさえ使用しないため、これは奇妙です）。

bigmemory パッケージを R にインポートしようとしています。パッケージを CRAN からダウンロードし、ローカル マシンの R パッケージ ライブラリに保存しました。RI でライブラリ コマンドを入力して、パッケージをインポートします。

しかし、次のエラーが表示されます。

他のパッケージを問題なくロードしましたが、この時点でエラーが発生する理由がわかりません。この問題を抱えていると思われる人は他にいません。何か案は？