問題タブ [ff]

他の 2 つのベクトルを使用して ff ベクトルの値を置き換えようとしています。RAM オブジェクトの場合は簡単です。

ff オブジェクト:

ffvecapply結果を達成するためにどのように（または他の関数を）使用できますか：

この投稿を確認しましたが、

エラーを返します。どうもありがとう。

ffbase を使用してループ内の非常に大きな ffdf オブジェクトをサブセット化しようとしていますが、次のエラー メッセージが表示されます。

このコードは、大量のメモリが利用可能な ssh で実行しています。実行しようとしているコードは次のとおりです。

この質問のコメントで jwijffels が提案した修正を実装しようとしましたが、役に立ちませんでした。前もって感謝します！

次のように 2 つの Document Term Matrix を作成しようとしています。

最初の行は 75k 行で、2 番目の行は 25k 行です。これらを作成して以来、私のメモリ使用量は 7 GB でほぼ限界に達しています。

これらのマトリックスの作業をより効率的な方法でスピードアップしたいと思います...

2 つの可能性を検討しましたが、どちらも実装する方法がわかりません。

• DocumentTermMatrix を data.table に変換します
• ffパッケージを使用してそれらを保存しますffdf

大規模な DocumentTermMatrix での作業を高速化する方法について、誰かがガイダンスや例を提供できますか?

最終的には、300 万行以上をサポートできるようにしたいと考えています (現在、100k のサブセットのみを使用しています)。

複数の列を持つffdfがあります。read.table.ffdf がデータから文字列のベクトルとして自動的に決定した列クラスを見つけたいと思います。

これを行う大雑把な方法は、列をループして class(Data[1,index]) を使用しているようです。これを一度に達成するためのよりエレガントな方法はありますか?

ffdf オブジェクトのメソッドを調べてみましたが、どれも適切ではないようです。

ありがとう！

Intel Xeon プロセッサと 24 GB の RAM を搭載した 64 ビット Windows Server 2008 マシンで作業しています。11 GB (>2400 万行、20 列) の特定の TSV (タブ区切り) ファイルを読み取ろうとして問題が発生しました。私のいつもの仲間 ,read.tableは私を失望させました. 私は現在ff、この手順でパッケージを試しています：

これは約 600 万件のレコードで問題なく機能しますが、次のようにエラーが発生します。

私が間違っていなければ、R はデータを読み取るためのメモリが不足していると不平を言っていますが、データを読み取るread...ffdfときに大量のメモリを使用することを回避する手順は想定されていませんでしたか? ここで何が間違っているのでしょうか？

ffbaseandパッケージを使用する R スクリプトがありffます。Windows では、スクリプトは正常に実行されます。Linux (別のボックス、より高い RAM) では、バス (SIGBUS) エラーでクラッシュします。

Windows (バージョン 6.1.7601) セッション情報:

1. R バージョン 3.1.0 (2014-04-10)
2. プラットフォーム: x86_64-w64-mingw32/x64 (64 ビット)
3. 付属パッケージ：ffbase_0.11.3 ff_2.2-13 bit_1.1-12

Linux (Linux xenja 3.5.0-54-generic #81~precise1-Ubuntu SMP Tue Jul 15 04:02:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux) セッション情報:

1. R バージョン 3.1.1 (2014-07-10)
2. プラットフォーム: x86_64-pc-linux-gnu (64 ビット)
3. 付属パッケージ：ffbase_0.11.3 ff_2.2-13 bit_1.1-12

ffR スクリプトがクラッシュするポイントは、さまざまなファイルの内容を繰り返し読み取り、関数を介してデータ フレームに連結するループ内にありますffdfappend。ループは次のとおりです。

Linux で R スクリプトを実行すると、標準エラーで次のように記述されます (非常に長い行は意図的に@@@で切り捨てました) 。

R スクリプトを にアタッチするgdbと、クラッシュの時点で次の関連メッセージが表示されます。

gdb バックトレース:

R スクリプトを実行するとstrace、クラッシュの時点で次の関連情報が得られます。

続行する方法についてのアドバイスをいただければ幸いです。

どうぞよろしくお願いいたします。

-ジョージ。

タブ区切り形式の大きなデータセット (1.1GB) があります。通常の read.table 関数を使用して、このデータセットをプログラム R に読み込むと、次のようになります。

それは正常に動作します。ただし、ff ライブラリの ff 関数を使用して読み込みたいので、次のコードを使用します。

ff パッケージのロードに問題はなく、関数は正常に動作します。スローされるエラーは次のとおりです。

Error in read.table(header = FALSE, sep = "\t", file = 3L, fileEncoding = "", : more columns than column names

どうしてこれなの？