問題タブ [ffbase]

一部の列に NA を持つ ffdf オブジェクトを使用しています。NA は、merge.ffdfを使用した左外部マージの結果です。NAを 0 に置き換えたいのですが、うまくいきません。ここに私が実行しているコードがあります:

私が間違っていることは何ですか？一般に、クラス ff および ffdf のメソッドの置換について詳しく知りたいと思います。トピックに関するいくつかの例を見つけることができる提案はありますか?

しばらく前から、ビッグデータを扱うために ff パッケージを使用しています。私が扱った R オブジェクトには、約 130.000.000 行と 14 列があります。これらの列のうち、Temperature と Precipitation の 2 つに欠損値「NA」があるため、作業を進めるにはこれらの行を削除する必要があります。私は通常のRオブジェクトのようにそれをやろうとしています:

しかし、私はエラーが発生し続けます:

ffdf オブジェクトの行を削除できた人はいますか? 助けていただければ幸いです。

R を使用して 1909x139352 のデータセットを操作しようとしています。私のコンピューターには 2GB の RAM しかないため、従来の方法ではデータセットが大きすぎます (500MB)。ffということで、パッケージを利用することにしました。しかし、私はいくつかの問題を抱えています。関数read.table.ffdfはデータの最初のチャンクを読み取ることができません。次のエラーでクラッシュします。

何が起こっているのか誰にもわかりませんか？

再現可能な例:

システム: Windows 7 64 ビット、R 15.2 64 ビット

インストール済みのツール

zip 300xn-x64 および unzip 600xn フォルダは、既に Windows パスに設定されています

コマンドラインが機能している場合、zipまたはunzipと入力すると機能情報が表示されます

助けが必要！どんな提案でも大歓迎です。

ff/ffdf および ffdfdply 関数を使用すると、「エラー: サイズ ... MB のベクトルを割り当てることができません」という問題が発生します。

ff および ffdf パッケージを使用して、グループ化された大量のデータを処理しようとしています。データ (ffdf テーブル形式) は次のようになります。

一意のキーは、次のようなものを使用して作成されます。

キー変数を使用してグループ化して要約すると、次のコマンドがあります。

data.table の優れたグループ化機能を使用する (このディスカッションから得たアイデア)。実際のコードでは、Amount 変数に適用する関数がさらにありますが、これでも ffdf テーブル全体を処理することはできません (テーブルの小さなサブセットは正常に機能します)。

ffdfdplyis が大量の RAM を使用しているようで、次のようになります。

また、BATCHBYTES も役に立たないようです。ffdffply の経験がある人は、ffdf テーブルを事前にチャンクに分割せずに、これを行う他の方法を推奨できますか?

read.table.ffdfパッケージの関数を使用してff、巨大な数の行列を読み取っています。最初にRAMに変換せずに、この結果ffdfのオブジェクトをオブジェクトにキャストするにはどうすればよいですか?ff

いくつかの異なるキーのクロス積を作成しようとすると、ff パッケージを使用する際に問題が発生します。expand.ffgrid() を使用すると、以下のように個々の ff オブジェクトを渡すときに問題はありません。

test_ff <- expand.ffgrid(a=ff(c(0,1,2)), b=ff(c(0,1))) #-- Runs fine

ただし、渡す ff オブジェクトの数がわからない環境でこれをプロダクション化するには、以下に示すように、それらのオブジェクトをリストとして渡したいと思います。

test_ff <- expand.ffgrid(list(a=ff(c(0,1,2)), b=ff(c(0,1)))) #-- This fails

ドキュメントは、これが可能であることを (あまり明確ではありませんが) 暗示しており、この構文は expand.grid() を使用して正常に機能します。この機能はまだ ff に実装されていませんか、それとも何か不足していますか?

私の最初の問題は、多数のデータフレームにまたがる完全な外部結合を作成することです。これは ff では簡単ではない (または可能ではない?) ので、本当に頭が痛くなります!