問題タブ [ff]

という名前の行列オブジェクトがあり、location3 つの列 ( ID、latitude、logitude) と 18,289 行があります。

各ID間のHaversine距離を計算したい。パッケージgeosphereでは、関数distm()は対称距離行列を作成できますが、その次元は 18289 x 18289 です。ただし、Rエラーが報告されましたcannot allocate vector of size 2.5 Gb。

同様に、ffパッケージでは、

ffエラーは発生しませんが、マトリックスに値を割り当てると、Rエラーが再び発生します。

エラー: サイズ 2.5 Gb のベクトルを割り当てることができません
さらに: 警告メッセージ:
1: マトリックス (0、ncol = n、nrow = n) 内:
2047Mb の合計割り当てに達しました: ヘルプ (memory.size) を参照してください
2: マトリックス (0 ) 内, ncol = n, nrow = n) : 2047Mb
の合計割り当てに達しました: help(memory.size) を 参照してくださいsize) 4: マトリックス (0, ncol = n, nrow = n) 内: 2047Mb の合計割り当てに達しました: help(memory.size) を参照してください

このエラーは次の方法で確認できます。

そして、このエラーが発生します：

エラー: サイズ 772.1 Mb のベクトルを割り当てることができません。

私の質問は次のとおりです。

1. ffマトリックス オブジェクトに値を割り当てるコードが間違っていますか? ff代わりに、何か特別なものを使用してオブジェクトに 値を割り当てる必要がありますか?
2. ffオブジェクトはストレージ要件を処理 できますか?
3. ループを含まない適用関数を使用して距離を計算する別の方法を使用できますか? distm()この関数は対称であるため、必要に応じて 2 倍の大きさの行列を生成する ことがわかっています。
4. ビッグデータを扱う他の方法はありますか？パッケージが Windows コンピュータでbigmemory動作しないようです。

R で .mat ファイルから動的に名前が付けられた ff ファイルに大きな配列を読み込みたい.

私は次のことを試しました：

問題: 最初の「割り当て」の後は、すべて問題ありません。しかし、2 回目の「割り当て」の後、変数「varName」の型は通常の配列に変更されます。静的変数を使用すると、次のように値を代入できます。

しかし、これを動的ステートメントに変換するにはどうすればよいでしょうか? ff パッケージのドキュメントに従って必要とされる "[,]" を処理するにはどうすればよいですか?

乾杯、前もって感謝します、ソロル

複数のファイルのデータを一度に ff データ フレーム (ffdf) にロードすることはできますか? 私が持っているとしましょう

各csvファイルを個別のffdfオブジェクトにロードしてから、それらを一緒にffdfrbind.fillできることを知っています。しかし、それは非効率的な方法のように思えます。もっと直接的な方法はありますか？

データベースのサイズが大きいため、ff データセット (final_faf_data) を使用しています。すべての行に 1 つの値 (365) しかない新しい変数 dpy を作成しようとしています。次のコマンドを試すと（データフレームで行うことと同様）

次のエラーが表示されます

だから私の質問は、それをどのように割り当てるのですか? 私は試した

しかし、それは「NULL」を与えます

どんな洞察も大歓迎です。

ティア、クリシュナン

私は周りを見回してきましたが、これで何が起こっているのかを完全に把握することはできません. 私はEclipseでRを使用しています。インポートしようとしているファイルは、約 1,500 万行、6 列の 700 MB です。読み込みに問題があったため、ffパッケージの使用を開始しました。

次に、インポートされたファイルに対して後で結合される POSIXct シーケンスを作成したいと考えています。私は試しました。

しかし、Rはクラッシュし続けました。次に、これが RStudio であることをテストしたところ、ベクトルに対する where 制約があることがわかりました。しかし、それは正しいものを生成しました

そこで、これはメモリ割り当てに関係があると考えて、Eclipse に戻りました。私は次のことを試みました;

これにより、次のエラーが発生します

クラス「c('POSIXct', 'POSIXt')」のオブジェクトに適用される「as.ffdf」に適用可能なメソッドはありません

私はこれを回避できないようです。私はそれから試しました...

出力日付を生成しますが、正しい形式ではありません。これに加えて、いつ...

実行された場所では、両方とも null が返されました。

質問

1. 上記で必要な形式で POSIXct seq を生成するにはどうすればよいですか?