問題タブ [ff]

これは、月ごとに金額を線形に配分するへのフォローアップの質問です。

最初に、Señor O、Michele、G. Grothendieck の最初の質問に協力してくれたことに感謝します。

さて、私の質問に移ります。次の FFDF を検討してください。

以前と同じように、金額を暦月ごとに直線的に分割したいと思います。しかし、今回は FFDF データ構造を扱っています。

Map を使用してカスタムの爆発関数の出力を rbind 呼び出しに「吐き出す」という最初の答えとそれに続く集約は、非常に良い学習体験であることが証明されました。そのソリューションがどのように機能するかを実際に理解するのに2日かかりましたが、最終的にはそこにたどり着き、まさに私が求めていたものを実行しました.

ただし、この学習を実際のデータセットに適用すると、メモリの問題が発生し、ff パッケージを発見しました。これは非常に便利です。

ffdfs で同じことを試みるために、私は ffdfdply を使用しようとしましたが、非常に迷っており、ガイダンスのために SO に目を向けています。

どうもありがとう！

read.table.ffdfパッケージの関数を使用してff、巨大な数の行列を読み取っています。最初にRAMに変換せずに、この結果ffdfのオブジェクトをオブジェクトにキャストするにはどうすればよいですか?ff

とという名前のオブジェクトがあるとしますff_matrix( では動作しません) 。は 100*10 行列で、は 10*1 行列です。ffdfxyxy

ただし、x %*% yになりError in x %*% y : requires numeric/complex matrix/vector argumentsます。

次の 2 つのffdfファイルがあるとします。

これらをメモリにロードせずに列をバインドするにはどうすればよいですか? cbind動作しません。

同じ質問http://stackoverflow.com/questions/18355686/columnbind-ff-data-frames-in-rがありますが、MWEがなく、作者が断念したので再投稿しました。

大きなマトリックスと ff パッケージを使用しています。私は ff オブジェクトを読み込んでおり、それを使用して crps (スコア) を計算したいと考えています。

たとえば、降水予報であるff_matrix（25行7303列のMatと呼ばれる）があります（7303は日数（約20年）を表し、25は1日の25回の降水シミュレーションです）。また、この 20 年間の観測値 (Obs と呼ばれ、値が 7303) を含む ff_array もあります。

パッケージ ensembleBMA を使用して、CRPS を計算したいと思います。ff_matrix と ff_array を「ensembleBMA」オブジェクトに配置する必要があります (実際、これは data.frame です)。

このコードの場合:

このエラーがあります：

次のようなさまざまなオプションを試しました。

私はいつもこれらのエラーがあります：

また

誰かがアイデアを持っていますか？

R で 300000 x 7 の数値行列を作成しましたが、R と Matlab の両方で使用したいと考えています。ただし、Matlab で読みやすいファイルを作成することはできません。コマンド save() を file=xx.csv で使用すると、代わりに 5 列が認識されます。拡張子 .txt を使用すると、代わりにすべてのデータが 1 つの列で開かれます。このビッグデータを管理するためにパッケージffとffdfも試しました（保存時にRが行と列を識別する問題はこれに何らかの関係があると思います）が、Matlabの読み取り可能な形式で保存する方法がわかりませんその後。

このデータセットの例は次のとおりです。

output <- matrix(runif(2100000, 1, 1000), ncol=7, nrow=300000)

私は R と FF パッケージを初めて使用し、ユーザーが FF を使用して大規模なデータセット (>4Gb) を操作できるようにする方法をよりよく理解しようとしています。私はかなりの時間を Web のチュートリアルのトロールに費やしてきましたが、見つけることができたものは一般的に頭を悩ませています。

私は実行することで最もよく学ぶので、演習として、R の組み込みの「Indometh」データセットと同様に、任意の値を使用して長い形式の時系列データセットを作成する方法を知りたいと思います。次に、ワイドフォーマットに再形成したいと思います。次に、出力をcsvファイルとして保存したいと思います。

小さなデータセットの場合、これは簡単で、次のスクリプトを使用して実現できます。

しかし、約 10 Gb のファイル サイズに対してこれを行う方法を学びたいと思います。FFパッケージを使用してこれを行うにはどうすればよいですか? 前もって感謝します。

Rにインポートする450万行と90列のテキストファイルがあります。使用read.tableするとcannot allocate vector of size...エラーメッセージが表示されるため、データをサブセット化して興味のある観測を抽出する前にffパッケージを使用してインポートしようとしています(詳細については、前の質問を参照してください) :選択基準を read.table に追加します)。

したがって、次のコードを使用してインポートします。

しかし、これは次のエラーメッセージを返します:

私は何を間違っていますか？

テキスト ファイルの最初の 5 行を次に示します。