問題タブ [ff]

ffdf で最も頻繁に使用される要素を見つけ、その後、ある行を削除するための提案が必要です。非常に大きなデータを扱っており、ベース RI ではメモリが不足しているため、ff パッケージを試すことにしました。

以下に少し例を示します。

を探しています：

• ffdf で最も頻繁に使用される要素をエクスポートします (この場合は「b」です)。
• 「b」が配置されているすべての行をffdfから削除します

したがって、新しい ffdf は次のようになります。

ベースRIでは、「テーブル」機能で方法を見つけました

しかし、巨大なデータを扱うには、ff パッケージのようなものが必要です。

変数と を含むデータセットを保持するffdfオブジェクトがあります。何百万もの行があるため、オブジェクトとして保存する必要があります。私の質問はこれです：xyzffdf

qの値に依存する、このオブジェクト内に新しい変数を作成したいと考えていますz。

zは 1、2、および 3 の 3 つの値を取り、z=1の場合は 、 の場合は 、 の場合はq=A、 の場合z=2は のようにq=Bなります。z=3q=C

実際には、z には約 30 のレベルがあり、ffifelse非常に非効率的なステートメントを試しました。私も次のことを試しました：

x$q[x$z==1] <- ff("A")

しかし、次のエラーが表示されます。

エラー: 長さ (値) == n は TRUE ではありません

ffdfオブジェクト内で新しい変数を変換および作成する際の助けをいただければ幸いです。

ff パッケージを使用してマトリックスを生成しようとしましたが、次のエラーが発生します。

どうすれば解決できますか？

最終的なリグレッション、ビジュアライゼーションなどのために、一連の大規模 (〜 300M) および非常に大規模 (〜 4G) の固定幅ファイルを読み込もうとしています (そして最終的にはマージ/リンク/操作)。

まず、ファイル自体の形式が奇妙です。SQL のようなものだと思います。ファイル形式は、 https ://msdn.microsoft.com/en-us/library/ms191479.aspx で参照できます 。それは固定幅ですが、最後の列は (時々?) その列の完全な固定幅が経験される前に \r\n で途切れているようです。それを読むために、laf_open_fwf と data.table::fread を試しましたが、どちらも混乱しているようです。サンプル ファイルと関連する非 XML 形式の記述子は、こちら にあります。あの間抜けな最後のコラムでは、適切に読み取ることすらできません。ファイルのサンプルを次に示します。

(ただし、CR/LF はここでは見えず、問題はそれらの奇妙な配置であることに注意してください。上記の .txt ファイルまたは png ファイルへのリンクを参照してください (リンクできません、低担当者) のメモ帳 ++ ビューのフィールドの問題を実証するためのデータ。)

次に、ファイル サイズが問題です。やらなければならないテーブル操作がたくさんあることはわかっているので、data.table を見てみたくなるのですが、data.table はオブジェクト全体を RAM に格納すると考えており、これは問題になるでしょう。LaF、ffdf、または sqlite はオプションのようですが、私はそれらに慣れていないため、最初にこのファイル形式の問題に対処する必要があります。

LaF、ffbase、またはdata.tableが以下にあることを示唆する、この一般的なアイデアに関するいくつかの質問があります...

固定幅のビッグデータの読み取り

R で非常に大きなテーブルをデータフレームとしてすばやく読み取る

R で固定幅形式のテーブルのインポートを高速化

...しかし、(1) この奇妙な固定幅っぽい形式を処理したり、(2) データを最終的に data.tables に移動したりするものはないようです。これを最初に試してみたいと思います。私は、それらを開いて適切にフォーマットされた CSV として書き直して、data.table で処理できるようにすることを考えました (data.frames を介して csv に戻る私の間抜けなハックは、ばかげており、スケーラブルではないように感じます)。また、CSV エクスポートは、ファイルがどのように混乱するかを示しています。これは、laf リーダーが /r/n の場所に基づいて調整するのではなく、厳密にフィールド長を使用しているためです...

現在、私は手始めに以下のようなものを試しています。可能であれば、助けてください。

Source 列を ffdf に追加しようとしましたが、機能しないようです...それが通常の df の場合は、単に次のように記述します

ffdf に対してこれを行うと、エラーが返されます

何か案は？