r - 特定の値に等しい（非常に大きな）ファイルの行のみを読み取ります（Rを使用）

Question

5,400 万行のファイルがあり、ファイル全体を読み取るには大きすぎます。メモリに収まりません。Rを使用して、列の1つの内容が特定の数に等しいファイルから100 000行を抽出したいと考えています。ファイル全体を読まなくてもこれが可能かどうかは誰にもわかりませんか? それが違いを生む場合、すべての列には整数が含まれます。

ファイルの内容は次のようになります。

Date,ProductId,Stock,Price
199501,1,271,5
199501,2,145,50
199501,3,16,42
199501,4,32,45
199501,5,96,62

Answer 1

あなたの質問の詳細は不明ですが、多くの場合、ファイルが適切に構造化されていれば、sqldf による迂回が最速の解決策です。

http://code.google.com/p/sqldf/#Example_13._read.csv.sql_and_read.csv2.sql

これで問題が解決しない場合は、低速であっても目的を実行する簡単なコードを含む 10 行の短いサンプルを投稿して、詳細を提供する必要があります。誰かが飛び込んで最適化するでしょうが、これはサンプル データなしでは不可能です。