私はいくつかの調査を行いましたが、ff パッケージには私が探しているものが含まれているようです。ただし、現在のシナリオでそれを使用する方法がわかりません。これが私が得たものです：
- 行ターミネータのない固定長ファイルがあります (すべてのデータが 1 行にある)
- レコード長は 55 列で 1577 です
- レコード長に基づくファイル内の合計レコード数が 900 万を超える
ご想像のとおり、R を介してこのファイルを処理すると、通常は RAM が破壊されます。このようなファイルをロードするにはどうすればよいですか?
以下は、RAMにロードできる小さなファイルを処理するために使用するコードです。これにより、大きなファイルでマシンがフリーズします。
conn <- file(fileName,'r')
data <- readChar(conn,rep(widths,TotalRecords))
df <- data.frame(matrix(data,ncol=nFields,byrow=TRUE))