非常に多数 (>1000) のファイルがあり、それぞれ約 20 MB です。これらのファイルは、単純なバイナリ形式で保存された連続時系列データを表し、それらをすべて直接連結すると完全な時系列が復元されます。
memmap を使用して各ファイルをアドレス指定し、それらすべてをその場で 1 つの大きな memmap に連結することにより、これを仮想的に Python で実行したいと考えています。
SO を検索すると、np.concatenate がそれらをメモリにロードすることが示唆されますが、これはできません。ここでの質問は部分的に答えているようですが、そこの答えは、連結前にファイルの大きさを知っていることを前提としていますが、これは必ずしも真実ではありません。
では、メモリマップの大きさを事前に知らずにメモリマップを連結する一般的な方法はありますか?
編集:リンクされた質問が実際にディスク上に連結ファイルを作成することが指摘されました。これは私が望むものではありません。