python - Python でフォーマットされたバイナリ ファイルをロードする最も効率的な方法

Question

サイズが 20Mb 以下のバイナリ ファイルがあり、ヘッダー セクションと、一連の uchar を含むデータ セクションがあります。私はNumpy、SciPyなどを持っており、各ライブラリにはデータをロードする方法が異なります。使用すべき最も効率的な方法について何か提案はありますか?

Answer 1

structモジュールを使用するか、パフォーマンスが重要な場合は C で記述されたカスタム モジュールを使用してください。

Answer 2

structはヘッダーセクションで機能するはずですが、numpyで操作する場合は、データセクションでnumpyのmemmapが効率的です。ここで一貫性がないことについてストレスを感じる必要はありません。どちらの方法にも互換性があり、ジョブごとに適切なツールを使用するだけです。

Answer 3

bdecは有望なようです。

Answer 4

array.fromfileこれが同種データの最速の方法であることがわかりました。