python - pytables を使用して巨大な numpy 配列を構築する

Question

大量のデータから例の特徴ベクトルを生成します。データを読み取っている間、それらを段階的に保存したいと考えています。特徴ベクトルは numpy 配列です。numpy 配列の数が事前にわからないため、それらを段階的に保存/取得したいと考えています。

pytables を見ると、次の 2 つのオプションが見つかりました。

1. 配列: 事前に決められたサイズが必要であり、追加が計算上どの程度効率的かはよくわかりません。
2. テーブル: 列の型はリストまたは配列をサポートしていません。

Answer 1

それらを配列に格納することはできませんか？コードがあり、データから物事を取得して例を生成し、例を生成するループである必要があります。ループの外側に配列を作成し、ベクトルを配列に追加して保存します!

array = []
for row in file:
    #here is your code that creates the vector
    array.append(vector)

ファイル全体を調べた後、生成されたすべてのベクトルを含む配列が得られます! うまくいけば、それがあなたが必要としているものです。あなたは少し不明確でした...次回はいくつかのコードを提供してください。

ああ、あなたはpytablesが欲しいと言っていましたが、特にあなたが言及した制限のために、それは必要ではないと思います