問題タブ [pytables]

pyTables ファイルに格納されている大きな配列 ( 1000x500000x6 ) があります。速度の点でかなり最適化されたいくつかの計算を行っていますが、最も時間がかかっているのは配列のスライスです。

スクリプトの開始時に、行のサブセットを取得する必要があります: Reduced_data = data[row_indices, :, :] そして、この縮小されたデータセットに対して、次のようにアクセスする必要があります。

• 列を 1 つずつ: Reduced_data[:,clm_indice,:]
• 列のサブセット: Reduced_data[:,clm_indices,:]

これらの配列を取得するには、永遠に時間がかかります。それをスピードアップする方法はありますか？たとえば、データを別の方法で保存しますか？

hdf5 ファイルの下にいくつかの 2 次元配列があります。それらを PyTables の 1 つの多次元配列にマージするにはどうすればよいですか?つまり、ファイルは現在、配列 A、配列 yB、配列 C になっています。 1次元目A、2次元目B、3次元目C

pytablesを使用CArrayして、データがディスク（Fortran / C）に格納される順序を指定する方法はありますか？

ndarrayのorderパラメータに似たものを探しています。

を使用して次のことを効率的に表現するにはどうすればよいnumexprですか?

xとyは、同じ形状のいくつかの大きな NumPy 配列です。

つまり、で割る前ににキャップしようとしx-yています。1.0x+y

私は単一のnumexpr式を使用してこれを行いたいと思います(xそしてy巨大であり、それらを複数回反復する必要はありません)。

次のdtypeのNumPy配列について考えてみますfloat32。

2を使用して乗算するとpytables.Expr、float32配列が返されます。

しかし、これにを掛けると2.0、float64配列が返されます。

結果がプロモートされないように、上記の式で浮動小数点リテラルを指定する方法はありますfloat64か？

より一般的には、float32配列を使用する式があり、結果も型であることを確認したいと思いますfloat32（float64中間計算に使用してもかまいませんが、結果をとして保存する余裕はありませんfloat64）。どうすればよいですか？

pytable モジュールをインストールしようとしています。win7 x64、python 2.7.2 (x32)、cython 0.16、Visual Studio 2008 (9.0) を使用しています。cmd.exe で「管理者として実行」に「python setup.py install」と記述します。

しかし、未解決の外部シンボルがあり、ビルドに失敗しました:

アイデアはありますか？

MATLABでPyTablesのテーブルに似たものを見つけようとしています。ここでは、基準（col1 = 4など）に基づいてデータセットのサブセットを選択します。これまでのところ、私の検索は完全に無益でした。そのような便利な機能がどういうわけかサポートされないだろうとは信じられません...誰かが助けることができますか？

MATLABverR2011b。

編集：質問から明らかでない場合は、MATLABでのデータストレージにHDF5ファイルを使用しているため、PyTablesと同様の機能を見つけたいと考えています。

ピクセル強度と次元の大きな3次元配列で構成される画像データを分析しています[frame, x, y]。これらは通常、メモリに保持するには大きすぎるため、PyTables配列としてハードディスクに常駐します。

私ができるようにしたいのは、すべてのフレームにわたるピクセルの任意のサブセットの強度を読み取ることです。これを行う自然な方法は、リストのインデックス作成のようです。

残念ながら、PyTablesは現在、リストインデックスの単一のセットのみをサポートしているようです。さらに問題は、リストインデックスに重複を含めることができないことです。ピクセルのx座標のリストにが含まれるため、ピクセル[1, 2]とを同時に読み取ることができませんでした。配列内の行を反復処理できることはわかっています。[1, 3][1, 1]

しかし、これらの反復読み取りは、私が処理している多数のフレームに対して非常に遅くなります。

これを行うためのより良い方法はありますか？私はPyTablesに比較的慣れていないので、大規模な配列でデータセットを整理するためのヒントがあれば、ぜひ聞いてみてください。

PyTables で HDF を書き込もうとしていますが、現在、スレッドの 1 つでこのランタイム例外がスローされています。ところで、PyTables 内の特定のテーブルを書き込むためのスレッド アクセスをロックしています。

PyTables で numpy csr_matrix を保存する際に問題があります。次のエラーが表示されます。

私のコード:

何か案は？

ありがとう