問題タブ [h5py]

私は比較的numpyに慣れていませんが、h5ファイルを読み書きするためにそれを使い始めました。特定のゾーンの各ピクセル値を h5 ファイルに読み取り、いくつかのゾーン統計を計算した画像データがあります。ただし、多くのピクセル値 (おそらく数千万) があり、このデータをサブサンプリングして、データ サイズを削減しながらデータの一般的な分布を維持できるようにしたいと考えていました。

配列の200番目の値ごとにサンプリングする簡単な方法があるかどうか疑問に思っていましたか?

私はすでに持っているコードを掲載しますが、私のコードは既存のデータを読み取ることしかできません.サブサンプリングする方法について完全に行き詰まっているので、これまでのところ何も示していません.

ありがとう

h5 ファイルからデータ (正確にはピクセル値) を読み取り、numpy を使用してデータをヒストグラムにプロットしています。ピクセル値の配列には、データなしの値が 99999 あります (それ以外の場合、データの範囲は -40 から 20 です)。手動で設定した最小値と最大値 (それぞれ -40 と 20) に基づいてヒストグラムを作成しているので、データのない値がヒストグラムに表示されません。これで問題ありません。ただし、データに通常の曲線を当てはめたいので、データセットの平均と SD が必要です。numpy.mean と numpy.std でこれらを生成すると、データなしの値が含まれるため、平均値と SD 値が大きくずれ、その後の通常の曲線もずれます。

基本的に、配列から平均値と sd を生成し、特定の値 (つまり、データなしの値: 99999) を無視する方法はありますか? または、配列の値をデータなしの値なしで新しい配列に出力する方法はありますか?

ありがとう

次のエラーメッセージの解決策/理解に向けて誰かが私を導くことができれば幸いです:

ubuntu ソフトウェア センターを使用して h5py をインストールしました。(h5cc -showconfig を実行したところ、並列 HDF5 が有効になっていることがわかりました。)

ubuntu 13.04の仮想デスクトップで有効になっているコアが1つだけで、コア2デュオを搭載したMacBook Airで実行しています。

私は現在、多くの小さな 6x6 マトリックスに取り組んでいます:形状 A = (N, N, N, 6, 6) with Nは約500です。これらの行列を Pytables ( http://www.pytables.org ) の HDF5 ファイルに保存します。

これらの行列に対して、反転、転置、乗算などの計算を行いたいと考えています。たとえば、 numpy.linalg.inv(A)はループなしでトリックを実行する必要があります。Nはそれほど大きくありません。しかし、私の場合、動作が非常に遅く、メモリの問題が発生することがあります。

これをより効率的に行うためのアプローチを提案してもらえますか?

h5pyを使用しています。HDF5 ファイル内に、文字列 (column1) と region_reference (column2) の複合データセットが必要です。このために、文字列と参照のnumpy dtypeを定義しようとしています。

しかし、これ以前でも、hdf5 地域参照の numpy dtype 配列を定義できていません。

2と3の場合のエラーは以下、

このリンクによると、NumPy ジェネリック オブジェクト ("O") データ型は h5py ではサポートされていませんが、オブジェクトを格納する方法を本当に改善する必要があります。私は自分のファイルを設計し、すでに他のデータ型をそこに保存しており、他のデータ構造に移動したくありません。このデータ型をh5pyに保存するためのトリックを知っている人はいますか? 現在、このコード行を使用しているため、エラーが発生しますcurrentgroup.create_dataset("class", data=allClass)