問題タブ [h5py]

グループでデータ（浮動小数点数）を保存するためにh5pyを使用しています。データ自体に加えて、追加のファイル (必要な情報を含む .xml ファイル) を hdf5 内に含める必要があります。どうすればいいですか？私のアプローチは間違っていますか？

私のh5ツリーは次のようになります。

HDF5 のデータセットのハイパースラブのみへのリンクを作成することは可能ですか?

たとえば、(a,b,c) を時間の関数として表すサイズ 1000 x 3 のデータセットが 1 つあるとします。そして今、「a」データ (1000 x 1) だけを指すリンクが必要です。これは可能ですか？

[これを徹底的にググった結果、Google クエリでは「リンク」は本質的に役に立たないという貴重な教訓を学びました。HDF5 のドキュメントからは判断できないので、これがばかげていたら申し訳ありません。]

重複の可能性:
OS X への h5py のインストール

OS X Lion 10.7.3 Macbook Pro で h5py を動作させようとしています。以前は機能していましたが、どういうわけかアンインストールされ、再度インストールできません。XCode 4.3のインストールに関係しているようですが、よくわかりません。

h5py をインポートすると、次のエラーが発生します。

HDF5ライブラリと関係があると思います。まだインストールされていなかったので、最初に使用してインストールしました

これでエラーは発生しませんでした。しかし、最後に次の警告。これは重要だと思います：

これが何を意味するのかは100％わかりませんが、このライブラリはi386アーキテクチャ用にコンパイルされていると思いますが、このディレクトリには文句を言わないファイルが他にもあります:

後で、HDF5 グループ Web サイト ( http://www.hdfgroup.org/HDF5/ )からダウンロードしたソースも自分でコンパイルしました。次の構成行を使用して、追加した共有ライブラリを確実に作成するために --enable-shared を使用し、fortran を無効にします。

h5py と hdf5 ライブラリの両方を削除し、それらを数回再インストールしました (両方とも pip と easy_install を使用して h5py を自分でコンパイルしました) が、それは役に立たなかったようです。

このコマンドを使用して作成したばかりのビルドを使用して、h5py もインストールしました。

また、numpy と scipy のインストールを最新バージョンに更新しました。

3つの配列を持つ既存のhdf5ファイルがありますが、h5pyを使用して配列の1つを抽出したいと思います。

科学データを h5py 経由で HDF5 コンテナー形式にエクスポートして、他のソフトウェアで読み取ろうとしています。

h5py.File.create_dataset() を介してデータセットを作成する 7 次元の numpy 配列があります。これはうまくいきます。

ただし、h5py でこれらの 7 つの次元に物理的なスケール (メートル、kg、角度など) を割り当てる方法が見つかりません。これを行う方法に関するドキュメントは見つかりませんでした。

これはHDF5 リファレンスに従って可能です。

これは h5py で実装されていますか? HDF5でそれが可能であることは知っています。

ご協力いただきありがとうございます！

h5py でディスク I/O をバイパスするにはどうすればよいですか? 現在、私は次のようなことをしなければなりません:

私はこのようなことをしたい:

ここでの問題は速度です。ディスク I/O がボトルネックになりすぎます。h5py File オブジェクトの文字列を作成し、その後ファイルを文字列として抽出する簡単で簡単な方法はありますか? それに関しては、Cythonのようなものを喜んで使用します...

3 つの double と 1 つの bolen を使用して配列を作成し、次を使用numpyしてファイルに書き込みましたh5py。

h5pyブール フィールドの列挙型を作成します。

ここで、C を使用してこのファイルを読み取る必要があり、複雑になります。

列挙型を持つ型を定義する方法がわかりません:

前のpythonスニペットで作成されたhdf5ファイルを読み取ろうとする完全な「機能しない」例をgistに貼り付けました：

http://gist.github.com/3168909

誰か提案がありますか？ありがとう！

h5pyを使用してHDF5ファイル内にノードが存在するかどうかを確認する簡単な方法があるかどうか疑問に思っています。

ドキュメントに何も見つからなかったので、今は例外を使用していますが、これは醜いです。

コンテキストを追加するには: これを使用して、同じ名前の新しいノードを作成する前に、ノードが存在するかどうかを判断します。

私は今、真剣に何ヶ月も費やした問題を抱えています！

基本的に、HD5ファイルからの読み取りとHD5ファイルへの保存を必要とするコードを実行しています。これにはh5pyを使用しています。

問題（問題が何であれ）はケースの5％程度でのみ発生し（各実行には数時間かかります）、問題が発生するとPythonが完全にクラッシュするため、デバッグは非常に困難です。そのため、Python自体でデバッグすることはできません。単純なログを使用して、正確なクラッシュ状況を特定することも不可能です。これは非常にランダムで、コード内のさまざまなポイントでクラッシュするか、遅延があるように見えます。

OllyDbgを使用して何が起こっているのかを理解しようとしましたが、次の場所で常にクラッシュしていると安全に結論付けることができます：http: //i.imgur.com/c4X5W.png

PythonネイティブのPyObject_ClearWeakRefsを呼び出した直後に、アクセス違反のエラーメッセージが表示されたようです。奇妙なことに、ファイルは正常に書き込まれます。アクセス違反エラーの原因は何ですか？または、そのpythonは内部（スタックなど）であり、ファイル（つまり私のコード）に関連していませんか？

誰かがここで何が起こっているのか考えていますか？そうでない場合、正確に何が起こっているのかを知るためのより賢い方法はありますか？多分いくつかの隠されたPythonログまたは私が知らない何か？ありがとうございました